Learning Analytics
og Big Data i et
kritisk perspektiv
(men også med muligheder)
Thomas Ryberg
Professor mso
Inst. for kommunikation, AAU
ryberg@hum.aau.dk
@tryberg - twitter
Agenda
• Kort om mig – hvorfor dette oplæg, hvad er mit bias
– Ikke maskin-stormer – networked learning og læring og
sociale medier
– Lidt generelt om #edtech
– Hvorfor kritik? Hvorfor Big Data?
• Problematikker og udfordringer ved big data og
learning analytics
– Fra videnskabsfilosofisk perspektiv
– Fra pædagogisk perspektiv
• Mulige veje – hvor skal vi hen du?
Stor afstand mellem:
Stærke stemmer der taler om nært forestående, radikale forandringer
– Game-changers, disruptions, paradigme-skifte, 2.0, med på vognen
De faktiske kvalitative forandringer teknologi har medført inden for
uddannelse og den faktiske udviklingshastighed
Samme tog kører til perronen uden at være vidende om, at det har
været der før og er kørt i ring
#EDTECH er BIG BUSINESS
Full of:
Men også potentiale…
“There must be an industrial revolution in education in
which educational science and the ingenuity of
educational technology combine to modernize the
grossly inefficient and clumsy procedures of
conventional education.”
1924
- Sidney Pressey,
, inventor
of the Automatic Teacher, the first
electronic device used in schools
The motion picture is destined to revolutionize
our educational system and...in a few years it will
supplant largely, if not entirely, the use of
textbooks.
—Thomas Edison,
1922
Prof. C. C. Clark of New York University conducting a class from his home (1935)
“The scene will be a
commonplace one tomorrow,
without a doubt, when television
will be as indispensable to our
every day home life as the radio
program receiver is today.”
(The April 1935 issue of Short Wave
Craft magazine)
Source: http://www.smithsonianmag.com/history/predictions-for-educational-tv-in-the-1930s-107574983
1954
Umiddelbar feedback, selv-drevet
læring, adaptiv læring – ofte hørt ifht
nye læringsteknologier - også learning
analytics – det er ikke så nyt….
http://www.idealearninggroup.com/blog/history-of-elearning-e-is-for-evolutionary
Learning analytics
• “Learning analytics is the measurement, collection,
analysis and reporting of data about learners and
their contexts, for purposes of understanding and
optimising learning and the environments in which it
occurs”
https://en.wikipedia.org/wiki/Learning_analytics
• Educational data mining, academic analytics, learner
modelling – ældre tradition
• Læs mere om LA på: solaresearch.org – SOLAR –
society for learning analytics research
Hvorfor kritik
•
•
Kritik er ikke lig uenighed – kritik er ikke negativt
Big Data, Learning Analytics ligger i krydsfeltet mellem forskning og
Big Business
– “[…] academics should not engage in research that industry ‘can do
better’” (Lin, cited in boyd & Crawford)
– Big Data og Learning Analytics er i øjeblikket buzz-words og smølfeord
– kandidater til Bullshit bingo og florerer i bullshit-bæltet
– Det betyder ikke de er meningsløse, tomme eller uinteressante – men
det betyder vi skal være varsomme
•
Akademisk rum – plads/tid til:
–
–
–
–
Refleksivitet
Eftertænksomhed, langsommelighed (bagstræberisk)
Social kritik
Og Dilbert…
Personificeringen
af bullshit bæltet –
well-meaning,
but….
Kritisk refleksivitet
• Vigtigt at metoder, teorier og antagelser udfordres,
kritiseres, forbedres
• Der er noget særlig persuasivt og tillokkende ved Big
Data, Learning Analytics og visualisering af data –
det bekymrer mig! Vigtigt at være kritisk
• Vigtigt at vi er refleksive i forhold til ALLE de metoder
vi anvender og data vi indsamler – hvad er styrker,
hvad er svagheder – hvad kan data sige, hvad kan
de ikke sige
• At vælge data og fokus er også at fravælge andre
blikke
Seeing is believing: The effect of
brain images on judgments of
scientific reasoning
•
McCabe, D. P., & Castel, A. D.
(2008). Seeing is believing: The
effect of brain images on
judgments of scientific reasoning.
Cognition, 107(1), 343–352.
http://doi.org/10.1016/j.cognition.2
007.07.017
Tænkt eksempel på ‘student dashboard’
White paper:
Open Learning Analytics: an integrated & modularized platform
http://solaresearch.org/OpenLearningAnalytics.pdf
• Vi må være forsigtige i at antage, at fordi noget er
mere visuelt interessant, at det også:
– A: Er mere sandt og bedre reflekterer/repræsenterer
en kompleks underliggende virkelighed
– B: Folk kan læse data og agere på det på meningsfuld
og god vis
Big Data changes the definition of
knowledge
• Andersson, Wired (2008)
– “This is a world where massive amounts of data and applied
mathematics replace every other tool that might be brought
to bear. Out with every theory of human behavior, from
linguistics to sociology. Forget taxonomy, ontology, and
psychology. Who knows why people do what they do? The
point is they do it, and we can track and measure it with
unprecedented fidelity. With enough data, the numbers
speak for themselves. (2008)”
– ‘accounting tools . . . do not simply aid the measurement of
economic activity, they shape the reality they measure’ (Du
Gay & Pryke in boyd & Crawford)
•
Big Data changes the definition of
knowledge?
De værktøjer vi får i hånden ændrer vores tilgang til og forståelse
af ”verden”
–
–
–
•
De kan også ændre hvad vi forstår som ‘videnskabelighed’, ‘data’,
sandhed, nytte osv.
–
–
–
–
•
Tid (kronometer) – måler ikke noget, men strukturerer meget af
vores samfund og forståelse
Fødselstal, scanninger, diagnoser – producerer viden men også
‘anxieties’ og nye foki
Images og scans som persuasive
Andersson citat afspejler måske en lidt naiv scientisme /
positivisme
Hvid-kittel knæfaldet – videnskab og videnskabelse én tilgang
‘pure data driven research’ – numbers, data and truth is ‘out there’
What is easily available guide our eyes – nem adgang til bestemte
typer af data producerer bestemt forskning/tæ – her-og-nu på
twitter fremfor ‘long data’
Numre og ‘true sciences’ – men læring et menneskeligt fænomen
(erfaringer, følelser, meningsfylder, politik, idealer) – alt det hvorom
‘science’ does not always speak…det rodede
Dashboards med data – nye måder at producere bestemte
subjekter – ”de bliver hvad vi måler”
–
Kan man ‘måle’ en kompetence? Ligesom temperatur?
Claims to objectivity and accuracy
are misleading
•
‘Numbers, numbers, numbers’, writes Latour
(2009). ‘Sociology has been obsessed by the
goal of becoming a quantitative science’ (boyd
& Crawford)
– Hvid-kittel knæfaldet – kvantitativ forskning
mere objektiv og videnskabelig – blottet for
subjektivitet og fortolkning – data taler for sig
selv
– Men analyse er fortolkning – “making sense of
data”
– Data ‘er’ ikke derude – data produceres
(craftes) – de vælges, (ud)renses (datawrangling) og andre bestemmer hvilke data
der ér tilgængelige (fx.API)
– Vi “måler” ikke bare noget – vi konstruerer
– Hvad dækker data? Selvom de er Big – er de
så altomfattende, er der huller? Hvor meget kan
man fortælle om person ud fra fodspor – hvor
partielle er data?
As a large mass of raw information, Big
Data is not self-explanatory. And yet the
specific methodologies for interpreting the
data are open to all sorts of philosophical
debate. Can the data represent an
‘objective truth’ or is any interpretation
necessarily biased by some subjective
filter or the way that data is ‘cleaned?’.
(2010, p. 13) (boyd & Crawford)
Too often, Big Data enables the practice of
apophenia: seeing patterns where none
actually exist, simply because enormous
quantities of data can offer connections that
radiate in all directions (boyd & Crawford)
Database pedagogies (Williamson)
•
•
•
•
•
•
Adaptive learning systems (som
man har arbejdet med siden
70’erne!!!!!)
Skræddersyet, individuel læring
“Læser”, modellerer, forudser,
tilretter sig til eleven (more
capable peer)
Automated management &
governance
Men måler og vejer eller
producerer metrics bestemte
subjekter?
Hvilke forståelser af pædagogik,
læring og individer er i spil –
hvilke forståelser træder i
forgrund – hvilke i baggrund?
every child has a ‘digital tutor’ that is responsive to
their interests, their prior conceptions and
achievement and the potential for ‘intelligent online
platforms that can use data gathered from learners to
become smart enough to predict, and then
appropriately assist and assess, that learner’s
progression to mastering the concept being taught
(Williamson)
The aim of some learning analytics
developments is to create automated
pedagogic systems, or what might be termed
database pedagogies. These database
pedagogies can include automated messages
which provide brief and simple nudges or fully
automated intelligent tutoring systems: the
automatic production of personalized
pedagogies (Williamson)
database devices are based on the logic that the subject is
made up of unique combinations of distributed
transactional metrics that reveal who they are and their
capacities, problems and needs. An individual is not simply
a child or youth, but rather a combination of needs and
services. (Citation in Williamson)
Forskellige pædagogiske
forståelser
#edtech historien ikke en lige linie men en strid
mellem perspektiver / pædagogiske idealer
(Weller, 2007)
Broadcast perspektiv
• Gøre indhold og ressourcer
tilgængelig for flest muligt – on
demand
• Selv-drevet, individualiseret
• Genbrug, skalerbart, kosteffektivt (reducere underviserens
rolle)
• Learning objects, Open
Educational resources
• Også: kontrol, standardisering,
institutionalisering,
industrialisering
• “The broadcast view can be
found in higher education and
national policies and it is also
common in corporate training”
(Jones & Dirckinck-Holmfeld,
2009)
Diskussions perspektiv
• Viden som skabt gennem
dialog, samarbejde og
kommunikation
• Gensidig forpligtethed –
relationer ml studerende og
ml studerende og
undervisere
• Grupper, intimitet, relationer,
samarbejde og koordination
– tidsafhængig
• Internationalt et ‘randperspektiv’
Jones, C., & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning
Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds.),
Analysing Networked Learning Practices in Higher Education and
Continuing Professional Development (pp. 10–27). Rotterdam: Sense
Publishers.
Weller, M. (2007). Virtual learning environments : effective development
and use. London: Routledge.
2 hovedparadigmer indenfor
uddannelsestænkning
• Angelsaksisk curriculumtænkning (John Biggs)
• Kontinental (Skandinaviske tænkning) didaktisk
tænkning (Wolfgang Klafki)
Venligst udlånt af Ulla Konnerup, AAU, 2015
Klafki
•
•
•
Dannelse
Personlige, faglige kompetencer
Selvstændighed og kritisk tænkning i forhold til tilegnelse af et
videns- og kompetencefelt
“Yde eleverne hjælp til at udvikle deres medbestemmelse og solidaritetsevne”
“Sammenhængen mellem undervisning og læring forstås som
interaktionsproces”
Klafki, Wolfgang (2001). Dannelsesteori og didaktik. Århus: Klim.
Klafki, Wolfgang (1983). Kategorial dannelse og kritisk-konstruktiv pædagogik. Udvalgte artikler og indledning ved Sven
Erik Nordenbo. Nyt Nordisk Forlag Arnold Busck.
Wolfgang Klafki, (Hg.). (1988). Verführung Distanzierung Ernüchterung. Kindheit und Jugend im Nationalsozialismus.
Autobiographisches aus erziehungswissenschaftlicher Sicht. Wienheim und Basel: Beltz Verlag
.
Venligst udlånt af Ulla Konnerup, AAU, 2015
Angelsaksiske tænkning
• Ingen ækvivalent begreb til dannelse
• Curriculum tænkning, der bygger på teori om
instruktion og undervisningsforskning
På forhånd intenderede læringsmål, der ved hjælp af effektiv
undervisning tilstræber et fastlagt og måleligt læringsindhold hos
den studerende, hvor effektivitet udmønter sig som et syn på
forståelse som en opadgående lineær bevægelse
(Wiberg 2011)
Venligst udlånt af Ulla Konnerup, AAU, 2015
Venligst udlånt af Ulla Konnerup, AAU, 2015
Forståelser af læring
• Hvad hvis læring ikke er tilegnelse af det
eksisterende, men opdagelse og skabelse af det
nye?
• Hvordan måler vi hvad der ikke eksisterer/er skabt
endnu?
• Måle det vi forstår så lidt om – kreativitet,
forandringsprocesser, følelser, gruppedynamik?
• Er læring en lineær proces fra en begyndelse til en
ende? En fastsat diagram over udvikling – et ‘skilltree’?
• ”Teaching to the PISA test”
Nogle (andre) pædagogiske
principper
•
•
•
•
•
•
•
•
•
•
Cooperation and collaboration and in the learning process
Working in groups and in communities
Discussion and dialogue
Self-determination in the learning process (ikke nødv self-directed)
Difference and its place as a central learning process
Trust and relationships: weak and strong ties
Reflexivity and investment of self in the networked learning
processes
The role technology plays in connecting and mediating
(Hodgson et al., 2012, p. 295)
Hodgson, V., McConnell, D., & Dirckinck-Holmfeld, L. (2012). The Theory, Practice and Pedagogy
of Networked Learning. In L. Dirckinck-Holmfeld, V. Hodgson, & D. McConnell (Eds.), Exploring the
Theory, Pedagogy and Practice of Networked Learning (pp. 291–305). Springer New York.
Retrieved from http://link.springer.com/chapter/10.1007/978-1-4614-0496-5_17
Nogle muligheder for Learning
Analytics
•
•
Meget LA handler om personalisering, individualisering, frihed fra
andre (fleksibilitet) – hvor er understøttelse af dialog, samarbejde
og gensidig forpligtethed?
Maarten de Laat fra Welten Institute – arbejder med app til læreres
egen dannelse af sociale og professionelle netværk
– Visualiseringer af hvem de lærer fra hvem og om hvad – skaber nye
forbindelser, giver overblik til refleksion
•
•
•
Sociogrammer – bruge Social Network Analysis til at visualisere
hvem i en gruppe der kommunikerer mest og med hvem – til
refleksion over roller og inklusion/eksklusion
i MOOCs og store online kurser er LA stor hjælp til identifikation af
patterns (hvem logger ind, hvem læser etc.)…men i en
folkeskoleklasse?
Det vigtige er: Hvilke læringsmæssige idealer vil vi realisere og
understøtte gennem en data-informeret tilgang – hvilke kommer vi
måske til at lukke øjnene for.
White paper:
Open Learning Analytics: an integrated & modularized platform
http://solaresearch.org/OpenLearningAnalytics.pdf
White paper:
Open Learning Analytics: an integrated & modularized platform
http://solaresearch.org/OpenLearningAnalytics.pdf
Analytics at scale: UK
schools
• Aligned with
clear aims
• Huge and
sustained
effort
• Agreed
proxies for
learning
• Clear and
standardised
visualisation
• Driving
behaviour at BUT
• Stressed, unhappy learners
every level
• Analytics with little value for learners or educators
• Omission of key areas, such as collaboration
NB – slide taken from ”Scaling up learning analytics” by Rebecca Ferguson
http://www.slideshare.net/R3beccaF/scaling-up-learning-analytics
30
•
•
•
•
Kan vi dekomponeres til et antal tællelige enheder, som aggregeret
på forskellige vis kan kaldes kompetencer eller dannelse? F.eks.
Learning dispositions
Enhederne er ord, begreber, teori, abstraktioner, akademiske
distinktioner som er med til at producere og konstruere forståelser
af hvad vi er – de er ikke en 1:1 model af virkeligheden (den er for
kompleks)
Det tror jeg vi glemmer en gang imellem i vores fascination af data
og visualiseringer og begreber
Kan vi sige noget om folks personlighed ved at stikke et
termometer i røven af dem?
database devices are based on the logic that the subject is made up of unique combinations of
distributed transactional metrics that reveal who they are and their capacities, problems and
needs. An individual is not simply a child or youth, but rather a combination of needs and
services. (Citation in Williamson)
Opsummerende
•
•
•
•
•
•
•
Learning Analytics og Big Data er ikke bare neutrale værktøjer, data og
systemer – de indeholder bestemte forståelser og måder at se verden
på.
De skaber også bestemte subjekter, praksisser, rationaliteter og idealer
Hvilke syn på læring og pædagogik følger med værktøjerne og
metoderne – hvilke implicitte pædagogikker er indskrevet i kildekoden
Hvilke muligheder og problemer giver det hvis vores forståelse af
læring konfigureres gennem databaser tabeller og kryptisk algoritmer?
Hvilke kompetencer kræver det at forstå og afkode de data vi
producerer – forstår vi faktisk, hvad vi opererer på eller er det blackboxed
Specielle pædagogikker der understøttes af denne tænkning?
Er forståelser rundet af dataloger og statistikere snarere end
pædagoger, filosoffer og humanister?
Hvilke spørgsmål bør I stille
• Læring eller data først? Hvad er jeres forståelse/ideal omkring
læring (læring som identitet, transformativ?)
– Kan I måle det? Hvad er begrænsningerne?
– Hvilke data har I adgang til? Hvilke har I ikke?
– Data-driven eller problem-driven – løser I et problem/har et
spørgsmål eller har I nogle data, der leder efter ét
– Hvad er det I vil forstå – er analytics svaret?
• Et par vigtige spørgsmål at reflektere over
–
–
–
–
–
–
Hvem måler hvem – og med hvilket formål?
Hvem bestemmer målene? Lærere? Kommune? Elever?
Er man målt eller måler?
Hvem ejer data, hvem ejer retten til at bestemme mening og analyse?
Hvem har kompetencerne til at læse målingerne?
Hvem bliver ‘empowered’, hvem bliver ‘marginalised’?
Referencer
• boyd, danah, & Crawford, K. (2012). Critical Questions for Big
Data. Information, Communication & Society, 15(5), 662–679.
http://doi.org/10.1080/1369118X.2012.678878
• Jones, C., & Dirckinck-Holmfeld, L. (2009). Analysing
Networked Learning Practices. In L. Dirckinck-Holmfeld, C.
Jones, & B. Lindström (Eds.), Analysing Networked Learning
Practices in Higher Education and Continuing Professional
Development (pp. 10–27). Rotterdam: Sense Publishers.
• Weller, M. (2007). Virtual learning environments : effective
development and use. London: Routledge.
• Williamson, B. (2014). Policy networks, database pedagogies,
and the new spaces of algorithmic governance in education. In
S. Bayne, C. Jones, M. de Laat, T. Ryberg, & C. Sinclair (Eds.),
Proceedings of the Ninth International Networked Learning
Conference (pp. 547–554).