Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

51
Learning Analytics wensdroom of nachtmerrie Albert Vlaardingerbroek Jacob Poortstra 8 november 2017

Transcript of Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Page 1: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Learning Analyticswensdroom of nachtmerrie

Albert Vlaardingerbroek

Jacob Poortstra

8 november 2017

Page 2: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 3: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Programma

• Innovatie context

• Hattie

• Personaliseren

• Learning Analytics Pilot Noorderpoort

Page 4: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 5: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Technologie ontmoet evolutie

• https://youtu.be/2pp17E4E-O8#t=47

Page 6: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Enkele inzichten van prof. Hattie

Page 7: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 8: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 9: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 10: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Innovatie in de media

Page 11: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Nachtmerrie of wensdroom

Page 12: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 13: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

personaliseren

• De mythe van het gemiddelde……… Todd Rose

• Twee voorbeelden (leger; baby’s)

• https://youtu.be/-34ASwa_Ztk#t=25

Page 14: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 15: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Leren

• Blended learning

• Blended learning is één van de termen die sinds 2005 gebruikt wordt om een onderwijsvisie te beschrijven. Eén van de definities is "een combinatie van online leren en contactonderwijs" of " een combinatie van campusonderwijs en e-learning". Het is een mix van ‘bricks’ en ‘clicks’.

• Het online deel levert informatie over het leerproces als aanvulling op de waarneming van de leraar.

Page 16: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Directe waarneming en verrijkte waarneming

Page 17: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Learning analytics in het onderwijs

Kunnen we data ookvoor de verbetering van het onderwijs gebruiken?(Direct of indirect…….)

Page 18: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Learning analytics: Wie profiteert?

Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational Technology & Society. http://ifets.info/journals/15_3/4.pdf

Management:Zij kunnen op basis van de gegevens beslissingen nemen over positionering van een opleiding.

Docenten:Op basis van de gegevens educatieve interventies plegen

Studenten: Reflecteren op hun resultaten

Page 19: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Learning analytics

Learning analytics is het verzamelen, analyseren en rapporteren van data van studenten en hun omgeving om zo het onderwijs en de omgeving waarin dit onderwijs plaatsvindt te begrijpen en verbeteren.

http://www.laceproject.eu/faqs/learning-analytics/

De film over het dupliceren/muteren van genen kan gebruikt worden……

Starten, kijken, hoe lang, vragen achteraf, emotie tijdens……..

Page 20: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 21: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 22: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Casus: taal en rekenen

Aanmelding Inschrijving Intake Toets (TOA)

Resultaat taal en rekenen

TRONMeer dan 1 niveau verschil met beoogd diploma!

RegulierOnderwijsprogramma

Examens(o.a. CITO)

Diploma

VERPLICHT !

TRON – remedial teaching – organisatie en opbouw

Page 23: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Casus: taal en rekenen

TOA: Resultaat taal en rekenen

Inschrijvingen 100%

CITO-resultaten

NAW

Opleiding(niveau etc.)

Lavastorm

Opbouw onderzoek: lavastorm

RapportagesUitkomsten

Page 24: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

De data

TOA, 40.538 regels (12.750 unieke studenten / 12.133 studenten Nederlands/ 7.411 studenten Rekenen)

CITO, 8.333 regels (4.051 geslaagde studenten) • TRON, 33.755 regels (2.367 unieke studenten)

Page 25: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 26: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Casus: taal en rekenen

Uitkomsten

Page 27: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Casus: taal en rekenen

Leerpunten

• We registreren niet veel m.b.t. onderwijsinhoud. Data moet accurater en beter.• Vanaf 2015 CITO, TRON deelname en resultaten integraal en

gestandaardiseerd opgeslagen!

• Voordat je een werkwijze afspreekt wellicht ook al afspraken maken over meting & evaluatie (op basis van informatie).

• Van te voren meer communiceren over evidence based onderzoek, omdat de resultaten ook weleens weerstand kunnen op roepen.

Page 28: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Discussievragen

Onderzoek verfijnen naar resultaat per reken/taal docent.

Is dat gewenst? Vinden we dat dit mag? Van wie is de data dan?

Heeft aan- afwezigheid gedurende de opleiding een effect?

Gesprekken voeren met de OR over dit soort onderzoek ivm professionele ruimte.

Hoe kunnen docenten van elkaar leren?

Wat kunnen/willen we met de data in het LBS (cijfers, gesprekken)?

Willen we als NP experimenteren met dit soort onderzoek?

Page 29: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Waarom het LA experiment met SURF

• Steeds meer e-learning modules, ook in het MBO

• Online leren verschilt van klassikaal leren

• Hoge eisen aan leermateriaal (toegankelijk, uitdagend, op maat gesneden)

• Inzicht nodig in gebruik materiaal en beleving door student

• DOEL: verbeteren onderwijs

Page 30: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Doelen Surfnet

• Heeft de student opdrachten ingeleverd en wanneer?

• Op welk moment voert de student de leeractiviteiten uit?

• Volgt de student de eigen voortgang?

• Hoe vaak doet de student een tussentijdse toets?

• Welk materiaal wordt door de student gebruikt?

Page 31: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

DEELNEMERS Experiment

Learning Analytics

• Hogeschool Utrecht

• Hogeschool Amsterdam

• Hogeschool Windesheim

• ROC Noorderpoort

• Vrije Universiteit Amsterdam

• Wageningen Universiteit

• Technische Uni Eindhoven

• Zuyd Hogeschool

Opgezet door Surfnet

Deelnemers: Universiteiten, Hogescholen en 1 x MBO

Ondersteund door Surfnet

Page 32: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Privacy en WBP

• Uitvoerig onderzocht door juristen Surfnet

• Privacy verklaring vooraf

• Student moet expliciet (via een button) toestemming geven

• Student kan de toestemming ieder moment intrekken

• Vanaf 16 jaar mag de student zelf een beslissing nemen

Page 33: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Meedoen is winnen

• Student krijgt uitleg vooraf

• Drukt op Doe Mee met LA

• Kiest toegang eigen instelling

• Logt in met NP gegevens (zonder inlog kun je nooit mee

doen)

• Krijgt uitgebreide voorlichting te lezen

• Pas dan besluit om mee te doen, via Ik doe mee

• Kan altijd besluiten om te stoppen

• Krijgt eigen dashboard om zich met anderen te kunnen vergelijken (benchmark

Page 34: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 35: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 36: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 37: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 38: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 39: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 40: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 41: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 42: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 43: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 44: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 45: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 46: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 47: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 48: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17
Page 49: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Wat ziet de student

• Eigen activiteit ten opzichte van de andere studenten

• Vergelijking van eigen uitgevoerde activiteiten

Page 50: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17

Studenten volgen in ELO

Page 51: Learning Analytics; wensdroom of nachtmerrie? - Albert Vlaardingerbroek - OWD17