Learning analytics en formatieve toetsing

UM-ervaringen uit het ONBETWIST-project

SURF-programma ‘Toetsing en Toetsgestuurd Leren’

Dirk Tempelaar

Maastricht University

School of Business & Economics

Wiskunde SURF projecten in tijd• Webspijkeren I: dec 2004 – dec 2006• Webspijkeren II: sept 2006 – sept 2008Verbeteren aansluiting, verlagen dropout, aanbieden

bijspijkercursussen, vooral individueel oefen/toets materiaal. Onderzoek instructie scenario’s.

• NKBW I: sept 2008 – sept 2009• NKBW II: sept 2009 – dec 2010Opvolger Webspijkeren. Meer partners, en HO.

Sterker toetsgericht. Wiskunde monitor: ingangstoets.• ONBETWIST: maart 2010 -: Toetsgestuurd leren is

centrale focus; onderdeel SURF ‘Toetsen en Toetsgestuurd leren’. Wiskunde & statistiek.

ONBETWIST database• Bevat grote collectie toetsen & toetsvragen:

• Wiskunde

• Statistiek

• Ingangs-

niveau &

• 1e jaars

• Beta &

Gamma

Casus: UM economie & bedrijfskundeKenmerken:

• Grote studies (950 studenten/jaar)

• Sterke internationalisering (35% NL; 42% DuitstaligEuropa; 7% IntBac; …)

• Extreem grote diversiteit in voorkennis & vooropleiding: A vs B, nationale verschillen

• Blended learning: PGO (verplicht) en aanvullenddigitaal, toetsgericht leren (optioneel, vooral voorstudenten ‘op achterstand’.

• Veel data: (concern)systemen & studentensurveys

Referentie• Praktisch artikel in September 2012

nummer van OnderwijsInnovatie:

• Toetsgestuurd leren en learninganalytics, pp. 17-26.

• Dirk Tempelaar, Hans Cuypers, Evert van de Vrie, Henk van der Kooij, André Heck.

• http://www.ou.nl/web/onderzoek/tijdschrift-onderwijsinnovatie

MyStatLab• Digitale

leeromgevingstatistiek: MSL, Pearson. Toetsgestuurdleren plus extra functies(‘Help me solve this’, ‘View an example’).

ONBETWIST• Digitale leerom-

geving wiskunde: ONBETWIST database van oefen- en toets-vragen. In lokaleBB opgenomenom gebruik en resultaten te kunnen koppelenaan andere data.

Voorspellers van wiskunde & statistiek prestaties• Voorkennis, op 2 manieren gemeten:

– ONBETWIST diagnostische toets Algebraische Rekenvaardigheden– Niveau vooropleiding (A vs B)

• Intensiteit oefenen– Uren (MSL) of

aantal toetsen (BB)– Oefenscore

0

2

4

6

8

10

12

14

16

InstaptoetsLaag & OefenenWiskLaag

InstaptoetsHoog & OefenenWiskLaag

InstaptoetsLaag & OefenenWiskHoog

InstaptoetsHoog & OefenenWiskHoog

StatsExamen

WiskExamen

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Stats#Uren

StatsToetsScore

Wisk#Toetsen

WiskToetsScore

Vroegtijdig signaleren: week 0 en week 2Formatieve toetsen en het signaleren van academische prestaties:

• Bij binnenkomst (week 0) twee voorspellers: vooropleiding (A vs B) en score diagnostische ingangstoets. Voorspellen samen 21% van variatie in eindscore.

• Na eerste Quiz, eind week 2: 57% van variatie in eindscore te verklaren uit formatieve toetsen, en het oefenen ervoor.

• Dus naast leerfunctie belangrijke informatiefunctie.

0

0.1

0.2

0.3

0.4

0.5

B-opleiding Ingangstoets

Qmscore: correlaties 0 week

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

B-opleiding Ingangstoets Quiz1Wisk Quiz1Stats Statscore Wiskscore

Qmscore: correlaties 2 week

Learning analytics & demografische factorenDoel: opstellen van profiel van de intensief digitaal oefenen met systeemdata/surveys

• Studenten met B-opleiding behalen hogere score wiskunde zonder extra te oefenen

• Maar niet voor statistiek;

• VWOers hebben betere aansluiting, maar vertrouwen daar te veel op;

• Instaptoetsscore voorspellend voor score oefentoetsomgeving;

• Bescheiden gender-effect: vrouwelijke studenten actiever.

-0.4

-0.3

-0.2

-0.1

0.0

0.1

0.2

0.3

0.4

B-opleiding VWO Ingangstoets Vrouw/Man

Stats#Uren

StatsScore

Wisk#Toetsen

WiskScore

Learning analytics & culturele verschillen• Nationaliteitsdata omgezet in

nationale cultuur dimensies (Hofstede): Machtsafstand, Individualisme/Collectivisme, Masculiniteit/Femininiteit, Onzekerheidsvermijding, Lange-Korte Termijn Denken en Hedonisme (uitbundigheid) versus Soberheid.

• Flinke effecten voor Masculiniteit (onderwijs = competitie), LangeTermijnOriëntatie, en Onthouding (Soberheid)

• Kleine effecten Machtsafstand, Collectivisme, Onzekerheidsvermijding

• Verschil tussen effect op primair tijd, of tijd & score.

-0.4

-0.3

-0.2

-0.1

0.0

0.1

0.2

0.3

0.4

Stats#Uren

StatsScore

Wisk#Toetsen

WiskScore

Learning analytics & leerstijlenLeerstijldata gebaseerd op leerstijlmodel Jan Vermunt

• Leerstrategieën: diepe, stapsgewijze, en concrete verwerking

• Regulatiestrategieën: zelfsturing, externe sturing, en stuurloos of gebrek aan regulering

‘Model-student’: zelfsturend & gericht op diepe verwerking: heeft het toetsgerichteleren maar beperkt nodig.

‘Afhankelijke student’: benodigd externe sturing, gericht op stapsgewijze verwerking: sterke samenhang met toetsgericht leren.

Stuurloos: oefent intensief, maar profiteert daar helemaal niet van

-0.1

0.0

0.1

0.2

Stats#Uren

StatsScore

Wisk#Toetsen

WiskScore

Learning analytics & Martin’s ‘Motivation & Engagement Wheel’4 kwadranten gebaseerd op:

• Gedachten versus Gedragingen

• Adaptief versus MalAdaptief of Belemmerend

Learning analytics & Martin’s ‘Motivation & Engagement Wheel’• Alle adaptieve gedachten en alle

adaptieve gedragingen een gunstig effect hebben op toetsgerichtleren, waarbij gedragingen meer effect hebben dan gedachten

• MalAdaptieve kwadranten: verschil tussen gedachten, vooral Angst: positief effect, en gedragingen: negatief effect.

• Verklaart deels gender-effect in toetsgericht leren: maladaptiviteit heeft bij vrouwelijke studenten eerder de vorm van gedachten: angst en onzekerheid, bij manlijke studenten eerder de vorm van gedragingen: uitval en zelf-handicap

0.0

0.1

0.2

Stats#Uren

StatsScore

Wisk#Toetsen

WiskScore

-0.2

-0.1

0.0

0.1

0.2

0.3

Stats#Uren

StatsScore

Wisk#Toetsen

WiskScore

Vrouw/Man

Learning analytics & Pekrun’s Control-Waarde theorie van Leeremoties• Leeremoties worden beïnvloed door het gevoel ‘in controle’ te zijn en iets

waardevols te doen.

• Keuze voor leeremoties die verondersteld worden sterk bij te dragen aan studiesucces of uitval: de negatieve emoties angst, verveling en hopeloosheid, de positieve emotie plezier.

• In het midden van de cursus gemeten

• Positieve emoties: positief effect,

• Negatieve emoties: negatief effect.

• Effect op score veel sterker dan op tijd/aantal toetsen

-0.4

-0.3

-0.2

-0.1

0.0

0.1

0.2

0.3

Control Angst Verveling Hopeloos Plezier

Stats#Uren

StatsScore

Wisk#Toetsen

WiskScore

Samenvattend• Formatieve toetsing heeft uiterst belangrijke informatie functie, zelfs al voordat het

vak begint: diagnostische ingangstoetsing

• Informatie functie geldt ook de inzet die studenten laten zien in het toetsgerichte leren, zelfs al in eerste weken, naast een leerfunctie

• Beide zijn onderdeel van ‘student modeling’

• Learning Analytics heeft tot taak relevante informatie zo snel mogelijk ter beschikking van studenten en docenten te krijgen

• Learning Analytics van historische data (als in deze studie) maakt mogelijk (risico) groepen te identificeren die gebaat zijn bij intensief digitaal oefenen

• Dit is voorbeeld van gebruik ‘student profiling’

• Bijzondere opdracht voor studentgericht onderwijs, zoals PGO, waarin de student de beslisser is: hoe de informatievoorziening zo adequaat mogelijk op individuele student afstemmen