Learning analytics en formatieve toetsing een gouden koppel

School of Business and Economics

Learning analytics en formatieve toetsing: een gouden koppel

Dirk T. Tempelaar, Maastricht University , SBE


Positie van deze presentatieHet verbinden van:• (Formatieve) Toetsing & toetsgestuurd leren• Learning Analytics (LA)• Leerdisposities (LA op basis van twee typen data:

systeem/track data, en survey data van studentkenmerken).Op basis van een reeks van SURF projecten (web-spijkeren, kennisbank wiskunde, LA), samen met UvA, TUE en anderen, telkens gericht op grootschalig onderwijs wiskunde (& statistiek) aan een heel diverse instroom van studenten


Onze eerstejaars studenten SBE• 1018 nieuwe eerstejaars, met 38 nationaliteiten• (grote subgroepen: 474 Duits, 236 Nederlands, 124 Belgisch, 32 Italiaans, 19

Pools, 15 Frans)


Extreme diversiteit, ook voorkennisDe weg van vooropleiding naar QM1

wiskunde

statistiek

VWOWiA

QM1

USAUK

VWOWiB

DldZLK

DldZGK

DldNLK

DldNGK

Niet EU

IBHL

IBSL

EU Z

QM2

QM3


Ondanks diversiteit: gelijke eindtermen• Kenmerkende situatie Nl (Europa): ondanks extreem grote

verschillen in startpositie, moet iedereen hetzelfde eindpunt (examen) halen

• Vergelijk Angelsaksische situatie: ‘streaming’• Oplossing:

1. Start met vrijwillige zomercursus voor zwakste starters (beperkt bereik, 380/1020, en lang niet altijd degenen met minste voorkennis)

2. Individualiseer de leerwegen


Onderwijs op maat in onze situatie• Vastliggende, gelijke eindtermen• Variërende startniveaus• Zeer verschillende leerwegen van startniveau naar eindterm


LeermiddelenBlended leeromgeving• Face-to-face component: PGO, probleem-gestuurd onderwijs, 75

tutorgroepen, 14 studenten

• Digitale component: e-tutorials MyLabs (Pearson): MyMathLab & MyStatLab


MyLab Homework & Test manager• MyLab taken

(taaktypes) kunnen worden ingezet voor Homework, Quiz of Test

• Taken kunnen in de tijd beperkt worden, en conditioneel op ‘mastery’


MyLab Homework & Test managerTaken voor homework/quizzes/tests worden geselecteerd uit item banken, specifiek voor een tekstboek.


MyLab leerfeedbackVerschillende typen van leerfeedback (Narciss) zijn in MyLab vertegenwoordigd• Help Me Solve voor ondersteuning van stapsgewijze probleemoplossing• View an Example om een volledig uitgewerkt voorbeeld op te roepen• Check Answer voor de student die de materie beheerst en direct kan

beantwoorden


Help me solve this / Guided solution:

De taak wordt in deeltaken onderverdeeld, en de student krijgt extra aanwijzingen, en subvragen om het probleem in deelstapjes op te lossen


View an Example / Sample problem:

Het probleem wordt in dezelfde deelstappen onderverdeeld als tevoren, maar nu wordt iedere deelstap door MyLab uitgewerkt


Check answer:

De student geeft in één stap het eerste deel-antwoord, en laat MyLab dat beoordelen.


MyLab Gradebook functionsGradebook provides:• Reports by

assignment type (homework, quizzes, tests)

• Reports on individual students (both mastery and performance)

• Reports of class mastery per lesson


MyLab Review function

• Reviews of student solutions are available in homework mode, quiz mode and test mode

• Reviews are available to both students themselves, and teachers


MyLab Data exportExcel downloads are standard available of: • Performance data (quizzes

and tests)• Mastery data (homework)• Time on task• Number of attempts per taskNon-standard downloads:Type of feedback issued by any student (Help me solve this versus View an example)


ProjectdoelstellingVerbinden van twee LA ontwikkelingen:• Toetsgestuurd leren, ihb: digitale leersystemen gebaseerd op

formatieve toetsingmet• Leer disposities benadering van Simon Buckingham Shum & Ruth

Deakin Crick (LAK2012; LASI Dispositional Learning Analytics Workshop July 2013, Stanford University) als een raamwerk voor LA toepassingen waarin track data (data uit LMS) wordt gecombineerd met ‘intentionele data’ gebaseerd op zelf-reportage instrumenten.


Learning Analytics & leerdispositiesHet Buckingham Shum & Deakin Crick model voorziet in het gebruik van surveys als 2e databron in de LA toepassing. Die surveys zijn gericht op leerkenmerken, zoals:• Leerstijlen: diep vs stapsgewijs leren, zelf-regulatie vs externe

regulatie • Motivatie & betrokkenheid: cognities en gedrag van adaptief vs

niet-adaptief types• Vak-attitudes• Leerdoelen: leergericht vs prestatiegericht• Motivaties: intrinsiek vs extrinsiek


Vb: Martin’s ‘Motivation & Engagement Wheel’

Vier kwadranten gebaseerd op:• Gedachten (Cognities)

Gedrag• Adaptief Mal-

Adaptief


Student profilering• In een systeem van blended / hybride leren, hebben studenten

keuze vrijheid in hoe intensief ze welke leermiddelen gebruiken• Verschillende ‘typen studenten’ maken verschillende keuzes in

de beschikbare leer portfolio, en de feedbackfunctie moet daar op worden afgestemd

• Goede leerfeedback vereist een goed voorspelmodel • Een goed voorspelmodel vereist rijke en tijdige data• In de SURF LA projecten hebben dit aspect, welke data gebruik je

en wanneer komt die beschikbaar, vergeleken• In een ‘zeer data rijke’ context kan zo’n vergelijking plaatsvinden

door de rol van diverse data in het voorspellen te vergelijken


Voorspelkracht (multipele R) van BlackBoard data• Twee typen activiteit data:

kliks en connect-tijd• BB connect-tijd data is

gedomineerd door BB klik data in voorspelkracht (geen correctie inactiviteit, leerstijl?).

• Opvallend: hoogste individuele voorspelkracht komt van Week0: voor de start cursus

• Bescheiden R, multipele correlatie: .1-.25

Week0

Week1

Week2

Week3

Week4

Week5

Week6

Week7

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

MExam2013SExam2013MQuiz2013SQuiz2013MExam2014SExam2014MQuiz2014SQuiz2014


Voorspelkracht (multipele R) e-tutorial mastery data

• MyMathLab and MyStatLab log data uit oefenmodus: Mastery en Tijd als voorspellers

• Heel veel betere voorspellers van student prestaties dan BB data, vooral mbt quizzes

Week1 Week2 Week3 Week4 Week5 Week6 Week70.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0



Voorspelkracht (multipele R) formatieve toetsdata• MyMatlLab en MyStatLab

prestatie data (Week3, Week5, Week7) in quiz modus & Week0 diagnostische instaptoets

• Quiz data is zeer goede voorspeller, maar pas beschikbaar na Week3

• Diagnostische instaptoets heeft redelijke voorspelkracht, vooral Wiskunde

Week0 Week3 Week5 Week70.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0



Voorspelkracht (multipele R) van alle data, met disposities

• Leer disposities verstevigen voorspelkracht ib het eerste begin: Week0, Week1, Week2. Als Week3 quiz data beschikbaar komt, voegen ze nog maar weinig toe.

Week0 Week1 Week2 Week3 Week4 Week5 Week6 Week70.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0



Tussentijdse conclusie

• In ons voorspelmodel zijn het vooral de cognitieve variabelen die ‘het goed doen’: prestaties in formatieve toetsen, iets minder, mastery in de e-tutorials

• Tegelijkertijd zijn het de inzet variabelen die het veel minder goed doen, terwijl die klik- en time-on-task data nu juist de meest gebruikte data in LA toepassingen zijn.

1 2 3 4 5 6 7 8 9 10

-2.5-2

-1.5-1

-0.50

0.51

1.52

MLHrsMLAtt

• Op zich is dit weinig verwonderlijk, als je bijvoorbeeld kijkt naar welke studenten erg actief zijn, en welke niet: zeer niet- lineaire relatie • MLHrs: uren in MyMathLab• MLAtt: ‘attempts’ in MyMathLab• Score instaptoets (decielen) op x-as


Stabiliteit van voorspelmodel

Het probleem is echter groter dan enkel zwakke voorspelkracht: voorspelmodellen gebaseerd op klik- en time-on-task data zijn ook instabiel, leiden tot steeds wisselende feedback regels.Univariate voorspelmodellen van Examen en Quiz, op basis van connecttijd (Hrs), totaal attempts (Att), Guided solutions (GSol), Sample problems (SPr). GSol en SPr zijn insignificant.

•


Cognitieve data als univariate voorspellerWanneer we vergelijken met voorspelkracht van de cognitieve data: Mastery in de tool (Mast), score instaptoets (EntryT), zijn verschillen groot.


Multivariate voorspelmodellen van kliksMaar als we de univariate voorspelmodellen integreren tot multivariate modellen, zien we opmerkelijke verschuivingen:

De beta van totaal aan Attempts wordt nu veel sterker positief. Echter, de beta van het aantal Guided solutions, eerst niet-significant, wordt nu significant negatief (net als Sample problems, maar zwakker).Interpretatie: voor een gegeven aan Attempts, doen studenten die een groot aan Guided solutions oproepen het naar verwachting slechter dan studenten die een kleiner aantal Guided solutions oproepen. Idem voor Sample problems.


Multivariate voorspelmodellen van kliks & tijdAls we aan dit model ook nog tijd toevoegen, zien we dat de rol van Hours in het voorspelmodel ook drastisch verandert:Leidde in het univariate model meer connect-tijd tot een hogere verwachte Quiz score, nu zien we dat de beta omslaat naar negatief.Interpretatie: voor een gegeven aan Attempts, doen studenten die een meer tijd, Hours nodig hebben om die Attempts te voltooien, het naar verwachting slechter dan studenten die minder tijd nodig hebben.


Multivariate voorspelmodellen van kliks & tijd & cognitieve variabelen

Het wordt nog weer anders wanneer we aan het multivariate voorspelmodel de cognitieve variabelen toevoegen. De cognitieve variabelen doen precies wat je op basis van de univariate modellen zou verwachten:

Echter, de rol van de klik-variabelen verandert wederom drastisch


Multivariate voorspelmodellen van kliks & tijd & cognitieve variabelen

In de voorspelvergelijking gebaseerd op score instaptoets, EntryTest, leidt meer oefenen tot een betere verwachte score. Maar in de voorspelvergelijking gebaseerd op mastery in de tool, Mastery, leidt meer oefenen juist tot een lagere verwachte score. Interpretatie: de Mastery variabele incorporeert al het effect dat meer oefenen een gunstig effect heeft op kennis. Het 2e effect, zwakker studenten hebben meer oefening nodig om tot zelfde Mastery te komen, veroorzaakt negatieve beta van Attemps. Daarnaast: verschuiving van negatieve effect van Guided solutions naar Sample problems.


SamenvattingLA gebaseerde voorspelmodellen om leerfeedback af te leiden: • Formatieve toetsing zowel meest krachtige, als eenduidige

voorspeller• Indien zeer tijdige feedback nodig is: combineer cognitieve data

uit instaptoets met studentprofielen uit surveys• Voorzichtigheid geboden met betrekking tot gebruik van track

data die op student intensiteit betrekking hebben:– Time-on-task– Klik data voor algehele activiteit, of specifieke deelactiviteit

• In het ‘beste geval’ geringe voorspelkracht, in het slechtere geval verkeerde leerfeedback.

Learning analytics en formatieve toetsing een gouden koppel

Education

Transcript of Learning analytics en formatieve toetsing een gouden koppel