OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

16
Jeroen Donkers, Universiteit Maastricht, O&O Profanalytics.blogspot.nl

Transcript of OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Page 1: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Jeroen Donkers, Universiteit Maastricht, O&O

Profanalytics.blogspot.nl

Page 2: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Gefinancierd door Surf (Innovatieprogramma learning analytics)

Looptijd: maart-september 2012

Opdracht van WiV

Projectteam: ◦ Jeroen Donkers, Jean van Berlo, Daniëlle

Verstegen, Arno Muijtjens, Guido Tans, Peter Bex

Page 3: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd

200 MCQ vragen (met vraagteken) over de hele stof

Relatieve normering

Page 4: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers
Page 5: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten

◦ Bepalen wat te meten

◦ Aanpassen van het ProF systeem om te meten

◦ Verzamelen van data

◦ Analyse en datamining

◦ Vertaling van de resultaten

Vervolg: longitudinale effecten, visualisatie

Page 6: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

We hebben ProF aangepast zodat het met Piwik kan werken:◦ Piwik-koppeling is configureerbaar in ProF

◦ Navigatie via URLs is consequenter gemaakt

◦ User-defined variabelen voor o.a. Userid

◦ Piwik-sessie starten bij inloggen gebruiker

◦ Opt-out mogelijkheid

We gebruiken de piwik API om gedetailleerdegebruiksdata in XML vorm te downloaden

Page 7: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers
Page 8: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Data verzameld in periode mei-juni

De data uit Piwik is gekoppeld met de uitslagen van de voortgangstoets van mei

Analyse met behulp van Projet R

RapidMiner, Kmine, ProM 6.1 (process mining)

Page 9: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Meer gebruikt in het eerste jaar

Veel gebruikt in jaar 1 Maastricht, voornamelijk door het portfolio

Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan

jaar UM LUMC UMCN UMCG TOTAAL

1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172

2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227

3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209

4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162

5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045

6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797

totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612

Page 10: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Goede studenten gebruiken ProF meer dan studenten met een onvoldoende

In jaar 4-6 is dat niet significant

TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER Vumc

TOTAAL toetsresultaat

jaar onvoldoende voldoende goed alles

1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172

2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227

3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209

4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162

5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045

6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797

alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612

Page 11: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

ALLES

numactions

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

ONVOLD

numactions[outcome == 0]

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

VOLD

numactions[outcome == 1]

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

GOED

numactions[outcome == 2]

Page 12: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Gamma is -0.246: Slechte studenten hebben langere sessies dan goede

Veel sessies met maar één actie!

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

1 2-5 6-20 >20

Perc

enta

ge v

an d

e se

ssie

s

Lengte van de sessie in aantal acties

Onvold

Vold

Goed

Page 13: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Weinig patroon in volgorde: process miningleverde niet veel op

Daarom vooral naar tellingen gekeken: hoe vaak kijken studenten naar bepaalde deel aspecten

Page 14: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

(-Inf,0] (0.25,0.5]

Alles

0200

400

(-Inf,0] (0.25,0.5]

Onvold

05

15

25

(-Inf,0] (0.25,0.5]

Vold

050

150

(-Inf,0] (0.25,0.5]

Goed0

50

100

Verdeling fractie paginas met details

(-Inf,0] (0.25,0.5]

Alles

0400

800

(-Inf,0] (0.25,0.5]

Onvold

020

40

60

(-Inf,0] (0.25,0.5]

Vold

0100

300

(-Inf,0] (0.25,0.5]

Goed

0100

200

Verdeling fractie paginas met cumulatieve

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Alles

0200

400

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Onvold

010

30

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Vold

050

150

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Goed

050

100

Verdeling fractie paginas met momentaan vs longitudinaal

(-Inf,0] (0.25,0.5] (0.75,1]

Alles

0200

500

(-Inf,0] (0.25,0.5] (0.75,1]

Onvold

010

20

30

40

(-Inf,0] (0.25,0.5] (0.75,1]

Vold0

100

200

(-Inf,0] (0.25,0.5] (0.75,1]

Goed

050

150

Verdeling fractie paginas met goedscore

Page 15: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Piwik is erg nuttig

Door koppeling van gebruik aan toetsdatakrijgen we nuttige informatie over hoe studenten met het systeem omgaan

Dit levert ons kennis om◦ Het systeem aan te passen: andere openingspagina

◦ Instructie te verbeteren: omgaan met cumulatieve, scoresoorten, ect

We gaan door met meten om longitudinale effecten te kunnen meten

Page 16: OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

Je moet veel tools aan elkaar koppelen –kennis van (script)talen (php, perl, sql, R) is daarbij handig

Werken met R bleek handiger dan met mooie intractieve tools als RapidMiner, Knime en ook PROM 6.1

Privacy: mogen we dit zomaar allemaal doen?