Jeroen Donkers, Universiteit Maastricht, O&O

Profanalytics.blogspot.nl

Gefinancierd door Surf (Innovatieprogramma learning analytics)

Looptijd: maart-september 2012

Opdracht van WiV

Projectteam: ◦ Jeroen Donkers, Jean van Berlo, Daniëlle

Verstegen, Arno Muijtjens, Guido Tans, Peter Bex

4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd

200 MCQ vragen (met vraagteken) over de hele stof

Relatieve normering

Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten

◦ Bepalen wat te meten

◦ Aanpassen van het ProF systeem om te meten

◦ Verzamelen van data

◦ Analyse en datamining

◦ Vertaling van de resultaten

Vervolg: longitudinale effecten, visualisatie

We hebben ProF aangepast zodat het met Piwik kan werken:◦ Piwik-koppeling is configureerbaar in ProF

◦ Navigatie via URLs is consequenter gemaakt

◦ User-defined variabelen voor o.a. Userid

◦ Piwik-sessie starten bij inloggen gebruiker

◦ Opt-out mogelijkheid

We gebruiken de piwik API om gedetailleerdegebruiksdata in XML vorm te downloaden

Data verzameld in periode mei-juni

De data uit Piwik is gekoppeld met de uitslagen van de voortgangstoets van mei

Analyse met behulp van Projet R

RapidMiner, Kmine, ProM 6.1 (process mining)

Meer gebruikt in het eerste jaar

Veel gebruikt in jaar 1 Maastricht, voornamelijk door het portfolio

Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan

jaar UM LUMC UMCN UMCG TOTAAL

1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172

2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227

3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209

4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162

5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045

6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797

totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612

Goede studenten gebruiken ProF meer dan studenten met een onvoldoende

In jaar 4-6 is dat niet significant

TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER Vumc

TOTAAL toetsresultaat

jaar onvoldoende voldoende goed alles

1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172

2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227

3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209

4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162

5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045

6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797

alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

ALLES

numactions

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

ONVOLD

numactions[outcome == 0]

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

VOLD

numactions[outcome == 1]

0 20 40 60 80 120

0.0

00.0

50.1

00.1

5

GOED

numactions[outcome == 2]

Gamma is -0.246: Slechte studenten hebben langere sessies dan goede

Veel sessies met maar één actie!

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

1 2-5 6-20 >20

Perc

enta

ge v

an d

e se

ssie

s

Lengte van de sessie in aantal acties

Onvold

Vold

Goed

Weinig patroon in volgorde: process miningleverde niet veel op

Daarom vooral naar tellingen gekeken: hoe vaak kijken studenten naar bepaalde deel aspecten

(-Inf,0] (0.25,0.5]

Alles

0200

400

(-Inf,0] (0.25,0.5]

Onvold

05

15

25

(-Inf,0] (0.25,0.5]

Vold

050

150

(-Inf,0] (0.25,0.5]

Goed0

50

100

Verdeling fractie paginas met details

(-Inf,0] (0.25,0.5]

Alles

0400

800

(-Inf,0] (0.25,0.5]

Onvold

020

40

60

(-Inf,0] (0.25,0.5]

Vold

0100

300

(-Inf,0] (0.25,0.5]

Goed

0100

200

Verdeling fractie paginas met cumulatieve

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Alles

0200

400

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Onvold

010

30

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Vold

050

150

(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]

Goed

050

100

Verdeling fractie paginas met momentaan vs longitudinaal

(-Inf,0] (0.25,0.5] (0.75,1]

Alles

0200

500

(-Inf,0] (0.25,0.5] (0.75,1]

Onvold

010

20

30

40

(-Inf,0] (0.25,0.5] (0.75,1]

Vold0

100

200

(-Inf,0] (0.25,0.5] (0.75,1]

Goed

050

150

Verdeling fractie paginas met goedscore

Piwik is erg nuttig

Door koppeling van gebruik aan toetsdatakrijgen we nuttige informatie over hoe studenten met het systeem omgaan

Dit levert ons kennis om◦ Het systeem aan te passen: andere openingspagina

◦ Instructie te verbeteren: omgaan met cumulatieve, scoresoorten, ect

We gaan door met meten om longitudinale effecten te kunnen meten

Je moet veel tools aan elkaar koppelen –kennis van (script)talen (php, perl, sql, R) is daarbij handig

Werken met R bleek handiger dan met mooie intractieve tools als RapidMiner, Knime en ook PROM 6.1

Privacy: mogen we dit zomaar allemaal doen?