1

Neemt de kennis van onze studenten toe?

Een analyse van de kennisgroei op basis van VGT scores

Marieke van Onna

&

Samantha Bouwmeester

2

Toetsen van Kennis

• Bij de meeste (psychologie) opleidingen is het onduidelijk hoeveel en wat studenten hebben bijgeleerd na drie jaar studie en wat hun eind-niveau is.

• M.b.v. onze voortgangstoets (VGT) kunnen we de kennisgroei van studenten (enigszins) in kaart brengen en bepalen wat het (eind)niveau is na twee (…) jaar.

3

Doelen VGT

Volgens Rademakers et al. (2005):- De inhoud is niet gerelateerd aan een specifieke cursus

of blok.- De test reflecteert de einddoelen van het curriculum als

geheel.- De test wordt voor een bepaalde periode herhaaldelijk

afgenomen.

4

Meten van kennisgroei

• Blake et al. (1996) liet zien dat de VGT-score van medicijnenstudenten een groei doormaakten van 15% correct bij eerste afname naar 45% correct bij 8e afname.

• De onderzoekers berekenden een gemiddelde groeicurve en lieten zien dat de groei sterker was in de eerste helft van het curriculum dan in de tweede helft.

• Wij vroegen ons af of we een dergelijke trend ook waar konden nemen bij psychologiestudenten.

• Echter, mogelijk is een gemiddelde curve niet zo’n goeie samenvatting van groei omdat studenten mogelijk op verschillende manieren groeien (leerstrategie, studeertijd, etc.).

5

Statistische analyses• Latent Class Regression Model: onderscheidt klassen die

verschillen wat betreft de groeicurve.

)(xp

)|()()( xfxpfx yy

)|( xf yKans dat een subject tot bepaalde klasse behoort.

Kans op een bepaald responsepatroon, gegeven klassenlidmaatschap

41

38

34

28

26

25

21

7

6

5

4

3

2

1

t

t

t

t

t

t

t

obsy

6

Ongerestricteerd (voor iedere afname in iedere klasse een parameter).

)|xf(yt

xx |1|0

txx |1|0

Lineaire restrictie (de groeicurve is een rechte lijn).

Kwadratische restrictie (de groeicurve is een kwadratische functie).

2|2|1|0 tt xxx

7

• Steekproef bestond uit 106 studenten die in sep. 2003 gestart zijn en het drie-jarige programma in drie jaar beëindigd hebben.

• De scores van 7 afnames werden meegenomen (laatste afname was hoogste score in 3e jaar).

8

9

Resultaten

- 4 klasse oplossing met kwadratische restrictie bleek het beste te passen.

- Verklaarde variantie was .81 (vgl. 1 klasse kwadratische oplossing: .53).

- Percentage classificatie fouten was 6%.

10Xnormscore

11

Wat zien we:

- 4 klassen verschillen wat betreft niveau en niet zozeer wat betreft vorm van de groeicurve.

- Vanaf tweede afname kunnen de klassen onderscheiden worden.

- 60% van de studenten groeit in pakweg 2 jaar van 11% naar 28% correct (goed minus fout maar fout is te verwaarlozen…)

12

13

Lastige dingen bij het meten van de voortgang m.b.v. VGT

• We nemen telkens een nieuwe VGT af met nieuwe items en nemen (stiekum) aan dat deze VGT’s inwisselbaar zijn.

• We nemen aan dat de VGT-items een representatieve steekproef vormen van het hele domein items maar dat is misschien niet zo.

• Omdat de test zo heterogeen is, is het moeilijk om de totaalscore te interpreteren.

• Bij de huidige scoring (-1,0,1) is het goed mogelijk dat de testscore voor een deel bestaat uit een “kennisscore” en voor een deel uit “neiging-tot-gokken-score”.

• Het blijkt dat het overgrote deel van de studenten slechts de items beantwoorden van de blokken die ze gevolgd hebben.

14

Discussie

• Wat is de doelstelling van de VGT?(en halen we die?)