110PEDAGOGISCHE

STUDIËN

2009 (86) 110-129

Samenvatting

Zowel in de onderwijspraktijk als in het on-

derwijsonderzoek worden allerlei soorten

methoden gebruikt om de leerstrategieën van

lerenden vast te leggen. Deze kunnen grofweg

worden ingedeeld in methoden die de leer-

strategieën los van de leertaak meten (offline-

methoden, zoals leerstrategievragenlijsten)

en methoden die dat tijdens de uitvoering van

de leertaak doen (online-methoden, zoals de

hardopdenkmethode). Dit artikel beschrijft

wat verstaan wordt onder leerstrategieën en

waarom we die zouden willen meten. Vervol-

gens wordt informatie gegeven over verschil-

lende soorten methoden voor de meting van

leerstrategieën. Hierbij wordt aandacht be-

steed aan de vraag in hoeverre we met deze

meetmethoden een helder en accuraat beeld

kunnen krijgen van de leerstrategieën van le-

renden. Ook gaat het artikel in op vergelijkend

methode-onderzoek. Er worden verscheidene

verklaringen gegeven voor de vaak lage cor-

relaties tussen meetresultaten van offline- en

online-methoden. Verder wordt ingegaan op

methodologische en praktische overwegingen

bij het kiezen van een geschikte meetmetho-

de. Afsluitend wordt een aantal vragen gepre-

senteerd die men zou kunnen stellen alvorens

een keuze te maken uit de verschillende meet-

methoden. Benadrukt wordt dat men zich

vooral moet afvragen welke leerstrategieën

men wil meten en met welk doel.

1 Inleiding

Al jarenlang is er in het onderwijs aandachtvoor de leerstrategieën van lerenden en deverbetering daarvan. Vooral voor het voort-gezet en hoger onderwijs zijn er vele hand-leidingen en cursussen over de verbeteringvan leerstrategieën beschikbaar. Ook op hetInternet is hierover steeds meer informatie tevinden (zie voor internetlinks bijvoorbeeld:http://www.leren.nl/cursus/leren_en_studeren

of http://www.bucks.edu/~specpop/Actfrm.htm). In het onderzoek van het onderwijsvormen de leerstrategieën van lerenden even-eens een belangrijk onderwerp.

Zowel in de onderwijspraktijk als in hetonderwijsonderzoek worden allerlei meet-methoden gebruikt om leerstrategieën van lerenden te meten. Leerlingbegeleiders endocenten gebruiken bijvoorbeeld leerstra-tegievragenlijsten of observatiegegevens omleerlingen te selecteren die extra begeleidingnodig hebben. En onderzoekers gebruikenbijvoorbeeld de hardopdenkmethode ommeer inzicht te krijgen in de leerstrategieënvan lerenden tijdens het uitvoeren van eenbepaalde leertaak. Beide groepen gebruikersvragen zich echter ook regelmatig af welkemeetmethode voor hun situatie het meest geschikt is. Om hun enige achtergrondinfor-matie te verschaffen die voor de keuze vaneen geschikte meetmethode van belang kanzijn, is dit artikel geschreven.2

In de volgende paragrafen zal eerst be-schreven worden wat onder leerstrategieënwordt verstaan, en waarom men deze zou wil-len meten. Dan volgt een beschrijving van ver-schillende soorten methoden om leerstra-tegieën van lerenden te meten. Hierbij zal aan-dacht worden besteed aan de vraag of we metde betreffende meetmethode een helder beeldkrijgen van de leerstrategieën die lerendenhanteren. Vervolgens zal ingegaan worden opvergelijkend onderzoek van meetmethoden(onderzoek waarin twee of meer meetmetho-den worden gebruikt) en op mogelijke verkla-ringen voor verschillen in resultaten met dezemeetmethoden. Verder wordt ingegaan op me-thodologische en praktische overwegingen diebij de keuze van een methode voor meting vanleerstrategieën aandacht verdienen. Afsluitendworden negen vragen gepresenteerd die menzou kunnen stellen alvorens een keuze temaken uit de verschillende meetmethoden.Benadrukt wordt, dat men zich vooral moet af-vragen welke leerstrategieën men wil metenen met welk doel.

Leerstrategieën meten. Soorten meetmethodenen hun bruikbaarheid in onderwijs en onderzoek1

B. H. A. M. van Hout-Wolters

111PEDAGOGISCHE

STUDIËN

2 Wat wordt verstaan onder leerstrategieën?

Voordat ingegaan wordt op de meetmetho-den, moet eerst duidelijk worden gemaaktwat hier onder leerstrategieën wordt verstaan.Kort gezegd zijn leerstrategieën: bepaaldecombinaties van doelgerichte leeractiviteitenvan de lerende (zie Van Hout-Wolters, 1992),ofwel in termen van Rachel, Daigle Rachel(2007, p. 192): “learning strategies refer tomethods and techniques used by students toimprove learning.”

Een lerende kan allerlei strategieën ge-bruiken om het leren te verbeteren. Deze zijnterug te vinden in een veelheid van inde-lingen en overzichten van leerstrategieën diede afgelopen jaren in allerlei publicaties zijnverschenen. We noemen hier als voorbeeld deindelingen van Alexander (2006), Boekaertsen Simons (1995), Garcia en Pintrich (1994),Pintrich (2004), Vermunt (1998), Weinsteinen Hume (1998), Winne en Hadwin (1998)en Zimmerman (1994). Dikwijls wordt hier-bij een onderscheid gemaakt tussen cogni-tieve, metacognitieve en affectieve leerstrate-gieën: • Cognitieve leerstrategieën zijn bijvoor-

beeld: selecteren, herhalen, analyseren,relateren en structureren van leerstof.

• Metacognitieve leerstrategieën zijn ge-richt op het oriënteren, plannen, zichzelfbewaken, bijsturen, evalueren en reflec-teren tijdens het leren.

• Affectieve leerstrategieën geven aan datleren ook een emotioneel gebeuren is. Be-nodigde strategieën zijn bijvoorbeeld:zichzelf motiveren, concentreren, zichzelfbelonen en het zelfvertrouwen op peilhouden.

Naast indelingen in cognitieve, metacogni-tieve en affectieve leerstrategieën, zijn er in-delingen die uitgaan van strategieën die de lerende vóór, tijdens en ná een leertaak han-teert. Voorbeelden hiervan zijn: vooraf oriën-teren op de leertaak en doelen kiezen; tijdenshet leren structuren van de leerstof en con-cluderen; en na de leertaak evalueren en zich-zelf belonen. In Van Hout-Wolters, Simonsen Volet (2000) wordt deze laatste indelinggecombineerd met de eerder genoemde inde-ling in cognitieve, metacognitieve en affec-

tieve strategieën, resulterend in een lijst vanvijfenveertig verschillende leerstrategieën(zie Appendix 1).

Het bovenstaande illustreert dat er veleleerstrategieën te onderscheiden zijn en datdeze onderling sterk kunnen verschillen.Wanneer men leerstrategieën wil gaan metenis het daarom van belang helder voor ogen tehebben welke leerstrategieën men precies wilmeten. Wat in de schoolpraktijk, maar ook inonderzoek, regelmatig gebeurt, is dat men tesnel een bepaald meetinstrument kiest, bij-voorbeeld een vragenlijst. Men loopt dan hetrisico dat men andere strategieën gaat metendan eigenlijk de bedoeling is, of waaraan inde lessen aandacht is besteed.

3 Met welke doelen wil men leerstrategieën meten?

Er zijn allerlei redenen waarom men inzichtwil krijgen in de leerstrategieën van lerenden.De verschillende doelen die men kan hebbenbij het meten van leerstrategieën zijn in driecategorieën onder te brengen: • Diagnose van leerstrategieën. Bij diag-

nose is het doel informatie te verkrijgenover de sterke en zwakke kanten van deleerstrategieën van lerenden. Op basishiervan kunnen individuele lerenden bij-voorbeeld het advies krijgen om een be-paalde cursus te volgen of zelf aan hunstudieaanpak te werken (zie bijvoorbeeldhttp://vsm.cs.utwente.nl ). Omdat op basisvan deze diagnostische metingen regel-matig beslissingen worden genomen overindividuele lerenden, is het van belang teweten of het meetinstrument genormeerdis. Men moet weten wanneer iemand heelgoed is in de beheersing van een bepaaldeleerstrategie en welke tussenstadia van bekwaamheid te onderscheiden zijn (voorverschillende leeftijden, schooltypen,etc.). Van veel leerstrategie-vragenlijstendie in Appendix 2 genoemd zijn, zijn nor-meringsgegevens voor bepaalde school-soorten of leeftijdscategorieën beschik-baar.

• Evaluatie van begeleiding of onderwijs inleerstrategieën. Tijdens of aan het eindvan de begeleiding of het onderwijs in

112PEDAGOGISCHE

STUDIËN

leerstrategieën kan worden vastgesteld ofde gestelde tussendoelen of einddoelenbereikt zijn (zie bijv. Mevarech & Fridkin,2006). Als de leerstrategieën tot de alge-mene of vakspecifieke onderwijsdoelenbehoren, zoals in het Nederlandse voort-gezet onderwijs het geval is, ligt het voorde hand dat deze, evenals andere onder-wijsdoelen, expliciet getoetst worden.Toetsing van leerstrategieën als onder-wijsdoel vindt in het Nederlandse enVlaamse onderwijs echter slechts op be-perkte schaal plaats.

• Onderzoeksdoelen. Als men niet de be-doeling heeft een oordeel of waardering teverbinden aan de meting van leerstrate-gieën van lerenden, maar deze alleen wilvastleggen (constateren), vindt er eenniet-evaluatieve meting plaats. Dit is inwetenschappelijk onderzoek vaak hetgeval, bijvoorbeeld als men wil wetenwelke specifieke leerstrategieën gerela-teerd zijn aan de leerresultaten bij een be-paald type leertaak of vak (zie bijv. Vrugt& Oort, 2008).

De verschillende doelen kunnen verschillen-de voorwaarden opleveren waaraan de meet-methoden moeten voldoen. Zeker als opgrond van de meting besluiten moeten wor-den genomen over individuele lerenden, die-nen hoge eisen gesteld te worden aan de betrouwbaarheid, validiteit en normering vande meetmethode. Ook kunnen er praktischevoorwaarden zijn, waaraan de meetmethodenmoeten voldoen, zoals bijvoorbeeld de ge-schiktheid voor gebruik in de klas (groeps-afname). Voordat op deze methodologischeen praktische overwegingen wordt ingegaan(zie Paragraaf 6 en 7), wordt nu eerst eenoverzicht gegeven van soorten methodenvoor de meting van leerstrategieën.

4 Soorten methoden voor metingvan leerstrategieën

Aansluitend aan genoemde doelen en over-zichten van leerstrategieën is er in de loop derjaren een ruime hoeveelheid meetmethodenontwikkeld. Deze methoden verschillen in al-lerlei opzichten. Vaak wordt een onderscheidgemaakt in twee groepen meetmethoden:

online- en offline-methoden. Dit is een prak-tisch onderscheid dat aangeeft of de metingplaatsvindt tijdens het leren van de lerende(online), of los daarvan (offline, dus als de lerende niet aan het leren is). Tot de offline-methoden behoren: leerstrategievragenlijs-ten, mondelinge interviews, stimulated recall-methoden, en portfolio’s. Tot de online-methoden behoren: de hardopdenkmethode,oogbewegingsmeting, de computer-logfile-methode, gedragsobservatie, trace-analyse,en performance assessment. In deze para-graaf wordt een korte beschrijving gegevenvan de verschillende soorten methoden, metenkele voor- en nadelen en discussiepunten.

4.1 Offline-methoden: meting van leer-strategieën los van de taakuitvoering

VragenlijstenVragenlijsten zijn de meest gebruikte metho-den om leerstrategieën te meten. In leerstra-tegievragenlijsten krijgen lerenden vragen ofuitspraken voorgelegd die betrekking hebbenop hun leeractiviteiten tijdens het leren,waarbij het antwoord vaak op een 3-, 5-of 7-puntsschaal moet worden ingevuld. Eenvragenlijst kan speciaal zijn afgestemd opeen bepaald schoolvak of een bepaalde leer-taak. Er wordt echter veel gebruik gemaaktvan algemene, generaliserende vragenlijsten,die bedoeld zijn om vast te leggen hoe een lerende gewoonlijk te werk gaat bij het stu-deren (aptitude-vragenlijsten, zie Winne &Perry, 2000). Soms wordt daarbij vermeld dathiermee de ‘leerstijl’ van de lerende wordtgemeten, ofwel tamelijk vastliggende ten-denties in de te gebruiken leerstrategieën. InNederland wordt met name de ILS, de Inven-taris Leerstijlen, veel gebruikt (versies voorho en vo, Van Rijswijk & Vermunt, 1987;Roosendaal & Vermunt, 1996) en daarnaastde VSM, de Vragenlijst Studiemethoden(Oosterhuis-Geers, 1998) die op internet beschikbaar is (http://vsm.cs.utwente.nl).Veel gebruikte vragenlijsten in het buiten-land zijn de MSLQ, de Motivated Strategiesfor Learning Questionnaire (Duncan & McKeachie, 2005; Pintrich, Smith, Garcia, &McKeachie, 1993) en de LASSI, de Learningand Study Strategies Inventory (Weinstein &Palmer, 2002).

113PEDAGOGISCHE

STUDIËN

Van de ruime hoeveelheid vragenlijstendie in Nederland en het buitenland beschik-baar is, worden er in Van Hout-Wolters(2000) een twintigtal beschreven (zie een geactualiseerde versie in Appendix 2, geba-seerd op de literatuurstudie zoals vermeld inNoot 2). Zowel in de onderwijspraktijk als inhet onderzoek worden echter regelmatignieuwe vragenlijsten geconstrueerd, op basisvan items of schalen van bestaande vragen-lijsten. Ook worden vragenlijsten aangepastom ze geschikt te maken voor een speciale situatie of specifiek doel. Daarnaast wordenbuitenlandse vragenlijsten soms vertaald enop de Nederlandse situatie afgestemd (ziebijv. voor de MSLQ, Blom & Broekkamp,2003; Severiens, 1999). De laatste jaren wor-den ook specifieke metacognitievragenlijstengebruikt, die niet op het brede scala van leer-strategieën zijn gericht, maar alleen op demeting van metacognitieve aspecten daar-van3 (zie bijv. Elshout-Mohr, Van Daalen-Kapteijns, & Meijer, 2004; De Jager, 2002).

Een ander soort vragenlijsten vormen dezogenaamde learner reports, oorspronkelijkafkomstig van De Groot (zie Van Kesteren,1993). Hierbij hebben de items de vorm vanopen afmaakzinnen (bijvoorbeeld “Ik heb ge-leerd, hoe ik...”). Lerenden reflecteren hierop hun leerervaringen en aanpak (zie ookJanssen, Ten Dam, & Van Hout-Wolters,2002).

Al deze vragenlijsten verschillen in doel,inhoud, doelgroep, type vragen/uitspraken,aantal schalen en items, invultijd, betrouw-baarheid en validiteit. Ze hebben echter ge-meen dat men via schriftelijke verbale rap-portage door lerenden inzicht tracht tekrijgen in hun cognitieve, metacognitieveen/of affectieve leerstrategieën.

Als men leerstrategieën gaat meten metvragenlijsten, gelden als voordelen dat de lerenden tijdens hun leeractiviteiten niet ge-stoord worden, en dat de dataverzameling enscoring meestal eenvoudig zijn en weinig tijdkosten, ook voor grote groepen lerenden. Eennadeel is echter dat de lerenden allerlei leer-activiteiten vergeten kunnen zijn, of ze wel-licht te onbelangrijk vinden om te vermelden.Ook kunnen ze leeractiviteiten noemen diehelemaal niet hebben plaatsgevonden. Verderkan een lerende zich niet bewust zijn van uit-

gevoerde leeractiviteiten, of niet in staat zijntot de reflectie die voor het invullen van eenvragenlijst nodig is (zoals bij jonge kinderen,zie Perry & Winne, 2006). Een ander punt isdat uit het antwoord op de vragenlijst nietduidelijk is met wie de lerende zich vergelijkt(bijvoorbeeld als hij invult dat hij zichzelfvéél of weinig vragen stelt tijdens het stu-deren, zie Veenman, Prins, & Verheij, 2003).Tevens kan sociale wenselijkheid een rol spe-len bij de beantwoording. Met andere woor-den, er kunnen vraagtekens geplaatst bij devaliditeit van de gegevens die met vragenlijs-ten zijn verzameld (zie ook Prins, Busato,Elshout, & Hamaker, 1998; Veenman, 2005).Men zou kunnen zeggen dat vragenlijsteneerder de perceptie van de lerenden op hunleerstrategieën meten dan de werkelijkplaatsvindende leeractiviteiten (zie Elshout-Mohr et al., 2004; Perry & Winne, 2006).

Een belangrijk punt is verder dat algeme-ne generaliserende vragenlijsten, zoals deILS en de MSLQ niet zijn afgestemd op despecifieke studeersituatie of leertaak van delerende (zie onder andere Weinstein &Meyer, 1996). Als men de gebruikte leer-activiteiten bij een specifiek schoolvak of eenbepaalde leertaak wil vastleggen, zullen devragen of beweringen in de vragenlijst daarook expliciet naar moeten verwijzen.

Mondelinge interviews en stimulated recall-methoden In mondelinge interviews kan men na afloopvan een concrete studeertaak aan de lerendevragen wat hij of zij deed en dacht tijdens diestudeertaak. Het interview kan een meer ofminder gestructureerde vorm hebben. Menkan bijvoorbeeld werken met een gedetail-leerd interviewschema, maar ook met al-gemene open vragen (bijv. “Hoe heb je hetaangepakt?”). Om de lerende tijdens de inter-views te helpen bij de herinnering, kunnenvideo-opnamen van de taakuitvoering ge-toond worden: de stimulated recall-methode(zie bijv. Busse & Borromeo Ferri, 2003).Bovendien kunnen studeeraantekeningen vande lerende de herinnering stimuleren (Garner,1988). Een andere interviewvorm is het hy-pothetische interview, waarin lerenden eenkorte beschrijving van een leertaak krijgenvoorgelegd, waarbij ze de vraag krijgen te

114PEDAGOGISCHE

STUDIËN

vertellen hoe zij die taak zouden aanpakken.Hierbij is het van belang dat de betreffendeleertaak representatief is voor de leertakenwaarnaar men wil generaliseren.

In tegenstelling tot interviews die gerichtzijn op leerstrategieën bij specifieke leer-taken, kan een interview ook een algemenerkarakter hebben; men kan vragen hoe de lerende in het algemeen te werk gaat bij het studeren (bijv. Marton, Watkins, & Tang,1997; Vermunt, 1992).

Omdat interviews meestal individueelworden afgenomen, kost dit veel meer tijddan het afnemen van schriftelijke vragenlijs-ten in groepsverband. Ook de dataverwer-king, die kwantitatief of kwalitatief en theo-riegestuurd (top down) of inductief (bottomup) kan plaatsvinden, neemt vaak veel tijd inbeslag. Een mogelijk voordeel vergelekenmet schriftelijke vragenlijsten is, dat men kandoorvragen op antwoorden van de lerende,hoewel dat de lerende ook teveel kan sturen.Verder gelden dezelfde voor- en nadelen alsbij de vragenlijsten.

Portfolio’sDe laatste jaren wordt er steeds meer gebruikgemaakt van portfolio’s: een verzamelingvan eigen producten van de lerende over eenbepaalde tijdsperiode. Portfolio’s zijn be-doeld om leeractiviteiten via leerproductenzichtbaar te maken. De lerenden laten hier-mee zien wat ze weten en kunnen, wat ze be-langrijk vinden, welke aanpak bij hen hoort,wat ze nog zouden willen leren en welke ont-wikkeling ze doormaken. De bedoeling ismeestal dat de lerenden de in aanmerking ko-mende producten zelf verzamelen, deze se-lecteren, daarop reflecteren en ze aan hunmedelerenden presenteren (Driessen, Beijaard,Van Tartwijk, & Van der Vleuten, 2002; VanKammen, 1999; Mansvelder-Longayroux,Beijaard, & Verloop, 2002). Het is daarbij belangrijk dat ze iets kunnen zeggen over debetekenis van de producten voor henzelf, bij-voorbeeld over hoe hun aanpak was en wat zeervan geleerd hebben. In die zin kunnen port-folio’s ook informatie geven over hun leer-strategieën en kunnen ze deze stimuleren (zieElshout-Mohr et al., 2004).

Hambleton (1996) geeft aan dat een port-folio voor de lerende zelf veel face-validiteit

heeft en dat het waardevolle informatie kangeven over de vooruitgang van de lerende. Erzijn echter nog veel vragen onbeantwoord,bijvoorbeeld vragen over de te hanteren crite-ria voor de selectie en de beoordeling van deproducten in de portfolio. Ook is het de vraagof we hiermee een accuraat beeld kunnenkrijgen van de leerstrategieën van de leren-den.

4.2 Online-methoden: meting van leer-strategieën tijdens de taakuitvoeringOnline-methoden meten de leerstrategieën ophet moment dat de lerende de leertaak uit-voert. Dit gebeurt door registratie van verbaleuitingen van de lerende (hardopdenkmetho-de) of van uiterlijk waarneembaar gedrag(oogbewegingsmetingen, gedragsobservatie,etc.).

Hardopdenk-methode Een veel gebruikte methode is de hardop-denkmethode. Hierbij wordt aan de lerendegevraagd om tijdens het studeren hardop telezen en te denken (zie bijv. Pressley & Af-flerbach, 1995; Royer, Cisero, & Carlo,1993). Soms wordt gevraagd dit niet continute doen, maar alleen bij bepaalde gemarkeer-de punten in de studietekst, of in de tijd. Eenvariant van de hardopdenkmethode vindtplaats bij samenwerkend leren, waarbij mende discussie registreert tussen twee of meerlerenden die samenwerken aan een leertaak(zie bijv. Van der Linden, Erkens, Schmidt, &Renshaw, 2000; Pijls, Dekker, & Van Hout-Wolters, 2007). Voor de analyse en interpre-tatie van de verkregen gegevens worden ge-detailleerde analyseprotocollen opgesteld diedoor meer beoordelaars gescoord worden.Deze methode wordt vooral in wetenschap-pelijk onderzoek toegepast, maar toch ookwel in het onderwijs (met name het lees-onderwijs) en de diagnostiek (met name bijremedial teaching, zie Veenman, 2003).

Een voordeel van de hardopdenkmethodeis dat deze informatie geeft over de leeracti-viteiten op het moment dat ze plaatsvinden,zodat er weinig informatie verloren kan gaan.Een eerste nadeel lijkt te zijn dat het hardopdenken de leeractiviteiten kan verstoren tij-dens de taakuitvoering. In het algemeen blijktdat echter niet het geval (zie bijv. Ericsson &

115PEDAGOGISCHE

STUDIËN

Simon, 1980, 1993). Bij jonge kinderen lijktde methode echter moeilijker toepasbaaromdat hun verbale vaardigheid hiervoor nogonvoldoende zou zijn. Als echter de taak niette moeilijk voor hen is, kunnen zij het wél (ziebijv. Schellings, Aarnoutse, & Van Leeuwe,2006). Ook lijkt het hardop denken te inter-fereren met de taakuitvoering als slechts opbepaalde momenten hardop gedacht moetworden. Verder blijkt hardop denken lastig tezijn bij gemakkelijke (routine) taken, omdatgeautomatiseerde denkprocessen moeilijkgeverbaliseerd kunnen worden. Andere na-delen zijn de tijdsintensieve, individuele dataverzameling. Ook de analyse van de ge-gevens door beoordelaars is niet eenvoudig.Met name de keuze van een geschikt codeer-systeem, de vaststelling van de te scoren pro-tocoleenheden en de interpretatie daarvan,kunnen voor beoordelaars problemen opleve-ren.

Oogbewegingsmeting, computer-logfiles en andere frequentie- en tijdmetingenVooral voor onderzoeksdoeleinden wordt microgedrag van lerenden vastgelegd om inzicht te krijgen in de leerstrategieën van lerenden.

Oogbewegingsregistraties kunnen ge-bruikt worden om lees- of oplossingsstrate-gieën van lerenden zeer gedetailleerd vast te leggen (zie bijv. Rayner, 1997; Vonk & Cozijn, 2003). Hiermee kan nagegaan wor-den welke gedeelten van een studietekst ofopgave langer en vaker worden bestudeerddan andere gedeelten en in welke volgorde zebestudeerd worden.

Omdat men bij onderzoek naar leerstrate-gieën meestal geen precieze registraties opletterniveau nodig heeft, maar eerder opwoordgroep-, zins- of paragraafniveau, zijnandere frequentie- en tijdmetingen ontwik-keld. Hierbij wordt bijvoorbeeld door leren-den met een elektronische pen gewerkt omtekstregels of figuren aan te wijzen (zie VanHout-Wolters, 1990) of wordt de studietekstof opgave computergestuurd op beeldschermgepresenteerd. In computer-logfiles wordtdan, meestal op basis van het ‘klikgedrag’van de lerende, geregistreerd hoe lang, hoevaak en in welke volgorde er naar tekstge-deelten en andere presentaties wordt gekeken

(zie bijv. Royer et al., 1993; Veenman, Wil-helm, & Beishuizen, 2004; Winne, Jamieson-Noel, & Muis, 2002).

Voordelen van deze methoden zijn datmen metingen kan verrichten tijdens de taak-uitvoering, en dat ze toch relatief gemakke-lijk toepasbaar zijn bij grotere groepen leren-den. Ook wordt met de huidige versies vandeze registratiemethoden het leerproces nietof nauwelijks gestoord (ook niet bij oog-bewegingsregistratie). Een nadeel is dat zealleen kwantitatieve gegevens over leesvolg-orde, frequentie en leestijd opleveren, diehooguit indicaties kunnen geven over plaats-vindende cognitieve en metacognitieve acti-viteiten. Voor de analyse van de gegevenszullen dus verantwoorde interpretatiekadersbeschikbaar moeten zijn.

Gedragsobservatie en trace-analyseVia gedragsobservatie kan men informatiekrijgen over allerlei uiterlijke aspecten vanhet studeren, zoals hoofdbewegingen, blik-richting, verandering in zithouding en gezichtsuitdrukking. Men kan echter ook vastleggen of de lerende onderstreept, aan-tekeningen maakt, een bladzijde omslaat ofandere bronnen raadpleegt. Een observatorkan deze activiteiten registreren op het mo-ment dat de lerende studeert (online-registra-tie). Omdat dit storend kan werken, kan mende lerende ook op video opnemen om later deobservaties uit te voeren (offline-registratie).De observatiemethode wordt vooral bij jongekinderen gebruikt, omdat zij moeilijker zou-den kunnen verbaliseren over hun leeractivi-teiten (Winne & Perry, 2000).

Een voordeel van de observatiemethode isdat de lerende op een normale manier metnormaal studiemateriaal kan studeren. Bo-vendien kunnen op deze manier de zichtbareemoties van de lerenden geregistreerd wor-den. Uitingen van onbegrip, verveling, inte-resse en afleiding kunnen verklaren waarombepaalde leeractiviteiten meer of minder heb-ben plaats gevonden. Nadelen zijn dat ge-dragsobservatie en de scoring daarvan nogalarbeidsintensief zijn: er wordt gewerkt metgedetailleerde observatie- en coderingssche-ma’s en meerdere beoordelaars. Bovendienkunnen alleen gemakkelijk waarneembareactiviteiten geregistreerd worden, die slechts

116PEDAGOGISCHE

STUDIËN

indicaties kunnen geven over plaatsvindende(meta)cognitieve en affectieve processen.

Naast observatie kan er ook trace-analyseplaatsvinden: een analyse van door lerendenaangebrachte traces, ofwel externe verwer-kingsproducten als onderstrepingen, marke-ringen, schema’s en aantekeningen (zie bijv.Bråten & Samuelstuen, 2007). Deze geveninformatie over de manier waarop de lerendede inhoud van de tekst of de opgave(meta)cognitief en soms ook affectief heeftverwerkt. Door Perry en Winne (2006) wor-den traces ruimer opgevat. Ook logfiles vancomputerhandelingen, bijvoorbeeld het kie-zen van een optie uit een menu, horen vol-gens hen hieronder (zie ook de vorige para-graaf). Voor registratie en analyse van allerleisoorten traces ontwikkelden zij de softwaregStudy. Toch is het niet eenvoudig om tracesgoed te interpreteren. Onderstrepingen en andere markeringen bijvoorbeeld, kunnenom verschillende redenen plaatsvinden, met de daaraan gerelateerde verschillen in(meta)cognitieve activiteiten (zie Schellings& Van Hout-Wolters, 1995). Een voordeelvan trace-analyse is echter dat men concreteexterne verwerkingsproducten en acties vande lerende heeft, behorend bij bepaalde leer-taken. De analyse en interpretatie daarvan zalgerelateerd aan die leertaken moeten plaats-vinden.

Meting van leerstrategieën met concrete studeertaken (‘performance assessment’)Bij performance assessment moeten de le-renden hun verworven vaardigheden demon-streren door uitvoering van een concrete taak,zoals een leesopdracht om de vaardigheid inbegrijpend lezen te meten (zie onder andere.Hambleton, 1996; Solano-Flores & Shavel-son, 1997). Dit type leestoetsen zijn in hetleesonderwijs heel gebruikelijk.

Ook de beheersing van leerstrategieën zouop deze manier gemeten kunnen worden. Le-renden krijgen bijvoorbeeld een complexesamengestelde leertaak voorgelegd, waarbijwordt nagegaan tot hoever ze die goed kunnen uitvoeren. Ook kan men een reeks inmoeilijkheid toenemende leertaken gebrui-ken en vastleggen tot welke moeilijkheids-graad deze goed worden verricht. Verder kanmen taken geven die bedoeld zijn om speci-

fieke (meta)cognitieve vaardigheden temeten, zoals in de toets Alvabavo voor demeting van algemene vaardigheden in de basisvorming (zie Meijer, Elshout-Mohr, &Van Hout-Wolters, 2001).

Men kan dit type performance assessmentals een online-meetmethode zien, omdat tij-dens een concrete taak gemeten wordt.Omdat deze concrete taak echter niet de leer-taak is, maar de toetstaak, kan het ook als eenoffline-meting worden gezien. Als op basisvan dit type leertoetsen conclusies getrokkenmoeten worden over de beheersing van be-paalde leerstrategieën, worden hoge eisen ge-steld aan de te gebruiken leertaken. Belang-rijk zijn de specifieke keuze (representatievetaken?), de opbouw (welke denkstappen zijngewenst?) en de beoordeling (welke crite-ria?) van deze leertaken (zie Airasian, 1994;Van den Bergh, 2006; Popham, 1995).

Een andere vorm van meting van leerstra-tegieën met concrete taken vindt plaats alsmen lerenden niet alleen de opdracht geefteen concrete leertaak uit te voeren, maar ookexpliciet vraagt de denkstappen op te schrij-ven die ze hebben gezet bij de aanpak van dietaak (zie Van Hout-Wolters, 1992). Ook kande leertaak opgesplitst worden in afzonde-rlijke denkstappen, waarbij deze wordenweergegeven in deelopdrachten als “Beschrijfde oplossingsroute” of “Beschrijf de stappendie je gezet hebt voor het maken van deze sa-menvatting”. Met name bij de exacte vakkenin het voortgezet onderwijs is het gebruike-lijk dit soort vragen te stellen, maar voor me-ting van leerstrategieën wordt deze methodenog weinig toegepast.

5 Vergelijkend onderzoek naarmeetmethoden en verklaringenvoor verschillen in resultaten.

Zoals eerder vermeld, wordt er in de onder-wijspraktijk en het onderwijsonderzoek veelgebruik gemaakt van offline-methoden: me-thoden die leerstrategieën los van concreteleertaken meten. Er wordt vooral gewerktmet vragenlijsten. Dit gebeurt met nameomdat de online-methoden moeilijker ingroepsverband gebruikt kunnen worden ende dataverzameling en -verwerking arbeids-

117PEDAGOGISCHE

STUDIËN

intensiever is. Het is echter de vraag of dezeoffline-methoden ook iets zeggen over deleerstrategieën tijdens de leertaak. Doen le-renden tijdens het leren ook werkelijk wat zezéggen dat ze doen? Als zou blijken dat of-fline-methoden de leerstrategieën op een ac-curate manier kunnen meten, dan zou mendáárvoor kunnen kiezen, en niet voor de ar-beidsintensieve online-methoden.

De laatste jaren is er vergelijkend metho-de-onderzoek op dit terrein verricht. Hierbijwerden correlaties of andere relatiematen be-rekend tussen de verzamelde gegevens mettwee meetmethoden bij dezelfde lerende endezelfde leertaak. Veenman (2005) geeft eenoverzicht van vergelijkend onderzoek voormeting van metacognitieve strategieën. Ditoverzicht kan aangevuld worden met verge-lijkend onderzoek waarin ook cognitieveleerstrategieën gemeten zijn, zoals Busato(1998) en Verheul en Yang (1986), en metlater gepubliceerd onderzoek, zoals dat vanBannert en Mengelkamp (2008), Cromley enAzevedo (2006), Meijer (2006) en Sperling,Howard, Staley en DuBois (2004). Uit Veen-man (2005) en het juist genoemde onderzoekkomt het volgende beeld naar voren:• Vergelijkingen van online-methoden

geven in het algemeen onderling hoogcorrelerende resultaten. Dit is het gevalals twee hardopdenkmethoden gebruiktworden (kwantitatieve en kwalitatievescoring van dezelfde protocolfragmenten;correlaties van 0,80 tot 0,98), maar ookals hardop denken vergeleken wordt metgedragsobservatie en de logfile-methode(correlaties van 0,64 tot 0,89).

• Algemene vragenlijsten, die dus níet zijnafgestemd op een concrete leertaak ofschoolvak, vertonen lage correlaties methardopdenkmaten (correlaties van –0,07tot 0,22).

• Wél op de leertaak afgestemde vragenlijs-ten vertonen een variabel beeld als ze methardopdenk-maten worden vergeleken(correlaties van 0,10 tot 0,42)

Ook al is de hoeveelheid vergelijkend onder-zoek nog beperkt, toch kunnen de hoge cor-relaties tussen de online-methoden perspec-tieven bieden. Ze kunnen niet alleen ietszeggen over de sterkte van de hardopdenk-methode, maar ook iets over de mogelijk-

heden om deze in bepaalde situaties te ver-vangen door de logfile-methode, die minderingrijpend en arbeidsintensief is.

Dat de correlaties tussen de vragen-lijsten en hardopdenkmethoden duidelijklager liggen, kan in de eerste plaats liggenaan het feit dat men met offline-methodenminder greep kan krijgen op de leeractivi-teiten die de lerende tijdens de taakuit-voering werkelijk heeft uitgevoerd. In Para-graaf 4.1 werden verschillende kritische opmerkingen beschreven bij de vragenlijst-methode. Kort gezegd: leerlingen zoudenniet goed verbaal kunnen rapporteren overhun leeractiviteiten. Met deze verklaringworden offline-methoden, en met name vra-genlijsten, als minder valide meetinstru-menten gekwalificeerd. Er zijn echter ookandere verklaringsgronden voor de lagecorrelaties tussen online- en offline-metho-den, die meer aandacht verdienen. Daarmeezou rekening gehouden kunnen worden bijde keuze van een offline-methode en zoudeze methode wellicht in een minder nega-tief daglicht plaatsen.

5.1 Alternatieve verklaringen voor lage correlaties tussen offline- en online-methodenAlternatieve verklaringen voor de lage cor-relaties tussen offline en online methoden betreffen de mogelijkheid dat er bij deze me-thoden iets anders wordt gemeten. Het gaathierbij om twee aspecten: de gemeten leer-strategieën en de leertaak waarop de metingbetrekking heeft.

Een eerste verklaring is dat de te verge-lijken meetmethoden mogelijk gericht zijn opmeting van inhoudelijk verschillende leer-strategieën. In Paragraaf 2 zagen we dat ervele leerstrategieën te onderscheiden zijn endat deze onderling sterk verschillen. De vra-genlijst kan zich bijvoorbeeld meer richtenop oriënteren, structureren en evalueren, ter-wijl de hardopdenkprotocollen vooral ge-analyseerd worden op bijvoorbeeld plannen,monitoren, bijsturen en reflecteren. In datgeval zijn lage correlaties tussen beide meet-methoden niet zo verwonderlijk. Bij verge-lijkend methode-onderzoek zou het protocol-analyseschema van hardop denken naadloosaan moeten sluiten bij de items in de vragen-

118PEDAGOGISCHE

STUDIËN

lijst en dat is in het meeste verrichte onder-zoek niet het geval (zie bijv. Cromley & Aze-vedo, 2006).

Opgemerkt moet worden dat bij de be-schreven vergelijkende studies vaak slechtscorrelaties van totaalscores op de onderzoch-te meetinstrumenten zijn weergegeven. Wel-licht zouden correlaties tussen twee meetme-thoden anders uitvallen, als ook analyseszouden plaatsvinden op specifieke leerstrate-gieën, zoals al in 1986 door Verheul en Yangwerd gerapporteerd (op structureren was decorrelatie 0,56 tussen de vragenlijst- en hard-opdenkscores in hun eerste studie). Een ana-lyse van vergelijkend methode-onderzoek opspecifieke leerstrategieën zou dus aan te be-velen zijn (zie bijv. Bannert, 2008; Busato,1998; Prins et al., 1998).

Een tweede verklaring betreft de leertaak.De hardopdenkmethode meet de concreteaanpak van een specifieke leertaak. Als dezemethode met een vragenlijst vergelekenwordt, zal ook de vragenlijst op deze speci-fieke leertaak gericht moeten zijn. In Para-graaf 4.1 is beschreven, dat men in onder-zoek en praktijk veel gebruik maakt vanniet-taakspecifieke meetmethoden zoals deMSLQ, die de algemene studeeraanpak meet.Dat deze algemene vragenlijsten lage corre-laties vertonen met de hardopdenkmethodevalt dan ook te verwachten. Ook andere lagecorrelaties tussen offline- en online-metho-den kunnen toegeschreven worden aan hetfeit dat de meetmethoden wel of niet taak-specifiek zijn. Taakspecifieke meetmethodenzijn erop gericht de leerstrategieën van le-renden bij een bepaald schoolvak of bij eenbepaald type schooltaken vast te leggen.Taakspecifiek meten sluit ook aan bij opvat-tingen en onderzoek waaruit blijkt dat leer-strategieën van lerenden per type leertakenof vak verschillen. Lerenden zouden overeen repertoire aan leerstrategieën moetenkunnen beschikken, die ze afhankelijk vande leersituatie flexibel zouden moeten in-zetten (zie bijv. Broekkamp & Van Hout-Wolters, 2007; Hadwin, Winne, Stockley,Nesbit, & Woszczyna, 2001; Winne & Had-win, 1998). Met dit als uitgangspunt zijn metingen met algemene leerstrategievragen-lijsten weinig zinvol.

5.2 Consequenties voor de keuze vaneen meetmethodeDe juist genoemde verklaringen hebben con-sequenties voor de keuze van een meet-methode. De eerste verklaring – er wordenverschillende leerstrategieën gemeten – sluitaan bij Paragraaf 2. Als we een meetmethodekiezen of construeren is het van belang onsgoed af te vragen welke leerstrategieën pre-cies gemeten moeten worden, en niet auto-matisch een veel gebruikte vragenlijst te selecteren.

Aansluitend aan de tweede verklaringover de taakspecifiteit van de meting, moetbenadrukt worden dat het bij de keuze vaneen meetmethode belangrijk is te weten opwelke specifieke leertaak die gericht is. Bijvragenlijsten en interviews dient dit in de afzonderlijke vragen en in de voorafgaandeinstructie duidelijk weergegeven te worden.Zowel voor de online- als de offline-metho-den is het echter wel van belang dat de taakrepresentatief is voor de taken waarnaar menwil generaliseren. Als men bijvoorbeeld eenuitspraak wil doen over de leerstrategieënvan lerenden bij het vak natuurkunde in de 5e klas vwo, dient de specifieke natuurkunde-taak daar ook representatief voor te zijn.

Kortom, bij de keuze of constructie vaneen meetmethode is het van belang zich tebezinnen op de vraag over welke leerstrate-gieën en voor welk type leertaken de meet-methode uitspraken gaat doen.

6 Methodologische eisen en overwegingen bij meting van leerstrategieën

Of het nu om offline- of om online-metingengaat, of om algemene of taakspecifieke metingen, als men leerstrategieën goed wiltmeten, dan zullen de gebruikte methodenaan de standaardeisen van validiteit en be-trouwbaarheid moeten voldoen. De vraag isechter in hoeverre dat ook inderdaad geldtvoor de huidige methoden voor meting vanleerstrategieën, die in de onderwijspraktijken het onderwijsonderzoek worden ge-bruikt. Als ze niet aan deze eisen voldoen,loopt men het risico verkeerde conclusies

119PEDAGOGISCHE

STUDIËN

te trekken op basis van de uitgevoerde me-tingen. In deze paragraaf zal kort op dezefacetten worden ingegaan. Voor meer infor-matie wordt verwezen naar onder andereWinne en Perry (2000), Winne et al. (2002)en meer algemene methodologische litera-tuur (bijv. Cohen, Manion, & Morrison,2007).

6.1 Validiteit van de meting van leerstrategieënEen methode voor meting van leerstrategieënis inhoudsvalide als deze ook werkelijk meetwat hij pretendeert te meten. Dit punt sluitaan bij de vorige paragraaf (Welke leerstrate-gieën wil men meten, en voor welke leer-situatie?)

Het is ook belangrijk dat de meetmethodeconstructvalide is, ofwel dat de gemeten con-structen zijn terug te voeren op theoretischebegrippen. Zoals eerder beschreven (VanHout-Wolters, 2000), wordt door de makersen de gebruikers van meetmethoden lang nietaltijd aangegeven waarom de concrete me-tingen (de antwoorden in vragenlijsten/inter-views, uitgesproken gedachten, overte gedra-gingen, producten, etc.) indicatief zijn voorde te meten leerstrategieën. De ‘theorie’ ach-ter de meting ontbreekt dan.

Daarnaast is ook de convergente validiteitvan belang, waarbij verschillende meet-methoden voor dezelfde leerstrategieën, indezelfde situatie, positief met elkaar dienente correleren.

6.2 Betrouwbaarheid van de metingvan leerstrategieënIn feite geeft de betrouwbaarheid van eenmeetmethode aan dat de methode bij her-haling van de meting onder dezelfde om-standigheden, dezelfde resultaten dient op televeren. Het gaat om de consistentie ofwel destabiliteit van de meting. Voor de bepalingdaarvan wordt bij vragenlijsten vaak de split-half-methode gebruikt, waarbij de scores optwee helften van de vragenlijst met elkaar ge-correleerd worden. Als lerenden onderlingverschillende referentiepunten gebruiken bijde invulling (met wie vergelijken ze zich-zelf?), kan deze maat echter hoog uitvallen,terwijl er toch vragen gezet moeten worden

bij de betrouwbaarheid van de meetmethode(Veenman, 2005). Wat weinig gebeurt om de betrouwbaarheid van een meetmethode te bepalen, is een test-hertest-meting onderdezelfde omstandigheden.

Voor vaststelling van de betrouwbaarheidvan online-metingen, zoals hardop denken enobservaties wordt vaak de interbeoordelaars-betrouwbaarheid bepaald (een correlatiemaatof een overeenstemmingsmaat, zoals de be-kende Cohen’s κ). Een kritisch punt daarbijis hoe groot de analyse-eenheden zijn, diegescoord moeten worden. Verschillende een-heidgroottes kunnen verschillende resultatenopleveren en ook verschillende maten voorinterbeoordelaarsbetrouwbaarheid.

6.3 Een methodologisch discussie-punt: de meting als steekproef van mogelijk gedragSamenhangend met de validiteit en de be-trouwbaarheid is de generaliseerbaarheid vande metingen van belang. “Every measure-ment is a sample of behavior” hebben Winneen Perry (2000, p. 558) als uitgangspunt. Invragenlijsten en interviews zijn alle antwoor-den te beschouwen als selections of infor-mation from memory. Wat zijn de kenmerkenvan de historical database die de lerendedoorzoekt als hij een antwoord op de vragengeeft? Welke leersituatie heeft een lerendewél en níet voor ogen als hij een algemeneleerstrategievragenlijst invult? Hoe komt hijtot zijn score als het gaat om belangrijkheidof frequentie? Kortom, hoe kunnen we uitdeze gegevens conclusies trekken over zijnleerstrategieën?

Maar ook bij online-methoden zijn er dittype vragen. Als een lerende in een hardop-denksessie bijvoorbeeld niet rapporteert overeen bepaalde leeractiviteit (bijv. integrerenvan informatie), kan men zich afvragen: kánhij het dan niet, kan hij het wél maar komt hijniet op de idee om het te doen, of kan hij het wél maar besluit hij om het hier niet tedoen? Wat moet men concluderen? Een me-thodologisch discussiepunt is dus dat we nogte weinig weten over hoe meetmethoden totresponses leiden en hoe we die moeten inter-preteren.

120PEDAGOGISCHE

STUDIËN

7 Praktische overwegingen bij dekeuze van methoden voor metingvan leerstrategieën

De soorten meetmethoden die in dit artikelbeschreven zijn, verschillen in praktischebruikbaarheid. Zeker als docenten of leer-lingbegeleiders voor hun eigen schoolprak-tijk een meetinstrument willen kiezen, zal diepraktische bruikbaarheid een belangrijke rolspelen. In deze paragraaf wordt op enkele as-pecten daarvan ingegaan.

Doelgroep van de meting van leerstrate-gieën. Bij de keuze van een meetmethode isde leeftijd en de schoolsoort van de doel-groep van belang. Voor het hoger en voortge-zet onderwijs zijn bijvoorbeeld meer meet-methoden beschikbaar dan voor hetbasisonderwijs. Bij de beschrijving van deverschillende meetmethoden hebben we ookgezien dat bepaalde methoden minder ge-schikt zijn voor heel jonge kinderen, zoalsvragenlijsten en hardop denken.

Groeps- of individuele meting. In deschoolpraktijk en bij grootschalig onderzoekzal men vaak de voorkeur geven aan meet-methoden die voor groepsafname geschiktzijn, omdat afname in gehele klassen of gro-tere groepen veel minder tijd kost dan indi-viduele metingen. Met groepsmeting als uit-gangspunt vallen er heel wat meetmethodenweg, zoals mondelinge interviews, hardopdenken, oogbewegingsregistratie en ge-dragsobservatie. In feite blijven die meetme-thoden over waarbij geen mondelinge, maarschriftelijke of digitale informatie wordt ver-zameld, zoals bij vragenlijsten en logfile-metingen.

Arbeidsintensiviteit van dataverzamelingen verwerking. De verzameling en de ver-werking van de gegevens verschilt bij demeetmethoden nogal in arbeidsintensiteit.Mondelinge interviews, hardop denken engedragsobservatie zijn waarschijnlijk hetmeest arbeidsintensief. Voor de schoolprak-tijk en in grootschalig onderzoek vindt mendeze methoden dan ook vaak moeilijk bruik-baar. Als men wel een online-methode wilgebruiken, dan lijkt de logfile-methode watminder arbeidsintensief. Wat de offline-me-thoden betreft, geldt dat voor de vragenlijst.

Financiële aspecten. Samenhangend met

de twee voorgaande aspecten, spelen ook dekosten een rol bij de keuze van een meetme-thode. Het gaat dan niet alleen om personelekosten voor dataverzameling en -verwerking,maar ook om kosten van materiaal en appara-tuur. Voor stimulated recall is video-appara-tuur nodig, voor interviews en hardop denkenvoicerecorders, en voor logfile- en anderefrequentie-en tijdmetingen zijn computers enspecifieke software nodig. Voor oogbewe-gingsmeting is speciale apparatuur nodig, diewaarschijnlijk het duurst is.

8 Kiezen van een methode voor demeting van leerstrategieën: negente stellen vragen

In het voorafgaande zijn allerlei vragen aande orde geweest die overweging verdienenbij de keuze van een meetmethode voor leer-strategieën. Deze worden hier nog eens opeen rij gezet.1. Welke leerstrategieën wil men precies

meten?2. Wat is het doel van de meting?3. Wil men leerstrategieën bij een specifieke

leertaak meten of gaat het om een alge-mene, taakoverstijgende meting van leer-strategieën?

4. Wat is de doelgroep?5. Wil men de meting uitvoeren terwijl de le-

rende aan een leertaak werkt (online-me-ting), of los daarvan (offline)?

6. Wil men individueel of groepsgewijsmeten?

7. Aan welke methodologische eisen moetde meetmethode minstens voldoen?

8. Hoe arbeidsintensief mag de dataverza-meling en -verwerking zijn?

9. Wat zijn de financiële randvoorwaardenvoor dataverzameling, -verwerking en ap-paratuur?

Deze vragen kunnen als uitgangspunt enhulpmiddel gebruikt worden bij een keuze uitde vele beschikbare meetmethoden. Het isvan belang zich al deze vragen expliciet testellen om daarmee een zo verantwoord mo-gelijke keus te maken.

Het is daarbij goed zich te realiseren datiedere meetmethode zijn eigen kracht heeft.De hardopdenkmethode bijvoorbeeld, zit het

121PEDAGOGISCHE

STUDIËN

dichtst op de actueel plaatsvindende leeracti-viteiten van de lerende, waardoor een valideinterpretatie van de gegevens eenvoudiger isdan bij andere methoden. Maar iedere meet-methode heeft ook zijn eigen zwaktes. Voorde logfile-methode bijvoorbeeld, moet deleertaak op een computer gepresenteerd wor-den, wat niet altijd mogelijk of wenselijk is.Sowieso blijven er nog veel problematischekanten zitten aan de verschillende meetme-thoden, zoals beschreven in Paragraaf 4. Datlaatste is een reden waarom verschillende au-teurs een multi-method-aanpak aanraden,waarbij een combinatie van meetmethodenwordt gebruikt. De volgende paragraaf gaathierop in.

9 Een combinatie van meet-methoden als oplossing?

Ondanks de beschreven kanttekeningen bijde verschillende meetmethoden, zal men inonderwijs en onderzoek de leerstrategieënvan lerenden willen meten. Om zoveel moge-lijk aspecten hiervan in beeld te brengen,wordt steeds vaker aangeraden om gebruik temaken van een combinatie van meetmetho-den, kwantitatieve en kwalitatieve meetme-thoden, waarbij zowel offline- als online-in-formatie verzameld wordt. Met dezemulti-method-use, ook wel mixed methods oftriangulatie genoemd (Burke Johnson & On-wuegbuzie, 2004; Winne & Perry, 2000) zoumen van de kracht van de verschillende me-thoden kunnen profiteren, om een zo breedmogelijk beeld en zo diep mogelijk inzicht tekrijgen in de leerstrategieën van lerenden (zieSimpson, Hynd, Nist, & Burell, 1997; Wein-stein & Meyer, 1996; Winne & Perry, 2000;Winne et al. 2002). Weinstein en Meyer(1996) raden bijvoorbeeld, in aansluiting aanGarner (1988), aan verbale rapportagemetho-den (hardop denken, interviews, vragenlijs-ten) te combineren met het verzamelen vanleerproducten van studenten, zoals college-aantekeningen of een schriftelijke opdracht.Simpson et al. (1997) adviseren voor de eva-luatie van learning to learn-programma’s inhet hoger onderwijs zowel vragenlijst- en in-terviewgegevens te verzamelen als het actu-eel strategiegebruik van studenten te meten

bij een aantal verschillende vakken, en ditaan te vullen met hun studieresultaten en mo-tivatiegegevens.

Er zijn echter verschillende kanttekenin-gen te plaatsen bij de combinatie van metho-den voor meting van leerstrategieën. Ook alleveren meer methoden meer informatie op,het is de vraag in hoeverre men hiermee ver-der komt. Voor de interpretatie van de verkre-gen gegevens is het namelijk nodig om voor-af te weten wat iedere afzonderlijke methodenu precies meet (welke informatie die metho-de geeft over wélke leerstrategieën), en ofmen aan de ene methode meer waarde wilhechten dan aan de andere methode. Devraag is ook hoe men de verkregen gegevensmoet combineren. Het is dus van belangvooraf vast te stellen waarom men verschil-lende methoden gaat gebruiken. Verder is eenhelder interpretatiekader van belang voor deinterpretatie van de combinatie van gegevensbij multi-method-gebruik.

Wat echter zeker aan te raden is, is ver-gelijkend onderzoek naar meetmethoden:multi-method research (zie bijv. Garner,1988; Veenman, 2005; Winne & Perry,2000). Dan heeft men geen diagnose- ofevaluatiedoel, maar een onderzoeksdoel.Het doel is meer inzicht te krijgen in dekracht en de zwaktes van de verschillendemeetmethoden. Het gaat hierbij om onder-zoek zoals beschreven in Paragraaf 5, waar-bij men zich overigens niet zou moeten be-perken tot analyses op totaalscores vanmeetmethoden en tot correlatie-analyses.Hoge correlaties kunnen immers ook aanachterliggende factoren worden toegeschre-ven. Zoals gezegd, zou er bij de keuze en deconstructie van de te vergelijken meetme-thoden uitgegaan moeten worden van me-ting van dezélfde specifieke leerstrategieënin eenzélfde leersituatie. Op basis van dittype multi-method-onderzoek kunnen demeetmethoden verbeterd worden.

Pas als men weet wat de kracht is van deverschillende meetmethoden en wat ze pre-cies meten, kan aan een combinatie gedachtworden. Winne en Perry (2000) voorspel-len dat vorderingen in het multi-method-onderzoek ook meer theoretische inzichtenop het gebied van leerstrategieën zullen op-leveren.

122PEDAGOGISCHE

STUDIËN

10 Samenvatting en conclusie

In dit artikel wordt een overzicht gegeven vanverschillende soorten methoden om leerstra-tegieën van lerenden te meten. Benadruktwordt dat er vele leerstrategieën te onder-scheiden zijn en dat men voor de metingervan verschillende doelen kan hebben. Vaniedere methodesoort worden voor- en nade-len beschreven. Er wordt ingegaan op verge-lijkend onderzoek van meetmethoden, en opmogelijke verklaringen voor verschillen inresultaten met deze methoden. Een bekendeverklaring is dat offline-metingen van leer-strategieën mogelijk niet overeenkomen metde werkelijke, online plaatsvindende, leer-strategieën, omdat de lerende daarover nietgoed zou kunnen rapporteren. Een eerste al-ternatieve verklaring is dat de verschillendemeetmethoden vaak verschillende leerstrate-gieën meten, en dat dan ook geen hoge cor-relaties tussen meetmethoden te verwachtenzijn. Een tweede alternatieve verklaring is,dat veel offline-methoden, zoals algemenevragenlijsten en interviews, niet taakspeci-fiek meten, terwijl online-metingen dat perdefinitie wel doen. Deze alternatieve verkla-ringen bieden het perspectief dat het met devaliditeit van taakspecifieke leerstrategie-vragenlijsten wellicht niet zo slecht gesteld isals gedacht (zie ook Bråten & Samuelstuen,2007). Nader onderzoek zal dit moeten uit-wijzen. In het artikel worden verder metho-dologische eisen en praktische overwegingenbeschreven, die bij de keuze van meetmetho-den van belang zijn. Die praktische over-wegingen zullen zeker een rol spelen alsmeetmethoden gezocht worden voor de onderwijspraktijk. Er kunnen dan goede re-denen zijn om voor groepsmetingen te kiezen(hele klassen), en voor methoden die niet zo arbeidsintensief zijn. Methoden die danhet eerst in aanmerking lijken te komen zijnde taakspecifieke vragenlijst en de logfile-methode.

Wel is de conclusie van dit artikel, dat al-gemene vragen als “Welke meetmethodemeet leerstrategieën het best?” of “Welkemeetmethode is het meest aan te raden?” nietin zijn algemeenheid te beantwoorden zijn.Bij een keuze van een meetmethode is het inde eerste plaats belangrijk goed in kaart te

brengen welke leerstrategieën men precieswil meten en met welk doel. Daarna kan menaan de hand van de beschreven vragen in paragraaf 8 een verdere keuze maken. Alsmen voor schoolpraktijk of onderzoek eenmeetmethode zoekt, is het aan te bevelendeze vragen serieus langs te lopen.

Het is van belang nogmaals te benadruk-ken dat iedere meetmethode zijn eigen krachten zijn eigen zwakte heeft en dat er nog veelonderzoek zal moeten plaatsvinden. De hoe-veelheid methodevergelijkend onderzoek isnog beperkt en zal aangevuld, maar ook ver-beterd moeten worden. Daarvoor worden indit artikel suggesties gegeven. Daarmee sa-menhangend zullen ook nieuwe meetmetho-den moeten worden ontwikkeld die voldoenaan de eisen van validiteit en betrouwbaar-heid, en die gemakkelijk in de praktijk bruik-baar zijn. Het zou zeker gewenst zijn, als hetzou lukken, om een taakspecifieke leerstrate-gievragenlijst te maken die vergelijkbare gegevens zou opleveren als de hardopdenk-methode. Als dat echter een illusie blijkt tezijn, zou het toch minstens gewenst zijn omzodanige logfile-gegevens te kunnen verza-melen, dat ze de tijdrovende en moeizaamverkregen hardopdenkgegevens kunnen ver-vangen. Men zou daarbij kunnen denken aanlogfile-metingen, gecombineerd met digitaalgestelde vragen, waarin aan lerenden ge-vraagd wordt een toelichting te geven op hunacties.

Dit artikel is gericht op methoden voormeting van leerstrategieën, ofwel methodenvoor meting van de studieaanpak. De hier beschreven informatie kan echter ook van be-lang zijn voor ander leer- en instructieonder-zoek waarin leeractiviteiten van lerendenworden gemeten, zoals het onderzoek naarcollaboratief probleemoplossen in computer-leeromgevingen, waarin gespreksgegevens,logfiles en vragenlijsten gebruikt worden.Ook daar is het van belang dat de plaats-vindende leeractiviteiten adequaat wordengemeten.

Noten

1 Dit artikel bouwt voort op Van Hout-Wolters

(2000). Het bevat geactualiseerde informatie,

123PEDAGOGISCHE

STUDIËN

nieuwe inzichten en onderzoeksgegevens.

Het sluit tevens aan bij adviesvragen die de

auteur kreeg naar aanleiding van de eerdere

publicatie. Marianne Elshout-Mohr, Gonny

Schellings, Marcel Veenman en de twee ano-

nieme beoordelaars van Pedagogische Stu-

diën hebben door hun constructieve opmer-

kingen bijgedragen aan deze versie van het

artikel.

2 Het artikel heeft niet het karakter van een

systematische literatuurstudie. Voor het schrij-

ven ervan zijn wel een aantal databases op

trefwoorden doorzocht (Web of science,

ERIC, PsycINFO; met de trefwoorden lear-

ning strategies, learning skills, study skills,

measurement, methods; vanaf 1999). Ook is

er gewerkt met de ‘sneeuwbalmethode’, in die

zin dat relevante geciteerde publicaties in eer-

der gevonden literatuur werden geraad-

pleegd. Omdat het een Nederlandstalig artikel

betreft, is er extra aandacht voor Nederlandse

meetmethoden (zie Appendix 2).

3 Deze metacognitievragenlijsten meten vaak

niet alleen metacognitieve strategieën, maar

ook metacognitieve kennis van lerenden.

Literatuur

Airasian, P. W. (1994). Classroom assessment

(2nd ed.). New York: McGraw-Hill.

Alexander, P. A. (2006). Psychology in learning

and instruction. Upper Saddle River, NJ:

Pearson Prentice Hall.

Bannert, M., & Mengelkamp, C. (2008). Assess-

ment of metacognitive skills by means of in-

struction to think aloud and reflect when

prompted. Does the verbalisation method af-

fect the learning? Metacognition and Learn-

ing, 3, 39-58.

Bergh, H. van den. (2006). Zeker weten door

zuiver meten? Inaugurele rede. Universiteit

Utrecht, Utrecht, Nederland.

Boekaerts, M., & Simons, P. R. J. (1995). Leren

en instructie; Psychologie van de leerling en

het leerproces. Assen, Nederland: Van Gor-

cum.

Biggs, J., Kember, D., & Leung, D. Y. P. (2001).

The Revised two-factor Study Process

Questionnaire: R-SPQ-2F. British Journal of

Educational Psychology, 71, 133-149

Blom, S., & Broekkamp, H. (2003). Zelfstandig

leren van allochtone en autochtone leerlingen

in het Studiehuis. Rapportage eerste en

tweede peiling. Amsterdam: Universiteit van

Amsterdam.

Bråten, I., & Samuelstuen, I. (2007). Measuring

strategic processing: Comparing task-specific

self-reports to traces. Metacognition and

Learning, 2, 1-20.

Broekkamp, H., & Hout-Wolters, B. H. A. M. van.

(2007). Students’ adaptation of study strate-

gies when preparing for classroom tests. Edu-

cational Psychology Review, 19, 401-428.

Brown, W. F. (1986). Effective Study Test. Iowa

City, IA: ACT.

Burke Johnson, R., & Onwuegbuzie, A. J. (2004).

Mixed methods research: A research para-

digm whose time has come. Educational

Researcher, 33 (7), 14-26

Busato, V. V. (1998). Leerstijlen nader geanaly-

seerd. Dissertatie. Universiteit van Amster-

dam, Amsterdam.

Busse, A., & Borromeo Ferri, R. (2003). Metho-

dological reflections on a threestep-design

combining observation, stimulated recall and

interview. International Reviews on Mathema-

tical Education, 35, 257-265.

Cohen, L., Manion, L., & Morrison (2007). Re-

search methods in education (6th ed). Lon-

don: Routledge Falmer.

Cromley, J. G., & Azevedo, R. (2006). Self-report

of reading comprehension strategies: What

are we measuring? Metacognition and Learn-

ing, 1, 229-247.

Driessen, E., Beijaard, D., Tartwijk, J., van, &

Vleuten, C. van der. (red.) (2002). Portfolio’s.

Groningen, Nederland: Wolters-Noordhoff.

Dunn, R., Dunn, K., & Price, G. E. (1987). Learn-

ing Style Inventory. Lawrence, KS: Price Sys-

tems.

Duncan, T. G., & McKeachie, W. J. (2005). The

making of the Motivated Strategies for Learn-

ing Questionnaire. Educational Psychologist,

40, 117-128.

Elshout-Mohr, M., Daalen-Kapteijns, M. M. van.,

Meijer, J., (2004). Functies van een elektro-

nisch portfolio in een constructivistische leer-

omgeving: Eindrapport. Amsterdam: Universi-

teit van Amsterdam.

Entwistle, N., & McCune, V. (2004). The concep-

tual bases of study strategies inventories.

Educational Psychology Review, 16, 325-

346.

124PEDAGOGISCHE

STUDIËN

Entwistle, N. J., & Tait, H. (1995). The Revised

Approaches to Studying Inventory. Edinburgh:

University of Edinburgh.

Ericsson, K. A., & Simon, H. A. (1980). Verbal

reports as data. Psychological Review, 87,

215-251.

Ericsson, K. A., & Simon, H. A. (1993). Protocol

analysis. Cambridge, MA: MIT Press.

Felder, R. M., & Spurlin, J. (2005). Applications,

reliability and validity of the Index of Learning

Styles. International Journal of Engineering

Education, 21 (1), 103-112.

Garcia, T., & Pintrich, P. R. (1994). Regulating mo-

tivation and cognition in the classroom: the

role of self-schemas and self-regulatory stra-

tegies. In D.H. Schunk & B.J. Zimmerman

(Eds.), Self-regulation of learning and perfor-

mance: Issues and educational applications

(pp. 127-153). Hilsdale, NJ: Erlbaum.

Garner, R. (1988). Verbal report data on cognitive

and metacognitive strategies. In C.E. Wein-

stein, E.T. Goetz, & P. A. Alexander (Eds.),

Learning and study strategies: Issues in

assessment, instruction, and evaluation. San

Diego, CA: Academic Press.

Geisler-Brenstein, E., & Schmeck, R. (1996). The

revised inventory of learning processes: a

multifaceted perspective on individual diffe-

rences in learning. In D. Birenbaum (Ed.) Al-

ternatives in assessment of achievements

and learning processes. Boston: Kluwer Aca-

demic Publishers.

Hadwin, A. L., Winne, P. H., Stockley, D. B., Nes-

bit J. C., & Woszczyna, C. (2001). Context mo-

derates students’ self-reports about how they

study. Journal of Educational Psychology, 93,

477-487.

Hambleton, R. K. (1996). Advances in asses-

sment models, methods and practices. In:

D.C. Berliner & R.C. Calfee (Eds.), Handbook

of educational psychology (pp. 899-926). New

York: Simon & Schuster Macmillan.

Hout-Wolters, B. H. A. M. van. (1990). Selecting

and cueing key phrases in instructional texts.

In H. Mandl, E. De Corte, N. Bennett, & H.F.

Friedrich (Eds.), Learning and instruction:

European research in an international con-

text. Volume 2.2 (pp. 181-199), Oxford: Perga-

mon.

Hout-Wolters, B. H. A. M. van. (1992). Cognitieve

strategieën als onderwijsdoel. Groningen, Ne-

derland: Wolters-Noordhoff.

Hout-Wolters, B. H. A. M. van. (2000). Assessing

self-directed learning. In P. R. J. Simons, J. van

der Linden & T. Duffy (Eds.), New Learn-

ing. (pp. 83-101). Dordrecht, Nederland: Klu-

wer.

Hout-Wolters, B. H. A. M. van, Simons, P. R. J.,

& Volet, S. (2000). Active learning: Self-

directed learning and independent work. In P.

R. J. Simons, J.L. van der Linden, & T.M. Duffy

(Eds.), New Learning (pp. 21-37). Dordrecht,

Nederland: Kluwer.

Iran-Nejad, A., & Chissom, B. S. (1992). Contri-

butions of active and dynamic selfregulation

to learning. Innovative Higher Education, 17,

125-136.

Jager, B. de. (2002). Teaching reading compre-

hension: The effect of direct instruction and

cognitive apprenticeship on comprehension

skills and metacognition. Dissertatie. Rijks-

universiteit Groningen, Groningen, Neder-

land.

Jager, B. de, & Reezigt, G. J. (1996). Onderwijs-

effectiviteit en metacognitieve vaardigheden.

Intern rapport. Groningen, Nederland: GION.

Janssen, T., Dam, G. ten, & Hout-Wolters, B. van.

(2002). Vaardigheden voor zelfstandig leren.

Een praktijkgericht overzicht van onderzoek.

Assen, Nederland: Van Gorcum.

Kammen, D. van. (1999). Werken met portfolio’s

daagt uit om te tonen waar je voor staat. Di-

daktief & School, 29(1/2), 30-33.

Kesteren, B. J. van.(1993). Applications of De

Groot’s “Learner Report”: A tool to identify

educational objectives and learning experien-

ces. Studies in Educational Evaluation, 19,

65-86

Kolb, D. (1999). Learning-style inventory – ver-

sion 3 . Boston : Hay/McBer Training Resour-

ces Group.

Kardash, C. M., & Amlund, J. T. (1991). Self-

reported learning strategies and learning from

expository text. Contemporary Educational

Psychology, 16, 117-138.

Kuyper, H. (1994). Instrumentenonderzoek leer-

lingmetingen bovenbouw voortgezet onder-

wijs. Intern rapport. Groningen, Nederland:

GION.

Linden, J. van der, Erkens, G., Schmidt, H., &

Renshaw, P. (2000). Collaborative learning. In

P. R. J. Simons, J.L. van der Linden, & T.M.

Duffy (Eds.), New Learning (pp. 37-55). Dor-

drecht, Nederland: Kluwer.

125PEDAGOGISCHE

STUDIËN

Mansvelder-Longayroux, D., Beijaard, D., & Ver-

loop, N. (2002). Het portfolio als reflectie-

instrument voor docenten in opleiding. Peda-

gogische Studiën, 79, 269-286.

Marton, F., Watkins, D., & Tang, C. (1997). Dis-

continuities and continuities in the experience

of learning: An interview study of high-school

students in Hongkong. Learning and Instruc-

tion, 7 (1), 21-48.

Mevarech, Z., & Fridkin, S. (2006). The effects

of IMPROVE on mathematical knowledge,

mathematical reasoning and meta-cognition.

Metacognition and Learning, 1, 85-97.

Meijer, J. (2006). Vragen naar metacognitieve

activiteiten en analyse van hardopdenk-

protocollen. In J. Beishuizen et al (red.),

Samen kennis ontwikkelen. Proceedings On-

derwijs Research Dagen 2006 (pp. 93-94).

Amsterdam: Onderwijscentrum VU

Meijer, J., Elshout-Mohr, M., Daalen-Kapteijns,

M., van. Meeus, W., & Tempelaar, D. (2006,

augustus). Construction and validation of a

questionnaire on metacognition. Paper ge-

presenteerd op de Second bi-annual confe-

rence of the special interest group on Meta-

cognition of EARLI, Cambridge.

Meijer, J., Elshout-Mohr, M., & Hout-Wolters,

B. H. A. M. van. (2001). An instrument for the

assessment of cross-curricular skills. Educa-

tional Research and Evaluation, 7 (1), 79-109.

Michael, W. B., Michael, J. J., & Zimmerman, W.

S. (1988). Study attitudes and methods sur-

vey. San Diego, CA: EDITS.

O’Neil, H. F., Jr,. & Abedi, J. (1996). Reliability and

validity of a state metacognitive inventory: Po-

tential for alternative assessment. Journal of

Educational Research, 89, 234-45.

Oosterhuis-Geers, J.(1995). PROBES: Proce-

dure ter bevordering van effectief en efficiënt

studeergedrag. Dissertatie. Universiteitit van

Amsterdam.

Oosterhuis-Geers, J. (1998). Vragenlijst Studie-

methoden (VSM) op internet. LOS Contact,

18 (1), 9-10.

Perry, N. E., & Winne, P. H. (2006). Learning from

Learning Kits: gStudy traces of students’ self-

regulated engagements with computerized

content. Educational Psychology Review, 18,

211-228

Pijls, M., Dekker, R., & Hout-Wolters, B. van.

(2007). Reconstruction of a collaborative ma-

thematical learning process. Educational Stu-

dies in Mathematics, 65, 309-329.

Pintrich, P. R. (2004). A conceptual framework

for assessing motivation and self-regulated

learning in college students. Educational Psy-

chology Review, 16, 385-408.

Pintrich, P. R., Smith, D. A. F., Garcia, T., &

McKeachie, W. J. (1993). Predictive validity

and reliability of the Motivated Strategies for

Learning Questionnaire (MSLQ). Educational

and Psychological Measurement, 53, 801-813.

Popham, W. J. (1995). Classroom assessment:

What teachers need to know. Needham

Heights, MA: Allen & Bacon.

Pressley, M., & Afflerbach, P. (1995). Verbal pro-

tocols of reading: The nature of constructive-

ly responsive reading. Hillsdale, NJ: Erlbaum.

Prins, F. J., Busato, V. V., Elshout, J. J., & Hama-

ker, C. (1998). Een nieuwe bijdrage tot de va-

lidatie van het (meta)cognitieve deel van de

Inventaris Leerstijlen (ILS). Pedagogische

Studiën, 75, 73-93.

Rachal, K. C., Daigle, S., & Rachal, W.S. (2007).

Learning problems reported by college stu-

dents: Are they using learning strategies?

Journal of Instructional Psychology, 34, 191-

200.

Rayner, K. (1997).Understanding eye movements

in reading. Scientific studies of reading, 1 (4),

317-339.

Rijswijk, F. A. W. M. van, & Vermunt, J. D. H. M.

(1987). Vaardig studeren: studie aanpak ad-

viespakket voor OU studenten. (Deel I, II en

III). Tilburg, Nederland: Katholieke Universiteit

Brabant.

Roosendaal, A., & Vermunt, J. (1996). Leerstijlen

en zelfstandig leren in het voorportaal van het

studiehuis. Tijdschrift voor Onderwijsresearch,

21, 336-347.

Royer, J. M., Cisero, C. A. & Carlo, M. S. (1993).

Techniques and procedures for assessing

cognitive skills. Review of Educational Re-

search, 63, 201-243.

Schellings, G., Aarnoutse, C., & Leeuwe, J. van.

(2006). Third-grader’s think aloud protocols:

types of reading activities in reading an expo-

sitory text. Learning and Instruction, 16, 549-

568.

Schellings, G. L. M., & Hout-Wolters, B. H. A. M.

van. (1995). Main points in an instructional

text, as identified by students and by their

teachers. Reading Research Quarterly, 30,

742-756.

126PEDAGOGISCHE

STUDIËN

Schmeck, R., Geisler-Brenstein, E., & Cercy, S. P.

(1991). Self-concept and learning: The revi-

sed inventory of learning processes. Educa-

tional Psychology, 11, 343-362.

Schraw, G., & Dennison, R. S. (1994). Assessing

metacognitive awareness. Contemporary

Educational Psychology, 19, 460-475.

Schouwenburg, H. C. (1990). Diagnostiek van

studeerproblemen. LOS Contact, 22.

Schouwenburg, H. C., & Schilder, A. E. (1998).

Handleiding bij de vragenlijst Studie-aanpak

leerlingen bovenbouw HAVO-VWO. Gronin-

gen, Nederland: Rijksuniversiteit Groningen.

Severiens, S. (1999). Vragenlijst Motivatie, Leer-

proces en Leerstrategieën. Amsterdam: Uni-

versiteit van Amsterdam.

Simpson, M. L., Hynd, C. R., Nist, S. L., & Burell,

K. I. (1997). College academic assistance pro-

grams and practices. Educational Psychology

Review, 9 (1), 39-87.

Solano-Flores, G., & Shavelson, R. J. (1997). De-

velopment of performance assessments in

science: Conceptual, practical and logical is-

sues. Educational Measurement: Issues and

Practice, 16(2), 16-25.

Sperling, R. A., Howard, B. C., Staley, R., DuBois,

N. (2004). Metacognition and self-regulated

learning constructs. Educational Research

and Evaluation, 10, 117-139.

Tait, H., Entwistle, N. J., and McCune, V. (1998).

ASSIST: A reconceptualisation of the Ap-

proaches to Studying Inventory. In C. Rust

(Ed.), Improving studentlLearning: Improving

students as learners. Oxford: Oxford Centre

for Staff and Learning Development.

Topman, R. M., Kleijn, W. C., Ploeg, H. M. van

der, & Masset, E. A. (1991). Test anxiety, cog-

nitions, study habits and academic perfor-

mance: a prospective study. In K.A. Hagtvet

(Ed.), Advances in test anxiety research (Vol.

7). Lisse, Nederland: Swets & Zeitlinger.

Veenman, M. V. J. (2003). Problemen bij bevra-

ging van metacognitieve activiteiten. In Th. C.

M. van Kessel, J. E. H. van Luit, M. V. J. Veen-

man, & P. C. M. Vendel (red.), Hulp bij leerpro-

blemen: Rekenen-wiskunde (pp. G0051.1-5).

Alphen a/d Rijn, Nederland: Kluwer

Veenman, M. V. J. (2005). The assessment of me-

tacognitive skills: What can be learned from

multimethod designs? In C. Artelt, & B. Mo-

schner (Eds), Lernstrategien und Metakogni-

tion: Implikationen für Forschung und Praxis

(pp. 75-97). Berlin: Waxmann

Veenman, M. V. J., Prins, F. J., & Verheij, J. (2003).

Learning styles: Self-reports versus thinking-

aloud measures. British Journal of Education-

al Psychology, 73, 357-372

Veenman, M. V. J., Wilhelm, P., & Beishuizen, J. J.

(2004). The relation between intellectual and

metacognitive skills from a developmental

perspective. Learning and Instruction, 14,

89-110.

Verheul, I., & Yang, J. (1986). Het traceren van

leerprocessen via hardop-leermethode en

een procesvragenlijst. In W.J. van den Linden

& J.M. Wijnstra (red.), Ontwikkelingen in de

methodologie van het onderwijsonderzoek.

Lisse, Nederland: Swets & Zeitlinger.

Vermunt, J. D. H. M. (1992). Leerstijlen en sturen

van leerprocessen in het hoger onderwijs:

Naar procesgerichte instructie in zelfstandig

denken. Amsterdam: Swets & Zeitlinger.

Vermunt, J. (1998). Leeractiviteiten van leer-

lingen. In:L. Verschaffel & J.D. Vermunt (red.),

Het leren van leerlingen. Onderwijskundig

lexicon, editie lll (pp. 29-46). Alphen aan den

Rijn, Nederland: Samson.

Vonk, W., & Cozijn, R. (2003). On the treatment of

saccades and regressions in eye movement

measures of reading time. In J. Hyönä, R. Ra-

dach, & H. Deubel (Eds.), The mind’s eye:

Cognitive and applied aspects of eye move-

ment research (pp. 291-312). Oxford: Elsevier.

Vorst, H. C. M. (1991). Leren & Studeren: ontwik-

kelingen van een vragenlijst leer- en studie-

vaardigheid. Nijmegen, Nederland: Berkhout

Nijmegen.

Vrugt, A., & Oort, F.J. (2008). Metacognition,

achievement goals, study strategies and aca-

demic achievement: pathways to achieve-

ment. Metacognition and Learning, 3, 123-

146.

Weinstein, C. E., & Hume, L. M. (1998). Study

strategies for lifelong learning. Washington:

American Psychological Association.

Weinstein, C. E., & Meyer, D. K. (1996). Learning

strategies: Teaching and Assessing. In E. De

Corte & F.E. Weinert (Eds.), International En-

cyclopedia of developmental and instructional

psychology (pp. 423-428). Oxford: Elsevier

Science.

Weinstein, C. E., & Palmer, D. R. (2002). LASSI

user’s manual: for those administering the

Learning and Study Strategies Inventory.

127PEDAGOGISCHE

STUDIËN

Clearwater, FL: H&H Pub.

Winne, P. H., & Hadwin, A. F. (1998). Studying as

self-regulated learning. In D.J. Hacker, J. Dun-

losky, & A.C. Graesser (Eds.), Metacognition

in educational theory and practice (pp. 277-

304). Hillsdale, NJ: Erlbaum.

Winne, P. H., Jamieson-Noel, D. L., & Muis, K.

(2002). Methodological issues and advances

in researching tactics, strategies, and self-

regulated learning. In P. R. Pintrich & M.L.

Maehr (Eds.), Advances in Motivation and

Achievement: New Directions in Measures

and Methods, Vol. 12 (pp. 121-155). Green-

wich, CT: JAI

Winne, P. H., & Perry, N. E. (2000). Measuring

self-regulated learning. In P. R. Pintrich, M.

Boekaerts, & M. Zeidner (Eds.), Handbook of

self-regulation (pp. 531-567). Orlando, FL:

Academic Press.

Zimmerman, B. J. (1994). Dimensions of acade-

mic self regulation: A conceptual framework

for education. In D.H. Schunk & B.J. Zimmer-

man (Eds.), Self-regulation of learning and

performance: Issues and educational applica-

tions (p. 3-21). Hilsdale, NJ: Erlbaum.

Manuscript aanvaard: 8 januari 2009

Auteur

Bernadette van Hout-Wolters is hoogleraar

onderwijskunde en wetenschappelijk directeur

van het Instituut voor de Lerarenopleiding van de

Universiteit van Amsterdam.

Correspondentieadres: B.H.A.M van Hout-

Wolters, Instituut voor de Lerarenopleiding, Uni-

versiteit van Amsterdam, Spinozastraat 55, 1018

HJ Amsterdam. E-mail: vanhout-wolters@uva.nl.

Abstract

Measuring learning strategiesKinds of measurement methods and their usefulness in educational re-search and practice

For measuring the learning strategies of students

a variety of methods is used in educational re-

search and practice. These measurement me-

thods may be clustered into two groups: offline-

methods and online-methods. Offline-methods

measure the learning strategies apart from exe-

cuting a concrete learning task (e.g., questionnai-

res), while online-methods measure these strate-

gies during task execution (e.g., thinking aloud

method). This article describes what learning

strategies are and why one would like to measure

them. It gives information about various kinds of

measurement methods, both online and offline.

Special attention is given to the question in how

far these methods give a clear and accurate pic-

ture of the learning strategies of students. Results

of multi-methods research, in which two or more

methods were compared, are examined. Several

explanations are given for the often low correla-

tions between the data acquired with offline- and

online methods. Some methodological and prac-

tical considerations are described concerning the

choice of an appropriate method for measuring

learning strategies. The article concludes with a

list of questions which one should attend to be-

fore choosing one of the measurement methods.

128PEDAGOGISCHE

STUDIËN

1. Preparatory learning functions

Cognitive preparation functions

Finding missing prior knowledge

Getting an overview of knowledge, skills and

attitudes to be learnt

Mobilising prior knowledge and skills for the task

at hand

Finding connections between prior knowledge

and new information and skills

Affective preparation functions

Illuminating the relevance of the learning goals

Building up self-confidence

Directing attention to the learning task

Preparing reward structures

Trickling curiosity

Finding challenges

Soliciting interest

Getting started

Coupling intentions and plans

Metacognitive preparation functions

Orientation on learning goals

Choice of learning goals and subgoals

Orientation on learning strategies

Choice of learning strategy

Planning of time, sequence and places for

learning

2. Executive learning functions

Cognitive executive functions

Selecting information

Thinking about information

Coming to conclusions and own opinions

Formulating conclusions verbally

Getting overview

Practising and applying

Getting overview over application conditions

and possibilities

Affective executive functions

Maintaining curiosity

Concentration management

Persisting

Upholding motivation and self-confidence

Keeping intentions and plans coupled

Appendix 1

Major learning functions in preparing, executing and closing learning (Van Hout-Wolters, Simons & Volet, 2000)

Metacognitive executive functions

Monitoring learning processes

Monitoring learning outcomes

Testing progress

Diagnosing causes of failures and problems

Repairing

Reflecting on the learning process

3. Closing learning functions

Cognitive closing functions

Summing up new knowledge and skills

Thinking about future use and transfer conditions

Affective closing functions

Uncoupling intentions and plans

Rewarding

Judgement of results

Attribution of outcomes

Metacognitive closing functions

Evaluating learning process

Evaluating learning outcomes

Reflecting

129PEDAGOGISCHE

STUDIËN

Nederlandstalig

• Diagnostische vragenlijst Studiemethode (DVS, Oosterhuis-Geers, 1995)

• Inventaris leerstijlen (ILS-HO, Van Rijswijk & Vermunt, 1987)

• Inventaris leerstijlen (ILS-VO, Roosendaal & Vermunt, 1996)

• Leren en Studeren (L&S, Vorst, 1991)

• Studeergedragvragenlijst (SGV-V, TU Eindhoven, Studentenservice-centrum)

• Studie Management en Academische Resultaten Test (SMART, Topman, Kleijn, Van der Ploeg,

& Masset, 1992) (http://www.leidenuniv.nl/ics/sz/so/webexpert/websmart.html)

• Vragenlijst Metacognitieve vaardigheden (Kuyper, 1994, in De Jager & Reezigt, 1996)

• Vragenlijst Motivatie, leerprocessen en leerstrategieën (vertaling en bewerking MSLQ, Severiens,

1999)

• Vragenlijst Rapportage Autonoom Studeren (RAS, Elshout-Mohr, Van Daalen-Kapteijns & Meijer,

2004)

• Vragenlijst Studie-aanpak bovenbouw HAVO-VWO (Schouwenburg & Schilder, 1998)

• Vragenlijst Studiemethoden (VSM, Oosterhuis-Geers, 1998) (http://vsm.cs.utwente.nl)

• Vragenlijst Studieproblemen (VSP, Schouwenburg, 1990) (http://www-dsz.service.rug.nl/bss/so/

topics/tests/vspset.htm)

Engelstalig

• Approaches to Learning and Studying Inventory (ALSI, Entwistle & McCune, 2004)

• ASSIST: A reconceptualisation of the Approaches to Studying Inventory (Tait, Entwistle, & McCune,

1998)

• Awareness of Independent Learning Inventory (AILI, een vertaalde versie van de RAS, Meijer,

Elshout-Mohr, Van Daalen-Kapteijns, Meeus & Tempelaar, 2006)

• Dynamic and Active Learning Inventory (DALI) (Iran-Nejad & Chissom, 1992).

• Effective Study Test (Brown, 1986)

• Index of Learning Styles (ILS, Felder & Spurlin, 2005)

• Learning and Study Strategies Inventory (LASSI, Weinstein & Palmer, 2002)

• Learning Strategies Survey (Kardash & Amlund, 1991)

• Learning Style Inventory (LSI, Dunn, Dunn & Price, 1987)

• Learning-style inventory – version 3 (LSI, Kolb, 1999)

• Metacognitive Awareness Inventory (MAI, Shraw & Dennison, 1994)

• Motivated Strategies for Learning Questionnaire (MSLQ, Pintrich, Smith, Garcia, & McKeachie,

1993)

• Revised Approaches to Studying Inventory (RASI, Entwistle & Tait, 1995)

• State Metacognitive Inventory (SMI, O’Neil & Abeli, 1996)

• Study Attitudes Methods Survey (Michael, Michael & Zimmerman, 1988)

• The revised Inventory of Learning processes (ILP-R, Geisler-Brenstein & Schmeck, 1996;

Schmeck, Geisler-Brenstein & Cercy, 1991)

• The Revised two-factor Study Process Questionnaire: R-SPQ-2F (Biggs, Kember, & Leung, 2001).

Appendix 2

Vragenlijsten voor de meting van leerstrategieën