Post on 08-Oct-2020
Assessment for Learning in het Hoger Onderwijs
Het effect op de leerstijl van studenten en de bijdrage aan de
onderzoekende houding van de docent
Jorien Vugteveen S2237520
Maart, 2012
Masterthesis Onderwijskunde Faculteit Gedrag- en Maatschappijwetenschappen Rijksuniversiteit Groningen Eerste begeleider: Drs. Marieke van Roy Tweede begeleider: Dr. Ernst Thoutenhoofd
‘Would you tell me, please, which way I ought to go from here?’ ‘That depends a good deal on where you want to get to.’...
(Carroll, Alice’s adventures in Wonderland, 1862, p. 64)
Inhoudsopgave
Abstract 5
Samenvatting 6
Voorwoord 7
1 Inleiding 8
2 Theoretisch kader 11
2.1 Assessment 11
2.1.1 Summatieve en formatieve assessment 11
2.1.2 Assessment ‘of Learning’, ‘for learning’ en ‘as learning’ 12
2.1.3 Assessment for Learning 14
2.2 Leerstijl 18
2.2.1 Vier componenten van leerprocessen 19
2.2.2 Vier leerstijlen 19
2.3 Onderzoekende houding docent 20
3 Methodologie 22
3.1 Verantwoording onderzoeksontwerp en onderzoek 22
3.1.1 Verantwoording 22
3.1.2 Onderzoekseenheden 24
3.1.3 Hypothesen 25
3.2 Literatuuronderzoek 25
3.3 Kwantitatief onderzoek – Vragenlijst 26
3.3.1 Vragenlijst 26
3.3.2 Statistische analyse 27
3.3.3 betrouwbaarheid 27
3.4 Kwantitatief onderzoek – ILS 30
3.4.1 Inventory Learning Styles (ILS) 30
3.4.2 Statistische analyse 31
3.4.3 Betrouwbaarheid 31
3.5 Kwalitatief onderzoek 34
3.5.1 Logboeken 34
3.5.2 Dagboek 35
4 Resultaten 36
4.1 Response 36
4.2 Resultaten vragenlijst 36
4.2.1 Deel 1, 2 en 3: Normaliteit 37
4.2.2 Deel 1, 2 en 3: Wilcoxon rangtekentoets 37
4.2.3 Deel 4: Normaliteit 38
4.2.4 Deel 4: Wilcoxon rangtekenttoets 38
4.2.5 Deel 5: Frequenties en gemiddelden 38
4.3 Resultaten ILS 39
4.3.1 Normaliteit 39
4.3.2 Wilcoxon rangtekentoets 39
4.4 Resultaten logboeken 43
4.4.1 Effectieve feedback 43
4.4.2 Betrokkenheid 44
4.4.3 Aanpassen onderwijs 45
4.4.4 Invloed op student 46
4.4.5 Self-assessment 47
4.4.6 Openheid van zaken 48
4.4.7 Duidelijke verwachtingen 49
4.4.8 Faciliteren 49
4.4.9 Leren door de docent 50
4.4.10 Reflecteren 51
4.5 Samenhang resultaten 51
5 Conclusie 54
5.1 Effect van AfL op leerstijl student 54
5.1.1 Betekenisgerichte leerstijl 54
5.1.2 Reproductiegerichte leerstijl 55
5.1.3 Toepassingsgerichte leerstijl 56
5.1.4 Ongerichte leerstijl 57
5.2 Bijdrage AfL aan onderzoekende houding docent 58
5.2.1 De wil om kritisch te zijn 58
5.2.2 De wil om te begrijpen 60
5.2.3 De wil om te bereiken 60
5.2.4 De wil om te delen 62
5.2.5 De wil om vernieuwend te zijn 63
5.2.6 De wil om te weten 63
6 Discussie 65
6.1 Beperkingen van het onderzoek en suggesties voor vervolgonderzoek 65
6.2 Aanbevelingen en mogelijke hypothesen 68
Literatuurlijst 71
Bijlagen 74
Bijlage 1 Zelfontworpen vragenlijst 75
Bijlage 2 Toevoeging aan vragenlijst bij nameting 77
Bijlage 3 Fragment ILS 78
Bijlage 4 Samenvoeging van de logboeken 79
Bijlage 5 Fragment dagboeknotities 86
Bijlage 6 Uitkomsten normaliteitstoetsing (vragenlijst deel 1, 2 en 3) 87
Bijlage 7 Uitkomsten normaliteitstoetsing (vragenlijst deel 4) 88
Bijlage 8 Hypothesen 90
Bijlage 9 Uitkomsten Wilcoxon rangtekentoets 91
Bijlage 10 Frequentietabel 93
Bijlage 11 Uitkomsten normaliteitstoetsing (ILS) 95
5
Abstract
The subject of this educational master research project is the implementation of Assessment for
Learning (AfL) in Higher Education. AfL constitutes the use of assessment and sub sequential feedback
to improve student and teacher learning. AfL is believed to lead to a higher degree of autonomy/self-
regulation of learning and better learning outcomes. A combination of both qualitative and
quantitative research methods is used to answer two research questions: ‘What is the effect of AfL on
the learning style of students?’ and ‘What is the contribution of AfL to the inquiring/learning attitude
of the teacher?’ The goal is to formulate hypotheses for the use of AfL in Higher education in general.
The Inventory Learning Style (ILS) test (Vermunt, 1998) is used to formulate statements
regarding four learning styles: the meaning-directed learning style, reproduction-directed learning
style, the undirected learning style and the application-directed learning style. Each learning styles
consists of four components which cover sixteen subscales in total. The Wilcoxon rank sign test is used
to indicate a difference between the pre- and posttest scores. The results are supplemented with the
results of the similar statistical analysis of the self-designed questionnaire.
The conclusions regarding the teacher’s inquiring attitude are based on the analysis of a
particular part of the self-designed questionnaire and logbooks. In order to be able to draw the
conclusions, with regard to this second research question, the observations, categorized according to
the ten key elements of AfL (UK Assessment Reform Group, 1999 e.a.), are connected to the six aspects
of a teacher’s inquiring attitude: the inclination to be critical, to understand, to achieve, to share, to
innovate and to know (Van der Rijst, 2009).
The hypotheses of this research are (a) the implementation of AfL leads to changes in students’
learning styles (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986) and (b) the use of AfL
contributes positively to the inquiring attitude of the teacher (Black & William, 1998a; 1998b; James &
McCormick, 2009). Both hypotheses were proven to be true, although the changes in learning styles
were less extensive than expected. Based on the results and conclusions new hypotheses were
formulated for the application of AfL in Higher Education.
6
Samenvatting
Het onderwerp van dit hypothesevormend onderwijskundig afstudeeronderzoek is de toepassing van
Assessment for Learning (AfL) in het Hoger Onderwijs. Assessment for Learning is het gebruiken van
assessment/beoordeling en het op basis daarvan geven van feedback ten bate van het leren van
student en docent. Van AfL wordt verwacht dat het leidt tot een hogere mate van
autonomie/zelfsturing van de student en betere leeropbrengsten. Doormiddel van een combinatie van
zowel kwalitatieve als kwantitatieve onderzoeksmethoden wordt een antwoord gegeven op twee
onderzoeksvragen: ‘Welk effect heeft AfL op de leerstijl van studenten?’ en ‘Welke bijdrage levert AfL
aan de onderzoekende/lerende houding van docent?’.
Om uitspraken te doen over de leerstijlen van studenten wordt gebruik gemaakt van de
Inventory Learning Style (ILS) test (Vermunt, 1998). Deze test geeft inzicht in de vier leerstijlen:
betekenisgerichte leerstijl, toepassinggerichte leerstijl, reproductieve leerstijl en de ongerichte leerstijl.
Elke leerstijl bestaat uit vier componenten die samen zestien subschalen beslaan. Per subschaal is
getoetst of er verschil tussen de voor- en nameting is opgetreden. Deze resultaten zijn aangevuld met
uitspraken op basis van de statistische analyse van de data van een zelfontworpen vragenlijst.
De conclusies met betrekking tot de onderzoekende houding van de docent zijn getrokken op
basis van de analyse van de logboeken en mijn reacties als student/onderzoeker daarop. De
waarnemingen, gecategoriseerd aan de hand van de tien sleutelelementen van AfL (UK Assessment
Reform Group, 1999 e.a.), zijn gekoppeld aan de zes aspecten van een onderzoekende houding van
een docent in het wetenschappelijk onderwijs: de wil om kritisch te zijn, te begrijpen, te bereiken, te
delen, vernieuwend te zijn en te weten (Van der Rijst, 2009).
De hypothesen van het onderzoek zijn dat (a) het invoeren van AfL veranderingen in de leerstijl
van studenten teweeg zal brengen (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986) en (b)
dat het gebruik van AfL een positieve bijdrage levert aan de onderzoekende houding van de docent
(Black & William, 1998a; 1998b; James & McCormick, 2009). Beide hypothesen zijn uitgekomen, al is de
mate van verandering in leerstijl wel wat achtergebleven bij de verwachting. Op basis van de resultaten
en conclusies zijn, in de vorm van hypothesen, voorspellingen opgesteld voor de toepassing van AfL in
het Hoger onderwijs.
7
Voorwoord
Na het afronden van de pabo en vervolgens een jaar schakelprogramma te hebben gevolgd, ben ik in
september 2011 gestart met de master Onderwijskunde aan de Rijksuniversiteit Groningen. In verband
met brede interesse en vertrouwen in eigen kunnen heb ik twee differentiaties naast elkaar gevolgd:
'Onderwijs- en leerlingbegeleiding' en 'Didactische vormgeving van het onderwijs'. Daarnaast ben ik in
november vervroegd gestart met het afstudeeronderzoek dat in deze masterthesis beschreven wordt.
De titel ‘Assessment for Learning in het Hoger Onderwijs’ verwijst naar de toepassing van Assessment
for Learning (AfL) tijdens een vak van de master Onderwijskunde. Het onderzoek maakt deel uit van
een breder denk- en leervaardighedenproject. Daarbinnen zijn diverse onderzoeken op verschillende
typen scholen uitgevoerd. Het onderzoek dat hier beschreven wordt, richt zich op het effect van AfL op
de leerstijl van studenten en de bijdrage van AfL aan de onderzoekende houding van de docent.
Ik heb mijn thesis twee maanden kunnen schrijven, waardoor ik de kans heb gekregen
vervroegd af te studeren. Zonder de begeleiding van Ernst Thoutenhoofd tijdens de beginfase en
uitvoeringsfase van het onderzoek, en de begeleiding van Marieke van Roy tijdens het schrijven van de
thesis, was dit niet mogelijk geweest. Ik wil hen daar hartelijk voor bedanken.
Ik heb nu vijfenhalf à zes jaar studie in het Hoger Beroepsonderwijs en Wetenschappelijk
Onderwijs achter de rug. Zonder de gezelligheid en steun van medestudenten had ik dit niet
volgehouden. In het bijzonder wil ik Janine van der Kooi bedanken voor haar gezelschap,
samenwerking en kritische blik.
Tot slot dank aan mijn familie. Hoewel ironie in ons gezin steevast hoogtijd viert en jullie
dikwijls de spot met mij hebben gedreven, hebben jullie mij altijd gesteund en gestimuleerd in het
bereiken van de doelen die ik voor ogen had. Met het schrijven van deze masterthesis is er een eind
gekomen aan een enorm interessante periode van studie. Ik heb de master Onderwijskunde afgerond
en daarmee heb ik weer een doel bereikt.
Groningen, maart 2012
8
Hoofdstuk 1
Inleiding
Sinds de sociaal-economische veranderingen in onze samenleving na de jaren ’60 van de vorige eeuw
leven wij in een kennismaatschappij. Flexibiliteit, internationalisering, het gebruik van informatie- en
communicatietechnologie en een voortdurend lerende organisatie kunnen worden gezien als
kenmerken van de kennismaatschappij. Deze maatschappij is voortdurend in beweging. De
belangrijkste rol voor (hoger) onderwijs is dan ook het opleiden van mensen om te kunnen
functioneren in de kennismaatschappij van de toekomst. Één van de belangrijkste vaardigheden die
mensen moeten (leren) beheersen is het kunnen leren (Hoskins & Fredriksson, 2008). Veranderingen
op de werkplek volgen elkaar in hoog tempo op. Deze worden gedeeltelijk veroorzaakt door
voortdurende innovaties op het gebied van technologie en sociale veranderingen met betrekking tot
globalisering. Van (toekomstige) werknemers wordt verwacht dat zij zich met de maatschappij mee
ontwikkelen (Hoskins & Fredriksson, 2008). Levenslang leren / lifelong learning is daarom al enige jaren
een politieke prioriteit met betrekking tot de onderwijskundige context en daar buiten.
Een aantal jaren geleden bestond het onderwijs voornamelijk uit klassikaal onderwijs en
summatieve beoordelingsmomenten. De leerkracht gaf les volgens de directieve (autoritaire) stijl. Dit
betekende dat de leerkracht alle beslissingen nam en dat de lerende daarop geen of weinig invloed
uitoefende. Dat kwam onder andere tot uiting in het voorschrijven wat de leerlingen moesten doen,
het aangeven van wie met wie moest samenwerken en het bepalen hoe goed/slecht de prestaties van
iedere lerende waren door middel van het toetsen van kennis (Santrock, 2009). Deze toetsen vonden
plaats aan het eind van ieder afzonderlijk leerproces. De resultaten die lerenden behaalden werden
gezien als een indicatie van het begrip van de stof (Cooper, 2006). In het hedendaags onderwijs zijn de
sporen van deze stijl van lesgeven nog steeds aanwezig, maar hebben zich ook duidelijke
veranderingen voorgedaan. Leerlingen, scholieren en studenten worden met het oog op de
kennismaatschappij en onder druk van politieke en sociale bewegingen voorbereid op initiatiefrijk
lifelong learning (Hoskins & Fredriksson, 2008). Verschillende onderwijsstromingen hebben zich daar,
ieder op hun eigen manier, op aangepast. De directieve stijl van lesgeven heeft grotendeels
plaatsgemaakt voor de participatieve (democratische) stijl. De leerling /scholier/ student heeft een
grotere invloed doordat de docent de leerlingen betrekt bij het bepalen van de regels, de inhoud van
het onderwijs, het samenwerken, de manier waarop taken worden aangepakt en hoe gedrag en
prestaties worden beoordeeld (Santrock, 2009). De leerkracht stelt zich meer op als begeleider en is
minder dominant aanwezig. Arter schrijft dat er verschillende manieren zijn waarop studenten
betrokken kunnen worden bij het evalueren en het monitoren van hun eigen leerproces. Een
voorbeeld van betrokkenheid van studenten is het bieden van hulp aan studenten bij het formuleren
9
van hun eigen doelen, het laten beslissen hoe deze behaald gaan worden en het laten besluiten
wanneer de doelen bereikt zijn (in Wall & Walz, 2003).
Onderzoek heeft uitgewezen dat de focus van toetsen minder moet liggen op summatief
toetsen aan het eind van het leerproces en meer op formatief toetsen tijdens het leerproces (Crooks,
1988). Toetsing moet niet alleen gericht zijn op het product maar ook op het proces dat de student
doorloopt om het (eind)doel te behalen. Arter stelt dat het daarbij gewenst is dat er ook aandacht
wordt besteed aan hoe er daarna verder gewerkt moet worden (in Wall & Walz, 2003). Assessment for
Learning (AfL) biedt deze mogelijkheden. In het kort is AfL het volgen en stimuleren van het leerproces
en de prestaties van de student. Hierbij wordt beoordeling (assessment) en feedback gebruikt om het
leerproces te beoordelen en te sturen. Het constante proces van assessment en het geven van
feedback stelt docenten in staat inzicht te verwerven in het leerproces van studenten en te bepalen
welke verbeteringen in de lespraktijk mogelijk zijn. Een belangrijk element van AfL is dat studenten tot
op zekere hoogte controle hebben over hun eigen leerproces en de beoordeling daarvan. Toepassing
van AfL in het hoger onderwijs is daarom van groot belang voor lifelong learning. AfL verhoogt, mits
goed geïmplementeerd, de motivatie om te leren en helpt studenten te leren hoe ze moeten leren
(Learning How To Learn). Door middel van de toepassing van AfL wordt gebruik gemaakt van
formatieve toetsing om het leerproces van de lerende in kaart te brengen, te ondersteunen en te
verbeteren (Clark, 2008). Een participerende stijl van lesgeven is hierbij van belang. Onderzoek heeft
namelijk aangetoond dat formatieve toetsing het krachtigst is wanneer lerenden betrokken worden bij
hun eigen beoordeling, evaluatie en formulering van doelen (Black & William, 1998a; Wall & Walz,
2003).
Er bestaat buitenlands onderzoek naar de effectiviteit van verschillende elementen die bij AfL-
praktijken aan bod komen. Tevens bestaat er buitenlands onderzoek dat zich richt op evaluatie van de
implementatie van AfL. Onderzoek naar het effect van AfL dat zich richt leerlingen en leerkrachten uit
het lager en voortgezet onderwijs is ook aanwezig. Daarnaast is er veel onderzoek gedaan naar
summatieve en formatieve assessment. Deze laatstgenoemde onderzoeken richtten zich op
(formatieve) assessment van de docent voor de student, terwijl in de AfL-praktijk specifiek de nadruk
wordt gelegd op het gebruik van formatieve assessment ten bate van leren. Onderzoek naar AfL, het
gebruik van formatieve assessment om het leren en het leerproces van studenten (en hun docenten) in
het Hoger Onderwijs te verbeteren, is slechts in beperkte mate beschikbaar. Dit afstudeeronderzoek
richt zich op die doelgroep en op het effect van AfL op attitudes van deze studenten en hun docenten.
Het onderzoek maakt deel uit van het bredere denk- en leervaardighedenproject waarbij
leerkrachten en studenten uit het primair onderwijs, het speciaal onderwijs, het voortgezet onderwijs,
het hoger beroeps onderwijs en wetenschappelijk onderwijs zijn betrokken. Het is gericht op het effect
van AfL op de leerstijl van de student en op de onderzoekende/lerende houding van de docent in het
10
hoger onderwijs. De dataverzameling heeft plaatsgevonden tijdens het vak PAMAOK003
‘Professionalisering van leerkrachten’, met als docent Ernst Thoutenhoofd. Vanaf nu respectievelijk
aangeduid met ‘het vak’ en ‘de docent’. Het vak is onderdeel van de differentiatie ‘Onderwijs- en
leerlingbegeleiding’ van de master Onderwijskunde binnen de faculteit Gedrags- en Maatschappij-
wetenschappen van de Rijksuniversiteit te Groningen. Binnen dit vak is AfL ingezet om al dan niet
gezamenlijk een opdracht te ontwerpen en uit te voeren met als doelstelling studenten meer eigen
verantwoordelijkheid te laten nemen voor het (gezamenlijke) leerproces. De aandacht is hierbij gericht
op het (samenwerkend) leren van studenten en de docent. Daarbij zijn de volgende onderzoeksvragen
gehanteerd: Welk effect heeft AfL op de leerstijl van studenten? Welke bijdrage levert AfL aan de
onderzoekende/lerende houding van docent? De verwachting is dat AfL voornamelijk leidt tot een
meer betekenisgerichte leerstijl van studenten en een positieve bijdrage levert aan de onderzoekende
houding van de docent.
In dit onderzoeksverslag zal eerst in het theoretisch kader een uiteenzetting worden gegeven
van AfL, de leerstijl van de student en de onderzoekende houding van de docent. Daarna zullen de
analyses, de resultaten en conclusies beschreven worden. Het verslag wordt afgesloten met een
discussie en aanbevelingen en hypothesen voor vervolgonderzoek.
11
Theoretisch Kader
In dit hoofdstuk wordt een omschrijving van het theoretisch kader, waarbinnen het onderzoek heeft
plaatsgevonden, gegeven. Voor het beantwoorden van de onderzoeksvragen is het van belang om het
begrip assessment for learning af te bakenen, zoals in paragraaf 2.1 gedaan wordt. Ook het begrip
leerstijl speelt een centrale rol. Deze wordt in paragraaf 2.2 onder de loep genomen. Paragraaf 2.3
besteed aandacht aan het derde centrale begrip: de onderzoekende houding van de docent.
2.1 Assessment
Binnen schoolse situaties vind leren plaats door wat studenten en docenten binnen en buiten de
collegezalen doen. De overheid, maar ook andere belanghebbenden, verwachten dat de leerpraktijken
zo effectief mogelijk zijn. Assessment is een onderdeel van leerpraktijken waarop nog winst te behalen
is (Black & William, 1998b). Bij een focus op Assessment for Learning (AfL), het onderwerp van dit
afstudeeronderzoek, is het noodzakelijk om vast te stellen wat er in dit onderzoeksverslag met
assessment bedoeld wordt. In de literatuur bestaan verschillende definities van assessment en
evaluatie (evaluation). De verschillen lijken geografisch bepaald. In Amerikaanse literatuur verwijst de
term assessment naar het meten van bepaalde prestaties. De term evaluatie wordt gebruikt met
betrekking tot de beoordeling van prestaties. In de Engelse literatuur worden de termen anders
gebruikt. Met assessment wordt het toetsen en beoordelen van prestaties bedoeld (Scriven, 1966). Het
meten van het niveau wordt aangeduid met verschillende termen, waaronder toetsing, monitoren of
measuring. ‘Evaluation’ verwijst in deze literatuur naar het evalueren van de kwaliteit van leer- of
onderwijsprocessen. Het gaat daarbij expliciet om het proces, niet om het product (Scriven, 1966).
In dit onderzoeksverslag wordt in het gebruik van de termen assessment en evaluatie het
Engelse voorbeeld gevolgd. Deze keuze is gebaseerd op de vooroplopende positie van Groot-Brittannië
op het gebied van Assessment for Learning.
2.1.1 Summatieve en formatieve assessment
De laatste jaren heeft er op het gebied van assessment een verschuiving plaatsgevonden van een focus
op standaard toetsen naar een vorm van assessment die meer verband houdt met leerervaringen van
studenten (Black & William, 1998a). Er wordt minder waarde gehecht aan summatieve assessment en
meer nadruk gelegd op het gebruik van formatieve assessment. Het onderscheid tussen deze twee
vormen van assessment is van groot belang in het kader van AfL. Sadler’s definitie van formatieve
assessment is de meest gebruikte. Hij schrijft: “Formative assessment is concerned with how
judgements about the quality of student responses (performance, pieces, or works) can be used to
shape and improve the students’ competence by short-circuiting the randomness and inefficiency of
12
trial-and-error learning” (Sadler, 1989, p. 120). Het gaat om een studentspecifieke beoordeling van
bepaalde prestaties met als doel het komen tot verbeteringen. Summatieve assessment verschilt van
formatieve assessment in de zin dat het enkel een opsomming of samenvatting van het prestatieniveau
van de student geeft (Sadler, 1989; Scriven, 1966). Het vindt vaak aan het eind van een leerproces
plaats en heeft als doel het geven van een voldoende/onvoldoende beoordeling aan een student.
Summatieve assessment ter afsluiting van een leerproces heeft geen directe invloed op verder leren.
Het biedt geen informatie voor verbetering of vervolgactiviteiten, maar het kan wel onderwijskundige
of persoonlijke gevolgen hebben voor de student. Het belangrijkste onderscheid tussen de twee
vormen van assessment is te vinden in het doel (Sadler, 1989; Taras, 2008; 2009), in hoeverre het
leerproces op het moment van assessment is gevorderd (Sadler, 1989; Taras, 2009) en de mate waarin
de beoordeling afgestemd is op het individu (Taras, 2009).
Tot zo ver zijn beide vormen van assessment duidelijk uit elkaar te houden. Assessment in de
zin van toetsing en beoordeling van prestaties aan de hand van vastgestelde standaarden, doelen en
criteria, is een summatieve vorm van assessment (Scriven, 1966). Aanvullende feedback waaruit een
verschil tussen het huidige prestatieniveau en het wenselijke prestatieniveau blijkt, en waarin
suggesties worden gedaan met betrekking tot hoe het wenselijke niveau te behalen is, valt onder de
formatieve vorm van assessment (Hargreaves, 2005; Scriven, 1966; Taras, 2008). Enkel op basis van
summatieve beoordeling is het mogelijk om een oordeel te geven over de mogelijkheden tot
verbeteringen. Het is onvermijdelijk te concluderen dat formatieve assessment daardoor niet voor
komt zonder summatieve assessment. In de literatuur worden beide vormen van assessment als aparte
onderdelen gezien, maar het is juist om te concluderen dat ze in elkaar verweven zijn. Het is namelijk
onmogelijk om feedback te geven en tot verbeteringen te komen, zonder eerst (summatief) te
beoordelen. Formatieve assessment gaat altijd gepaard met een vorm van summatieve assessment
(Scriven, 1966; Taras, 2007; 2009) en vindt noodzakelijkerwijs tijdens het leerproces plaats.
Summatieve assessment kan daarentegen wel opzichzelfstaand voor komen. Bijvoorbeeld aan het eind
van een collegereeks.
2.1.2 Assessment ‘of Learning’, ‘for learning’ en ‘as learning’
Assessment wordt op verschillende manieren gebruikt binnen de onderwijspraktijk. Dit onderzoek is
gericht op Assessment for Learning, maar alvorens daar dieper op in te gaan is het van belang om
aandacht te besteden aan assessment of learning en assessment as learning.
Assessment of Learning verwijst naar strategieën die zijn ontworpen om de kennis van
studenten te beoordelen. Tijdens de beoordeling zal blijken of de student de vastgestelde doelen van
het curriculum gehaald heeft. De uitkomsten van deze beoordeling worden vaak publiek gemaakt in de
vorm van bijvoorbeeld een cijferlijst. Hierdoor kan de student zijn prestaties met die van anderen
13
vergelijken, maar ook andere belangstellenden kunnen een inschatting maken van de prestaties van
een student. Kort gezegd wordt bij assessment of learning gebruik gemaakt van enkel summatieve
beoordeling. Al vele jaren pleiten onderwijskundigen dat er een verschuiving van assessment of
learning naar assessment for learning plaats moet vinden (Crooks, 1988; Torrance, 2007) Crooks
noemde een aantal belangrijke zwakke punten van assessment door leerkrachten in de praktijk: de
veelal summatieve assessment moedigt namelijk aan tot oppervlakkig kennis en uit het hoofd leren
van lesstof; er wordt voornamelijk geconcentreerd op het uit het geheugen oproepen van details;
docenten reflecteren niet of nauwelijks op de manier van beoordelen en de inhoud ervan. Cijfers als
product van beoordeling werden (en worden nog steeds) overschat, terwijl het leren als product van
beoordeling wordt onderschat. Feedback aan studenten zou niet moeten bestaan uit een beoordeling
in de vorm van een cijfer, maar zou met regelmaat gegeven moeten worden en gericht moeten zijn op
een specifieke taak die door de student wordt uitgevoerd (Black & William, 1998a; Crooks, 1988; Hume
& Coll, 2009).
Assessment for Learning is een reactie op assessment of learning. Het doel was het komen tot
beoordelingsprocedures en praktijken die het leren van studenten ondersteunen in plaats van het
zelfvertrouwen, de prestaties en de ontwikkeling van studenten te ondermijnen (Black & William,
1998a; Torrance, 2007). In plaats van een summatieve vorm van beoordelen wordt hierbij gebruik
gemaakt van formatieve assessment. Deze vernieuwing werd op grote schaal doorgevoerd, maar bij
nadere inspectie bleek dat de elementen op een andere manier werden geïnterpreteerd (Torrance,
2007), of geheel niet begrepen en/of toegepast (Boyle & Charles, 2010). Leerlingen werden slechts in
beperkte mate bij hun leerproces betrokken en feedback, één van de sleutelcomponenten van AfL,
werd volgens het onderzoek van Boyle en Charles (2010) op slechts twintig procent van de 4000
scholen uit de steekproef toegepast. In de praktijk werd het voldoen aan criteria als doel gezien in
plaats van als middel (Torrance, 2007). Het oorspronkelijke doel, het bevorderen van meer autonome
rol van de student (Black, McCormick, James, & Pedder, 2006), werd uit het oog verloren. Daarmee is
een nieuwe vorm van beoordeling is ontstaan: assessment as learning.
In Assessment as Learning ligt de nadruk meer op overdracht van kennis (Black et al., 2006).
Assessmentprocedures zijn een doel op zich en studenten worden intensief gecoacht om het doel te
bereiken: aan de criteria te voldoen (Hume & Coll, 2009; Torrance, 2007). Het gevolg hiervan is dat
studenten, in plaats van meer autonoom te opereren, juist meer afhankelijk van de docent zijn
(Torrance, 2007). Studenten richten zich in hun werk op het voldoen aan alle details van de vooraf
vastgestelde vereisten. Docenten houden zich bezig met de criteria en hoe ze voor bewijs kunnen
zorgen dat hun studenten hieraan voldoen (Hume & Coll, 2009). Het leerproces van studenten staat
daardoor bij assessment as learning niet centraal, zoals bij Asessment for Learning wel het geval is. In
AfL-praktijken is het de bedoeling dat de studenten doelen formuleren, maar met de komst van
14
assessment as learning is deze taak weer bij de docent komen te liggen (Hargreaves, 2005).
Verschillende onderwijskundigen waaronder Hargreaves (2005) en Torrance (2007) stellen dat de
validiteit van assessment in de vorm van Assessment as Learning als gevolg hiervan zeer twijfelachtig is
geworden.
2.1.3 Assessment for Learning
Verschillende aspecten van formatieve assessment, onderdeel van AfL, zijn aan de orde geweest. In het
kort is AfL het monitoren van het leerproces en de prestaties van de student met betrekking tot
gestelde doelen. Hierbij wordt assessment gebruikt om het leerproces te beoordelen en vervolgens te
sturen. Docenten voorzien het werk van studenten van feedback en zijn daardoor op de hoogte van de
leerprocessen van de studenten en kunnen hun lesgeven hier op aanpassen (Black & William, 1998a;
Hargreaves, 2005; James & McCormick, 2009; Juwah et al., 2004). Studenten hebben in grote mate
controle over hun eigen leerproces en de beoordeling daarvan. Hierbij is het essentieel dat studenten
de feedback van de docent gebruiken om hun leerproces vorm te geven (Hargreaves, 2005). Het proces
waarbij iedere assessment met bijbehorende feedback een beginpunt vormt voor verbetering, wordt
ook wel scaffolding genoemd (van de Pol, Volman, & Beishuizen, 2010).
In zoverre wordt in deze definiëring van AfL weinig toegevoegd aan de omschrijving van
formatieve assessment, maar AfL is meer dan dit. Binnen AfL zijn vier kernelementen te onderscheiden
waarmee AfL zich onderscheidt van formatieve assessment: het stellen van vragen, het gebruik van
feedback, het delen van criteria en self-assessment (Black & William, 1998b). In de praktijk wordt self-
assessment veelal aangevuld met peer-assessment (Black & William, 1998a; Clark, 2008; Hargreaves,
2007; Lauf & Dole, 2010; Taras, 2009). In een effectieve AfL-praktijk zijn alle kernelementen aanwezig.
Vragen stellen
Binnen de beoordelingsprocedures speelt de wisselwerking tussen docent en student een belangrijke
rol (Black et al., 2006). In de praktijk bestaat deze wisselwerking voor een groot deel uit vragen die de
docent stelt om te controleren of de student iets heeft geleerd of begrepen heeft. Uit onderzoek is
gebleken dat docenten bij het stellen van vragen geen hoge verwachtingen van de student hebben
(Black & William, 1998a). Er wordt voornamelijk gefocust op het terugroepen van feitjes die de student
geacht wordt uit het hoofd te hebben geleerd. Black en William (1998b) stellen dat deze manier van
controle vaak erg onproductief is. Daarnaast is één van de meest voorkomende problemen dat
docenten geregeld vragen stellen om vervolgens zelf het antwoord te geven. De student krijgt niet de
tijd om na te denken over mogelijke antwoorden (Black & William, 1998b). Juist het denkproces van
studenten is van belang voor de autonomie op het gebied van leren. Bij een AfL aanpak wordt van de
leerkrachten verwacht dat ze studenten aanzetten tot denken. Het overdragen van kennis is niet
15
doeltreffend (Taras, 2009). Het geven van tijd om na te denken en te reageren, het aanzetten tot het
bediscussiëren van mogelijke antwoorden in kleine groepjes, het geven van verschillende
antwoordmogelijkheden waaruit studenten kunnen kiezen en het individueel laten opschrijven van
antwoorden om er vervolgens een aantal de revue te laten passeren zijn manieren om de
denkprocessen van studenten te optimaliseren (Black & William, 1998a).
Voor communicatie tussen studenten onderling geldt hetzelfde (Clark, 2008). Samenwerking of
interactie is het meest waardevol als er goed wordt overlegd en daarbij aandacht wordt geschonken
aan redenering.
Feedback
In het kader van AfL is aangenomen dat feedback moet leiden tot het verbeteren van leerprocessen en
prestaties van studenten. Ook moet het leiden tot verbeteringen in lespraktijken van docenten.
Feedback moet volgens Sadler (1989) aan drie voorwaarden voldoen: het moet gericht zijn op het
behalen van gestelde doelen; het moet het huidige prestatieniveau met het gewenste prestatieniveau
vergelijken; en het moet aanzetten tot stappen om het gewenste niveau te behalen. De studenten
spelen in het feedbackproces een essentiële rol (Juwah et al., 2004). Van hen wordt verwacht dat zij
actief zijn in het monitoren en sturen van hun eigen prestaties met betrekking tot het behalen van hun
doelen en de strategieën die ze daarbij gebruiken. Er wordt van studenten dus een bepaalde mate van
zelfregulatie verwacht.
Algemeen aangenomen is dat zelfregulerende studenten (self-regulated learners) het meest
effectief leren (Black & William, 1998a; Butler & Winne, 1995). Binnen de context van universitair
onderwijs komt zelfregulatie neer op een toewijding aan het werken aan taken waarin studenten
bepaalde vaardigheden gebruiken: het formuleren van doelen om kennis op te doen; het overwegen
van verschillende strategieën om de meest effectieve manier voor het behalen van deze doelen vast te
stellen; en het monitoren van het effect van hun werkwijzen en inzet. Monitoren omvat het
waarnemen en verzamelen van informatie om op basis daarvan controle uit te oefenen op het verdere
verloop van het leerproces (Butler & Winne, 1995). In feite beoordelen studenten hun werk en aan de
hand van hun bevindingen bepalen ze de volgende stappen die ze zullen ondernemen. In dit proces
wordt onderscheid gemaakt tussen interne en externe feedback (Butler & Winne, 1995; Juwah et al.,
2004). Het meest bekend is feedback gegeven door een extern persoon, bijvoorbeeld de docent of
medestudenten. Doorgaans is deze feedback niet tijdens het leren beschikbaar, maar op vastgestelde
tijden (Butler & Winne, 1995). Juwah et al. schrijven dat er bij externe feedback voor gewaakt moet
worden dat de feedback van goede kwaliteit is: relevant, informatief, niet te omvangrijk en tijdig
gegeven. Ook mag niet voorbij gegaan worden aan de invloed van de feedback op de motivatie of het
zelfvertrouwen van de student. Hoge, maar haalbare verwachtingen van de docent zijn motiverend
16
voor studenten. Lage of onhaalbare verwachtingen zijn demotiverend en kunnen zelfs een negatieve
invloed op het zelfvertrouwen van de student hebben. Dit heeft vervolgens invloed op de
leerprestaties (Juwah et al., 2004). De tweede soort, Interne feedback, wordt door de student zelf, al
dan niet expliciet, gegeven (Butler & Winne, 1995). In tegenstelling tot externe feedback is deze zowel
tijdens als na afloop van het leerproces beschikbaar. Studenten monitoren gedurende langere tijd hun
leerproces. Voor monitoren is interne feedback nodig, maar gezien het feit dat monitoren niet
automatisch succesvol is, mag de waarde van externe feedback niet genegeerd worden.
Zelfregulerende studenten, die op een juiste manier gebruik maken van zowel interne als externe
feedback, zijn zich bewust van de kwaliteit van hun kennis, opvattingen, motivatie en cognitieve
processen die bijdragen aan hun leren. Hierdoor zijn deze studenten in staat om een juiste inschatting
te maken van hun huidige niveau en het niveau dat zij willen bereiken (Howard-Rose & Winne, 1993).
Kortom, zelfregulerend leren is een bewust, beoordelend en adaptief proces (Butler & Winne, 1995).
Zelfregulatie is alleen effectief als de student weet wat de leerdoelen zijn en deze ook begrijpt
(Juwah et al., 2004). Het is daarbij van belang dat de student zich de doelen eigen maakt en in staat is
om zijn / haar voortgang op het gebied van deze doelen te beoordelen (Black & William, 1998a; Sadler,
1989). Docenten stellen voor aanvang van het leerproces bepaalde doelen, maar ook van studenten
wordt verwacht dat zij doelen formuleren. Die doelen moeten tot op zekere hoogte met elkaar
overlappen anders ontvangt de student feedback van de docent die niet bruikbaar is of niet
overeenkomt met de verwachtingen van de student (Juwah et al., 2004).
Criteria delen
Onderzoek heeft aangetoond dat lage prestaties van studenten vaak veroorzaakt worden doordat
studenten niet weten wat de docent van hen verwacht (Black & William, 1998b). Het doel van AfL is
dat studenten hun eigen leerproces in handen hebben, regelmatig beoordelen wat hun niveau is en
hoe het gewenste niveau moet worden bereikt (Black & William, 1998a). Om dit te kunnen beoordelen
is het essentieel dat studenten weten wat het gewenste niveau is. Als studenten niet op de hoogte zijn
van de criteria is dit niet mogelijk. In een goede AfL-praktijk zijn studenten daarom vanaf het begin van
het leerproces op de hoogte van de criteria die door de docent gesteld worden. Met deze criteria
houden studenten rekening als ze hun eigen doelen formuleren (Juwah et al., 2004). Door studenten
op de hoogte te stellen van de criteria wordt voor hen de mogelijkheid gecreëerd om zelfverzekerd en
zelfstandig te leren (Clark, 2008).
Self-assessment en peer-assessment
Het belangrijkste doel van het gebruik van self-assessment door studenten is het bevorderen van
zelfstandigheid en autonomie. Dit is volgens Dreaden het belangrijkste doel van Learning How To Learn
17
(LHTL), net als AfL een methode om het leerproces van studenten te verbeteren (in Black et al., 2006).
Het verschil tussen AfL en LHTL is dat bij AfL zowel de leerkracht als de student centraal kan staan,
terwijl bij LHTL altijd de student centraal staat (James et al., 2007). AfL, een formatieve manier van
beoordelen, is feitelijk één van de strategieën die LTHL mogelijk maakt.
Studenten die self-assessment toepassen moeten op de hoogte zijn van de gestelde criteria,
zodat zij kunnen beoordelen of ze aan deze criteria voldoen (Taras, 2008). Om tot effectieve self-
assessment te komen is training en begeleiding nodig, maar wanneer goed toegepast leidt self-
assessment tot begrip en inzicht van het eigen leerproces (Black & William, 1998b).
Leren is een sociaal proces. Alle studenten die deel uit maken van een klas, groep of subgroep
hebben invloed op elkaars leerproces. De intensiteit van samenwerking kan variëren.
Samenwerkend/collaboratief leren (collaborative learning) houdt in dat studenten elkaar aanvullen en
voortbouwen op elkaars denkbeelden. Hiermee ontwikkelen ze kennis die door alle groepsleden
gevormd en gedragen wordt. Ieder groepslid draagt verantwoordelijkheid voor zowel zijn eigen
leerproces als het leerproces van alle andere groepsleden (Hargreaves, 2007). Een andere vorm van
samenwerking is coöperatief leren (cooperative learning): Studenten werken samen met de klas, een
groep of subgroep. De groepsleden houden elkaar individueel verantwoordelijk voor een specifiek deel
van een taak. Deze losse delen worden uiteindelijk samengevoegd tot een groepsproduct (Johnson,
Johnson, & Smith, 1991). In de praktijk komt coöperatief leren vaker voor dan collaboratief leren. De
oorzaak hiervan is dat collaboratief leren meer tijd in beslag neemt in verband met het regelmatige
overleg tussen groepsleden. Auteurs die over samenwerking en AfL schrijven, zijn niet allemaal even
expliciet in hun definiëring van samenwerken. Tussen de regels door is te lezen dat ze het voornamelijk
over samenwerkend leren (collaborative learning) hebben. Hargreaves (2007) stelt heel duidelijk dat
docenten studenten moeten stimuleren om met elkaar te werken en niet om naast elkaar te werken of
met elkaar te concurreren, dit komt meer in de buurt van samenwerkend leren dan van coöperatief
leren. Zowel Hargreaves (2007) als Clark (2008) zijn van mening dat samenwerkend lerende studenten
bewuster, gemotiveerder en actiever leren. Dit maakt hen meer geschikt voor lifelong learning.
Self-assessment is het proces waarbij studenten hun eigen werk beoordelen en interne
feedback formuleren. Peer-assessment is hetzelfde proces, maar nu wordt het werk van een student
door een externe bron (een medestudent) beoordeeld en ontvangt de student externe feedback
(Juwah et al., 2004; Lauf & Dole, 2010). Self-assessment en peer-assessment kunnen in combinatie met
elkaar voor komen. Samenwerkend of coöperatief leren is voor de toepassing van peer-assessment
geen vereiste. Ook bij individueel leren kan het toegepast worden. Walser (2009) benadrukt dat goede
self en peer-assessmentvaardigheden ook de mogelijkheid bieden om feedback te geven op het
handelen van de docent.
18
2.2 Leerstijl
In dit onderzoek staat, naast AfL, de leerstijl van studenten centraal. Om te komen tot een definitie van
leerstijl is het van belang dat eerst het begrip leren wordt omschreven. Binnen dit onderzoek wordt
leren gezien als het proces dat zich binnen in het individu afspeelt en dat leidt tot een bepaalde manier
van denken en handelen (Vermunt, 2005). Het gaat om een actief proces dat te herkennen is aan het
aan de hand van leeractiviteiten (Vermunt, 1998), zoals het (re)construeren, aanpassen en gebruiken
van mentale modellen (Vermetten, Lodewijks, & Vermunt, 1999). Er kan onderscheid gemaakt worden
tussen 3 verschillende benaderingen van leren: de diepe benadering, de oppervlakkige benadering en
de strategische benadering (Duff, Boyle, Dunleavy, & Ferguson, 2004; Vermetten et al., 1999).
Studenten met een diepe benadering zijn op een kritische manier op zoek naar de betekenis van de
leerstof en proberen verbanden te leggen met eerdere ervaringen en ideeën die ze hebben opgedaan.
Studenten die leren aan de hand van een oppervlakkige benadering hechten waarde aan het uit het
hoofd leren van feiten en leggen daarbij geen verbanden tussen deze feiten of met andere ervaringen.
De derde groep studenten, die zich een strategische benadering aanmeet, legt nadruk op organisatie,
het beheersen van leervaardigheden en een wens om zo hoog mogelijke cijfers te halen (Duff et al.,
2004). Het is mogelijk dat de benadering van studenten wisselt op basis van de inhoud van leertaken
(Duff et al., 2004; Vermunt, 1998). Meerdere variabelen zijn van invloed op het kiezen van één van de
benaderingen. Voorbeelden daarvan zijn leeftijd, geslacht, persoonlijkheid en eerdere ervaringen met
leren (Duff et al., 2004). De diepe benadering komt het meest voor wanneer de leertaak aansluit bij de
interesse van de student (Fransson in Duff et al., 2004); de docent zich een ondersteunende rol
aanmeet en interesse en enthousiasme met betrekking tot het onderwerp toont (Ramsden in Duff et
al., 2004); en als studenten hun eigen leerproces in handen hebben (Ramsden & Entwistle in Duff et al.,
2004).
In dit masteronderzoek wordt gebruik gemaakt van Vermunt’s leerstijlen. Hij maakt
onderscheid tussen vier leerstijlen: de betekenisgerichte leerstijl, de toepassingsgerichte leerstijl, de
reproductieve leerstijl en de ongerichte leerstijl (1998). Hoewel er geen onderzoek is gedaan naar
overeenkomsten en verschillen tussen de drie bovengenoemde benaderingen van leren en de
leerstijlen van Vermunt, zijn toch overeenkomsten te ontdekken. Vermunt’s betekenisgerichte leerstijl
komt grotendeels overeen met de diepe benadering. De ongerichte leerstijl en de reproductieve
leerstijl zijn te vergelijken met de oppervlakkige benadering. De strategische benadering lijkt niet in de
theorie van Vermunt voor te komen. Een de toepassingsgerichte leerstijl komt niet direct overeen met
één van de benaderingen van leren. Beide methoden om leerhoudingen in kaart te brengen, lijken
daardoor enigszins beperkt. Voor dit onderzoek is de keuze gevallen op de leerstijlentest van Vermunt,
omdat Vermunt’s Inventory of Leaning Styles (ILS) in Nederland het bekendste meetinstrument op dit
gebied is.
19
2.2.1 Vier componenten van leerprocessen
Alvorens in te gaan op de leerstijlen, is het van belang kennis te nemen van de vier componenten die
Vermunt en Verloop (2000) onderscheiden binnen leerprocessen: cognitieve verwerkingsstrategieën,
metacognitieve regulatiestrategieën, mentale modellen van leren en studiemotieven. Cognitieve
verwerkingsactiviteiten zijn denkprocessen die studenten inzetten om leerinhouden te verwerken en
zo hun doelen te bereiken. Metacognitieve regulatiestrategieën zijn activiteiten gericht op het sturen
van cognitieve denkprocessen. De regulatiestrategieën leiden dus niet direct tot leerresultaten, maar
sturen het leerproces in de richting van leerresultaten. Het gaat om de keuze van een strategie, het
achteraf beoordelen of deze keuze geschikt was en hier lering uit trekken voor een volgende keer.
Mentale modellen van leren omvatten leeropvattingen: kennis, inzichten en overtuigingen met
betrekking tot leerprocessen. De vierde component, studiemotieven, heeft betrekken op persoonlijke
doelen, bedoelingen, verwachtingen, attitudes, zorgen en twijfels die leerprocessen met zich
meebrengen (Vermunt, 1998; Vermunt & Verloop, 2000).
Gezien de rol van doelen binnen AfL, is het zinvol om op dit aspect van studiemotieven wat
dieper in te gaan. Doelen zijn namelijk van grote invloed op de motivatie van studenten. Dweck (1986)
stelt dat motivatie op zijn beurt weer invloed heeft op hoe studenten de vaardigheden en kennis die ze
bezitten inzetten; hoe goed studenten in staat zijn om nieuwe vaardigheden en kennis op te doen; en
in hoeverre ze in staat zijn deze toe te passen in nieuwe situaties. Winne en Marx (in Butler & Winne,
1995) stellen dat bij het werken aan een bepaalde taak, al dan niet opgedragen door een docent, het
behalen van de vastgestelde norm niet het enige doel is dat studenten voor ogen hebben. Dweck
(1986) onderscheidt twee typen doelen die de student kan formuleren: leerdoelen (learning goals) en
prestatiedoelen (performance goals). Studenten die leerdoelen formuleren willen expertise verwerven
op het gebied van de gestelde taak. Een student die prestatiedoelen nastreeft is op zoek naar het
verbeteren van eigen waardering of waardering van anderen met betrekking tot zijn of haar
capaciteiten. In het algemeen studeren studenten die leerdoelen aannemen meer strategisch (Butler &
Winne, 1995) en meer effectief (Black & William, 1998a).
2.2.2 Vier leerstijlen
Onderzoek naar relaties tussen de componenten van leerprocessen heeft geleidt tot het opstellen van
vier leerstijlen: betekenisgerichte leerstijl, toepassinggerichte leerstijl, reproductieve leerstijl en de
ongerichte leerstijl (Vermunt, 1998). Studenten met een betekenisgerichte leerstijl zijn geïnteresseerd
in leren en zijn met een kritische blik uit op het opdoen van inzicht, het leggen van verbanden en het
ontdekken van samenhang. Deze, vaak zelfregulerende, studenten zijn goed in het onderscheiden van
hoofd- en bijzaken en zien het (re)construeren van kennis als belangrijkste doel. Een
toepassingsgerichte leerstijl betekent dat de student de leerstof in grote mate concretiseert door
20
bijvoorbeeld het bedenken van voorbeelden of toepassingen. Deze student is praktijkgericht en het
belangrijkste doel van leren is het opdoen van kennis die bruikbaar is in de praktijk. De derde leerstijl,
de reproductieve stijl, houdt voor de student in dat deze zich laat sturen door bijvoorbeeld de docent.
Deze student creëert zelf geen samenhang in de leerstof. Memoriseren en oefenen is voor hem de
manier om kennis op te doen. Ten slotte zijn er studenten die zich een ongerichte leerstijl hebben
aangemeten. Deze studenten zijn niet instaat zelf hun leerproces te sturen, maar laten zich ook niet
sturen door een docent. Ze hebben geen duidelijke opvattingen over leren. Hierdoor zijn ze slechts in
beperkte mate in staat om zelfstandig te werken. Voor hen is samenwerking met andere studenten
dan ook waardevol. Deze studenten zijn weinig innovatief, dus ze passen hun leerstrategieën niet of
nauwelijks aan op basis van ervaringen die zij opdoen (Vermunt, 1998; 2005). Vermunt benadrukt in
zijn werk (1998) dat hij leerstijlen niet statisch acht. Studenten nemen namelijk een leerstijl aan die het
resultaat is van een combinatie van omgevingsfactoren en persoonlijke factoren.
2.3 Onderzoekende houding docent
In de AfL praktijk spelen docenten een onmisbare rol. Docenten moeten niet alleen de inhoud van
verschillende vakken over weten te brengen, maar moeten ook studenten helpen bij het inzichtelijk
maken van hun leervorderingen. Het is daarom belangrijk dat docenten op de hoogte blijven van
actuele ontwikkelingen op het gebied van leren en constant een onderzoekende houding aannemen
om hun lespraktijk te blijven optimaliseren. Van docenten wordt daarom, net als van hun studenten,
verwacht dat ze blijven leren en zich blijven ontwikkelen (lifelong learning). Het is essentieel dat een
docent relevante vernieuwingen op het gebied van onderwijs kent en toepast. Daarbij zou het
vanzelfsprekend moeten zijn dat de docent eigenaar wordt van de veranderingen: de docent heeft
inzicht in zijn/haar rol (James & McCormick, 2009). Het beschikken over een onderzoekende houding
(inquiring attitude) is daarom onmisbaar. Een dergelijke houding is daarnaast ook van toepassing op de
benadering van docenten naar studenten (Duff et al., 2004). Door vragen te stellen (questioning door:
Black & William, 1998a; 1998b) en belangstelling te tonen, verwerft een docent inzicht in de
denkprocessen, leerprocessen en handelwijzen van studenten. De informatie die hiermee wordt
ingewonnen kan de docent gebruiken als feedback. Daarnaast dwingt een dergelijke belangstellende
houding leerlingen te hun handelen expliciteren, wat tot beter begrip en assessment van hun
prestaties leidt (Taras, 2009). Van der Rijst (2009) heeft aan de hand van zijn onderzoek zes aspecten
van een onderzoekende houding van een docent in het wetenschappelijk onderwijs geformuleerd: de
wil om (1) kritisch te zijn naar eigen werk, werk van anderen en verschijnselen in het algemeen; (2) de
dieper liggende oorzaak, gevolg en betekenis van een verschijnsel te begrijpen; (3) door middel van
doelgericht werken en doorzettingsvermogen een doel te bereiken; (4) te delen met collega’s en
studenten, (5) vernieuwend te zijn; en (6) door leergierigheid en nieuwsgierigheid te weten.
21
In het hebben van een onderzoekende houding spelen overtuigingen van docenten met
betrekking tot leren een belangrijke rol. Deze overtuigingen beïnvloeden de implementatie van AfL.
Leerkrachten die overtuigd zijn van het belang van de autonomie van de lerende, zullen AfL (en LHTL)
beter implementeren in hun dagelijkse praktijk. Activiteiten die het gevolg zijn van het hebben van een
onderzoekende houding zijn het leren van onderzoek, samenwerken aan het maken van plannen en
het uitproberen en evalueren van nieuwe ideeën (James & McCormick, 2009). James en McCormick
(2009) merken helaas wel op dat er regelmatig verschil te constateren is tussen de overtuigingen die
leerkrachten zeggen te hebben en wat ze doen in de praktijk. Dit verschil wordt voornamelijk
veroorzaakt door druk van buitenaf. Op schoolniveau is duidelijke leiding, een duidelijke visie en
betrokkenheid van leerkrachten belangrijk. Deze zijn van invloed op het handelen van de docent en
kunnen daarom, ongeacht de overtuigingen van de docent, invloed hebben op de manier waarop hij
zijn beroep uitoefent. Uit onderzoek is gebleken dat er weinig of geen rechtstreekse verbanden
aangegeven zijn tussen factoren op schoolniveau en de lespraktijken in de klas. Vooral een
onderzoekende houding van de leerkracht speelt tussen die twee een grote rol (James & McCormick,
2009).
22
Hoofdstuk 3
Methodologie
In dit hoofdstuk wordt de verantwoording van het onderzoeksontwerp en de onderzoekseenheden
besproken. Vervolgens wordt er specifieker ingegaan op het literatuuronderzoek en de verschillende
kwantitatieve en kwalitatieve onderzoeksmethoden.
3.1 Verantwoording onderzoeksontwerp en onderzoek
Dit afstudeeronderzoek is gedaan binnen het vak PAMAOK003 ‘Professionalisering van leerkrachten’,
onderdeel van de master Onderwijskunde, en maakt deel uit van een breder onderzoeksproject gericht
op denk- en leervaardigheden. In deze paragaaf worden de verantwoording, de onderzoekseenheden
en de hypothesen besproken.
3.1.1 Verantwoording
Het effect van het gebruik van Assessment for Learning (AfL) op de leerstijl van de student en op de
onderzoekende/lerende houding van de docent staan centraal in dit onderzoek. De gehanteerde
onderzoeksvragen zijn:
1. Welk effect heeft AfL op de leerstijl van studenten?
2. Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?
Er is gebruik gemaakt van een ‘mixed methods’ design, waarin de onderzoeksvragen aan de hand van
een combinatie van kwalitatieve en kwantitatieve data beantwoord worden (Cresswell & Garrett,
2008). Op basis van de conclusies die getrokken worden in hoofdstuk 5, wordt getracht hypothesen te
formuleren met betrekking tot het toepassen van AfL praktijken in het hoger onderwijs voor een
bredere populatie studenten en docenten. Het betreft hier dus hypothesevormend onderzoek.
De kwalitatieve data wordt verzameld aan de hand van een participerende observationele
studie waarin ik als student/onderzoeker het handelen van de betrokken docent volg. De data bestaat
uit de inhoud van logboeken van de docent, mijn reactie daarop en uit observatie voortgekomen
notities in een ‘dagboek’.
De kwantitatieve data is verzameld aan de hand van 2 instrumenten. Het eerste instrument is
een zelf ontworpen Engelstalige schriftelijke vragenlijst die verschillende aspecten van AfL meet. De
tweede manier van dataverzameling heeft plaatsgevonden door het invullen van de Inventory Learning
Styles (ILS) van Vermunt. Er is zowel een Engelse als Nederlandse gevalideerde versie beschikbaar voor
de studenten.
23
De kwantitatieve resultaten en kwalitatieve bevindingen zijn apart weergegeven in hoofdstuk 4
van deze masterthesis. De resultaten voortgekomen uit de dagboeken is waar mogelijk verwerkt in
verschillende delen van dit onderzoeksverslag. In de conclusie, getrokken in hoofdstuk 5, zijn de
kwalitatieve en kwantitatieve resultaten samengebracht. Tabel 3.1 geeft per (onderzoeks)vraag weer
welke onderzoeksmethode is toegepast, wat deze heeft opgebracht en waar deze opbrengst is terug te
vinden in deze masterthesis.
Tabel 3.1 Methodologie en opbrengsten per onderzoeksvraag (onderzoeks)Vraag Onderzoeksmethode Opbrengst Hoofdstuk
Wat is assessment? Literatuuronderzoek Theoretisch kader Hoofdstuk 2 Theoretisch kader: -2.1: assessment -2.1.1: Summatieve en formatieve assessment
Wat is Assessment for Learning?
Literatuuronderzoek Theoretisch kader Hoofdstuk 2 Theoretisch kader: -2.1.2: Assessment ‘of learning’, ‘for learning’ en ‘as learning’ -2.1.3: Assessment for Learning
Wat is leerstijl? Literatuuronderzoek Theoretisch kader Hoofdstuk 2: Theoretisch kader: -2.2: Leerstijl student
Wat wordt verstaan onder een onder-zoekende houding van een docent?
Literatuuronderzoek Theoretisch kader Hoofdstuk 2: Theoretisch kader: -2.3: Onderzoekende houding docent
Onderzoeksvraag Welk effect heeft AfL op de leerstijl van studenten?
Kwantitatief onderzoek: Inventory Learning Styles Kwantitatief onderzoek: Vragenlijst
-Inzicht in de componenten van leerprocessen die studenten een rol laten spelen in hun leerprocessen -Inzicht in veranderingen m.b.t. gebruik van deze componenten. -Inzicht in waarderingen van studenten m.b.t. de vijf basisprincipes van AfL. -Inzicht in veranderingen in waarderingen.
Hoofdstuk 4: Resultaten -4.3: Resultaten ILS Hoofdstuk 5: Conclusie Hoofdstuk 4: Resultaten -4.2: Resultaten vragenlijst Hoofdstuk 5: Conclusie
Onderzoeksvraag Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?
Kwalitatief onderzoek: Logboeken van docent + Reacties op logboeken van student / onderzoeker Kwalitatief onderzoek: Dagboek student / onderzoeker.
-Inzicht in het gebruik van de 5 guidelines van AfL en de rol van de docent. -Inzicht in de rol van de docent en het effect daarvan op leerprocessen van studenten (en docenten).
Hoofdstuk 4: Resultaten -4.4 Resultaten Logboeken Hoofdstuk 5: Conclusie Hoofdstuk 4: Resultaten -4.4 resultaten logboeken Hoofdstuk 5: Conclusie
24
3.1.2 Onderzoekseenheden
De onderzoekseenheden, zoals omschreven door Baarda en De Goede (2006), van dit onderzoek zijn
de studenten die het vak ‘Professionalisering van leerkrachten’ van de master Onderwijskunde volgen
en de docent die het vak geeft. In verband met bijvoorbeeld de korte tijd waarin AfL geïmplementeerd
is, de verschillen in nationaliteit van de onderzoekseenheden en ervaringen die studenten al dan niet
hebben met AfL-praktijken, is de generaliseerbaarheid van gevonden gegevens uit de steekproef
beperkt tot studenten die in dezelfde omstandigheden, met soortgelijke ervaringen op het gebied van
de didactiek en nu voor het eerst kennis maken met de toepassing van AfL. Voor docenten gelden
dezelfde voorwaarden. Alle studenten die het vak volgden zijn in de steekproef opgenomen. Daarom is
de steekproef gelijk aan de populatie.
De eerste groep onderzoekseenheden van dit onderzoek zijn de studenten. Zij volgen allemaal
een master van de Rijksuniversiteit Groningen. De studenten vullen voor aanvang en na afloop van de
reeks colleges de vragenlijst en de ILS in. De steekproef bestaat uit 35 studenten. Niet alle studenten
hebben één of meerdere vragenlijsten ingeleverd. De response was 28, 4 mannen en 24 vrouwen.
Hoewel 27 van hen de Nederlandse nationaliteit hebben, geven 26 van hen aan Nederlands als eerste
taal te hebben. De andere Nederlander geeft aan Fries als eerste taal te hebben. In dit onderzoek
wordt zij gerekend onder de steekproefpersonen met Nederlands als eerste taal. Één Spaanse student
heeft de ILS (Engelstalige versie) ingeleverd en is daarom met Spaans als eerste taal opgenomen in de
dataverzameling. De respondenten uit deze groep hebben verschillende vooropleidingen, namelijk
twaalf studenten met een bacheloropleiding, vijftien studenten uit een schakelprogramma en één
student met een andere vooropleiding. Deze laatste student betreft de Spaanstalige student. Hij heeft
een master in Physical Education and Research als achtergrond.
Daarnaast is ook de docent een onderzoekseenheid. Hij levert de logboeken aan. Van tevoren
vermeldt hij daarin de doelen die hij voor het betreffende college voor ogen heeft. Achteraf schrijft hij
opmerkingen op over zijn ervaringen tijdens het college. Na afloop van het vak worden de doelen aan
de tien sleutelelementen van Asessment for learning gekoppeld. Op basis van de mate waarin het
betreffende sleutelelement tijdens het college tot uiting is gekomen, wordt een score toegekend. De
docent geeft het betreffende vak al een aantal jaren. Dit jaar past hij voor het eerst de principes van
AfL toe tijdens dit vak. Ook geeft hij het vak voor het eerst in het Engels. Zijn Engelse taalvaardigheid is
prima, dit is daarom niet van invloed op zijn handelen.
Omdat het om een participerende observationele studie gaat, ben ik zelf ook
onderzoekseenheid. Ik maak deel uit van de groep van 35 studenten in de steekproef en de groep van
28 respondenten. Ik heb dus, net als hen, op gezette tijden de vragenlijsten ingevuld. Mijn rol als
onderzoeker komt tot uiting in mijn wekelijkse reactie op de logboeken van de docent. Deze reactie
25
baseer ik op mijn observaties tijdens de colleges. Daarnaast vormt het gedrag van de docent en
studenten tijdens de colleges aanleiding voor het schrijven van dagboekfragmenten. Alle aspecten die
mij opvallen, die vragen bij mij oproepen of die ik van medestudenten te horen krijg, worden daarin
weergegeven.
3.1.3 Hypothesen
Op basis van literatuur is voor dit onderzoek de volgende hypothese opgesteld. De verwachting is dat
(a) het invoeren van AfL veranderingen in de leerstijl van studenten teweeg zal brengen (Black &
William, 1998a; Butler & Winne, 1995; Dweck, 1986) en (b) dat het gebruik van AfL een positieve
bijdrage levert aan de onderzoekende houding van de docent (Black & William, 1998a; 1998b; James &
McCormick, 2009).
3.2 Literatuuronderzoek
In verband met de beperkte hoeveelheid tijd tussen de onderwerpkeuze, het eerste
kennismakingsgesprek met de betreffende docent en de start van het vak ‘Professionalisering van
leerkrachten’ was het niet haalbaar om het gehele literatuuronderzoek voorafgaande aan de
dataverzameling te doen. Als gevolg daarvan is het theoretisch kader ook niet voor de dataverzameling
geschreven, maar is de vragenlijst wel op basis van de meest toonaangevende literatuur over AfL
opgesteld. Ten eerste is literatuur gezocht aan de hand van zoektermen in de ERIC database. Daarna is
de sneeuwbalmethode methode toegepast waarin de literatuurlijst van de gevonden bronnen is
gebruikt om nieuwe literatuur te verzamelen (Baarda & De Goede, 2005). Het doel van deze eerste
literatuurstudie was het in kaart brengen van de achtergrond van AfL. Uit deze literatuurstudie is
gebleken dat Vermunt’s ILS in Nederland het meest gebruikte instrument is om de leerstijl van
studenten te meten (Duff et al., 2004). In dit onderzoek is, mede door de beschikbaarheid van het
instrument, om die reden voor dit instrument gekozen. De sleutelelementen van AfL vormen de basis
voor de zelfontworpen vragenlijst (UK Assessment Reform Group, 1999).
De tweede literatuurstudie is tegelijkertijd met de dataverzameling en het volgen van de
colleges van het vak ‘Professionalisering van leerkrachten’ uitgevoerd. Het doel van deze
literatuurstudie was het formuleren van een theoretisch kader. Het betrof een chronologische studie
waarin de gevonden literatuur van oud naar nieuw is bestudeerd om zo de ontwikkelingen rondom AfL
in kaart te brengen. Ook is er gebruik gemaakt van citaatindexen, waardoor het mogelijk was om op
basis van oudere publicaties meer recente literatuur te vinden (Baarda & De Goede, 2005). Aan de
hand van deze literatuurstudie zijn de volgende vragen beantwoord: wat is assessment; wat is het
verschil tussen summatieve en formatieve assessment; wat is het verschil tussen assessment of
learning, assessment for learning en assessment as learning; wat wordt bedoeld met Assessment for
26
learning; wat wordt er verstaan onder de leerstijl van een student; en wat wordt bedoeld met de
onderzoekende houding van de docent. Deze vragen zijn beantwoord in het theoretisch kader in
hoofdstuk 2.
3.3 Kwantitatief onderzoek - Vragenlijst
De kwantitatieve onderzoekresultaten leiden tot het antwoord op de onderzoeksvraag: Welk effect
heeft AfL op de leerstijl van studenten? In deze paragraaf worden het construeren van de vragenlijst,
de toegepaste statistische analyses en de betrouwbaarheid van de schriftelijke vragenlijst besproken.
3.3.1 Vragenlijst
Een vragenlijst is bruikbaar in onderzoekssituaties waarbij onderzoek wordt gedaan naar subjectieve
verschijnselen zoals motieven, voorkeuren, opinies en ervaringen (Seger, 2002). In dit onderzoek staan
dergelijke subjectieve verschijnselen centraal, vandaar dat het eerste kwantitatieve instrument een
vragenlijst betreft. Het gaat om een gestructureerde dataverzameling (Baarda & De Goede, 2006). De
vragenlijst bestaat uit 46 (voormeting) en 53 (nameting) items. Er is gebruik gemaakt van gesloten
vragen. Het voordeel hiervan is dat respondenten de verschillende mogelijkheden minder snel over het
hoofd zien. Tevens zijn de antwoorden van respondenten goed te vergelijken (Brinkman, 2000).
Dijkstra en Smit (1999) geven aan dat ontkennende woorden in vragen tot verwarring bij de
respondent kan leiden, daarom is gebruik van dergelijke woorden vermeden.
Er is aan de studenten gevraagd om hun naam op de vragenlijst in te vullen. Baarda en De
Goede (2005; 2006) raden aan de data anoniem te verzamelen, zodat de kans op sociaalwenselijke
antwoorden van respondenten verkleind wordt. In dit onderzoek is aan dit advies geen gehoor
gegeven om de mogelijkheid tot het vergelijken van de voor- en nameting van de verschillende
respondenten te behouden. Hier is uiteindelijk geen gebruik van gemaakt, omdat besloten is de
veranderingen in leerstijl per groep in kaart te brengen. Het is lastig om veranderingen per individu
statistisch significant vast te stellen in verband met de beperkte hoeveelheid data per persoon. Het
was, in verband met tijdgebrek, niet mogelijk om deze keuze voor de dataverzameling te maken.
Om een beeld te scheppen van de steekproef zijn twee vragen met nominaal meetniveau
gesteld. Het ging om de eerste taal die studenten spraken en met welke vooropleiding ze aan dit
mastervak deelnemen. De overige vragen kennen een ordinaal meetniveau. Het gaat om stellingen
waar studenten, aan de hand van een likert-schaal, hun mening over geven. De vragenlijst (zie bijlage
1) is twee keer afgenomen. De eerste keer zijn ze uitgedeeld tijdens het eerste college van het vak.
Studenten namen ze mee naar huis en leverden ze het volgende college weer in. De tweede keer zijn
ze ingevuld door alle aanwezige studenten tijdens het laatste college van het vak.
27
De vragenlijst van de voormeting is opgebouwd uit vier delen. Het eerste deel richt zich op
feedback met betrekking tot de kwaliteit van het werk van de student. Het tweede deel richt zich op
feedback die is gegeven met het oog op het leren van de student. Het derde deel richt zich op
betrokkenheid van de student bij verschillende aspecten van het mastervak. Deel 1 tot en met 3
bestaan respectievelijk uit 8, 7 en 8 items met een likert-schaal die varieert van ‘1 = very important’ tot
‘5 = very unimportant’. Het vierde deel van de vragenlijst richt zich op een combinatie van factoren die
te maken hebben met aspecten van AfL. Dit deel bestaat uit 23 items waarbij gebruik werd gemaakt
van een likert-schaal die varieert van ‘1 = Strongly disagree’ tot ‘5 = Strongly agree’.
Voor de nameting is de oorspronkelijke vragenlijst aangevuld met 7 items die betrekking
hebben op de onderzoekende houding van de docent. Deze items hebben een antwoordschaal
varierend van ‘1 = a lot less frequent’ tot ‘5 = much more frequent’. Deze toevoeging aan de vragenlijst
is opgenomen in bijlage 2.
3.3.2 Statistische analyse
De vragenlijst zal geanalyseerd worden door te beginnen met een Shapiro-Wilk analyse van de
verdeling van de variabelen. Er is voor deze test gekozen, omdat de mogelijkheid bestaat dat er een
behoorlijk aantal knopen in de data voor komen, waarbij studenten tussen de voor- en nameting niet
voor- of achteruit zijn gegaan. De uitkomst van de Shapiro-Wilk wordt hier niet door vertekend, omdat
er in de analyse statistisch voor controleerd wordt. Voor deel 1, 2 en 3 van de vragenlijst worden, op
basis van de literatuur, hypotheses opgesteld. Deze worden getoetst met de Wilcoxon rangtekentoets.
Het betreft een non-parametrische (verdelingsvrije) toets. Vervolgens worden dezelfde handelingen
herhaald voor deel 4 van de vragenlijst. De resultaten van dit deel worden apart weergegeven. Deel 5
van de lijst is alleen tijdens de nameting ingevuld. Dit deel zal geanalyseerd worden met behulp van
een frequentietabel.
3.3.3 betrouwbaarheid
Het is van belang dat de betrouwbaarheid van het instrument zo hoog mogelijk is. Dit houdt in dat er
zo weinig mogelijk toevallige of onsystematische vertekeningen in de data voor mogen komen. Er zijn
verschillende maatregelen genomen om de betrouwbaarheid zo hoog mogelijk te houden. Zo mochten
studenten slecht één antwoord omcirkelen. Brinkman (2000) stelt dat het voor de betrouwbaarheid
bevorderlijk is om gesloten vragen te gebruiken. Bij het ontwerpen van de vragenlijst is hier rekening
mee gehouden.
De interne betrouwbaarheid, zoals omschreven door Maso en Smaling (1998) is niet in het
geding doordat de data door één persoon verzameld en verwerkt zijn. De externe betrouwbaarheid
heeft betrekking op de herhaalbaarheid van het onderzoek door andere onderzoekers (Maso &
28
Smaling, 1998). Om de antwoorden zo weinig mogelijk van toeval af te laten hangen, en de externe
betrouwbaarheid dus zo hoog mogelijk te houden, zijn tijdens de afname van de vragenlijsten een
aantal aspecten in overweging genomen. Bij de voormeting was de omgeving in de collegezaal niet
ideaal. Het was rumoerig, studenten waren onrustig omdat er aan een nieuw vak begonnen werd.
Daarom hebben de studenten de vragenlijst mee naar huis gekregen, met de vraag of zij deze goed
wilden bestuderen en vervolgens in wilden leveren. Daarbij zijn de studenten op de hoogte gebracht
van het feit dat de verzamelde gegevens gebruikt zouden worden in deze masterthesis. Gezien het feit
dat de meeste studenten zelf al eens een onderzoek hebben uitgevoerd en binnenkort ook aan hun
masterthesis begonnen, werd hier serieus op gereageerd. Niet alle studenten hebben één of beide
vragenlijsten weer ingeleverd. Enkele lijsten werden heel laat ingeleverd. Om de betrouwbaarheid te
waarborgen is vastgesteld of dat betreffende student de lijst in de eerste week heeft ingevuld, alvorens
de data van de vragenlijst op te nemen in het databestand. Omdat het mogelijk was om tijd vrij te
maken voor het terplekke invullen van de vragenlijsten en het aantal ingeleverde vragenlijsten op deze
manier waarschijnlijk het meest optimaal zou zijn, is de nameting tijdens het laatste college in de
collegezaal afgenomen. Er werd gezorgd voor een rustige omgeving. Iedereen was tegelijkertijd met de
vragenlijst bezig. Er werd in stilte gewerkt, dus de mogelijkheid tot overleg was beperkt. Door de
vragenlijsten van de voor- en nameting zoveel mogelijk gelijk te houden is een verschil in toevalligheid
van reacties, tijdens het invullen van de vragenlijst, tussen de voor- en nameting minder aannemelijk.
Om een schatting van de betrouwbaarheid van de data te kunnen geven is gebruik gemaakt van
statistische betrouwbaarheidsanalyses, uitgevoerd met behulp van SPSS. Voor de vragenlijst is de
betrouwbaarheidsanalyse negen keer uitgevoerd. De voormeting betrof drie delen. De nameting
bestond uit vier delen. Per deel is een betrouwbaarheidsanalyse is uitgevoerd. De betrouwbaar-
heidsanalyses toonden aan dat één item uit deel drie verwijderd moest worden, wat zowel voor de
voor- als de nameting een extra betrouwbaarheidsanalyse nodig maakte. Voor de volledigheid zijn de
betrouwbaarheidsanalyses van zowel voor als na verwijdering van het item weergegeven.
Van deel vier is van beide metingen geen betrouwbaarheidsanalyse uitgevoerd, omdat de
betrouwbaarheid de interne consistentie van items aangeeft. Het gaat er om in hoeverre die items
hetzelfde begrip meten. Deel vier bestaat uit 23 statements die niet samen één begrip meten. Dit deel
is niet vanuit dat oogpunt ontworpen. De statements worden waar mogelijk gebruikt ter aanvulling van
getrokken conclusies op basis van de overige delen of andere kwantitatieve of kwalitatieve manieren
van dataverzameling.
In tabel 3.2 worden het aantal items per schaal (N items) en de betrouwbaarheid (Cronbach ) per
deel van de vragenlijst weergegeven. De betrouwbaarheid varieert van 0,843 tot 0,942. Bij een
29
kritische betrouwbaarheidsgrens van =.70 (Drenth & Sijtsma, 2006), zijn alle delen overtuigend
voldoende betrouwbaar.
Tabel 3.2: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Voormeting
N items Cronbach
Deel 1 Feedback m.b.t. kwaliteit werk
8 0,942
Deel 2 Feedback m.b.t. leren / leerproces
7 0,914
Deel 3 Involvement
8 0,843
De resultaten van de betrouwbaarheidsanalyses van de nameting zijn in tabel 3.3 weergegeven. Nu is
deel 5 toegevoegd. Deze kwam in de vragenlijst van de voormeting niet voor. De betrouwbaarheid van
de eerste drie delen varieert voor de nameting van 0,659 tot 0,766. Deel 5 kent een betrouwbaarheid
van 0,833. Bij een kritische betrouwbaarheidsgrens van =.70 is deel 3, Involvement, net niet
betrouwbaar genoeg.
Tabel 3.3: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Nameting
N items Cronbach
Deel 1 Feedback m.b.t. kwaliteit werk
8 0,742
Deel 2 Feedback m.b.t. leren / leerproces
7 0,766
Deel 3 Involvement
8 0,659
Deel 5 Inquiring attitude docent
7 0,833
In verband met het geringe aantal items is het wenselijk dat zo min mogelijk items verwijderd worden
(Drenth & Sijtsma, 2006). Op basis van de SPSS-uitvoer die aangeeft wat de betrouwbaarheid zal zijn
als een bepaald item verwijderd wordt, is gekozen voor het verwijderen van het derde item uit deel
drie, het deel over de betrokkenheid van studenten. In de bijlage (1) met de vragenlijst is dit item
gemarkeerd. Op de voormeting, weergegeven in tabel 3.4, varieert de betrouwbaarheid van deel 1 tot
en met 3 nu van 0,861 tot 0,942. Er is een lichte verbetering te zien. Tabel 3.5 laat op de nameting een
variatie in betrouwbaarheid van 0,700 tot 0,766 zien. De betrouwbaarheid van deel 5 bedraagt nog
steeds 0,833. Alle delen van zowel de voor- als nameting zijn nu, volgens de kritische grens,
betrouwbaar. De data verzameld aan de hand van de vragenlijst zijn op basis van de
betrouwbaarheidsanalyses betrouwbaar genoeg voor interpretatie bevonden.
30
Tabel 3.4: Aantal items en de betrouwbaarheid, van de ILS-HO schalen. Voormeting
N items Cronbach
Deel 1 Feedback m.b.t. kwaliteit werk
8 0,942
Deel 2 Feedback m.b.t. leren / leerproces
7 0,914
Deel 3 Involvement
7 0,861
Tabel 3.5: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Nameting
N items Cronbach
Deel 1 Feedback m.b.t. kwaliteit werk
8 0,742
Deel 2 Feedback m.b.t. leren / leerproces
7 0,766
Deel 3 Involvement
7 0,700
Deel 5 Inquiring attitude docent
7 0,833
3.4 Kwantitatief onderzoek - ILS
Het antwoord op de onderzoeksvraag ‘Welk effect heeft AfL op de leerstijl van studenten?’ wordt
naast de vragenlijst gebaseerd op de dataverzameling aan de hand van de ILS. De Nederlandse versie
van deze vragenlijst is opgenomen in bijlage 3. Hier gaat het, net als bij de zelf ontworpen vragenlijst,
om een gestructureerde manier van dataverzameling (Baarda & De Goede, 2006). De lijst bestaat uit
gesloten vragen met een likert-schaal. In deze paragraaf worden de keuze voor dit instrument, de
toegepaste statistische analyses en de betrouwbaarheid van de ILS besproken. De voor- en nameting
hebben tegelijkertijd en daarmee onder dezelfde omstandigheden plaats gevonden als de voor- en
nameting van de zelf ontworpen vragenlijst.
3.4.1 Inventory Learning Styles (ILS)
De ILS is een bestaand instrument, ontworpen door prof. Dr. Vermunt, en bestaat uit honderdtwintig
gesloten vragen die betrekking hebben op de vier componenten van leerprocessen: cognitieve
verwerkingsstrategieën, metacognitieve regulatiestrategieën, mentale modellen van leren en
studieopvattingen. Deze zijn in hoofdstuk 2, het theoretisch kader, omschreven. Deze vier
componenten (hoofdschalen) zijn vervolgens opgedeeld in zestien subschalen. Drie subschalen vallen
onder ‘verwerkingsstrategieën’, drie horen bij ‘regulatiestrategieën’, vijf bij ‘mentale modellen /
studiemotieven’ en 5 handelen bij ‘studieopvattingen’. De items van de verschillende hoofdschalen en
subschalen worden gemixt aangeboden. Voor de meting wordt gebruik gemaakt van een likert-schaal.
Voor de items over cognitieve strategieën en regulatiestrategieën varieert deze van ‘1 = ik doe die
31
zelden of nooit’ tot ‘5 = ik doe dit (vrijwel) altijd’. Voor de items die betrekking hebben op mentale
modellen / studiemotieven en studieopvattingen loopt deze van ‘1 = helemaal mee oneens’ tot ‘5 =
helemaal mee eens’ (Vermunt, 2005).
3.4.2 Statistische analyse
In een SPSS-bestand wordt de data van twee keer de honderdtwintig items / variabelen ingevoerd. Aan
de hand van de handleiding worden de variabelen samengevoegd tot somvariabelen. Het gaat per
meting om zestien somvariabelen die overeenkomen met de subschalen waaruit de ILS bestaat. Deze
somvariabelen worden met de Shapiro-Wilk toets op hun normaliteit getest. Er is opnieuw voor deze
test gekozen, omdat er een behoorlijk aantal knopen in de data voor kunnen komen. Vervolgens
worden voor elke somvariabele alternatieve hypotheses opgesteld. De nulhypothese is voor alle
variabelen gelijk, namelijk dat er geen verschil tussen voor- en nameting is opgetreden. Deze
hypotheses worden getoetst met de non-parametrische Wilcoxon rangtekentoets.
3.4.3 Betrouwbaarheid
Om een schatting van de betrouwbaarheid van de data te kunnen geven is gebruik gemaakt van
betrouwbaarheidsanalyses, uitgevoerd met behulp van SPSS. Tabel 3.6 geeft het aantal items (N items)
en de betrouwbaarheid (Cronbach ) per hoofdschaal, op zowel de voor- als nameting, weer. De
betrouwbaarheidsuitkomsten varieren van 0,683 tot 0,858. Voor beide metingen geldt dat drie van de
vier schalen, gezien de kritische grens van =.70, betrouwbaar zijn bevonden.
Tabel 3.6: Betrouwbaarheid van de ILS-HO hoofdschalen. Voormeting en Nameting
ILS-HO schalen Voormeting Nameting
N items Cronbach Cronbach
Verwerkingsstrategieën 27 0,683 0,779
Regulatiestrategieën 28 0,822 0,699
Mentale modellen/studiemotieven 25 0,707 0,775
Studieopvattingen 40 0,858 0,784
In tabel 3.7 worden het aantal items per subschaal (N items) en de betrouwbaarheid (Cronbach ) per
subschaal van de voor- en nameting weergegeven. Voor de voormeting geldt dat de betrouwbaarheid
van 0,275 tot 0,854 varieert. Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn
zeven van zestien subschalen voldoende betrouwbaar.
De betrouwbaarheid van de subschalen van de nameting varieert van 0,561 tot 0,885. Met een
aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn bij de nameting tien van zestien
subschalen voldoende betrouwbaar.
32
Tabel 3.7: Aantal items en de betrouwbaarheid van de ILS-HO subschalen. Voor- en nameting
ILS-HO schalen N items Cronbach (voor) Cronbach (na)
Verwerkingsstrategieën
Diepteverwerkingsstrategie 11 0,628 0,868
Stapsgewijze verwerkingsstrategie 11 0,854 0,866
Concrete verwerkingsstrategie 5 0,628 0,655
Regulatiestrategieën
Zelfsturingsstrategie 11 0,755 0,781
Extern gestuurde strategie 11 0,749 0,682
Stuurloze strategie 6 0,646 0,565
Mentale modellen/studiemotieven
Certificaatgericht 5 0,479 0,793
Beroepsgericht 5 0,275 0,754
Testgericht 5 0,599 0,848
Persoonlijk geïnteresseerd 5 0,330 0,737
Ambivalent 5 0,845 0,826
Studieopvattingen
Opname van kennis 9 0,751 0,846
Opbouw van kennis 9 0,553 0,662
Gebruik van kennis 6 0,312 0,585
Stimulerend onderwijs 8 0,852 0,885
Samen studeren 8 0,845 0,561
Om de betrouwbaarheid van de test te verhogen zijn een aantal items verwijderd. Daarbij is ervoor
gewaakt dat zowel uit de voor- als de nameting dezelfde items zijn verwijderd. Items zijn alleen
verwijderd als de subschaal voor één van beide metingen er betrouwbaarder door werd en de
subschaal op de andere meting ook betrouwbaarder werd of minstens betrouwbaar bleef. Ook is het
aantal items per subschaal dat na verwijdering over is, in de overweging meegenomen. Als gevolg van
het verwijderen van zestien items, werden alle hoofdschalen voor beide metingen voldoende
betrouwbaar bevonden. Tabel 3.8 geeft de nieuwe betrouwbaarheden (Cronbach ) per hoofdschaal
weer. De betrouwbaarheid van de hoofdschalen varieert nu van 0,746 tot 0,880. Tabel 3.9 laat de
nieuwe betrouwbaarheden per subschaal voor beide metingen zien.
De betrouwbaarheid van de subschalen van de voormeting variëren nu van 0,495 tot 0,864.
Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn nu twaalf, in plaats van zeven,
van zestien subschalen voldoende betrouwbaar. De betrouwbaarheid van de subschalen van de
nameting varieert van 0,581 tot 0,916. Met een aangenomen kritische betrouwbaarheidsgrens van
=0,70, zijn nu bij de nameting vijftien, in plaats van tien, van zestien subschalen voldoende
betrouwbaar.
Tabel 3.8: Betrouwbaarheid van de ILS-HO hoofdschalen. Voor- en Nameting
ILS-HO schalen Voormeting Nameting
N Cronbach Cronbach
Verwerkingsstrategieën 24 0,758 0,764
Regulatiestrategieën 25 0,824 0,738
Mentale modellen/studiemotieven 20 0,746 0,762
Studieopvattingen 35 0,868 0,880
33
Tabel 3.9: Aantal items en de betrouwbaarheid van de ILS-HO subschalen. Voormeting en Nameting
ILS-HO schalen N items Cronbach (voor) Cronbach (na)
Verwerkingsstrategieën
Diepteverwerkingsstrategie 9 0,731 0,861
Stapsgewijze verwerkingsstrategie 11 0,854 0,866
Concrete verwerkingsstrategie 4 0,663 0,758
Regulatiestrategieën
Zelfsturingsstrategie 11 0,755 0,781
Extern gestuurde strategie 10 0,737 0,748
Stuurloze strategie 4 0,717 0,715
Mentale modellen/studiemotieven
Certificaatgericht 3 0,709 0,737
Beroepsgericht 4 0,444 0,750
Testgericht 4 0,744 0,916
Persoonlijk geïnteresseerd 4 0,416 0,702
Ambivalent 5 0,845 0,826
Studieopvattingen
Opname van kennis 9 0,751 0,846
Opbouw van kennis 6 0,734 0,739
Gebruik van kennis 5 0,495 0,581
Stimulerend onderwijs 8 0,852 0,885
Samen studeren 7 0,864 0,915
In totaal zijn er op basis van deze dataverzameling zeventig betrouwbaarheidsanalyses uitgevoerd.
Eerst zijn de vier hoofdschalen, ‘verwerkingsstrategieën’, ‘reglutatiestrategiën’, ‘mentale modellen’ en
‘studieopvattingen’, op hun betrouwbaarheid beoordeeld. Daarna zijn zestien betrouwbaarheids-
analyses uitgevoerd, voor elke subschaal één. Deze analyses zijn vervolgens herhaald met de data van
de nameting. Voordat er werd besloten tot het verwijderen van items waren er zodoende reeds veertig
betrouwbaarheidsanalyses gedaan. Na verwijdering van de items zijn zowel voor de voor- als de
nameting elf betrouwbaarheidsanalyses van subschalen herhaald, vervolgens zijn voor beide metingen
de analyses van de hoofdschalen opnieuw uitgevoerd. Na verwijdering van een aantal items zijn dus in
totaal 30 betrouwbaarheidsanalyses herhaald.
Gezien alle hoofdschalen nu betrouwbaar zijn en het om een bestaand gevalideerd instrument
gaat, is besloten alle data, met uitzondering van de data verzameld aan de hand van de verwijderde
items, mee te nemen in verdere statische analyses.
3.5 Kwalitatief onderzoek
Kwalitatief onderzoek is gebruikt om de onderzoekende houding van de docent in kaart te brengen. Er
is op twee manieren kwalitatieve data verzameld. De eerste is een semi-gestructureerde manier aan
de hand van logboeken. De docent heeft voor aanvang van elk college doelen opgesteld en na afloop
zijn bevindingen opgeschreven. Ik heb daar op basis van mijn ervaringen als student en mijn ervaringen
als onderzoeker op gereageerd. Daarbij hebben tien basisprincipes van AfL een leidraad gevormd. De
34
tweede wijze waarop kwalitatieve data is verzameld is het noteren van opvallendheden in een
dagboek. De notities hebben betrekking op alles wat niet relevant was om in de logboeken te
vermelden. Het gaat bijvoorbeeld om problemen die studenten aankaarten, onduidelijkheden waar ik
zelf tegenaan ben gelopen of gedachtegangen. Het betreft een ongestructureerde manier van
dataverzameling.
De conclusies met betrekking tot de tweede onderzoeksvraag ‘Welke bijdrage levert AfL aan de
onderzoekende/lerende houding van docent?’ worden gestructureerd aan de hand van de zes
aspecten van een onderzoekende houding van de docent: de wil om (1) kritisch te zijn; (2) te begrijpen;
(3) te bereiken; (4) te delen; (5) vernieuwend te zijn; en (6) te weten. (Van der Rijst, 2009). Deze
indeling is als analysemodel gekozen omdat de kwalitatieve data in eerste instantie informatie
verschaft met betrekking tot de tien basisprincipes van AfL. Daardoor is de informatie over de
onderzoekende houding indirect.
3.5.1 Logboeken
Er is gebruik gemaakt van een participerende observatie waarbij mijn medestudenten en de docent
wisten dat ik tijdens de colleges het gedrag van de docent en de invloed daarvan op studenten
observeerde. Hoewel het algemeen aangenomen is dat de rol van de participerende observator het
best geheim kan blijven (Baarda & De Goede, 2005), was dat in dit geval niet mogelijk doordat ik elke
week reageerde op de logboeken van de docent en tijdens de colleges een actieve en participerende
houding van mij werd verwacht. Binnen het kader van AfL is dit te verdedigen met het feit dat de
docent zijn handelen niet kan aanpassen als hij geen feedback krijgt. Maso en Smaling (1998)
benadrukken juist het belang van het open en eerlijk zijn over de observatie. Doordat zowel de docent
als de studenten op de hoogte waren van het onderwerp, het doel, de manier waarop ik observeerde
en wat mijn onzekerheden daarin waren, is het uiteindelijk heel goed mogelijk om op basis van de
verzamelde data uitspraken te doen over het handelen van de docent tijdens de colleges. Een
samenvoeging van de logboeken, inclusief de reacties daarop is opgenomen in bijlage 4.
Om in staat te zijn tot het effectief verwerken van de informatie die tijdens de observatie ter
beschikking komt en om specifieke keuzes te maken over waarop de observatie gericht zal zijn, is het
handig om van tevoren een theoretisch kader op te stellen (Maso & Smaling, 1998). Op die manier is
de betrouwbaarheid van de informatie het best. In het geval van dit masteronderzoek was dat echter
niet mogelijk. De inhoud van de logboeken en mijn reactie daarop is daarom niet altijd even specifiek
gericht op de vijf basisprincipes van AfL en de onderzoekende houding van de docent.
35
3.5.2 Dagboek
Het dagboek bestaat uit notities met betrekking tot het vak, het onderzoek en de scriptie. Het gaat
bijvoorbeeld om ideeën voor de structurering van de analyse van de gevonden data. Een voorbeeld van
de dagboeknotities is opgenomen in bijlage 5. Er staan ook opmerkingen in over de tien basisprincipes
van AfL en de manier waarop ik die terug heb zien komen in de les, maar die niet van geschikt waren
om in mijn reactie op de logboeken te verwerken. Ook zijn op basis van gesprekken met de docent
(tevens tweede thesisbegeleider), de methodoloog en mijn eerste thesisbegeleider notities
toegevoegd. De inhoud van het dagboek is dus gaandeweg tot stand gekomen en is niet opgehouden
toen de colleges en de dataverzameling achter de rug waren. Deze dataverzameling is daarmee
ongestructureerd (Baarda & De Goede, 2005). Net als voor de inhoud van de logboeken, geldt voor de
inhoud van het dagboek dat er van tevoren geen literatuurstudie heeft plaatsgevonden die richting zou
kunnen geven aan de dataverzameling. Naarmate de tijd verstreek heb ik meer achtergrondkennis
opgedaan, deze is verwerkt in de dagboeknotities. Bovendien moet vermeld worden dat, naarmate het
onderzoek vorderde, de inhoud van enkele notities, mede door opgedane kennis, niet meer relevant
zijn. Anderen zijn van toepassing gebleven en hebben in sommige gevallen richting gegeven aan het
literatuuronderzoek en/of de dataverzameling. De inhoud van het dagboek wordt gebruikt ter
aanvulling van de resultaten die verkregen zijn aan de hand van de logboeken en vragenlijsten.
De dagboeknotities zijn in te delen in vier groepen (Boeije, 2005). De eerste groep bevat
observatienotities. Deze dagboeknotities bestaan uit objectieve waarnemingen en worden
meegenomen in de data-analyse. De tweede groep omvat theoretische notities. Het gaat dan om
interpretaties, verklaringen en belevingen. Deze vinden een plaats in de conclusie of de discussie van
dit onderzoeksverslag. Ten derde bevat het dagboek methodische notities. Het gaat hierbij om notities
die betrekking hebben op de methodologie van het onderzoek. Deze notities zijn in dit hoofdstuk,
hoofdstuk 3, verwerkt. De vierde soort notities bestaat uit reflectieve notities. Deze hebben betrekking
op emoties, verwachtingen of twijfels ten aanzien van het onderzoek.
36
Hoofdstuk 4
Resultaten
In dit hoofdstuk worden de resultaten van de verschillende data-analyses beschreven. Allereerst zal
kort worden ingegaan op de response. Daarna worden de kwantitatieve resultaten van respectievelijk
de vragenlijsten en de ILS behandeld. Tot slot worden de kwalitatieve bevindingen van de reflectieve
logboeken besproken. Waar mogelijk zijn de dagboeknotities verweven met de resultaten van de
andere instrumenten.
4.1 Response
Zowel bij de voormeting als bij de nameting is de gehele populatie benaderd om de vragenlijst en de
ILS in te vullen. De gehele populatie bestaat uit alle studenten die het vak ‘Professionalisering van
leerkrachten’ hebben gevolgd. Het betrof 35 studenten.
Tijdens de voormeting heeft 60% (21 van de 35 studenten) studenten de vragenlijst ingevuld
en ingeleverd. De ILS werd door evenveel studenten, 60% van de steekproef, ingevuld en ingeleverd.
Bij de nameting was de response hoger. De vragenlijst en de ILS werden door 66% (23 van de 35
studenten) ingevuld en ingeleverd. De responsegroep is niet helemaal representatief voor de
populatie. Slechts één van de drie internationale studenten heeft een vragenlijst tijdens de voormeting
ingevuld. Tijdens het college waarin de nameting heeft plaatsgevonden waren alle internationale
studenten afwezig. Zij bleken in verband met de aankomende feestdagen tijdelijk terug te zijn gegaan
naar hun moederland. Daarnaast zijn bij zowel de voor- als nameting geen data verzameld van
respondenten die niet tijdens de college-uren aanwezig waren. Er is geprobeerd om deze studenten te
bereiken door de vragenlijsten via email en de digitale leeromgeving van de Rijksuniversiteit
beschikbaar te stellen, maar dit heeft, zelfs na het versturen van een herinnering, alleen de reactie van
de internationale student opgeleverd. De response is daardoor representatief voor een populatie
studenten die bij het eerste en/of laatste college aanwezig was.
4.2 Resultaten vragenlijst
In deze paragraaf worden de resultaten van de statistische analyses op basis van de data, verzameld
aan de hand van de zelfontworpen vragenlijst, weergegeven. Eerst worden de resultaten van de
normaliteitanalyse van deel 1, 2, en 3 weergegeven. Vervolgens worden de resultaten van de
uitvoering van de Wilcoxon rangtekentoets besproken. Daarna worden de resultaten van deel 4
besproken. Ook voor dit deel is een analyse van de normaliteit en de Wilcoxon rangtekentoets
uitgevoerd. De analyse is aangevuld met een frequentietabel. Voor deel 1 tot en met 4 geldt dat de
37
toetsing wordt uitgevoerd met de data die verkregen is uit de antwoorden op de vragenlijsten die zijn
ingevuld door de zeventien respondenten die zowel aan de voor- als nameting hebben deelgenomen.
Ten slotte komen de resultaten van deel 5 aan bod. In deze analyse zijn alle respondenten die tijdens
de nameting de vragenlijst hebben ingevuld meegenomen, het gaat om 23 studenten. De data is
geanalyseerd aan de hand van een frequentieverdeling.
4.2.1 Deel 1, 2 en 3: Normaliteit
Allereerst is met de Shapiro-Wilk toets onderzocht of de verschilvariabelen een normale verdeling
kennen. Dit is alleen voor deel 1, 2, 3 en 4 gedaan, omdat het bij deze delen van belang was voor de
verdere toetsing. De resultaten van deel 4 worden in een latere subparagraaf apart weergegeven. De
tabel met uitkomsten van de normaliteitstoetsing van deel 1, 2 en 3 is te vinden in bijlage 6. Zowel op
basis van de overschrijdingskansen als op basis van de Shapiro W-statistic moeten we voor alle
variabelen van een niet-normale verdeling uitgaan.
4.2.2 Deel 1, 2 en 3: Wilcoxon rangtekentoets
Om vast te stellen of AfL effect heeft op de houding van studenten ten opzichte van feedback en
betrokkenheid, twee elementen van AfL, is gebruik gemaakt van de non-parametrische Wilcoxon
rangtekentoets voor gepaarde waarnemingen. Deze toets werkt met tekens (plussen en minnen) welke
symbool staan voor vooruitgang of achteruitgang. De paren die geen verschil vertonen zijn van de
analyse uitgesloten, omdat deze paren ervoor zorgen dat de verdeling van tekens van de verschillen
niet meer binomiaal verdeeld is. Doordat er met paren gewerkt wordt, geeft de toets per item van de
vragenlijst één uitkomst. De toetsing kent een nulhypothese die stelt dat er geen verschil tussen beide
metingen is opgetreden. De alternatieve hypothese is dat de studenten bij de nameting hoger zouden
scoren. De statistische toetsing heeft, bij een eenzijdige alfa van 0,05, uitgewezen de drie delen van de
vragenlijst een niet-significant verschil vertonen. De resultaten van de toetsing zijn weergegeven in
tabel 4.1.
Tabel 4.1: gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 1, 2 en 3 van de vragenlijst.
Deel van de vragenlijst Aantal paren in analyse
Aantal positieve verschillen
Aantal negatieve verschillen
Aantal geen verschil
Sig.
Deel 1 Feedback m.b.t. kwaliteit van het werk.
17 9 4 4 0,248
Deel 2 Feedback m.b.t. leren 17 9 5 3 0,377
Deel 3 Betrokkenheid 17 8 6 3 0,704
38
4.2.3 Deel 4: Normaliteit
Deel 4 van de vragenlijst bestaat uit 23 items. Deze items meten geen gezamenlijk begrip, maar zijn
opzichzelfstaande items. Om te beginnen is de normaliteit van de verdeling van de scores op de items
vastgesteld. De resultaten van de normaliteitstoetsing zijn weergegeven in bijlage 7. Op basis van de
uitkomsten van de analyse is wederom voor de non-parametrische Wilcoxon rangtekentoets gekozen.
4.2.4 Deel 4: Wilcoxon rangtekenttoets
Om vast te stellen of AfL effect heeft op de verschillende onderwerpen die in dit deel van de vragenlijst
aan de orde komen, is wederom gebruik gemaakt van de Wilcoxon rangtekentoets voor gepaarde
waarnemingen. De nulhypothese luidt dat er tussen de voor- en nameting geen verschil is opgetreden.
De alternatieve hypotheses per item (bijlage 8) zijn gebaseerd op de literatuur die in het theoretisch
kader terug te vinden is. De statistische toetsing heeft uitgewezen dat geen van de items een
significant verschil vertoont (bijlage 9). In de frequentietabel (bijlage 10) is te zien dat studenten het
met vrijwel alle uitspraken met betrekking tot AfL eens zijn. Daarnaast zijn de studenten van mening
dat het feit dat het vak in het Engels gegeven wordt een negatieve invloed op hun actieve
betrokkenheid en hun leeropbrengsten heeft.
4.2.5 Deel 5: Frequenties en gemiddelden
Het vijfde deel van de vragenlijst is alleen tijdens de nameting ingevuld. Het deel bestaat uit zeven
items aan de hand waarvan een globale vergelijking tussen de docent die het betreffende vak gaf en
andere docenten in het algemeen. Het onderwerp was de onderzoekende houding (inquiring attitude)
van de docent. Dit deel is door 23 respondenten ingevuld, er was geen sprake van missende data.
In tabel 4.2 zijn de gemiddelden (mean), de standaarddeviaties (SD) en frequenties per item
weergegeven. De gemiddelde scores variëren van 4,00 tot 4,48. Dat betekent dat studenten de vragen
gemiddeld met ‘more frequent’ beantwoordden. Dit antwoord werd 86 keer gekozen tegenover 58
keer antwoord 5 en vijftien keer antwoord 3. Twee keer werd een negatief antwoord gegeven. Dit
kwam voor op de vraag over het proberen te begrijpen wat studenten motiveert en aanzet tot leren,
en op de vraag over het proberen te begrijpen wat studenten werkbaar vinden tijdens colleges. Op alle
vragen gaven één tot vier studenten een neutraal antwoord. Één vraag vormt daar een uitzondering
op. De vraag naar het actief zoeken naar verbetering van het handelen van de docent en de inhoud van
het vak werd uitsluitend positief beantwoord met dertien keer antwoord 4 en tien keer antwoord 5.
De zesde vraag kent het hoogste gemiddelde. De vraag gaat over het delen van kritische reflecties met
betrekking tot de inhoud van het vak. Dit is de enige vraag waarbij ‘much more frequent’, antwoord 5,
het vaakst als antwoord gekozen werd.
39
Tabel 4.2 Gemiddelde, standaarddeviatie en frequenties per item. Deel 5 vragenlijst (1 = A lot less frequent; 2 = Less frequent; 3 = Undecided; 4 = More frequent; 5 = Much more frequent)
In comparison to other teachers Ernst is more / less: Mean SD 1 2 3 4 5
critical in reviewing his own actions in class 4,43 0,590 - - 1 11 11
actively searching to improve his actions and the content of the course
4,43 0,507 - - - 13 10
actively invites students into a critical discussion about his actions and the course content
4,17 0,717 - - 4 11 8
trying to understand what drives students’ learning and motivation
4,09 0,793 - 1 3 12 7
trying to understand what works for students in lectures
4,00 0,739 - 1 3 14 5
willing to share his critical reflections of the course content
4,48 0,593 - - 1 10 12
actively trying to engage students in discussing the course content and/or his personal input
4,09 0,596 - - 3 15 5
Totaal 4,24 0 2 15 86 58
4.3 Resultaten ILS
In deze paragraaf worden de resultaten van de statistische analyses, op basis van de data verzameld
aan de hand van de ILS, weergegeven. In SPSS zijn twee keer zestien somvariabelen gecreëerd die
overeen komen met de zestien subschalen. Vervolgens is voor het verschil tussen beide metingen voor
elke subschaal een verschilvariabele gemaakt. Eerst worden de resultaten van de normaliteitanalyse
weergegeven, waarop de keuze voor een non-parametrische toetsing is gebaseerd. Vervolgens worden
de resultaten van de uitvoering van de Wilcoxon rangtekentoets besproken.
4.3.1 Normaliteit
Allereerst is met de Shapiro-Wilk toets onderzocht of de verschilvariabelen een normale verdeling
kennen. Uit de toetsing (bijlage 11) blijkt dat drie tot dertien van de variabelen een niet-normale
verdeling kennen. Daarom wordt gekozen voor een non-parametrische toetsing voor het verschil in
gemiddelden tussen de voor- en nameting.
4.3.2 Wilcoxon rangtekentoets
Om vast te stellen of AfL effect heeft op de leerstijl van studenten is wederom gebruik gemaakt van de
non-parametrische Wilcoxon rangtekentoets. Uit de uitvoer blijkt of, op basis van de
overschrijdingskans (sig.), de nulhypothese (geen verschil tussen beide metingen) al dan niet
verworpen moet worden. De alternatieve hypotheses per subschaal van de ILS zijn opgesteld op basis
van de literatuur die in het theoretisch kader aan bod is gekomen. Deze zijn weergegeven in tabel 4.3.
40
De statistische toetsing heeft, bij een eenzijdige alfa van 0,05, uitgewezen dat tien van de
zestien subschalen geen significant verschil vertonen tussen de voor- en nameting (bijlage 11). Zes
subschalen laten wel een verschil zien. In vier gevallen gaat het om een positief verschil en in twee
gevallen om een negatief verschil tussen beide metingen.
Alle subschalen behorend tot de hoofdschaal ‘Regulatiestrategieën’ tonen een significant
verschil. De eerste subschaal is ‘Zelfsturingsstrategie’. De alternatieve hypothese laat de verwachting
van een positief verschil tussen beide metingen zien. In de analyse zijn vijftien paren meegenomen,
waarvan elf paren met een positief verschil. Er is sprake van een significant positief verschil. De tweede
subschaal is ‘Externe sturing’. De analyse heeft een significant negatief verschil aangetoond. Verwacht
werd dat studenten door het toepassen van AfL minder gebruik zouden maken van externe sturing.
Van de zeventien paren die in de analyse zijn meegenomen, tonen twaalf paren een significant
negatief verschil. De laatste subschaal binnen deze hoofdschaal is ‘stuurloze strategie’. Voor aanvang
van de dataverzameling werd een vermindering in het gebruik van deze strategie verwacht. De
dataverzameling laat echter zien dat er veertien paren met een positief verschil tussen de voor- en
nameting zijn. Drie paren laten een negatief verschil zien. Op basis hiervan moet de nulhypothese
verworpen worden, maar mag de alternatieve hypothese ook niet aangenomen worden.
De volgende twee subschalen die bij analyse een significant verschil tussen voor- en nameting
vertonen vallen onder de hoofdschaal ‘studiemotieven’. De eerste is ‘certificaat gericht’. Studenten
die certificaatgericht leren, hechten waarde aan het neerzetten van goede prestaties en het halen van
tentamens en het diploma. Er werd een vermindering van het certificaatgerichte studiemotief
verwacht. De data vertoont tien paren met een positief verschil en twee paren met een negatief
verschil. Vijf paren hebben een onveranderde score behaald en worden daarom niet meegenomen in
de analyse. Met een overschrijdingskans van 0,012 en een alfa van 0,05 wordt de nulhypothese
verworpen. Tegen de verwachting in is een positief effect aangetoond. De volgende subschaal met een
significant verschil tussen de metingen is ‘beroepsgericht’. Studenten die beroepsgericht leren, leren
enkel om vakbekwaamheid te verwerven en een bepaald beroep uit te kunnen oefenen. Omdat het
leerproces centraal staat en het leren een doel op zich is bij AfL, werd een negatief verschil verwacht.
Drie paren laten een positief verschil zien en tien paren hebben een negatief resultaat geboekt. De
Wilcoxon rangtekentoets toont, bij een alfa van 0,05 en een overschrijdingskans van 0,030, een
significant negatief verschil.
De subschaal ‘samenwerken’ laat met zes paren die een negatief verschil laten zien, tegenover
acht paren met een positief verschil, een significant verschil tussen de voor- en nameting zien. Deze
subschaal valt onder hoofdschaal ‘studieopvattingen’. De gevonden overschrijdingskans bedraagt
0,036. De verwachting met betrekking tot deze subschaal komt overeen met de resultaten van de
analyse.
41
Tabel 4.3: Nulhypothese en alternatieve hypothese per subschaal.
ILS-HO schalen
Nulhypothese (H0)
Alternatieve hypothese (Ha)
Verwerkingsstrategieën
Diepteverwerkingsstrategie H0: η = 0 Ha: η>0
Stapsgewijze verwerkingsstrategie H0: η = 0 Ha: η<0
Concrete verwerkingsstrategie H0: η = 0 Ha: η>0
Regulatiestrategieën
Zelfsturingsstrategie H0: η = 0 Ha: η>0
Extern gestuurde strategie H0: η = 0 Ha: η<0
Stuurloze strategie H0: η = 0 Ha: η<0
Mentale modellen/studiemotieven
Certificaatgericht H0: η = 0 Ha: η<0
Beroepsgericht H0: η = 0 Ha: η<0
Testgericht H0: η = 0 Ha: η<0
Persoonlijk geïnteresseerd H0: η = 0 Ha: η>0
Ambivalent H0: η = 0 Ha: η<0
Studieopvattingen
Opname van kennis H0: η = 0 Ha: η<0
Opbouw van kennis H0: η = 0 Ha: η>0
Gebruik van kennis H0: η = 0 Ha: η>0
Stimulerend onderwijs H0: η = 0 Ha: η<0
Samen studeren H0: η = 0 Ha: η>0
Tabel 4.4 Paren in de analyse, aantal positieve verschillen, aantal negatieve verschillen, aantal zonder verschil en de overschrijdingskans van de ILS-HO schalen
ILS-HO schalen
Aantal paren in analyse
Aantal positieve verschillen
Aantal negatieve verschillen
Aantal geen verschil
Sig. (1-zijdig)
Verwerkingsstrategieën
Diepteverwerkingsstrategie 16 11 5 1 0,051
Stapsgewijze verwerkingsstrategie 16 9 7 1 0,144
Concrete verwerkingsstrategie 17 12 5 0 0,229
Regulatiestrategieën
Zelfsturingsstrategie 15 11 4 2 0,023
Extern gestuurde strategie 17 5 12 0 0,040
Stuurloze strategie 17 14 3 0 0,025
Mentale modellen/studiemotieven
Certificaatgericht 12 10 2 5 0,029
Beroepsgericht 13 3 10 4 0,030
Testgericht 11 6 5 6 0,376
Persoonlijk geïnteresseerd 15 9 6 2 0,178
Ambivalent 14 9 5 3 0,349
Studieopvattingen
Opname van kennis 14 5 9 3 0,234
Opbouw van kennis 16 8 8 1 0,203
Gebruik van kennis 12 4 8 5 0,099
Stimulerend onderwijs 17 11 6 0 0,326
Samen studeren 14 8 6 3 0,036
42
Om de resultaten van de statistische analyse van de ILS samen te vatten en het verband met de
leerstijlen te laten zien toont tabel 4.5 een overzicht van de vier hoofdschalen (leercomponenten), de
vier leerstijlen en de zestien subschalen. Per subschaal is, op basis van de alternatieve hypotheses uit
tabel 4.3 de verwachting aangegeven. In tabel 4.6 zijn de aangetoonde effecten van AfL op de leerstijl
van studenten weergegeven.
Tabel 4.5 Veranderingen op basis van de opgestelde alternatieve hypotheses
Leerstijl
Lee
rco
mp
on
ent
Betekenisgericht Reproductiegericht Toepassingsgericht Ongericht
Verwerkingsstrategieën Diepteverwerking
+
Stapsgewijze verwerking
-
Concrete verwerking
+
nauwelijks
Regulatiestrategieën Zelfgestuurd
+
extern gestuurd
-
zowel zelf- als extern gestuurd
Stuurloos
-
Mentale modellen /
studiemotieven
persoonlijk geïnteresseerd
+
certificaat- en testgericht
- en -
Beroepsgericht
-
Ambivalent
-
Studieopvattingen opbouwen van kennis
+
opnemen van kennis
-
gebruiken van kennis
+
samenwerking & stimulerend onderwijs
+ en -
Tabel 4.6 Aangetoonde veranderingen na implementatie van AfL
Leerstijl
Lee
rco
mp
on
ent
Betekenisgericht Reproductiegericht Toepassingsgericht Ongericht
Verwerkingsstrategieën Diepteverwerking
.
Stapsgewijze verwerking
.
Concrete verwerking
.
nauwelijks
Regulatiestrategieën Zelfgestuurd
+
extern gestuurd
-
zowel zelf- als extern gestuurd
.
Stuurloos
+
Mentale modellen /
studiemotieven
persoonlijk geïnteresseerd
.
certificaat- en testgericht
+ (en .)
Beroepsgericht
-
Ambivalent
.
Studieopvattingen opbouwen van kennis
.
opnemen van kennis
.
gebruiken van kennis
.
samenwerking & stimulerend onderwijs
+ (en .)
43
4.4 Resultaten logboeken
De UK Assessment Reform Group (1999) heeft aan de hand van bewijs uit verschillende onderzoeken
vijf sleutelelementen opgesteld (UK Assessment Reform Group, 1999). De resultaten van de logboeken
worden in deze paragraaf besproken aan de hand van de sleutelelementen van AfL. In de analyse zijn
vijf extra sleutelelementen toegevoegd, waardoor er gewerkt wordt met in totaal tien elementen. De
laatste vijf zijn opgesteld door de docent. Deze zijn gebaseerd op literatuur, ervaring en eigen
inzichten. Aan de resultaten van de logboeken zijn dagboeknotities toegevoegd om zoveel mogelijk het
hele vak, dus niet alleen het eerste uur van de bijeenkomsten, in kaart te brengen. De vijf
sleutelelementen van de Assessment Reform Group zijn voor dit onderzoeksverslag zo nauwkeurig
mogelijk vertaald uit het Engels.
Het vak bestond uit zeven colleges van twee uur. Het eerste uur werd in beslag genomen door
klassikale colleges. Tijdens dit eerste college-uur werd nieuwe stof aangeboden. Het doel was om pure
kennisoverdracht te vermijden en met elkaar in discussie te raken over de onderwerpen om zo
aandacht te schenken aan denk- en leerprocessen. Het tweede uur werd besteed aan groepswerk. Bij
aanvang van het vak is de groep studenten in drie groepen verdeeld. De docent heeft voorafgaand aan
elk college doelen opgesteld en achteraf opmerkingen toegevoegd. Deze vormen samen de logboeken.
Ik heb tijdens de colleges, aan de hand van de gestelde doelen, observaties uitgevoerd en mijn reactie
op de logboeken van de docent gegeven. De logboeken zijn voornamelijk gebaseerd op observaties
tijdens het eerste uur van de colleges.
4.4.1 Effectieve feedback
Het eerste sleutelelement van AfL is: het bieden van effectieve feedback aan studenten (UK
Assessment Reform Group, 1999). In het kader van AfL wordt verwacht dat studenten deze feedback
kunnen en zullen gebruiken om het vervolg van hun leerproces te sturen.
Het eerste uur van de colleges gaf, gezien de groepsgrootte, beperkte mogelijkheden tot het
geven van individuele feedback. Wel werd studenten in de klassikale situatie de mogelijkheid geboden
om met de docent tot gezamenlijke reflectie te komen. De docent daagde studenten daarin uit tot het
verdiepen van de denkprocessen. De feedback voortkomend uit de discussie was vooral gericht op het
leggen van verbanden tussen verschillende methoden van professionaliseren en minder op individuele
leerprocessen. Opvallend was dat de participatie tijdens de discussies erg wisselend was, waardoor een
groot deel van de studenten niet actief deelnam aan de reflecties en daarmee niet of in mindere mate
in staat was om tot interne feedback te komen.
Iedere student heeft in de eerste weken van het vak een leercontract opgesteld en opgestuurd
naar de docent. Onder studenten is in die eerste weken wat verwarring ontstaan met betrekking tot
het bindende karakter van de leercontracten. Uit het logboek van college drie blijkt dat niet alle
44
studenten zich ervan bewust waren dat ze van hun leercontracten af mochten wijken. Voor studenten
was de vrijheid wat onwennig, maar uit het dagboek blijkt dat ze wel gemotiveerd waren om vorm te
geven aan hun eigen leerproces. Het vinden van een balans tussen eigen belangen en het komen tot
een groepsplan, leverde wat vertraging op. Dit leidde tot het vormen van subgroepen en verlaat
inleveren van leercontracten. Uit het logboek van college vier blijkt verder dat de docent op ieder
leercontract via email feedback heeft gegeven. De literatuur over AfL stelt als voorwaarde van
effectieve feedback dat het gebruikt moet worden om het leerproces te sturen (Hargreaves, 2005;
Scriven, 1966; Taras, 2008). Opvallend is dat de docent hier geen zichtbare controle over heeft gehad.
Hij heeft geen inzicht gekregen in hoe studenten de feedback hebben gebruikt. De docent was
gedurende het hele vak bereid om feedback te blijven geven. Via email was hij bereikbaar, maar ook
tijdens het tweede uur van het college was hij beschikbaar. De docent heeft in het logboek van
hetzelfde college aangegeven dat vooral de mailtjes van studenten hem inzicht gaven in de
leerprocessen die gaande waren. Studenten die het heft in eigen handen namen en van het leren een
sociaal proces maakten door medestudenten en de docent erbij te betrekken, hebben op vele manier
en op vele momenten feedback kunnen krijgen. Niet alle studenten hebben gebruik gemaakt van de
mogelijkheid tot het ontvangen van feedback via email of in andere vorm, daardoor is er mogelijk een
groep studenten waarvan de docent niet of in beperkte mate op de hoogte was van de leerprocessen
die gaande waren.
Een andere mogelijkheid tot het uiten van twijfels, het stellen van vragen of het geven van tips
aan andere studenten was de blog waar gebruik van werd gemaakt. Bij aanvang van het vak is een blog
gestart waar alle studenten deel aan konden nemen. Studenten konden hier feedback aan elkaar en
aan de docent vragen. De blogs die door studenten online gezet werden waren voornamelijk
samenvattingen van gelezen literatuur, aangevuld met eigen ervaringen of verbanden met andere
literatuur. Voortdurende leerprocessen waren daarin duidelijk zichtbaar, maar er werden weinig
vragen gesteld. De blogs hebben niet in alle gevallen feedback opgeleverd, maar uit het dagboek blijkt
dat dit ook niet voor alle studenten het doel was van het online zetten van een tekst. De docent heeft
de blogs nauwkeurig gelezen en heeft in reacties op de diverse blogs aanleidingen gegeven tot diepere
denkprocessen. Enkele actieve studenten leverden ook hun bijdrage in het geven van feedback.
Opnieuw geldt dus dat er een groep studenten is die via de blog geen feedback heeft ontvangen en dat
de docent eigenlijk niet weet of de reacties op de blog als feedback werden gebruikt om het leerproces
te sturen of te verbeteren.
4.4.2 Betrokkenheid
Het geven van feedback heeft enkel zin als studenten de feedback gebruiken. Daarbij is het van belang
dat studenten hun leerproces aanpassen om hun leren optimaal te maken. Het tevreden willen stellen
45
van de docent is daarbij niet het doel (Torrance, 2007). Studenten moeten actief over hun eigen
leerprestaties na gaan denken. Het tweede sleutelelement van AfL is daarop gericht: actieve
betrokkenheid van studenten (in dialogen) met betrekking tot hun eigen leerproces (UK Assessment
Reform Group, 1999).
Uit de logboeken blijkt dat studenten zowel tijdens het eerste college-uur als daarbuiten
werden uitgedaagd om actief betrokken te zijn bij hun eigen leerproces. Dit kwam bijvoorbeeld tot
uiting tijdens discussies in het eerste college-uur, groepsgesprekken in het tweede uur, de blogs, het
opstellen van persoonlijke leercontracten en het formuleren van een eigen oordeel van het
uitgevoerde werk. De discussies, blogs en leercontracten zijn al kort besproken, daarom wordt nu wat
dieper ingegaan op de opdrachten en de beoordeling daarvan.
Iedere student heeft tijdens het tweede college-uur en daarbuiten gewerkt aan een opdracht.
Deze opdracht werd door de studenten zelf vorm gegeven. Dit leidde, zoals blijkt uit het logboek van
college 5, tot grote diversiteit, creativiteit en goede samenwerking. Het leercontract stelde de student
in staat een overzichtelijk plan te formuleren. De opdrachten werden door studenten zowel individueel
als in groepen uitgevoerd, maar voor iedere student gold dat zij uiteindelijk zelf een voorstel voor een
eindbeoordeling zouden doen. Deze beoordeling moest worden gebaseerd op criteria die door de
student werden opgesteld. Bij het opstellen van de criteria werden de vakvereisten, zoals aangedragen
door de universiteit, meegenomen. Aan de hand van deze criteria kenden studenten zichzelf of hun
groepsgenoten punten toe en kwamen zij tot een cijfer. Deze beoordeling werd samen met de
uitgewerkte opdracht ingeleverd bij de docent.
4.4.3 Aanpassen onderwijs
Sinds 1999 hebben verschillende auteurs nieuw bewijs gevonden voor het gebruik van feedback. De
feedback, die voortkomt uit assessment is niet alleen belangrijk voor studenten, maar ook docenten
(Black & William, 1998b). De derde guideline van de Assessment Reform Group (1999) luidt dan ook:
het aanpassen van het onderwijs rekening houdend met de resultaten van de assessment.
De docent kreeg volgens de logboeken voornamelijk tijdens de discussies in de klas en de
mailtjes die studenten stuurden een beeld van de denkprocessen die gaande waren. Met behulp van
deze inzichten was hij in staat te bepalen hoe hij de studenten uit kon dagen tot verbetering. Ook de
leercontracten gaven inzicht in de ideeën die studenten hadden opgevat en de plannen die zij maakten
voor de uitwerking van hun persoonlijke opdracht. Tijdens de colleges was hij daardoor in staat om de
studenten op de juiste manier te prikkelen om hen daarmee te motiveren, te inspireren en verder te
helpen. De vrijheid die studenten tijdens het tweede uur hadden leverde voor de docent een
onoverzichtelijk beeld van de werkzaamheden op. Er waren drie lokalen beschikbaar gesteld waar
groepen konden overleggen. Maar met het ontstaan van subgroepen en studenten die zich
46
afscheidden van medestudenten, maakten niet alle studenten meer gebruik van de lokalen. Ze
verspreidden zich door het gebouw of vertrokken. De studenten kregen de vrijheid om op een
zelfgekozen locatie en zelf op een zelfgekozen tijdstip te werken aan hun opdracht. Compleet overzicht
van de werkzaamheden voor de docent was dus ook niet haalbaar.
4.4.4 Invloed op student
De docent speelt in het onderwijsproces een belangrijke rol. Zijn houding en handelen hebben invloed
op de emotionele gesteldheid van studenten. Het vierde sleutelelement is daarom: het erkennen van
de grote invloed die assessment heeft op de motivatie en het zelfvertrouwen van studenten, welke
beiden cruciale invloeden op het leren van studenten zijn (UK Assessment Reform Group, 1999).
Hoewel dit onderzoek zich richt op universitaire masterstudenten en niet op
basisschoolleerlingen, blijft het rekening houden met motivatie en zelfvertrouwen tot op zekere
hoogte wel van belang. De houding van de docent speelt daarbij een belangrijke rol (Black & William,
1998a). Het stellen van vragen, het tonen van belangstelling en het enthousiasmeren van studenten is
van wezenlijk belang voor de motivatie van studenten (Black & William, 1998a; 1998b). Hoewel de
groepsgrootte en de korte tijd waarin de groep en de docent elkaar hebben leren kennen daarbij wel
aan aantal beperkingen opleveren, blijkt uit de logboeken dat de docent veel aandacht heeft besteed
aan het enthousiasmeren van studenten. Dit werd gedaan met behulp van filmpjes, prikkelende reactie
op vragen van studenten en/of het aanhalen van eigen ervaringen van de docent. Studenten werden
uitgedaagd om buiten hun comfortzone te treden en een sprong in het diepe te nemen, zowel op het
gebied van leren als op het gebied van het gebruik maken van de vrijheden.
Tijdens de colleges, maar ook daarbuiten, was de docent altijd beschikbaar voor studenten. Het
stellen van vragen via email, maar ook het maken van afspraken om buiten de college-uren van dit vak
een gesprek aan te gaan behoorden tot de mogelijkheden. Vooral van de mail werd regelmatig gebruik
gemaakt. Uit de logboeken blijkt dat de docent tijdens de colleges regelmatig heeft laten blijken dat hij
de mails erg waardevol vind. Een enkele keer is hij klassikaal op de inhoud van een email ingegaan,
omdat het een vraag of informatie bevatte die voor iedereen relevant was.
Enkele studenten hebben erg moeten wennen aan de nieuwe aanpak tijdens het vak. Zij
misten vooral de structuur en vonden het lastig om, zonder nadrukkelijke ondersteuning,
verwachtingen en criteria van de docent, aan een opdracht te werken. Vanaf het begin van het vak
heeft de docent de mogelijkheid geboden tot het terugvallen op de vaste opdracht van voorgaande
jaren. Daar heeft uiteindelijk niemand gebruik van gemaakt. Iedere student heeft, individueel of in een
groep, eigen invulling gegeven aan zijn/haar leerproces en heeft zichzelf beoordeeld. De docent heeft
ook een beoordeling gegeven, maar hechtte net zoveel waarde aan zijn eigen oordeel als aan dat van
de student. Wanneer de beoordeling van de student en de docent niet met elkaar overeenkwamen,
47
werd de student uitgenodigd voor een gesprek om tot overeenstemming te komen. Ook hierin is dus
rekening gehouden met de motivatie en het zelfvertrouwen van de student.
De docent hield daarnaast gedurende het hele vak, bij beoordelingen, maar vooral bij het
geven van feedback, rekening met het feit dat de studenten tijd nodig hadden om aan de vrijheid, de
beschikbaarheid van de docent, de eigen verantwoordelijkheid en andere aspecten van de AfL-aanpak
te wennen.
4.4.5 Self-assessment
Belangrijke doelen van AfL zijn het bevorderen van zelfstandigheid en autonomie. Dit komt tot uiting
door het gebruik van self-assessment door studenten. Self-assessment is, zoals in het theoretisch kader
omschreven, het proces waarbij studenten hun eigen werk beoordelen en interne feedback
formuleren. De Assessment Reform Group heeft dit opgenomen als vijfde sleutelelement van AfL: de
noodzaak voor studenten om zichzelf te kunnen beoordelen en inzicht te verwerven in hoe ze hun
leerproces kunnen verbeteren.
Voor iedere student heeft self-assessment een andere uitkomst. Ook geeft iedere student dit
proces op een eigen manier vorm. In de klassikale colleges was het daarom noodzakelijk om prikkels
toe te passen die op zoveel mogelijk studenten van toepassing waren. De vormgeving van het vak,
waarbij studenten in grote mate zelf vorm gaven aan hun leerproces, heeft op zichzelf al tot self-
assessment van studenten geleid. Studenten hebben voor zichzelf bepaald wat ze, binnen het kader
van professionalisering van leerkrachten, wilden leren. Het vaststellen van een beginniveau is daarbij
onvermijdelijk. Het proces van beoordelen en het geven van interne feedback is op dat moment al van
start gegaan. Tijdens de colleges die daarop volgden, werden studenten uitgedaagd de inhoud naar
hun eigen hand te zetten en het te gebruiken als bouwstenen in hun leerproces. Daarmee werden
tijdens de colleges moment gecreëerd waarop studenten hun eigen leerproces beoordeelden en
waarop dus self-assessment plaats heeft gevonden.
Een duidelijk voorbeeld van het aanzetten tot self-assessment kwam voor in één van de
gastcolleges. Studenten kregen steeds kleine taakjes, bijvoorbeeld het opschrijven van een aantal
begrippen die volgens hen samenhangen met een ‘inquiring attitude’. Vervolgens werden de
begrippen klassikaal verzameld en bediscussieerd. Hiermee werden studenten geholpen bij de reflectie
op verschillende concepten en hun eigen denkwijzen. Een ander voorbeeld kwam naar voren tijdens
het college over CLB (consultatieve leerlingbegeleiding), waarin het probleem niet bij het kind, maar
waarbij het handelen van de leerkracht met betrekking tot een bepaalde leerling centraal staat.
Studenten werden zich er onder andere van bewust dat het heel makkelijk is om het probleem bij
iemand anders neer te leggen. Het evalueren van je eigen denkprocessen en handelen is een stuk
lastiger, maar minstens zo waardevol.
48
4.4.6 Openheid van zaken
Uit de literatuur is gebleken dat docenten vaak vragen stellen zonder studenten daarbij uit te dagen
(Black & William, 1998a; Juwah et al., 2004). Het uitdagen en het scheppen van duidelijke
verwachtingen is niet alleen bij het stellen van vragen een relevant aspect om in overweging te nemen,
maar is in brede zin van toepassing. Over het algemeen kan worden aangenomen dat hoge, maar
haalbare verwachtingen van de docent motiverend voor studenten zijn. Dit is van grote invloed op de
leerprestaties van studenten (Juwah et al., 2004). Door de docent zijn, zoals vermeld, vijf
sleutelelementen aan de vijf al genoemde elementen toegevoegd. Het zesde element luidt: Wees
transparant, duidelijk zijn over de verwachtingen, persoonlijke interesses en vaardigheden (grenzen).
Tijdens de introductie van het college heeft de docent de inhoud van het experiment
verduidelijkt. Daarbij heeft hij verteld waarom hij zelf zo enthousiast is over Assessment for Learning
en waarom hij geïnteresseerd is in het effect dat een dergelijke benadering heeft op zowel studenten
als docenten. Bij het behandelen van de verschillende methoden van professionaliseren, die in het vak
centraal stonden, herhaalde hij deze werkwijze. In klassikale gesprekken met de studenten probeerde
de docent eerst een objectief beeld van de methode te scheppen en vervolgens voegde hij daar eigen
inzichten en ervaringen aan toe. Studenten werden uitgenodigd om dit ook te doen.
Naast mateloze enthousiasme en positiviteit, was er in de colleges ook aandacht voor
beperkingen die de AfL-aanpak met zich meebracht. Zo is het gevoel van een aantal studenten, dat er
te weinig structuur werd geboden, regelmatig ter sprake gebracht. Deze studenten werden
gestimuleerd om vooral gebruik te maken van de vrijheid. Hen werden opnieuw de mogelijkheden tot
persoonlijk contact met de docent gepresenteerd. Ook mochten zij te allen tijde nog kiezen voor de
vaste opdracht die door de docent ter beschikking kon worden gesteld. Tevens zijn voor deze
studenten voorbeelduitwerkingen van opdrachten beschikbaar gesteld, zodat zij een referentiekader
hadden. De beperkte tijd die studenten hadden om aan deze structuur te wennen was daarbij een
extra struikelblok.
Een andere beperking voor veel studenten, en daarmee ook voor de docent, was het feit dat
het vak in het Engels gegeven werd en er daardoor tijdens de discussies en groepsbijeenkomsten ook
in het Engels gecommuniceerd moest worden. Tijdens de colleges mochten studenten, die er in het
Engels echt niet uitkwamen, hun vraag of opmerking in het Nederlands stellen, de docent vertaalde de
bijdrage van de student. Voor de Spaanse-talige studenten bestond deze mogelijkheid niet. Tijdens het
groepswerk konden de studenten elkaar helpen bij de vertalingen. Van de blogs werd ook verwacht dat
deze in het Engels geplaatst werden. De docent adviseerde studenten om groepsgenoten om hulp te
vragen. Uiteindelijk zijn alle blogs in het Engels geplaatst. Uit de resultaten van de zelfontworpen
vragenlijst blijkt dat studenten desondanks toch het gevoel hebben gehad dat het Engels een negatieve
invloed heeft gehad op hun betrokkenheid en leeropbrengsten.
49
4.4.7 Duidelijke verwachtingen
Het delen van criteria is een essentieel element gebleken voor een effectieve AfL praktijk en het
mogelijk maken van self-assessment en peer-assessment (Black & William, 1998a). Zonder
duidelijkheid over criteria, verwachtingen en mogelijkheden is het niet mogelijk om een inschatting te
maken van het niveau waarop het leerproces van studenten zich op een bepaald moment bevindt.
Sleutelelement zeven is: wees open, bespreek wat wel en niet aan de verwachtingen van het vak
voldoet. De resultaten met betrekking tot dit element zijn niet geheel te onderscheiden van het vorige
element. Daarom wordt beperkt deze paragraaf zich tot een toevoeging aan het voorgaande.
Tijdens het eerste college is het experiment (het toepassen van AfL) geïntroduceerd. Daarbij
zijn de verwachtingen, maar vooral de mogelijkheden voor studenten benadrukt. Een voorbeeld
hiervan is het gebruik maken van de blogs. Studenten kregen optie om met enige regelmaat een blog
te publiceren waarop medestudenten en de docent mochten reageren. De blogs mochten bestaan uit
vragen, opmerkingen, informatie enz. Tijdens introductie van de blog en daarbij het benadrukken van
de mogelijkheden heeft de docent vanaf het begin, zowel impliciet als expliciet, duidelijk gemaakt dat
hij hoge verwachtingen had. Studenten reageerden daar merkbaar en op een positieve manier op. Met
enige regelmaat werd een blog online gezet. Na een aantal weken bleek dat niet alle studenten
deelname aan de blog als een kans zagen. Velen zagen het meer als een verplichting. Ondanks
mededelingen tijdens de introductie van het vak, was het dus niet voor alle studenten duidelijk dat
deelname aan de blog vrijwillig was.
De verwachtingen van de docent zijn meerdere keren ter sprake gekomen. Het toepassen van
AfL en de bijkomende vrijheid heeft voor studenten geleidt tot het in handen nemen van het eigen
leerproces. Verwachtingen van de docent waren niet langer toonaangevend en de verwachtingen en
doelen van de student werden belangrijker. Naarmate de weken verstreken raakten studenten er wat
meer aan gewend en werd minder gezocht naar de goedkeuring van de docent. Zowel de studenten als
de docent hebben aangegeven dat dit proces tijd vergt. Hierdoor zijn de resultaten met betrekking tot
dit sleutelelement waarschijnlijk vertekend.
4.4.8 Faciliteren
Met een verschuiving van de directieve stijl naar de participatieve (democratische) stijl van lesgeven is
de taak van de leerkracht verschoven (Santrock, 2009). De docent is niet langer de bron van kennis die
zorgt voor kennisoverdracht op studenten. Van eenrichtingsverkeer is geen sprake meer.
Sleutelelement acht: Faciliteren, de docent moet niet instrueren, maar coachen en daarmee studenten
in staat stellen tot het nemen van controle over hun eigen leren.
Zoals uit de logboeken blijkt, bestond het eerste uur van de colleges, vanuit het oogpunt van
de studenten, voor een groot deel uit luisteren naar de docent. Regelmatig werden de studenten
50
uitgedaagd tot deelname aan de discussie, maar de response liet soms op zich wachten. Daar kwam bij
dat er tijdens het eerste uur veel stof moest worden geïntroduceerd wat af en toe leidde tot een
gebrek aan tijd voor reflectiemomenten/discussies. De discussies die wel gevoerd werden hadden vaak
een faciliterend karakter. Studenten werden bijvoorbeeld in staat gesteld tot het stellen van vragen of
het uiten van twijfels. Een voorbeeld hiervan is het vaststellen van de datum voor de deadline van het
inleveren van de opdracht. De deadline stond gepland voor een bepaalde datum, maar via email had
een student gevraagd om een andere deadline. De docent heeft dit onderwerp klassikaal bespreekbaar
gemaakt en gezamenlijk zijn de studenten en docent tot een nieuwe deadline gekomen waar iedereen
tevreden mee was.
Drie maal werd een college verzorgd door een andere docent. Deze gastdocenten waren
uitgekozen om hun expertise op een bepaald gebied van professionaliseren van leerkrachten. Zo was
één van de gastdocenten zelf werkzaam in het onderwijs en recent afgestudeerd. Studenten konden
zich goed met haar identificeren en de inhoud van haar college was prikkelend. Een andere gastdocent
liet de studenten ervaren hoe creatieve denkvaardigheden en leren samenhangen. Studenten vielen
van de ene verbazing in de andere en werden gestimuleerd tot self-assessment. Tijdens een ander
college hebben de studenten begeleid geoefend met het voeren van consultatieve leerlingbegelei-
dingsgesprekken. Deze praktische bezigheden en regelmatige terugkoppeling stelde studenten in staat
inzicht te verwerven in hun eigen denkproces en dat van anderen.
Het tweede uur van de colleges was onmisbaar, omdat studenten hier de ruimte kregen de
opmerkingen van de docent actief toe te passen op hun eigen leerproces.
4.4.9 Leren door de docent
Van docenten wordt, net als van hun studenten, verwacht dat ze blijven leren en zich blijven
ontwikkelen (lifelong learning). Het belang van een onderzoekende houding van de docent is in het
theoretisch kader aangetoond. Door vragen te stellen en belangstelling te tonen verzamelt de docent
informatie die hij kan gebruiken als feedback. Het negende sleutelelement, geformuleerd door de
docent, is: Leer, participeer en evalueer jouw bijdrage binnen dit vak.
Op basis van de logboeken is data met betrekking tot dit sleutelelement slechts in beperkte
mate aanwezig. Het leren van de docent is niet altijd direct zichtbaar. In ieder geval niet aan de hand
van de doelen die de docent voor de colleges gesteld heeft en de observaties die op basis daarvan
hebben plaatsgevonden. Toch is uit verschillende observaties wel op te maken dat ook de docent een
leerproces heeft doorgemaakt. Een voorbeeld hiervan zijn de opmerkingen van de docent waaruit
blijkt dat hij over enkele aspecten van de invoering van AfL van tevoren iets te gemakkelijk heeft
gedacht. Hij had bijvoorbeeld niet voorzien dat de veranderingen voor sommige studenten zoveel
aanpassingsvermogen zou vergen en onzekerheid zou opleveren. Door de twijfels regelmatig
51
bespreekbaar te maken kreeg de docent een goed beeld van de gemoedsrust en voortgang van de
studenten. De docent heeft hiervan geleerd. Dit was zichtbaar door participatie van de docent aan
klassikale discussies, groepsdiscussies en de beschikbaarheid voor individuele gesprekken. Heel
regelmatig probeerde de docent de vormgeving van het vak en zijn eigen handelen met behulp van
dialoog te evalueren en tot verbetering te komen. Studenten waren zich bewust van de lerende
houding van de docent en reageerden daar overwegend erg positief op. Ze voelden zich betrokken bij
de leerprocessen die gaande waren.
4.4.10 Reflecteren
Het tiende en laatste sleutelelement is: reflecteer, stel vragen, draag alternatieven aan en analyseer
twijfels en zekerheden. Alle aspecten van dit laatste element zijn op grond van verschillende
onderzoeken bewezen effectief te zijn. Black en William (1998a) hebben het belang van het stellen van
goede vragen aangetoond. Het aandragen van alternatieven en het analyseren van twijfels en
zekerheden kunnen beiden gebruikt worden als feedback, om te komen tot verbeteringen in zowel het
handelen van de docent als het handelen van de student.
Gedurende de college-uren is veel aandacht besteed aan reflecteren. De docent stelde vragen,
hield de voortgang in de gaten en vroeg om feedback. Diverse alternatieven voor verschillende
aspecten waren altijd beschikbaar. Voorbeelden hiervan is het wel of niet gebruik maken van de blog,
het overstappen naar een vaste opdracht en het daardoor afwijken van de opgestelde leercontracten.
Daarnaast moet worden opgemerkt dat het opstellen van doelen en het schrijven van een logboek
door de docent op zichzelf al een reflecterend karakter heeft.
Uit de logboeken blijkt dus dat reflecteren een grote rol heeft gespeeld bij het betreffende
mastervak. De docent heeft veel aandacht aan dit aspect besteed. Wel moet genoemd worden dat de
participatie van studenten erg wisselend was en dat er over de kwaliteit van de gevolgen van de
reflecterende activiteiten weinig tot geen informatie in de logboeken voorkomt.
4.5 Samenhang resultaten
In dit onderzoek is gebruikt gemaakt van verschillende instrumenten die stuk voor stuk resultaten met
betrekking tot AfL hebben opgeleverd. In tabel 4.7 zijn de bevindingen, zoals besproken in paragraaf
4.2, 4.3 en 4.4, gestructureerd aan de hand van de tien sleutelelementen van AfL. In de laatste kolom is
aan elk sleutelelement één van de zes aspecten van de onderzoekende houding van de docent, zoals
omschreven door Van der Rijst (2009), toegevoegd. De conclusies met betrekking tot de tweede
onderzoeksvraag, ‘Welke bijdrage levert AfL aan de onderzoekende / lerende houding van docent?’
worden in hoofdstuk 5 gestructureerd aan de hand van deze aspecten.
52
Tabel 4.7 Resultaten gestructureerd op basis van de tien sleutelelementen van AfL
AfL sleutelelement
§ 4.2 Vragenlijst
§ 4.3 ILS
§ 4.4 Logboek
Aspecten onderzoekende houding
1. Effectieve feedback
Door implementatie AfL geen verandering in het belang dat studenten hechten aan Feedback m.b.t. leren en de kwaliteit van het werk.
Meer belang gehecht aan samenwerking.
Feedback gegeven. Zowel individueel als klassikaal.
Geen inzicht in de effectiviteit ervan.
Studenten hebben er niet allen evenveel gebruik van gemaakt.
De wil om kritisch te zijn (met betrek-king tot eigen en andermans handelen)
2. Betrokkenheid
Door implementatie AfL geen verandering in het belang dat studenten hechten aan betrokkenheid.
Meer zelfsturing.
Minder externe sturing.
Meer stuurloosheid.
Discussies
Blog
Opstellen van persoonlijke leercontracten
Opstellen van criteria
Formuleren van een eigen oordeel m.b.t. eigen werk.
De wil om te delen (en studenten daarmee in staat te stellen te profiteren)
3. Aanpassen onderwijs
Actief in het zoeken naar mogelijkheden tot ver-betering met betrekking tot zijn handelen en de inhoud van het vak.
Geen toe- of afname in de studieopvatting stimulerend onderwijs.
Aan de hand van de logboeken of suggesties van studenten heeft de docent het onderwijs ten gunste van de leerprocessen aangepast.
De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken
4. Invloed op student
Doet moeite om te begrijpen wat studenten motiveert en tot leren aanzet.
Past de inhoud en vorm-geving van de colleges meer aan op de behoef-ten van studenten.
Rekening gehouden met de motivatie/ zelfvertrouwen van studenten, door te enthousiasmeren en aan te sporen om twijfels onderwerp van gesprek te maken.
De wil om te begrijpen (hoe studenten het meest optimaal leren)
5. Self-assessment
Minder beroepsgericht studiemotief.
Meer certificaat-gericht studiemotief.
Aangezet tot self-assessment door expliciet van studenten te verwachten dat ze de inhoud van de colleges naar hun eigen hand zetten. O.a. in de uitwerking van de opdracht.
Geen inzicht in de kwaliteit van self-assessment.
De wil om kritisch te zijn (naar eigen en andermans handelen)
6. Openheid van zaken
Deelt in grotere mate de uitkomsten van zijn eigen reflectie.
Het delen van interesses, verwachtingen, doelen en vaardigheden (+ grenzen) van zowel de docent als de student speelde tijdens het vak op verschillende manieren een grote rol.
De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken
7. Duidelijke verwachtingen
Minder externe sturing.
Tijdens de colleges was er naast de verwachtingen van de docent (die heel duidelijk waren) ook veel aandacht voor beperkingen/twijfel die de AfL-aanpak met zich meebrachten.
Toch zijn er misverstanden ontstaan, doordat een aantal studenten de
De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken
53
verwachtingen toch niet begrepen.
8. Faciliteren Minder externe sturing.
Meer zelfsturing.
Meer stuurloosheid.
De colleges bestonden gedeeltelijk uit kennisoverdracht, maar daarnaast creëerde de docent ruimte voor individuele denk- en leerprocessen.
De wil om te delen (en studenten daarmee in staat te stellen te profiteren)
9. Leren door de docent
Het leren door de docent was niet altijd expliciet zichtbaar, het participeren en evalueren van zijn bijdrage binnen het vak wel.
De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken
10. Reflecteren
Kritisch is ten opzichte van zijn eigen handelen.
Actief in het betrekken van studenten bij kritische reflectie.
Geen verandering in studieopvatting ‘opbouw van kennis’
De docent stelde vragen, hield de voortgang in de gaten, droeg alternatieven aan en vroeg om feedback.
De wil om vernieuwend te zijn (door het ouder vertrouwde los te laten en op zoek te gaan naar nieuwe en betere leeromstandigheden)
54
Hoofdstuk 5
Conclusie In dit hoofdstuk worden de onderzoeksvragen beantwoord:
1. Welk effect heeft AfL op de leerstijl van studenten?
2. Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?
De resultaten van de (data-)analyses worden in verband gebracht met de bevindingen uit de literatuur.
Hier worden conclusies uit getrokken. Daarbij moet rekening gehouden worden met het feit, zoals
besproken in paragraaf 3.1.2, dat een beperkte mogelijkheid tot generaliseerbaarheid aan de orde is.
De omstandigheden waarin AfL is toegepast en de kenmerken van de onderzoekseenheden zijn
dermate specifiek, dat er slechts gegeneraliseerd kan worden naar soortgelijke groepen in
vergelijkbare omstandigheden.
5.1 Effect van AfL op leerstijl student
De eerste onderzoeksvraag ‘Welk effect heeft AfL op de leerstijl van studenten?’ is beantwoord aan de
hand van de vragenlijst en de ILS van Vermunt. Daarnaast zijn de bevindingen aangevuld met notities
uit de logboeken of het dagboek. De effecten van de toepassing van AfL op de leerstijl van studenten
worden gestructureerd aan de hand van de vier verschillende leerstijlen: de betekenisgerichte leerstijl,
de toepassingsgerichte leerstijl, de reproductieve leerstijl en de ongerichte leerstijl (Vermunt, 1998).
5.1.1 Betekenisgerichte leerstijl
Studenten met een betekenisgerichte leerstijl maken gebruik van zelfsturing, worden beïnvloed door
een persoonlijke interesse in leren en hebben als doel de opbouw van kennis die gerelateerd is aan
ervaringen of onderlinge verbanden met eerder opgedane kennis (Vermetten et al., 1999).
Het bevorderen van autonomie en zelfsturing door betrokkenheid bij het eigen leerproces is
het belangrijkste doel van AfL (Black et al., 2006). In dit onderzoek werd daarom een positieve invloed
van AfL op zelfsturing verwacht. Op basis van de resultaten van de ILS mag geconcludeerd worden dat
er inderdaad een verschuiving naar meer gebruik van zelfsturing heeft plaatsgevonden. Dit komt
overeen met de bevindingen op basis van de logboeken dat studenten meer autonoom te werk zijn
gegaan en onder andere middels groepsdiscussies en groepswerk betrokken waren bij vormgeving van
de leerprocessen. Uit het derde deel van de zelfontworpen vragenlijst blijkt echter dat er geen
veranderingen zijn opgetreden in de mate waarin studenten belang hechten deze betrokkenheid. De
resultaten van de ILS en de zelfontworpen vragenlijst spreken elkaar tegen. Een verklaring daarvoor
zou kunnen zijn dat de vraagstelling van de zelfontworpen vragenlijst ruimte laat voor twijfel over de
oorzaak of de afwezigheid van de verschillen tussen voor- en nameting. Deze zijn mogelijk niet
55
veroorzaakt door de implementatie van AfL, maar doordat studenten tijdens het volgen van het vak
bepaalde zaken gemist hebben en er daarom meer aan belang hechten. Het is ook mogelijk dat
studenten bepaalde zaken juist positief hebben ervaren en er daarom een onveranderd effect aan
hechten. Deze beperking wordt besproken in hoofdstuk 6: Discussie. Tijdens het grotendeels
zelfgestuurde leerproces worden studenten met een betekenisgerichte leerstijl beïnvloed door een
persoonlijke interesse in leren (Vermetten et al., 1999). Deze studenten willen zich persoonlijk
ontwikkelen en formuleren daarbij eigen doelen. Deze mate van persoonlijke inbreng is kenmerkend
voor AfL (Black & William, 1998a). Verwacht werd daarom een meer persoonlijk geïnteresseerd
studiemotief met als doel het opbouwen van kennis en het leggen van verbanden. Deze verwachte
effecten van de implementatie van AfL zijn niet aangetoond op basis van de ILS. Er is geen verschil
tussen de voor en nameting opgetreden.
Op basis van de literatuur werd verwacht dat AfL als effect zou hebben dat studenten meer
gebruik zouden maken van de betekenisgerichte leerstijl. Naast het opgetreden effect met betrekking
tot de regulatiestrategie zelfsturing zijn er op het gebied van deze leerstijl echter geen andere
veranderingen aangetoond. Geconcludeerd kan worden dat studenten meer gebruik maken van deze
leerstijl, maar minder dan verwacht.
5.1.2 Reproductiegerichte leerstijl
Studenten met een reproductiegerichte leerstijl maken bij het leren vooral gebruik van stapsgewijze
verwerkingsstrategieën waarbij weinig aandacht wordt besteed aan het leggen van verbanden. Deze
studenten worden daarbij extern gestuurd door bijvoorbeeld de docent. Het doel is het
opnemen/onthouden van kennis. In deze leerstijl werkt de student testgericht en certificaatgericht, de
focus ligt op het neerzetten van goede prestaties en het ontvangen van erkenning daarvan (Vermetten
et al., 1999).
Het doel van AfL is het stimuleren van zelfstandigheid en het inzichtelijk maken van
leerprocessen (Black & William, 1998b; Black et al., 2006). Dit staat bijna lijnrecht tegenover de
omschrijving van de reproductiegerichte leerstijl. Op basis van literatuur werd daarom een afname met
betrekking tot het gebruik van de reproductiegerichte leerstijl verwacht. In de AfL-praktijk staat het
leerproces centraal en wordt het behalen van een voldoende voor het vak als secundair doel gezien
(Clark, 2008). Daarom werd verwacht dat studenten minder certificaat- en testgericht zouden zijn en
zou het onthouden van kennis een kleinere rol moeten spelen. Van studenten werd, zoals onderbouwd
in paragraaf 5.1.1, juist meer zelfsturing in plaats van gebruik van externe sturing verwacht. Uit de
analyse van de antwoorden van studenten op de vragen van de ILS is gebleken dat de toepassing van
AfL tijdens het vak, in overeenstemming met de verwachtingen, heeft geleid tot minder gebruik van
externe sturing. Tegen de verwachting in moet ook geconcludeerd worden dat de studenten zich een
56
meer certificaatgericht studiemotief hebben aangemeten. Het behalen van het vak werd in grotere
mate een belangrijk doel. Een verklaring daarvoor zou kunnen zijn dat studenten in verband met
twijfels of onzekerheden op safe hebben gespeeld en daarom dit doel hebben gesteld. Deze beperking
wordt besproken in hoofdstuk 6: Discussie. Op het gebied van het gebruik van de stapsgewijze
verwerkingsstrategie (het onthouden van losse feiten) en het testgericht leren, hebben zich geen
veranderingen voorgedaan.
AfL heeft op het gebruik van de reproductiegerichte leerstijl zowel een positief als negatief
effect gehad. Er is als gevolg daarvan geen eenduidige uitspraak te doen met betrekking tot het effect
van AfL op het gebruik van deze leerstijl.
5.1.3 Toepassingsgerichte leerstijl
Vermetten, Lodewijks en Vermunt (1999) omschrijven studenten met een toepassingsgerichte leerstijl
als gebruikmakend van concrete verwerkingsstrategieën door tijdens het leren verbanden te leggen
met concrete eigen ervaringen. Deze studenten maken gebruik van zowel externe sturing als
zelfsturing. Ook zijn deze studenten van mening dat kennis in verband moet worden gebracht met de
praktijk om zo kwalificaties voor een bepaald beroep op te doen.
Door toepassing van AfL werd een mix van positieve en negatieve effecten met betrekking tot
deze leerstijl verwacht. In paragraaf 5.1.1 en 5.2.1 zijn de verwachtingen met betrekking op zelfsturing
en externe sturing onderbouwd. Op basis van de resultaten van de ILS is, in overeenstemming met de
verwachting, aangetoond dat studenten meer gebruik maakten van zelfsturing en minder van externe
sturing. Daarmee kan echter niet geconcludeerd worden dat er veranderingen zijn opgetreden met
betrekking tot het gebruik van een combinatie van beide sturingsvormen, zoals bij de
toepassingsgerichte leerstijl het geval is. Ook werd al genoemd dat Clark (2008) van de studenten
verwacht dat zij door toepassing van AfL meer persoonlijk gemotiveerd zouden zijn om te leren.
Daarom werd in dit onderzoek verwacht dat studenten ook minder beroepsgericht zouden leren
waarbij de opleiding enkel als pure noodzaak voor het verwerven van een baan gezien wordt. Op basis
van de resultaten van de statistische analyse mag geconcludeerd worden dat deze verwachting is
uitgekomen, dus dat studenten een minder beroepsgericht studiemotief hadden. Daarnaast is het in de
AfL praktijk van belang dat docenten voor aanvang van het leerproces doelen opstellen. Ook van
studenten wordt verwacht dat zij doelen formuleren (Black & William, 1998a; Juwah et al., 2004;
Sadler, 1989). Doelen die de student opstelt, brengen de studiestof in verband met ervaringen uit de
concrete praktijk die de student kent. Dit komt overeen met het gebruik maken van concrete
verwerkingstrategieën, waarvan daarom een verhoogd gebruikt verwacht werd. Deze verwachting is
niet uitgekomen. Er is geen verandering opgetreden.
57
Met betrekking tot slechts één van de vier leercomponenten, waaruit iedere leerstijl bestaat, is
een verandering aangetoond. Het effect van AfL op het aanmeten van de toepassingsgerichte leerstijl
is daarom niet eenduidig. Er kan alleen gezegd worden dat de studenten zich in mindere mate een
beroepsgericht studiemotief hebben aangemeten.
5.1.4 Ongerichte leerstijl
De vierde leerstijl betreft de ongerichte leerstijl. Studenten met deze leerstijl maken nauwelijks gebruik
van verwerkingsstrategieën. Ze hebben moeite met zelfsturing, maar zijn ook niet in staat om zich
extern te laten sturen. Tevens hebben ze geen duidelijk studiemotief. De studenten verwachten dat
het onderwijs stimulerend is. Samenwerking is voor deze studenten een gunstige manier om tot leren
te komen (Vermetten et al., 1999).
In de context van AfL wordt leren gezien als een gericht en sociaal proces (Black & William,
1998a). Daaruit komt de verwachting van een vermindering in het hebben van een ongerichte leerstijl
voort, want AfL stimuleert studenten juist om (gedeeltelijk) onafhankelijk van de docent zelfstandig
sturing te geven aan het leerproces (zelfsturing). Uit de inhoud van de logboeken is te concluderen dat
de verwachtingen van de docent niet langer toonaangevend waren. In plaats daarvan waren de
verwachtingen en doelen van de student belangrijker. Uit de logboeken blijkt echter ook dat studenten
het lastig vonden om zonder nadrukkelijke ondersteuning en kant-en-klare criteria van de docent
criteria op te stellen om daarmee sturing en inhoud te geven aan hun opdracht. Tegen verwachting in
heeft AfL dan ook als effect gehad dat studenten, naast meer zelfregulerend, meer stuurloos zijn
geworden. Tevens is een verandering met betrekking tot de studieopvatting van studenten
opgetreden. De studieopvatting die bij studenten met een ongerichte leerstijl past, is een combinatie
van het hechten van waarde aan samenwerking en de verwachting dat het onderwijs een stimulerende
rol heeft (Vermetten et al., 1999). Uit de logboeken is gebleken dat studenten gezien de groepsgrootte
en de vormgeving van het vak grotendeels afhankelijk waren van peer-assessment. In de literatuur
wordt dit omschreven als een proces waarbij de student door medestudenten beoordeeld wordt en
van hen feedback ontvangt (Juwah et al., 2004; Lauf & Dole, 2010). Daarnaast blijkt uit de logboeken
en het dagboek dat studenten die met een groep aan de uitwerking van de opdracht werkten vooral
gebruik maakten van feedback van groepsgenoten / medestudenten. De werkwijze van deze studenten
kwam overeen met coöperatief leren van Johnson, Johnson en Smith (1991) waarbij studenten elkaar
individueel verantwoordelijk houden voor een specifiek onderdeel van een taak en de losse delen
uiteindelijk samenvoegen. Studenten die kozen voor een individuele uitwerking van de opdracht
maakten meer gebruik van feedback van de docent. De verwachting dat studenten meer waarde
zouden hechten aan samenwerking is op basis van de analyse van de ILS uitgekomen. In het verlengde
daarvan werd, gezien de rol die formatieve assessment binnen AfL speelt, verwacht dat studenten
58
door toepassing van AfL minder waarde zouden hechten aan feedback met betrekking tot de kwaliteit
van het werk en meer waarde zouden hechten aan feedback met betrekking tot leren. Uit het eerste
en tweede deel van de zelfontworpen vragenlijst is gebleken dat deze verwachtingen niet zijn
uitgekomen. Daarnaast is uit de statistische analyse van de ILS een onveranderde houding ten aanzien
van de stimulerende rol van het onderwijs geconstateerd. Er kunnen daarom geen uitspraken gedaan
worden over de combinatie van samenwerking en stimulerend onderwijs.
Op het gebied van de ongerichte leerstijl heef zich daardoor slechts op één van de vier
leercomponenten een overtuigende verandering voorgedaan. Deze verandering wijst, in tegenstelling
tot de verwachting, op het in meerdere mate aanwezig zijn van de ongerichte leerstijl. Er moet echter,
in verband met de afwezigheid van overige veranderingen en het onduidelijke effect van AfL op de
component studieopvatting, geconcludeerd worden dat ook het effect van AfL op deze leerstijl niet
eenduidig is.
De hypothese was dat het invoeren van AfL veranderingen in de leerstijl van studenten teweeg zou
brengen (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986). Er werd voornamelijk een meer
betekenisgerichte leerstijl verwacht. Deze verwachtingen zijn uitgekomen. Er zijn wel een paar
onverwachte effecten opgetreden: meer stuurloosheid, meer certificaatgericht. Tevens is een aantal
verwachte effecten uitgebleven.
5.2 Bijdrage AfL aan onderzoekende houding docent
Assessment for Learning levert op verschillende manieren een bijdrage aan de onderzoekende houding
van de docent. Om deze bijdrage in kaart te brengen zijn de tien sleutelelementen van AfL ieder
afzonderlijk, zoals weergegeven in paragraaf 4.5, toebedeeld aan één van de aspecten van een
onderzoekende houding van Van der Rijst (2009): de wil om kritisch te zijn, te begrijpen, te bereiken, te
delen, vernieuwend te zijn en te weten. Per aspect worden de conclusies besproken. Deze zijn
gebaseerd op de logboeken, het dagboek en deel 5 van de zelfontworpen vragenlijst.
5.2.1 De wil om kritisch te zijn
Een docent met een onderzoekende houding heeft een kritische houding ten opzichte van eigen en
andermans handelen (Van der Rijst, 2009). Hier passen twee AfL sleutelelementen bij, namelijk het
geven van effectieve feedback en het aanzetten tot self-assessment van studenten. Om effectieve
feedback te kunnen geven moet de docent kritisch zijn ten opzichte van het werk en het leerproces van
studenten, maar ook ten opzichte van eigen werk. De feedback aan studenten moet effectief zijn zodat
studenten mede op basis hiervan vorm kunnen geven aan het verdere verloop van hun leerproces.
59
Hierbij is het principe van scaffolding aan de orde. Dit houdt in dat de docent tijdelijke ondersteuning
bij nieuwe leer/denkprocessen biedt (van de Pol et al., 2010). Ook moet de interne feedback, die de
docent zichzelf geeft met betrekking tot zijn leerproces effectief zijn. Het aanzetten tot self-assessment
valt onder het aspect ‘kritisch zijn’ omdat de docent hiermee de kritische houding van de studenten
stimuleert (UK Assessment Reform Group, 1999).
De docent heeft, gedurende de periode waarin het vak is aangeboden, op verschillende
manieren feedback aan studenten gegeven. Uit de logboeken blijkt dat niet alle studenten optimaal
gebruik hebben gemaakt van de mogelijkheid tot het ontvangen van feedback, maar de docent heeft
ervoor gezorgd dat geen enkele student geheel zonder het ontvangen van feedback het vak heeft
doorlopen. Feedback is niet per definitie effectief (Juwah et al., 2004). Er kan geconcludeerd worden
dat de docent middels formatieve feedback kritisch is geweest ten opzichte van de leerprocessen van
studenten. Met betrekking tot de kwaliteit van de feedback en hoe deze precies heeft bijgedragen aan
sturing van de leerprocessen van de studenten, moet op basis van de data helaas geconcludeerd
worden dat de docent weinig of geen inzicht heeft gekregen in de manier waarop studenten de
feedback gebruikten. De docent is dus wel kritisch geweest, maar het AfL sleutelelement is slechts in
beperkte mate op de juiste manier uit de verf gekomen. Ook het aanzetten tot self-assessment heeft
regelmatig plaats gevonden in de colleges. Ook hierover moet gezegd worden dat self-assessment niet
automatisch succesvol is. Studenten moeten daarin soms gestuurd of gecorrigeerd worden. Uit de
logboeken blijkt niet dat de docent inzicht heeft gekregen in de kwaliteit van de self-assessment van
studenten.
Op basis van de logboeken valt tevens op dat het handelen van de docent en de blik van zowel
de docent als de studenten op het vak bespreekbaar werd gemaakt. De docent deelde in de blog en
tijdens colleges zijn twijfels en kritiek en vroeg de studenten hetzelfde te doen. Hiermee probeerde de
docent tot verbetering van zijn lesgeven te komen door op behoeften in te spelen. Studenten werden
betrokken in het ontwikkelen van omstandigheden ten gunste van optimale leeropbrengsten. Een
voorbeeld hiervan is te vinden in het logboek van college twee waar de docent aangeeft dat hij
erachter is gekomen dat de studenten de blog meer als een verplichting dan als een kans zagen. De
docent speelde hier op in door nogmaals te benadrukken dat studenten ‘vrij’ waren om met of zonder
gebruik van de blog inhoud te geven aan hun leerproces.
Over het algemeen mag gesteld worden dat de docent, mede gestuurd door de vormgeving
van het vak en de toepassing van AfL daarin, een kritische houding heeft aangenomen en de studenten
daar ook in heeft gestimuleerd. Op basis van de logboeken is niet aan te tonen dat de docent inzicht
heeft in de effectiviteit van de feedback en de kwaliteit van de self-assessment. Studenten hebben
middels de vragenlijst aangegeven dat de docent, in vergelijking met andere docenten die niet op een
60
dergelijke actieve manier gebruik maken van AfL, meer kritisch is geweest ten opzichte van zijn eigen
handelen, de inhoud, vormgeving en voortgang van studenten tijdens het vak.
5.2.2 De wil om te begrijpen
Het tweede aspect van een onderzoekende houding dat Van der Rijst (2009) noemt is de wil om te
begrijpen. Een docent die probeert te achterhalen wat het gevolg, de oorzaak of de betekenis van een
verschijnsel is, voldoet op dit punt aan het hebben van een onderzoekende houding. Het AfL
sleutelelement dat aan dit aspect toebedeeld is, is het begrijpen van invloeden op leren door het
erkennen van de invloed die assessment heeft op de motivatie en het zelfvertrouwen, en daarmee op
het leren, van studenten (UK Assessment Reform Group, 1999).
Uit de logboeken is gebleken dat de docent veel aandacht heeft besteed aan het motiveren van
studenten. Dit heeft hij onder andere gedaan door het tonen van filmpjes, het geven van prikkelende
reactie op vragen van studenten en het aanhalen van eigen ervaringen van de docent. Daar moet bij
vermeld worden dat de docent de studenten heeft uitgedaagd om buiten hun comfortzone te treden,
zowel op het gebied van leren als op het gebied van zelfsturing. De docent heeft rekening gehouden
met de motivatie en het zelfvertrouwen van de studenten door zich beschikbaar te stellen voor het
geven van ondersteuning/feedback. Middels zowel individuele als groepsdiscussies/gesprekken,
reflectie- en evaluatiemomenten heeft de docent geprobeerd te begrijpen hoe hij door toepassing van
AfL de leeropbrengsten zo positief mogelijk kon beïnvloeden. Op basis van het dagboek kan worden
geconcludeerd dat studenten positief reageren tijdens de momenten waarop de vormgeving/
voortgang van het vak besproken wordt. Naarmate het vak vorderde en studenten meer gewend
waren aan het interactieve karakter, waren ze minder terughoudend in het bespreekbaar maken van
twijfels of problemen. De studenten merken dat de docent hier op in probeerde te spelen in een
poging de twijfel weg te nemen en zo een beter werkbare situatie voor de studenten te creëren.
Studenten hebben aangegeven dat de docent, in vergelijking met docenten die niet in deze
mate gebruik van AfL maken, in grotere mate moeite doet om te begrijpen wat studenten motiveert en
aanzet tot leren.
5.2.3 De wil om te bereiken
Dit aspect heeft betrekking op de wil om door te zetten en doelgericht te werk te gaan. Bij dit aspect
van de onderzoekende houding van de docent in het wetenschappelijke onderwijs passen vier AfL
elementen: openheid van zaken, het delen van duidelijke verwachtingen, het aanpassen van het
onderwijs en het leren door de docent. Openheid van zaken met betrekking tot verwachtingen,
persoonlijke interesses, vaardigheden en grenzen geeft richting aan de manier waarop de docent te
werk gaat om een doel te bereiken. Door duidelijke verwachtingen te scheppen en deze te delen met
61
de studenten, is de docent in staat om richting te geven aan de vorderingen die gedurende een
cursus/vak gemaakt worden en aan zijn eigen leerproces. Het doorzettingsvermogen van de docent
komt tot uiting in het aanpassen van het onderwijs aan de hand van assessment/beoordelingen door
zowel studenten als de docent zelf.
Bij aanvang van het vak heeft de docent de studenten op de hoogte gesteld van de inhoud van
het experiment, het toepassen van AfL tijdens het vak, en waarom hij daar zo enthousiast over is. Uit
de logboeken en het dagboek blijkt dat de verwachtingen van de docent regelmatig ter sprake zijn
gebracht, maar voor studenten desondanks niet altijd even duidelijk waren. Een voorbeeld hiervan is
het door studenten veronderstelde bindende karakter van de leercontracten. De zelfstandigheid die
van studenten verwacht wordt, is alleen haalbaar als de verwachtingen vanaf het begin van het vak
duidelijk zijn en als daarbij rekening wordt gehouden met persoonsspecifieke vaardigheden en grenzen
van zowel de docent als de student (Juwah et al., 2004). Omdat het voor studenten niet in alle gevallen
duidelijk was wat de verwachtingen waren, moet geconcludeerd worden dat de mogelijkheid bestaat
dat studenten niet optimaal in staat gesteld werden zelfstandig te werk te gaan. Dit strookt niet met
het doel (autonomie) van AfL. Op basis van de logboeken kan wel geconcludeerd worden dat de
zelfstandigheid waarbinnen studenten opereerden hen de mogelijkheid gaf om hun leerproces en
groepsproces af te stemmen op de vaardigheden die zij bezaten en verder wilden ontwikkelen. Dit
komt bijvoorbeeld naar voren in het logboek van college vier, waarin de docent benoemt dat de
studenten het groepswerk in konden richten op een manier die hen gepast leek. De docent stelde zijn
vaardigheden en de vormgeving van het vak regelmatig ter discussie. Met behulp van de inzichten die
daarbij aan het licht kwamen was hij in staat te bepalen hoe hij de studenten uit kon dagen tot
verbetering en hoe hij op basis daarvan zijn onderwijs aan kon passen. Dat de docent dit gedaan heeft
blijkt uit verschillende opmerkingen uit de logboeken. Een voorbeeld hiervan is te vinden in college
twee. De docent stelt vast dat de blog bedoeld was als mogelijkheid tot leren en het ontvangen van
feedback, maar studenten zagen het meer als een verplichting. De docent is hier tijdens colleges
meerdere malen op terug gekomen door de vrijblijvendheid en autonomie op het gebied van leren
nogmaals te benadrukken en studenten mee te nemen in de ontwikkeling naar grotere zelfstandigheid
op het gebied van leerprocessen. Vooral tijdens het tweede college-uur was het voor de docent niet of
in beperkte mate mogelijk om zicht te krijgen op de inhoud van de leerprocessen die gaande waren.
Op basis hiervan moet geconcludeerd worden dat de docent zijn onderwijs slechts kon aanpassen aan
de hand van aspecten die in het eerste college-uur naar voren kwamen of die door studenten via email
zijn aangekaart. Dat het tweede uur minder invloed op de aanpassing van het onderwijs had, is een
gemiste kans. Tijdens het tweede college-uur werd namelijk nadrukkelijker tijd besteedden aan de
vormgeving en inhoud van persoonlijke leerproces. Verschillende aspecten van AfL kwamen in dat uur
veel meer tot uiting dan in het eerste uur.
62
Geconcludeerd mag worden dat de AfL-praktijk heeft aangezet tot verschillende manieren om
op een doelgerichte manier het doel, goede leeruitkomsten, te bereiken. Wel zijn er tijdens het vak
een aantal omstandigheden aan de orde geweest waardoor de docent hierin beperkt werd. De
studenten geven middels deel 5 van de vragenlijst aan dat de docent, in vergelijking met andere
docenten in grotere mate de inhoud en vormgeving van de colleges aanpast op de behoeften en de
leerprocessen van studenten. Wel moet vermeld worden dat de logboeken voornamelijk
prestatiedoelen bevat en geen persoonlijke leerdoelen voor de docent. Daardoor is het op basis van de
logboeken in beperkte mate mogelijk om een uitspraak te doen over de mate waarin de docent
geleerd heeft hoe hij een effectieve AfL-praktijk vorm geeft.
5.2.4 De wil om te delen
De wil om te delen met studenten, docenten of andere belanghebbenden is het vierde aspect van een
onderzoekende houding van de docent (Van der Rijst, 2009). De twee sleutelelementen van AfL die aan
dit aspect toebedeeld zijn, zijn het stimuleren van betrokkenheid van studenten bij hun eigen
leerproces en het faciliteren/coachen van studenten om hen daardoor in staat te stellen tot het nemen
van controle over hun eigen leerproces. Het betreffende aspect uit zich in een enthousiasme en een wil
om ideeën over te brengen op anderen, maar ook open te staan voor de inbreng van anderen.
Uit de logboeken is gebleken dat het delen van bevindingen, gedachtegangen of inzichten door
de docent voor de studenten heeft geleid tot kritische reflectie op hun eigen denkwijzen en leerproces.
Dit sleutelelement van AfL is duidelijk tot zijn recht gekomen. De faciliterende rol van de docent stelt
studenten in staat controle te nemen over hun eigen leerproces. Deze participatieve/democratische
stijl van lesgeven, en daarbij het betrekken van de student bij het vaststellen van de inhoud en
vormgeving van het vak en de vormgeving en beoordeling van hun leercontract/opdracht, leidt ertoe
dat studenten hun leerproces zo effectief mogelijk ten uitvoer brengen en het denkniveau tot een
hoger niveau brengen. Wel moet geconcludeerd worden dat het eerste uur van de colleges, vanuit het
oogpunt van de studenten, voor een groot deel bestond uit luisteren naar de docent. Het tweede
college-uur, waarin studenten de opmerkingen van de docent op hun eigen leerproces toe konden
passen, werd daardoor onmisbaar in het kader van AfL. Uit de logboeken blijkt ook dat de
gastdocenten, die door de docent waren uitgenodigd, op de hoogte waren van de manier waarop het
vak vorm kreeg. De gastcolleges hadden een faciliterend karakter doordat studenten onder begeleiding
van experts uit het werkveld kennis maakten met verschillende manier van professionaliseren voor
leerkrachten. Tijdens de gastcolleges konden studenten ervaring opdoen.
Geconcludeerd mag worden dat de docent op verschillende manieren en om verschillende
redenen baat heeft gehad bij, en gebruik heeft gemaakt van, het delen van zijn inzichten. Studenten
hebben bij het beantwoorden van de vragenlijst aangegeven dat de docent, in vergelijking met andere
63
docenten, die AfL niet of in mindere mate toepassen, meer actief was in het betrekken van studenten
bij kritische reflecties van en inzichten in verschillende aspecten van het onderwijs en de
leerprocessen. Ook deelt hij in grotere mate de uitkomsten van zijn eigen reflecties met anderen.
5.2.5 De wil om vernieuwend te zijn
Het vijfde aspect van een onderzoekende houding is de wil om vernieuwend te zijn. De docent voldoet
hieraan doordat hij bereid en gemotiveerd is om AfL toe te passen in het onderwijs dat hij verzorgt.
Deze toepassing is uniek binnen de universiteit. Ook bij dit aspect past een sleutelelement van AfL,
namelijk reflecteren.
Door te reflecteren, vragen te stellen, nieuwe alternatieven aan te dragen en het analyseren
van twijfels en zekerheden, zoals genoemd in de logboeken, werd het vak en daarmee de toepassing
van AfL geëvalueerd en heeft de docent regelmatig inzicht gekregen in de voortgang van het project.
Daarbij is ervoor gewaakt dat de praktijk inderdaad vernieuwend blijft door ervoor te zorgen dat AfL op
de juiste manier werd toegepast. Dit komt bijvoorbeeld terug in het logboek van college drie, waarin
wordt aangegeven dat het in eerste instantie de bedoeling was om van leren een sociaal proces te
maken door samen te werken in groepen. De docent heeft tijdens dat college aangegeven dat het niet
verplicht is om in groepen te werken, maar dat de overweging tussen groepswerk en individueel werk
dan een opzichzelfstaande leerervaring kon zijn. Terugval in het oude patroon van kennisoverdracht
door de docent, waarbij studenten grotendeels afhankelijk van de docent zijn, werd in de logboeken
regelmatig opgemerkt. Doordat de docent zich hiervan bewust was, was hij in staat zijn handelen aan
te passen en vernieuwend te blijven. Ook kreeg de docent tijdens reflectiemomenten inzicht in hoe de
praktijk verbeterd kon worden om AfL zo goed mogelijk tot haar recht te laten komen. Op basis van de
logboeken en het dagboek is geen duidelijk overzicht op te stellen van de verbeteringen die hieruit
voortgekomen zijn. Het is daarom ook niet mogelijk een conclusie te trekken met betrekking tot de
kwaliteit van die verbeteringen.
De docent van het vak heeft met het toepassen van AfL, het bewaken van de kwaliteit daarvan
en het zoeken naar nieuwe inzichten aangetoond een onderzoekende houding te hebben. Studenten
hebben middels de vragenlijst aangegeven dat de betreffende docent meer actief is in het zoeken naar
mogelijkheden tot verbetering met betrekking tot zijn handelen en de inhoud van het vak dan andere
docenten in het algemeen.
5.2.6 De wil om te weten
De neiging om te willen weten, het zesde aspect van de onderzoekende houding van de docent, heeft
betrekking op nieuwsgierigheid naar het onbekende (Van der Rijst, 2009). Een docent die aan dit
aspect voldoet is leergierig en gemotiveerd om meer te willen weten. Het AfL sleutelelement dat aan
64
dit laatste aspect is toebedeeld, is het leren door de docent. In de AfL praktijk is het van belang dat de
docent leert, participeert en zijn bijdrage binnen het vak evalueert. Hij wil meer te weten komen om zo
tot een optimale onderwijssituatie te komen.
De wil om te weten heeft betrekking op leergierigheid en nieuwsgierigheid. De lerende
houding van de docent was zichtbaar door participatie van de docent aan klassikale discussies,
groepsdiscussies en de beschikbaarheid voor individuele gesprekken. Heel regelmatig probeerde de
docent de vormgeving van het vak, het effect van AfL en zijn eigen handelen met behulp van dialoog te
evalueren en tot nieuwe inzichten te komen.
Geconcludeerd mag worden dat de toepassing van AfL de docent uitdaagt tot het ontwikkelen
van en/of handelen conform zijn leergierigheid en nieuwsgierigheid. De betreffende docent heeft hier
op verschillende manier vorm aan gegeven, maar, zoals in paragraaf 5.2.5 vermeld, is het op basis van
de logboeken niet mogelijk om uitspraken te doen met betrekking tot de kwaliteit van de
verbeteringen.
De hypothese was dat het gebruik van AfL een positieve bijdrage levert aan de onderzoekende houding
van de docent (Black & William, 1998a; 1998b; James & McCormick, 2009). Op basis van het onderzoek
is te concluderen dat de toepassing van de tien sleutelelementen van AfL een (positieve) bijdrage heeft
geleverd aan alle zes aspecten van de onderzoekende houding van de docent, zoals door Van der Rijst
(2009) omschreven. De precieze mate waarin deze bijdrage positief was, is op basis van dit onderzoek
niet in kaart te brengen.
65
Hoofdstuk 6
Discussie
In dit hoofdstuk worden de beperkingen van het onderzoek en aanbevelingen voor vervolgonderzoek
besproken. De aanbevelingen worden aangevuld met mogelijke hypothesen met betrekking tot de
toepassing van AfL in het hoger onderwijs.
6.1 Beperkingen van het onderzoek en suggesties voor vervolgonderzoek
Zoals elk onderzoek, kent ook dit onderzoek een aantal beperkingen die mogelijk invloed hebben
gehad op de uitkomsten en conclusies. In deze paragraaf worden deze beperkingen en suggesties voor
verbetering weergegeven.
Om bij het begin van het onderzoek te beginnen, moet de beperking van het ontbreken van een tijdige
literatuurstudie als eerste worden genoemd. Door een korte tijd tussen kennismaking met de docent
en de start van het vak was het niet mogelijk om voor het eerste college, waarin de voormeting heeft
plaatsgevonden, de literatuurstudie af te ronden. Hierdoor was pas na de dataverzameling (voor- en
nameting van de zelfontworpen vragenlijst en mijn inbreng in de logboeken) helder inzicht in AfL
ontstaan. Als gevolg hiervan moet de doeltreffendheid en efficiëntie van beide dataverzamelings-
methoden in twijfel getrokken worden en is er mogelijk een beperking met betrekking tot de te
trekken conclusies opgetreden. Een tijdige literatuurstudie had wellicht geleid tot instrumenten die
meer gericht waren op het vinden van een zo volledig mogelijk antwoord op de onderzoeksvragen. Zo
had bijvoorbeeld de kwaliteit van de handelingen van de docent, zoals de kwaliteit van de gegeven
feedback of van de veranderingen in het lesgeven, kunnen/moeten worden meegenomen om de
onderzoekende houding van de docent beter in beeld te brengen.
De tweede beperking die dit onderzoek kent, heeft ook te maken met de gebruikte
instrumenten. De logboeken hadden meer betrekking op de tien sleutelelementen van AfL moeten
hebben, om er betere uitspraken over te kunnen doen. Tijdens dit onderzoek zijn de tien
sleutelelementen pas achteraf aan de doelen in de logboeken gekoppeld. Daardoor ontstaat in de
resultaten een zekere mate van herhaling. De resultaten overlappen elkaar gedeeltelijk, waardoor er
mogelijk een vertekend beeld is ontstaan. Vervolgens werden deze weer afzonderlijk gekoppeld aan de
zes aspecten van een onderzoekende houding van de docent. Hierdoor was de docent in mindere mate
in staat om inzicht te verwerven met betrekking tot zijn implementatie van AfL en was de link met de
onderzoekende houding moeilijker te leggen. Bovendien kan ter discussie gesteld worden of de
sleutelelementen van AfL afzonderlijk kunnen worden toegedeeld aan één van de aspecten van de
66
onderzoekende houding van de docent. Het is wellicht niet terecht om een dergelijk zwart-wit
onderscheid te veronderstellen. De tweede vragenlijst is een zelfontworpen vragenlijst, die op een
globale literatuurstudie gebaseerd is. Deze is in verband met het eerder genoemde tijdgebrek niet van
tevoren getest op betrouwbaarheid. Aan de hand van deze vragenlijst zijn weinig significante effecten
aangetoond. De significante verschillen die wel zijn aangetoond kunnen door de vraagstelling in twijfel
getrokken worden. Er is namelijk discussie mogelijk of de verschillen tussen voor- en nameting
veroorzaakt zijn door de implementatie van AfL of dat studenten tijdens het volgen van het vak
bepaalde zaken gemist hebben en daarom meer belang hechten aan bijvoorbeeld inzicht in de
kwaliteit van hun werk en begeleiding bij hun individuele leerproces door de docent, zoals gebleken is
aan de hand van de resultaten van de vragenlijst. Het toepassen van een bestaand instrument heeft de
voorkeur. Baarda en De Goede (2006) stellen namelijk dat met behulp van betrouwbare en valide
instrumenten nauwkeuriger testen op bestaande verbanden. Wellicht waren er dan, zoals verwacht,
meer effecten aangetoond.
De kwantitatieve instrumenten die zijn gebruikt, de ILS en de vragenlijst, vragen beide om
zelfrapportage van de respondenten. Aan zelfrapportage is een belangrijk nadeel verbonden. De
vragenlijsten meten namelijk niet de handelingen van studenten, maar de ideeën die studenten daar
zelf over hebben. Zelfrapportage laat ruimte voor subjectiviteit en de resultaten ervan zijn door vele
factoren beïnvloedbaar (Baarda & De Goede, 2005). Een suggestie voor verder onderzoek zou dan ook
zijn om de negatieve effecten van zelfrapportage zoveel mogelijk uit te sluiten of te kiezen voor een
vorm van dataverzameling die complementerend aan zelfrapportage is.
De vierde beperking die het onderzoek met zich meebrengt heeft betrekking op de momenten
waarop de voor- en nameting hebben plaatsgevonden. Voor de dataverzameling van de voormeting
hebben studenten de vragenlijsten mee naar huis gekregen en zijn ze ook online beschikbaar gesteld.
De nameting heeft tijdens het laatste college in de collegezaal plaatsgevonden. Een suggestie voor
vervolgonderzoek is het zoveel mogelijk gelijk houden van de omstandigheden waaronder de
vragenlijsten worden ingevuld. Dit voorkomt ongewenste invloed van storende variabelen op de
antwoorden die studenten geven. Daarnaast is het voor vervolgonderzoek belangrijk om rekening te
houden met de mate van vordering van studenten ten tijde van het invullen van de vragenlijst. Tijdens
het begin van het vak proberen studenten hun draai nog te vinden en zijn ze bezig met het creëren van
overzicht met betrekking tot de inhoud en vormgeving van het vak. Op het moment van de nameting
waren veel studenten aan het werk met hun opdracht. Sommigen van hen zaten al in de afrondende
fase anderen zagen de naderende deadline voor het inleveren van de opdracht misschien als een
bedreiging. De gevonden effecten zijn dan misschien niet het effect van de implementatie van AfL,
maar van de invloed van de verschillende gemoedstoestanden op de antwoorden die studenten geven
op de vragen die gesteld worden.
67
Een andere beperking van het onderzoek is het aantal respondenten. Niet alle studenten
waren bij zowel de voor- als de nameting aanwezig. In dit onderzoek is voor het grootste deel alleen de
data van studenten, die aan beide metingen hebben meegedaan, meegenomen. Daardoor was het
aantal respondenten laag. Een klein aantal respondenten leidt tot een kleinere ‘statistische power’
(Drenth & Sijtsma, 2006). Hierdoor was de kans op significante effecten kleiner. Daarnaast is de groep
respondenten niet helemaal representatief voor de totale groep studenten die het vak gevolgd
hebben. Alle internationale studenten zijn uitgesloten van deelname, zij waren tijdens de nameting
geen van allen aanwezig. Daarnaast bestaat de mogelijkheid dat de studenten die aanwezig waren bij
zowel het eerste als laatste college meer gemotiveerd zijn voor het halen van het vak. Dit kan van
invloed zijn geweest op de effecten die aan de hand van de data-analyse zijn vastgesteld. Bij
vervolgonderzoek of herhaling van dit onderzoek zou, tijdens het opzetten van het onderzoek,
nagedacht moeten worden over het benaderen van de steekproefpersonen.
De zesde beperking van het onderzoek is het aantal respondenten dat tussen de voor- en
nameting geen voor- of achteruitgang vertoont. Dit geldt vooral voor veel items van de zelfontworpen
vragenlijst. Voor de analyse levert dit beperkingen op. Respondenten die op een item geen
verandering vertonen, worden namelijk uitgesloten van de analyse. Dit werd gedaan omdat de
Wilcoxon rangtekentoets niet uit te voeren is met knopen in de data, maar het gevolg hiervan was wel
dat het aantal respondenten in de analyse soms erg laag was. Door het kiezen van een grotere
steekproef zijn de effecten van AfL nauwkeuriger in beeld te brengen.
Niet alleen het aantal respondenten heeft invloed op het vinden van significante verschillen.
De grootte van de groep studenten die het vak volgden, had invloed op de mogelijkheid tot het geven
van individuele feedback. Daarnaast heeft de groepsgrootte mogelijk invloed op de betrokkenheid van
de studenten, het inzicht in de leerprocessen van de studenten voor de docent en de steun/sturing
door de docent die de student ervaart. Het toepassen van AfL tijdens een vak met een kleinere groep
studenten kan daarom andere resultaten opleveren.
Bij de dataverzameling van dit onderzoek is gevraagd naar de eerste taal en de vooropleiding
van de studenten. Voor vervolgonderzoek is het mogelijk waardevol om meerdere extra variabelen
mee te nemen. De leeftijd van de steekproefpersonen was namelijk behoorlijk divers. Daarnaast is een
deel van de steekproefpersonen werkzaam in het onderwijs of daaraan gerelateerde instellingen.
Werkervaring zou bijvoorbeeld samen kunnen hangen met een bepaalde leerstijl. Werkervaring en
leeftijd hangen vaak positief met elkaar samen, daarom is het niet ondenkbaar dat leeftijd ook
samenhangt van leerstijl. Tevens kan het al dan niet hebben van succeservaringen in het onderwijs,
bijvoorbeeld het regelmatig succesvol zijn in het afsluiten van vakken, invloed hebben op de leerstijl
die studenten zich aanmeten. De ene student zal daardoor misschien meer vatbaar zijn voor het effect
van AfL op zijn/haar leerstijl dan de andere student.
68
Uit de data is gebleken dat de meeste studenten hebben aangegeven dat ze dachten dat het
feit dat het vak in het Engels gegeven werd een negatieve invloed op hun participatie en
leeropbrengsten zou hebben. In de logboeken is meerdere keren aangegeven dat de klassikale
discussies niet altijd even goed van de grond kwamen. Studenten hebben aangegeven dat de
taalbarrière hier invloed op heeft gehad. Mogelijk zijn de leeropbrengsten en veranderingen in leerstijl
hierdoor vertekend. Een suggestie voor vervolgonderzoek is daarom het uitvoeren van onderzoek naar
het effect van AfL op de leerstijl van studenten in een groep studenten, die Nederlands als de eerste
taal heeft, en waarbij de docent in het Nederlands doceert.
De tiende en laatste beperking die hier besproken wordt is de mogelijke vertekening van de
effecten van AfL op de leerstijl van de studenten door de korte tijd waarin AfL toegepast is. Zowel de
studenten als de docent hebben aangegeven dat zeven weken te weinig tijd is om helemaal te wennen
aan de diverse aspecten van AfL. De betreffende studenten volgen al jaren onderwijs waarin ze meer
afhankelijk zijn van de docent. Ze zijn niet meer gewend om in grote mate zelf inhoud en sturing te
geven aan hun leerproces. Het is bijvoorbeeld mogelijk dat studenten hierdoor aan het eind van het
vak, tegen de verwachting in, zich meer stuurloos hebben gevoeld. Het zou daarom voor het inzicht in
de effecten van AfL op de leerstijl van de studenten bevorderlijk zijn om AfL gedurende een langere
periode toe te passen en de veranderingen in leerstijl gedurende die periode in kaart te brengen.
6.2 Aanbevelingen en mogelijke hypothesen
Het onderzoek heeft een aantal significante effecten opgeleverd. Daarnaast kende het onderzoek een
aantal beperkingen, waardoor de gevonden effecten mogelijk vertekend waren en bestaande effecten
mogelijk niet aangetoond werden. Ook kent het onderzoek een beperkte generaliseerbaarheid. Daaruit
zijn een aantal aanbevelingen en hypothesen voortgekomen, die in deze paragraaf besproken worden.
De eerste aanbeveling is het meer benadrukken van de beschikbaar van de docent voor het geven van
feedback en de kwaliteit ervan. Voor de studenten uit de steekproef was de toepassing van AfL, en de
daarbij horende vrijblijvendheid en eigen verantwoordelijkheid, nieuw. Het kost tijd om daar aan te
wennen. Het extra benadrukken van de feedbackmogelijkheden, zeker in de beginfase van de
toepassing van AfL, is essentieel. Daarmee is het voor het onderzoek goed om de kwaliteit van de
gegeven/ontvangen feedback in kaart te brengen om zo nauwkeurige uitspraken te kunnen doen over
het effect van effectieve feedback op de leerstijl van studenten.
Hypothese: Het ontvangen van effectieve feedback leidt tot, minder stuurloosheid, minder
certificaat gericht werken en meer gebruik van de betekenisgerichte leerstijl door studenten.
69
Een onverwachte uitkomst van het onderzoek was dat studenten meer gebruik maakten van een
stuurloze regulatiestrategie. AfL. De vrijheid en eigen verantwoordelijkheid vergen een zekere mate
van zelfsturing door de student. De studenten waren dit niet gewend. Het is mogelijk dat studenten
hierdoor, tegen de verwachting in, zich meer stuurloos hebben gevoeld. Het onverwacht aangetoonde
effect dat studenten meer certificaatgericht te werk zijn gegaan, was mogelijk een gevolg van deze
onwennigheid en het gevoel van stuurloosheid. Door zich te richten op het behalen van het vak,
speelden de studenten op safe. Een mogelijk logische gevolgtrekking hieruit is dat de effecten van de
toepassing van AfL zich op de lange termijn stabiliseren of zelfs pas laten zien. De aanbeveling voor het
toepassen van AfL in het hoger onderwijs is daarom het verlengen van de periode van toepassing.
Hypothese: Langdurige toepassing van AfL en daarbij volledige gewenning van studenten leidt,
zoals verwacht, tot minder stuurloosheid en certificaatgericht werken onder studenten.
Hypothese: Effecten van de toepassing van AfL op de leerstijl van studenten stabiliseren en/of
verschijnen bij langdurige invoering.
Uit de vakevaluatie, door studenten ingevuld, is gebleken dat het Engels van de docent goed te volgen
is. Studenten hebben echter bij het invullen van de vragenlijst aangegeven dat voornamelijk hun
actieve betrokkenheid tijdens colleges negatief beïnvloed wordt door het feit dat het vak in het Engels
gegeven werd. Van masterstudenten mag verwacht worden dat zij in staat zijn om in het Engels te
communiceren, maar de docent was bereid om bijdragen aan de groepsdiscussie naar het Engels te
vertalen. Dit is slechts enkele keren voorgekomen. Een behoorlijke groep studenten heeft zich stil
gehouden, waaronder de internationale studenten. De aanbeveling is om ervoor te zorgen dat de taal
een lage drempel vormt voor deelname aan de groepsdiscussies. Dit kan bijvoorbeeld gedaan worden
door het verkleinen van de groepen.
Hypothese: Door deelname aan de groepsdiscussies laagdrempelig te maken met betrekking
tot de taal waarin gecommuniceerd wordt, zullen meer studenten deelnemen aan de gesprekken en
zullen zij er wat betreft hun leer- en denkproces meer van profiteren.
De studenten hebben aangegeven dat de eisen, die aan de opdrachten werden gesteld, onduidelijk
waren. De docent heeft, zoals uit de resultaten van dit onderzoek is gebleken, zijn verwachtingen vanaf
het begin van het college met de studenten gedeeld. Duidelijke criteria voor de opdracht waren
inderdaad niet aanwezig. Voor studenten waren de eisen, die voor masterstudenten van toepassing
zijn, beschikbaar. Van studenten werd verwacht dat zij zelf criteria opstelden die bij hun leerproces en
opdracht pasten. Het is aan te bevelen om hier samen met de studenten meer aandacht aan te
besteden, zodat studenten zich hier vanaf het begin van het vak bewust van zijn en zich minder
stuurloos voelen.
70
Hypothese: Door studenten beter te informeren over de criteria die ze zelf op moeten stellen,
zullen studenten beter weten waar ze aan toe zijn en zich minder stuurloos voelen.
Uit de vakevaluatie is gebleken dat de studenten van mening zijn dat de behandelde literatuur hen
slechts in beperkte mate begrip van de leerstof gaf. In mijn reactie op de logboeken heb ik een
soortgelijke opmerking geplaatst. AfL en de autonomie van de student brengt een breed scala aan
onderwerpen van de opdracht met zich mee. Deze hebben allemaal te maken met professionalisering,
maar houden niet allemaal even duidelijk verband met de verschillende methoden van
professionaliseren die tijdens het eerste uur van de colleges werd besproken. Daarnaast zijn studenten
gewend aan kennisoverdracht door de docent, zoals Santrock (2009) beschrijft. Ze gaan er daarom van
uit dat het de bedoeling is dat zij van alle methoden tot in detail op de hoogte zijn.
Hypothese: Door regelmatiger overzicht van de behandelde en te behandelen stof te creëren,
zijn studenten beter in staat hun leerproces in het geheel van het vak te plaatsen.
Hypothese: Door duidelijker aan te geven dat van studenten niet verwacht wordt dat zij
‘expert’ worden op het gebied van alle behandelde methoden van professionalisering, zullen
studenten zich vrijer voelen om van de colleges op te pikken wat een bijdrage levert aan hun
leerproces.
Ten slotte de laatste en belangrijkste aanbeveling. Gezien de effecten, het enthousiasme en de
overwegend goede leeruitkomsten die AfL op korte termijn teweeg heeft gebracht, is de aanbeveling
om AfL toe te blijven passen en studenten daarbij zelf vorm te laten geven aan de opdracht. De laatste
hypothese wordt niet alleen door dit onderzoek, maar ook door de literatuur onderschreven.
Hypothese: Assessment for Learning bevordert de autonome rol van de student en verhoogt
de motivatie tot leren. Hetgeen van deze studenten effectievere lifelong learners maakt.
71
Literatuurlijst
Baarda, D. B., & De Goede, M. P. M. (2005). Basisboek Kwalitatief Onderzoek. Handleiding voor het
opzetten en uitvoeren van kwalitatief onderzoek. (2nd ed.). Groningen/Houten: Wolters-
Noordhoff.
Baarda, D. B., & De Goede, M. P. M. (2006). Basisboek Methoden en Technieken: Handleiding voor het
opzetten en uitvoeren van kwantitatief onderzoek (4th ed.). Groningen/Houten: Wolters-
Noordhof.
Black, P., McCormick, R., James, M., & Pedder, D. (2006). Learning How to Learn and Assessment for
Learning: A Theoretical Inquiry. Research Papers in Education, 21(2), 119-132.
Black, P., & William, D. (1998a). Assessment and classroom learning. Assessment in Education:
Principles, Policy & Practice, 5(1), 7-74.
Black, P., & William, D. (1998b). Inside the Black Box--Raising Standards through Classroom
Assessment. Phi Delta Kappan, 20(2), 139-144.
Boeije, H. R. (2005). Analyseren in kwalitatief onderzoek: denken en doen. Amsterdam: Boom
onderwijs.
Boyle, W. F., & Charles, M. (2010). Leading Learning through Assessment for Learning? School
Leadership & Management, 30(3), 285-300.
Brinkman, J. (2000). De vragenlijst. Groningen/Houten: Wolters-Noordhoff.
Butler, D. L., & Winne, P. H. (1995). Feedback and Self-Regulated Learning: A Theoretical Synthesis.
Review of Educational Research, 65(3), 245-281.
Clark, I. (2008). Assessment is for learning: Formative assessment and positive learning interactions.
Florida Journal of Educational Administration & Policy, 2(1), 1-16.
Cooper, D. (2006). Talk About Assessment: Strategies and Tools to Improve Learning. Toronto: ON:
Thomson Nelson.
Cresswell, J., & Garrett, A. L. (2008). The “movement” of mixed methods research and the role of
educators. South African Journal of Education, 28, 321-333.
Crooks, T. J. (1988). The Impact of Classroom Evaluation Practices on Students. Review of Educational
Research, 58(4), 438-81.
Dijkstra, W., & Smit, J. H. (1999). Onderzoek met vragenlijsten: een praktische handleiding. Amsterdam:
VU Uitgeverij.
Drenth, P. J. D., & Sijtsma, K. (2006). Testtheorie: inleiding in de theorie van de psychologische test en
zijn toepassingen (4th ed.). Houten: Bohn Stafleu van Loghum.
72
Duff, A., Boyle, E., Dunleavy, K., & Ferguson, J. (2004). The relationship between personality, approach
to learning and academic performance. Personality and Individual Differences, 36, 1907-1920.
Dweck, C. S. (1986). Motivational Processes Affecting Learning. American Psychologist, 41(10), 1040-
1048.
Hargreaves, E. (2005). Assessment for Learning? Thinking Outside the (Black) Box. Cambridge Journal of
Education, 35(2), 213-224.
Hargreaves, E. (2007). The Validity of Collaborative Assessment for Learning. Assessment in Education:
Principles, Policy & Practice, 14(2), 185-199.
Hoskins, B., & Fredriksson, U. (2008). Learning to learn: What it is and can it be measured? Joint
Research Centre Technical Report JRC 46532, Luxembourg: Office for Official Publications of The
European Communities.
Howard-Rose, D., & Winne, P. H. (1993). Measuring Component and Sets of Cognitive Processes in Self-
Regulated Learning. Journal of Educational Psychology, 85(4), 591-604.
Hume, A., & Coll, R. K. (2009). Assessment of Learning, for Learning, and as Learning: New Zealand Case
Studies. Assessment in Education: Principles, Policy & Practice, 16(3), 269-290.
James, M., & McCormick, R. (2009). Teachers Learning How to Learn. Teaching and Teacher Education:
An International Journal of Research and Studies, 25(7), 973-982.
James, M., McCormick, R., Black, P., Carmichael, P., Drummond, M. J., & Fox, A. (2007). Improving
learning how to learn in classrooms, schools and networks. London: Routledge.
Johnson, D. W., Johnson, R. T., & Smith, K. (1991). Cooperative Learning: Increasing College Faculty
Instructional Productivity. ASHE-ERIC Higher Education Report (4), Clearinghouse on Higher
Education, Washington, DC: The George Washington University.
Juwah, C., Macfarlane-Dick, D., Matthew, R., Nicol, D., Ross, D., & Smith, B. (2004). Enhancing student
learning through effective formative feedback. York: Higher Education Academy (Generic Centre).
Lauf, L., & Dole, S. (2010). Assessment for Learning Tasks and the Peer Assessment Process.
Mathematics Education Research Group of Australasia.
Maso, I., & Smaling, A. (1998). Kwalitatief onderzoek: praktijk en theorie. Amsterdam: Boom.
Sadler, D. R. (1989). Formative Assessment and the Design of Instructional Systems. Instructional
Science, 18(2), 119-44.
Santrock, J. W. (2009). Educational psychology (4th ed.). Boston: McGraw-Hill.
Scriven, M. (1966). The Methodology of Evaluation Social Science Education Consortium, Publication
110.
73
Seger, J. H. G. (2002). Methoden voor de maatschappijwetenschappen (2nd ed.). Assen: Van Gorcum.
Taras, M. (2007). Assessment for Learning: Understanding Theory to Improve Practice. Journal of
further and Higher Education, 31(4), 363-371.
Taras, M. (2008). Assessment for Learning: Sectarian Divisions of Terminology and Concepts. Journal of
further and Higher Education, 32(4), 389-397.
Taras, M. (2009). Summative Assessment: The Missing Link for Formative Assessment. Journal of
further and Higher Education, 33(1), 57-69.
Torrance, H. (2007). Assessment "as" Learning? How the Use of Explicit Learning Objectives,
Assessment Criteria and Feedback in Post-Secondary Education and Training Can Come to
Dominate Learning. Assessment in Education: Principles, Policy & Practice, 14(3), 281-294.
UK Assessment Reform Group. (1999). Assessment for Learning: Beyond the Black Box. Opgevraagd van
http://www.aaia.org.uk/afl/assessment-reform-group. Datum van raadpleging: 10 februari, 2012.
Van de Pol, J., Volman, M., & Beishuizen, J. (2010). Scaffolding in Teacher-Student Interaction: A
Decade of Research. Educational Psychology Review, 22(3), 271-296.
Van der Rijst, R. M. (2009). The research-teaching nexus in the sciences: scientific research dispositions
and teaching practice. Unpublished Doctoral dissertation, ICLON, Leiden University Graduate
School of Teaching, Leiden.
Vermetten, Y. J., Lodewijks, H. G., & Vermunt, J. D. (1999). Een structureel model over de relaties
tussen leeropvattingen, regulatie en cognitieve verwerking. Tijdschrift Voor Onderwijsresearch,
24(1), 8-20.
Vermunt, J. D. (1998). The regulation of constructive learning processes. British Journal of Educational
Psychology, 68(2), 149-171. doi:10.1111/j.2044-8279.1998.tb01281.x
Vermunt, J. D. (2005). Relations between Student Learning Patterns and Personal and Contextual
Factors and Academic Performance. Higher Education: The International Journal of Higher
Education and Educational Planning, 49(3), 205-234.
Vermunt, J. D., & Verloop, N. (2000). Dissonance in Students' Regulation of Learning Processes.
European Journal of Psychology of Education, 15(1), 75-89.
Wall, J. E., & Walz, G. R. (2003). Measuring Up: Assessment Issues for Teachers, Counselors, and
Administrators. ERIC Clearinghouse on Counseling and Student Services.
Walser, T. M. (2009). An Action Research Study of Student Self-Assessment in Higher Education.
Innovative Higher Education, 34(5), 299-306.
74
Bijlagen
In de bijlagen zijn verschillende documenten of delen daarvan opgenomen. Vanzelfsprekend is alle
data van het project in zijn geheel opvraagbaar.
75
Bijlage 1 Zelfontworpen vragenlijst
Name ……………………………………………….
Previous education: bachelor program/ schakelprogramma / otherwise: …………………………………………
Mother tongue: Dutch / English / otherwise: ………………………………………….
1 2 3 4 5
Very important Important Neutral Unimportant Very Unimportant
Feedback on the quality of your work.
How important do you think it is to:
1) give feedback to fellow students 1 2 3 4 5
2) receive feedback from fellow students 1 2 3 4 5
3) receive feedback from the teacher during the course 1 2 3 4 5
4) receive feedback from the teacher at the end of the course 1 2 3 4 5
5) get the opportunity to adjust your work using received feedback 1 2 3 4 5
6) give and receive positive feedback 1 2 3 4 5
7) have insight in the quality of your work 1 2 3 4 5
8) know how you can improve the quality of your work 1 2 3 4 5
Feedback on your learning.
How important do you think it is to:
1) have insight in the progress of your learning 1 2 3 4 5
2) independently evaluate your own learning 1 2 3 4 5
3) know that fellow students consider your motivation and confidence in the feedback
they give to you 1 2 3 4 5
4) know that the teacher considers your motivation and confidence in the feedback
he gives to you 1 2 3 4 5
5) have a teacher who is willing to support you in your individual learning process. 1 2 3 4 5
6) have a teacher who will help you in gaining insight into your own learning 1 2 3 4 5
7) have a teacher who gives you advice on how to improve your learning 1 2 3 4 5
Involvement
How important do you think it is to:
1) have clarified expectations for the course, provided by the teacher 1 2 3 4 5
2) understand what expectations are related to the course 1 2 3 4 5
3) have the teacher point out what prior knowledge he expects from the students 1 2 3 4 5
4) actively involve students in determining the content of the course 1 2 3 4 5
5) actively involve students in how students’ results are evaluated at the end of the course 1 2 3 4 5
6) have the opportunity to ask questions in class. 1 2 3 4 5
7) have the opportunity to ask questions individually (no other students present) 1 2 3 4 5
8) have a teacher who adapts the content of his lectures to the needs/expectations of
the students. 1 2 3 4 5
76
1 2 3 4 5
Strongly Disagree Disagree Undecided Agree Strongly Agree
Statements
1) Receiving feedback during the course is just as important as receiving feedback at
the end of the course. 1 2 3 4 5
2) Giving feedback to fellow students is just as important as receiving feedback from them. 1 2 3 4 5
3) Independently evaluating your own learning process is just as important as
the evaluation of your learning process by the teacher. 1 2 3 4 5
4) Independently evaluating your own learning process is just as important as
the evaluation of your learning process by fellow students. 1 2 3 4 5
5) Evaluation of your learning process by fellow students is just as important as
the evaluation of your learning process by the teacher. 1 2 3 4 5
6) I am solely responsible for my final grade on this course. 1 2 3 4 5
7) The content and methods of the course must be established in advance by the Teacher. 1 2 3 4 5
8) The teacher must stick to his predetermined plan (content and methods) even
when some students run into problems in understanding some aspect(s) of that plan. 1 2 3 4 5
9) The teacher should adjust the content and methods of the course when some student
run into problems in understanding some aspect(s) of that plan. 1 2 3 4 5
10) Students must be involved in determining the methods and content of the course. 1 2 3 4 5
11) A teacher motivates me by asking questions during lectures. 1 2 3 4 5
12) A teacher motivates me by providing students with the opportunity to ask questions
during lectures. 1 2 3 4 5
13) The extent to which I am actively involved in the course depends to a large extent
on the teacher. 1 2 3 4 5
14) The extent to which I am actively involved in the course depends to a large extent
on fellow students. 1 2 3 4 5
15) Students should first attempt to get answers on their questions from fellow students. 1 2 3 4 5
16) The teacher should encourage students in trying to answer each other’s questions
instead of answering the questions himself. 1 2 3 4 5
17) The teacher should encourage students to evaluate their own learning process. 1 2 3 4 5
18) The teacher should encourage students to evaluate the teacher’s learning process. 1 2 3 4 5
19) The teacher should avoid student involvement in evaluating the teacher’s learning
process. 1 2 3 4 5
20) In advance of the start of the course the student should give some thought to the
targets he/she wants to achieve. 1 2 3 4 5
21) In advance of the start of the course the student should determine how the course
contributes to his/her learning process. 1 2 3 4 5
22) The fact that the course is given in English negatively influences my active involvement. 1 2 3 4 5
23) The fact that the course is given in English negatively influences my learning gains 1 2 3 4 5
77
Bijlage 2 Toevoeging aan vragenlijst bij nameting
1 2 3 4 5
A lot less frequent Less frequent Undecided More frequent Much more frequent
Ernst’s inquiring attitude
In comparison to other teachers Ernst is more/less:
1. critical in reviewing his own actions in class. 1 2 3 4 5
2. actively searching to improve his actions and the content of the course. 1 2 3 4 5
3. actively invites students into a critical discussion about his actions and the course content. 1 2 3 4 5
4. trying to understand what drives students’ learning and motivation. 1 2 3 4 5
5. trying to understand what works for students in lectures. 1 2 3 4 5
6. willing to share his critical reflections of the course content. 1 2 3 4 5
7. actively trying to engage students in discussing the course content and/or his personal input. 1 2 3 4 5
78
Bijlage 3 Fragment ILS
In deze bijlage is een fragment van de ILS opgenomen. Zestien items zijn bij de analyse uit de
vragenlijst verwijderd: nr. 22, 25, 27, 34, 38, 40, 60, 67, 68, 72, 74, 88, 90, 98, 111 en 116.
79
Bijlage 4 Samenvoeging van de logboeken en de reacties daarop. (Complete logboeken zijn op te vragen)
Goal AfL Guideline
Score Ernst
Score Jorien
Comments
College 1
Challenge students into thinking/learning about improving professionalisation and care for themselves.
2 5 8
2 +/- 5 +/- 8 --
2 + 5 + 8 -
E: In all, the teaching plan needed too much foreknowledge to be communicated, which made the lecture teaching-focussed and pushed conversation ‘to the back-seat’ – a clear case of not practising what I was preaching. J: You made clear that this course emphasizes the students’ learning process. This course is an opportunity to learn. For those students who didn’t read the emails, documents and information on Nestor the expectations are not as clear as could be.
Explain/enthuse students about taking charge of their learning.
2 4 5 6
2 +/- 5 +/- 6 +
4 + 5 +/- 6 +
E: This part seemed to work somewhat better, since the surprise triggered students into a learning mode – put them outside their comfort zone. It was clear that students were invited to instrumentalise their own learning – and quick! J: The experiment was explained from a teacher’s point of view. As a student I would conclude that you are experimenting with your own teaching style. Using examples (blog etc.) gave better insight to the freedom which the learner was going to experience and how the student is owner of his/her learning activities. By using your experiences in education you were enthusing students to take charge of their own learning.
Collectively discuss key elements (AfL learning contract, working groups, blog, final quiz).
1 2 6 8
1 +/- 2 +/- 6 + 8 +/-
1 + 2 + 6 ++ 8 +/-
E: I managed to introduce all the elements I had planned, but because they were new to students it probably seemed a lot, overwhelming, and a little confusing. I was however clear about my expectations, about freedoms and obligations; so on their part this was a leap of faith… While the instruments were all meant as facilitating, that is probably not how they were seen at that point by the students. J: A brief overview of the elements and the expectations you have of students using these elements on one of the powerpoint slides would have reduced uncertainties. A student sent you an email about the deadline on the eleventh of January. You very quickly responded with a counteroffer. I think you missed an opportunity to clarify the context/content of the experiment by using this as a concrete example of learner-led decision making.
Activate questions, thoughts, worries and proposals.
2 10
2 -- 10 --
2 +/- 10 +
E: I think there was insufficient time left for this; it needs a reflexive space for students to start doing that immediately in the first lecture, having only just met me that hour… J: Some students have sent you an email in advance of the course. You took the time to make yourself and fellow students aware of the existing worries. Immediately other students responded as well. This was a perfect example of activating other students to give their input. Students need to be encouraged to engage in dialogues in a more explicit/literal way, because they are not used to this way of discussing the course.
80
Goal AfL Guideline
Score Ernst
Score Jorien
Comments
College 2
Introduce Sanne. Connect her with the course and the students; offer students the option of a project through Sanne at the Friesland College.
8 8++ 8+ E: This went fine, and Sanne was an excellent choice for this guest-lecture. J: The fact that Sanne was a master student last year puts her at our level. It made it easier to identify with her. Students were positive towards her contribution to the course. The connection with the course and the students was sufficient.
Collectively discuss what an inquiring attitude and creativity contribute to the theme of professionalization.
2 5
2 +/- 5 +
2 +/- 5 ++
E: Sanne asked students a couple of questions. It was my fault not to have the materials Sanne had asked for at the ready, but she nonetheless set students to work on little tasks that helped them reflect on concepts and their own views. J: This was part of Sanne’s lecture. Due to lack of time the discussion was cut a bit short. But we did collectively discus an inquiring attitude. I’ve heard students talk about it during the second hour and also during the rest of the day. Mission accomplished! The inquiring attitude was linked to the students, but not necessarily to the experimental nature of the course. Missed opportunity to clarify or point out an aspect of the experiment to students?
Focus on keeping the students’ minds focussed on the interaction of Sanne’s contribution with the course objectives.
6 8 9 10
6 + 8 +/- 9 ++ 10 ++
6 + 8 + 9 + 10 +
E: These parts all went well, thanks in part to co-teaching and Sanne’s approach to setting small tasks. I was able in some cases to add steering comments, and draw students into responding—and challenging their responses to make them think beyond the predictable answers. J: During Sanne’s lecture you’ve kept students focused when needed. You jumped in with usefull comments. Students’ reactions were positive. In addition you kept students focused by writing down our thoughts on the board. That created a good overview for the students, but otherwise it wasn’t all that useful because it was distracting and Sanne didn’t really use the messages on the whiteboard. You did make some gestures when she went on with her story. In doing so you linked her words to the notes on the board.
Take time to activate interaction with/among students: aim to get better acquainted (acknowledge the great value of the emails received).
1 2 3 4 7 10
1 ++ 2 +/- 3 + 4 + 7 +/- 10 ++
1 + 2 +/- 3 + 4 + 7 +/- 10 +
E: This overlaps with the previous points, but drawing students into shared reflection aids familiarity, get insight in how and what they are thinking, and how I may challenge their learning. J: Due to lack of time this was not explicitly taken care of. But implicitly the elements were present.
In the groups, solicit information on progress with coursework.
1 2
2 ++
1 +/- 2 +
E: For me, visiting the groups and responding to thoughts and queries was one of the best experiences of the course, until later, when it was clear that groups were falling apart. But the
81
5 7
5 ++ 7 ++
5 ++ 7 +
groups gave me good insight in what was on their minds, and enabled me to encourage them thinking in terms of freedom and setting their own learning challenges. J: Groups ran into difficulties to get things started. They are afraid that they might run into problems with what they want to learn and the learning contracts are seen as an official plan from which they can’t deviate. So people are hesitating and carefully avoiding making exact plans, but at the same time we all think it is annoying that there’s not much progress being made. Speaking English makes the process even harder. Additional comment: Students need feedback or some kind of support/interest from fellow students, but from the teacher as well.
Add early reminders of the blog as a space for trialing ideas and sharing progress in learning
2 7 8
2 -/+ 7 + 8 +/-
2 +/- 7 + 8 +/-
E: I had seen the blog as opportunity, but it became clear some students saw it as obligation. This enabled me to stress the ‘voluntary’ nature of the blog but also underline its value as a learning resource, for trialing drafts and ideas, and for tapping into a ‘community’ of learning. J: While talking about the blog you were very enthusing. I think students appreciated this. During last week only two/three students have responded to one of the blogs available on Wordpress. It has been quiet for a while, but now students are starting to post blogs. But somehow I think this happens because students think it’s mandatory. I wonder if students are committed to their blogs. Or do they post them just because they have to? I am not sure people really use these blogs to facilitate or share their learning. Maybe students are committed for the wrong reasons…
Encourage students interested in an Iselinge thesis to take steps.
8 8 + E: I’m not sure this is a good ‘fit’ with the AfL criterion, but I do see the linked Master projects as one way to greatly expand the horizon of options for learning through the course. J: The Iselinge project wasn’t mentioned in class.
82
Goal AfL Guideline
Score Ernst
Score Jorien
Comments
College 3
This is the heart of the course and quite a bit of material to go through. I also intend to show at least one and possibly two movies so I aim to structure content around the movies.
2 8
2 ++ 8 +/-
2 ++ 8 +
E: I still think this is the heart of the course, and it may be a good idea to move this to the first meeting. I think especially the use of the Sugata Mitra movie opened many eyes to the core of this course and their own free role in it. The second hour then facilitated dialogue, but at the cost of group-work time. J: The movies were informative and motivated students to contemplate. The content of de movies was illustrative and connected with the content of this course.
The powerpoint I’ve made summaries ‘what we have learnt’ in the first two lectures, in hope of giving the group an idea of progress being made and the direction we’re travelling in.
1 2 6 7
1 ++ 2 + 6 ++ 7 +
1 ++ 2 + 6 ++ 7 +
E: Though in the end my summary of previous lectures showed what was presented, not what students had learned, it made us all aware of the difference between those two, and therefore the role that students’ own initiative had to play in learning. And it enabled me to present a ‘red line’ running through the lectures that we could then discuss. I think that went reasonably well, though not all participated in discussion. J: Looking back on the first lectures was useful. Shortly mentioning what is to be expected for the future helps students who need structure. Maybe it’s an idea to keep doing that every lecture. You made a link between L2L, LHTL and our blog. This also provides students some structure. They were active interested in the ideas behind L2L and LHTL.
I will try to reserve some time for a ‘progress-report’ aimed at the AfL element, which will mean reducing this week’s groupwork time to half an hour, if students accept that.
1 2 5 6 7 8 9 10
1 ++ 2 ++ 5 + 6 + 7 ++ 8 ++ 9 + 10 ++
1 ++ 2 ++ 5 ++ 6 +/- 7 + 8 ++ 9 + 10 ++
E: I think this was a good session, although not everyone took part. But it enabled me to confirm to students that there was real freedom, that students could opt out to a pre-designed assignment if they preferred, and we were able to discuss the value and relevance, and the ‘shock of the new’, of this kind of approach. I think at this point we were all starting, hesitantly, to learn a little… But it was also clear that one or two students preferred a ‘quiet life’ of lectures and many valued greater clarity (read: structure). I had not foreseen the extent to which this sort of innovation can throw people off course – creatures of habit, we are… J: As you’ve notices there are questions and doubts. Students really appreciated this opportunity to discus, because now they saw that they were/are not the only ones with these feelings. I think there is a general feeling uncertainty due to absence of a clear goal, but the presence of a shared motivation to make this work partially makes up for this. Some student appoint more value to clear goals, that’s why they have low confidence in completing this course to a satisfying end. Stating the 5 dimensions on the slide was very useful. Again: structure and a link to our experiment. During the discussion about the group work you stated that it wasn’t mandatory to work in groups. Individual work was allowed. But even this consideration could be made into a learning experience. Good point. Stating (again) that de learning contracts were not ‘legally binding’ was a relief for many students.
83
Goal AfL Guideline
Score Ernst
Score Jorien
Comments
College 4
This session will be by Rob de Haas. I hope to have time before the session to give him some idea of where the course is at, so is sensitised to the course dynamics.
-- J: Rob obviously was aware of the structure of this course. He implicitly hinted toward the content of the experiment for instance when he talked about (self)reflection and collective learning.
I’d like to take a few minutes at the start to comment on the many remarkable qualities of the learning contracts.
1 3 7 10
1 ++ 7 ++ 10 +
1 ++ 3 ++ 7 ++ 10 +
E: Less so before Rob’s lecture (who jumped right in) but more in email response to learning contracts, I was able to confirm to students that their projects were in most cases excellent, and in other cases give advice on how to improve them. I think that the learning contracts served a good purpose: giving students some ‘hold’ over how to progress their learning, and myself good feedback on the sorts of ideas and thoughts that were emerging. J: Due to the late arrival Rob started right away with his lecture. During the start of the second hour most students left the classroom to go to the other rooms available or to get a cup of coffee. You addressed the learning contracts briefly in the first classroom, I can’t tell if you did the same in the other classroom. It would have been easier and perhaps more valuable to discuss it with all students present in one room.
At the end of the first hour it will be good to ask how students wish to pursue for the second hour—hand over control to them? We might for example together discuss Rob’s session by asking how it relates to professionalisation.
2 3 8 10
2 -/+ 3 + 8 ++
2 + 3 + 8 + 10 +/-
E: During the second hour most students went and did their own thing. While I had often little insight into what that was (some students left), it did confirm to them the freedom to fill the groupwork space as they saw fit. And I think that helped. J: We briefly discussed the course of action for the second hour, but relating the content of Rob’s session to professionalization was not suggested, therefore the response was to go our own ways. In terms of guideline 10 (Reflect: ask questions, probe alternatives, analyse doubts and certainties) your intentional plan was good, but in reality the alternatives were limited. You did offer us the chance of watching the University Challenge for a while, but we already started our group work. I doubt the small group of students present in the classroom was open to that idea.
84
Goal AfL Guideline
Score Ernst
Score Jorien
Comments
College 5
Quiet pace–leave time for thinking
2 5 9
2 -/+ 5 -/+
2 + 5 + 9 ++
E: This part didn’t come off too well, because there again were a lot of slides to go through in explaining CLB. I’ve promised myself another way to present the material, but still wouldn’t know how to – apart from making prior reading obligatory. : ( J: This time the lecture started at a natural pace (not to be read as if the other lectures started at a unnatural pace). You started with the exam-topic. There was a lot of room for discussion, but only few students responded. By discussing the exam you asked feedback from the students. But we ended up with a question-answer structure. But it did give the students the opportunity to reflect on your actions in this course. Interesting move. Such a shame that only a few comments were made.
Include time for interaction, also during the first hour
1 2 8
1 + 2 -/+ 8 --
1 + 2 + 8 ++
E: I engaged students in my own BKO exam by showing them examiner’s remarks. It was meant to draw students into a discussion about the structure of this kind of professionalisation. But there came only answers to questions, not outright debate. Students clearly feel shy of opening up, but nonetheless I hope that my own openness about my own progress as learner showed them something of the value of openness and sharing. J: This overlaps with the previous point. In general responses were evoked, but due to limited time available interaction was not included in some parts of the lecture. But I have to admit: in my experience this was your most interactive lecture this far. The discussion on CLB ‘why not coach yourself’ was very interesting. You triggered students into evaluating practice. Students responded and were surprised/motivated. You facilitated a deeper process.
Find out what students make of it–affirm and reinforce connections to student projects
1 2 3 5 7 8 9 10
1 -/+ 2 -/+ 3 -/+ 5 -/+ 7 ++ 8 +/- 9 + 10 +
1 + 2 + 3 + 5 + 7 + 8 + 9 ++ 10 ++
E: I think this objective was more explicitly attained, partly also because the CLB method is of interest to many students each year – this has largely to do with the focus on inclusive education and the supposition it makes of differentiated teaching, I think. Nevertheless, this clear ‘connect’ with a pre-existing interest in students enables a better form of being in dialogue. I do however regret that many students pursue an interest in CLB as a ‘solution’, whereas what I would like them to see is the very particular and interesting nature of what is then apparently seen as ‘the problem’… J: This was a very important goal, but how did you plan to accomplish this goal with a majority of the students present? You made the connection with professionalizing teachers and maybe that as much as we can ask for. But the specific content of student projects was not mentioned. I think that students would appreciate this. In extent it gives them the idea that you are involved and
85
interested in their learning process. An easy way to stimulate motivation? I wonder if students who are not particularly interested in CLB learned very much. It is not part of what I want to learn in this course, so minimal learning was happening on my end.
Invite students making connections with other methods–structure.
2 8
2 + 8 +
2 + 8 +
E: This aspect also went well, since by now students are starting to get clear on the various alternatives that have been discussed in previous sessions, and they are a little further into their own projects. Things ‘start to make sense’… J: You compared CLB with one other way of working on problems. But did you also connect it to LHTL, L2L, AfL or the content of Sanne’s and Rob’s lecture?
Offer pointers to AfL (solicit progress reports, drafts, etc)
1 4 5
1 -/+ 4 + 5 +
1 + 4 + 5 ++
E: While students are not very forthcoming with progress reports, doubts, etc., I am at least confident that I have offered enough by way of support. The blog does attract some contributions, I do get invites into groups, and I get occasional emails. My own conclusion is that, while I may myself still be unsure about how to make an AfL environment ‘work’, it is also clear that students need time—perhaps more time that the course itself—to take serious the freedom, the open access to the lecturer, the challenge of taking full responsibility of learning, and seeing the merits of this kind of approach. My final comment is that I was balled over by the diversity, creativity, working together and in some cases the excellent quality of the work that was produced. It is also clear that in some cases that has demanded more time from students than they would normally give to course work; I see that as confirmation of the experiment, but this has also made me personally grateful to all participants. J: I think that the feedback being offered to students was minimal. During the first hour it is difficult, because students choose divers subjects for their individual or group work. In de second hour you only reach some students.
86
Bijlage 5 Fragment dagboeknotities (Compleet overzicht dagboeknotities is op te vragen)
87
Bijlage 6 Uitkomsten normaliteitstoetsing
(van deel 1, 2 en 3 van de vragenlijst)
Er zijn twee manieren om de resultaten van de Shapiro-Wilk toets te interpreteren. De eerste is
gebaseerd op de overschrijdingskans, de tweede is gebaseerd op de Shapiro W-statistic. Voor de
overschrijdingskans geldt dat de verdeling van een variabele als niet normaal beschouwd moet
worden als de overschrijdingskans kleiner is dan de alfa van 0,05. Voor de W-statistic geldt hetzelfde
als deze lager als 0,9 is. De waarde van de W-statistic heeft een mogelijke range van 0 tot 1 en de
algemeen aangenomen minimale grens voor een normale verdeling is 0,9.
De tabel geeft per deel van de vragenlijst het gemiddelde (mean), de scheefheid (skewness), de
piekvormigheid (kurtosis), de Shapiro W-statistic en de overschrijdingskans. Voor een normale
verdeling geldt dat de skewness en kurtosis tussen -1 en +1 liggen. De minimale waarden van de
skewness van deel 1, 2 en 3 bedraagt 1,696. De maximale waarde is 2,087. De minimale waarden van
de kurtosis voor de drie delen bedraagt 3,574. De maximale waarde bedraagt 4,186. De waarden van
de Shapiro W-statistic liggen alle drie onder de 0,9. De gevonden overschrijdingskansen zijn kleiner
dan de gekozen waarde van alfa. Zowel op basis van de overschrijdingskansen als op basis van de
Shapiro W-statistic moeten we voor alle delen van een niet-normale verdeling uitgaan.
Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 1, 2 en 3 van de vragenlijst.
Deel van de vragenlijst Mean Skewness Kurtosis Shapiro W-statistic
Sig.
Deel 1 Feedback m.b.t. kwaliteit van het werk. 15,6667 2,087 4,186 0,723 0,000
Deel 2 Feedback m.b.t. leren 15,4286 1,696 3,574 0,820 0,001
Deel 3 Betrokkenheid 15,2381 1,877 4,030 0,790 0,000
88
Bijlage 7 Uitkomsten normaliteitstoetsing
(van deel 4 van de vragenlijst)
De resultaten van de Shapiro-Wilk toets zijn opnieuw op twee manieren geïnterpreteerd (zie bijlage
6). De eerste is gebaseerd op de overschrijdingskans, de tweede is gebaseerd op de Shapiro W-
statistic. De tabel geeft per variabele het gemiddelde (mean), de scheefheid (skewness), de
piekvormigheid (kurtosis), de Shapiro W-statistic en de overschrijdingskans. De minimale waarden
van de skewness van deel 4 bedraagt -2,894. De maximale waarde is 0,941. De minimale waarden
van de kurtosis bedraagt -1,622. Deel 4 heeft een maximale kurtosis van 8,868. Deze resultaten zijn
af te lezen uit de gegeven in tabel 4.4.
Op basis van de overschrijdingskansen mogen 6 van de 46 variabelen als normaal verdeeld
beschouwd worden. Op basis van de Shapiro W-statistic geldt dat voor 2 van de 46 variabelen. Over
het algemeen zijn de variabelen niet normaal verdeeld. Er is daarom wederom voor een non-
parametrische toets gekozen.
Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 4 van de vragenlijst.
Statements vragenlijst Voor / Na
Mean Skewness Kurtosis Shapiro W-statistic
Sig.
Receiving feedback during the course is just as important as receiving feedback at the end of the course.
V 3,80 -0,794 -0,888 0,800 0,004
N 3,87 -1,438 2,178 0,788 0,003
Giving feedback to fellow students is just as important as receiving feedback from them.
V 3,73 -0,986 1,840 0,771 0,002
N 3,67 -,676 0,948 0,817 0,006 Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.
V 3,73 -,832 0,524 0,809 0,005
N 3,27 -0,609 -0,375 0,881 0,049
Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.
V 3,27 0,134 -1,337 0,859 0,023
N 2,87 -0,351 -0,484 0,881 0,050
Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.
V 2,53 0,658 -0,936 0,753 0,001
N 2,53 -0,130 0,182 0,861 0,025
I am solely responsible for my final grade on this course.
V 3,47 -0,149 -0,844 0,887 0,061
N 3,33 -0,352 -1,469 0,772 0,002 The content and methods of the course must be established in advance by the Teacher.
V 3,33 -0,771 -0,296 0,841 0,013
N 3,33 -0,101 -0,676 0,881 0,049 The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.
V 2,73 -0,224 -1,622 0,823 0,007
N 2,60 0,941 -0,785 0,705 0,000
The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.
V 3,07 -0,149 ,010 0,932 0,293
N 3,27 -0,601 -1,494 0,734 0,001
Students must be involved in determining the methods and content of the course.
V 2,93 0,128 -1,348 0,817 0,006
N 3,13 0,282 1,401 0,694 0,000
89
A teacher motivates me by asking questions during lectures.
V 3,67 -0,788 -1,615 0,603 0,000
N 3,33 -0,628 -0,654 0,783 0,002 A teacher motivates me by providing students with the opportunity to ask questions during lectures.
V 3,87 0,103 -0,127 0,790 0,003
N 3,53 -1,402 3,521 0,794 0,003 The extent to which I am actively involved in the course depends to a large extent on the teacher.
V 3,40 -0,621 -0,474 0,879 0,045
N 3,00 0,251 -1,188 0,887 0,060 The extent to which I am actively involved in the course depends to a large extent on fellow students.
V 2,53 0,078 -1,328 0,870 0,034
N 2,53 0,149 -0,844 0,887 0,061
Students should first attempt to get answers on their questions from fellow students.
V 2,67 -0,168 -0,033 0,881 0,049
N 2,93 0,461 -0,354 0,910 0,134 The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.
V 3,67 -2,894 8,868 0,484 0,000
N 3,67 -1,024 1,137 0,866 0,029
The teacher should encourage students to evaluate their own learning process.
V 4,13 0,282 1,401 0,694 0,000
N 3,93 -2,080 6,362 0,682 0,000 The teacher should encourage students to evaluate the teacher’s learning process.
V 3,60 -0,723 1,375 0,866 0,029
3,53 0,306 -0,226 0,870 0,034 The teacher should avoid student involvement in evaluating the teacher’s learning process.
V 2,20 0,681 1,081 0,832 0,010
N 2,33 0,168 -0,033 0,881 0,049 In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.
V 3,93 -1,326 3,991 0,702 0,000
N 3,93 -1,291 1,965 0,710 0,000
In advance of the start of a course the student should determine how the course contributes to his/her learning process.
V 3,67 -0,788 -1,615 0,603 0,000
N 3,73 -1,250 1,728 0,825 0,008
The fact that the course is given in English negatively influenced my active involvement
V 3,07 -0,520 -1,457 0,753 0,001
N 3,07 -0,128 -1,346 0,850 0,017 The fact that the course is given in English negatively influenced my learning gains.
V 2,80 -0,019 -1,346 0,842 0,014
N 2,40 0,303 -0,961 0,876 0,041
90
Bijlage 8 Hypothesen (Deel 4 van de vragenlijst)
Voor het uitvoeren van de toetsing (Wilcoxon rangtekentoets) zijn voor de items van deel 4 de volgende hypothesen opgesteld.
Nulhypotheses en alternatieve hypotheses deel 4
Items van de vragenlijst H0 Ha
Receiving feedback during the course is just as important as receiving feedback at the end of the course. H0: η = 0 Ha: η≠0
Giving feedback to fellow students is just as important as receiving feedback from them. H0: η = 0 Ha: η≠0 Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.
H0: η = 0 Ha: η>0
Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.
H0: η = 0 Ha: η<0
Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.
H0: η = 0 Ha: η>0
I am solely responsible for my final grade on this course. H0: η = 0 Ha: η≠0 The content and methods of the course must be established in advance by the Teacher. H0: η = 0 Ha: η<0 The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.
H0: η = 0 Ha: η<0
The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.
H0: η = 0 Ha: η>0
Students must be involved in determining the methods and content of the course. H0: η = 0 Ha: η>0 A teacher motivates me by asking questions during lectures. H0: η = 0 Ha: η≠0 A teacher motivates me by providing students with the opportunity to ask questions during lectures. H0: η = 0 Ha: η≠0 The extent to which I am actively involved in the course depends to a large extent on the teacher. H0: η = 0 Ha: η<0 The extent to which I am actively involved in the course depends to a large extent on fellow students. H0: η = 0 Ha: η<0 Students should first attempt to get answers on their questions from fellow students. H0: η = 0 Ha: η≠0 The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.
H0: η = 0 Ha: η>0
The teacher should encourage students to evaluate their own learning process. H0: η = 0 Ha: η>0 The teacher should encourage students to evaluate the teacher’s learning process. H0: η = 0 Ha: η>0 The teacher should avoid student involvement in evaluating the teacher’s learning process. H0: η = 0 Ha: η<0 In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.
H0: η = 0 Ha: η>0
In advance of the start of a course the student should determine how the course contributes to his/her learning process.
H0: η = 0 Ha: η>0
The fact that the course is given in English negatively influenced my active involvement H0: η = 0 Ha: η≠0 The fact that the course is given in English negatively influenced my learning gains. H0: η = 0 Ha: η≠0
91
Bijlage 9 Uitkomsten Wilcoxon rangtekentoets
(deel 4 van de vragenlijst)
Onderstaande tabel geeft de uitkomsten van de Wilcoxon rangtekentoets weer. Opvallend is het grote aantal knopen in de data. Per item kwamen één tot
tien knopen voor. Gemiddeld bestaan er in de data 7,21 knopen per item. Voor alle items geldt dat de nulhypothese niet verworpen wordt. Er is dus geen
significant verschil tussen voor- en nameting aangetoond.
Paren in de analyse, aantal paren met positieve verschillen, aantal paren met negatieve verschillen, aantal paren zonder verschil en de overschrijdingskans van de items van deel 4 van de vragenlijst.
Items van de vragenlijst Aantal paren in analyse
Aantal positieve verschillen
Aantal negatieve verschillen
Aantal geen verschil
Sig. (1-zijdig)
Receiving feedback during the course is just as important as receiving feedback at the end of the course.
10 5 5 6 0,399
Giving feedback to fellow students is just as important as receiving feedback from them. 9 5 4 7 1,000*
Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.
9 3 6 7 0,095
Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.
15 7 8 1 0,242
Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.
8 5 3 8 0,471
I am solely responsible for my final grade on this course. 10 3 7 6 0,467*
The content and methods of the course must be established in advance by the Teacher. 8 3 5 8 0,471
The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.
12 6 6 4 0,403
The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.
10 5 5 6 0,378
Students must be involved in determining the methods and content of the course. 9 5 4 7 0,282
A teacher motivates me by asking questions during lectures. 6 1 5 10 0,096*
A teacher motivates me by providing students with the opportunity to ask questions during lectures.
7 2 5 9 0,206*
The extent to which I am actively involved in the course depends to a large extent on the teacher.
8 1 7 8 0,077
The extent to which I am actively involved in the course depends to a large extent on fellow students.
9 5 4 7 0,476
Students should first attempt to get answers on their questions from fellow students. 9 6 3 6 0,357*
92
The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.
6 3 3 10 0,500
The teacher should encourage students to evaluate their own learning process. 8 3 5 8 0,136
The teacher should encourage students to evaluate the teacher’s learning process. 9 3 6 7 0,227
The teacher should avoid student involvement in evaluating the teacher’s learning process. 8 4 4 8 0,500
In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.
6 3 3 10 0,370
In advance of the start of a course the student should determine how the course contributes to his/her learning process.
10 6 4 6 0,458
The fact that the course is given in English negatively influenced my active involvement 9 5 4 7 0,951*
The fact that the course is given in English negatively influenced my learning gains. 10 3 7 10 0,207* **2-zijdig
93
Bijlage 10 Frequentietabel
(Deel 4 van de vragenlijst)
Onderstaande tabel laat het gemiddelde, de standaarddeviatie en de frequentieverdeling per item van deel 4 van de vragenlijst zien.
Gemiddelde, standaarddeviatie en frequenties per item. Deel 4 vragenlijst (1 = Strongly Disagree; 2 = Disagree; 3 = Undecided; 4 = Agree; 5 = Strongly agree)
Voor/ na
n Mean SD 1 2 3 4 5
Receiving feedback during the course is just as important as receiving feedback at the end of the course.
V 21 3,71 1,271 1 4 2 7 7
N 23 4,00 1,087 1 2 1 11 8
Giving feedback to fellow students is just as important as receiving feedback from them. V 21 3,62 0,805 - 2 6 11 2
N 23 3,74 0,619 - 1 5 16 1
Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.
V 21 3,57 0,870 - 3 5 11 2
N 23 3,30 1,063 2 3 5 12 1
Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.
V 21 3,05 1,071 - 9 4 6 2
N 23 2,87 0,815 1 6 11 5 -
Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.
V 21 2,52 0,873 1 12 4 4 -
N 23 2,57 0,843 2 9 9 3 -
I am solely responsible for my final grade on this course. V 21 3,48 0,928 - 4 5 10 2
N 23 3,65 1,152 - 6 2 9 6
The content and methods of the course must be established in advance by the Teacher. V 21 3,38 1,071 1 4 4 10 2
N 23 3,39 0,941 - 5 6 10 2
The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.
V 21 2,90 1,091 3 4 6 8 -
N 23 2,61 0,839 - 14 4 5 -
The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.
V 21 3,14 1,014 1 4 9 5 2
N 23 3,35 0,885 - 6 3 14 -
Students must be involved in determining the methods and content of the course. V 21 3,00 0,894 1 5 8 7 -
N 23 3,17 0,650 - 3 13 7 -
A teacher motivates me by asking questions during lectures. V 21 3,57 0,746 - 2 6 12 1
N 23 3,43 0,728 - 3 7 13 -
A teacher motivates me by providing students with the opportunity to ask questions during lectures.
V 21 3,90 0,831 - 1 5 10 5
N 23 3,61 0,783 1 - 7 14 1
The extent to which I am actively involved in the course depends to a large extent on the teacher. V 21 3,57 1,207 1 4 3 8 5
N 23 3,22 1,166 1 7 4 8 3
The extent to which I am actively involved in the course depends to a large extent on fellow V 21 2,67 1,155 3 8 4 5 1
94
students. N 23 2,52 1,039 4 8 6 5 -
Students should first attempt to get answers on their questions from fellow students. V 21 2,71 0,902 2 6 9 4 -
N 22 2,91 1,109 2 6 8 4 2
The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.
V 21 3,48 0,814 1 1 6 13 -
N 23 3,52 0,994 1 2 7 10 3
The teacher should encourage students to evaluate their own learning process. V 21 4,05 0,669 - 1 1 15 4
N 23 3,83 1,029 1 2 2 13 5
The teacher should encourage students to evaluate the teacher’s learning process. V 21 3,67 1,065 1 1 7 7 5
N 23 3,52 0,947 - 3 9 7 4
The teacher should avoid student involvement in evaluating the teacher’s learning process. V 21 2,19 0,873 4 11 4 2 -
N 23 2,26 0,864 4 11 6 2 -
In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.
V 21 3,90 0,700 - 1 3 14 3
N 23 3,96 0,767 - 2 1 16 4
In advance of the start of a course the student should determine how the course contributes to his/her learning process.
V 21 3,62 0,498 - - 8 13 -
N 23 3,70 0,926 1 1 4 13 3
The fact that the course is given in English negatively influences/influenced my active involvement
V 21 3,33 1,111 1 5 3 10 2
N 23 3,09 1,379 3 7 2 7 4
The fact that the course is given in English negatively influenced/influenced my learning gains. V 21 3,00 1,000 1 7 4 9 -
N 23 2,61 1,118 3 10 4 5 1
95
Bijlage 11 Uitkomsten normaliteitstoetsing
(ILS, de zestien subschalen)
In de tabel worden de uitkomsten van de normaliteitstoetsing van de ILS subschalen weergegeven. De test geeft als resultaat een p-waarde
(overschrijdingskans = sig.). Bij een gekozen alfa van 0,05 ( = 0,05) kan bekeken worden of nulhypothese, dat verdeling normaal is, verworpen moet
worden. De verdeling van deze variabelen moet dan als niet normaal beschouwd moet worden. Ook neemt de test de scheefheid (skewness) en
piekvormigheid (kurtosis) mee in de berekening. Voor een normale verdeling geldt dat de skewness en kurtosis tussen -1 en +1 liggen. De resultaten laten
zien dat de minimale skewness -1,728 bedraagt. De maximale skewness, gevonden in deze dataverzameling, is 1,522. De waarden van de kurtosis liggen
verder uit elkaar. Het minimum is –1,834 en het maximum is 3,049. Op basis van de p-waarden zijn drie van de zestien verschilvariabelen niet normaal
verdeeld. Als er wordt gekeken naar de Shapiro W-statistic zijn dertien van de zestien verschil variabelen niet normaal verdeeld.
Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van de ILS-HO schalen.
ILS-HO schalen Voor / na Mean Skewness Kurtosis Shapiro W-statistic Sig.
Verwerkingsstrategieën
Diepteverwerkingsstrategie V 27,7778 1,522 2,654 0,871 0,127
N 27,6667 1,076 1,638 0,907 0,294
Stapsgewijze verwerkingsstrategie V 32,0000 0, 004 -1,834 0,912 0,333
N 32,6667 -0,033 -1,799 0,918 0,380
Concrete verwerkingsstrategie V 12,2222 0, 801 0,566 0,943 0,612
N 11,8889 0,388 -0,509 0,962 0,820
Regulatiestrategieën
Zelfsturingsstrategie V 22,5556 0,724 -0,670 0,898 0,242
N 25,3333 0,397 -1,738 0,860 0,097
Extern gestuurde strategie V 28,2222 -0,161 -0,789 0,956 0,758
N 25,5556 0,117 -0,882 0,935 0,526
Stuurloze strategie V -6,6667 0,216 -1,891 0,883 0,167
N 8,6667 0,430 -1,645 0,870 0,122
Mentale modellen/studiemotieven
Certificaatgericht V 8,7778 -0,157 -0,657 0,894 0,217
96
N 10,0000 -0,641 -1,131 0,831 0,046
Beroepsgericht V 16,4444 -1,728 3,648 0,836 0,051
N 15,3333 -0,798 1,851 0,926 0,446
Testgericht V 12,0000 -0,340 -0,482 0,982 0,975
N 12,6667 -0,320 -1,098 0,955 0,748
Persoonlijk geïnteresseerd V 12,5556 -0,365 -0,554 0,930 0,485
N 13,2222 0,014 -1,337 0,939 0,570
Ambivalent V 8,7778 0,857 -0,347 0,850 0,075
N 8,5556 1,367 0,624 0,771 0,010
Studieopvattingen
Opname van kennis V 27,7778 -1,464 2,074 0,859 0,093
N 27,3333 -0,364 0,804 0,908 0,304
Opbouw van kennis V 17,8889 -0,504 -0,134 0,972 0,913
N 18,8889 0,294 -0,663 0,964 0,835
Gebruik van kennis V 19,1111 0,038 0,154 0,965 0,850
N 18,5556 -1,065 2,073 0,926 0,446
Stimulerend onderwijs V 22,7778 -1,153 3,049 0,899 0,248
N 24,6667 -0,431 -1,153 0,913 0,336
Samen werken V 16,1111 -0,625 -0,606 0,939 0,567
N 18,0000 0,809 -0,424 0,823 0,037
97