Assessment for Learning in het Hoger Onderwijs

Het effect op de leerstijl van studenten en de bijdrage aan de

onderzoekende houding van de docent

Jorien Vugteveen S2237520

Maart, 2012

Masterthesis Onderwijskunde Faculteit Gedrag- en Maatschappijwetenschappen Rijksuniversiteit Groningen Eerste begeleider: Drs. Marieke van Roy Tweede begeleider: Dr. Ernst Thoutenhoofd

‘Would you tell me, please, which way I ought to go from here?’ ‘That depends a good deal on where you want to get to.’...

(Carroll, Alice’s adventures in Wonderland, 1862, p. 64)

Inhoudsopgave

Abstract 5

Samenvatting 6

Voorwoord 7

1 Inleiding 8

2 Theoretisch kader 11

2.1 Assessment 11

2.1.1 Summatieve en formatieve assessment 11

2.1.2 Assessment ‘of Learning’, ‘for learning’ en ‘as learning’ 12

2.1.3 Assessment for Learning 14

2.2 Leerstijl 18

2.2.1 Vier componenten van leerprocessen 19

2.2.2 Vier leerstijlen 19

2.3 Onderzoekende houding docent 20

3 Methodologie 22

3.1 Verantwoording onderzoeksontwerp en onderzoek 22

3.1.1 Verantwoording 22

3.1.2 Onderzoekseenheden 24

3.1.3 Hypothesen 25

3.2 Literatuuronderzoek 25

3.3 Kwantitatief onderzoek – Vragenlijst 26

3.3.1 Vragenlijst 26

3.3.2 Statistische analyse 27

3.3.3 betrouwbaarheid 27

3.4 Kwantitatief onderzoek – ILS 30

3.4.1 Inventory Learning Styles (ILS) 30

3.4.2 Statistische analyse 31

3.4.3 Betrouwbaarheid 31

3.5 Kwalitatief onderzoek 34

3.5.1 Logboeken 34

3.5.2 Dagboek 35

4 Resultaten 36

4.1 Response 36

4.2 Resultaten vragenlijst 36

4.2.1 Deel 1, 2 en 3: Normaliteit 37

4.2.2 Deel 1, 2 en 3: Wilcoxon rangtekentoets 37

4.2.3 Deel 4: Normaliteit 38

4.2.4 Deel 4: Wilcoxon rangtekenttoets 38

4.2.5 Deel 5: Frequenties en gemiddelden 38

4.3 Resultaten ILS 39

4.3.1 Normaliteit 39

4.3.2 Wilcoxon rangtekentoets 39

4.4 Resultaten logboeken 43

4.4.1 Effectieve feedback 43

4.4.2 Betrokkenheid 44

4.4.3 Aanpassen onderwijs 45

4.4.4 Invloed op student 46

4.4.5 Self-assessment 47

4.4.6 Openheid van zaken 48

4.4.7 Duidelijke verwachtingen 49

4.4.8 Faciliteren 49

4.4.9 Leren door de docent 50

4.4.10 Reflecteren 51

4.5 Samenhang resultaten 51

5 Conclusie 54

5.1 Effect van AfL op leerstijl student 54

5.1.1 Betekenisgerichte leerstijl 54

5.1.2 Reproductiegerichte leerstijl 55

5.1.3 Toepassingsgerichte leerstijl 56

5.1.4 Ongerichte leerstijl 57

5.2 Bijdrage AfL aan onderzoekende houding docent 58

5.2.1 De wil om kritisch te zijn 58

5.2.2 De wil om te begrijpen 60

5.2.3 De wil om te bereiken 60

5.2.4 De wil om te delen 62

5.2.5 De wil om vernieuwend te zijn 63

5.2.6 De wil om te weten 63

6 Discussie 65

6.1 Beperkingen van het onderzoek en suggesties voor vervolgonderzoek 65

6.2 Aanbevelingen en mogelijke hypothesen 68

Literatuurlijst 71

Bijlagen 74

Bijlage 1 Zelfontworpen vragenlijst 75

Bijlage 2 Toevoeging aan vragenlijst bij nameting 77

Bijlage 3 Fragment ILS 78

Bijlage 4 Samenvoeging van de logboeken 79

Bijlage 5 Fragment dagboeknotities 86

Bijlage 6 Uitkomsten normaliteitstoetsing (vragenlijst deel 1, 2 en 3) 87

Bijlage 7 Uitkomsten normaliteitstoetsing (vragenlijst deel 4) 88

Bijlage 8 Hypothesen 90

Bijlage 9 Uitkomsten Wilcoxon rangtekentoets 91

Bijlage 10 Frequentietabel 93

Bijlage 11 Uitkomsten normaliteitstoetsing (ILS) 95

5

Abstract

The subject of this educational master research project is the implementation of Assessment for

Learning (AfL) in Higher Education. AfL constitutes the use of assessment and sub sequential feedback

to improve student and teacher learning. AfL is believed to lead to a higher degree of autonomy/self-

regulation of learning and better learning outcomes. A combination of both qualitative and

quantitative research methods is used to answer two research questions: ‘What is the effect of AfL on

the learning style of students?’ and ‘What is the contribution of AfL to the inquiring/learning attitude

of the teacher?’ The goal is to formulate hypotheses for the use of AfL in Higher education in general.

The Inventory Learning Style (ILS) test (Vermunt, 1998) is used to formulate statements

regarding four learning styles: the meaning-directed learning style, reproduction-directed learning

style, the undirected learning style and the application-directed learning style. Each learning styles

consists of four components which cover sixteen subscales in total. The Wilcoxon rank sign test is used

to indicate a difference between the pre- and posttest scores. The results are supplemented with the

results of the similar statistical analysis of the self-designed questionnaire.

The conclusions regarding the teacher’s inquiring attitude are based on the analysis of a

particular part of the self-designed questionnaire and logbooks. In order to be able to draw the

conclusions, with regard to this second research question, the observations, categorized according to

the ten key elements of AfL (UK Assessment Reform Group, 1999 e.a.), are connected to the six aspects

of a teacher’s inquiring attitude: the inclination to be critical, to understand, to achieve, to share, to

innovate and to know (Van der Rijst, 2009).

The hypotheses of this research are (a) the implementation of AfL leads to changes in students’

learning styles (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986) and (b) the use of AfL

contributes positively to the inquiring attitude of the teacher (Black & William, 1998a; 1998b; James &

McCormick, 2009). Both hypotheses were proven to be true, although the changes in learning styles

were less extensive than expected. Based on the results and conclusions new hypotheses were

formulated for the application of AfL in Higher Education.

6

Samenvatting

Het onderwerp van dit hypothesevormend onderwijskundig afstudeeronderzoek is de toepassing van

Assessment for Learning (AfL) in het Hoger Onderwijs. Assessment for Learning is het gebruiken van

assessment/beoordeling en het op basis daarvan geven van feedback ten bate van het leren van

student en docent. Van AfL wordt verwacht dat het leidt tot een hogere mate van

autonomie/zelfsturing van de student en betere leeropbrengsten. Doormiddel van een combinatie van

zowel kwalitatieve als kwantitatieve onderzoeksmethoden wordt een antwoord gegeven op twee

onderzoeksvragen: ‘Welk effect heeft AfL op de leerstijl van studenten?’ en ‘Welke bijdrage levert AfL

aan de onderzoekende/lerende houding van docent?’.

Om uitspraken te doen over de leerstijlen van studenten wordt gebruik gemaakt van de

Inventory Learning Style (ILS) test (Vermunt, 1998). Deze test geeft inzicht in de vier leerstijlen:

betekenisgerichte leerstijl, toepassinggerichte leerstijl, reproductieve leerstijl en de ongerichte leerstijl.

Elke leerstijl bestaat uit vier componenten die samen zestien subschalen beslaan. Per subschaal is

getoetst of er verschil tussen de voor- en nameting is opgetreden. Deze resultaten zijn aangevuld met

uitspraken op basis van de statistische analyse van de data van een zelfontworpen vragenlijst.

De conclusies met betrekking tot de onderzoekende houding van de docent zijn getrokken op

basis van de analyse van de logboeken en mijn reacties als student/onderzoeker daarop. De

waarnemingen, gecategoriseerd aan de hand van de tien sleutelelementen van AfL (UK Assessment

Reform Group, 1999 e.a.), zijn gekoppeld aan de zes aspecten van een onderzoekende houding van

een docent in het wetenschappelijk onderwijs: de wil om kritisch te zijn, te begrijpen, te bereiken, te

delen, vernieuwend te zijn en te weten (Van der Rijst, 2009).

De hypothesen van het onderzoek zijn dat (a) het invoeren van AfL veranderingen in de leerstijl

van studenten teweeg zal brengen (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986) en (b)

dat het gebruik van AfL een positieve bijdrage levert aan de onderzoekende houding van de docent

(Black & William, 1998a; 1998b; James & McCormick, 2009). Beide hypothesen zijn uitgekomen, al is de

mate van verandering in leerstijl wel wat achtergebleven bij de verwachting. Op basis van de resultaten

en conclusies zijn, in de vorm van hypothesen, voorspellingen opgesteld voor de toepassing van AfL in

het Hoger onderwijs.

7

Voorwoord

Na het afronden van de pabo en vervolgens een jaar schakelprogramma te hebben gevolgd, ben ik in

september 2011 gestart met de master Onderwijskunde aan de Rijksuniversiteit Groningen. In verband

met brede interesse en vertrouwen in eigen kunnen heb ik twee differentiaties naast elkaar gevolgd:

'Onderwijs- en leerlingbegeleiding' en 'Didactische vormgeving van het onderwijs'. Daarnaast ben ik in

november vervroegd gestart met het afstudeeronderzoek dat in deze masterthesis beschreven wordt.

De titel ‘Assessment for Learning in het Hoger Onderwijs’ verwijst naar de toepassing van Assessment

for Learning (AfL) tijdens een vak van de master Onderwijskunde. Het onderzoek maakt deel uit van

een breder denk- en leervaardighedenproject. Daarbinnen zijn diverse onderzoeken op verschillende

typen scholen uitgevoerd. Het onderzoek dat hier beschreven wordt, richt zich op het effect van AfL op

de leerstijl van studenten en de bijdrage van AfL aan de onderzoekende houding van de docent.

Ik heb mijn thesis twee maanden kunnen schrijven, waardoor ik de kans heb gekregen

vervroegd af te studeren. Zonder de begeleiding van Ernst Thoutenhoofd tijdens de beginfase en

uitvoeringsfase van het onderzoek, en de begeleiding van Marieke van Roy tijdens het schrijven van de

thesis, was dit niet mogelijk geweest. Ik wil hen daar hartelijk voor bedanken.

Ik heb nu vijfenhalf à zes jaar studie in het Hoger Beroepsonderwijs en Wetenschappelijk

Onderwijs achter de rug. Zonder de gezelligheid en steun van medestudenten had ik dit niet

volgehouden. In het bijzonder wil ik Janine van der Kooi bedanken voor haar gezelschap,

samenwerking en kritische blik.

Tot slot dank aan mijn familie. Hoewel ironie in ons gezin steevast hoogtijd viert en jullie

dikwijls de spot met mij hebben gedreven, hebben jullie mij altijd gesteund en gestimuleerd in het

bereiken van de doelen die ik voor ogen had. Met het schrijven van deze masterthesis is er een eind

gekomen aan een enorm interessante periode van studie. Ik heb de master Onderwijskunde afgerond

en daarmee heb ik weer een doel bereikt.

Groningen, maart 2012

8

Hoofdstuk 1

Inleiding

Sinds de sociaal-economische veranderingen in onze samenleving na de jaren ’60 van de vorige eeuw

leven wij in een kennismaatschappij. Flexibiliteit, internationalisering, het gebruik van informatie- en

communicatietechnologie en een voortdurend lerende organisatie kunnen worden gezien als

kenmerken van de kennismaatschappij. Deze maatschappij is voortdurend in beweging. De

belangrijkste rol voor (hoger) onderwijs is dan ook het opleiden van mensen om te kunnen

functioneren in de kennismaatschappij van de toekomst. Één van de belangrijkste vaardigheden die

mensen moeten (leren) beheersen is het kunnen leren (Hoskins & Fredriksson, 2008). Veranderingen

op de werkplek volgen elkaar in hoog tempo op. Deze worden gedeeltelijk veroorzaakt door

voortdurende innovaties op het gebied van technologie en sociale veranderingen met betrekking tot

globalisering. Van (toekomstige) werknemers wordt verwacht dat zij zich met de maatschappij mee

ontwikkelen (Hoskins & Fredriksson, 2008). Levenslang leren / lifelong learning is daarom al enige jaren

een politieke prioriteit met betrekking tot de onderwijskundige context en daar buiten.

Een aantal jaren geleden bestond het onderwijs voornamelijk uit klassikaal onderwijs en

summatieve beoordelingsmomenten. De leerkracht gaf les volgens de directieve (autoritaire) stijl. Dit

betekende dat de leerkracht alle beslissingen nam en dat de lerende daarop geen of weinig invloed

uitoefende. Dat kwam onder andere tot uiting in het voorschrijven wat de leerlingen moesten doen,

het aangeven van wie met wie moest samenwerken en het bepalen hoe goed/slecht de prestaties van

iedere lerende waren door middel van het toetsen van kennis (Santrock, 2009). Deze toetsen vonden

plaats aan het eind van ieder afzonderlijk leerproces. De resultaten die lerenden behaalden werden

gezien als een indicatie van het begrip van de stof (Cooper, 2006). In het hedendaags onderwijs zijn de

sporen van deze stijl van lesgeven nog steeds aanwezig, maar hebben zich ook duidelijke

veranderingen voorgedaan. Leerlingen, scholieren en studenten worden met het oog op de

kennismaatschappij en onder druk van politieke en sociale bewegingen voorbereid op initiatiefrijk

lifelong learning (Hoskins & Fredriksson, 2008). Verschillende onderwijsstromingen hebben zich daar,

ieder op hun eigen manier, op aangepast. De directieve stijl van lesgeven heeft grotendeels

plaatsgemaakt voor de participatieve (democratische) stijl. De leerling /scholier/ student heeft een

grotere invloed doordat de docent de leerlingen betrekt bij het bepalen van de regels, de inhoud van

het onderwijs, het samenwerken, de manier waarop taken worden aangepakt en hoe gedrag en

prestaties worden beoordeeld (Santrock, 2009). De leerkracht stelt zich meer op als begeleider en is

minder dominant aanwezig. Arter schrijft dat er verschillende manieren zijn waarop studenten

betrokken kunnen worden bij het evalueren en het monitoren van hun eigen leerproces. Een

voorbeeld van betrokkenheid van studenten is het bieden van hulp aan studenten bij het formuleren

9

van hun eigen doelen, het laten beslissen hoe deze behaald gaan worden en het laten besluiten

wanneer de doelen bereikt zijn (in Wall & Walz, 2003).

Onderzoek heeft uitgewezen dat de focus van toetsen minder moet liggen op summatief

toetsen aan het eind van het leerproces en meer op formatief toetsen tijdens het leerproces (Crooks,

1988). Toetsing moet niet alleen gericht zijn op het product maar ook op het proces dat de student

doorloopt om het (eind)doel te behalen. Arter stelt dat het daarbij gewenst is dat er ook aandacht

wordt besteed aan hoe er daarna verder gewerkt moet worden (in Wall & Walz, 2003). Assessment for

Learning (AfL) biedt deze mogelijkheden. In het kort is AfL het volgen en stimuleren van het leerproces

en de prestaties van de student. Hierbij wordt beoordeling (assessment) en feedback gebruikt om het

leerproces te beoordelen en te sturen. Het constante proces van assessment en het geven van

feedback stelt docenten in staat inzicht te verwerven in het leerproces van studenten en te bepalen

welke verbeteringen in de lespraktijk mogelijk zijn. Een belangrijk element van AfL is dat studenten tot

op zekere hoogte controle hebben over hun eigen leerproces en de beoordeling daarvan. Toepassing

van AfL in het hoger onderwijs is daarom van groot belang voor lifelong learning. AfL verhoogt, mits

goed geïmplementeerd, de motivatie om te leren en helpt studenten te leren hoe ze moeten leren

(Learning How To Learn). Door middel van de toepassing van AfL wordt gebruik gemaakt van

formatieve toetsing om het leerproces van de lerende in kaart te brengen, te ondersteunen en te

verbeteren (Clark, 2008). Een participerende stijl van lesgeven is hierbij van belang. Onderzoek heeft

namelijk aangetoond dat formatieve toetsing het krachtigst is wanneer lerenden betrokken worden bij

hun eigen beoordeling, evaluatie en formulering van doelen (Black & William, 1998a; Wall & Walz,

2003).

Er bestaat buitenlands onderzoek naar de effectiviteit van verschillende elementen die bij AfL-

praktijken aan bod komen. Tevens bestaat er buitenlands onderzoek dat zich richt op evaluatie van de

implementatie van AfL. Onderzoek naar het effect van AfL dat zich richt leerlingen en leerkrachten uit

het lager en voortgezet onderwijs is ook aanwezig. Daarnaast is er veel onderzoek gedaan naar

summatieve en formatieve assessment. Deze laatstgenoemde onderzoeken richtten zich op

(formatieve) assessment van de docent voor de student, terwijl in de AfL-praktijk specifiek de nadruk

wordt gelegd op het gebruik van formatieve assessment ten bate van leren. Onderzoek naar AfL, het

gebruik van formatieve assessment om het leren en het leerproces van studenten (en hun docenten) in

het Hoger Onderwijs te verbeteren, is slechts in beperkte mate beschikbaar. Dit afstudeeronderzoek

richt zich op die doelgroep en op het effect van AfL op attitudes van deze studenten en hun docenten.

Het onderzoek maakt deel uit van het bredere denk- en leervaardighedenproject waarbij

leerkrachten en studenten uit het primair onderwijs, het speciaal onderwijs, het voortgezet onderwijs,

het hoger beroeps onderwijs en wetenschappelijk onderwijs zijn betrokken. Het is gericht op het effect

van AfL op de leerstijl van de student en op de onderzoekende/lerende houding van de docent in het

10

hoger onderwijs. De dataverzameling heeft plaatsgevonden tijdens het vak PAMAOK003

‘Professionalisering van leerkrachten’, met als docent Ernst Thoutenhoofd. Vanaf nu respectievelijk

aangeduid met ‘het vak’ en ‘de docent’. Het vak is onderdeel van de differentiatie ‘Onderwijs- en

leerlingbegeleiding’ van de master Onderwijskunde binnen de faculteit Gedrags- en Maatschappij-

wetenschappen van de Rijksuniversiteit te Groningen. Binnen dit vak is AfL ingezet om al dan niet

gezamenlijk een opdracht te ontwerpen en uit te voeren met als doelstelling studenten meer eigen

verantwoordelijkheid te laten nemen voor het (gezamenlijke) leerproces. De aandacht is hierbij gericht

op het (samenwerkend) leren van studenten en de docent. Daarbij zijn de volgende onderzoeksvragen

gehanteerd: Welk effect heeft AfL op de leerstijl van studenten? Welke bijdrage levert AfL aan de

onderzoekende/lerende houding van docent? De verwachting is dat AfL voornamelijk leidt tot een

meer betekenisgerichte leerstijl van studenten en een positieve bijdrage levert aan de onderzoekende

houding van de docent.

In dit onderzoeksverslag zal eerst in het theoretisch kader een uiteenzetting worden gegeven

van AfL, de leerstijl van de student en de onderzoekende houding van de docent. Daarna zullen de

analyses, de resultaten en conclusies beschreven worden. Het verslag wordt afgesloten met een

discussie en aanbevelingen en hypothesen voor vervolgonderzoek.

11

Theoretisch Kader

In dit hoofdstuk wordt een omschrijving van het theoretisch kader, waarbinnen het onderzoek heeft

plaatsgevonden, gegeven. Voor het beantwoorden van de onderzoeksvragen is het van belang om het

begrip assessment for learning af te bakenen, zoals in paragraaf 2.1 gedaan wordt. Ook het begrip

leerstijl speelt een centrale rol. Deze wordt in paragraaf 2.2 onder de loep genomen. Paragraaf 2.3

besteed aandacht aan het derde centrale begrip: de onderzoekende houding van de docent.

2.1 Assessment

Binnen schoolse situaties vind leren plaats door wat studenten en docenten binnen en buiten de

collegezalen doen. De overheid, maar ook andere belanghebbenden, verwachten dat de leerpraktijken

zo effectief mogelijk zijn. Assessment is een onderdeel van leerpraktijken waarop nog winst te behalen

is (Black & William, 1998b). Bij een focus op Assessment for Learning (AfL), het onderwerp van dit

afstudeeronderzoek, is het noodzakelijk om vast te stellen wat er in dit onderzoeksverslag met

assessment bedoeld wordt. In de literatuur bestaan verschillende definities van assessment en

evaluatie (evaluation). De verschillen lijken geografisch bepaald. In Amerikaanse literatuur verwijst de

term assessment naar het meten van bepaalde prestaties. De term evaluatie wordt gebruikt met

betrekking tot de beoordeling van prestaties. In de Engelse literatuur worden de termen anders

gebruikt. Met assessment wordt het toetsen en beoordelen van prestaties bedoeld (Scriven, 1966). Het

meten van het niveau wordt aangeduid met verschillende termen, waaronder toetsing, monitoren of

measuring. ‘Evaluation’ verwijst in deze literatuur naar het evalueren van de kwaliteit van leer- of

onderwijsprocessen. Het gaat daarbij expliciet om het proces, niet om het product (Scriven, 1966).

In dit onderzoeksverslag wordt in het gebruik van de termen assessment en evaluatie het

Engelse voorbeeld gevolgd. Deze keuze is gebaseerd op de vooroplopende positie van Groot-Brittannië

op het gebied van Assessment for Learning.

2.1.1 Summatieve en formatieve assessment

De laatste jaren heeft er op het gebied van assessment een verschuiving plaatsgevonden van een focus

op standaard toetsen naar een vorm van assessment die meer verband houdt met leerervaringen van

studenten (Black & William, 1998a). Er wordt minder waarde gehecht aan summatieve assessment en

meer nadruk gelegd op het gebruik van formatieve assessment. Het onderscheid tussen deze twee

vormen van assessment is van groot belang in het kader van AfL. Sadler’s definitie van formatieve

assessment is de meest gebruikte. Hij schrijft: “Formative assessment is concerned with how

judgements about the quality of student responses (performance, pieces, or works) can be used to

shape and improve the students’ competence by short-circuiting the randomness and inefficiency of

12

trial-and-error learning” (Sadler, 1989, p. 120). Het gaat om een studentspecifieke beoordeling van

bepaalde prestaties met als doel het komen tot verbeteringen. Summatieve assessment verschilt van

formatieve assessment in de zin dat het enkel een opsomming of samenvatting van het prestatieniveau

van de student geeft (Sadler, 1989; Scriven, 1966). Het vindt vaak aan het eind van een leerproces

plaats en heeft als doel het geven van een voldoende/onvoldoende beoordeling aan een student.

Summatieve assessment ter afsluiting van een leerproces heeft geen directe invloed op verder leren.

Het biedt geen informatie voor verbetering of vervolgactiviteiten, maar het kan wel onderwijskundige

of persoonlijke gevolgen hebben voor de student. Het belangrijkste onderscheid tussen de twee

vormen van assessment is te vinden in het doel (Sadler, 1989; Taras, 2008; 2009), in hoeverre het

leerproces op het moment van assessment is gevorderd (Sadler, 1989; Taras, 2009) en de mate waarin

de beoordeling afgestemd is op het individu (Taras, 2009).

Tot zo ver zijn beide vormen van assessment duidelijk uit elkaar te houden. Assessment in de

zin van toetsing en beoordeling van prestaties aan de hand van vastgestelde standaarden, doelen en

criteria, is een summatieve vorm van assessment (Scriven, 1966). Aanvullende feedback waaruit een

verschil tussen het huidige prestatieniveau en het wenselijke prestatieniveau blijkt, en waarin

suggesties worden gedaan met betrekking tot hoe het wenselijke niveau te behalen is, valt onder de

formatieve vorm van assessment (Hargreaves, 2005; Scriven, 1966; Taras, 2008). Enkel op basis van

summatieve beoordeling is het mogelijk om een oordeel te geven over de mogelijkheden tot

verbeteringen. Het is onvermijdelijk te concluderen dat formatieve assessment daardoor niet voor

komt zonder summatieve assessment. In de literatuur worden beide vormen van assessment als aparte

onderdelen gezien, maar het is juist om te concluderen dat ze in elkaar verweven zijn. Het is namelijk

onmogelijk om feedback te geven en tot verbeteringen te komen, zonder eerst (summatief) te

beoordelen. Formatieve assessment gaat altijd gepaard met een vorm van summatieve assessment

(Scriven, 1966; Taras, 2007; 2009) en vindt noodzakelijkerwijs tijdens het leerproces plaats.

Summatieve assessment kan daarentegen wel opzichzelfstaand voor komen. Bijvoorbeeld aan het eind

van een collegereeks.

2.1.2 Assessment ‘of Learning’, ‘for learning’ en ‘as learning’

Assessment wordt op verschillende manieren gebruikt binnen de onderwijspraktijk. Dit onderzoek is

gericht op Assessment for Learning, maar alvorens daar dieper op in te gaan is het van belang om

aandacht te besteden aan assessment of learning en assessment as learning.

Assessment of Learning verwijst naar strategieën die zijn ontworpen om de kennis van

studenten te beoordelen. Tijdens de beoordeling zal blijken of de student de vastgestelde doelen van

het curriculum gehaald heeft. De uitkomsten van deze beoordeling worden vaak publiek gemaakt in de

vorm van bijvoorbeeld een cijferlijst. Hierdoor kan de student zijn prestaties met die van anderen

13

vergelijken, maar ook andere belangstellenden kunnen een inschatting maken van de prestaties van

een student. Kort gezegd wordt bij assessment of learning gebruik gemaakt van enkel summatieve

beoordeling. Al vele jaren pleiten onderwijskundigen dat er een verschuiving van assessment of

learning naar assessment for learning plaats moet vinden (Crooks, 1988; Torrance, 2007) Crooks

noemde een aantal belangrijke zwakke punten van assessment door leerkrachten in de praktijk: de

veelal summatieve assessment moedigt namelijk aan tot oppervlakkig kennis en uit het hoofd leren

van lesstof; er wordt voornamelijk geconcentreerd op het uit het geheugen oproepen van details;

docenten reflecteren niet of nauwelijks op de manier van beoordelen en de inhoud ervan. Cijfers als

product van beoordeling werden (en worden nog steeds) overschat, terwijl het leren als product van

beoordeling wordt onderschat. Feedback aan studenten zou niet moeten bestaan uit een beoordeling

in de vorm van een cijfer, maar zou met regelmaat gegeven moeten worden en gericht moeten zijn op

een specifieke taak die door de student wordt uitgevoerd (Black & William, 1998a; Crooks, 1988; Hume

& Coll, 2009).

Assessment for Learning is een reactie op assessment of learning. Het doel was het komen tot

beoordelingsprocedures en praktijken die het leren van studenten ondersteunen in plaats van het

zelfvertrouwen, de prestaties en de ontwikkeling van studenten te ondermijnen (Black & William,

1998a; Torrance, 2007). In plaats van een summatieve vorm van beoordelen wordt hierbij gebruik

gemaakt van formatieve assessment. Deze vernieuwing werd op grote schaal doorgevoerd, maar bij

nadere inspectie bleek dat de elementen op een andere manier werden geïnterpreteerd (Torrance,

2007), of geheel niet begrepen en/of toegepast (Boyle & Charles, 2010). Leerlingen werden slechts in

beperkte mate bij hun leerproces betrokken en feedback, één van de sleutelcomponenten van AfL,

werd volgens het onderzoek van Boyle en Charles (2010) op slechts twintig procent van de 4000

scholen uit de steekproef toegepast. In de praktijk werd het voldoen aan criteria als doel gezien in

plaats van als middel (Torrance, 2007). Het oorspronkelijke doel, het bevorderen van meer autonome

rol van de student (Black, McCormick, James, & Pedder, 2006), werd uit het oog verloren. Daarmee is

een nieuwe vorm van beoordeling is ontstaan: assessment as learning.

In Assessment as Learning ligt de nadruk meer op overdracht van kennis (Black et al., 2006).

Assessmentprocedures zijn een doel op zich en studenten worden intensief gecoacht om het doel te

bereiken: aan de criteria te voldoen (Hume & Coll, 2009; Torrance, 2007). Het gevolg hiervan is dat

studenten, in plaats van meer autonoom te opereren, juist meer afhankelijk van de docent zijn

(Torrance, 2007). Studenten richten zich in hun werk op het voldoen aan alle details van de vooraf

vastgestelde vereisten. Docenten houden zich bezig met de criteria en hoe ze voor bewijs kunnen

zorgen dat hun studenten hieraan voldoen (Hume & Coll, 2009). Het leerproces van studenten staat

daardoor bij assessment as learning niet centraal, zoals bij Asessment for Learning wel het geval is. In

AfL-praktijken is het de bedoeling dat de studenten doelen formuleren, maar met de komst van

14

assessment as learning is deze taak weer bij de docent komen te liggen (Hargreaves, 2005).

Verschillende onderwijskundigen waaronder Hargreaves (2005) en Torrance (2007) stellen dat de

validiteit van assessment in de vorm van Assessment as Learning als gevolg hiervan zeer twijfelachtig is

geworden.

2.1.3 Assessment for Learning

Verschillende aspecten van formatieve assessment, onderdeel van AfL, zijn aan de orde geweest. In het

kort is AfL het monitoren van het leerproces en de prestaties van de student met betrekking tot

gestelde doelen. Hierbij wordt assessment gebruikt om het leerproces te beoordelen en vervolgens te

sturen. Docenten voorzien het werk van studenten van feedback en zijn daardoor op de hoogte van de

leerprocessen van de studenten en kunnen hun lesgeven hier op aanpassen (Black & William, 1998a;

Hargreaves, 2005; James & McCormick, 2009; Juwah et al., 2004). Studenten hebben in grote mate

controle over hun eigen leerproces en de beoordeling daarvan. Hierbij is het essentieel dat studenten

de feedback van de docent gebruiken om hun leerproces vorm te geven (Hargreaves, 2005). Het proces

waarbij iedere assessment met bijbehorende feedback een beginpunt vormt voor verbetering, wordt

ook wel scaffolding genoemd (van de Pol, Volman, & Beishuizen, 2010).

In zoverre wordt in deze definiëring van AfL weinig toegevoegd aan de omschrijving van

formatieve assessment, maar AfL is meer dan dit. Binnen AfL zijn vier kernelementen te onderscheiden

waarmee AfL zich onderscheidt van formatieve assessment: het stellen van vragen, het gebruik van

feedback, het delen van criteria en self-assessment (Black & William, 1998b). In de praktijk wordt self-

assessment veelal aangevuld met peer-assessment (Black & William, 1998a; Clark, 2008; Hargreaves,

2007; Lauf & Dole, 2010; Taras, 2009). In een effectieve AfL-praktijk zijn alle kernelementen aanwezig.

Vragen stellen

Binnen de beoordelingsprocedures speelt de wisselwerking tussen docent en student een belangrijke

rol (Black et al., 2006). In de praktijk bestaat deze wisselwerking voor een groot deel uit vragen die de

docent stelt om te controleren of de student iets heeft geleerd of begrepen heeft. Uit onderzoek is

gebleken dat docenten bij het stellen van vragen geen hoge verwachtingen van de student hebben

(Black & William, 1998a). Er wordt voornamelijk gefocust op het terugroepen van feitjes die de student

geacht wordt uit het hoofd te hebben geleerd. Black en William (1998b) stellen dat deze manier van

controle vaak erg onproductief is. Daarnaast is één van de meest voorkomende problemen dat

docenten geregeld vragen stellen om vervolgens zelf het antwoord te geven. De student krijgt niet de

tijd om na te denken over mogelijke antwoorden (Black & William, 1998b). Juist het denkproces van

studenten is van belang voor de autonomie op het gebied van leren. Bij een AfL aanpak wordt van de

leerkrachten verwacht dat ze studenten aanzetten tot denken. Het overdragen van kennis is niet

15

doeltreffend (Taras, 2009). Het geven van tijd om na te denken en te reageren, het aanzetten tot het

bediscussiëren van mogelijke antwoorden in kleine groepjes, het geven van verschillende

antwoordmogelijkheden waaruit studenten kunnen kiezen en het individueel laten opschrijven van

antwoorden om er vervolgens een aantal de revue te laten passeren zijn manieren om de

denkprocessen van studenten te optimaliseren (Black & William, 1998a).

Voor communicatie tussen studenten onderling geldt hetzelfde (Clark, 2008). Samenwerking of

interactie is het meest waardevol als er goed wordt overlegd en daarbij aandacht wordt geschonken

aan redenering.

Feedback

In het kader van AfL is aangenomen dat feedback moet leiden tot het verbeteren van leerprocessen en

prestaties van studenten. Ook moet het leiden tot verbeteringen in lespraktijken van docenten.

Feedback moet volgens Sadler (1989) aan drie voorwaarden voldoen: het moet gericht zijn op het

behalen van gestelde doelen; het moet het huidige prestatieniveau met het gewenste prestatieniveau

vergelijken; en het moet aanzetten tot stappen om het gewenste niveau te behalen. De studenten

spelen in het feedbackproces een essentiële rol (Juwah et al., 2004). Van hen wordt verwacht dat zij

actief zijn in het monitoren en sturen van hun eigen prestaties met betrekking tot het behalen van hun

doelen en de strategieën die ze daarbij gebruiken. Er wordt van studenten dus een bepaalde mate van

zelfregulatie verwacht.

Algemeen aangenomen is dat zelfregulerende studenten (self-regulated learners) het meest

effectief leren (Black & William, 1998a; Butler & Winne, 1995). Binnen de context van universitair

onderwijs komt zelfregulatie neer op een toewijding aan het werken aan taken waarin studenten

bepaalde vaardigheden gebruiken: het formuleren van doelen om kennis op te doen; het overwegen

van verschillende strategieën om de meest effectieve manier voor het behalen van deze doelen vast te

stellen; en het monitoren van het effect van hun werkwijzen en inzet. Monitoren omvat het

waarnemen en verzamelen van informatie om op basis daarvan controle uit te oefenen op het verdere

verloop van het leerproces (Butler & Winne, 1995). In feite beoordelen studenten hun werk en aan de

hand van hun bevindingen bepalen ze de volgende stappen die ze zullen ondernemen. In dit proces

wordt onderscheid gemaakt tussen interne en externe feedback (Butler & Winne, 1995; Juwah et al.,

2004). Het meest bekend is feedback gegeven door een extern persoon, bijvoorbeeld de docent of

medestudenten. Doorgaans is deze feedback niet tijdens het leren beschikbaar, maar op vastgestelde

tijden (Butler & Winne, 1995). Juwah et al. schrijven dat er bij externe feedback voor gewaakt moet

worden dat de feedback van goede kwaliteit is: relevant, informatief, niet te omvangrijk en tijdig

gegeven. Ook mag niet voorbij gegaan worden aan de invloed van de feedback op de motivatie of het

zelfvertrouwen van de student. Hoge, maar haalbare verwachtingen van de docent zijn motiverend

16

voor studenten. Lage of onhaalbare verwachtingen zijn demotiverend en kunnen zelfs een negatieve

invloed op het zelfvertrouwen van de student hebben. Dit heeft vervolgens invloed op de

leerprestaties (Juwah et al., 2004). De tweede soort, Interne feedback, wordt door de student zelf, al

dan niet expliciet, gegeven (Butler & Winne, 1995). In tegenstelling tot externe feedback is deze zowel

tijdens als na afloop van het leerproces beschikbaar. Studenten monitoren gedurende langere tijd hun

leerproces. Voor monitoren is interne feedback nodig, maar gezien het feit dat monitoren niet

automatisch succesvol is, mag de waarde van externe feedback niet genegeerd worden.

Zelfregulerende studenten, die op een juiste manier gebruik maken van zowel interne als externe

feedback, zijn zich bewust van de kwaliteit van hun kennis, opvattingen, motivatie en cognitieve

processen die bijdragen aan hun leren. Hierdoor zijn deze studenten in staat om een juiste inschatting

te maken van hun huidige niveau en het niveau dat zij willen bereiken (Howard-Rose & Winne, 1993).

Kortom, zelfregulerend leren is een bewust, beoordelend en adaptief proces (Butler & Winne, 1995).

Zelfregulatie is alleen effectief als de student weet wat de leerdoelen zijn en deze ook begrijpt

(Juwah et al., 2004). Het is daarbij van belang dat de student zich de doelen eigen maakt en in staat is

om zijn / haar voortgang op het gebied van deze doelen te beoordelen (Black & William, 1998a; Sadler,

1989). Docenten stellen voor aanvang van het leerproces bepaalde doelen, maar ook van studenten

wordt verwacht dat zij doelen formuleren. Die doelen moeten tot op zekere hoogte met elkaar

overlappen anders ontvangt de student feedback van de docent die niet bruikbaar is of niet

overeenkomt met de verwachtingen van de student (Juwah et al., 2004).

Criteria delen

Onderzoek heeft aangetoond dat lage prestaties van studenten vaak veroorzaakt worden doordat

studenten niet weten wat de docent van hen verwacht (Black & William, 1998b). Het doel van AfL is

dat studenten hun eigen leerproces in handen hebben, regelmatig beoordelen wat hun niveau is en

hoe het gewenste niveau moet worden bereikt (Black & William, 1998a). Om dit te kunnen beoordelen

is het essentieel dat studenten weten wat het gewenste niveau is. Als studenten niet op de hoogte zijn

van de criteria is dit niet mogelijk. In een goede AfL-praktijk zijn studenten daarom vanaf het begin van

het leerproces op de hoogte van de criteria die door de docent gesteld worden. Met deze criteria

houden studenten rekening als ze hun eigen doelen formuleren (Juwah et al., 2004). Door studenten

op de hoogte te stellen van de criteria wordt voor hen de mogelijkheid gecreëerd om zelfverzekerd en

zelfstandig te leren (Clark, 2008).

Self-assessment en peer-assessment

Het belangrijkste doel van het gebruik van self-assessment door studenten is het bevorderen van

zelfstandigheid en autonomie. Dit is volgens Dreaden het belangrijkste doel van Learning How To Learn

17

(LHTL), net als AfL een methode om het leerproces van studenten te verbeteren (in Black et al., 2006).

Het verschil tussen AfL en LHTL is dat bij AfL zowel de leerkracht als de student centraal kan staan,

terwijl bij LHTL altijd de student centraal staat (James et al., 2007). AfL, een formatieve manier van

beoordelen, is feitelijk één van de strategieën die LTHL mogelijk maakt.

Studenten die self-assessment toepassen moeten op de hoogte zijn van de gestelde criteria,

zodat zij kunnen beoordelen of ze aan deze criteria voldoen (Taras, 2008). Om tot effectieve self-

assessment te komen is training en begeleiding nodig, maar wanneer goed toegepast leidt self-

assessment tot begrip en inzicht van het eigen leerproces (Black & William, 1998b).

Leren is een sociaal proces. Alle studenten die deel uit maken van een klas, groep of subgroep

hebben invloed op elkaars leerproces. De intensiteit van samenwerking kan variëren.

Samenwerkend/collaboratief leren (collaborative learning) houdt in dat studenten elkaar aanvullen en

voortbouwen op elkaars denkbeelden. Hiermee ontwikkelen ze kennis die door alle groepsleden

gevormd en gedragen wordt. Ieder groepslid draagt verantwoordelijkheid voor zowel zijn eigen

leerproces als het leerproces van alle andere groepsleden (Hargreaves, 2007). Een andere vorm van

samenwerking is coöperatief leren (cooperative learning): Studenten werken samen met de klas, een

groep of subgroep. De groepsleden houden elkaar individueel verantwoordelijk voor een specifiek deel

van een taak. Deze losse delen worden uiteindelijk samengevoegd tot een groepsproduct (Johnson,

Johnson, & Smith, 1991). In de praktijk komt coöperatief leren vaker voor dan collaboratief leren. De

oorzaak hiervan is dat collaboratief leren meer tijd in beslag neemt in verband met het regelmatige

overleg tussen groepsleden. Auteurs die over samenwerking en AfL schrijven, zijn niet allemaal even

expliciet in hun definiëring van samenwerken. Tussen de regels door is te lezen dat ze het voornamelijk

over samenwerkend leren (collaborative learning) hebben. Hargreaves (2007) stelt heel duidelijk dat

docenten studenten moeten stimuleren om met elkaar te werken en niet om naast elkaar te werken of

met elkaar te concurreren, dit komt meer in de buurt van samenwerkend leren dan van coöperatief

leren. Zowel Hargreaves (2007) als Clark (2008) zijn van mening dat samenwerkend lerende studenten

bewuster, gemotiveerder en actiever leren. Dit maakt hen meer geschikt voor lifelong learning.

Self-assessment is het proces waarbij studenten hun eigen werk beoordelen en interne

feedback formuleren. Peer-assessment is hetzelfde proces, maar nu wordt het werk van een student

door een externe bron (een medestudent) beoordeeld en ontvangt de student externe feedback

(Juwah et al., 2004; Lauf & Dole, 2010). Self-assessment en peer-assessment kunnen in combinatie met

elkaar voor komen. Samenwerkend of coöperatief leren is voor de toepassing van peer-assessment

geen vereiste. Ook bij individueel leren kan het toegepast worden. Walser (2009) benadrukt dat goede

self en peer-assessmentvaardigheden ook de mogelijkheid bieden om feedback te geven op het

handelen van de docent.

18

2.2 Leerstijl

In dit onderzoek staat, naast AfL, de leerstijl van studenten centraal. Om te komen tot een definitie van

leerstijl is het van belang dat eerst het begrip leren wordt omschreven. Binnen dit onderzoek wordt

leren gezien als het proces dat zich binnen in het individu afspeelt en dat leidt tot een bepaalde manier

van denken en handelen (Vermunt, 2005). Het gaat om een actief proces dat te herkennen is aan het

aan de hand van leeractiviteiten (Vermunt, 1998), zoals het (re)construeren, aanpassen en gebruiken

van mentale modellen (Vermetten, Lodewijks, & Vermunt, 1999). Er kan onderscheid gemaakt worden

tussen 3 verschillende benaderingen van leren: de diepe benadering, de oppervlakkige benadering en

de strategische benadering (Duff, Boyle, Dunleavy, & Ferguson, 2004; Vermetten et al., 1999).

Studenten met een diepe benadering zijn op een kritische manier op zoek naar de betekenis van de

leerstof en proberen verbanden te leggen met eerdere ervaringen en ideeën die ze hebben opgedaan.

Studenten die leren aan de hand van een oppervlakkige benadering hechten waarde aan het uit het

hoofd leren van feiten en leggen daarbij geen verbanden tussen deze feiten of met andere ervaringen.

De derde groep studenten, die zich een strategische benadering aanmeet, legt nadruk op organisatie,

het beheersen van leervaardigheden en een wens om zo hoog mogelijke cijfers te halen (Duff et al.,

2004). Het is mogelijk dat de benadering van studenten wisselt op basis van de inhoud van leertaken

(Duff et al., 2004; Vermunt, 1998). Meerdere variabelen zijn van invloed op het kiezen van één van de

benaderingen. Voorbeelden daarvan zijn leeftijd, geslacht, persoonlijkheid en eerdere ervaringen met

leren (Duff et al., 2004). De diepe benadering komt het meest voor wanneer de leertaak aansluit bij de

interesse van de student (Fransson in Duff et al., 2004); de docent zich een ondersteunende rol

aanmeet en interesse en enthousiasme met betrekking tot het onderwerp toont (Ramsden in Duff et

al., 2004); en als studenten hun eigen leerproces in handen hebben (Ramsden & Entwistle in Duff et al.,

2004).

In dit masteronderzoek wordt gebruik gemaakt van Vermunt’s leerstijlen. Hij maakt

onderscheid tussen vier leerstijlen: de betekenisgerichte leerstijl, de toepassingsgerichte leerstijl, de

reproductieve leerstijl en de ongerichte leerstijl (1998). Hoewel er geen onderzoek is gedaan naar

overeenkomsten en verschillen tussen de drie bovengenoemde benaderingen van leren en de

leerstijlen van Vermunt, zijn toch overeenkomsten te ontdekken. Vermunt’s betekenisgerichte leerstijl

komt grotendeels overeen met de diepe benadering. De ongerichte leerstijl en de reproductieve

leerstijl zijn te vergelijken met de oppervlakkige benadering. De strategische benadering lijkt niet in de

theorie van Vermunt voor te komen. Een de toepassingsgerichte leerstijl komt niet direct overeen met

één van de benaderingen van leren. Beide methoden om leerhoudingen in kaart te brengen, lijken

daardoor enigszins beperkt. Voor dit onderzoek is de keuze gevallen op de leerstijlentest van Vermunt,

omdat Vermunt’s Inventory of Leaning Styles (ILS) in Nederland het bekendste meetinstrument op dit

gebied is.

19

2.2.1 Vier componenten van leerprocessen

Alvorens in te gaan op de leerstijlen, is het van belang kennis te nemen van de vier componenten die

Vermunt en Verloop (2000) onderscheiden binnen leerprocessen: cognitieve verwerkingsstrategieën,

metacognitieve regulatiestrategieën, mentale modellen van leren en studiemotieven. Cognitieve

verwerkingsactiviteiten zijn denkprocessen die studenten inzetten om leerinhouden te verwerken en

zo hun doelen te bereiken. Metacognitieve regulatiestrategieën zijn activiteiten gericht op het sturen

van cognitieve denkprocessen. De regulatiestrategieën leiden dus niet direct tot leerresultaten, maar

sturen het leerproces in de richting van leerresultaten. Het gaat om de keuze van een strategie, het

achteraf beoordelen of deze keuze geschikt was en hier lering uit trekken voor een volgende keer.

Mentale modellen van leren omvatten leeropvattingen: kennis, inzichten en overtuigingen met

betrekking tot leerprocessen. De vierde component, studiemotieven, heeft betrekken op persoonlijke

doelen, bedoelingen, verwachtingen, attitudes, zorgen en twijfels die leerprocessen met zich

meebrengen (Vermunt, 1998; Vermunt & Verloop, 2000).

Gezien de rol van doelen binnen AfL, is het zinvol om op dit aspect van studiemotieven wat

dieper in te gaan. Doelen zijn namelijk van grote invloed op de motivatie van studenten. Dweck (1986)

stelt dat motivatie op zijn beurt weer invloed heeft op hoe studenten de vaardigheden en kennis die ze

bezitten inzetten; hoe goed studenten in staat zijn om nieuwe vaardigheden en kennis op te doen; en

in hoeverre ze in staat zijn deze toe te passen in nieuwe situaties. Winne en Marx (in Butler & Winne,

1995) stellen dat bij het werken aan een bepaalde taak, al dan niet opgedragen door een docent, het

behalen van de vastgestelde norm niet het enige doel is dat studenten voor ogen hebben. Dweck

(1986) onderscheidt twee typen doelen die de student kan formuleren: leerdoelen (learning goals) en

prestatiedoelen (performance goals). Studenten die leerdoelen formuleren willen expertise verwerven

op het gebied van de gestelde taak. Een student die prestatiedoelen nastreeft is op zoek naar het

verbeteren van eigen waardering of waardering van anderen met betrekking tot zijn of haar

capaciteiten. In het algemeen studeren studenten die leerdoelen aannemen meer strategisch (Butler &

Winne, 1995) en meer effectief (Black & William, 1998a).

2.2.2 Vier leerstijlen

Onderzoek naar relaties tussen de componenten van leerprocessen heeft geleidt tot het opstellen van

vier leerstijlen: betekenisgerichte leerstijl, toepassinggerichte leerstijl, reproductieve leerstijl en de

ongerichte leerstijl (Vermunt, 1998). Studenten met een betekenisgerichte leerstijl zijn geïnteresseerd

in leren en zijn met een kritische blik uit op het opdoen van inzicht, het leggen van verbanden en het

ontdekken van samenhang. Deze, vaak zelfregulerende, studenten zijn goed in het onderscheiden van

hoofd- en bijzaken en zien het (re)construeren van kennis als belangrijkste doel. Een

toepassingsgerichte leerstijl betekent dat de student de leerstof in grote mate concretiseert door

20

bijvoorbeeld het bedenken van voorbeelden of toepassingen. Deze student is praktijkgericht en het

belangrijkste doel van leren is het opdoen van kennis die bruikbaar is in de praktijk. De derde leerstijl,

de reproductieve stijl, houdt voor de student in dat deze zich laat sturen door bijvoorbeeld de docent.

Deze student creëert zelf geen samenhang in de leerstof. Memoriseren en oefenen is voor hem de

manier om kennis op te doen. Ten slotte zijn er studenten die zich een ongerichte leerstijl hebben

aangemeten. Deze studenten zijn niet instaat zelf hun leerproces te sturen, maar laten zich ook niet

sturen door een docent. Ze hebben geen duidelijke opvattingen over leren. Hierdoor zijn ze slechts in

beperkte mate in staat om zelfstandig te werken. Voor hen is samenwerking met andere studenten

dan ook waardevol. Deze studenten zijn weinig innovatief, dus ze passen hun leerstrategieën niet of

nauwelijks aan op basis van ervaringen die zij opdoen (Vermunt, 1998; 2005). Vermunt benadrukt in

zijn werk (1998) dat hij leerstijlen niet statisch acht. Studenten nemen namelijk een leerstijl aan die het

resultaat is van een combinatie van omgevingsfactoren en persoonlijke factoren.

2.3 Onderzoekende houding docent

In de AfL praktijk spelen docenten een onmisbare rol. Docenten moeten niet alleen de inhoud van

verschillende vakken over weten te brengen, maar moeten ook studenten helpen bij het inzichtelijk

maken van hun leervorderingen. Het is daarom belangrijk dat docenten op de hoogte blijven van

actuele ontwikkelingen op het gebied van leren en constant een onderzoekende houding aannemen

om hun lespraktijk te blijven optimaliseren. Van docenten wordt daarom, net als van hun studenten,

verwacht dat ze blijven leren en zich blijven ontwikkelen (lifelong learning). Het is essentieel dat een

docent relevante vernieuwingen op het gebied van onderwijs kent en toepast. Daarbij zou het

vanzelfsprekend moeten zijn dat de docent eigenaar wordt van de veranderingen: de docent heeft

inzicht in zijn/haar rol (James & McCormick, 2009). Het beschikken over een onderzoekende houding

(inquiring attitude) is daarom onmisbaar. Een dergelijke houding is daarnaast ook van toepassing op de

benadering van docenten naar studenten (Duff et al., 2004). Door vragen te stellen (questioning door:

Black & William, 1998a; 1998b) en belangstelling te tonen, verwerft een docent inzicht in de

denkprocessen, leerprocessen en handelwijzen van studenten. De informatie die hiermee wordt

ingewonnen kan de docent gebruiken als feedback. Daarnaast dwingt een dergelijke belangstellende

houding leerlingen te hun handelen expliciteren, wat tot beter begrip en assessment van hun

prestaties leidt (Taras, 2009). Van der Rijst (2009) heeft aan de hand van zijn onderzoek zes aspecten

van een onderzoekende houding van een docent in het wetenschappelijk onderwijs geformuleerd: de

wil om (1) kritisch te zijn naar eigen werk, werk van anderen en verschijnselen in het algemeen; (2) de

dieper liggende oorzaak, gevolg en betekenis van een verschijnsel te begrijpen; (3) door middel van

doelgericht werken en doorzettingsvermogen een doel te bereiken; (4) te delen met collega’s en

studenten, (5) vernieuwend te zijn; en (6) door leergierigheid en nieuwsgierigheid te weten.

21

In het hebben van een onderzoekende houding spelen overtuigingen van docenten met

betrekking tot leren een belangrijke rol. Deze overtuigingen beïnvloeden de implementatie van AfL.

Leerkrachten die overtuigd zijn van het belang van de autonomie van de lerende, zullen AfL (en LHTL)

beter implementeren in hun dagelijkse praktijk. Activiteiten die het gevolg zijn van het hebben van een

onderzoekende houding zijn het leren van onderzoek, samenwerken aan het maken van plannen en

het uitproberen en evalueren van nieuwe ideeën (James & McCormick, 2009). James en McCormick

(2009) merken helaas wel op dat er regelmatig verschil te constateren is tussen de overtuigingen die

leerkrachten zeggen te hebben en wat ze doen in de praktijk. Dit verschil wordt voornamelijk

veroorzaakt door druk van buitenaf. Op schoolniveau is duidelijke leiding, een duidelijke visie en

betrokkenheid van leerkrachten belangrijk. Deze zijn van invloed op het handelen van de docent en

kunnen daarom, ongeacht de overtuigingen van de docent, invloed hebben op de manier waarop hij

zijn beroep uitoefent. Uit onderzoek is gebleken dat er weinig of geen rechtstreekse verbanden

aangegeven zijn tussen factoren op schoolniveau en de lespraktijken in de klas. Vooral een

onderzoekende houding van de leerkracht speelt tussen die twee een grote rol (James & McCormick,

2009).

22

Hoofdstuk 3

Methodologie

In dit hoofdstuk wordt de verantwoording van het onderzoeksontwerp en de onderzoekseenheden

besproken. Vervolgens wordt er specifieker ingegaan op het literatuuronderzoek en de verschillende

kwantitatieve en kwalitatieve onderzoeksmethoden.

3.1 Verantwoording onderzoeksontwerp en onderzoek

Dit afstudeeronderzoek is gedaan binnen het vak PAMAOK003 ‘Professionalisering van leerkrachten’,

onderdeel van de master Onderwijskunde, en maakt deel uit van een breder onderzoeksproject gericht

op denk- en leervaardigheden. In deze paragaaf worden de verantwoording, de onderzoekseenheden

en de hypothesen besproken.

3.1.1 Verantwoording

Het effect van het gebruik van Assessment for Learning (AfL) op de leerstijl van de student en op de

onderzoekende/lerende houding van de docent staan centraal in dit onderzoek. De gehanteerde

onderzoeksvragen zijn:

1. Welk effect heeft AfL op de leerstijl van studenten?

2. Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?

Er is gebruik gemaakt van een ‘mixed methods’ design, waarin de onderzoeksvragen aan de hand van

een combinatie van kwalitatieve en kwantitatieve data beantwoord worden (Cresswell & Garrett,

2008). Op basis van de conclusies die getrokken worden in hoofdstuk 5, wordt getracht hypothesen te

formuleren met betrekking tot het toepassen van AfL praktijken in het hoger onderwijs voor een

bredere populatie studenten en docenten. Het betreft hier dus hypothesevormend onderzoek.

De kwalitatieve data wordt verzameld aan de hand van een participerende observationele

studie waarin ik als student/onderzoeker het handelen van de betrokken docent volg. De data bestaat

uit de inhoud van logboeken van de docent, mijn reactie daarop en uit observatie voortgekomen

notities in een ‘dagboek’.

De kwantitatieve data is verzameld aan de hand van 2 instrumenten. Het eerste instrument is

een zelf ontworpen Engelstalige schriftelijke vragenlijst die verschillende aspecten van AfL meet. De

tweede manier van dataverzameling heeft plaatsgevonden door het invullen van de Inventory Learning

Styles (ILS) van Vermunt. Er is zowel een Engelse als Nederlandse gevalideerde versie beschikbaar voor

de studenten.

23

De kwantitatieve resultaten en kwalitatieve bevindingen zijn apart weergegeven in hoofdstuk 4

van deze masterthesis. De resultaten voortgekomen uit de dagboeken is waar mogelijk verwerkt in

verschillende delen van dit onderzoeksverslag. In de conclusie, getrokken in hoofdstuk 5, zijn de

kwalitatieve en kwantitatieve resultaten samengebracht. Tabel 3.1 geeft per (onderzoeks)vraag weer

welke onderzoeksmethode is toegepast, wat deze heeft opgebracht en waar deze opbrengst is terug te

vinden in deze masterthesis.

Tabel 3.1 Methodologie en opbrengsten per onderzoeksvraag (onderzoeks)Vraag Onderzoeksmethode Opbrengst Hoofdstuk

Wat is assessment? Literatuuronderzoek Theoretisch kader Hoofdstuk 2 Theoretisch kader: -2.1: assessment -2.1.1: Summatieve en formatieve assessment

Wat is Assessment for Learning?

Literatuuronderzoek Theoretisch kader Hoofdstuk 2 Theoretisch kader: -2.1.2: Assessment ‘of learning’, ‘for learning’ en ‘as learning’ -2.1.3: Assessment for Learning

Wat is leerstijl? Literatuuronderzoek Theoretisch kader Hoofdstuk 2: Theoretisch kader: -2.2: Leerstijl student

Wat wordt verstaan onder een onder-zoekende houding van een docent?

Literatuuronderzoek Theoretisch kader Hoofdstuk 2: Theoretisch kader: -2.3: Onderzoekende houding docent

Onderzoeksvraag Welk effect heeft AfL op de leerstijl van studenten?

Kwantitatief onderzoek: Inventory Learning Styles Kwantitatief onderzoek: Vragenlijst

-Inzicht in de componenten van leerprocessen die studenten een rol laten spelen in hun leerprocessen -Inzicht in veranderingen m.b.t. gebruik van deze componenten. -Inzicht in waarderingen van studenten m.b.t. de vijf basisprincipes van AfL. -Inzicht in veranderingen in waarderingen.

Hoofdstuk 4: Resultaten -4.3: Resultaten ILS Hoofdstuk 5: Conclusie Hoofdstuk 4: Resultaten -4.2: Resultaten vragenlijst Hoofdstuk 5: Conclusie

Onderzoeksvraag Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?

Kwalitatief onderzoek: Logboeken van docent + Reacties op logboeken van student / onderzoeker Kwalitatief onderzoek: Dagboek student / onderzoeker.

-Inzicht in het gebruik van de 5 guidelines van AfL en de rol van de docent. -Inzicht in de rol van de docent en het effect daarvan op leerprocessen van studenten (en docenten).

Hoofdstuk 4: Resultaten -4.4 Resultaten Logboeken Hoofdstuk 5: Conclusie Hoofdstuk 4: Resultaten -4.4 resultaten logboeken Hoofdstuk 5: Conclusie

24

3.1.2 Onderzoekseenheden

De onderzoekseenheden, zoals omschreven door Baarda en De Goede (2006), van dit onderzoek zijn

de studenten die het vak ‘Professionalisering van leerkrachten’ van de master Onderwijskunde volgen

en de docent die het vak geeft. In verband met bijvoorbeeld de korte tijd waarin AfL geïmplementeerd

is, de verschillen in nationaliteit van de onderzoekseenheden en ervaringen die studenten al dan niet

hebben met AfL-praktijken, is de generaliseerbaarheid van gevonden gegevens uit de steekproef

beperkt tot studenten die in dezelfde omstandigheden, met soortgelijke ervaringen op het gebied van

de didactiek en nu voor het eerst kennis maken met de toepassing van AfL. Voor docenten gelden

dezelfde voorwaarden. Alle studenten die het vak volgden zijn in de steekproef opgenomen. Daarom is

de steekproef gelijk aan de populatie.

De eerste groep onderzoekseenheden van dit onderzoek zijn de studenten. Zij volgen allemaal

een master van de Rijksuniversiteit Groningen. De studenten vullen voor aanvang en na afloop van de

reeks colleges de vragenlijst en de ILS in. De steekproef bestaat uit 35 studenten. Niet alle studenten

hebben één of meerdere vragenlijsten ingeleverd. De response was 28, 4 mannen en 24 vrouwen.

Hoewel 27 van hen de Nederlandse nationaliteit hebben, geven 26 van hen aan Nederlands als eerste

taal te hebben. De andere Nederlander geeft aan Fries als eerste taal te hebben. In dit onderzoek

wordt zij gerekend onder de steekproefpersonen met Nederlands als eerste taal. Één Spaanse student

heeft de ILS (Engelstalige versie) ingeleverd en is daarom met Spaans als eerste taal opgenomen in de

dataverzameling. De respondenten uit deze groep hebben verschillende vooropleidingen, namelijk

twaalf studenten met een bacheloropleiding, vijftien studenten uit een schakelprogramma en één

student met een andere vooropleiding. Deze laatste student betreft de Spaanstalige student. Hij heeft

een master in Physical Education and Research als achtergrond.

Daarnaast is ook de docent een onderzoekseenheid. Hij levert de logboeken aan. Van tevoren

vermeldt hij daarin de doelen die hij voor het betreffende college voor ogen heeft. Achteraf schrijft hij

opmerkingen op over zijn ervaringen tijdens het college. Na afloop van het vak worden de doelen aan

de tien sleutelelementen van Asessment for learning gekoppeld. Op basis van de mate waarin het

betreffende sleutelelement tijdens het college tot uiting is gekomen, wordt een score toegekend. De

docent geeft het betreffende vak al een aantal jaren. Dit jaar past hij voor het eerst de principes van

AfL toe tijdens dit vak. Ook geeft hij het vak voor het eerst in het Engels. Zijn Engelse taalvaardigheid is

prima, dit is daarom niet van invloed op zijn handelen.

Omdat het om een participerende observationele studie gaat, ben ik zelf ook

onderzoekseenheid. Ik maak deel uit van de groep van 35 studenten in de steekproef en de groep van

28 respondenten. Ik heb dus, net als hen, op gezette tijden de vragenlijsten ingevuld. Mijn rol als

onderzoeker komt tot uiting in mijn wekelijkse reactie op de logboeken van de docent. Deze reactie

25

baseer ik op mijn observaties tijdens de colleges. Daarnaast vormt het gedrag van de docent en

studenten tijdens de colleges aanleiding voor het schrijven van dagboekfragmenten. Alle aspecten die

mij opvallen, die vragen bij mij oproepen of die ik van medestudenten te horen krijg, worden daarin

weergegeven.

3.1.3 Hypothesen

Op basis van literatuur is voor dit onderzoek de volgende hypothese opgesteld. De verwachting is dat

(a) het invoeren van AfL veranderingen in de leerstijl van studenten teweeg zal brengen (Black &

William, 1998a; Butler & Winne, 1995; Dweck, 1986) en (b) dat het gebruik van AfL een positieve

bijdrage levert aan de onderzoekende houding van de docent (Black & William, 1998a; 1998b; James &

McCormick, 2009).

3.2 Literatuuronderzoek

In verband met de beperkte hoeveelheid tijd tussen de onderwerpkeuze, het eerste

kennismakingsgesprek met de betreffende docent en de start van het vak ‘Professionalisering van

leerkrachten’ was het niet haalbaar om het gehele literatuuronderzoek voorafgaande aan de

dataverzameling te doen. Als gevolg daarvan is het theoretisch kader ook niet voor de dataverzameling

geschreven, maar is de vragenlijst wel op basis van de meest toonaangevende literatuur over AfL

opgesteld. Ten eerste is literatuur gezocht aan de hand van zoektermen in de ERIC database. Daarna is

de sneeuwbalmethode methode toegepast waarin de literatuurlijst van de gevonden bronnen is

gebruikt om nieuwe literatuur te verzamelen (Baarda & De Goede, 2005). Het doel van deze eerste

literatuurstudie was het in kaart brengen van de achtergrond van AfL. Uit deze literatuurstudie is

gebleken dat Vermunt’s ILS in Nederland het meest gebruikte instrument is om de leerstijl van

studenten te meten (Duff et al., 2004). In dit onderzoek is, mede door de beschikbaarheid van het

instrument, om die reden voor dit instrument gekozen. De sleutelelementen van AfL vormen de basis

voor de zelfontworpen vragenlijst (UK Assessment Reform Group, 1999).

De tweede literatuurstudie is tegelijkertijd met de dataverzameling en het volgen van de

colleges van het vak ‘Professionalisering van leerkrachten’ uitgevoerd. Het doel van deze

literatuurstudie was het formuleren van een theoretisch kader. Het betrof een chronologische studie

waarin de gevonden literatuur van oud naar nieuw is bestudeerd om zo de ontwikkelingen rondom AfL

in kaart te brengen. Ook is er gebruik gemaakt van citaatindexen, waardoor het mogelijk was om op

basis van oudere publicaties meer recente literatuur te vinden (Baarda & De Goede, 2005). Aan de

hand van deze literatuurstudie zijn de volgende vragen beantwoord: wat is assessment; wat is het

verschil tussen summatieve en formatieve assessment; wat is het verschil tussen assessment of

learning, assessment for learning en assessment as learning; wat wordt bedoeld met Assessment for

26

learning; wat wordt er verstaan onder de leerstijl van een student; en wat wordt bedoeld met de

onderzoekende houding van de docent. Deze vragen zijn beantwoord in het theoretisch kader in

hoofdstuk 2.

3.3 Kwantitatief onderzoek - Vragenlijst

De kwantitatieve onderzoekresultaten leiden tot het antwoord op de onderzoeksvraag: Welk effect

heeft AfL op de leerstijl van studenten? In deze paragraaf worden het construeren van de vragenlijst,

de toegepaste statistische analyses en de betrouwbaarheid van de schriftelijke vragenlijst besproken.

3.3.1 Vragenlijst

Een vragenlijst is bruikbaar in onderzoekssituaties waarbij onderzoek wordt gedaan naar subjectieve

verschijnselen zoals motieven, voorkeuren, opinies en ervaringen (Seger, 2002). In dit onderzoek staan

dergelijke subjectieve verschijnselen centraal, vandaar dat het eerste kwantitatieve instrument een

vragenlijst betreft. Het gaat om een gestructureerde dataverzameling (Baarda & De Goede, 2006). De

vragenlijst bestaat uit 46 (voormeting) en 53 (nameting) items. Er is gebruik gemaakt van gesloten

vragen. Het voordeel hiervan is dat respondenten de verschillende mogelijkheden minder snel over het

hoofd zien. Tevens zijn de antwoorden van respondenten goed te vergelijken (Brinkman, 2000).

Dijkstra en Smit (1999) geven aan dat ontkennende woorden in vragen tot verwarring bij de

respondent kan leiden, daarom is gebruik van dergelijke woorden vermeden.

Er is aan de studenten gevraagd om hun naam op de vragenlijst in te vullen. Baarda en De

Goede (2005; 2006) raden aan de data anoniem te verzamelen, zodat de kans op sociaalwenselijke

antwoorden van respondenten verkleind wordt. In dit onderzoek is aan dit advies geen gehoor

gegeven om de mogelijkheid tot het vergelijken van de voor- en nameting van de verschillende

respondenten te behouden. Hier is uiteindelijk geen gebruik van gemaakt, omdat besloten is de

veranderingen in leerstijl per groep in kaart te brengen. Het is lastig om veranderingen per individu

statistisch significant vast te stellen in verband met de beperkte hoeveelheid data per persoon. Het

was, in verband met tijdgebrek, niet mogelijk om deze keuze voor de dataverzameling te maken.

Om een beeld te scheppen van de steekproef zijn twee vragen met nominaal meetniveau

gesteld. Het ging om de eerste taal die studenten spraken en met welke vooropleiding ze aan dit

mastervak deelnemen. De overige vragen kennen een ordinaal meetniveau. Het gaat om stellingen

waar studenten, aan de hand van een likert-schaal, hun mening over geven. De vragenlijst (zie bijlage

1) is twee keer afgenomen. De eerste keer zijn ze uitgedeeld tijdens het eerste college van het vak.

Studenten namen ze mee naar huis en leverden ze het volgende college weer in. De tweede keer zijn

ze ingevuld door alle aanwezige studenten tijdens het laatste college van het vak.

27

De vragenlijst van de voormeting is opgebouwd uit vier delen. Het eerste deel richt zich op

feedback met betrekking tot de kwaliteit van het werk van de student. Het tweede deel richt zich op

feedback die is gegeven met het oog op het leren van de student. Het derde deel richt zich op

betrokkenheid van de student bij verschillende aspecten van het mastervak. Deel 1 tot en met 3

bestaan respectievelijk uit 8, 7 en 8 items met een likert-schaal die varieert van ‘1 = very important’ tot

‘5 = very unimportant’. Het vierde deel van de vragenlijst richt zich op een combinatie van factoren die

te maken hebben met aspecten van AfL. Dit deel bestaat uit 23 items waarbij gebruik werd gemaakt

van een likert-schaal die varieert van ‘1 = Strongly disagree’ tot ‘5 = Strongly agree’.

Voor de nameting is de oorspronkelijke vragenlijst aangevuld met 7 items die betrekking

hebben op de onderzoekende houding van de docent. Deze items hebben een antwoordschaal

varierend van ‘1 = a lot less frequent’ tot ‘5 = much more frequent’. Deze toevoeging aan de vragenlijst

is opgenomen in bijlage 2.

3.3.2 Statistische analyse

De vragenlijst zal geanalyseerd worden door te beginnen met een Shapiro-Wilk analyse van de

verdeling van de variabelen. Er is voor deze test gekozen, omdat de mogelijkheid bestaat dat er een

behoorlijk aantal knopen in de data voor komen, waarbij studenten tussen de voor- en nameting niet

voor- of achteruit zijn gegaan. De uitkomst van de Shapiro-Wilk wordt hier niet door vertekend, omdat

er in de analyse statistisch voor controleerd wordt. Voor deel 1, 2 en 3 van de vragenlijst worden, op

basis van de literatuur, hypotheses opgesteld. Deze worden getoetst met de Wilcoxon rangtekentoets.

Het betreft een non-parametrische (verdelingsvrije) toets. Vervolgens worden dezelfde handelingen

herhaald voor deel 4 van de vragenlijst. De resultaten van dit deel worden apart weergegeven. Deel 5

van de lijst is alleen tijdens de nameting ingevuld. Dit deel zal geanalyseerd worden met behulp van

een frequentietabel.

3.3.3 betrouwbaarheid

Het is van belang dat de betrouwbaarheid van het instrument zo hoog mogelijk is. Dit houdt in dat er

zo weinig mogelijk toevallige of onsystematische vertekeningen in de data voor mogen komen. Er zijn

verschillende maatregelen genomen om de betrouwbaarheid zo hoog mogelijk te houden. Zo mochten

studenten slecht één antwoord omcirkelen. Brinkman (2000) stelt dat het voor de betrouwbaarheid

bevorderlijk is om gesloten vragen te gebruiken. Bij het ontwerpen van de vragenlijst is hier rekening

mee gehouden.

De interne betrouwbaarheid, zoals omschreven door Maso en Smaling (1998) is niet in het

geding doordat de data door één persoon verzameld en verwerkt zijn. De externe betrouwbaarheid

heeft betrekking op de herhaalbaarheid van het onderzoek door andere onderzoekers (Maso &

28

Smaling, 1998). Om de antwoorden zo weinig mogelijk van toeval af te laten hangen, en de externe

betrouwbaarheid dus zo hoog mogelijk te houden, zijn tijdens de afname van de vragenlijsten een

aantal aspecten in overweging genomen. Bij de voormeting was de omgeving in de collegezaal niet

ideaal. Het was rumoerig, studenten waren onrustig omdat er aan een nieuw vak begonnen werd.

Daarom hebben de studenten de vragenlijst mee naar huis gekregen, met de vraag of zij deze goed

wilden bestuderen en vervolgens in wilden leveren. Daarbij zijn de studenten op de hoogte gebracht

van het feit dat de verzamelde gegevens gebruikt zouden worden in deze masterthesis. Gezien het feit

dat de meeste studenten zelf al eens een onderzoek hebben uitgevoerd en binnenkort ook aan hun

masterthesis begonnen, werd hier serieus op gereageerd. Niet alle studenten hebben één of beide

vragenlijsten weer ingeleverd. Enkele lijsten werden heel laat ingeleverd. Om de betrouwbaarheid te

waarborgen is vastgesteld of dat betreffende student de lijst in de eerste week heeft ingevuld, alvorens

de data van de vragenlijst op te nemen in het databestand. Omdat het mogelijk was om tijd vrij te

maken voor het terplekke invullen van de vragenlijsten en het aantal ingeleverde vragenlijsten op deze

manier waarschijnlijk het meest optimaal zou zijn, is de nameting tijdens het laatste college in de

collegezaal afgenomen. Er werd gezorgd voor een rustige omgeving. Iedereen was tegelijkertijd met de

vragenlijst bezig. Er werd in stilte gewerkt, dus de mogelijkheid tot overleg was beperkt. Door de

vragenlijsten van de voor- en nameting zoveel mogelijk gelijk te houden is een verschil in toevalligheid

van reacties, tijdens het invullen van de vragenlijst, tussen de voor- en nameting minder aannemelijk.

Om een schatting van de betrouwbaarheid van de data te kunnen geven is gebruik gemaakt van

statistische betrouwbaarheidsanalyses, uitgevoerd met behulp van SPSS. Voor de vragenlijst is de

betrouwbaarheidsanalyse negen keer uitgevoerd. De voormeting betrof drie delen. De nameting

bestond uit vier delen. Per deel is een betrouwbaarheidsanalyse is uitgevoerd. De betrouwbaar-

heidsanalyses toonden aan dat één item uit deel drie verwijderd moest worden, wat zowel voor de

voor- als de nameting een extra betrouwbaarheidsanalyse nodig maakte. Voor de volledigheid zijn de

betrouwbaarheidsanalyses van zowel voor als na verwijdering van het item weergegeven.

Van deel vier is van beide metingen geen betrouwbaarheidsanalyse uitgevoerd, omdat de

betrouwbaarheid de interne consistentie van items aangeeft. Het gaat er om in hoeverre die items

hetzelfde begrip meten. Deel vier bestaat uit 23 statements die niet samen één begrip meten. Dit deel

is niet vanuit dat oogpunt ontworpen. De statements worden waar mogelijk gebruikt ter aanvulling van

getrokken conclusies op basis van de overige delen of andere kwantitatieve of kwalitatieve manieren

van dataverzameling.

In tabel 3.2 worden het aantal items per schaal (N items) en de betrouwbaarheid (Cronbach ) per

deel van de vragenlijst weergegeven. De betrouwbaarheid varieert van 0,843 tot 0,942. Bij een

29

kritische betrouwbaarheidsgrens van =.70 (Drenth & Sijtsma, 2006), zijn alle delen overtuigend

voldoende betrouwbaar.

Tabel 3.2: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Voormeting

N items Cronbach

Deel 1 Feedback m.b.t. kwaliteit werk

8 0,942

Deel 2 Feedback m.b.t. leren / leerproces

7 0,914

Deel 3 Involvement

8 0,843

De resultaten van de betrouwbaarheidsanalyses van de nameting zijn in tabel 3.3 weergegeven. Nu is

deel 5 toegevoegd. Deze kwam in de vragenlijst van de voormeting niet voor. De betrouwbaarheid van

de eerste drie delen varieert voor de nameting van 0,659 tot 0,766. Deel 5 kent een betrouwbaarheid

van 0,833. Bij een kritische betrouwbaarheidsgrens van =.70 is deel 3, Involvement, net niet

betrouwbaar genoeg.

Tabel 3.3: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Nameting

N items Cronbach

Deel 1 Feedback m.b.t. kwaliteit werk

8 0,742

Deel 2 Feedback m.b.t. leren / leerproces

7 0,766

Deel 3 Involvement

8 0,659

Deel 5 Inquiring attitude docent

7 0,833

In verband met het geringe aantal items is het wenselijk dat zo min mogelijk items verwijderd worden

(Drenth & Sijtsma, 2006). Op basis van de SPSS-uitvoer die aangeeft wat de betrouwbaarheid zal zijn

als een bepaald item verwijderd wordt, is gekozen voor het verwijderen van het derde item uit deel

drie, het deel over de betrokkenheid van studenten. In de bijlage (1) met de vragenlijst is dit item

gemarkeerd. Op de voormeting, weergegeven in tabel 3.4, varieert de betrouwbaarheid van deel 1 tot

en met 3 nu van 0,861 tot 0,942. Er is een lichte verbetering te zien. Tabel 3.5 laat op de nameting een

variatie in betrouwbaarheid van 0,700 tot 0,766 zien. De betrouwbaarheid van deel 5 bedraagt nog

steeds 0,833. Alle delen van zowel de voor- als nameting zijn nu, volgens de kritische grens,

betrouwbaar. De data verzameld aan de hand van de vragenlijst zijn op basis van de

betrouwbaarheidsanalyses betrouwbaar genoeg voor interpretatie bevonden.

30

Tabel 3.4: Aantal items en de betrouwbaarheid, van de ILS-HO schalen. Voormeting

N items Cronbach

Deel 1 Feedback m.b.t. kwaliteit werk

8 0,942

Deel 2 Feedback m.b.t. leren / leerproces

7 0,914

Deel 3 Involvement

7 0,861

Tabel 3.5: Aantal items en de betrouwbaarheid van de ILS-HO schalen. Nameting

N items Cronbach

Deel 1 Feedback m.b.t. kwaliteit werk

8 0,742

Deel 2 Feedback m.b.t. leren / leerproces

7 0,766

Deel 3 Involvement

7 0,700

Deel 5 Inquiring attitude docent

7 0,833

3.4 Kwantitatief onderzoek - ILS

Het antwoord op de onderzoeksvraag ‘Welk effect heeft AfL op de leerstijl van studenten?’ wordt

naast de vragenlijst gebaseerd op de dataverzameling aan de hand van de ILS. De Nederlandse versie

van deze vragenlijst is opgenomen in bijlage 3. Hier gaat het, net als bij de zelf ontworpen vragenlijst,

om een gestructureerde manier van dataverzameling (Baarda & De Goede, 2006). De lijst bestaat uit

gesloten vragen met een likert-schaal. In deze paragraaf worden de keuze voor dit instrument, de

toegepaste statistische analyses en de betrouwbaarheid van de ILS besproken. De voor- en nameting

hebben tegelijkertijd en daarmee onder dezelfde omstandigheden plaats gevonden als de voor- en

nameting van de zelf ontworpen vragenlijst.

3.4.1 Inventory Learning Styles (ILS)

De ILS is een bestaand instrument, ontworpen door prof. Dr. Vermunt, en bestaat uit honderdtwintig

gesloten vragen die betrekking hebben op de vier componenten van leerprocessen: cognitieve

verwerkingsstrategieën, metacognitieve regulatiestrategieën, mentale modellen van leren en

studieopvattingen. Deze zijn in hoofdstuk 2, het theoretisch kader, omschreven. Deze vier

componenten (hoofdschalen) zijn vervolgens opgedeeld in zestien subschalen. Drie subschalen vallen

onder ‘verwerkingsstrategieën’, drie horen bij ‘regulatiestrategieën’, vijf bij ‘mentale modellen /

studiemotieven’ en 5 handelen bij ‘studieopvattingen’. De items van de verschillende hoofdschalen en

subschalen worden gemixt aangeboden. Voor de meting wordt gebruik gemaakt van een likert-schaal.

Voor de items over cognitieve strategieën en regulatiestrategieën varieert deze van ‘1 = ik doe die

31

zelden of nooit’ tot ‘5 = ik doe dit (vrijwel) altijd’. Voor de items die betrekking hebben op mentale

modellen / studiemotieven en studieopvattingen loopt deze van ‘1 = helemaal mee oneens’ tot ‘5 =

helemaal mee eens’ (Vermunt, 2005).

3.4.2 Statistische analyse

In een SPSS-bestand wordt de data van twee keer de honderdtwintig items / variabelen ingevoerd. Aan

de hand van de handleiding worden de variabelen samengevoegd tot somvariabelen. Het gaat per

meting om zestien somvariabelen die overeenkomen met de subschalen waaruit de ILS bestaat. Deze

somvariabelen worden met de Shapiro-Wilk toets op hun normaliteit getest. Er is opnieuw voor deze

test gekozen, omdat er een behoorlijk aantal knopen in de data voor kunnen komen. Vervolgens

worden voor elke somvariabele alternatieve hypotheses opgesteld. De nulhypothese is voor alle

variabelen gelijk, namelijk dat er geen verschil tussen voor- en nameting is opgetreden. Deze

hypotheses worden getoetst met de non-parametrische Wilcoxon rangtekentoets.

3.4.3 Betrouwbaarheid

Om een schatting van de betrouwbaarheid van de data te kunnen geven is gebruik gemaakt van

betrouwbaarheidsanalyses, uitgevoerd met behulp van SPSS. Tabel 3.6 geeft het aantal items (N items)

en de betrouwbaarheid (Cronbach ) per hoofdschaal, op zowel de voor- als nameting, weer. De

betrouwbaarheidsuitkomsten varieren van 0,683 tot 0,858. Voor beide metingen geldt dat drie van de

vier schalen, gezien de kritische grens van =.70, betrouwbaar zijn bevonden.

Tabel 3.6: Betrouwbaarheid van de ILS-HO hoofdschalen. Voormeting en Nameting

ILS-HO schalen Voormeting Nameting

N items Cronbach Cronbach

Verwerkingsstrategieën 27 0,683 0,779

Regulatiestrategieën 28 0,822 0,699

Mentale modellen/studiemotieven 25 0,707 0,775

Studieopvattingen 40 0,858 0,784

In tabel 3.7 worden het aantal items per subschaal (N items) en de betrouwbaarheid (Cronbach ) per

subschaal van de voor- en nameting weergegeven. Voor de voormeting geldt dat de betrouwbaarheid

van 0,275 tot 0,854 varieert. Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn

zeven van zestien subschalen voldoende betrouwbaar.

De betrouwbaarheid van de subschalen van de nameting varieert van 0,561 tot 0,885. Met een

aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn bij de nameting tien van zestien

subschalen voldoende betrouwbaar.

32

Tabel 3.7: Aantal items en de betrouwbaarheid van de ILS-HO subschalen. Voor- en nameting

ILS-HO schalen N items Cronbach (voor) Cronbach (na)

Verwerkingsstrategieën

Diepteverwerkingsstrategie 11 0,628 0,868

Stapsgewijze verwerkingsstrategie 11 0,854 0,866

Concrete verwerkingsstrategie 5 0,628 0,655

Regulatiestrategieën

Zelfsturingsstrategie 11 0,755 0,781

Extern gestuurde strategie 11 0,749 0,682

Stuurloze strategie 6 0,646 0,565

Mentale modellen/studiemotieven

Certificaatgericht 5 0,479 0,793

Beroepsgericht 5 0,275 0,754

Testgericht 5 0,599 0,848

Persoonlijk geïnteresseerd 5 0,330 0,737

Ambivalent 5 0,845 0,826

Studieopvattingen

Opname van kennis 9 0,751 0,846

Opbouw van kennis 9 0,553 0,662

Gebruik van kennis 6 0,312 0,585

Stimulerend onderwijs 8 0,852 0,885

Samen studeren 8 0,845 0,561

Om de betrouwbaarheid van de test te verhogen zijn een aantal items verwijderd. Daarbij is ervoor

gewaakt dat zowel uit de voor- als de nameting dezelfde items zijn verwijderd. Items zijn alleen

verwijderd als de subschaal voor één van beide metingen er betrouwbaarder door werd en de

subschaal op de andere meting ook betrouwbaarder werd of minstens betrouwbaar bleef. Ook is het

aantal items per subschaal dat na verwijdering over is, in de overweging meegenomen. Als gevolg van

het verwijderen van zestien items, werden alle hoofdschalen voor beide metingen voldoende

betrouwbaar bevonden. Tabel 3.8 geeft de nieuwe betrouwbaarheden (Cronbach ) per hoofdschaal

weer. De betrouwbaarheid van de hoofdschalen varieert nu van 0,746 tot 0,880. Tabel 3.9 laat de

nieuwe betrouwbaarheden per subschaal voor beide metingen zien.

De betrouwbaarheid van de subschalen van de voormeting variëren nu van 0,495 tot 0,864.

Met een aangenomen kritische betrouwbaarheidsgrens van =0,70, zijn nu twaalf, in plaats van zeven,

van zestien subschalen voldoende betrouwbaar. De betrouwbaarheid van de subschalen van de

nameting varieert van 0,581 tot 0,916. Met een aangenomen kritische betrouwbaarheidsgrens van

=0,70, zijn nu bij de nameting vijftien, in plaats van tien, van zestien subschalen voldoende

betrouwbaar.

Tabel 3.8: Betrouwbaarheid van de ILS-HO hoofdschalen. Voor- en Nameting

ILS-HO schalen Voormeting Nameting

N Cronbach Cronbach

Verwerkingsstrategieën 24 0,758 0,764

Regulatiestrategieën 25 0,824 0,738

Mentale modellen/studiemotieven 20 0,746 0,762

Studieopvattingen 35 0,868 0,880

33

Tabel 3.9: Aantal items en de betrouwbaarheid van de ILS-HO subschalen. Voormeting en Nameting

ILS-HO schalen N items Cronbach (voor) Cronbach (na)

Verwerkingsstrategieën

Diepteverwerkingsstrategie 9 0,731 0,861

Stapsgewijze verwerkingsstrategie 11 0,854 0,866

Concrete verwerkingsstrategie 4 0,663 0,758

Regulatiestrategieën

Zelfsturingsstrategie 11 0,755 0,781

Extern gestuurde strategie 10 0,737 0,748

Stuurloze strategie 4 0,717 0,715

Mentale modellen/studiemotieven

Certificaatgericht 3 0,709 0,737

Beroepsgericht 4 0,444 0,750

Testgericht 4 0,744 0,916

Persoonlijk geïnteresseerd 4 0,416 0,702

Ambivalent 5 0,845 0,826

Studieopvattingen

Opname van kennis 9 0,751 0,846

Opbouw van kennis 6 0,734 0,739

Gebruik van kennis 5 0,495 0,581

Stimulerend onderwijs 8 0,852 0,885

Samen studeren 7 0,864 0,915

In totaal zijn er op basis van deze dataverzameling zeventig betrouwbaarheidsanalyses uitgevoerd.

Eerst zijn de vier hoofdschalen, ‘verwerkingsstrategieën’, ‘reglutatiestrategiën’, ‘mentale modellen’ en

‘studieopvattingen’, op hun betrouwbaarheid beoordeeld. Daarna zijn zestien betrouwbaarheids-

analyses uitgevoerd, voor elke subschaal één. Deze analyses zijn vervolgens herhaald met de data van

de nameting. Voordat er werd besloten tot het verwijderen van items waren er zodoende reeds veertig

betrouwbaarheidsanalyses gedaan. Na verwijdering van de items zijn zowel voor de voor- als de

nameting elf betrouwbaarheidsanalyses van subschalen herhaald, vervolgens zijn voor beide metingen

de analyses van de hoofdschalen opnieuw uitgevoerd. Na verwijdering van een aantal items zijn dus in

totaal 30 betrouwbaarheidsanalyses herhaald.

Gezien alle hoofdschalen nu betrouwbaar zijn en het om een bestaand gevalideerd instrument

gaat, is besloten alle data, met uitzondering van de data verzameld aan de hand van de verwijderde

items, mee te nemen in verdere statische analyses.

3.5 Kwalitatief onderzoek

Kwalitatief onderzoek is gebruikt om de onderzoekende houding van de docent in kaart te brengen. Er

is op twee manieren kwalitatieve data verzameld. De eerste is een semi-gestructureerde manier aan

de hand van logboeken. De docent heeft voor aanvang van elk college doelen opgesteld en na afloop

zijn bevindingen opgeschreven. Ik heb daar op basis van mijn ervaringen als student en mijn ervaringen

als onderzoeker op gereageerd. Daarbij hebben tien basisprincipes van AfL een leidraad gevormd. De

34

tweede wijze waarop kwalitatieve data is verzameld is het noteren van opvallendheden in een

dagboek. De notities hebben betrekking op alles wat niet relevant was om in de logboeken te

vermelden. Het gaat bijvoorbeeld om problemen die studenten aankaarten, onduidelijkheden waar ik

zelf tegenaan ben gelopen of gedachtegangen. Het betreft een ongestructureerde manier van

dataverzameling.

De conclusies met betrekking tot de tweede onderzoeksvraag ‘Welke bijdrage levert AfL aan de

onderzoekende/lerende houding van docent?’ worden gestructureerd aan de hand van de zes

aspecten van een onderzoekende houding van de docent: de wil om (1) kritisch te zijn; (2) te begrijpen;

(3) te bereiken; (4) te delen; (5) vernieuwend te zijn; en (6) te weten. (Van der Rijst, 2009). Deze

indeling is als analysemodel gekozen omdat de kwalitatieve data in eerste instantie informatie

verschaft met betrekking tot de tien basisprincipes van AfL. Daardoor is de informatie over de

onderzoekende houding indirect.

3.5.1 Logboeken

Er is gebruik gemaakt van een participerende observatie waarbij mijn medestudenten en de docent

wisten dat ik tijdens de colleges het gedrag van de docent en de invloed daarvan op studenten

observeerde. Hoewel het algemeen aangenomen is dat de rol van de participerende observator het

best geheim kan blijven (Baarda & De Goede, 2005), was dat in dit geval niet mogelijk doordat ik elke

week reageerde op de logboeken van de docent en tijdens de colleges een actieve en participerende

houding van mij werd verwacht. Binnen het kader van AfL is dit te verdedigen met het feit dat de

docent zijn handelen niet kan aanpassen als hij geen feedback krijgt. Maso en Smaling (1998)

benadrukken juist het belang van het open en eerlijk zijn over de observatie. Doordat zowel de docent

als de studenten op de hoogte waren van het onderwerp, het doel, de manier waarop ik observeerde

en wat mijn onzekerheden daarin waren, is het uiteindelijk heel goed mogelijk om op basis van de

verzamelde data uitspraken te doen over het handelen van de docent tijdens de colleges. Een

samenvoeging van de logboeken, inclusief de reacties daarop is opgenomen in bijlage 4.

Om in staat te zijn tot het effectief verwerken van de informatie die tijdens de observatie ter

beschikking komt en om specifieke keuzes te maken over waarop de observatie gericht zal zijn, is het

handig om van tevoren een theoretisch kader op te stellen (Maso & Smaling, 1998). Op die manier is

de betrouwbaarheid van de informatie het best. In het geval van dit masteronderzoek was dat echter

niet mogelijk. De inhoud van de logboeken en mijn reactie daarop is daarom niet altijd even specifiek

gericht op de vijf basisprincipes van AfL en de onderzoekende houding van de docent.

35

3.5.2 Dagboek

Het dagboek bestaat uit notities met betrekking tot het vak, het onderzoek en de scriptie. Het gaat

bijvoorbeeld om ideeën voor de structurering van de analyse van de gevonden data. Een voorbeeld van

de dagboeknotities is opgenomen in bijlage 5. Er staan ook opmerkingen in over de tien basisprincipes

van AfL en de manier waarop ik die terug heb zien komen in de les, maar die niet van geschikt waren

om in mijn reactie op de logboeken te verwerken. Ook zijn op basis van gesprekken met de docent

(tevens tweede thesisbegeleider), de methodoloog en mijn eerste thesisbegeleider notities

toegevoegd. De inhoud van het dagboek is dus gaandeweg tot stand gekomen en is niet opgehouden

toen de colleges en de dataverzameling achter de rug waren. Deze dataverzameling is daarmee

ongestructureerd (Baarda & De Goede, 2005). Net als voor de inhoud van de logboeken, geldt voor de

inhoud van het dagboek dat er van tevoren geen literatuurstudie heeft plaatsgevonden die richting zou

kunnen geven aan de dataverzameling. Naarmate de tijd verstreek heb ik meer achtergrondkennis

opgedaan, deze is verwerkt in de dagboeknotities. Bovendien moet vermeld worden dat, naarmate het

onderzoek vorderde, de inhoud van enkele notities, mede door opgedane kennis, niet meer relevant

zijn. Anderen zijn van toepassing gebleven en hebben in sommige gevallen richting gegeven aan het

literatuuronderzoek en/of de dataverzameling. De inhoud van het dagboek wordt gebruikt ter

aanvulling van de resultaten die verkregen zijn aan de hand van de logboeken en vragenlijsten.

De dagboeknotities zijn in te delen in vier groepen (Boeije, 2005). De eerste groep bevat

observatienotities. Deze dagboeknotities bestaan uit objectieve waarnemingen en worden

meegenomen in de data-analyse. De tweede groep omvat theoretische notities. Het gaat dan om

interpretaties, verklaringen en belevingen. Deze vinden een plaats in de conclusie of de discussie van

dit onderzoeksverslag. Ten derde bevat het dagboek methodische notities. Het gaat hierbij om notities

die betrekking hebben op de methodologie van het onderzoek. Deze notities zijn in dit hoofdstuk,

hoofdstuk 3, verwerkt. De vierde soort notities bestaat uit reflectieve notities. Deze hebben betrekking

op emoties, verwachtingen of twijfels ten aanzien van het onderzoek.

36

Hoofdstuk 4

Resultaten

In dit hoofdstuk worden de resultaten van de verschillende data-analyses beschreven. Allereerst zal

kort worden ingegaan op de response. Daarna worden de kwantitatieve resultaten van respectievelijk

de vragenlijsten en de ILS behandeld. Tot slot worden de kwalitatieve bevindingen van de reflectieve

logboeken besproken. Waar mogelijk zijn de dagboeknotities verweven met de resultaten van de

andere instrumenten.

4.1 Response

Zowel bij de voormeting als bij de nameting is de gehele populatie benaderd om de vragenlijst en de

ILS in te vullen. De gehele populatie bestaat uit alle studenten die het vak ‘Professionalisering van

leerkrachten’ hebben gevolgd. Het betrof 35 studenten.

Tijdens de voormeting heeft 60% (21 van de 35 studenten) studenten de vragenlijst ingevuld

en ingeleverd. De ILS werd door evenveel studenten, 60% van de steekproef, ingevuld en ingeleverd.

Bij de nameting was de response hoger. De vragenlijst en de ILS werden door 66% (23 van de 35

studenten) ingevuld en ingeleverd. De responsegroep is niet helemaal representatief voor de

populatie. Slechts één van de drie internationale studenten heeft een vragenlijst tijdens de voormeting

ingevuld. Tijdens het college waarin de nameting heeft plaatsgevonden waren alle internationale

studenten afwezig. Zij bleken in verband met de aankomende feestdagen tijdelijk terug te zijn gegaan

naar hun moederland. Daarnaast zijn bij zowel de voor- als nameting geen data verzameld van

respondenten die niet tijdens de college-uren aanwezig waren. Er is geprobeerd om deze studenten te

bereiken door de vragenlijsten via email en de digitale leeromgeving van de Rijksuniversiteit

beschikbaar te stellen, maar dit heeft, zelfs na het versturen van een herinnering, alleen de reactie van

de internationale student opgeleverd. De response is daardoor representatief voor een populatie

studenten die bij het eerste en/of laatste college aanwezig was.

4.2 Resultaten vragenlijst

In deze paragraaf worden de resultaten van de statistische analyses op basis van de data, verzameld

aan de hand van de zelfontworpen vragenlijst, weergegeven. Eerst worden de resultaten van de

normaliteitanalyse van deel 1, 2, en 3 weergegeven. Vervolgens worden de resultaten van de

uitvoering van de Wilcoxon rangtekentoets besproken. Daarna worden de resultaten van deel 4

besproken. Ook voor dit deel is een analyse van de normaliteit en de Wilcoxon rangtekentoets

uitgevoerd. De analyse is aangevuld met een frequentietabel. Voor deel 1 tot en met 4 geldt dat de

37

toetsing wordt uitgevoerd met de data die verkregen is uit de antwoorden op de vragenlijsten die zijn

ingevuld door de zeventien respondenten die zowel aan de voor- als nameting hebben deelgenomen.

Ten slotte komen de resultaten van deel 5 aan bod. In deze analyse zijn alle respondenten die tijdens

de nameting de vragenlijst hebben ingevuld meegenomen, het gaat om 23 studenten. De data is

geanalyseerd aan de hand van een frequentieverdeling.

4.2.1 Deel 1, 2 en 3: Normaliteit

Allereerst is met de Shapiro-Wilk toets onderzocht of de verschilvariabelen een normale verdeling

kennen. Dit is alleen voor deel 1, 2, 3 en 4 gedaan, omdat het bij deze delen van belang was voor de

verdere toetsing. De resultaten van deel 4 worden in een latere subparagraaf apart weergegeven. De

tabel met uitkomsten van de normaliteitstoetsing van deel 1, 2 en 3 is te vinden in bijlage 6. Zowel op

basis van de overschrijdingskansen als op basis van de Shapiro W-statistic moeten we voor alle

variabelen van een niet-normale verdeling uitgaan.

4.2.2 Deel 1, 2 en 3: Wilcoxon rangtekentoets

Om vast te stellen of AfL effect heeft op de houding van studenten ten opzichte van feedback en

betrokkenheid, twee elementen van AfL, is gebruik gemaakt van de non-parametrische Wilcoxon

rangtekentoets voor gepaarde waarnemingen. Deze toets werkt met tekens (plussen en minnen) welke

symbool staan voor vooruitgang of achteruitgang. De paren die geen verschil vertonen zijn van de

analyse uitgesloten, omdat deze paren ervoor zorgen dat de verdeling van tekens van de verschillen

niet meer binomiaal verdeeld is. Doordat er met paren gewerkt wordt, geeft de toets per item van de

vragenlijst één uitkomst. De toetsing kent een nulhypothese die stelt dat er geen verschil tussen beide

metingen is opgetreden. De alternatieve hypothese is dat de studenten bij de nameting hoger zouden

scoren. De statistische toetsing heeft, bij een eenzijdige alfa van 0,05, uitgewezen de drie delen van de

vragenlijst een niet-significant verschil vertonen. De resultaten van de toetsing zijn weergegeven in

tabel 4.1.

Tabel 4.1: gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 1, 2 en 3 van de vragenlijst.

Deel van de vragenlijst Aantal paren in analyse

Aantal positieve verschillen

Aantal negatieve verschillen

Aantal geen verschil

Sig.

Deel 1 Feedback m.b.t. kwaliteit van het werk.

17 9 4 4 0,248

Deel 2 Feedback m.b.t. leren 17 9 5 3 0,377

Deel 3 Betrokkenheid 17 8 6 3 0,704

38

4.2.3 Deel 4: Normaliteit

Deel 4 van de vragenlijst bestaat uit 23 items. Deze items meten geen gezamenlijk begrip, maar zijn

opzichzelfstaande items. Om te beginnen is de normaliteit van de verdeling van de scores op de items

vastgesteld. De resultaten van de normaliteitstoetsing zijn weergegeven in bijlage 7. Op basis van de

uitkomsten van de analyse is wederom voor de non-parametrische Wilcoxon rangtekentoets gekozen.

4.2.4 Deel 4: Wilcoxon rangtekenttoets

Om vast te stellen of AfL effect heeft op de verschillende onderwerpen die in dit deel van de vragenlijst

aan de orde komen, is wederom gebruik gemaakt van de Wilcoxon rangtekentoets voor gepaarde

waarnemingen. De nulhypothese luidt dat er tussen de voor- en nameting geen verschil is opgetreden.

De alternatieve hypotheses per item (bijlage 8) zijn gebaseerd op de literatuur die in het theoretisch

kader terug te vinden is. De statistische toetsing heeft uitgewezen dat geen van de items een

significant verschil vertoont (bijlage 9). In de frequentietabel (bijlage 10) is te zien dat studenten het

met vrijwel alle uitspraken met betrekking tot AfL eens zijn. Daarnaast zijn de studenten van mening

dat het feit dat het vak in het Engels gegeven wordt een negatieve invloed op hun actieve

betrokkenheid en hun leeropbrengsten heeft.

4.2.5 Deel 5: Frequenties en gemiddelden

Het vijfde deel van de vragenlijst is alleen tijdens de nameting ingevuld. Het deel bestaat uit zeven

items aan de hand waarvan een globale vergelijking tussen de docent die het betreffende vak gaf en

andere docenten in het algemeen. Het onderwerp was de onderzoekende houding (inquiring attitude)

van de docent. Dit deel is door 23 respondenten ingevuld, er was geen sprake van missende data.

In tabel 4.2 zijn de gemiddelden (mean), de standaarddeviaties (SD) en frequenties per item

weergegeven. De gemiddelde scores variëren van 4,00 tot 4,48. Dat betekent dat studenten de vragen

gemiddeld met ‘more frequent’ beantwoordden. Dit antwoord werd 86 keer gekozen tegenover 58

keer antwoord 5 en vijftien keer antwoord 3. Twee keer werd een negatief antwoord gegeven. Dit

kwam voor op de vraag over het proberen te begrijpen wat studenten motiveert en aanzet tot leren,

en op de vraag over het proberen te begrijpen wat studenten werkbaar vinden tijdens colleges. Op alle

vragen gaven één tot vier studenten een neutraal antwoord. Één vraag vormt daar een uitzondering

op. De vraag naar het actief zoeken naar verbetering van het handelen van de docent en de inhoud van

het vak werd uitsluitend positief beantwoord met dertien keer antwoord 4 en tien keer antwoord 5.

De zesde vraag kent het hoogste gemiddelde. De vraag gaat over het delen van kritische reflecties met

betrekking tot de inhoud van het vak. Dit is de enige vraag waarbij ‘much more frequent’, antwoord 5,

het vaakst als antwoord gekozen werd.

39

Tabel 4.2 Gemiddelde, standaarddeviatie en frequenties per item. Deel 5 vragenlijst (1 = A lot less frequent; 2 = Less frequent; 3 = Undecided; 4 = More frequent; 5 = Much more frequent)

In comparison to other teachers Ernst is more / less: Mean SD 1 2 3 4 5

critical in reviewing his own actions in class 4,43 0,590 - - 1 11 11

actively searching to improve his actions and the content of the course

4,43 0,507 - - - 13 10

actively invites students into a critical discussion about his actions and the course content

4,17 0,717 - - 4 11 8

trying to understand what drives students’ learning and motivation

4,09 0,793 - 1 3 12 7

trying to understand what works for students in lectures

4,00 0,739 - 1 3 14 5

willing to share his critical reflections of the course content

4,48 0,593 - - 1 10 12

actively trying to engage students in discussing the course content and/or his personal input

4,09 0,596 - - 3 15 5

Totaal 4,24 0 2 15 86 58

4.3 Resultaten ILS

In deze paragraaf worden de resultaten van de statistische analyses, op basis van de data verzameld

aan de hand van de ILS, weergegeven. In SPSS zijn twee keer zestien somvariabelen gecreëerd die

overeen komen met de zestien subschalen. Vervolgens is voor het verschil tussen beide metingen voor

elke subschaal een verschilvariabele gemaakt. Eerst worden de resultaten van de normaliteitanalyse

weergegeven, waarop de keuze voor een non-parametrische toetsing is gebaseerd. Vervolgens worden

de resultaten van de uitvoering van de Wilcoxon rangtekentoets besproken.

4.3.1 Normaliteit

Allereerst is met de Shapiro-Wilk toets onderzocht of de verschilvariabelen een normale verdeling

kennen. Uit de toetsing (bijlage 11) blijkt dat drie tot dertien van de variabelen een niet-normale

verdeling kennen. Daarom wordt gekozen voor een non-parametrische toetsing voor het verschil in

gemiddelden tussen de voor- en nameting.

4.3.2 Wilcoxon rangtekentoets

Om vast te stellen of AfL effect heeft op de leerstijl van studenten is wederom gebruik gemaakt van de

non-parametrische Wilcoxon rangtekentoets. Uit de uitvoer blijkt of, op basis van de

overschrijdingskans (sig.), de nulhypothese (geen verschil tussen beide metingen) al dan niet

verworpen moet worden. De alternatieve hypotheses per subschaal van de ILS zijn opgesteld op basis

van de literatuur die in het theoretisch kader aan bod is gekomen. Deze zijn weergegeven in tabel 4.3.

40

De statistische toetsing heeft, bij een eenzijdige alfa van 0,05, uitgewezen dat tien van de

zestien subschalen geen significant verschil vertonen tussen de voor- en nameting (bijlage 11). Zes

subschalen laten wel een verschil zien. In vier gevallen gaat het om een positief verschil en in twee

gevallen om een negatief verschil tussen beide metingen.

Alle subschalen behorend tot de hoofdschaal ‘Regulatiestrategieën’ tonen een significant

verschil. De eerste subschaal is ‘Zelfsturingsstrategie’. De alternatieve hypothese laat de verwachting

van een positief verschil tussen beide metingen zien. In de analyse zijn vijftien paren meegenomen,

waarvan elf paren met een positief verschil. Er is sprake van een significant positief verschil. De tweede

subschaal is ‘Externe sturing’. De analyse heeft een significant negatief verschil aangetoond. Verwacht

werd dat studenten door het toepassen van AfL minder gebruik zouden maken van externe sturing.

Van de zeventien paren die in de analyse zijn meegenomen, tonen twaalf paren een significant

negatief verschil. De laatste subschaal binnen deze hoofdschaal is ‘stuurloze strategie’. Voor aanvang

van de dataverzameling werd een vermindering in het gebruik van deze strategie verwacht. De

dataverzameling laat echter zien dat er veertien paren met een positief verschil tussen de voor- en

nameting zijn. Drie paren laten een negatief verschil zien. Op basis hiervan moet de nulhypothese

verworpen worden, maar mag de alternatieve hypothese ook niet aangenomen worden.

De volgende twee subschalen die bij analyse een significant verschil tussen voor- en nameting

vertonen vallen onder de hoofdschaal ‘studiemotieven’. De eerste is ‘certificaat gericht’. Studenten

die certificaatgericht leren, hechten waarde aan het neerzetten van goede prestaties en het halen van

tentamens en het diploma. Er werd een vermindering van het certificaatgerichte studiemotief

verwacht. De data vertoont tien paren met een positief verschil en twee paren met een negatief

verschil. Vijf paren hebben een onveranderde score behaald en worden daarom niet meegenomen in

de analyse. Met een overschrijdingskans van 0,012 en een alfa van 0,05 wordt de nulhypothese

verworpen. Tegen de verwachting in is een positief effect aangetoond. De volgende subschaal met een

significant verschil tussen de metingen is ‘beroepsgericht’. Studenten die beroepsgericht leren, leren

enkel om vakbekwaamheid te verwerven en een bepaald beroep uit te kunnen oefenen. Omdat het

leerproces centraal staat en het leren een doel op zich is bij AfL, werd een negatief verschil verwacht.

Drie paren laten een positief verschil zien en tien paren hebben een negatief resultaat geboekt. De

Wilcoxon rangtekentoets toont, bij een alfa van 0,05 en een overschrijdingskans van 0,030, een

significant negatief verschil.

De subschaal ‘samenwerken’ laat met zes paren die een negatief verschil laten zien, tegenover

acht paren met een positief verschil, een significant verschil tussen de voor- en nameting zien. Deze

subschaal valt onder hoofdschaal ‘studieopvattingen’. De gevonden overschrijdingskans bedraagt

0,036. De verwachting met betrekking tot deze subschaal komt overeen met de resultaten van de

analyse.

41

Tabel 4.3: Nulhypothese en alternatieve hypothese per subschaal.

ILS-HO schalen

Nulhypothese (H0)

Alternatieve hypothese (Ha)

Verwerkingsstrategieën

Diepteverwerkingsstrategie H0: η = 0 Ha: η>0

Stapsgewijze verwerkingsstrategie H0: η = 0 Ha: η<0

Concrete verwerkingsstrategie H0: η = 0 Ha: η>0

Regulatiestrategieën

Zelfsturingsstrategie H0: η = 0 Ha: η>0

Extern gestuurde strategie H0: η = 0 Ha: η<0

Stuurloze strategie H0: η = 0 Ha: η<0

Mentale modellen/studiemotieven

Certificaatgericht H0: η = 0 Ha: η<0

Beroepsgericht H0: η = 0 Ha: η<0

Testgericht H0: η = 0 Ha: η<0

Persoonlijk geïnteresseerd H0: η = 0 Ha: η>0

Ambivalent H0: η = 0 Ha: η<0

Studieopvattingen

Opname van kennis H0: η = 0 Ha: η<0

Opbouw van kennis H0: η = 0 Ha: η>0

Gebruik van kennis H0: η = 0 Ha: η>0

Stimulerend onderwijs H0: η = 0 Ha: η<0

Samen studeren H0: η = 0 Ha: η>0

Tabel 4.4 Paren in de analyse, aantal positieve verschillen, aantal negatieve verschillen, aantal zonder verschil en de overschrijdingskans van de ILS-HO schalen

ILS-HO schalen

Aantal paren in analyse

Aantal positieve verschillen

Aantal negatieve verschillen

Aantal geen verschil

Sig. (1-zijdig)

Verwerkingsstrategieën

Diepteverwerkingsstrategie 16 11 5 1 0,051

Stapsgewijze verwerkingsstrategie 16 9 7 1 0,144

Concrete verwerkingsstrategie 17 12 5 0 0,229

Regulatiestrategieën

Zelfsturingsstrategie 15 11 4 2 0,023

Extern gestuurde strategie 17 5 12 0 0,040

Stuurloze strategie 17 14 3 0 0,025

Mentale modellen/studiemotieven

Certificaatgericht 12 10 2 5 0,029

Beroepsgericht 13 3 10 4 0,030

Testgericht 11 6 5 6 0,376

Persoonlijk geïnteresseerd 15 9 6 2 0,178

Ambivalent 14 9 5 3 0,349

Studieopvattingen

Opname van kennis 14 5 9 3 0,234

Opbouw van kennis 16 8 8 1 0,203

Gebruik van kennis 12 4 8 5 0,099

Stimulerend onderwijs 17 11 6 0 0,326

Samen studeren 14 8 6 3 0,036

42

Om de resultaten van de statistische analyse van de ILS samen te vatten en het verband met de

leerstijlen te laten zien toont tabel 4.5 een overzicht van de vier hoofdschalen (leercomponenten), de

vier leerstijlen en de zestien subschalen. Per subschaal is, op basis van de alternatieve hypotheses uit

tabel 4.3 de verwachting aangegeven. In tabel 4.6 zijn de aangetoonde effecten van AfL op de leerstijl

van studenten weergegeven.

Tabel 4.5 Veranderingen op basis van de opgestelde alternatieve hypotheses

Leerstijl

Lee

rco

mp

on

ent

Betekenisgericht Reproductiegericht Toepassingsgericht Ongericht

Verwerkingsstrategieën Diepteverwerking

+

Stapsgewijze verwerking

-

Concrete verwerking

+

nauwelijks

Regulatiestrategieën Zelfgestuurd

+

extern gestuurd

-

zowel zelf- als extern gestuurd

Stuurloos

-

Mentale modellen /

studiemotieven

persoonlijk geïnteresseerd

+

certificaat- en testgericht

- en -

Beroepsgericht

-

Ambivalent

-

Studieopvattingen opbouwen van kennis

+

opnemen van kennis

-

gebruiken van kennis

+

samenwerking & stimulerend onderwijs

+ en -

Tabel 4.6 Aangetoonde veranderingen na implementatie van AfL

Leerstijl

Lee

rco

mp

on

ent

Betekenisgericht Reproductiegericht Toepassingsgericht Ongericht

Verwerkingsstrategieën Diepteverwerking

.

Stapsgewijze verwerking

.

Concrete verwerking

.

nauwelijks

Regulatiestrategieën Zelfgestuurd

+

extern gestuurd

-

zowel zelf- als extern gestuurd

.

Stuurloos

+

Mentale modellen /

studiemotieven

persoonlijk geïnteresseerd

.

certificaat- en testgericht

+ (en .)

Beroepsgericht

-

Ambivalent

.

Studieopvattingen opbouwen van kennis

.

opnemen van kennis

.

gebruiken van kennis

.

samenwerking & stimulerend onderwijs

+ (en .)

43

4.4 Resultaten logboeken

De UK Assessment Reform Group (1999) heeft aan de hand van bewijs uit verschillende onderzoeken

vijf sleutelelementen opgesteld (UK Assessment Reform Group, 1999). De resultaten van de logboeken

worden in deze paragraaf besproken aan de hand van de sleutelelementen van AfL. In de analyse zijn

vijf extra sleutelelementen toegevoegd, waardoor er gewerkt wordt met in totaal tien elementen. De

laatste vijf zijn opgesteld door de docent. Deze zijn gebaseerd op literatuur, ervaring en eigen

inzichten. Aan de resultaten van de logboeken zijn dagboeknotities toegevoegd om zoveel mogelijk het

hele vak, dus niet alleen het eerste uur van de bijeenkomsten, in kaart te brengen. De vijf

sleutelelementen van de Assessment Reform Group zijn voor dit onderzoeksverslag zo nauwkeurig

mogelijk vertaald uit het Engels.

Het vak bestond uit zeven colleges van twee uur. Het eerste uur werd in beslag genomen door

klassikale colleges. Tijdens dit eerste college-uur werd nieuwe stof aangeboden. Het doel was om pure

kennisoverdracht te vermijden en met elkaar in discussie te raken over de onderwerpen om zo

aandacht te schenken aan denk- en leerprocessen. Het tweede uur werd besteed aan groepswerk. Bij

aanvang van het vak is de groep studenten in drie groepen verdeeld. De docent heeft voorafgaand aan

elk college doelen opgesteld en achteraf opmerkingen toegevoegd. Deze vormen samen de logboeken.

Ik heb tijdens de colleges, aan de hand van de gestelde doelen, observaties uitgevoerd en mijn reactie

op de logboeken van de docent gegeven. De logboeken zijn voornamelijk gebaseerd op observaties

tijdens het eerste uur van de colleges.

4.4.1 Effectieve feedback

Het eerste sleutelelement van AfL is: het bieden van effectieve feedback aan studenten (UK

Assessment Reform Group, 1999). In het kader van AfL wordt verwacht dat studenten deze feedback

kunnen en zullen gebruiken om het vervolg van hun leerproces te sturen.

Het eerste uur van de colleges gaf, gezien de groepsgrootte, beperkte mogelijkheden tot het

geven van individuele feedback. Wel werd studenten in de klassikale situatie de mogelijkheid geboden

om met de docent tot gezamenlijke reflectie te komen. De docent daagde studenten daarin uit tot het

verdiepen van de denkprocessen. De feedback voortkomend uit de discussie was vooral gericht op het

leggen van verbanden tussen verschillende methoden van professionaliseren en minder op individuele

leerprocessen. Opvallend was dat de participatie tijdens de discussies erg wisselend was, waardoor een

groot deel van de studenten niet actief deelnam aan de reflecties en daarmee niet of in mindere mate

in staat was om tot interne feedback te komen.

Iedere student heeft in de eerste weken van het vak een leercontract opgesteld en opgestuurd

naar de docent. Onder studenten is in die eerste weken wat verwarring ontstaan met betrekking tot

het bindende karakter van de leercontracten. Uit het logboek van college drie blijkt dat niet alle

44

studenten zich ervan bewust waren dat ze van hun leercontracten af mochten wijken. Voor studenten

was de vrijheid wat onwennig, maar uit het dagboek blijkt dat ze wel gemotiveerd waren om vorm te

geven aan hun eigen leerproces. Het vinden van een balans tussen eigen belangen en het komen tot

een groepsplan, leverde wat vertraging op. Dit leidde tot het vormen van subgroepen en verlaat

inleveren van leercontracten. Uit het logboek van college vier blijkt verder dat de docent op ieder

leercontract via email feedback heeft gegeven. De literatuur over AfL stelt als voorwaarde van

effectieve feedback dat het gebruikt moet worden om het leerproces te sturen (Hargreaves, 2005;

Scriven, 1966; Taras, 2008). Opvallend is dat de docent hier geen zichtbare controle over heeft gehad.

Hij heeft geen inzicht gekregen in hoe studenten de feedback hebben gebruikt. De docent was

gedurende het hele vak bereid om feedback te blijven geven. Via email was hij bereikbaar, maar ook

tijdens het tweede uur van het college was hij beschikbaar. De docent heeft in het logboek van

hetzelfde college aangegeven dat vooral de mailtjes van studenten hem inzicht gaven in de

leerprocessen die gaande waren. Studenten die het heft in eigen handen namen en van het leren een

sociaal proces maakten door medestudenten en de docent erbij te betrekken, hebben op vele manier

en op vele momenten feedback kunnen krijgen. Niet alle studenten hebben gebruik gemaakt van de

mogelijkheid tot het ontvangen van feedback via email of in andere vorm, daardoor is er mogelijk een

groep studenten waarvan de docent niet of in beperkte mate op de hoogte was van de leerprocessen

die gaande waren.

Een andere mogelijkheid tot het uiten van twijfels, het stellen van vragen of het geven van tips

aan andere studenten was de blog waar gebruik van werd gemaakt. Bij aanvang van het vak is een blog

gestart waar alle studenten deel aan konden nemen. Studenten konden hier feedback aan elkaar en

aan de docent vragen. De blogs die door studenten online gezet werden waren voornamelijk

samenvattingen van gelezen literatuur, aangevuld met eigen ervaringen of verbanden met andere

literatuur. Voortdurende leerprocessen waren daarin duidelijk zichtbaar, maar er werden weinig

vragen gesteld. De blogs hebben niet in alle gevallen feedback opgeleverd, maar uit het dagboek blijkt

dat dit ook niet voor alle studenten het doel was van het online zetten van een tekst. De docent heeft

de blogs nauwkeurig gelezen en heeft in reacties op de diverse blogs aanleidingen gegeven tot diepere

denkprocessen. Enkele actieve studenten leverden ook hun bijdrage in het geven van feedback.

Opnieuw geldt dus dat er een groep studenten is die via de blog geen feedback heeft ontvangen en dat

de docent eigenlijk niet weet of de reacties op de blog als feedback werden gebruikt om het leerproces

te sturen of te verbeteren.

4.4.2 Betrokkenheid

Het geven van feedback heeft enkel zin als studenten de feedback gebruiken. Daarbij is het van belang

dat studenten hun leerproces aanpassen om hun leren optimaal te maken. Het tevreden willen stellen

45

van de docent is daarbij niet het doel (Torrance, 2007). Studenten moeten actief over hun eigen

leerprestaties na gaan denken. Het tweede sleutelelement van AfL is daarop gericht: actieve

betrokkenheid van studenten (in dialogen) met betrekking tot hun eigen leerproces (UK Assessment

Reform Group, 1999).

Uit de logboeken blijkt dat studenten zowel tijdens het eerste college-uur als daarbuiten

werden uitgedaagd om actief betrokken te zijn bij hun eigen leerproces. Dit kwam bijvoorbeeld tot

uiting tijdens discussies in het eerste college-uur, groepsgesprekken in het tweede uur, de blogs, het

opstellen van persoonlijke leercontracten en het formuleren van een eigen oordeel van het

uitgevoerde werk. De discussies, blogs en leercontracten zijn al kort besproken, daarom wordt nu wat

dieper ingegaan op de opdrachten en de beoordeling daarvan.

Iedere student heeft tijdens het tweede college-uur en daarbuiten gewerkt aan een opdracht.

Deze opdracht werd door de studenten zelf vorm gegeven. Dit leidde, zoals blijkt uit het logboek van

college 5, tot grote diversiteit, creativiteit en goede samenwerking. Het leercontract stelde de student

in staat een overzichtelijk plan te formuleren. De opdrachten werden door studenten zowel individueel

als in groepen uitgevoerd, maar voor iedere student gold dat zij uiteindelijk zelf een voorstel voor een

eindbeoordeling zouden doen. Deze beoordeling moest worden gebaseerd op criteria die door de

student werden opgesteld. Bij het opstellen van de criteria werden de vakvereisten, zoals aangedragen

door de universiteit, meegenomen. Aan de hand van deze criteria kenden studenten zichzelf of hun

groepsgenoten punten toe en kwamen zij tot een cijfer. Deze beoordeling werd samen met de

uitgewerkte opdracht ingeleverd bij de docent.

4.4.3 Aanpassen onderwijs

Sinds 1999 hebben verschillende auteurs nieuw bewijs gevonden voor het gebruik van feedback. De

feedback, die voortkomt uit assessment is niet alleen belangrijk voor studenten, maar ook docenten

(Black & William, 1998b). De derde guideline van de Assessment Reform Group (1999) luidt dan ook:

het aanpassen van het onderwijs rekening houdend met de resultaten van de assessment.

De docent kreeg volgens de logboeken voornamelijk tijdens de discussies in de klas en de

mailtjes die studenten stuurden een beeld van de denkprocessen die gaande waren. Met behulp van

deze inzichten was hij in staat te bepalen hoe hij de studenten uit kon dagen tot verbetering. Ook de

leercontracten gaven inzicht in de ideeën die studenten hadden opgevat en de plannen die zij maakten

voor de uitwerking van hun persoonlijke opdracht. Tijdens de colleges was hij daardoor in staat om de

studenten op de juiste manier te prikkelen om hen daarmee te motiveren, te inspireren en verder te

helpen. De vrijheid die studenten tijdens het tweede uur hadden leverde voor de docent een

onoverzichtelijk beeld van de werkzaamheden op. Er waren drie lokalen beschikbaar gesteld waar

groepen konden overleggen. Maar met het ontstaan van subgroepen en studenten die zich

46

afscheidden van medestudenten, maakten niet alle studenten meer gebruik van de lokalen. Ze

verspreidden zich door het gebouw of vertrokken. De studenten kregen de vrijheid om op een

zelfgekozen locatie en zelf op een zelfgekozen tijdstip te werken aan hun opdracht. Compleet overzicht

van de werkzaamheden voor de docent was dus ook niet haalbaar.

4.4.4 Invloed op student

De docent speelt in het onderwijsproces een belangrijke rol. Zijn houding en handelen hebben invloed

op de emotionele gesteldheid van studenten. Het vierde sleutelelement is daarom: het erkennen van

de grote invloed die assessment heeft op de motivatie en het zelfvertrouwen van studenten, welke

beiden cruciale invloeden op het leren van studenten zijn (UK Assessment Reform Group, 1999).

Hoewel dit onderzoek zich richt op universitaire masterstudenten en niet op

basisschoolleerlingen, blijft het rekening houden met motivatie en zelfvertrouwen tot op zekere

hoogte wel van belang. De houding van de docent speelt daarbij een belangrijke rol (Black & William,

1998a). Het stellen van vragen, het tonen van belangstelling en het enthousiasmeren van studenten is

van wezenlijk belang voor de motivatie van studenten (Black & William, 1998a; 1998b). Hoewel de

groepsgrootte en de korte tijd waarin de groep en de docent elkaar hebben leren kennen daarbij wel

aan aantal beperkingen opleveren, blijkt uit de logboeken dat de docent veel aandacht heeft besteed

aan het enthousiasmeren van studenten. Dit werd gedaan met behulp van filmpjes, prikkelende reactie

op vragen van studenten en/of het aanhalen van eigen ervaringen van de docent. Studenten werden

uitgedaagd om buiten hun comfortzone te treden en een sprong in het diepe te nemen, zowel op het

gebied van leren als op het gebied van het gebruik maken van de vrijheden.

Tijdens de colleges, maar ook daarbuiten, was de docent altijd beschikbaar voor studenten. Het

stellen van vragen via email, maar ook het maken van afspraken om buiten de college-uren van dit vak

een gesprek aan te gaan behoorden tot de mogelijkheden. Vooral van de mail werd regelmatig gebruik

gemaakt. Uit de logboeken blijkt dat de docent tijdens de colleges regelmatig heeft laten blijken dat hij

de mails erg waardevol vind. Een enkele keer is hij klassikaal op de inhoud van een email ingegaan,

omdat het een vraag of informatie bevatte die voor iedereen relevant was.

Enkele studenten hebben erg moeten wennen aan de nieuwe aanpak tijdens het vak. Zij

misten vooral de structuur en vonden het lastig om, zonder nadrukkelijke ondersteuning,

verwachtingen en criteria van de docent, aan een opdracht te werken. Vanaf het begin van het vak

heeft de docent de mogelijkheid geboden tot het terugvallen op de vaste opdracht van voorgaande

jaren. Daar heeft uiteindelijk niemand gebruik van gemaakt. Iedere student heeft, individueel of in een

groep, eigen invulling gegeven aan zijn/haar leerproces en heeft zichzelf beoordeeld. De docent heeft

ook een beoordeling gegeven, maar hechtte net zoveel waarde aan zijn eigen oordeel als aan dat van

de student. Wanneer de beoordeling van de student en de docent niet met elkaar overeenkwamen,

47

werd de student uitgenodigd voor een gesprek om tot overeenstemming te komen. Ook hierin is dus

rekening gehouden met de motivatie en het zelfvertrouwen van de student.

De docent hield daarnaast gedurende het hele vak, bij beoordelingen, maar vooral bij het

geven van feedback, rekening met het feit dat de studenten tijd nodig hadden om aan de vrijheid, de

beschikbaarheid van de docent, de eigen verantwoordelijkheid en andere aspecten van de AfL-aanpak

te wennen.

4.4.5 Self-assessment

Belangrijke doelen van AfL zijn het bevorderen van zelfstandigheid en autonomie. Dit komt tot uiting

door het gebruik van self-assessment door studenten. Self-assessment is, zoals in het theoretisch kader

omschreven, het proces waarbij studenten hun eigen werk beoordelen en interne feedback

formuleren. De Assessment Reform Group heeft dit opgenomen als vijfde sleutelelement van AfL: de

noodzaak voor studenten om zichzelf te kunnen beoordelen en inzicht te verwerven in hoe ze hun

leerproces kunnen verbeteren.

Voor iedere student heeft self-assessment een andere uitkomst. Ook geeft iedere student dit

proces op een eigen manier vorm. In de klassikale colleges was het daarom noodzakelijk om prikkels

toe te passen die op zoveel mogelijk studenten van toepassing waren. De vormgeving van het vak,

waarbij studenten in grote mate zelf vorm gaven aan hun leerproces, heeft op zichzelf al tot self-

assessment van studenten geleid. Studenten hebben voor zichzelf bepaald wat ze, binnen het kader

van professionalisering van leerkrachten, wilden leren. Het vaststellen van een beginniveau is daarbij

onvermijdelijk. Het proces van beoordelen en het geven van interne feedback is op dat moment al van

start gegaan. Tijdens de colleges die daarop volgden, werden studenten uitgedaagd de inhoud naar

hun eigen hand te zetten en het te gebruiken als bouwstenen in hun leerproces. Daarmee werden

tijdens de colleges moment gecreëerd waarop studenten hun eigen leerproces beoordeelden en

waarop dus self-assessment plaats heeft gevonden.

Een duidelijk voorbeeld van het aanzetten tot self-assessment kwam voor in één van de

gastcolleges. Studenten kregen steeds kleine taakjes, bijvoorbeeld het opschrijven van een aantal

begrippen die volgens hen samenhangen met een ‘inquiring attitude’. Vervolgens werden de

begrippen klassikaal verzameld en bediscussieerd. Hiermee werden studenten geholpen bij de reflectie

op verschillende concepten en hun eigen denkwijzen. Een ander voorbeeld kwam naar voren tijdens

het college over CLB (consultatieve leerlingbegeleiding), waarin het probleem niet bij het kind, maar

waarbij het handelen van de leerkracht met betrekking tot een bepaalde leerling centraal staat.

Studenten werden zich er onder andere van bewust dat het heel makkelijk is om het probleem bij

iemand anders neer te leggen. Het evalueren van je eigen denkprocessen en handelen is een stuk

lastiger, maar minstens zo waardevol.

48

4.4.6 Openheid van zaken

Uit de literatuur is gebleken dat docenten vaak vragen stellen zonder studenten daarbij uit te dagen

(Black & William, 1998a; Juwah et al., 2004). Het uitdagen en het scheppen van duidelijke

verwachtingen is niet alleen bij het stellen van vragen een relevant aspect om in overweging te nemen,

maar is in brede zin van toepassing. Over het algemeen kan worden aangenomen dat hoge, maar

haalbare verwachtingen van de docent motiverend voor studenten zijn. Dit is van grote invloed op de

leerprestaties van studenten (Juwah et al., 2004). Door de docent zijn, zoals vermeld, vijf

sleutelelementen aan de vijf al genoemde elementen toegevoegd. Het zesde element luidt: Wees

transparant, duidelijk zijn over de verwachtingen, persoonlijke interesses en vaardigheden (grenzen).

Tijdens de introductie van het college heeft de docent de inhoud van het experiment

verduidelijkt. Daarbij heeft hij verteld waarom hij zelf zo enthousiast is over Assessment for Learning

en waarom hij geïnteresseerd is in het effect dat een dergelijke benadering heeft op zowel studenten

als docenten. Bij het behandelen van de verschillende methoden van professionaliseren, die in het vak

centraal stonden, herhaalde hij deze werkwijze. In klassikale gesprekken met de studenten probeerde

de docent eerst een objectief beeld van de methode te scheppen en vervolgens voegde hij daar eigen

inzichten en ervaringen aan toe. Studenten werden uitgenodigd om dit ook te doen.

Naast mateloze enthousiasme en positiviteit, was er in de colleges ook aandacht voor

beperkingen die de AfL-aanpak met zich meebracht. Zo is het gevoel van een aantal studenten, dat er

te weinig structuur werd geboden, regelmatig ter sprake gebracht. Deze studenten werden

gestimuleerd om vooral gebruik te maken van de vrijheid. Hen werden opnieuw de mogelijkheden tot

persoonlijk contact met de docent gepresenteerd. Ook mochten zij te allen tijde nog kiezen voor de

vaste opdracht die door de docent ter beschikking kon worden gesteld. Tevens zijn voor deze

studenten voorbeelduitwerkingen van opdrachten beschikbaar gesteld, zodat zij een referentiekader

hadden. De beperkte tijd die studenten hadden om aan deze structuur te wennen was daarbij een

extra struikelblok.

Een andere beperking voor veel studenten, en daarmee ook voor de docent, was het feit dat

het vak in het Engels gegeven werd en er daardoor tijdens de discussies en groepsbijeenkomsten ook

in het Engels gecommuniceerd moest worden. Tijdens de colleges mochten studenten, die er in het

Engels echt niet uitkwamen, hun vraag of opmerking in het Nederlands stellen, de docent vertaalde de

bijdrage van de student. Voor de Spaanse-talige studenten bestond deze mogelijkheid niet. Tijdens het

groepswerk konden de studenten elkaar helpen bij de vertalingen. Van de blogs werd ook verwacht dat

deze in het Engels geplaatst werden. De docent adviseerde studenten om groepsgenoten om hulp te

vragen. Uiteindelijk zijn alle blogs in het Engels geplaatst. Uit de resultaten van de zelfontworpen

vragenlijst blijkt dat studenten desondanks toch het gevoel hebben gehad dat het Engels een negatieve

invloed heeft gehad op hun betrokkenheid en leeropbrengsten.

49

4.4.7 Duidelijke verwachtingen

Het delen van criteria is een essentieel element gebleken voor een effectieve AfL praktijk en het

mogelijk maken van self-assessment en peer-assessment (Black & William, 1998a). Zonder

duidelijkheid over criteria, verwachtingen en mogelijkheden is het niet mogelijk om een inschatting te

maken van het niveau waarop het leerproces van studenten zich op een bepaald moment bevindt.

Sleutelelement zeven is: wees open, bespreek wat wel en niet aan de verwachtingen van het vak

voldoet. De resultaten met betrekking tot dit element zijn niet geheel te onderscheiden van het vorige

element. Daarom wordt beperkt deze paragraaf zich tot een toevoeging aan het voorgaande.

Tijdens het eerste college is het experiment (het toepassen van AfL) geïntroduceerd. Daarbij

zijn de verwachtingen, maar vooral de mogelijkheden voor studenten benadrukt. Een voorbeeld

hiervan is het gebruik maken van de blogs. Studenten kregen optie om met enige regelmaat een blog

te publiceren waarop medestudenten en de docent mochten reageren. De blogs mochten bestaan uit

vragen, opmerkingen, informatie enz. Tijdens introductie van de blog en daarbij het benadrukken van

de mogelijkheden heeft de docent vanaf het begin, zowel impliciet als expliciet, duidelijk gemaakt dat

hij hoge verwachtingen had. Studenten reageerden daar merkbaar en op een positieve manier op. Met

enige regelmaat werd een blog online gezet. Na een aantal weken bleek dat niet alle studenten

deelname aan de blog als een kans zagen. Velen zagen het meer als een verplichting. Ondanks

mededelingen tijdens de introductie van het vak, was het dus niet voor alle studenten duidelijk dat

deelname aan de blog vrijwillig was.

De verwachtingen van de docent zijn meerdere keren ter sprake gekomen. Het toepassen van

AfL en de bijkomende vrijheid heeft voor studenten geleidt tot het in handen nemen van het eigen

leerproces. Verwachtingen van de docent waren niet langer toonaangevend en de verwachtingen en

doelen van de student werden belangrijker. Naarmate de weken verstreken raakten studenten er wat

meer aan gewend en werd minder gezocht naar de goedkeuring van de docent. Zowel de studenten als

de docent hebben aangegeven dat dit proces tijd vergt. Hierdoor zijn de resultaten met betrekking tot

dit sleutelelement waarschijnlijk vertekend.

4.4.8 Faciliteren

Met een verschuiving van de directieve stijl naar de participatieve (democratische) stijl van lesgeven is

de taak van de leerkracht verschoven (Santrock, 2009). De docent is niet langer de bron van kennis die

zorgt voor kennisoverdracht op studenten. Van eenrichtingsverkeer is geen sprake meer.

Sleutelelement acht: Faciliteren, de docent moet niet instrueren, maar coachen en daarmee studenten

in staat stellen tot het nemen van controle over hun eigen leren.

Zoals uit de logboeken blijkt, bestond het eerste uur van de colleges, vanuit het oogpunt van

de studenten, voor een groot deel uit luisteren naar de docent. Regelmatig werden de studenten

50

uitgedaagd tot deelname aan de discussie, maar de response liet soms op zich wachten. Daar kwam bij

dat er tijdens het eerste uur veel stof moest worden geïntroduceerd wat af en toe leidde tot een

gebrek aan tijd voor reflectiemomenten/discussies. De discussies die wel gevoerd werden hadden vaak

een faciliterend karakter. Studenten werden bijvoorbeeld in staat gesteld tot het stellen van vragen of

het uiten van twijfels. Een voorbeeld hiervan is het vaststellen van de datum voor de deadline van het

inleveren van de opdracht. De deadline stond gepland voor een bepaalde datum, maar via email had

een student gevraagd om een andere deadline. De docent heeft dit onderwerp klassikaal bespreekbaar

gemaakt en gezamenlijk zijn de studenten en docent tot een nieuwe deadline gekomen waar iedereen

tevreden mee was.

Drie maal werd een college verzorgd door een andere docent. Deze gastdocenten waren

uitgekozen om hun expertise op een bepaald gebied van professionaliseren van leerkrachten. Zo was

één van de gastdocenten zelf werkzaam in het onderwijs en recent afgestudeerd. Studenten konden

zich goed met haar identificeren en de inhoud van haar college was prikkelend. Een andere gastdocent

liet de studenten ervaren hoe creatieve denkvaardigheden en leren samenhangen. Studenten vielen

van de ene verbazing in de andere en werden gestimuleerd tot self-assessment. Tijdens een ander

college hebben de studenten begeleid geoefend met het voeren van consultatieve leerlingbegelei-

dingsgesprekken. Deze praktische bezigheden en regelmatige terugkoppeling stelde studenten in staat

inzicht te verwerven in hun eigen denkproces en dat van anderen.

Het tweede uur van de colleges was onmisbaar, omdat studenten hier de ruimte kregen de

opmerkingen van de docent actief toe te passen op hun eigen leerproces.

4.4.9 Leren door de docent

Van docenten wordt, net als van hun studenten, verwacht dat ze blijven leren en zich blijven

ontwikkelen (lifelong learning). Het belang van een onderzoekende houding van de docent is in het

theoretisch kader aangetoond. Door vragen te stellen en belangstelling te tonen verzamelt de docent

informatie die hij kan gebruiken als feedback. Het negende sleutelelement, geformuleerd door de

docent, is: Leer, participeer en evalueer jouw bijdrage binnen dit vak.

Op basis van de logboeken is data met betrekking tot dit sleutelelement slechts in beperkte

mate aanwezig. Het leren van de docent is niet altijd direct zichtbaar. In ieder geval niet aan de hand

van de doelen die de docent voor de colleges gesteld heeft en de observaties die op basis daarvan

hebben plaatsgevonden. Toch is uit verschillende observaties wel op te maken dat ook de docent een

leerproces heeft doorgemaakt. Een voorbeeld hiervan zijn de opmerkingen van de docent waaruit

blijkt dat hij over enkele aspecten van de invoering van AfL van tevoren iets te gemakkelijk heeft

gedacht. Hij had bijvoorbeeld niet voorzien dat de veranderingen voor sommige studenten zoveel

aanpassingsvermogen zou vergen en onzekerheid zou opleveren. Door de twijfels regelmatig

51

bespreekbaar te maken kreeg de docent een goed beeld van de gemoedsrust en voortgang van de

studenten. De docent heeft hiervan geleerd. Dit was zichtbaar door participatie van de docent aan

klassikale discussies, groepsdiscussies en de beschikbaarheid voor individuele gesprekken. Heel

regelmatig probeerde de docent de vormgeving van het vak en zijn eigen handelen met behulp van

dialoog te evalueren en tot verbetering te komen. Studenten waren zich bewust van de lerende

houding van de docent en reageerden daar overwegend erg positief op. Ze voelden zich betrokken bij

de leerprocessen die gaande waren.

4.4.10 Reflecteren

Het tiende en laatste sleutelelement is: reflecteer, stel vragen, draag alternatieven aan en analyseer

twijfels en zekerheden. Alle aspecten van dit laatste element zijn op grond van verschillende

onderzoeken bewezen effectief te zijn. Black en William (1998a) hebben het belang van het stellen van

goede vragen aangetoond. Het aandragen van alternatieven en het analyseren van twijfels en

zekerheden kunnen beiden gebruikt worden als feedback, om te komen tot verbeteringen in zowel het

handelen van de docent als het handelen van de student.

Gedurende de college-uren is veel aandacht besteed aan reflecteren. De docent stelde vragen,

hield de voortgang in de gaten en vroeg om feedback. Diverse alternatieven voor verschillende

aspecten waren altijd beschikbaar. Voorbeelden hiervan is het wel of niet gebruik maken van de blog,

het overstappen naar een vaste opdracht en het daardoor afwijken van de opgestelde leercontracten.

Daarnaast moet worden opgemerkt dat het opstellen van doelen en het schrijven van een logboek

door de docent op zichzelf al een reflecterend karakter heeft.

Uit de logboeken blijkt dus dat reflecteren een grote rol heeft gespeeld bij het betreffende

mastervak. De docent heeft veel aandacht aan dit aspect besteed. Wel moet genoemd worden dat de

participatie van studenten erg wisselend was en dat er over de kwaliteit van de gevolgen van de

reflecterende activiteiten weinig tot geen informatie in de logboeken voorkomt.

4.5 Samenhang resultaten

In dit onderzoek is gebruikt gemaakt van verschillende instrumenten die stuk voor stuk resultaten met

betrekking tot AfL hebben opgeleverd. In tabel 4.7 zijn de bevindingen, zoals besproken in paragraaf

4.2, 4.3 en 4.4, gestructureerd aan de hand van de tien sleutelelementen van AfL. In de laatste kolom is

aan elk sleutelelement één van de zes aspecten van de onderzoekende houding van de docent, zoals

omschreven door Van der Rijst (2009), toegevoegd. De conclusies met betrekking tot de tweede

onderzoeksvraag, ‘Welke bijdrage levert AfL aan de onderzoekende / lerende houding van docent?’

worden in hoofdstuk 5 gestructureerd aan de hand van deze aspecten.

52

Tabel 4.7 Resultaten gestructureerd op basis van de tien sleutelelementen van AfL

AfL sleutelelement

§ 4.2 Vragenlijst

§ 4.3 ILS

§ 4.4 Logboek

Aspecten onderzoekende houding

1. Effectieve feedback

Door implementatie AfL geen verandering in het belang dat studenten hechten aan Feedback m.b.t. leren en de kwaliteit van het werk.

Meer belang gehecht aan samenwerking.

Feedback gegeven. Zowel individueel als klassikaal.

Geen inzicht in de effectiviteit ervan.

Studenten hebben er niet allen evenveel gebruik van gemaakt.

De wil om kritisch te zijn (met betrek-king tot eigen en andermans handelen)

2. Betrokkenheid

Door implementatie AfL geen verandering in het belang dat studenten hechten aan betrokkenheid.

Meer zelfsturing.

Minder externe sturing.

Meer stuurloosheid.

Discussies

Blog

Opstellen van persoonlijke leercontracten

Opstellen van criteria

Formuleren van een eigen oordeel m.b.t. eigen werk.

De wil om te delen (en studenten daarmee in staat te stellen te profiteren)

3. Aanpassen onderwijs

Actief in het zoeken naar mogelijkheden tot ver-betering met betrekking tot zijn handelen en de inhoud van het vak.

Geen toe- of afname in de studieopvatting stimulerend onderwijs.

Aan de hand van de logboeken of suggesties van studenten heeft de docent het onderwijs ten gunste van de leerprocessen aangepast.

De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken

4. Invloed op student

Doet moeite om te begrijpen wat studenten motiveert en tot leren aanzet.

Past de inhoud en vorm-geving van de colleges meer aan op de behoef-ten van studenten.

Rekening gehouden met de motivatie/ zelfvertrouwen van studenten, door te enthousiasmeren en aan te sporen om twijfels onderwerp van gesprek te maken.

De wil om te begrijpen (hoe studenten het meest optimaal leren)

5. Self-assessment

Minder beroepsgericht studiemotief.

Meer certificaat-gericht studiemotief.

Aangezet tot self-assessment door expliciet van studenten te verwachten dat ze de inhoud van de colleges naar hun eigen hand zetten. O.a. in de uitwerking van de opdracht.

Geen inzicht in de kwaliteit van self-assessment.

De wil om kritisch te zijn (naar eigen en andermans handelen)

6. Openheid van zaken

Deelt in grotere mate de uitkomsten van zijn eigen reflectie.

Het delen van interesses, verwachtingen, doelen en vaardigheden (+ grenzen) van zowel de docent als de student speelde tijdens het vak op verschillende manieren een grote rol.

De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken

7. Duidelijke verwachtingen

Minder externe sturing.

Tijdens de colleges was er naast de verwachtingen van de docent (die heel duidelijk waren) ook veel aandacht voor beperkingen/twijfel die de AfL-aanpak met zich meebrachten.

Toch zijn er misverstanden ontstaan, doordat een aantal studenten de

De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken

53

verwachtingen toch niet begrepen.

8. Faciliteren Minder externe sturing.

Meer zelfsturing.

Meer stuurloosheid.

De colleges bestonden gedeeltelijk uit kennisoverdracht, maar daarnaast creëerde de docent ruimte voor individuele denk- en leerprocessen.

De wil om te delen (en studenten daarmee in staat te stellen te profiteren)

9. Leren door de docent

Het leren door de docent was niet altijd expliciet zichtbaar, het participeren en evalueren van zijn bijdrage binnen het vak wel.

De wil om (een zo gunstig mogelijke leer-omgeving) te bereiken

10. Reflecteren

Kritisch is ten opzichte van zijn eigen handelen.

Actief in het betrekken van studenten bij kritische reflectie.

Geen verandering in studieopvatting ‘opbouw van kennis’

De docent stelde vragen, hield de voortgang in de gaten, droeg alternatieven aan en vroeg om feedback.

De wil om vernieuwend te zijn (door het ouder vertrouwde los te laten en op zoek te gaan naar nieuwe en betere leeromstandigheden)

54

Hoofdstuk 5

Conclusie In dit hoofdstuk worden de onderzoeksvragen beantwoord:

1. Welk effect heeft AfL op de leerstijl van studenten?

2. Welke bijdrage levert AfL aan de onderzoekende/lerende houding van docent?

De resultaten van de (data-)analyses worden in verband gebracht met de bevindingen uit de literatuur.

Hier worden conclusies uit getrokken. Daarbij moet rekening gehouden worden met het feit, zoals

besproken in paragraaf 3.1.2, dat een beperkte mogelijkheid tot generaliseerbaarheid aan de orde is.

De omstandigheden waarin AfL is toegepast en de kenmerken van de onderzoekseenheden zijn

dermate specifiek, dat er slechts gegeneraliseerd kan worden naar soortgelijke groepen in

vergelijkbare omstandigheden.

5.1 Effect van AfL op leerstijl student

De eerste onderzoeksvraag ‘Welk effect heeft AfL op de leerstijl van studenten?’ is beantwoord aan de

hand van de vragenlijst en de ILS van Vermunt. Daarnaast zijn de bevindingen aangevuld met notities

uit de logboeken of het dagboek. De effecten van de toepassing van AfL op de leerstijl van studenten

worden gestructureerd aan de hand van de vier verschillende leerstijlen: de betekenisgerichte leerstijl,

de toepassingsgerichte leerstijl, de reproductieve leerstijl en de ongerichte leerstijl (Vermunt, 1998).

5.1.1 Betekenisgerichte leerstijl

Studenten met een betekenisgerichte leerstijl maken gebruik van zelfsturing, worden beïnvloed door

een persoonlijke interesse in leren en hebben als doel de opbouw van kennis die gerelateerd is aan

ervaringen of onderlinge verbanden met eerder opgedane kennis (Vermetten et al., 1999).

Het bevorderen van autonomie en zelfsturing door betrokkenheid bij het eigen leerproces is

het belangrijkste doel van AfL (Black et al., 2006). In dit onderzoek werd daarom een positieve invloed

van AfL op zelfsturing verwacht. Op basis van de resultaten van de ILS mag geconcludeerd worden dat

er inderdaad een verschuiving naar meer gebruik van zelfsturing heeft plaatsgevonden. Dit komt

overeen met de bevindingen op basis van de logboeken dat studenten meer autonoom te werk zijn

gegaan en onder andere middels groepsdiscussies en groepswerk betrokken waren bij vormgeving van

de leerprocessen. Uit het derde deel van de zelfontworpen vragenlijst blijkt echter dat er geen

veranderingen zijn opgetreden in de mate waarin studenten belang hechten deze betrokkenheid. De

resultaten van de ILS en de zelfontworpen vragenlijst spreken elkaar tegen. Een verklaring daarvoor

zou kunnen zijn dat de vraagstelling van de zelfontworpen vragenlijst ruimte laat voor twijfel over de

oorzaak of de afwezigheid van de verschillen tussen voor- en nameting. Deze zijn mogelijk niet

55

veroorzaakt door de implementatie van AfL, maar doordat studenten tijdens het volgen van het vak

bepaalde zaken gemist hebben en er daarom meer aan belang hechten. Het is ook mogelijk dat

studenten bepaalde zaken juist positief hebben ervaren en er daarom een onveranderd effect aan

hechten. Deze beperking wordt besproken in hoofdstuk 6: Discussie. Tijdens het grotendeels

zelfgestuurde leerproces worden studenten met een betekenisgerichte leerstijl beïnvloed door een

persoonlijke interesse in leren (Vermetten et al., 1999). Deze studenten willen zich persoonlijk

ontwikkelen en formuleren daarbij eigen doelen. Deze mate van persoonlijke inbreng is kenmerkend

voor AfL (Black & William, 1998a). Verwacht werd daarom een meer persoonlijk geïnteresseerd

studiemotief met als doel het opbouwen van kennis en het leggen van verbanden. Deze verwachte

effecten van de implementatie van AfL zijn niet aangetoond op basis van de ILS. Er is geen verschil

tussen de voor en nameting opgetreden.

Op basis van de literatuur werd verwacht dat AfL als effect zou hebben dat studenten meer

gebruik zouden maken van de betekenisgerichte leerstijl. Naast het opgetreden effect met betrekking

tot de regulatiestrategie zelfsturing zijn er op het gebied van deze leerstijl echter geen andere

veranderingen aangetoond. Geconcludeerd kan worden dat studenten meer gebruik maken van deze

leerstijl, maar minder dan verwacht.

5.1.2 Reproductiegerichte leerstijl

Studenten met een reproductiegerichte leerstijl maken bij het leren vooral gebruik van stapsgewijze

verwerkingsstrategieën waarbij weinig aandacht wordt besteed aan het leggen van verbanden. Deze

studenten worden daarbij extern gestuurd door bijvoorbeeld de docent. Het doel is het

opnemen/onthouden van kennis. In deze leerstijl werkt de student testgericht en certificaatgericht, de

focus ligt op het neerzetten van goede prestaties en het ontvangen van erkenning daarvan (Vermetten

et al., 1999).

Het doel van AfL is het stimuleren van zelfstandigheid en het inzichtelijk maken van

leerprocessen (Black & William, 1998b; Black et al., 2006). Dit staat bijna lijnrecht tegenover de

omschrijving van de reproductiegerichte leerstijl. Op basis van literatuur werd daarom een afname met

betrekking tot het gebruik van de reproductiegerichte leerstijl verwacht. In de AfL-praktijk staat het

leerproces centraal en wordt het behalen van een voldoende voor het vak als secundair doel gezien

(Clark, 2008). Daarom werd verwacht dat studenten minder certificaat- en testgericht zouden zijn en

zou het onthouden van kennis een kleinere rol moeten spelen. Van studenten werd, zoals onderbouwd

in paragraaf 5.1.1, juist meer zelfsturing in plaats van gebruik van externe sturing verwacht. Uit de

analyse van de antwoorden van studenten op de vragen van de ILS is gebleken dat de toepassing van

AfL tijdens het vak, in overeenstemming met de verwachtingen, heeft geleid tot minder gebruik van

externe sturing. Tegen de verwachting in moet ook geconcludeerd worden dat de studenten zich een

56

meer certificaatgericht studiemotief hebben aangemeten. Het behalen van het vak werd in grotere

mate een belangrijk doel. Een verklaring daarvoor zou kunnen zijn dat studenten in verband met

twijfels of onzekerheden op safe hebben gespeeld en daarom dit doel hebben gesteld. Deze beperking

wordt besproken in hoofdstuk 6: Discussie. Op het gebied van het gebruik van de stapsgewijze

verwerkingsstrategie (het onthouden van losse feiten) en het testgericht leren, hebben zich geen

veranderingen voorgedaan.

AfL heeft op het gebruik van de reproductiegerichte leerstijl zowel een positief als negatief

effect gehad. Er is als gevolg daarvan geen eenduidige uitspraak te doen met betrekking tot het effect

van AfL op het gebruik van deze leerstijl.

5.1.3 Toepassingsgerichte leerstijl

Vermetten, Lodewijks en Vermunt (1999) omschrijven studenten met een toepassingsgerichte leerstijl

als gebruikmakend van concrete verwerkingsstrategieën door tijdens het leren verbanden te leggen

met concrete eigen ervaringen. Deze studenten maken gebruik van zowel externe sturing als

zelfsturing. Ook zijn deze studenten van mening dat kennis in verband moet worden gebracht met de

praktijk om zo kwalificaties voor een bepaald beroep op te doen.

Door toepassing van AfL werd een mix van positieve en negatieve effecten met betrekking tot

deze leerstijl verwacht. In paragraaf 5.1.1 en 5.2.1 zijn de verwachtingen met betrekking op zelfsturing

en externe sturing onderbouwd. Op basis van de resultaten van de ILS is, in overeenstemming met de

verwachting, aangetoond dat studenten meer gebruik maakten van zelfsturing en minder van externe

sturing. Daarmee kan echter niet geconcludeerd worden dat er veranderingen zijn opgetreden met

betrekking tot het gebruik van een combinatie van beide sturingsvormen, zoals bij de

toepassingsgerichte leerstijl het geval is. Ook werd al genoemd dat Clark (2008) van de studenten

verwacht dat zij door toepassing van AfL meer persoonlijk gemotiveerd zouden zijn om te leren.

Daarom werd in dit onderzoek verwacht dat studenten ook minder beroepsgericht zouden leren

waarbij de opleiding enkel als pure noodzaak voor het verwerven van een baan gezien wordt. Op basis

van de resultaten van de statistische analyse mag geconcludeerd worden dat deze verwachting is

uitgekomen, dus dat studenten een minder beroepsgericht studiemotief hadden. Daarnaast is het in de

AfL praktijk van belang dat docenten voor aanvang van het leerproces doelen opstellen. Ook van

studenten wordt verwacht dat zij doelen formuleren (Black & William, 1998a; Juwah et al., 2004;

Sadler, 1989). Doelen die de student opstelt, brengen de studiestof in verband met ervaringen uit de

concrete praktijk die de student kent. Dit komt overeen met het gebruik maken van concrete

verwerkingstrategieën, waarvan daarom een verhoogd gebruikt verwacht werd. Deze verwachting is

niet uitgekomen. Er is geen verandering opgetreden.

57

Met betrekking tot slechts één van de vier leercomponenten, waaruit iedere leerstijl bestaat, is

een verandering aangetoond. Het effect van AfL op het aanmeten van de toepassingsgerichte leerstijl

is daarom niet eenduidig. Er kan alleen gezegd worden dat de studenten zich in mindere mate een

beroepsgericht studiemotief hebben aangemeten.

5.1.4 Ongerichte leerstijl

De vierde leerstijl betreft de ongerichte leerstijl. Studenten met deze leerstijl maken nauwelijks gebruik

van verwerkingsstrategieën. Ze hebben moeite met zelfsturing, maar zijn ook niet in staat om zich

extern te laten sturen. Tevens hebben ze geen duidelijk studiemotief. De studenten verwachten dat

het onderwijs stimulerend is. Samenwerking is voor deze studenten een gunstige manier om tot leren

te komen (Vermetten et al., 1999).

In de context van AfL wordt leren gezien als een gericht en sociaal proces (Black & William,

1998a). Daaruit komt de verwachting van een vermindering in het hebben van een ongerichte leerstijl

voort, want AfL stimuleert studenten juist om (gedeeltelijk) onafhankelijk van de docent zelfstandig

sturing te geven aan het leerproces (zelfsturing). Uit de inhoud van de logboeken is te concluderen dat

de verwachtingen van de docent niet langer toonaangevend waren. In plaats daarvan waren de

verwachtingen en doelen van de student belangrijker. Uit de logboeken blijkt echter ook dat studenten

het lastig vonden om zonder nadrukkelijke ondersteuning en kant-en-klare criteria van de docent

criteria op te stellen om daarmee sturing en inhoud te geven aan hun opdracht. Tegen verwachting in

heeft AfL dan ook als effect gehad dat studenten, naast meer zelfregulerend, meer stuurloos zijn

geworden. Tevens is een verandering met betrekking tot de studieopvatting van studenten

opgetreden. De studieopvatting die bij studenten met een ongerichte leerstijl past, is een combinatie

van het hechten van waarde aan samenwerking en de verwachting dat het onderwijs een stimulerende

rol heeft (Vermetten et al., 1999). Uit de logboeken is gebleken dat studenten gezien de groepsgrootte

en de vormgeving van het vak grotendeels afhankelijk waren van peer-assessment. In de literatuur

wordt dit omschreven als een proces waarbij de student door medestudenten beoordeeld wordt en

van hen feedback ontvangt (Juwah et al., 2004; Lauf & Dole, 2010). Daarnaast blijkt uit de logboeken

en het dagboek dat studenten die met een groep aan de uitwerking van de opdracht werkten vooral

gebruik maakten van feedback van groepsgenoten / medestudenten. De werkwijze van deze studenten

kwam overeen met coöperatief leren van Johnson, Johnson en Smith (1991) waarbij studenten elkaar

individueel verantwoordelijk houden voor een specifiek onderdeel van een taak en de losse delen

uiteindelijk samenvoegen. Studenten die kozen voor een individuele uitwerking van de opdracht

maakten meer gebruik van feedback van de docent. De verwachting dat studenten meer waarde

zouden hechten aan samenwerking is op basis van de analyse van de ILS uitgekomen. In het verlengde

daarvan werd, gezien de rol die formatieve assessment binnen AfL speelt, verwacht dat studenten

58

door toepassing van AfL minder waarde zouden hechten aan feedback met betrekking tot de kwaliteit

van het werk en meer waarde zouden hechten aan feedback met betrekking tot leren. Uit het eerste

en tweede deel van de zelfontworpen vragenlijst is gebleken dat deze verwachtingen niet zijn

uitgekomen. Daarnaast is uit de statistische analyse van de ILS een onveranderde houding ten aanzien

van de stimulerende rol van het onderwijs geconstateerd. Er kunnen daarom geen uitspraken gedaan

worden over de combinatie van samenwerking en stimulerend onderwijs.

Op het gebied van de ongerichte leerstijl heef zich daardoor slechts op één van de vier

leercomponenten een overtuigende verandering voorgedaan. Deze verandering wijst, in tegenstelling

tot de verwachting, op het in meerdere mate aanwezig zijn van de ongerichte leerstijl. Er moet echter,

in verband met de afwezigheid van overige veranderingen en het onduidelijke effect van AfL op de

component studieopvatting, geconcludeerd worden dat ook het effect van AfL op deze leerstijl niet

eenduidig is.

De hypothese was dat het invoeren van AfL veranderingen in de leerstijl van studenten teweeg zou

brengen (Black & William, 1998a; Butler & Winne, 1995; Dweck, 1986). Er werd voornamelijk een meer

betekenisgerichte leerstijl verwacht. Deze verwachtingen zijn uitgekomen. Er zijn wel een paar

onverwachte effecten opgetreden: meer stuurloosheid, meer certificaatgericht. Tevens is een aantal

verwachte effecten uitgebleven.

5.2 Bijdrage AfL aan onderzoekende houding docent

Assessment for Learning levert op verschillende manieren een bijdrage aan de onderzoekende houding

van de docent. Om deze bijdrage in kaart te brengen zijn de tien sleutelelementen van AfL ieder

afzonderlijk, zoals weergegeven in paragraaf 4.5, toebedeeld aan één van de aspecten van een

onderzoekende houding van Van der Rijst (2009): de wil om kritisch te zijn, te begrijpen, te bereiken, te

delen, vernieuwend te zijn en te weten. Per aspect worden de conclusies besproken. Deze zijn

gebaseerd op de logboeken, het dagboek en deel 5 van de zelfontworpen vragenlijst.

5.2.1 De wil om kritisch te zijn

Een docent met een onderzoekende houding heeft een kritische houding ten opzichte van eigen en

andermans handelen (Van der Rijst, 2009). Hier passen twee AfL sleutelelementen bij, namelijk het

geven van effectieve feedback en het aanzetten tot self-assessment van studenten. Om effectieve

feedback te kunnen geven moet de docent kritisch zijn ten opzichte van het werk en het leerproces van

studenten, maar ook ten opzichte van eigen werk. De feedback aan studenten moet effectief zijn zodat

studenten mede op basis hiervan vorm kunnen geven aan het verdere verloop van hun leerproces.

59

Hierbij is het principe van scaffolding aan de orde. Dit houdt in dat de docent tijdelijke ondersteuning

bij nieuwe leer/denkprocessen biedt (van de Pol et al., 2010). Ook moet de interne feedback, die de

docent zichzelf geeft met betrekking tot zijn leerproces effectief zijn. Het aanzetten tot self-assessment

valt onder het aspect ‘kritisch zijn’ omdat de docent hiermee de kritische houding van de studenten

stimuleert (UK Assessment Reform Group, 1999).

De docent heeft, gedurende de periode waarin het vak is aangeboden, op verschillende

manieren feedback aan studenten gegeven. Uit de logboeken blijkt dat niet alle studenten optimaal

gebruik hebben gemaakt van de mogelijkheid tot het ontvangen van feedback, maar de docent heeft

ervoor gezorgd dat geen enkele student geheel zonder het ontvangen van feedback het vak heeft

doorlopen. Feedback is niet per definitie effectief (Juwah et al., 2004). Er kan geconcludeerd worden

dat de docent middels formatieve feedback kritisch is geweest ten opzichte van de leerprocessen van

studenten. Met betrekking tot de kwaliteit van de feedback en hoe deze precies heeft bijgedragen aan

sturing van de leerprocessen van de studenten, moet op basis van de data helaas geconcludeerd

worden dat de docent weinig of geen inzicht heeft gekregen in de manier waarop studenten de

feedback gebruikten. De docent is dus wel kritisch geweest, maar het AfL sleutelelement is slechts in

beperkte mate op de juiste manier uit de verf gekomen. Ook het aanzetten tot self-assessment heeft

regelmatig plaats gevonden in de colleges. Ook hierover moet gezegd worden dat self-assessment niet

automatisch succesvol is. Studenten moeten daarin soms gestuurd of gecorrigeerd worden. Uit de

logboeken blijkt niet dat de docent inzicht heeft gekregen in de kwaliteit van de self-assessment van

studenten.

Op basis van de logboeken valt tevens op dat het handelen van de docent en de blik van zowel

de docent als de studenten op het vak bespreekbaar werd gemaakt. De docent deelde in de blog en

tijdens colleges zijn twijfels en kritiek en vroeg de studenten hetzelfde te doen. Hiermee probeerde de

docent tot verbetering van zijn lesgeven te komen door op behoeften in te spelen. Studenten werden

betrokken in het ontwikkelen van omstandigheden ten gunste van optimale leeropbrengsten. Een

voorbeeld hiervan is te vinden in het logboek van college twee waar de docent aangeeft dat hij

erachter is gekomen dat de studenten de blog meer als een verplichting dan als een kans zagen. De

docent speelde hier op in door nogmaals te benadrukken dat studenten ‘vrij’ waren om met of zonder

gebruik van de blog inhoud te geven aan hun leerproces.

Over het algemeen mag gesteld worden dat de docent, mede gestuurd door de vormgeving

van het vak en de toepassing van AfL daarin, een kritische houding heeft aangenomen en de studenten

daar ook in heeft gestimuleerd. Op basis van de logboeken is niet aan te tonen dat de docent inzicht

heeft in de effectiviteit van de feedback en de kwaliteit van de self-assessment. Studenten hebben

middels de vragenlijst aangegeven dat de docent, in vergelijking met andere docenten die niet op een

60

dergelijke actieve manier gebruik maken van AfL, meer kritisch is geweest ten opzichte van zijn eigen

handelen, de inhoud, vormgeving en voortgang van studenten tijdens het vak.

5.2.2 De wil om te begrijpen

Het tweede aspect van een onderzoekende houding dat Van der Rijst (2009) noemt is de wil om te

begrijpen. Een docent die probeert te achterhalen wat het gevolg, de oorzaak of de betekenis van een

verschijnsel is, voldoet op dit punt aan het hebben van een onderzoekende houding. Het AfL

sleutelelement dat aan dit aspect toebedeeld is, is het begrijpen van invloeden op leren door het

erkennen van de invloed die assessment heeft op de motivatie en het zelfvertrouwen, en daarmee op

het leren, van studenten (UK Assessment Reform Group, 1999).

Uit de logboeken is gebleken dat de docent veel aandacht heeft besteed aan het motiveren van

studenten. Dit heeft hij onder andere gedaan door het tonen van filmpjes, het geven van prikkelende

reactie op vragen van studenten en het aanhalen van eigen ervaringen van de docent. Daar moet bij

vermeld worden dat de docent de studenten heeft uitgedaagd om buiten hun comfortzone te treden,

zowel op het gebied van leren als op het gebied van zelfsturing. De docent heeft rekening gehouden

met de motivatie en het zelfvertrouwen van de studenten door zich beschikbaar te stellen voor het

geven van ondersteuning/feedback. Middels zowel individuele als groepsdiscussies/gesprekken,

reflectie- en evaluatiemomenten heeft de docent geprobeerd te begrijpen hoe hij door toepassing van

AfL de leeropbrengsten zo positief mogelijk kon beïnvloeden. Op basis van het dagboek kan worden

geconcludeerd dat studenten positief reageren tijdens de momenten waarop de vormgeving/

voortgang van het vak besproken wordt. Naarmate het vak vorderde en studenten meer gewend

waren aan het interactieve karakter, waren ze minder terughoudend in het bespreekbaar maken van

twijfels of problemen. De studenten merken dat de docent hier op in probeerde te spelen in een

poging de twijfel weg te nemen en zo een beter werkbare situatie voor de studenten te creëren.

Studenten hebben aangegeven dat de docent, in vergelijking met docenten die niet in deze

mate gebruik van AfL maken, in grotere mate moeite doet om te begrijpen wat studenten motiveert en

aanzet tot leren.

5.2.3 De wil om te bereiken

Dit aspect heeft betrekking op de wil om door te zetten en doelgericht te werk te gaan. Bij dit aspect

van de onderzoekende houding van de docent in het wetenschappelijke onderwijs passen vier AfL

elementen: openheid van zaken, het delen van duidelijke verwachtingen, het aanpassen van het

onderwijs en het leren door de docent. Openheid van zaken met betrekking tot verwachtingen,

persoonlijke interesses, vaardigheden en grenzen geeft richting aan de manier waarop de docent te

werk gaat om een doel te bereiken. Door duidelijke verwachtingen te scheppen en deze te delen met

61

de studenten, is de docent in staat om richting te geven aan de vorderingen die gedurende een

cursus/vak gemaakt worden en aan zijn eigen leerproces. Het doorzettingsvermogen van de docent

komt tot uiting in het aanpassen van het onderwijs aan de hand van assessment/beoordelingen door

zowel studenten als de docent zelf.

Bij aanvang van het vak heeft de docent de studenten op de hoogte gesteld van de inhoud van

het experiment, het toepassen van AfL tijdens het vak, en waarom hij daar zo enthousiast over is. Uit

de logboeken en het dagboek blijkt dat de verwachtingen van de docent regelmatig ter sprake zijn

gebracht, maar voor studenten desondanks niet altijd even duidelijk waren. Een voorbeeld hiervan is

het door studenten veronderstelde bindende karakter van de leercontracten. De zelfstandigheid die

van studenten verwacht wordt, is alleen haalbaar als de verwachtingen vanaf het begin van het vak

duidelijk zijn en als daarbij rekening wordt gehouden met persoonsspecifieke vaardigheden en grenzen

van zowel de docent als de student (Juwah et al., 2004). Omdat het voor studenten niet in alle gevallen

duidelijk was wat de verwachtingen waren, moet geconcludeerd worden dat de mogelijkheid bestaat

dat studenten niet optimaal in staat gesteld werden zelfstandig te werk te gaan. Dit strookt niet met

het doel (autonomie) van AfL. Op basis van de logboeken kan wel geconcludeerd worden dat de

zelfstandigheid waarbinnen studenten opereerden hen de mogelijkheid gaf om hun leerproces en

groepsproces af te stemmen op de vaardigheden die zij bezaten en verder wilden ontwikkelen. Dit

komt bijvoorbeeld naar voren in het logboek van college vier, waarin de docent benoemt dat de

studenten het groepswerk in konden richten op een manier die hen gepast leek. De docent stelde zijn

vaardigheden en de vormgeving van het vak regelmatig ter discussie. Met behulp van de inzichten die

daarbij aan het licht kwamen was hij in staat te bepalen hoe hij de studenten uit kon dagen tot

verbetering en hoe hij op basis daarvan zijn onderwijs aan kon passen. Dat de docent dit gedaan heeft

blijkt uit verschillende opmerkingen uit de logboeken. Een voorbeeld hiervan is te vinden in college

twee. De docent stelt vast dat de blog bedoeld was als mogelijkheid tot leren en het ontvangen van

feedback, maar studenten zagen het meer als een verplichting. De docent is hier tijdens colleges

meerdere malen op terug gekomen door de vrijblijvendheid en autonomie op het gebied van leren

nogmaals te benadrukken en studenten mee te nemen in de ontwikkeling naar grotere zelfstandigheid

op het gebied van leerprocessen. Vooral tijdens het tweede college-uur was het voor de docent niet of

in beperkte mate mogelijk om zicht te krijgen op de inhoud van de leerprocessen die gaande waren.

Op basis hiervan moet geconcludeerd worden dat de docent zijn onderwijs slechts kon aanpassen aan

de hand van aspecten die in het eerste college-uur naar voren kwamen of die door studenten via email

zijn aangekaart. Dat het tweede uur minder invloed op de aanpassing van het onderwijs had, is een

gemiste kans. Tijdens het tweede college-uur werd namelijk nadrukkelijker tijd besteedden aan de

vormgeving en inhoud van persoonlijke leerproces. Verschillende aspecten van AfL kwamen in dat uur

veel meer tot uiting dan in het eerste uur.

62

Geconcludeerd mag worden dat de AfL-praktijk heeft aangezet tot verschillende manieren om

op een doelgerichte manier het doel, goede leeruitkomsten, te bereiken. Wel zijn er tijdens het vak

een aantal omstandigheden aan de orde geweest waardoor de docent hierin beperkt werd. De

studenten geven middels deel 5 van de vragenlijst aan dat de docent, in vergelijking met andere

docenten in grotere mate de inhoud en vormgeving van de colleges aanpast op de behoeften en de

leerprocessen van studenten. Wel moet vermeld worden dat de logboeken voornamelijk

prestatiedoelen bevat en geen persoonlijke leerdoelen voor de docent. Daardoor is het op basis van de

logboeken in beperkte mate mogelijk om een uitspraak te doen over de mate waarin de docent

geleerd heeft hoe hij een effectieve AfL-praktijk vorm geeft.

5.2.4 De wil om te delen

De wil om te delen met studenten, docenten of andere belanghebbenden is het vierde aspect van een

onderzoekende houding van de docent (Van der Rijst, 2009). De twee sleutelelementen van AfL die aan

dit aspect toebedeeld zijn, zijn het stimuleren van betrokkenheid van studenten bij hun eigen

leerproces en het faciliteren/coachen van studenten om hen daardoor in staat te stellen tot het nemen

van controle over hun eigen leerproces. Het betreffende aspect uit zich in een enthousiasme en een wil

om ideeën over te brengen op anderen, maar ook open te staan voor de inbreng van anderen.

Uit de logboeken is gebleken dat het delen van bevindingen, gedachtegangen of inzichten door

de docent voor de studenten heeft geleid tot kritische reflectie op hun eigen denkwijzen en leerproces.

Dit sleutelelement van AfL is duidelijk tot zijn recht gekomen. De faciliterende rol van de docent stelt

studenten in staat controle te nemen over hun eigen leerproces. Deze participatieve/democratische

stijl van lesgeven, en daarbij het betrekken van de student bij het vaststellen van de inhoud en

vormgeving van het vak en de vormgeving en beoordeling van hun leercontract/opdracht, leidt ertoe

dat studenten hun leerproces zo effectief mogelijk ten uitvoer brengen en het denkniveau tot een

hoger niveau brengen. Wel moet geconcludeerd worden dat het eerste uur van de colleges, vanuit het

oogpunt van de studenten, voor een groot deel bestond uit luisteren naar de docent. Het tweede

college-uur, waarin studenten de opmerkingen van de docent op hun eigen leerproces toe konden

passen, werd daardoor onmisbaar in het kader van AfL. Uit de logboeken blijkt ook dat de

gastdocenten, die door de docent waren uitgenodigd, op de hoogte waren van de manier waarop het

vak vorm kreeg. De gastcolleges hadden een faciliterend karakter doordat studenten onder begeleiding

van experts uit het werkveld kennis maakten met verschillende manier van professionaliseren voor

leerkrachten. Tijdens de gastcolleges konden studenten ervaring opdoen.

Geconcludeerd mag worden dat de docent op verschillende manieren en om verschillende

redenen baat heeft gehad bij, en gebruik heeft gemaakt van, het delen van zijn inzichten. Studenten

hebben bij het beantwoorden van de vragenlijst aangegeven dat de docent, in vergelijking met andere

63

docenten, die AfL niet of in mindere mate toepassen, meer actief was in het betrekken van studenten

bij kritische reflecties van en inzichten in verschillende aspecten van het onderwijs en de

leerprocessen. Ook deelt hij in grotere mate de uitkomsten van zijn eigen reflecties met anderen.

5.2.5 De wil om vernieuwend te zijn

Het vijfde aspect van een onderzoekende houding is de wil om vernieuwend te zijn. De docent voldoet

hieraan doordat hij bereid en gemotiveerd is om AfL toe te passen in het onderwijs dat hij verzorgt.

Deze toepassing is uniek binnen de universiteit. Ook bij dit aspect past een sleutelelement van AfL,

namelijk reflecteren.

Door te reflecteren, vragen te stellen, nieuwe alternatieven aan te dragen en het analyseren

van twijfels en zekerheden, zoals genoemd in de logboeken, werd het vak en daarmee de toepassing

van AfL geëvalueerd en heeft de docent regelmatig inzicht gekregen in de voortgang van het project.

Daarbij is ervoor gewaakt dat de praktijk inderdaad vernieuwend blijft door ervoor te zorgen dat AfL op

de juiste manier werd toegepast. Dit komt bijvoorbeeld terug in het logboek van college drie, waarin

wordt aangegeven dat het in eerste instantie de bedoeling was om van leren een sociaal proces te

maken door samen te werken in groepen. De docent heeft tijdens dat college aangegeven dat het niet

verplicht is om in groepen te werken, maar dat de overweging tussen groepswerk en individueel werk

dan een opzichzelfstaande leerervaring kon zijn. Terugval in het oude patroon van kennisoverdracht

door de docent, waarbij studenten grotendeels afhankelijk van de docent zijn, werd in de logboeken

regelmatig opgemerkt. Doordat de docent zich hiervan bewust was, was hij in staat zijn handelen aan

te passen en vernieuwend te blijven. Ook kreeg de docent tijdens reflectiemomenten inzicht in hoe de

praktijk verbeterd kon worden om AfL zo goed mogelijk tot haar recht te laten komen. Op basis van de

logboeken en het dagboek is geen duidelijk overzicht op te stellen van de verbeteringen die hieruit

voortgekomen zijn. Het is daarom ook niet mogelijk een conclusie te trekken met betrekking tot de

kwaliteit van die verbeteringen.

De docent van het vak heeft met het toepassen van AfL, het bewaken van de kwaliteit daarvan

en het zoeken naar nieuwe inzichten aangetoond een onderzoekende houding te hebben. Studenten

hebben middels de vragenlijst aangegeven dat de betreffende docent meer actief is in het zoeken naar

mogelijkheden tot verbetering met betrekking tot zijn handelen en de inhoud van het vak dan andere

docenten in het algemeen.

5.2.6 De wil om te weten

De neiging om te willen weten, het zesde aspect van de onderzoekende houding van de docent, heeft

betrekking op nieuwsgierigheid naar het onbekende (Van der Rijst, 2009). Een docent die aan dit

aspect voldoet is leergierig en gemotiveerd om meer te willen weten. Het AfL sleutelelement dat aan

64

dit laatste aspect is toebedeeld, is het leren door de docent. In de AfL praktijk is het van belang dat de

docent leert, participeert en zijn bijdrage binnen het vak evalueert. Hij wil meer te weten komen om zo

tot een optimale onderwijssituatie te komen.

De wil om te weten heeft betrekking op leergierigheid en nieuwsgierigheid. De lerende

houding van de docent was zichtbaar door participatie van de docent aan klassikale discussies,

groepsdiscussies en de beschikbaarheid voor individuele gesprekken. Heel regelmatig probeerde de

docent de vormgeving van het vak, het effect van AfL en zijn eigen handelen met behulp van dialoog te

evalueren en tot nieuwe inzichten te komen.

Geconcludeerd mag worden dat de toepassing van AfL de docent uitdaagt tot het ontwikkelen

van en/of handelen conform zijn leergierigheid en nieuwsgierigheid. De betreffende docent heeft hier

op verschillende manier vorm aan gegeven, maar, zoals in paragraaf 5.2.5 vermeld, is het op basis van

de logboeken niet mogelijk om uitspraken te doen met betrekking tot de kwaliteit van de

verbeteringen.

De hypothese was dat het gebruik van AfL een positieve bijdrage levert aan de onderzoekende houding

van de docent (Black & William, 1998a; 1998b; James & McCormick, 2009). Op basis van het onderzoek

is te concluderen dat de toepassing van de tien sleutelelementen van AfL een (positieve) bijdrage heeft

geleverd aan alle zes aspecten van de onderzoekende houding van de docent, zoals door Van der Rijst

(2009) omschreven. De precieze mate waarin deze bijdrage positief was, is op basis van dit onderzoek

niet in kaart te brengen.

65

Hoofdstuk 6

Discussie

In dit hoofdstuk worden de beperkingen van het onderzoek en aanbevelingen voor vervolgonderzoek

besproken. De aanbevelingen worden aangevuld met mogelijke hypothesen met betrekking tot de

toepassing van AfL in het hoger onderwijs.

6.1 Beperkingen van het onderzoek en suggesties voor vervolgonderzoek

Zoals elk onderzoek, kent ook dit onderzoek een aantal beperkingen die mogelijk invloed hebben

gehad op de uitkomsten en conclusies. In deze paragraaf worden deze beperkingen en suggesties voor

verbetering weergegeven.

Om bij het begin van het onderzoek te beginnen, moet de beperking van het ontbreken van een tijdige

literatuurstudie als eerste worden genoemd. Door een korte tijd tussen kennismaking met de docent

en de start van het vak was het niet mogelijk om voor het eerste college, waarin de voormeting heeft

plaatsgevonden, de literatuurstudie af te ronden. Hierdoor was pas na de dataverzameling (voor- en

nameting van de zelfontworpen vragenlijst en mijn inbreng in de logboeken) helder inzicht in AfL

ontstaan. Als gevolg hiervan moet de doeltreffendheid en efficiëntie van beide dataverzamelings-

methoden in twijfel getrokken worden en is er mogelijk een beperking met betrekking tot de te

trekken conclusies opgetreden. Een tijdige literatuurstudie had wellicht geleid tot instrumenten die

meer gericht waren op het vinden van een zo volledig mogelijk antwoord op de onderzoeksvragen. Zo

had bijvoorbeeld de kwaliteit van de handelingen van de docent, zoals de kwaliteit van de gegeven

feedback of van de veranderingen in het lesgeven, kunnen/moeten worden meegenomen om de

onderzoekende houding van de docent beter in beeld te brengen.

De tweede beperking die dit onderzoek kent, heeft ook te maken met de gebruikte

instrumenten. De logboeken hadden meer betrekking op de tien sleutelelementen van AfL moeten

hebben, om er betere uitspraken over te kunnen doen. Tijdens dit onderzoek zijn de tien

sleutelelementen pas achteraf aan de doelen in de logboeken gekoppeld. Daardoor ontstaat in de

resultaten een zekere mate van herhaling. De resultaten overlappen elkaar gedeeltelijk, waardoor er

mogelijk een vertekend beeld is ontstaan. Vervolgens werden deze weer afzonderlijk gekoppeld aan de

zes aspecten van een onderzoekende houding van de docent. Hierdoor was de docent in mindere mate

in staat om inzicht te verwerven met betrekking tot zijn implementatie van AfL en was de link met de

onderzoekende houding moeilijker te leggen. Bovendien kan ter discussie gesteld worden of de

sleutelelementen van AfL afzonderlijk kunnen worden toegedeeld aan één van de aspecten van de

66

onderzoekende houding van de docent. Het is wellicht niet terecht om een dergelijk zwart-wit

onderscheid te veronderstellen. De tweede vragenlijst is een zelfontworpen vragenlijst, die op een

globale literatuurstudie gebaseerd is. Deze is in verband met het eerder genoemde tijdgebrek niet van

tevoren getest op betrouwbaarheid. Aan de hand van deze vragenlijst zijn weinig significante effecten

aangetoond. De significante verschillen die wel zijn aangetoond kunnen door de vraagstelling in twijfel

getrokken worden. Er is namelijk discussie mogelijk of de verschillen tussen voor- en nameting

veroorzaakt zijn door de implementatie van AfL of dat studenten tijdens het volgen van het vak

bepaalde zaken gemist hebben en daarom meer belang hechten aan bijvoorbeeld inzicht in de

kwaliteit van hun werk en begeleiding bij hun individuele leerproces door de docent, zoals gebleken is

aan de hand van de resultaten van de vragenlijst. Het toepassen van een bestaand instrument heeft de

voorkeur. Baarda en De Goede (2006) stellen namelijk dat met behulp van betrouwbare en valide

instrumenten nauwkeuriger testen op bestaande verbanden. Wellicht waren er dan, zoals verwacht,

meer effecten aangetoond.

De kwantitatieve instrumenten die zijn gebruikt, de ILS en de vragenlijst, vragen beide om

zelfrapportage van de respondenten. Aan zelfrapportage is een belangrijk nadeel verbonden. De

vragenlijsten meten namelijk niet de handelingen van studenten, maar de ideeën die studenten daar

zelf over hebben. Zelfrapportage laat ruimte voor subjectiviteit en de resultaten ervan zijn door vele

factoren beïnvloedbaar (Baarda & De Goede, 2005). Een suggestie voor verder onderzoek zou dan ook

zijn om de negatieve effecten van zelfrapportage zoveel mogelijk uit te sluiten of te kiezen voor een

vorm van dataverzameling die complementerend aan zelfrapportage is.

De vierde beperking die het onderzoek met zich meebrengt heeft betrekking op de momenten

waarop de voor- en nameting hebben plaatsgevonden. Voor de dataverzameling van de voormeting

hebben studenten de vragenlijsten mee naar huis gekregen en zijn ze ook online beschikbaar gesteld.

De nameting heeft tijdens het laatste college in de collegezaal plaatsgevonden. Een suggestie voor

vervolgonderzoek is het zoveel mogelijk gelijk houden van de omstandigheden waaronder de

vragenlijsten worden ingevuld. Dit voorkomt ongewenste invloed van storende variabelen op de

antwoorden die studenten geven. Daarnaast is het voor vervolgonderzoek belangrijk om rekening te

houden met de mate van vordering van studenten ten tijde van het invullen van de vragenlijst. Tijdens

het begin van het vak proberen studenten hun draai nog te vinden en zijn ze bezig met het creëren van

overzicht met betrekking tot de inhoud en vormgeving van het vak. Op het moment van de nameting

waren veel studenten aan het werk met hun opdracht. Sommigen van hen zaten al in de afrondende

fase anderen zagen de naderende deadline voor het inleveren van de opdracht misschien als een

bedreiging. De gevonden effecten zijn dan misschien niet het effect van de implementatie van AfL,

maar van de invloed van de verschillende gemoedstoestanden op de antwoorden die studenten geven

op de vragen die gesteld worden.

67

Een andere beperking van het onderzoek is het aantal respondenten. Niet alle studenten

waren bij zowel de voor- als de nameting aanwezig. In dit onderzoek is voor het grootste deel alleen de

data van studenten, die aan beide metingen hebben meegedaan, meegenomen. Daardoor was het

aantal respondenten laag. Een klein aantal respondenten leidt tot een kleinere ‘statistische power’

(Drenth & Sijtsma, 2006). Hierdoor was de kans op significante effecten kleiner. Daarnaast is de groep

respondenten niet helemaal representatief voor de totale groep studenten die het vak gevolgd

hebben. Alle internationale studenten zijn uitgesloten van deelname, zij waren tijdens de nameting

geen van allen aanwezig. Daarnaast bestaat de mogelijkheid dat de studenten die aanwezig waren bij

zowel het eerste als laatste college meer gemotiveerd zijn voor het halen van het vak. Dit kan van

invloed zijn geweest op de effecten die aan de hand van de data-analyse zijn vastgesteld. Bij

vervolgonderzoek of herhaling van dit onderzoek zou, tijdens het opzetten van het onderzoek,

nagedacht moeten worden over het benaderen van de steekproefpersonen.

De zesde beperking van het onderzoek is het aantal respondenten dat tussen de voor- en

nameting geen voor- of achteruitgang vertoont. Dit geldt vooral voor veel items van de zelfontworpen

vragenlijst. Voor de analyse levert dit beperkingen op. Respondenten die op een item geen

verandering vertonen, worden namelijk uitgesloten van de analyse. Dit werd gedaan omdat de

Wilcoxon rangtekentoets niet uit te voeren is met knopen in de data, maar het gevolg hiervan was wel

dat het aantal respondenten in de analyse soms erg laag was. Door het kiezen van een grotere

steekproef zijn de effecten van AfL nauwkeuriger in beeld te brengen.

Niet alleen het aantal respondenten heeft invloed op het vinden van significante verschillen.

De grootte van de groep studenten die het vak volgden, had invloed op de mogelijkheid tot het geven

van individuele feedback. Daarnaast heeft de groepsgrootte mogelijk invloed op de betrokkenheid van

de studenten, het inzicht in de leerprocessen van de studenten voor de docent en de steun/sturing

door de docent die de student ervaart. Het toepassen van AfL tijdens een vak met een kleinere groep

studenten kan daarom andere resultaten opleveren.

Bij de dataverzameling van dit onderzoek is gevraagd naar de eerste taal en de vooropleiding

van de studenten. Voor vervolgonderzoek is het mogelijk waardevol om meerdere extra variabelen

mee te nemen. De leeftijd van de steekproefpersonen was namelijk behoorlijk divers. Daarnaast is een

deel van de steekproefpersonen werkzaam in het onderwijs of daaraan gerelateerde instellingen.

Werkervaring zou bijvoorbeeld samen kunnen hangen met een bepaalde leerstijl. Werkervaring en

leeftijd hangen vaak positief met elkaar samen, daarom is het niet ondenkbaar dat leeftijd ook

samenhangt van leerstijl. Tevens kan het al dan niet hebben van succeservaringen in het onderwijs,

bijvoorbeeld het regelmatig succesvol zijn in het afsluiten van vakken, invloed hebben op de leerstijl

die studenten zich aanmeten. De ene student zal daardoor misschien meer vatbaar zijn voor het effect

van AfL op zijn/haar leerstijl dan de andere student.

68

Uit de data is gebleken dat de meeste studenten hebben aangegeven dat ze dachten dat het

feit dat het vak in het Engels gegeven werd een negatieve invloed op hun participatie en

leeropbrengsten zou hebben. In de logboeken is meerdere keren aangegeven dat de klassikale

discussies niet altijd even goed van de grond kwamen. Studenten hebben aangegeven dat de

taalbarrière hier invloed op heeft gehad. Mogelijk zijn de leeropbrengsten en veranderingen in leerstijl

hierdoor vertekend. Een suggestie voor vervolgonderzoek is daarom het uitvoeren van onderzoek naar

het effect van AfL op de leerstijl van studenten in een groep studenten, die Nederlands als de eerste

taal heeft, en waarbij de docent in het Nederlands doceert.

De tiende en laatste beperking die hier besproken wordt is de mogelijke vertekening van de

effecten van AfL op de leerstijl van de studenten door de korte tijd waarin AfL toegepast is. Zowel de

studenten als de docent hebben aangegeven dat zeven weken te weinig tijd is om helemaal te wennen

aan de diverse aspecten van AfL. De betreffende studenten volgen al jaren onderwijs waarin ze meer

afhankelijk zijn van de docent. Ze zijn niet meer gewend om in grote mate zelf inhoud en sturing te

geven aan hun leerproces. Het is bijvoorbeeld mogelijk dat studenten hierdoor aan het eind van het

vak, tegen de verwachting in, zich meer stuurloos hebben gevoeld. Het zou daarom voor het inzicht in

de effecten van AfL op de leerstijl van de studenten bevorderlijk zijn om AfL gedurende een langere

periode toe te passen en de veranderingen in leerstijl gedurende die periode in kaart te brengen.

6.2 Aanbevelingen en mogelijke hypothesen

Het onderzoek heeft een aantal significante effecten opgeleverd. Daarnaast kende het onderzoek een

aantal beperkingen, waardoor de gevonden effecten mogelijk vertekend waren en bestaande effecten

mogelijk niet aangetoond werden. Ook kent het onderzoek een beperkte generaliseerbaarheid. Daaruit

zijn een aantal aanbevelingen en hypothesen voortgekomen, die in deze paragraaf besproken worden.

De eerste aanbeveling is het meer benadrukken van de beschikbaar van de docent voor het geven van

feedback en de kwaliteit ervan. Voor de studenten uit de steekproef was de toepassing van AfL, en de

daarbij horende vrijblijvendheid en eigen verantwoordelijkheid, nieuw. Het kost tijd om daar aan te

wennen. Het extra benadrukken van de feedbackmogelijkheden, zeker in de beginfase van de

toepassing van AfL, is essentieel. Daarmee is het voor het onderzoek goed om de kwaliteit van de

gegeven/ontvangen feedback in kaart te brengen om zo nauwkeurige uitspraken te kunnen doen over

het effect van effectieve feedback op de leerstijl van studenten.

Hypothese: Het ontvangen van effectieve feedback leidt tot, minder stuurloosheid, minder

certificaat gericht werken en meer gebruik van de betekenisgerichte leerstijl door studenten.

69

Een onverwachte uitkomst van het onderzoek was dat studenten meer gebruik maakten van een

stuurloze regulatiestrategie. AfL. De vrijheid en eigen verantwoordelijkheid vergen een zekere mate

van zelfsturing door de student. De studenten waren dit niet gewend. Het is mogelijk dat studenten

hierdoor, tegen de verwachting in, zich meer stuurloos hebben gevoeld. Het onverwacht aangetoonde

effect dat studenten meer certificaatgericht te werk zijn gegaan, was mogelijk een gevolg van deze

onwennigheid en het gevoel van stuurloosheid. Door zich te richten op het behalen van het vak,

speelden de studenten op safe. Een mogelijk logische gevolgtrekking hieruit is dat de effecten van de

toepassing van AfL zich op de lange termijn stabiliseren of zelfs pas laten zien. De aanbeveling voor het

toepassen van AfL in het hoger onderwijs is daarom het verlengen van de periode van toepassing.

Hypothese: Langdurige toepassing van AfL en daarbij volledige gewenning van studenten leidt,

zoals verwacht, tot minder stuurloosheid en certificaatgericht werken onder studenten.

Hypothese: Effecten van de toepassing van AfL op de leerstijl van studenten stabiliseren en/of

verschijnen bij langdurige invoering.

Uit de vakevaluatie, door studenten ingevuld, is gebleken dat het Engels van de docent goed te volgen

is. Studenten hebben echter bij het invullen van de vragenlijst aangegeven dat voornamelijk hun

actieve betrokkenheid tijdens colleges negatief beïnvloed wordt door het feit dat het vak in het Engels

gegeven werd. Van masterstudenten mag verwacht worden dat zij in staat zijn om in het Engels te

communiceren, maar de docent was bereid om bijdragen aan de groepsdiscussie naar het Engels te

vertalen. Dit is slechts enkele keren voorgekomen. Een behoorlijke groep studenten heeft zich stil

gehouden, waaronder de internationale studenten. De aanbeveling is om ervoor te zorgen dat de taal

een lage drempel vormt voor deelname aan de groepsdiscussies. Dit kan bijvoorbeeld gedaan worden

door het verkleinen van de groepen.

Hypothese: Door deelname aan de groepsdiscussies laagdrempelig te maken met betrekking

tot de taal waarin gecommuniceerd wordt, zullen meer studenten deelnemen aan de gesprekken en

zullen zij er wat betreft hun leer- en denkproces meer van profiteren.

De studenten hebben aangegeven dat de eisen, die aan de opdrachten werden gesteld, onduidelijk

waren. De docent heeft, zoals uit de resultaten van dit onderzoek is gebleken, zijn verwachtingen vanaf

het begin van het college met de studenten gedeeld. Duidelijke criteria voor de opdracht waren

inderdaad niet aanwezig. Voor studenten waren de eisen, die voor masterstudenten van toepassing

zijn, beschikbaar. Van studenten werd verwacht dat zij zelf criteria opstelden die bij hun leerproces en

opdracht pasten. Het is aan te bevelen om hier samen met de studenten meer aandacht aan te

besteden, zodat studenten zich hier vanaf het begin van het vak bewust van zijn en zich minder

stuurloos voelen.

70

Hypothese: Door studenten beter te informeren over de criteria die ze zelf op moeten stellen,

zullen studenten beter weten waar ze aan toe zijn en zich minder stuurloos voelen.

Uit de vakevaluatie is gebleken dat de studenten van mening zijn dat de behandelde literatuur hen

slechts in beperkte mate begrip van de leerstof gaf. In mijn reactie op de logboeken heb ik een

soortgelijke opmerking geplaatst. AfL en de autonomie van de student brengt een breed scala aan

onderwerpen van de opdracht met zich mee. Deze hebben allemaal te maken met professionalisering,

maar houden niet allemaal even duidelijk verband met de verschillende methoden van

professionaliseren die tijdens het eerste uur van de colleges werd besproken. Daarnaast zijn studenten

gewend aan kennisoverdracht door de docent, zoals Santrock (2009) beschrijft. Ze gaan er daarom van

uit dat het de bedoeling is dat zij van alle methoden tot in detail op de hoogte zijn.

Hypothese: Door regelmatiger overzicht van de behandelde en te behandelen stof te creëren,

zijn studenten beter in staat hun leerproces in het geheel van het vak te plaatsen.

Hypothese: Door duidelijker aan te geven dat van studenten niet verwacht wordt dat zij

‘expert’ worden op het gebied van alle behandelde methoden van professionalisering, zullen

studenten zich vrijer voelen om van de colleges op te pikken wat een bijdrage levert aan hun

leerproces.

Ten slotte de laatste en belangrijkste aanbeveling. Gezien de effecten, het enthousiasme en de

overwegend goede leeruitkomsten die AfL op korte termijn teweeg heeft gebracht, is de aanbeveling

om AfL toe te blijven passen en studenten daarbij zelf vorm te laten geven aan de opdracht. De laatste

hypothese wordt niet alleen door dit onderzoek, maar ook door de literatuur onderschreven.

Hypothese: Assessment for Learning bevordert de autonome rol van de student en verhoogt

de motivatie tot leren. Hetgeen van deze studenten effectievere lifelong learners maakt.

71

Literatuurlijst

Baarda, D. B., & De Goede, M. P. M. (2005). Basisboek Kwalitatief Onderzoek. Handleiding voor het

opzetten en uitvoeren van kwalitatief onderzoek. (2nd ed.). Groningen/Houten: Wolters-

Noordhoff.

Baarda, D. B., & De Goede, M. P. M. (2006). Basisboek Methoden en Technieken: Handleiding voor het

opzetten en uitvoeren van kwantitatief onderzoek (4th ed.). Groningen/Houten: Wolters-

Noordhof.

Black, P., McCormick, R., James, M., & Pedder, D. (2006). Learning How to Learn and Assessment for

Learning: A Theoretical Inquiry. Research Papers in Education, 21(2), 119-132.

Black, P., & William, D. (1998a). Assessment and classroom learning. Assessment in Education:

Principles, Policy & Practice, 5(1), 7-74.

Black, P., & William, D. (1998b). Inside the Black Box--Raising Standards through Classroom

Assessment. Phi Delta Kappan, 20(2), 139-144.

Boeije, H. R. (2005). Analyseren in kwalitatief onderzoek: denken en doen. Amsterdam: Boom

onderwijs.

Boyle, W. F., & Charles, M. (2010). Leading Learning through Assessment for Learning? School

Leadership & Management, 30(3), 285-300.

Brinkman, J. (2000). De vragenlijst. Groningen/Houten: Wolters-Noordhoff.

Butler, D. L., & Winne, P. H. (1995). Feedback and Self-Regulated Learning: A Theoretical Synthesis.

Review of Educational Research, 65(3), 245-281.

Clark, I. (2008). Assessment is for learning: Formative assessment and positive learning interactions.

Florida Journal of Educational Administration & Policy, 2(1), 1-16.

Cooper, D. (2006). Talk About Assessment: Strategies and Tools to Improve Learning. Toronto: ON:

Thomson Nelson.

Cresswell, J., & Garrett, A. L. (2008). The “movement” of mixed methods research and the role of

educators. South African Journal of Education, 28, 321-333.

Crooks, T. J. (1988). The Impact of Classroom Evaluation Practices on Students. Review of Educational

Research, 58(4), 438-81.

Dijkstra, W., & Smit, J. H. (1999). Onderzoek met vragenlijsten: een praktische handleiding. Amsterdam:

VU Uitgeverij.

Drenth, P. J. D., & Sijtsma, K. (2006). Testtheorie: inleiding in de theorie van de psychologische test en

zijn toepassingen (4th ed.). Houten: Bohn Stafleu van Loghum.

72

Duff, A., Boyle, E., Dunleavy, K., & Ferguson, J. (2004). The relationship between personality, approach

to learning and academic performance. Personality and Individual Differences, 36, 1907-1920.

Dweck, C. S. (1986). Motivational Processes Affecting Learning. American Psychologist, 41(10), 1040-

1048.

Hargreaves, E. (2005). Assessment for Learning? Thinking Outside the (Black) Box. Cambridge Journal of

Education, 35(2), 213-224.

Hargreaves, E. (2007). The Validity of Collaborative Assessment for Learning. Assessment in Education:

Principles, Policy & Practice, 14(2), 185-199.

Hoskins, B., & Fredriksson, U. (2008). Learning to learn: What it is and can it be measured? Joint

Research Centre Technical Report JRC 46532, Luxembourg: Office for Official Publications of The

European Communities.

Howard-Rose, D., & Winne, P. H. (1993). Measuring Component and Sets of Cognitive Processes in Self-

Regulated Learning. Journal of Educational Psychology, 85(4), 591-604.

Hume, A., & Coll, R. K. (2009). Assessment of Learning, for Learning, and as Learning: New Zealand Case

Studies. Assessment in Education: Principles, Policy & Practice, 16(3), 269-290.

James, M., & McCormick, R. (2009). Teachers Learning How to Learn. Teaching and Teacher Education:

An International Journal of Research and Studies, 25(7), 973-982.

James, M., McCormick, R., Black, P., Carmichael, P., Drummond, M. J., & Fox, A. (2007). Improving

learning how to learn in classrooms, schools and networks. London: Routledge.

Johnson, D. W., Johnson, R. T., & Smith, K. (1991). Cooperative Learning: Increasing College Faculty

Instructional Productivity. ASHE-ERIC Higher Education Report (4), Clearinghouse on Higher

Education, Washington, DC: The George Washington University.

Juwah, C., Macfarlane-Dick, D., Matthew, R., Nicol, D., Ross, D., & Smith, B. (2004). Enhancing student

learning through effective formative feedback. York: Higher Education Academy (Generic Centre).

Lauf, L., & Dole, S. (2010). Assessment for Learning Tasks and the Peer Assessment Process.

Mathematics Education Research Group of Australasia.

Maso, I., & Smaling, A. (1998). Kwalitatief onderzoek: praktijk en theorie. Amsterdam: Boom.

Sadler, D. R. (1989). Formative Assessment and the Design of Instructional Systems. Instructional

Science, 18(2), 119-44.

Santrock, J. W. (2009). Educational psychology (4th ed.). Boston: McGraw-Hill.

Scriven, M. (1966). The Methodology of Evaluation Social Science Education Consortium, Publication

110.

73

Seger, J. H. G. (2002). Methoden voor de maatschappijwetenschappen (2nd ed.). Assen: Van Gorcum.

Taras, M. (2007). Assessment for Learning: Understanding Theory to Improve Practice. Journal of

further and Higher Education, 31(4), 363-371.

Taras, M. (2008). Assessment for Learning: Sectarian Divisions of Terminology and Concepts. Journal of

further and Higher Education, 32(4), 389-397.

Taras, M. (2009). Summative Assessment: The Missing Link for Formative Assessment. Journal of

further and Higher Education, 33(1), 57-69.

Torrance, H. (2007). Assessment "as" Learning? How the Use of Explicit Learning Objectives,

Assessment Criteria and Feedback in Post-Secondary Education and Training Can Come to

Dominate Learning. Assessment in Education: Principles, Policy & Practice, 14(3), 281-294.

UK Assessment Reform Group. (1999). Assessment for Learning: Beyond the Black Box. Opgevraagd van

http://www.aaia.org.uk/afl/assessment-reform-group. Datum van raadpleging: 10 februari, 2012.

Van de Pol, J., Volman, M., & Beishuizen, J. (2010). Scaffolding in Teacher-Student Interaction: A

Decade of Research. Educational Psychology Review, 22(3), 271-296.

Van der Rijst, R. M. (2009). The research-teaching nexus in the sciences: scientific research dispositions

and teaching practice. Unpublished Doctoral dissertation, ICLON, Leiden University Graduate

School of Teaching, Leiden.

Vermetten, Y. J., Lodewijks, H. G., & Vermunt, J. D. (1999). Een structureel model over de relaties

tussen leeropvattingen, regulatie en cognitieve verwerking. Tijdschrift Voor Onderwijsresearch,

24(1), 8-20.

Vermunt, J. D. (1998). The regulation of constructive learning processes. British Journal of Educational

Psychology, 68(2), 149-171. doi:10.1111/j.2044-8279.1998.tb01281.x

Vermunt, J. D. (2005). Relations between Student Learning Patterns and Personal and Contextual

Factors and Academic Performance. Higher Education: The International Journal of Higher

Education and Educational Planning, 49(3), 205-234.

Vermunt, J. D., & Verloop, N. (2000). Dissonance in Students' Regulation of Learning Processes.

European Journal of Psychology of Education, 15(1), 75-89.

Wall, J. E., & Walz, G. R. (2003). Measuring Up: Assessment Issues for Teachers, Counselors, and

Administrators. ERIC Clearinghouse on Counseling and Student Services.

Walser, T. M. (2009). An Action Research Study of Student Self-Assessment in Higher Education.

Innovative Higher Education, 34(5), 299-306.

74

Bijlagen

In de bijlagen zijn verschillende documenten of delen daarvan opgenomen. Vanzelfsprekend is alle

data van het project in zijn geheel opvraagbaar.

75

Bijlage 1 Zelfontworpen vragenlijst

Name ……………………………………………….

Previous education: bachelor program/ schakelprogramma / otherwise: …………………………………………

Mother tongue: Dutch / English / otherwise: ………………………………………….

1 2 3 4 5

Very important Important Neutral Unimportant Very Unimportant

Feedback on the quality of your work.

How important do you think it is to:

1) give feedback to fellow students 1 2 3 4 5

2) receive feedback from fellow students 1 2 3 4 5

3) receive feedback from the teacher during the course 1 2 3 4 5

4) receive feedback from the teacher at the end of the course 1 2 3 4 5

5) get the opportunity to adjust your work using received feedback 1 2 3 4 5

6) give and receive positive feedback 1 2 3 4 5

7) have insight in the quality of your work 1 2 3 4 5

8) know how you can improve the quality of your work 1 2 3 4 5

Feedback on your learning.

How important do you think it is to:

1) have insight in the progress of your learning 1 2 3 4 5

2) independently evaluate your own learning 1 2 3 4 5

3) know that fellow students consider your motivation and confidence in the feedback

they give to you 1 2 3 4 5

4) know that the teacher considers your motivation and confidence in the feedback

he gives to you 1 2 3 4 5

5) have a teacher who is willing to support you in your individual learning process. 1 2 3 4 5

6) have a teacher who will help you in gaining insight into your own learning 1 2 3 4 5

7) have a teacher who gives you advice on how to improve your learning 1 2 3 4 5

Involvement

How important do you think it is to:

1) have clarified expectations for the course, provided by the teacher 1 2 3 4 5

2) understand what expectations are related to the course 1 2 3 4 5

3) have the teacher point out what prior knowledge he expects from the students 1 2 3 4 5

4) actively involve students in determining the content of the course 1 2 3 4 5

5) actively involve students in how students’ results are evaluated at the end of the course 1 2 3 4 5

6) have the opportunity to ask questions in class. 1 2 3 4 5

7) have the opportunity to ask questions individually (no other students present) 1 2 3 4 5

8) have a teacher who adapts the content of his lectures to the needs/expectations of

the students. 1 2 3 4 5

76

1 2 3 4 5

Strongly Disagree Disagree Undecided Agree Strongly Agree

Statements

1) Receiving feedback during the course is just as important as receiving feedback at

the end of the course. 1 2 3 4 5

2) Giving feedback to fellow students is just as important as receiving feedback from them. 1 2 3 4 5

3) Independently evaluating your own learning process is just as important as

the evaluation of your learning process by the teacher. 1 2 3 4 5

4) Independently evaluating your own learning process is just as important as

the evaluation of your learning process by fellow students. 1 2 3 4 5

5) Evaluation of your learning process by fellow students is just as important as

the evaluation of your learning process by the teacher. 1 2 3 4 5

6) I am solely responsible for my final grade on this course. 1 2 3 4 5

7) The content and methods of the course must be established in advance by the Teacher. 1 2 3 4 5

8) The teacher must stick to his predetermined plan (content and methods) even

when some students run into problems in understanding some aspect(s) of that plan. 1 2 3 4 5

9) The teacher should adjust the content and methods of the course when some student

run into problems in understanding some aspect(s) of that plan. 1 2 3 4 5

10) Students must be involved in determining the methods and content of the course. 1 2 3 4 5

11) A teacher motivates me by asking questions during lectures. 1 2 3 4 5

12) A teacher motivates me by providing students with the opportunity to ask questions

during lectures. 1 2 3 4 5

13) The extent to which I am actively involved in the course depends to a large extent

on the teacher. 1 2 3 4 5

14) The extent to which I am actively involved in the course depends to a large extent

on fellow students. 1 2 3 4 5

15) Students should first attempt to get answers on their questions from fellow students. 1 2 3 4 5

16) The teacher should encourage students in trying to answer each other’s questions

instead of answering the questions himself. 1 2 3 4 5

17) The teacher should encourage students to evaluate their own learning process. 1 2 3 4 5

18) The teacher should encourage students to evaluate the teacher’s learning process. 1 2 3 4 5

19) The teacher should avoid student involvement in evaluating the teacher’s learning

process. 1 2 3 4 5

20) In advance of the start of the course the student should give some thought to the

targets he/she wants to achieve. 1 2 3 4 5

21) In advance of the start of the course the student should determine how the course

contributes to his/her learning process. 1 2 3 4 5

22) The fact that the course is given in English negatively influences my active involvement. 1 2 3 4 5

23) The fact that the course is given in English negatively influences my learning gains 1 2 3 4 5

77

Bijlage 2 Toevoeging aan vragenlijst bij nameting

1 2 3 4 5

A lot less frequent Less frequent Undecided More frequent Much more frequent

Ernst’s inquiring attitude

In comparison to other teachers Ernst is more/less:

1. critical in reviewing his own actions in class. 1 2 3 4 5

2. actively searching to improve his actions and the content of the course. 1 2 3 4 5

3. actively invites students into a critical discussion about his actions and the course content. 1 2 3 4 5

4. trying to understand what drives students’ learning and motivation. 1 2 3 4 5

5. trying to understand what works for students in lectures. 1 2 3 4 5

6. willing to share his critical reflections of the course content. 1 2 3 4 5

7. actively trying to engage students in discussing the course content and/or his personal input. 1 2 3 4 5

78

Bijlage 3 Fragment ILS

In deze bijlage is een fragment van de ILS opgenomen. Zestien items zijn bij de analyse uit de

vragenlijst verwijderd: nr. 22, 25, 27, 34, 38, 40, 60, 67, 68, 72, 74, 88, 90, 98, 111 en 116.

79

Bijlage 4 Samenvoeging van de logboeken en de reacties daarop. (Complete logboeken zijn op te vragen)

Goal AfL Guideline

Score Ernst

Score Jorien

Comments

College 1

Challenge students into thinking/learning about improving professionalisation and care for themselves.

2 5 8

2 +/- 5 +/- 8 --

2 + 5 + 8 -

E: In all, the teaching plan needed too much foreknowledge to be communicated, which made the lecture teaching-focussed and pushed conversation ‘to the back-seat’ – a clear case of not practising what I was preaching. J: You made clear that this course emphasizes the students’ learning process. This course is an opportunity to learn. For those students who didn’t read the emails, documents and information on Nestor the expectations are not as clear as could be.

Explain/enthuse students about taking charge of their learning.

2 4 5 6

2 +/- 5 +/- 6 +

4 + 5 +/- 6 +

E: This part seemed to work somewhat better, since the surprise triggered students into a learning mode – put them outside their comfort zone. It was clear that students were invited to instrumentalise their own learning – and quick! J: The experiment was explained from a teacher’s point of view. As a student I would conclude that you are experimenting with your own teaching style. Using examples (blog etc.) gave better insight to the freedom which the learner was going to experience and how the student is owner of his/her learning activities. By using your experiences in education you were enthusing students to take charge of their own learning.

Collectively discuss key elements (AfL learning contract, working groups, blog, final quiz).

1 2 6 8

1 +/- 2 +/- 6 + 8 +/-

1 + 2 + 6 ++ 8 +/-

E: I managed to introduce all the elements I had planned, but because they were new to students it probably seemed a lot, overwhelming, and a little confusing. I was however clear about my expectations, about freedoms and obligations; so on their part this was a leap of faith… While the instruments were all meant as facilitating, that is probably not how they were seen at that point by the students. J: A brief overview of the elements and the expectations you have of students using these elements on one of the powerpoint slides would have reduced uncertainties. A student sent you an email about the deadline on the eleventh of January. You very quickly responded with a counteroffer. I think you missed an opportunity to clarify the context/content of the experiment by using this as a concrete example of learner-led decision making.

Activate questions, thoughts, worries and proposals.

2 10

2 -- 10 --

2 +/- 10 +

E: I think there was insufficient time left for this; it needs a reflexive space for students to start doing that immediately in the first lecture, having only just met me that hour… J: Some students have sent you an email in advance of the course. You took the time to make yourself and fellow students aware of the existing worries. Immediately other students responded as well. This was a perfect example of activating other students to give their input. Students need to be encouraged to engage in dialogues in a more explicit/literal way, because they are not used to this way of discussing the course.

80

Goal AfL Guideline

Score Ernst

Score Jorien

Comments

College 2

Introduce Sanne. Connect her with the course and the students; offer students the option of a project through Sanne at the Friesland College.

8 8++ 8+ E: This went fine, and Sanne was an excellent choice for this guest-lecture. J: The fact that Sanne was a master student last year puts her at our level. It made it easier to identify with her. Students were positive towards her contribution to the course. The connection with the course and the students was sufficient.

Collectively discuss what an inquiring attitude and creativity contribute to the theme of professionalization.

2 5

2 +/- 5 +

2 +/- 5 ++

E: Sanne asked students a couple of questions. It was my fault not to have the materials Sanne had asked for at the ready, but she nonetheless set students to work on little tasks that helped them reflect on concepts and their own views. J: This was part of Sanne’s lecture. Due to lack of time the discussion was cut a bit short. But we did collectively discus an inquiring attitude. I’ve heard students talk about it during the second hour and also during the rest of the day. Mission accomplished! The inquiring attitude was linked to the students, but not necessarily to the experimental nature of the course. Missed opportunity to clarify or point out an aspect of the experiment to students?

Focus on keeping the students’ minds focussed on the interaction of Sanne’s contribution with the course objectives.

6 8 9 10

6 + 8 +/- 9 ++ 10 ++

6 + 8 + 9 + 10 +

E: These parts all went well, thanks in part to co-teaching and Sanne’s approach to setting small tasks. I was able in some cases to add steering comments, and draw students into responding—and challenging their responses to make them think beyond the predictable answers. J: During Sanne’s lecture you’ve kept students focused when needed. You jumped in with usefull comments. Students’ reactions were positive. In addition you kept students focused by writing down our thoughts on the board. That created a good overview for the students, but otherwise it wasn’t all that useful because it was distracting and Sanne didn’t really use the messages on the whiteboard. You did make some gestures when she went on with her story. In doing so you linked her words to the notes on the board.

Take time to activate interaction with/among students: aim to get better acquainted (acknowledge the great value of the emails received).

1 2 3 4 7 10

1 ++ 2 +/- 3 + 4 + 7 +/- 10 ++

1 + 2 +/- 3 + 4 + 7 +/- 10 +

E: This overlaps with the previous points, but drawing students into shared reflection aids familiarity, get insight in how and what they are thinking, and how I may challenge their learning. J: Due to lack of time this was not explicitly taken care of. But implicitly the elements were present.

In the groups, solicit information on progress with coursework.

1 2

2 ++

1 +/- 2 +

E: For me, visiting the groups and responding to thoughts and queries was one of the best experiences of the course, until later, when it was clear that groups were falling apart. But the

81

5 7

5 ++ 7 ++

5 ++ 7 +

groups gave me good insight in what was on their minds, and enabled me to encourage them thinking in terms of freedom and setting their own learning challenges. J: Groups ran into difficulties to get things started. They are afraid that they might run into problems with what they want to learn and the learning contracts are seen as an official plan from which they can’t deviate. So people are hesitating and carefully avoiding making exact plans, but at the same time we all think it is annoying that there’s not much progress being made. Speaking English makes the process even harder. Additional comment: Students need feedback or some kind of support/interest from fellow students, but from the teacher as well.

Add early reminders of the blog as a space for trialing ideas and sharing progress in learning

2 7 8

2 -/+ 7 + 8 +/-

2 +/- 7 + 8 +/-

E: I had seen the blog as opportunity, but it became clear some students saw it as obligation. This enabled me to stress the ‘voluntary’ nature of the blog but also underline its value as a learning resource, for trialing drafts and ideas, and for tapping into a ‘community’ of learning. J: While talking about the blog you were very enthusing. I think students appreciated this. During last week only two/three students have responded to one of the blogs available on Wordpress. It has been quiet for a while, but now students are starting to post blogs. But somehow I think this happens because students think it’s mandatory. I wonder if students are committed to their blogs. Or do they post them just because they have to? I am not sure people really use these blogs to facilitate or share their learning. Maybe students are committed for the wrong reasons…

Encourage students interested in an Iselinge thesis to take steps.

8 8 + E: I’m not sure this is a good ‘fit’ with the AfL criterion, but I do see the linked Master projects as one way to greatly expand the horizon of options for learning through the course. J: The Iselinge project wasn’t mentioned in class.

82

Goal AfL Guideline

Score Ernst

Score Jorien

Comments

College 3

This is the heart of the course and quite a bit of material to go through. I also intend to show at least one and possibly two movies so I aim to structure content around the movies.

2 8

2 ++ 8 +/-

2 ++ 8 +

E: I still think this is the heart of the course, and it may be a good idea to move this to the first meeting. I think especially the use of the Sugata Mitra movie opened many eyes to the core of this course and their own free role in it. The second hour then facilitated dialogue, but at the cost of group-work time. J: The movies were informative and motivated students to contemplate. The content of de movies was illustrative and connected with the content of this course.

The powerpoint I’ve made summaries ‘what we have learnt’ in the first two lectures, in hope of giving the group an idea of progress being made and the direction we’re travelling in.

1 2 6 7

1 ++ 2 + 6 ++ 7 +

1 ++ 2 + 6 ++ 7 +

E: Though in the end my summary of previous lectures showed what was presented, not what students had learned, it made us all aware of the difference between those two, and therefore the role that students’ own initiative had to play in learning. And it enabled me to present a ‘red line’ running through the lectures that we could then discuss. I think that went reasonably well, though not all participated in discussion. J: Looking back on the first lectures was useful. Shortly mentioning what is to be expected for the future helps students who need structure. Maybe it’s an idea to keep doing that every lecture. You made a link between L2L, LHTL and our blog. This also provides students some structure. They were active interested in the ideas behind L2L and LHTL.

I will try to reserve some time for a ‘progress-report’ aimed at the AfL element, which will mean reducing this week’s groupwork time to half an hour, if students accept that.

1 2 5 6 7 8 9 10

1 ++ 2 ++ 5 + 6 + 7 ++ 8 ++ 9 + 10 ++

1 ++ 2 ++ 5 ++ 6 +/- 7 + 8 ++ 9 + 10 ++

E: I think this was a good session, although not everyone took part. But it enabled me to confirm to students that there was real freedom, that students could opt out to a pre-designed assignment if they preferred, and we were able to discuss the value and relevance, and the ‘shock of the new’, of this kind of approach. I think at this point we were all starting, hesitantly, to learn a little… But it was also clear that one or two students preferred a ‘quiet life’ of lectures and many valued greater clarity (read: structure). I had not foreseen the extent to which this sort of innovation can throw people off course – creatures of habit, we are… J: As you’ve notices there are questions and doubts. Students really appreciated this opportunity to discus, because now they saw that they were/are not the only ones with these feelings. I think there is a general feeling uncertainty due to absence of a clear goal, but the presence of a shared motivation to make this work partially makes up for this. Some student appoint more value to clear goals, that’s why they have low confidence in completing this course to a satisfying end. Stating the 5 dimensions on the slide was very useful. Again: structure and a link to our experiment. During the discussion about the group work you stated that it wasn’t mandatory to work in groups. Individual work was allowed. But even this consideration could be made into a learning experience. Good point. Stating (again) that de learning contracts were not ‘legally binding’ was a relief for many students.

83

Goal AfL Guideline

Score Ernst

Score Jorien

Comments

College 4

This session will be by Rob de Haas. I hope to have time before the session to give him some idea of where the course is at, so is sensitised to the course dynamics.

-- J: Rob obviously was aware of the structure of this course. He implicitly hinted toward the content of the experiment for instance when he talked about (self)reflection and collective learning.

I’d like to take a few minutes at the start to comment on the many remarkable qualities of the learning contracts.

1 3 7 10

1 ++ 7 ++ 10 +

1 ++ 3 ++ 7 ++ 10 +

E: Less so before Rob’s lecture (who jumped right in) but more in email response to learning contracts, I was able to confirm to students that their projects were in most cases excellent, and in other cases give advice on how to improve them. I think that the learning contracts served a good purpose: giving students some ‘hold’ over how to progress their learning, and myself good feedback on the sorts of ideas and thoughts that were emerging. J: Due to the late arrival Rob started right away with his lecture. During the start of the second hour most students left the classroom to go to the other rooms available or to get a cup of coffee. You addressed the learning contracts briefly in the first classroom, I can’t tell if you did the same in the other classroom. It would have been easier and perhaps more valuable to discuss it with all students present in one room.

At the end of the first hour it will be good to ask how students wish to pursue for the second hour—hand over control to them? We might for example together discuss Rob’s session by asking how it relates to professionalisation.

2 3 8 10

2 -/+ 3 + 8 ++

2 + 3 + 8 + 10 +/-

E: During the second hour most students went and did their own thing. While I had often little insight into what that was (some students left), it did confirm to them the freedom to fill the groupwork space as they saw fit. And I think that helped. J: We briefly discussed the course of action for the second hour, but relating the content of Rob’s session to professionalization was not suggested, therefore the response was to go our own ways. In terms of guideline 10 (Reflect: ask questions, probe alternatives, analyse doubts and certainties) your intentional plan was good, but in reality the alternatives were limited. You did offer us the chance of watching the University Challenge for a while, but we already started our group work. I doubt the small group of students present in the classroom was open to that idea.

84

Goal AfL Guideline

Score Ernst

Score Jorien

Comments

College 5

Quiet pace–leave time for thinking

2 5 9

2 -/+ 5 -/+

2 + 5 + 9 ++

E: This part didn’t come off too well, because there again were a lot of slides to go through in explaining CLB. I’ve promised myself another way to present the material, but still wouldn’t know how to – apart from making prior reading obligatory. : ( J: This time the lecture started at a natural pace (not to be read as if the other lectures started at a unnatural pace). You started with the exam-topic. There was a lot of room for discussion, but only few students responded. By discussing the exam you asked feedback from the students. But we ended up with a question-answer structure. But it did give the students the opportunity to reflect on your actions in this course. Interesting move. Such a shame that only a few comments were made.

Include time for interaction, also during the first hour

1 2 8

1 + 2 -/+ 8 --

1 + 2 + 8 ++

E: I engaged students in my own BKO exam by showing them examiner’s remarks. It was meant to draw students into a discussion about the structure of this kind of professionalisation. But there came only answers to questions, not outright debate. Students clearly feel shy of opening up, but nonetheless I hope that my own openness about my own progress as learner showed them something of the value of openness and sharing. J: This overlaps with the previous point. In general responses were evoked, but due to limited time available interaction was not included in some parts of the lecture. But I have to admit: in my experience this was your most interactive lecture this far. The discussion on CLB ‘why not coach yourself’ was very interesting. You triggered students into evaluating practice. Students responded and were surprised/motivated. You facilitated a deeper process.

Find out what students make of it–affirm and reinforce connections to student projects

1 2 3 5 7 8 9 10

1 -/+ 2 -/+ 3 -/+ 5 -/+ 7 ++ 8 +/- 9 + 10 +

1 + 2 + 3 + 5 + 7 + 8 + 9 ++ 10 ++

E: I think this objective was more explicitly attained, partly also because the CLB method is of interest to many students each year – this has largely to do with the focus on inclusive education and the supposition it makes of differentiated teaching, I think. Nevertheless, this clear ‘connect’ with a pre-existing interest in students enables a better form of being in dialogue. I do however regret that many students pursue an interest in CLB as a ‘solution’, whereas what I would like them to see is the very particular and interesting nature of what is then apparently seen as ‘the problem’… J: This was a very important goal, but how did you plan to accomplish this goal with a majority of the students present? You made the connection with professionalizing teachers and maybe that as much as we can ask for. But the specific content of student projects was not mentioned. I think that students would appreciate this. In extent it gives them the idea that you are involved and

85

interested in their learning process. An easy way to stimulate motivation? I wonder if students who are not particularly interested in CLB learned very much. It is not part of what I want to learn in this course, so minimal learning was happening on my end.

Invite students making connections with other methods–structure.

2 8

2 + 8 +

2 + 8 +

E: This aspect also went well, since by now students are starting to get clear on the various alternatives that have been discussed in previous sessions, and they are a little further into their own projects. Things ‘start to make sense’… J: You compared CLB with one other way of working on problems. But did you also connect it to LHTL, L2L, AfL or the content of Sanne’s and Rob’s lecture?

Offer pointers to AfL (solicit progress reports, drafts, etc)

1 4 5

1 -/+ 4 + 5 +

1 + 4 + 5 ++

E: While students are not very forthcoming with progress reports, doubts, etc., I am at least confident that I have offered enough by way of support. The blog does attract some contributions, I do get invites into groups, and I get occasional emails. My own conclusion is that, while I may myself still be unsure about how to make an AfL environment ‘work’, it is also clear that students need time—perhaps more time that the course itself—to take serious the freedom, the open access to the lecturer, the challenge of taking full responsibility of learning, and seeing the merits of this kind of approach. My final comment is that I was balled over by the diversity, creativity, working together and in some cases the excellent quality of the work that was produced. It is also clear that in some cases that has demanded more time from students than they would normally give to course work; I see that as confirmation of the experiment, but this has also made me personally grateful to all participants. J: I think that the feedback being offered to students was minimal. During the first hour it is difficult, because students choose divers subjects for their individual or group work. In de second hour you only reach some students.

86

Bijlage 5 Fragment dagboeknotities (Compleet overzicht dagboeknotities is op te vragen)

87

Bijlage 6 Uitkomsten normaliteitstoetsing

(van deel 1, 2 en 3 van de vragenlijst)

Er zijn twee manieren om de resultaten van de Shapiro-Wilk toets te interpreteren. De eerste is

gebaseerd op de overschrijdingskans, de tweede is gebaseerd op de Shapiro W-statistic. Voor de

overschrijdingskans geldt dat de verdeling van een variabele als niet normaal beschouwd moet

worden als de overschrijdingskans kleiner is dan de alfa van 0,05. Voor de W-statistic geldt hetzelfde

als deze lager als 0,9 is. De waarde van de W-statistic heeft een mogelijke range van 0 tot 1 en de

algemeen aangenomen minimale grens voor een normale verdeling is 0,9.

De tabel geeft per deel van de vragenlijst het gemiddelde (mean), de scheefheid (skewness), de

piekvormigheid (kurtosis), de Shapiro W-statistic en de overschrijdingskans. Voor een normale

verdeling geldt dat de skewness en kurtosis tussen -1 en +1 liggen. De minimale waarden van de

skewness van deel 1, 2 en 3 bedraagt 1,696. De maximale waarde is 2,087. De minimale waarden van

de kurtosis voor de drie delen bedraagt 3,574. De maximale waarde bedraagt 4,186. De waarden van

de Shapiro W-statistic liggen alle drie onder de 0,9. De gevonden overschrijdingskansen zijn kleiner

dan de gekozen waarde van alfa. Zowel op basis van de overschrijdingskansen als op basis van de

Shapiro W-statistic moeten we voor alle delen van een niet-normale verdeling uitgaan.

Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 1, 2 en 3 van de vragenlijst.

Deel van de vragenlijst Mean Skewness Kurtosis Shapiro W-statistic

Sig.

Deel 1 Feedback m.b.t. kwaliteit van het werk. 15,6667 2,087 4,186 0,723 0,000

Deel 2 Feedback m.b.t. leren 15,4286 1,696 3,574 0,820 0,001

Deel 3 Betrokkenheid 15,2381 1,877 4,030 0,790 0,000

88

Bijlage 7 Uitkomsten normaliteitstoetsing

(van deel 4 van de vragenlijst)

De resultaten van de Shapiro-Wilk toets zijn opnieuw op twee manieren geïnterpreteerd (zie bijlage

6). De eerste is gebaseerd op de overschrijdingskans, de tweede is gebaseerd op de Shapiro W-

statistic. De tabel geeft per variabele het gemiddelde (mean), de scheefheid (skewness), de

piekvormigheid (kurtosis), de Shapiro W-statistic en de overschrijdingskans. De minimale waarden

van de skewness van deel 4 bedraagt -2,894. De maximale waarde is 0,941. De minimale waarden

van de kurtosis bedraagt -1,622. Deel 4 heeft een maximale kurtosis van 8,868. Deze resultaten zijn

af te lezen uit de gegeven in tabel 4.4.

Op basis van de overschrijdingskansen mogen 6 van de 46 variabelen als normaal verdeeld

beschouwd worden. Op basis van de Shapiro W-statistic geldt dat voor 2 van de 46 variabelen. Over

het algemeen zijn de variabelen niet normaal verdeeld. Er is daarom wederom voor een non-

parametrische toets gekozen.

Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van deel 4 van de vragenlijst.

Statements vragenlijst Voor / Na

Mean Skewness Kurtosis Shapiro W-statistic

Sig.

Receiving feedback during the course is just as important as receiving feedback at the end of the course.

V 3,80 -0,794 -0,888 0,800 0,004

N 3,87 -1,438 2,178 0,788 0,003

Giving feedback to fellow students is just as important as receiving feedback from them.

V 3,73 -0,986 1,840 0,771 0,002

N 3,67 -,676 0,948 0,817 0,006 Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.

V 3,73 -,832 0,524 0,809 0,005

N 3,27 -0,609 -0,375 0,881 0,049

Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.

V 3,27 0,134 -1,337 0,859 0,023

N 2,87 -0,351 -0,484 0,881 0,050

Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.

V 2,53 0,658 -0,936 0,753 0,001

N 2,53 -0,130 0,182 0,861 0,025

I am solely responsible for my final grade on this course.

V 3,47 -0,149 -0,844 0,887 0,061

N 3,33 -0,352 -1,469 0,772 0,002 The content and methods of the course must be established in advance by the Teacher.

V 3,33 -0,771 -0,296 0,841 0,013

N 3,33 -0,101 -0,676 0,881 0,049 The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.

V 2,73 -0,224 -1,622 0,823 0,007

N 2,60 0,941 -0,785 0,705 0,000

The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.

V 3,07 -0,149 ,010 0,932 0,293

N 3,27 -0,601 -1,494 0,734 0,001

Students must be involved in determining the methods and content of the course.

V 2,93 0,128 -1,348 0,817 0,006

N 3,13 0,282 1,401 0,694 0,000

89

A teacher motivates me by asking questions during lectures.

V 3,67 -0,788 -1,615 0,603 0,000

N 3,33 -0,628 -0,654 0,783 0,002 A teacher motivates me by providing students with the opportunity to ask questions during lectures.

V 3,87 0,103 -0,127 0,790 0,003

N 3,53 -1,402 3,521 0,794 0,003 The extent to which I am actively involved in the course depends to a large extent on the teacher.

V 3,40 -0,621 -0,474 0,879 0,045

N 3,00 0,251 -1,188 0,887 0,060 The extent to which I am actively involved in the course depends to a large extent on fellow students.

V 2,53 0,078 -1,328 0,870 0,034

N 2,53 0,149 -0,844 0,887 0,061

Students should first attempt to get answers on their questions from fellow students.

V 2,67 -0,168 -0,033 0,881 0,049

N 2,93 0,461 -0,354 0,910 0,134 The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.

V 3,67 -2,894 8,868 0,484 0,000

N 3,67 -1,024 1,137 0,866 0,029

The teacher should encourage students to evaluate their own learning process.

V 4,13 0,282 1,401 0,694 0,000

N 3,93 -2,080 6,362 0,682 0,000 The teacher should encourage students to evaluate the teacher’s learning process.

V 3,60 -0,723 1,375 0,866 0,029

3,53 0,306 -0,226 0,870 0,034 The teacher should avoid student involvement in evaluating the teacher’s learning process.

V 2,20 0,681 1,081 0,832 0,010

N 2,33 0,168 -0,033 0,881 0,049 In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.

V 3,93 -1,326 3,991 0,702 0,000

N 3,93 -1,291 1,965 0,710 0,000

In advance of the start of a course the student should determine how the course contributes to his/her learning process.

V 3,67 -0,788 -1,615 0,603 0,000

N 3,73 -1,250 1,728 0,825 0,008

The fact that the course is given in English negatively influenced my active involvement

V 3,07 -0,520 -1,457 0,753 0,001

N 3,07 -0,128 -1,346 0,850 0,017 The fact that the course is given in English negatively influenced my learning gains.

V 2,80 -0,019 -1,346 0,842 0,014

N 2,40 0,303 -0,961 0,876 0,041

90

Bijlage 8 Hypothesen (Deel 4 van de vragenlijst)

Voor het uitvoeren van de toetsing (Wilcoxon rangtekentoets) zijn voor de items van deel 4 de volgende hypothesen opgesteld.

Nulhypotheses en alternatieve hypotheses deel 4

Items van de vragenlijst H0 Ha

Receiving feedback during the course is just as important as receiving feedback at the end of the course. H0: η = 0 Ha: η≠0

Giving feedback to fellow students is just as important as receiving feedback from them. H0: η = 0 Ha: η≠0 Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.

H0: η = 0 Ha: η>0

Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.

H0: η = 0 Ha: η<0

Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.

H0: η = 0 Ha: η>0

I am solely responsible for my final grade on this course. H0: η = 0 Ha: η≠0 The content and methods of the course must be established in advance by the Teacher. H0: η = 0 Ha: η<0 The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.

H0: η = 0 Ha: η<0

The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.

H0: η = 0 Ha: η>0

Students must be involved in determining the methods and content of the course. H0: η = 0 Ha: η>0 A teacher motivates me by asking questions during lectures. H0: η = 0 Ha: η≠0 A teacher motivates me by providing students with the opportunity to ask questions during lectures. H0: η = 0 Ha: η≠0 The extent to which I am actively involved in the course depends to a large extent on the teacher. H0: η = 0 Ha: η<0 The extent to which I am actively involved in the course depends to a large extent on fellow students. H0: η = 0 Ha: η<0 Students should first attempt to get answers on their questions from fellow students. H0: η = 0 Ha: η≠0 The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.

H0: η = 0 Ha: η>0

The teacher should encourage students to evaluate their own learning process. H0: η = 0 Ha: η>0 The teacher should encourage students to evaluate the teacher’s learning process. H0: η = 0 Ha: η>0 The teacher should avoid student involvement in evaluating the teacher’s learning process. H0: η = 0 Ha: η<0 In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.

H0: η = 0 Ha: η>0

In advance of the start of a course the student should determine how the course contributes to his/her learning process.

H0: η = 0 Ha: η>0

The fact that the course is given in English negatively influenced my active involvement H0: η = 0 Ha: η≠0 The fact that the course is given in English negatively influenced my learning gains. H0: η = 0 Ha: η≠0

91

Bijlage 9 Uitkomsten Wilcoxon rangtekentoets

(deel 4 van de vragenlijst)

Onderstaande tabel geeft de uitkomsten van de Wilcoxon rangtekentoets weer. Opvallend is het grote aantal knopen in de data. Per item kwamen één tot

tien knopen voor. Gemiddeld bestaan er in de data 7,21 knopen per item. Voor alle items geldt dat de nulhypothese niet verworpen wordt. Er is dus geen

significant verschil tussen voor- en nameting aangetoond.

Paren in de analyse, aantal paren met positieve verschillen, aantal paren met negatieve verschillen, aantal paren zonder verschil en de overschrijdingskans van de items van deel 4 van de vragenlijst.

Items van de vragenlijst Aantal paren in analyse

Aantal positieve verschillen

Aantal negatieve verschillen

Aantal geen verschil

Sig. (1-zijdig)

Receiving feedback during the course is just as important as receiving feedback at the end of the course.

10 5 5 6 0,399

Giving feedback to fellow students is just as important as receiving feedback from them. 9 5 4 7 1,000*

Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.

9 3 6 7 0,095

Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.

15 7 8 1 0,242

Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.

8 5 3 8 0,471

I am solely responsible for my final grade on this course. 10 3 7 6 0,467*

The content and methods of the course must be established in advance by the Teacher. 8 3 5 8 0,471

The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.

12 6 6 4 0,403

The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.

10 5 5 6 0,378

Students must be involved in determining the methods and content of the course. 9 5 4 7 0,282

A teacher motivates me by asking questions during lectures. 6 1 5 10 0,096*

A teacher motivates me by providing students with the opportunity to ask questions during lectures.

7 2 5 9 0,206*

The extent to which I am actively involved in the course depends to a large extent on the teacher.

8 1 7 8 0,077

The extent to which I am actively involved in the course depends to a large extent on fellow students.

9 5 4 7 0,476

Students should first attempt to get answers on their questions from fellow students. 9 6 3 6 0,357*

92

The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.

6 3 3 10 0,500

The teacher should encourage students to evaluate their own learning process. 8 3 5 8 0,136

The teacher should encourage students to evaluate the teacher’s learning process. 9 3 6 7 0,227

The teacher should avoid student involvement in evaluating the teacher’s learning process. 8 4 4 8 0,500

In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.

6 3 3 10 0,370

In advance of the start of a course the student should determine how the course contributes to his/her learning process.

10 6 4 6 0,458

The fact that the course is given in English negatively influenced my active involvement 9 5 4 7 0,951*

The fact that the course is given in English negatively influenced my learning gains. 10 3 7 10 0,207* **2-zijdig

93

Bijlage 10 Frequentietabel

(Deel 4 van de vragenlijst)

Onderstaande tabel laat het gemiddelde, de standaarddeviatie en de frequentieverdeling per item van deel 4 van de vragenlijst zien.

Gemiddelde, standaarddeviatie en frequenties per item. Deel 4 vragenlijst (1 = Strongly Disagree; 2 = Disagree; 3 = Undecided; 4 = Agree; 5 = Strongly agree)

Voor/ na

n Mean SD 1 2 3 4 5

Receiving feedback during the course is just as important as receiving feedback at the end of the course.

V 21 3,71 1,271 1 4 2 7 7

N 23 4,00 1,087 1 2 1 11 8

Giving feedback to fellow students is just as important as receiving feedback from them. V 21 3,62 0,805 - 2 6 11 2

N 23 3,74 0,619 - 1 5 16 1

Independently evaluating your own learning process is just as important as the evaluation of your learning process by the teacher.

V 21 3,57 0,870 - 3 5 11 2

N 23 3,30 1,063 2 3 5 12 1

Independently evaluating your own learning process is just as important as the evaluation of your learning process by fellow students.

V 21 3,05 1,071 - 9 4 6 2

N 23 2,87 0,815 1 6 11 5 -

Evaluation of your learning process by fellow students is just as important as the evaluation of your learning process by the teacher.

V 21 2,52 0,873 1 12 4 4 -

N 23 2,57 0,843 2 9 9 3 -

I am solely responsible for my final grade on this course. V 21 3,48 0,928 - 4 5 10 2

N 23 3,65 1,152 - 6 2 9 6

The content and methods of the course must be established in advance by the Teacher. V 21 3,38 1,071 1 4 4 10 2

N 23 3,39 0,941 - 5 6 10 2

The teacher must stick to his predetermined plan (content and methods) even when some students run into problems in understanding some aspect(s) of that plan.

V 21 2,90 1,091 3 4 6 8 -

N 23 2,61 0,839 - 14 4 5 -

The teacher should adjust the content and methods of the course when some student run into problems in understanding some aspect(s) of that plan.

V 21 3,14 1,014 1 4 9 5 2

N 23 3,35 0,885 - 6 3 14 -

Students must be involved in determining the methods and content of the course. V 21 3,00 0,894 1 5 8 7 -

N 23 3,17 0,650 - 3 13 7 -

A teacher motivates me by asking questions during lectures. V 21 3,57 0,746 - 2 6 12 1

N 23 3,43 0,728 - 3 7 13 -

A teacher motivates me by providing students with the opportunity to ask questions during lectures.

V 21 3,90 0,831 - 1 5 10 5

N 23 3,61 0,783 1 - 7 14 1

The extent to which I am actively involved in the course depends to a large extent on the teacher. V 21 3,57 1,207 1 4 3 8 5

N 23 3,22 1,166 1 7 4 8 3

The extent to which I am actively involved in the course depends to a large extent on fellow V 21 2,67 1,155 3 8 4 5 1

94

students. N 23 2,52 1,039 4 8 6 5 -

Students should first attempt to get answers on their questions from fellow students. V 21 2,71 0,902 2 6 9 4 -

N 22 2,91 1,109 2 6 8 4 2

The teacher should encourage students in trying to answer each other’s questions instead of answering the questions himself.

V 21 3,48 0,814 1 1 6 13 -

N 23 3,52 0,994 1 2 7 10 3

The teacher should encourage students to evaluate their own learning process. V 21 4,05 0,669 - 1 1 15 4

N 23 3,83 1,029 1 2 2 13 5

The teacher should encourage students to evaluate the teacher’s learning process. V 21 3,67 1,065 1 1 7 7 5

N 23 3,52 0,947 - 3 9 7 4

The teacher should avoid student involvement in evaluating the teacher’s learning process. V 21 2,19 0,873 4 11 4 2 -

N 23 2,26 0,864 4 11 6 2 -

In advance of the start of a course the student should give some thought to the targets he/she wants to achieve.

V 21 3,90 0,700 - 1 3 14 3

N 23 3,96 0,767 - 2 1 16 4

In advance of the start of a course the student should determine how the course contributes to his/her learning process.

V 21 3,62 0,498 - - 8 13 -

N 23 3,70 0,926 1 1 4 13 3

The fact that the course is given in English negatively influences/influenced my active involvement

V 21 3,33 1,111 1 5 3 10 2

N 23 3,09 1,379 3 7 2 7 4

The fact that the course is given in English negatively influenced/influenced my learning gains. V 21 3,00 1,000 1 7 4 9 -

N 23 2,61 1,118 3 10 4 5 1

95

Bijlage 11 Uitkomsten normaliteitstoetsing

(ILS, de zestien subschalen)

In de tabel worden de uitkomsten van de normaliteitstoetsing van de ILS subschalen weergegeven. De test geeft als resultaat een p-waarde

(overschrijdingskans = sig.). Bij een gekozen alfa van 0,05 ( = 0,05) kan bekeken worden of nulhypothese, dat verdeling normaal is, verworpen moet

worden. De verdeling van deze variabelen moet dan als niet normaal beschouwd moet worden. Ook neemt de test de scheefheid (skewness) en

piekvormigheid (kurtosis) mee in de berekening. Voor een normale verdeling geldt dat de skewness en kurtosis tussen -1 en +1 liggen. De resultaten laten

zien dat de minimale skewness -1,728 bedraagt. De maximale skewness, gevonden in deze dataverzameling, is 1,522. De waarden van de kurtosis liggen

verder uit elkaar. Het minimum is –1,834 en het maximum is 3,049. Op basis van de p-waarden zijn drie van de zestien verschilvariabelen niet normaal

verdeeld. Als er wordt gekeken naar de Shapiro W-statistic zijn dertien van de zestien verschil variabelen niet normaal verdeeld.

Gemiddelde, skewness, de kurtosis, de Shapiro W-statistic en de overschrijdingskans van de ILS-HO schalen.

ILS-HO schalen Voor / na Mean Skewness Kurtosis Shapiro W-statistic Sig.

Verwerkingsstrategieën

Diepteverwerkingsstrategie V 27,7778 1,522 2,654 0,871 0,127

N 27,6667 1,076 1,638 0,907 0,294

Stapsgewijze verwerkingsstrategie V 32,0000 0, 004 -1,834 0,912 0,333

N 32,6667 -0,033 -1,799 0,918 0,380

Concrete verwerkingsstrategie V 12,2222 0, 801 0,566 0,943 0,612

N 11,8889 0,388 -0,509 0,962 0,820

Regulatiestrategieën

Zelfsturingsstrategie V 22,5556 0,724 -0,670 0,898 0,242

N 25,3333 0,397 -1,738 0,860 0,097

Extern gestuurde strategie V 28,2222 -0,161 -0,789 0,956 0,758

N 25,5556 0,117 -0,882 0,935 0,526

Stuurloze strategie V -6,6667 0,216 -1,891 0,883 0,167

N 8,6667 0,430 -1,645 0,870 0,122

Mentale modellen/studiemotieven

Certificaatgericht V 8,7778 -0,157 -0,657 0,894 0,217

96

N 10,0000 -0,641 -1,131 0,831 0,046

Beroepsgericht V 16,4444 -1,728 3,648 0,836 0,051

N 15,3333 -0,798 1,851 0,926 0,446

Testgericht V 12,0000 -0,340 -0,482 0,982 0,975

N 12,6667 -0,320 -1,098 0,955 0,748

Persoonlijk geïnteresseerd V 12,5556 -0,365 -0,554 0,930 0,485

N 13,2222 0,014 -1,337 0,939 0,570

Ambivalent V 8,7778 0,857 -0,347 0,850 0,075

N 8,5556 1,367 0,624 0,771 0,010

Studieopvattingen

Opname van kennis V 27,7778 -1,464 2,074 0,859 0,093

N 27,3333 -0,364 0,804 0,908 0,304

Opbouw van kennis V 17,8889 -0,504 -0,134 0,972 0,913

N 18,8889 0,294 -0,663 0,964 0,835

Gebruik van kennis V 19,1111 0,038 0,154 0,965 0,850

N 18,5556 -1,065 2,073 0,926 0,446

Stimulerend onderwijs V 22,7778 -1,153 3,049 0,899 0,248

N 24,6667 -0,431 -1,153 0,913 0,336

Samen werken V 16,1111 -0,625 -0,606 0,939 0,567

N 18,0000 0,809 -0,424 0,823 0,037

97