Feedback en scripting van peerreview€¦ · inzetten van activerende werkvormen ter ondersteuning...

Feedback en scripting van peerreview Onderzoek naar een herontwerp curriculumonderdeel 2.3 /‘Thema’s in

Toerisme’ in de opleiding HTRO – Inholland/Locatie Rotterdam

Lectoraat Teaching, Learning & Technology

Pieter Swager (redactie)

Jeroen Bottema Bob Götte Jos Fransen

met medewerking van: Corine Wooning, Wendy Raaphorst, Estella Griffioen en Manon Joosten

Final 161121

Teaching, Learning & Technology Feedback en scripting van peerreview – Casus HTRO/Thema’s 2.3

2

Inhoud

Samenvatting ................................................................................................................................................................. 3

1 Inleiding ................................................................................................................................................................. 4

1.1 Aanleiding ..................................................................................................................................................... 4

1.2 Probleemanalyse en visie ............................................................................................................................. 4

1.3 Onderwerp, doel en vraagstelling ................................................................................................................ 4

1.4 Relevantie ..................................................................................................................................................... 5

1.5 Reikwijdte, afbakening en context ............................................................................................................... 5

1.6 Stakeholders ................................................................................................................................................. 5

1.7 Randvoorwaarden, beperkingen en uitgangspunten ................................................................................... 6

1.8 Context ......................................................................................................................................................... 6

2. Methode ................................................................................................................................................................ 7

2.1 Typering van het onderzoek ......................................................................................................................... 7

2.2 Participanten en instrumentatie .................................................................................................................. 7

2.3 Procedures voor dataverzameling ................................................................................................................ 8

2.4 Aanpak voor data-analyse ............................................................................................................................ 9

2.5 Validiteit en betrouwbaarheid ..................................................................................................................... 9

2.6 Gedragscode praktijkgericht onderzoek voor het hbo ................................................................................. 9

3 Resultaten ........................................................................................................................................................... 10

3.1 Inleiding ...................................................................................................................................................... 10

3.2 Vooronderzoeksfase 1 ................................................................................................................................ 10

3.3 Vooronderzoeksfase 2 ................................................................................................................................ 11

3.4 Ontwerpfase ............................................................................................................................................... 11

3.5 Evaluatiefase............................................................................................................................................... 12

4. Conclusies en aanbevelingen .............................................................................................................................. 19

4.1 Inleiding en algemene conclusie ................................................................................................................ 19

4.2 Uitvoering en deelname ............................................................................................................................. 19

4.3 Ervaren bruikbaarheid ................................................................................................................................ 19

4.4 Ervaren effectiviteit .................................................................................................................................... 20

4.6 Aanbevelingen/verbetersuggesties ............................................................................................................ 20

5. Kritische reflectie en suggesties voor vervolgonderzoek .................................................................................... 22

5.1 Reflectie op conclusies ............................................................................................................................... 22

5.2 Reflectie op uitgevoerde onderzoek .......................................................................................................... 22

5.3 Reflectie op resultaten studentenvragenlijst ............................................................................................. 23

5.4 Ontwerp ...................................................................................................................................................... 23

5.5 Voorwaarden voor uitvoering programma ................................................................................................ 23

5.6 Suggesties voor vervolgonderzoek ............................................................................................................. 23

5.7 Ten slotte .................................................................................................................................................... 23

Geraadpleegde bronnen .............................................................................................................................................. 25

Bijlage 1 → Screenshot vragenlijst studenten ............................................................................................................. 27

Bijlage 2 → Protocol interview docent......................................................................................................................... 28

Bijlage 3 → Opzet script HTRO - Thema’s Rotterdam .................................................................................................. 30


3

Samenvatting

De opleiding HTRO en TM (Engelstalige variant) in het domein Creative Business ontwikkelt met ingang van het

studiejaar 2015-2016 een nieuw curriculum op basis van een vernieuwd opleidingsprofiel dat per september 2017

wordt ingevoerd. De opleiding dient niet alleen beter aan te sluiten op de ontwikkelingen in het werkveld, ook de

inzet op didactische vernieuwing is noodzakelijk met een gerichtheid op actief leren van de student. Activerende

didactiek impliceert de ontwikkeling van een scenario [‘script’] voor een leerproces in een gegeven leerpraktijk. De

opleiding HTRO wordt aangeboden op de locaties Haarlem, Diemen en Rotterdam, TM alleen op de locatie Diemen.

Het object van onderzoek is de inzet van peerreview, expertreview en weblectures en de wijze waarop de

digitale leeromgeving (Blackboard) het leerproces kan ondersteunen. Het doel van het onderzoek is het in

samenwerking met betrokken pionier/docent genereren en testen van een concrete uitwerking van het

didactisch concept voor een curriculumonderdeel waarin activerende werkvormen worden ingezet ter

ondersteuning van het leerproces van de student. Hoe betreft het curriculumonderdeel ‘2.3 Thema’s in toerisme’

in de opleiding HTRO Rotterdam.

In de vooronderzoeksfase werden ontwerpspecificaties gegenereerd vanuit de theorie en vanuit de analyse van de

praktijk. In de ontwerpfase werd op basis hiervan een ontwerp opgeleverd met als kenmerken: studenten bekijken

vier weblectures over de thema’s toerisme; studenten verzorgen in teams tijdens de bijeenkomst een presentatie;

studenten geven feedback aan medestudenten tijdens de les; de docent geeft ook feedback; studenten bedenken

tentamenvragen en plaatsen deze in de digitale leeromgeving (Blackboard). In de evaluatiefase werd gekeken of

het ontwerp is uitgevoerd conform ontwerp en werd het ontwerp geëvalueerd met betrekking tot de ervaren

bruikbaarheid en ervaren effectiviteit. Tevens werden verbetersuggesties geïnventariseerd.

Geconcludeerd kan worden dat het ontwerp van curriculumonderdeel 2.3/Thema’s toerisme werd uitgevoerd zoals

het was bedoeld en dat het elementen bevatte van activerende didactiek. Studenten werden hierdoor gemotiveerd

bij het leren en ondersteund in het leerproces. Het ontwerp (‘script’) werd over het geheel genomen als bruikbaar

en effectief ervaren door studenten en de docent, los van de nodige nuanceringen die daarbij aangebracht moeten

worden. Als verbetersuggesties werden genoemd:

laat niet alle theorie alleen door studenten presenteren, maar laat ook de docent presenteren naast de

weblectures die de docent al verzorgt;

maak deelname aan leeractiviteiten uit het script onontkoombaar, zoals het bekijken van de weblectures;

spits de weblecture ‘algemene richtlijnen voor het geven van feedback’ meer toe op het niveau en de

belevingswereld van de studenten;

laat studenten wel tentamenvragen bedenken als leeractiviteit, maar laat ze de vragen niet op Blackboard

plaatsen maar naar de docent sturen, zodat deze tijdens de les besproken kunnen worden.

Over het geheel genomen waren studenten en docent positief over het uitgevoerde script. De aanbevelingen en

verbetersuggesties hebben dan ook vooral betrekking op het opheffen van belemmeringen.

Alle data met betrekking tot vragenlijsten die aan studenten en docenten zijn te vinden op www.inholland.nl/tlt bij

‘Onderzoekslijn feedback’.

http://www.inholland.nl/tlt


4

1 Inleiding

1.1 Aanleiding

De opleiding HTRO in het domein Creative Business ontwikkelt met ingang van het studiejaar 2015-2016 een nieuw

curriculum op basis van een vernieuwd opleidingsprofiel. De opleiding dient niet alleen beter aan te sluiten op de

ontwikkelingen in het werkveld, ook de inzet op didactische vernieuwing is noodzakelijk met een gerichtheid op

actief leren van de student. De opleiding HTRO wordt aangeboden op de locaties Haarlem, Diemen en Rotterdam.

1.2 Probleemanalyse en visie

Het vernieuwen van de opleiding is om twee redenen noodzakelijk, namelijk vanwege de ontwikkelingen in ‘het

werkveld’ en de veranderende studentpopulatie. Het werkveld wordt zakelijker en technologie wordt steeds

belangrijker. Daarbij is steeds minder sprake van een eenduidig beroepsbeeld en is het lastig te voorspellen hoe het

beroepenveld er over vijf jaar uit zal zien. De student moet daarom worden opgeleid om te kunnen opereren in een

snel veranderende omgeving en moet zelf kunnen bijdragen aan deze ontwikkelingen in het beroepenveld.

Daarnaast vereist het opleiden van de professional van de toekomst een andere didactiek en in het verlengde

daarvan is de professionalisering van docenten noodzakelijk.

Een belangrijk knelpunt in de uitvoering van het huidige curriculum is dat de didactiek nog onvoldoende gericht is

op activering van de student in het participeren in leeractiviteiten en op de ontwikkeling van het zelfsturend

vermogen van de student. Activerende didactiek impliceert de ontwikkeling van een scenario [‘script’] voor een

leerproces in een gegeven leerpraktijk. Dat scenario moet zodanig zijn dat actief participeren onontkoombaar is en

niet-participeren onaantrekkelijk is. Belangrijke elementen hierbij zijn de inzet van feedback en van weblectures als

instrumenten van activerende didactiek.

Bij het studieonderdeel 2.3 Thema’s in toerisme locatie Rotterdam, dat centraal staat in het onderliggende

onderzoek, speelde concreet in de afgelopen jaren het volgende ’probleem’: drie weken lang werd intensief

lesgegeven door de docent met veel college-uren: zes thema’s in drie weken met vier college-uren per week. Erg

intensief en vermoeiend voor de docent die moest ‘zenden’ en de student die moest ‘ontvangen/luisteren’.

Docenten vonden deze aanpak niet alleen vermoeiend, maar ook niet effectief. De transfer van de theoretische

modellen die centraal stonden in het studieonderdeel naar de praktijk vond niet plaats. Het idee dat uitgangspunt

is voor de veranderaanpak (oplossen probleem) is ‘activerende didactiek’ en zo mogelijk gebruik van ICT ter

ondersteuning van het leerproces van de student.

1.3 Onderwerp, doel en vraagstelling

Het object van onderzoek is de inzet van activerende werkvormen binnen leerpraktijken. Het gaat hierbij

voornamelijk om de inzet van feedback (peerreview en expertreview) en weblectures en de wijze waarop de

digitale leeromgeving (Blackboard) het leerproces kan ondersteunen.

Doel van het onderzoek is het in samenwerking met betrokken pionier/ docent genereren en testen van een

concrete uitwerking van het didactisch concept voor een specifiek curriculumonderdeel met als basis effectief

inzetten van activerende werkvormen ter ondersteuning van het leerproces van de student.

Centrale vraagstelling

Hoe ziet het didactisch ontwerp van curriculumonderdeel ‘2.3 / Thema’s in toerisme’ in de opleiding HTRO op de

locatie Rotterdam eruit waarin beoogd wordt door de inzet van peerreview, expertreview en weblectures bij te

dragen aan de kwaliteit van de leeropbrengsten, en hoe wordt dit didactisch ontwerp ervaren en gewaardeerd

door studenten en docent met betrekking tot bruikbaarheid en effectiviteit?


5

1.4 Relevantie

Het onderzoeksproject richt zich op het curriculumonderdeel 2.3 dat exemplarisch is voor de werkwijze in de

opleiding HTRO en daarmee kan het ontwerp mogelijk als richtlijn fungeren voor het herontwerp van andere

curriculumonderdelen. Ook kan de ervaring met de aanpak die wordt gevolgd om te komen tot dit herontwerp

worden benut om de aanpak van het herontwerp van andere curriculumonderdelen vorm te geven. Aanpak en

herontwerp kunnen vervolgens inspirerend zijn voor andere opleidingen in de hogeschool met de wens om het

onderwijs meer activerend in te richten met ondersteuning van de inzet van technologie en daarbij in te zetten op

verbetering van de kwaliteit van het onderwijs. Dit sluit eveneens aan op de visie van de hogeschool op

toekomstgericht onderwijs en de rol die technologie daarin kan vervullen. Dit onderzoeksproject sluit tevens aan bij

de landelijke trend in het hoger beroepsonderwijs waarin gepersonaliseerd leren, activerende didactiek en de

beredeneerde inzet van technologie belangrijke aandachtspunten zijn.

1.5 Reikwijdte, afbakening en context

Het betreft een onderzoek naar een contextspecifiek herontwerp en dat impliceert dat het herontwerp aansluit bij

de condities en randvoorwaarden die gelden in de gegeven context, en bij de visie op didactiek en de beschikbare

expertise en middelen in de leeromgeving. Daarmee is het ontwerp, evenals de kennis over de werking van het

ontwerp in de gegeven context, niet onverkort te vertalen naar andere opleidingen, maar kan het wel als basis

dienen voor een herontwerptraject met betrekking tot een vergelijkbaar curriculumonderdeel in een verwante of

niet-verwante opleiding. Het onderzoeksteam Teaching, Learning & Technology verzamelt de gegenereerde kennis

uit deze herontwerptrajecten met als doel om daaruit meer generieke ontwerpprincipes af te leiden die bruikbaar

zijn binnen ontwerpen van vergelijkbare curriculumonderdelen in opleidingen binnen de hogeschool.

De onderzochte leerpraktijk betreft het curriculumonderdeel ‘2.3 Thema’s in toerisme’ locatie Rotterdam, dat in de

derde periode van het 2e jaar van de HBO-opleiding Toerisme wordt uitgevoerd. HTRO Diemen en Haarlem hebben

het curriculumonderdeel ook geheel of gedeeltelijk uitgevoerd. Er is gekozen om het onderzoek tot Rotterdam af te

bakenen. Het betreft hier voltijdstudenten van de vierjarige opleiding HTRO van de locatie Rotterdam. Belangrijkste

reden voor de keuze van de locatie Rotterdam is het initiatief van docent zelf op de locatie Rotterdam om het

studieonderdeel te herontwerpen. Het betreft hier een zeer innovatieve en ervaren docent die tevens ervaring

heeft met de inzet van technologie in het onderwijs. In totaal betreft het 75 studenten en 1 docent. De studenten

zijn verdeeld over 4 ‘groepen’: IJsland, Spanje, Wenen & Boedapest en Belgie & Nederland. De leerpraktijk betreft

een studieonderdeel waarin een aantal thema’s (met theoretische modellen) met betrekking tot toerisme centraal

staan: ‘Hotels en duurzaamheid', 'Klanttevredenheid', 'Imago en identiteit' en 'Klantprofielen'. Aan het eind van de

leerpraktijk maken de studenten een casustoets.

1.6 Stakeholders

In dit onderzoek worden stakeholders onderscheiden op het niveau van het onderzoek of de pilot per opleiding of

domein, en op het niveau van onderzoekslijn TLT en hogeschool (zie tabel 1: stakeholders).


6

Tabel 1. Stakeholders, niveau en belang.

Stakeholder Niveau Belang in het onderzoek

Management van opleiding/domein

Domein/Opleiding HTRO Ontwikkeling van toekomstgericht onderwijs [op basis van activerende didactiek]

Docent/ pionier op locatie Rotterdam

Domein/Opleiding HTRO Ontwikkeling van activerend en toekomstgericht onderwijs met effectieve inzet van technologie.

Docenten HTRO Rotterdam

Domein/Opleiding HTRO Ontwikkeling van activerend en toekomstgericht onderwijs met effectieve inzet van technologie.

Studenten HTRO Rotterdam

Domein/Opleiding HTRO Participeren in onderwijs dat effectief ondersteunt bij het behalen van leerdoelen met effectieve inzet van technologie.

Onderzoekers onderzoekslijn TLT

Onderzoeksgroep en Hogeschool

Genereren van valide en toepasbare kennis over de effectieve inzet van technologie in leerprocessen.

Dienst ‘Onderwijsbeleid’ Hogeschool Ontwikkeling van gereedschap voor ontwerp van activerend onderwijs met een beredeneerde inzet van technologie.

College van Bestuur van Inholland

Hogeschool Ontwikkeling van kwalitatief goed toekomstgericht onderwijs met effectieve inzet van technologie.

1.7 Randvoorwaarden, beperkingen en uitgangspunten

Als randvoorwaarde voorafgaand aan het herontwerpen gold in dit onderzoek dat het moest passen binnen de

didactische uitgangspunten van de opleiding HTRO en uitvoerbaar moest zijn binnen de gegeven condities van de

beschikbare capaciteit en middelen. Daarbij moest rekening worden gehouden met mogelijke beperkingen ten

aanzien van de organiseerbaarheid als gevolg van regelgeving op hogeschoolniveau met betrekking tot de

organisatie en planning van het onderwijs.

De deelnemende docent moet tevens pionier zijn die al heeft aangetoond in aanleg te beschikken over de

eigenschappen van een pionier en zich verder wilde ontwikkelen als ‘change agent’ binnen het betrokken

docententeam (2013, p. 19):

Een succesvolle pionier vormt het bruggenhoofd in een verbinding met het team. Vanuit die positie reduceert hij, zo mogelijk samen met één of meer vroege gebruikers, de complexiteit van een verandering. Bijvoorbeeld door collega’s te trainen en te ondersteunen in het omgaan met de technologie (operationele complexiteit) en door te helpen bij het inzetten van de technologie in het onderwijs, passend bij de visie en werkwijze van de individuele leraar (conceptuele complexiteit). Op deze manier kan de pionier een fundamentele rol spelen bij de acceptatie en duurzame implementatie van een ict-toepassing in een onderwijsorganisatie’ (2013, p. 19).

De docent/pionier moet door de opleiding worden gefaciliteerd in tijd in het kader van het ontwerptraject. Voordat

het herontwerpen plaatsvond, kon aan genoemde randvoorwaarden en uitgangspunten worden voldaan, waardoor

er vooraf geen ‘verstorende’ factoren op dit gebied een rol speelden.

1.8 Context

Het onderzoek vond plaats bij de opleiding Hoger Toeristisch Management Onderwijs (hierna: HTRO) in Rotterdam.

Het betreft het derde project van het tweede studiejaar aan de opleiding HTRO/TM. Het onderdeel dat onderzocht

wordt heet ‘2.3 Thema’s’. De ervaring van jaar 2 is nodig voor het uitvoeren van het derde jaar waarin studenten

stage lopen bij een bedrijf, organisatie of instelling in het werkveld. Gedurende de stage worden opdrachten

uitgevoerd zoals onderzoek naar trends, imago, tevredenheid en concurrentie binnen de toeristische branche. In

periode 2.3 worden de studenten hierop voorbereid door een onderzoek op te zetten en uit te voeren. Om de

opdracht zo beroepsauthentiek mogelijk te maken gaan de studenten in deze periode onderzoek uitvoeren voor

een commercieel, toeristisch bedrijf in het buitenland. In totaal betreft het ongeveer 75 studenten en 1 docent.


7

2. Methode

2.1 Typering van het onderzoek

De aanpak kan worden getypeerd als ontwerpgericht onderzoek en dat is een benadering die resulteert in een

contextspecifiek herontwerp en kennis over de werking van dat ontwerp in de gegeven praktijk. Het herontwerp

kwam tot stand op basis van een vooronderzoeksfase waarin de docent op basis van wetenschappelijke inzichten

met betrekking tot activerende didactiek tot een ontwerp kwam dat uitvoerbaar moest zijn binnen de gegeven

condities. In de prototypingfase werd dat herontwerp getest en geëvalueerd op bruikbaarheid en effectiviteit en

daarbij werd één iteraties doorlopen.

De aanpak is mede gericht op brede acceptatie en duurzame implementatie van het herontwerp en dat vereist dat

betrokken docent zich eigenaar voelt van het gerealiseerde ontwerp en zichzelf in staat achten om dat ontwerp in

de praktijk succesvol te implementeren.

2.2 Participanten en instrumentatie

Participanten zijn primair de betrokken pionier/docent en studenten HTRO, locatie Rotterdam. De instrumentatie is

gebaseerd op de volgende onderzoeksvragen:

Vooronderzoeksfase

1. Wat kan uit de theorie worden afgeleid met betrekking tot activerende didactiek door de inzet van feedback

en weblectures ondersteund door ICT?

2. Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren?

Ontwerpfase

3. Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase?

Evaluatiefase

4. Is het ontwerp uitgevoerd conform ontwerp? (empirisch onderzoek: interview, vragenlijsten studenten)?

5. Wat is de ervaren bruikbaarheid en effectiviteit van het herontwerp (prototype van het ontwerp) in de

perceptie van docent en studenten?

6. Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd?

Hieronder volgt de argumentatie voor de keuze van onderzoeksinstrumenten en hoe ze tot stand zijn gekomen. De

test van het eerste prototype was gericht op het beoordelen van bruikbaarheid en effectiviteit van het ontwerp.

Het betrof een formatieve evaluatie: daarbij was vooral de uitvoering of de procesgang in de uitvoering belangrijk

omdat die de meeste informatie kan opleveren over de bruikbaarheid van het ontwerp. Het onderzoek is gericht op

input voor het verbeteren van het eerste prototype.

Naast instrumenten die in de vooronderzoeks- en ontwerpfase zijn ingezet (literatuuronderzoek, documentanalyse

en ontwerpsessie), werden in de evaluatiefase de volgende instrumenten ingezet:

Vragenlijsten

De studentenvragenlijsten heeft een belangrijke rol gespeeld bij de evaluatie van de werking van het prototype in

de praktijk, zowel ten aanzien van de ervaringen tijdens de uitvoering als het vaststellen van ervaren effecten. De

vragenlijst voor studenten omvatte gesloten vragen, stellingen en enkele open vragen. De vragenlijst is opgenomen

als bijlage 1. De lijst is samengesteld op basis van de onderdelen van het ontwerp. De vragenlijsten omvatte vragen

gerelateerd aan de ervaren bruikbaarheid en verwachte effectiviteit van het specifieke ontwerp en gerelateerd aan

de specifieke context waarin het ontwerp moet functioneren.


8

Interview

Een half-gestructureerd interview is ingezet ten behoeve van de evaluatie van het prototype bij de pionier/ docent

HTRO Thema’s locatie Rotterdam. Onderwerpen waarop de geïnterviewde is bevraagd, zijn afgeleid uit het

theoretisch kader met betrekking tot activerende didactiek door inzet feedback (peerreview en expertreview) en

weblectures en de inzet van technologie, aangevuld met de bespreekpunten die zijn gerelateerd aan de specifieke

kenmerken van ontwerp en context. Daarnaast zijn de meest opvallende resultaten van de studentenvragenlijsten

besproken.

Tabel 2. Participanten en instrumentatie.

Deelvraag Deelonderzoek Participanten Instrumenten Fase onderzoek

1. Wat kan uit de theorie worden afgeleid met betrekking tot activerende didactiek door de inzet van en weblectures ondersteund door ICT?

Literatuur-verkenning

Onderzoekers TLT Literatuur-onderzoek

Tijdens vooronderzoeks-fase

2. Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren?

Context-analyse Docent/pionier, onderzoekers TLT

Document-analyse/ ontwerp-sessies/ overleg

Tijdens vooronderzoeks-fase

3.Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? (empirisch onderzoek: ontwerpsessies)

Ontwerp prototype

Docent/pionier

Ontwerp-instrumenten

Tijdens ontwerpfase

4.Is het ontwerp uitgevoerd conform ontwerp?

Evaluatie prototype

Pionier/docent,

studenten

Vragenlijsten studenten/

Interview docent

Na afloop uitvoering

5.Wat is de ervaren bruikbaarheid en verwachte effectiviteit van het herontwerp (prototype van het ontwerp) in de perceptie van docent en studenten?

Evaluatie prototype

Docent/pionier,

studenten

Vragenlijst studenten/ interview


6. Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd? (empirisch onderzoek: interview, vragenlijst studenten)?

Verbetering prototype

Docent/pionier,

studenten

Vragenlijst studenten/ Interview


2.3 Procedures voor dataverzameling

Hieronder een korte beschrijving van de procedures die gevolgd zijn bij dataverzameling, ofwel wanneer en op

welke wijze welke data is verzameld.

De studentenvragenlijst is opgesteld in Google Forms en digitaal door middel van een hyperlink ontsloten. De

vragenlijst voor studenten is online afgenomen aan het eind van de uitgevoerde leerpraktijk.

Het interview met de docent in Rotterdam is uitgevoerd na verwerking data vragenlijst studenten. Ten behoeve

van het interview is gebruik gemaakt van een opgesteld protocol. Een eerste analyse van de studentresultaten

heeft bijgedragen aan nuancering van dit protocol.

De sessie duurde een uur en is opgenomen met behulp van audioapparatuur. Van het interview is een

samenvattend verslag gemaakt en voor membercheck aangeboden aan betrokkene. In totaal zijn 75 studenten, 1

docent en 2 onderzoekers TLT betrokken geweest bij de leerpraktijk. Het interview in Rotterdam betrof de

docent/pionier die op de locatie als enige betrokken was.


9

2.4 Aanpak voor data-analyse

De kwantitatieve data van gesloten vragen en stellingen uit de vragenlijst zijn bewerkt en geanalyseerd, waarbij

vooral frequenties en spreiding werden gerapporteerd. Kwalitatieve data (interview) werd gecodeerd op basis van

geformuleerde aspecten en gerubriceerd op basis van uit ontwerpspecificaties afgeleide rubrieken.

2.5 Validiteit en betrouwbaarheid

Validiteit verwijst naar de juistheid van de metingen en richt zich op de vraag of wordt gemeten wat beoogd werd

te meten. Validiteit staat onder druk als sprake is van systematische fouten en dat wordt mede bepaald door de

robuustheid van opzet en concretisering van het onderzoek. Betrouwbaarheid verwijst naar stabiliteit van

metingen en richt zich op de vraag of een meting herhaalbaar is en dan weer tot dezelfde resultaten leidt. De

betrouwbaarheid staat onder druk als sprake is van toevallige fouten en dat kan mede voorkomen worden door

een zorgvuldige, navolgbare en eenduidige uitvoering van het onderzoek. In dit type onderzoek gaat validiteit voor

betrouwbaarheid omdat van herhaalbaarheid van metingen niet of nauwelijks sprake is.

Bedreigingen van validiteit en betrouwbaarheid zijn gereduceerd door het vastleggen van data uit interview op

geluidsdrager, en door ‘member check’. Het vastleggen van keuzes en beslissingen, inclusief de onderliggende

argumentatie, alsmede het documenteren van de procesgang van het onderzoek, droeg in dit onderzoek bij aan de

navolgbaarheid en transparantie van het onderzoek.

2.6 Gedragscode praktijkgericht onderzoek voor het hbo

Bij de opzet en uitvoering van het onderzoek is de Gedragscode Praktijkgericht Onderzoek voor het hbo leidraad

geweest (Commissie Gedragscode Praktijkgericht onderzoek in het hbo, 2010).


10

3 Resultaten

3.1 Inleiding

De studentenvragenlijst is ingevuld door 38 studenten, wat overeenkomt de helft van de populatie; de

docentenvragenlijst werd ingevuld door de betreffende docent. Het interview in Rotterdam vond plaats met deze

docent die de uitvoering had verzorgd en op de locatie als enige betrokken was bij het studieonderdeel. Bij de

evaluatie was 1 onderzoeker van het lectoraat TLT betrokken.

3.2 Vooronderzoeksfase 1

Wat kan uit de theorie worden afgeleid met betrekking tot activerende didactiek door de inzet van

‘feedback’ (peerreview en expertreview) en weblectures ondersteund door ICT?

Feedback en peerfeedback

Peerreview wordt in dit onderzoek gedefinieerd als een leeractiviteit waarbij studenten het werk van

medestudenten (peers) voorzien van formatieve feedback met als doel het leerproces wederzijds te ondersteunen

(Götte, 2015). Peerreview is een leeractiviteit die aansluit bij doelstellingen als zelfsturend, activerend en

collaboratief leren (Van Zundert, Sluijsmans, & Merriënboer, 2010). Expertreview heeft betrekking op de

docent/expert.

Hoewel uit onderzoek blijkt dat peerreview het leerproces (Rieber, 2006; Topping, 1998), is dit niet

vanzelfsprekend, onder meer door gebrekkige organisatie van het proces (Falchikov, 2005; Nilson, 2003; Rompa &

Romme, 2001). De toegevoegde waarde van peerreview wordt beïnvloed door de wijze waarop het wordt ingezet

en de mate waarin valkuilen en problemen worden vermeden (Hattie & Timperley, 2007; Nilson, 2003; Shute,

2008). Een beredeneerde inzet van peerreview is dan ook van doorslaggevende betekenis voor effectieve

leerpraktijken.

De impact van feedback op het leerproces is ruimschoots aangetoond (Hattie, 2009; Shute, 2008). Een

veelgenoemde strategie om het effect van feedback op het leerproces te verhogen, is het direct betrekken van

studenten bij het feedbackproces (Dochy, Segers, & Sluijsmans, 1999; Topping, Smith, Swanson, & Elliot, 2000).

Peerreview wordt daarbij vaak genoemd als leeractiviteit (Falchikov, 2005; Rieber, 2006; Van den Berg, Admiraal, &

Pilot, 2006). Met de groeiende aandacht voor peerreview, is de interesse in onderzoek naar de effectieve

toepassing ervan toegenomen, alsmede in de rol die technologie daarbij kan vervullen (Laurillard, 2002).

Een uitgebreide literatuurverkenning vanuit het lectoraat TLT met betrekking tot de inzet van peerreview en

expertreview en de ondersteunende rol die ICT kan spelen hierbij (Götte, 2015) is beschikbaar op

www.inholland.nl/tlt.

Weblectures

Weblectures kunnen het leerproces van studenten effectief ondersteunen. Een uitgebreide literatuurverkenning

met betrekking tot deze inzet van video/weblectures werd uitgevoerd door het lectoraat TLT (Woolfitt, 2015) en is

beschikbaar op www.inholland.nl/tlt.

Op basis van bovenstaande literatuur kan een groot aantal conclusies worden getrokken met betrekking tot

adequate inzet van peerreview / expertreview en weblectures. De volgende lijst met implicaties (ontwerpeisen)

voor het ontwerp is een overzicht van de meest relevante voor dit onderzoek.




11

Voorwaarde voor het adequaat ondersteunen van het leerproces door peerfeedback is een goede organisatie

van het review-proces (Dennen, 2003; Ladyshewsky, 2013; Van den Berg, Pilot, & Admiraal, 2005);

Richtlijnen met betrekking tot het geven van adequate feedback moeten deel uitmaken van het ontwerp (Finn

& Garner, 2011; Keh, 1990; Ladyshewsky, 2013; Min, 2005; Nilson, 2003; Sahin, 2008; Topping, 1998);

Het geven van feedback moet gebeuren aan de hand van duidelijke, inhoudelijke criteria (Black & Wiliam,

1998a, 1998b; Falchikov, 2005; Finn & Garner, 2011; Juwah et al., 2004; Newkirk, 1984; Rieber, 2006; Sadler,

1989; Van den Berg et al., 2005);

Volgordelijkheid in het geven van feedback is belangrijk: peerreview moet voorafgaan aan expertreview

(Dennen, 2003; Paulus, 1999; Tsui & Ng, 2000; Van den Berg, Admiraal, & Pilot, 2003; Van den Berg et al.,

2005);

Peerreview kan goed ondersteund worden door inzet technologie (Falchikov, 2005; Kigozi Kahiigi, Vesisenaho,

Hansson, Danielson, & Tusubira, 2012; Mory, 2004; Richardson, Ertmer, Lehman, & Newby, 2007; Sahin, 2008;

Van den Berg et al., 2005; Williams, Brown, & Benson, 2013)

De wijze waarop peerfeedback is gegeven en verwerkt moet (bij voorkeur F2F) worden besproken (Boud, 2000;

Juwah et al., 2004; Sadler, 1989; Van den Berg et al., 2003, 2006; Van Seggelen-Damen & Romme, 2014)

Weblectures kunnen het leerproces ondersteunen mits beargumenteerd ingezet;

Door de inzet van weblectures voorafgaand aan de les kan de inhoud van de lessen veranderen waardoor het

leerproces van de student adequaat ondersteund kan worden (Woolfitt, 2015);

Als weblectures adequaat ingezet worden, kunnen ze een aanvulling zijn op de contactmomenten (Woolfitt,

2015).

3.3 Vooronderzoeksfase 2

Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren?

Bij het bespreken van suggesties voor een ontwerp (ontwerpsessies) wordt afgesproken dat feedback als uitkomst

van (peerreview/expertreview) en weblectures deel uitmaken van het ontwerp en dat de digitale leeromgeving

wordt ingezet ter ondersteuning van het leerproces. Het ontwerp vindt plaats binnen de geldende afspraken voor

studieonderdelen uit het OER: geen verplichte deelname aan lesactiviteiten en vigerende toetsing (casustoets). Het

script dat het ‘spoorboekje’ vormt voor de leeractiviteiten moet tot stand komen op basis van de ontwerpeisen/

randvoorwaarden dat het uitgevoerd moet kunnen worden door de betrokken docent, dat er volgende draagvlak is

voor de werkwijze en dat het uitgevoerd kan worden binnen de daarvoor beschikbare tijd voor studenten en

docent. Hierbij moet worden aangetekend dat het gehele proces van ontwerpen hierbuiten valt, en apart

gefaciliteerd werd.

3.4 Ontwerpfase

Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? (empirisch

onderzoek: ontwerpsessies)

Hoe verliep proces van totstandkoming script?

Het herontwerp (script) van het curriculumonderdeel HTRO Thema’s 2.3 kwam tot stand doordat de docent

Thema’s van de locatie Rotterdam een ontwerp hiervoor gemaakt heeft. De input hiervoor kwam uit overleg tussen

de docent HTRO Rotterdam en het lectoraat TLT met betrekking tot inzet van scripting peerreview/ expertreview

en weblectures, gesprekken met collega’s van de docent HTRO die zelf onderzoek hebben gedaan naar de inzet van

weblectures en input op clusterdagen HTRO waar het onderwerp activerende didactiek werd besproken met

collega-docenten ‘Thema’s in toerisme’ van Haarlem en Diemen.


12

Dit leverde een script op dat de docent uiteindelijk genereerde en dat het ‘skelet’ vormde van het gegeven

curriculumonderdeel:

1. Het bekijken van de vier weblectures over de thema’s toerisme;

2. Tijdens de bijeenkomst geven van een (groeps)presentatie;

3. Het geven van feedback aan medestudenten tijdens de les;

4. Het geven van feedback door de docent;

5. Het zelf bedenken van tentamenvragen en deze op digitale leeromgeving (Blackboard) plaatsen.

De docent geeft na afronding van het ontwerp aan dat het laatste onderdeel (5) eigenlijk een beetje ‘vreemde eend

in de bijt is’. De kracht zou moeten zitten in de kern, de onderdelen 1- 4.

Op basis van de hierboven genoemde vijf elementen werd door de docent een script opgesteld van de

leeractiviteiten, verdeeld over de beschikbare weken met alle inhouden, taken, opdrachten, data, etc. Een aanzet

voor het script HTRO Rotterdam is opgenomen als bijlage 3.

3.5 Evaluatiefase

Algemeen

Bij de evaluatie van de uitgevoerde leerpraktijk stonden de volgende onderzoeksvragen centraal:

Is het ontwerp uitgevoerd conform ontwerp?

Wat is de ervaren bruikbaarheid en effectiviteit van het herontwerp (prototype van het ontwerp) in de

perceptie van docent en studenten?

Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd?

In deze paragraaf worden de resultaten van onderzoek gerapporteerd op basis van alle relevante aspecten van

ontwerp, implementatie en evaluatie.

Procesgang en uitvoering

Uitvoering script versus ontwerp

De docent geeft aan het script exact uitgevoerd te hebben zoals ontworpen; op andere locaties werd het

studieonderdeel wel uitgevoerd, maar niet overal op dezelfde wijze. Daarom is het onderzoek afgebakend tot de

locatie Rotterdam zodat optimaal gekeken kon worden of het ontworpen script ‘werkt’. Redenen voor andere

uitvoering op de locaties waren vooral praktische omstandigheden. Er was wel draagvlak voor het script op alle

locaties, het is ook besproken met alle docenten, het gaat dus om gemeenschappelijke ideeën. Nu al is besloten op

de locaties, gezien de ervaringen van dit jaar, om volgend jaar er een vervolg aan te geven, c.q. het programma

door te ontwikkelen. Er moeten volgend jaar nieuwe lessen worden ontwikkeld met het oog op 2017-2018 als een

nieuw curriculum HTRO wordt ingevoerd. Scripting van leeractiviteiten speelt hierbij een belangrijke rol.

Deelname aan onderdelen van 'Thema's in toerisme'.

Uit de resultaten van de studentenvragenlijst komt het volgende naar voren:

Iets minder dan de helft van de respondenten van de studentenvragenlijst (hierna: studenten) heeft

deelgenomen aan 3 of 4 onderdelen van Thema’s in toerisme c.q. iets minder dan de helft van de

studenten heeft het volledige script uitgevoerd.

Weblectures en feedback scoren hierbij hoog (wat betreft meest gevolgde onderdelen).

Het bedenken en plaatsen van tentamenvragen in de digitale leeromgeving scoort hierbij laag.

Uit het interview met de docent komt het volgende naar voren (hierna: de docent geeft aan):


13

De studenten schetsen, volgens de docent, wel een iets rooskleuriger beeld met betrekking tot deelname aan de

onderdelen en het bekijken van de weblectures dan zij zelf heeft. De docent heeft n.l. minutieus bijgehouden wie

wel/niet deelnam aan leeractiviteiten en wel/niet aanwezig was.

‘Omdat studenten wisten dat de aanpak afweek van vorig jaar en dat er sprake was van een ‘pilot’, was de kans op

sociaalwenselijke antwoorden altijd aanwezig’, aldus de docent. Ze geeft aan dat ‘tentamenvraag plaatsen op

Blackboard’ niet goed verliep en wellicht daardoor niet hoog scoorde wat betreft deelname. In Blackboard werd

alleen de vraag sec geplaatst, de discussie erachter in Discussion board op Blackboard was weer niet zichtbaar (dus

niet controleerbaar) voor de docent zodat de docent het ‘proces ernaartoe’ niet kon bekijken. Praktisch probleem

is ook volgens de docent dat het te veel tijd kost (voor de docent) om daarnaar te kijken.

‘De activiteit an sich is wel goed’, volgens haar, ‘maar deze moet anders uitgevoerd worden’. ‘Eigenlijk is het veel

logischer dat het groepje dat een presentatie verzorgt over één van de theoretische modellen direct in de les

(verplicht) een tentamenvraag presenteert waarop gereageerd kan worden’, aldus de docent. Zij vindt dat dat ook

beter haalbaar is qua begeleidingstijd. Daarbij komt dat zij Blackboard ‘niet handig vindt’.

Deelname aan lessen


Een ruime meerderheid van de studenten volgde alle lessen.

De docent geeft aan dat de opkomst in de lessen goed was, maar met grote verschillen. Bijv. met betrekking tot de

groep België & Nederland die laag scoort. In het algemeen kan volgens de docent gesteld worden dat de laatste

lessen het slechtst bezocht werden. Vaak ook bleven studenten ‘later’ weg als ze al gepresenteerd hadden. De

lessen zijn en blijven niet verplicht (OER: Onderwijs- en examenreglement). Er zal dus volgens de docent gezorgd

moeten worden dat de lessen nodig zijn om het curriculumonderdeel goed af te ronden. Ook hier geldt de

opmerking van de docent: studenten geven wel een iets rooskleuriger beeld met betrekking tot deelname aan de

onderdelen en het bekijken van de weblectures dan de docent zelf heeft. Zij heeft n.l. minutieus bijgehouden wie

wel en niet deelnam/ aanwezig was.

Ervaringen met en waardering van onderdelen van het script

Feedback


Studenten geven aan dat ze tijdens de bijeenkomst genoeg feedback hebben gekregen van

medestudenten op de gegeven presentatie.

De docent geeft aan het daarmee eens te zijn. Zij geeft aan dat het opgestelde feedbackformulier voor studenten

met inhoudelijke criteria erg geholpen heeft hierbij. In het formulier waren ook opgenomen de algemene criteria

voor het geven van adequate feedback. Daarnaast heeft de groep bij een ander studieonderdeel uitgebreid

stilgestaan bij algemene criteria voor het geven van effectieve feedback met een weblecture en toelichting van de

collega-docent . ‘Maar, studenten moeten groeien, het kan beter’, aldus de docent.

Studenten geven aan dat ze gedurende het onderwijsonderdeel genoeg feedback hebben gekregen van de

docent.

De docent geeft aan het daar ‘absoluut mee eens’ te zijn. Ze geeft aan dat het een fijne rol was als docent: tijdens

de les feedback geven als aanvulling op peerfeedback tijdens de les die met behulp van een feedbackformulier

(met inhoudelijke criteria) door studenten werd gegeven. De feedbacklijst was opgesteld door de docent zelf en

voor gebruik van feedback voorzien door het lectoraat TLT. De docent: ‘Je maakt gezamenlijk een les; docent en

studenten zijn complementair’.


14

Studenten geven aan dat ze gedurende het onderwijsonderdeel genoeg feedback gegeven hebben aan

medestudenten.

De docent geeft aan dat ze het daarmee eens is. ‘Het blijft echter lastig voor studenten om kritisch te zijn’, aldus de

docent.

Studenten zijn verdeeld over de vraag of ze gedurende het onderwijsonderdeel meer feedback gegeven

dan gekregen hebben.

De docent verklaart dit als volgt: ‘Gevorderden kwamen tekort, zwakkeren kregen te veel.’

Studenten geven aan dat de verhouding ‘feedback door docent’ en ‘feedback door medestudenten’

precies goed was.

De docent geeft aan dat het prima is dat studenten dat vinden: het geeft volgens haar aan dat de studenten het

voelen als ‘samen doen’. ‘Feitelijk ligt het iets genuanceerder’: volgens haar is aantoonbaar dat de docent meer

feedback gegeven heeft.

Studenten geven aan dat ze de feedback van de docent als ondersteunend hebben ervaren voor het

maken van het tentamen/de casustoets.

De docent kan zich dat goed voorstellen, is het ermee eens.

Studenten geven aan dat de feedback van medestudenten van voldoende kwaliteit was.

De docent geeft aan dat het geven van feedback ook erg stimulerend werkte in de klas. Zeker de combinatie

peerfeedback/expertfeedback. ‘Het vult elkaar goed aan: de feedback van de docent was meer inhoudelijk, de

peerfeedback vaak generieker: bijv. Is het onderdeel goed uitgelegd?’, aldus de docent. Het feedbackformulier was

hierbij belangrijk. ‘Maar’, aldus de docent ‘, het kan altijd beter!’

Studenten geven aan dat de feedback van de docent van voldoende kwaliteit was.

Activiteiten in de digitale leeromgeving

Studenten zijn verdeeld over de vraag of de opbrengst van de lessen hoger was door de activiteiten in

Blackboard (bekijken van weblectures en het plaatsen van zelf bedachte tentamenvragen). Bijna de helft

zegt: opbrengst was hoger, een kwart twijfelt, één kwart vindt niet dat opbrengst hoger was.

De docent geeft aan dat de weblectures wel gebruikt zijn vlak voor het tentamen.

Studenten zijn verdeeld over de vraag of het geven van feedback ze heeft geholpen bij het maken van het

tentamen/de casustoets.

De docent verklaart deze uitkomst als volgt: een aantal studenten was niet aanwezig tijdens de lessen, die zullen

dus wellicht minder positief antwoorden: zij heeft de indruk dat degenen die de lessen hebben bijgewoond,

positiever zijn. Zeker omdat het feedbackfomulier volgens haar ‘goed gewerkt’ heeft.

Weblectures

Uit de resultaten van de vragenlijsten blijkt dat ongeveer één derde van de studenten alles gezien heeft

(van de weblectures) en dat bijna iedereen ‘iets’ bekeken heeft.

De docent geeft ter nuancering wel aan dat 1e weblecture als voorbeeld in de klas vertoond is, wat de hogere

‘kijkscore’ voor het 1e weblecture verklaart.


15

Uit de resultaten van de vragenlijst studenten blijkt dat de weblectures (‘Hotels en duurzaamheid',

'Klanttevredenheid', 'Imago en identiteit' en 'Klantprofielen') vooral bekeken zijn ‘voorafgaand aan de les’

en ‘vlak voor tentamen’.

De docent geeft hierbij aan dat zij de indruk heeft dat de weblectures voorafgaand aan de les steeds vooral

bekeken zijn door de groep die over het betreffende onderwerp moest presenteren. Slechts enkele studenten

buiten deze groep hebben steeds de betreffende weblecture voorafgaand aan de les bekeken.

Studenten geven aan dat ze de weblectures over 'Thema's in toerisme' als ondersteunend hebben

ervaren.

De docent geeft aan dat dit vooral geldt voor het door de groep gekozen onderwerp. Voor de anderen geldt dit

minder, volgens haar.

Daarnaast heeft zij de indruk dat de weblectures in het algemeen vooral vlak voor het tentamen ondersteunend

waren. Volgens haar is een mindshift nodig. Hoe? De docent: ‘Door intrinsiek te motiveren en te laten zien dat

bekijken weblectures noodzakelijk is. Dan maak je het onontkoombaar’. In het klassenvertegenwoordigersoverleg

is over weblectures gesproken: studenten geven daar volgens de docent aan dat ze er zeer tevreden over zijn.

‘Alleen… de goede studenten klagen over de slechte’, aldus de docent. Hoe op te lossen? Volgens haar misschien

door colleges (thema’s) verplicht te maken (OER), maar volgens haar kan dat waarschijnlijk niet. Beter is ze

intrinsiek te motiveren.

Aanpak

Studenten geven aan dat de aanpak van het onderwijsonderdeel ondersteunend is voor het maken van

het tentamen.

De docent vindt ook dat de aanpak ondersteunend is. Dit geldt volgens haar voor zowel de gemotiveerden die naar

de les kwamen als voor diegenen die niet naar de les kwamen.

De docent heeft ook gekeken naar resultaten van de casustoetsen en de actieve deelname van studenten. Haar

conclusie op basis van de voor haar beschikbare data is dat actieve deelnemers ‘hoger scoren’. Zij vergeleek

deelnamegegevens die ze had verzameld met behaalde cijfers. Collega’s van haar gaven ook aan dat ze zagen dat

de kwaliteit van het theoretisch kader van 2.3 project (waarbij ze gebruik moeten maken van modellen) van een

hoger niveau was. Volgens de docent is sprake van een positieve ‘relatie’, hoewel dat in dit onderzoek niet is

onderzocht.

Studenten geven aan dat de aanpak van het onderwijsonderdeel ondersteunend is voor het maken van

het onderzoeksvoorstel en onderzoeksrapport

Volgens de docent geven collega’s van haar in een ander verband exact hetzelfde aan.

De meerderheid van studenten geeft aan dat ze de aanpak in dit onderwijsonderdeel motiverend vonden.

De docent beaamt dit: ‘Je merkt in de lessen dat er meer dynamiek is!’, aldus de docent.

Naar aanleiding van de vraag aan studenten ‘Welke drie van de onderstaande activiteiten heeft je het

meest geholpen in je leerproces? (3 opties kiezen uit: 1. Het bekijken van de weblectures over de thema's

in toerisme; 2. Tijdens de bijeenkomst geven van een (groeps)presentatie; 3. Het geven van feedback door

de docent; 4. Het geven van feedback aan medestudenten tijdens de lessen, en 5. Het zelf bedenken van

tentamenvragen)’ kan het volgende worden opgemerkt:

Uit de resultaten van de vragenlijst studenten komt een divers beeld naar voren: veel verschillende

keuzes. Meest gekozen: weblectures, geven van groepspresentatie en geven van feedback door docent.

Minst gekozen: zelf tentamenvragen bedenken en plaatsen op Blackboard.


16

De docent geeft aan als aanvulling op eerdere opmerking over laatste onderdeel (tentamenvragen genereren en op

Blackboard plaatsen): het is een belangrijk activerend onderdeel, maar het moet verbeterd worden: de activiteit

moet in de les zelf plaatsvinden, over het zelf gekozen onderwerp, verplicht, zonder Blackboard. Plus de vragen van

te voren mailen naar de docent zodat deze besproken kunnen worden in de les, aldus de docent.

Sterke en zwakke punten; mogelijke verbeteringen

De resultaten van de vraag aan studenten ‘Wat vond je sterke punten in de aanpak en uitvoering van dit

onderwijsonderdeel, en waarom? gaven een zeer wisselend beeld bij studenten. Genoemd werden

bijvoorbeeld als sterk punt dat de studenten meer moeten doen, maar als zwak punt werd dan weer

genoemd dat de docent minder deed.

De docent over de resultaten: ‘Vreemd en grappig dat sommigen het juist sterk vinden dat de student meer zelf

doet, terwijl anderen graag willen dat de docent gewoon zijn ppt voordraagt’, aldus de docent.

Specifiek: sterke punten genoemd in de studentenvragenlijst met betrekking tot de aanpak en uitvoering van het

onderwijsonderdeel (tussen haakjes de frequentie als een onderdeel 2 of meer keren werd genoemd):

Zelf presenteren (6x) (Door presentaties te geven snap je de stof beter en weet je precies waar het over

gaat/Dat de studenten het model zelf moeten presenteren omdat je er dan zelf wat van leert/De groepen

zelf aan het woord laten en zich laten verdiepen in de onderwerpen/Het was nuttig om veel informatie

over je eigen onderwerp op te zoeken en dat te presenteren/Het was motiverender omdat je een

presentatie moest geven, dus dan ging je al beter naar de theorie kijken in de lessen/Zelf de modellen

uitleggen en toelichten met voorbeelden was een sterk punt/Door het geven van presentatie leer je meer

over de soorten modellen, dit kan je dus al goed toepassen in het project en tijdens de casus toets.

Weblectures (5x) (De weblectures waren erg nuttig/Weblectures waren duidelijk waarin je het één en

ander nog eens terug kunt kijken als je niet meer precies weet hoe het zit/Het kijken van de weblectures,

het was goed te begrijpen en ik leerde er veel van/De weblectures, die kan je op pauze zetten om dingen

op te schrijven en alles wordt goed uitgelegd.

Feedback (2x) (Ook feedback van studenten, geeft andere kijk dan van docent/Feedback want studenten

zijn zelf bezig met het onderwerp.

Actievere lessen door het wisselen tussen docent en studenten.

Ik vind uitleg door een docent bij sommige onderdelen (die niet door een groepje werden gepresenteerd)

de meest leerzame manier van leren met behulp van een powerpoint.

Meer interactie, meer voorbereiding en op verschillende manieren waardoor je op verschillende manieren

leert.

Het zelf voorbereiden.

Veel kennis van anderen.

De indeling van de lessen. 1 onderwerp per les. Dit was erg overzichtelijk.

Tentamenstof behandelen.

Wat betreft de vraag aan studenten ‘Wat vond je minder sterke punten in de aanpak en uitvoering van het

onderwijsonderdeel, en waarom? ook hier een wisselend beeld bij studenten (zie overzicht hieronder).

De docent vindt een minder sterk punt dat het geen verplichte lessen zijn en dat je dus de studenten intrinsiek

moet motiveren mee te doen. Daarnaast speelden ook enkele logistieke, praktische ‘minor’ problemen die opgelost

moesten worden. Bijvoorbeeld toen bleek dat sommige thema’s niet gekozen waren, dus niet voldoende aandacht

kregen terwijl ze wel belangrijk waren waardoor de docent uiteindelijk toch met de ppt presentatie moest

‘opdraven’.

Daarnaast kwamen niet alle projectgroepen opdagen als zij aan de beurt waren om te presenteren, waardoor

bepaalde onderwerpen/thema’s onderbelicht bleven.


17

Verbetersuggestie van de docent: volgend jaar uitdelen van een hand out waar het gehele programma op staat ter

ondersteuning. ‘Daar is behoefte aan‘, aldus de docent.

Ook zouden volgens de docent nog meer activerende tools ingezet kunnen worden: ‘Daar moet nog over

nagedacht worden’. ‘Bijvoorbeeld tools om te presenteren. Maar het mag niet extra tijd gaan kosten voor

studenten. Maar wel bijvoorbeeld aandacht voor de wijze waarop studenten ervoor kunnen zorgen dat nog meer

‘transfer van kennis’ plaats kan vinden (kennis uit modellen toegepast)’.

Specifiek: Minder sterke punten genoemd in de studentenvragenlijst met betrekking tot de aanpak en uitvoering

van het onderwijsonderdeel (tussen haakjes de frequentie als een onderdeel twee of meer keer werd genoemd):

Zelf presenteren (9x) (De presentaties, soms was het model nog niet helemaal duidelijk/ Het presenteren

en uitleggen van de groepjes zelf, sommige waren niet serieus genoeg of niet aanwezig waardoor je

informatie en kennis mis liep/ Dat niet alle presentaties gegeven werden door afwezigheid van studenten,

omdat er zo geen verdiepende uitleg werd gegeven/ Dat niet iedereen aanwezig is en er dus ook

presentaties missen/ De presentaties, ik vond niet dat er veel van geleerd kon worden. Vooral omdat veel

studenten nog niet veel over het onderwerp wisten/ Dat de presentatie niet verplicht was, een aantal

groepjes is niet komen opdagen/ Het geven van presentaties, en het bekijken van weblectures i.p.v

lesgeven. Voor dit soort lessen kan je net zo goed thuisblijven/ Niet iedereen van de studenten nam het

even serieus. Een groepje zei simpelweg dat ze het niet begrepen en hoefde toen geen presentatie meer

te geven. Dit was oneerlijk tegenover de andere groepjes/ Presentaties waren afhankelijk van de stof, dus

als er geen presentatie was dan ook geen les/ Sommige studenten kwamen niet opdagen en dan krijg je

ook geen presentatie, dat was jammer omdat je dan zelf de theorie moet opzoeken

Weblecture (3x) (De weblecture was niet geheel duidelijk waardoor de opdracht niet goed gemaakt kon

worden. Tevens had ik liever betere uitleg van de theorie gewild/ De weblectures, ik heb ze niet bekeken

omdat het niet boeiend was/ Verder vind ik het trouwens geen optie om weblectures tijdens de lessen zelf

te kijken. Het is hier veel te rumoerig voor.

Weinig feedback van docent, onzeker over feedback van medestudenten.

Het forum op Blackboard hebben we niet gebruikt. Andere communicatiemiddelen zijn veel makkelijker en

sneller te gebruiken. Hierdoor werd het forum op Blackboard een beetje overbodig.

Ik hoor de theorie liever van de docent dan van medeleerlingen. Wanneer de docent het vertelt, weet je

zeker dat het correct en volledig is. Ook zijn er een aantal personen niet gekomen tijdens de presentaties,

waardoor je deze stof mist. De ontbrekende stof werd ook niet verder uitgewerkt door de docent.

Je kon nergens de powerpoints van andere leerlingen terug vinden. Zo miste ik veel informatie.

Duurde te lang.

Niks stond verder op papier uitgelegd. Ook de modellen stonden zonder uitleg op Blackboard. Heel

onhandig.

Verbetersuggesties

De resultaten van de vraag aan studenten ‘Wat kan er aan de aanpak en uitvoering van het

onderwijsonderdeel verbeterd worden, en hoe? gaven een wisselend beeld.

Specifiek naar aanleiding van de vraag uit studentenvragenlijst ‘Wat kan er aan de aanpak en uitvoering van het

onderwijsonderdeel verbeterd worden, en hoe?’ (tussen haakjes de frequentie als een onderdeel twee of meer

keer werd genoemd):

Theorie (3x) (Betere theorie/ Liever alle theorie van docent horen).


18

Deelname verplicht maken (4x) (De lessen en presentatie maken verplichten voor de leerlingen/

Verplichten van aanwezigheid zodat de studenten wel voldoende kunnen presenteren en de mede

studenten genoeg uitleg kunnen geven/ Verplicht maken/ Verplicht maken zodat we presentaties kunnen

zien van alle groepen en 1 thema per les zodat de les niet te lang duurt/ De presentatie verplichten).

Weblectures (2x) (Geen weblectures meer/ Weblecture als huiswerk, ieder zijn eigen

verantwoordelijkheid en gewoon lesgeven).

Consequenties bedenken wanneer een groepje zich niet aan de afspraken voor het presenteren houdt. Dit

is eerlijker en zorgt er mede voor dat je ook daadwerkelijk alle thema's goed behandeld hebt. Anders

moeten medestudenten extra werk verrichten, terwijl het de taak was van de projectgroep om er over te

vertellen.

De lessen nog iets leuker maken. Ze zijn nu al leerzamer maar kunnen nog iets leuker

Eerst presentatie van studenten, dan dieper op stof ingaan door docent.

Ik had de les van week 2 gemist, maar kon de powerpoint met informatie van mijn medestudenten niet

vinden. Het zou handiger zijn geweest als die ook op Blackboard hadden gestaan.

Maak het korter en verplicht, tenminste de groep die moet presenteren, moet ook echt voorbereid

hebben en moet presenteren.

Ook belangrijke dingen van de Weblecture kunnen ‘lezen’.

Ik vond het helemaal goed.

Presentatie moet een hulpmiddel zijn geen onderdeel van tentamenstof.

De vraag uit de studentenvragenlijst ‘Wat hebben we niet gevraagd, maar wil je nog graag kwijt over dit

onderwijsonderdeel? leverde de volgende respons op:

Het was wel leuk, weer eens wat anders

Fijn om een les te hebben die meer interactief is in plaats van alleen te luisteren

Presentaties mogen gedeeld worden op Blackboard.

Uit het interview met de docent komt met betrekking tot deze vraag het volgende naar voren:

De docent geeft aan dat ‘het script’ opschaalbaar is naar andere settings/ curriculumonderdelen. ‘Dat is

goed mogelijk is. Volgend jaar gaan wij door met het uitvoeren en fine tunen van het programma op alle

drie de locaties van de HTRO’, aldus de docent. ‘De activerende didactiek past exact binnen de wens van

de opleiding. Daarom zullen in de komende jaren meer onderdelen hiervan profiteren/ hiermee te maken

krijgen’, aldus de docent. Zij geeft verder aan dat ze het een erg prettige werkwijze vindt:

Ga uit van een ‘probleem’;

Bespreek mogelijke oplossingen met collega’s om gezamenlijk idee te hebben;

Gebruik kennis TLT om oplossingen te bedenken;

Bedenk vervolgens samen een ‘oplossing’.

De docent: ‘De docent als coach, het geeft energie en we gaan ermee door!’

Ten slotte Belangrijkste vraag is natuurlijk of de uitvoering van het script, c.q. de vormgegeven activerende didactiek het

beschreven probleem (docent actief, student passief) oplost.

De docent heeft sterk de indruk van wel: ‘In het evaluatiegesprek met studenten naar aanleiding van het

uitgevoerde curriculumonderdeel gaven de studenten aan dat de docent niet hoefde te zenden en dat de student

actief was. Ook gaven zij aan dat de werkwijze ‘waarde had voor het onderzoeksvoorstel en voor de te maken

casustoets’.


19

4. Conclusies en aanbevelingen

4.1 Inleiding en algemene conclusie

In de vooronderzoeksfase werden op basis van twee onderzoeksvragen ontwerpeisen gegenereerd vanuit de

literatuur en vanuit de praktijk.

In de Ontwerpfase leverde dit een ontwerp op, op basis van ontwerpeisen. Belangrijkste elementen van het

herontwerp (script):

Het bekijken van de vier weblectures over de thema’s toerisme;

Tijdens de bijeenkomst geven van een (groeps)presentatie;

Het geven van feedback aan medestudenten tijdens de les;

Het geven van feedback door de docent;

Het zelf bedenken van tentamenvragen en deze op digitale leeromgeving (Blackboard) plaatsen.

In de Evaluatiefase werd onderzocht of het ontwerp is uitgevoerd conform ontwerp en werd het ontwerp

onderzocht op ervaren bruikbaarheid en ervaren effectiviteit. Tevens werden verbeteringen geïnventariseerd.

Geconcludeerd kan worden dat een didactisch ontwerp van curriculumonderdeel 2.3 Thema’s toerisme is

ontworpen en conform ontwerp uitgevoerd, dat het elementen omvatte van activerende didactiek, dat de

studenten hierdoor werden gemotiveerd bij het leren en werden ondersteund in het leerproces.

Geconcludeerd kan worden dat het herontwerp (script) ‘over het geheel genomen’ bruikbaar en effectief is in de

perceptie van studenten en docent, met de in dit hoofdstuk genoemde nuanceringen.

De uitvoering, deelname, ervaren bruikbaarheid en ervaren effectiviteit worden in de overige paragrafen van dit

hoofdstuk besproken. Daarbij worden ook ervaren sterke en zwakke punten van het ontwerp besproken en

suggesties geformuleerd voor verbeteringen.

4.2 Uitvoering en deelname

Geconcludeerd kan worden dat het script op de locatie Rotterdam werd uitgevoerd zoals ontworpen, wat blijkt uit

de resultaten van de ‘vragenlijst studenten’ en het interview met de docent.

Ook kan geconcludeerd worden dat een meerderheid van de studenten heeft geparticipeerd in de leeractiviteiten

van het script op de locatie Rotterdam.

4.3 Ervaren bruikbaarheid

Geconcludeerd kan worden dat in de perceptie van docent en studenten het script als ontwerp bruikbaar was.

Hierbij is een aantal nuanceringen te maken aan de hand de ervaren sterke en zwakke punten (4.5).

Feedback (geven van feedback door studenten) en docent.

Geconcludeerd kan worden dat studenten genoeg feedback hebben gegeven en gekregen van medestudenten

(peerfeedback) en docent en dat ze de verhouding docentfeedback/ peerfeedback goed vonden.

Ook kan geconcludeerd worden dat het opgestelde feedbackformulier de studenten heeft geholpen bij het geven

van feedback.

De weblecture met algemene richtlijnen voor het geven van feedback was volgens de docent te abstract: zij bood

een aangepaste versie aan, meer toegesneden op de studenten en met meer voorbeelden voor het geven van

adequate feedback.

Weblectures

Geconcludeerd kan worden dat de weblectures vooral werden gebruikt door de studenten die een presentaties

moesten geven over het betreffende onderwerp en door studenten in het algemeen vlak voor het tentamen.


20

4.4 Ervaren effectiviteit

Feedback (geven van feedback door studenten) en docent.

Geconcludeerd kan worden dat studenten vinden dat de feedback ze heeft geholpen in het leerproces. Ook kan

geconcludeerd worden dat volgens studenten de feedback van medestudenten en van docent van voldoende

kwaliteit was.

Weblectures

Geconcludeerd kan worden dat de aanpak met weblectures ondersteunend is voor het maken van het tentamen en

dat het de motivatie bevordert.

Wat betreft de weblecture ‘algemene richtlijnen voor het geven van feedback’ kan geconcludeerd worden dat deze

meer toegespitst moet worden op niveau en belevingswereld van de studenten om bruikbaar en effectief te zijn.

Zelf tentamenvragen bedenken en plaatsen op Blackboard.

Geconcludeerd kan worden dat geen eenduidig antwoord kan worden gegeven op de vraag welk onderdeel van het

script het meest geholpen heeft in het leerproces. Wel dat het ‘slechtst’ beoordeeld werd de activiteit ‘zelf

tentamenvragen bedenken en plaatsen op Blackboard’. Hier moet wel een onderscheid gemaakt worden tussen 1.

Het bedenken van tentamenvragen als leeractiviteit en 2 het plaatsen ervan op Blackboard. Wat het ‘ict- aspect’

hiervan betreft: het op Blackboard plaatsen van de vragen werd als niet-zinvol beschouwd.

4.5 Sterke en zwakke punten

Sterke punten

Geconcludeerd kan worden dat de sterke punten van het script volgens docent en studenten zijn: 1. Zelf

presenteren: door zelf te presenteren is de student actiever, wordt de docent meer begeleider van het leerproces,

gaat de student actiever met de stof om, en wordt de student meer gemotiveerd en 2. Weblectures: weblectures

kunnen op verschillende momenten en steeds opnieuw worden bekeken, ook voor het tentamen. Ze zijn goed ‘te

begrijpen’ omdat de onderwerpen door docent goed worden uitgelegd.

Minder sterke punten

Met betrekking tot de minder sterke punten kan worden geconcludeerd dat dezelfde punten als hierboven

genoemd naar voren komen, maar dan niet met betrekking tot de inhoud, maar met betrekking tot het

(vrijblijvende) karakter ervan en wijze van uitvoering.

Zelf presenteren

Het gaat hierbij volgens de meeste studenten niet zozeer om de inhoud en de kwaliteit ervan, maar vooral

om de aspecten vrijblijvendheid (geen verplichting), het feit dat sommige onderdelen niet aan bod

kwamen omdat studenten geen presentatie gaven en dat niet alle studenten het presenteren serieus

namen.

Weblecture

Sommige studenten vonden sommige weblectures niet duidelijk en sommige wilde liever gewoon de

docent horen, wat ze bij de meest vakken gewend zijn.

4.6 Aanbevelingen/verbetersuggesties

Hieronder volgen enkele aanbevelingen voor verbetering van de bruikbaarheid en wellicht ook aanvullend voor

verbetering van de effectiviteit, met als voorwaarde dat de bruikbaarheid eerst verbeterd moet worden om te

mogen verwachten dat het ook effectief wordt.

Ordening aanbevelingen/verbetersuggesties Om de verbetersuggesties te ordenen wordt onderstaande indeling gebruikt:

a. Factoren met betrekking tot bruikbaarheid ontwerp


21

b. Factoren met betrekking tot effectiviteit van het ontwerp

c. Factoren met betrekking tot randvoorwaarden:

1. Factoren die niet beïnvloedbaar zijn: dat betreft contextfactoren die als startcondities

gedefinieerd kunnen worden om de kans op succesvolle uitvoering en implementatie groter

maken, maar die niet kunnen worden beïnvloed vanuit het onderzoek;

2. Factoren die beïnvloedbaar zijn via het ontwerp: daarbij gaat het om zowel voorwaarden als

functionele eisen, want de functionele eis dat peerreview op een bepaalde wijze wordt ingezet

leidt alleen tot een effectief ontwerp als ook aan de voorwaarde wordt voldaan dat studenten in

staat zijn om goede feedback te geven en te benutten. Het ontwerp zou moeten voorzien in het

waarborgen van die voorwaarden opdat het ontwerp effectief kan zijn;

3. Factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie: daarbij gaat het om

randvoorwaarden in de context die de uitvoering conform het ontwerp in de weg staan, maar die

wel kunnen worden beïnvloed vanuit het onderzoek.

Verbetervoorstellen

Met betrekking tot genoemde verbetervoorstellen door studenten kan geconcludeerd worden dat de volgende

mogelijke aanpassingen een breed draagvlak hebben:

Theorie (bruikbaarheid/effectiviteit)

Niet alle theorie alleen door studenten laten presenteren, ook deels door docent, naast de weblectures die de

docent al verzorgt.

Onontkoombaar maken (bruikbaarheid/effectiviteit)

Als aanbeveling kan worden geformuleerd, op basis van de conclusies: maak deelname aan leeractiviteiten uit het

script onontkoombaar zoals het bekijken van de weblectures.

Over het geheel genomen hebben studenten redelijk goed geparticipeerd in de leeractiviteiten die deel uitmaakten

van het script, maar belemmerend hierbij werkte dat lessen niet verplicht zijn: het script moet deelname

onontkoombaar maken, hoe lastig dat ook is: ‘als je meedoet, ben je beter af’. Afgedwongen kan deelname niet

worden; het zal dus vooral afhangen van kwaliteit programma (script) en de wijze waarop de docent de studenten

kan motiveren deel te nemen: hoe waarborg je dat studenten inderdaad ervaren dat ze beter af zijn als ze

deelnemen.

Weblectures (bruikbaarheid)

Wat betreft de weblecture ‘algemene richtlijnen voor het geven van feedback’ wordt aanbevolen deze meer toe te

spitsen op niveau en belevingswereld van de studenten om bruikbaar te zijn. Door aanpassing van deze weblecture

hoeft de docent niet meer in de les de conversie te maken van inhoud naar toepassing, wat de docent kan

ontlasten en de eenduidigheid van de uitleg van de begrippen op de locaties waar deze wordt toegepast, kan

verhogen.

Zelf tentamenvragen bedenken en plaatsen op Blackboard (bruikbaarheid/randvoorwaarden: factoren die

beïnvloedbaar zijn in de voorbereiding van de implementatie)

De aanbeveling die volgt uit de eerder geformuleerde conclusies luidt: wel tentamenvragen laten bedenken als

activerende leeractiviteit, maar niet zonder context op Blackboard plaatsen: beter: op andere wijze verspreiden,

o.a. naar de docent zodat de vragen tijdens de les besproken kunnen worden.


22

5. Kritische reflectie en suggesties voor vervolgonderzoek

5.1 Reflectie op conclusies

De conclusies betreffen de aspecten ervaren bruikbaarheid en ervaren effectiviteit. Aan bruikbaarheid en

effectiviteit gaan vooraf relevantie ontwerp en consistentie. Deze zijn niet opgenomen in vraagstelling. De

relevantie van het script was vooraf geborgd en werd daarom niet apart onderzocht. De consistentie van het

ontwerp werd ook niet apart onderzocht: door analyse context en de theoretische basis zou deze geborgd moeten

zijn in de ontwerpfase, maar in een vervolgonderzoek zou de consistentie apart onderzocht kunnen worden door

expert appraisal of focusgroep docenten voordat de uitvoering plaatsvindt. Ten dele is de consistentie natuurlijk

wel min of meer getest in het kader van de bruikbaarheid: de volgorde van bepaalde interventies/activiteiten werd

in de praktijk niet helemaal als effectief ervaren, bijvoorbeeld het feit dat onontkoombaarheid niet goed was

ingebouwd. Dit aspect zou deel kunnen uitmaken van consistentie.

Geconcludeerd werd in hoofdstuk 4 dat het beoogde doel van het script (effectief inzetten van activerende

werkvormen ter ondersteuning van het leerproces van de student) ‘deels bereikt is’, maar dat verschillende type

factoren (bruikbaarheid en effectiviteit) en randvoorwaardelijke factoren een belemmerende rol hebben gespeeld.

Voor een bruikbaar en effectief script is het cruciaal dat aan de noodzakelijke randvoorwaarden wordt voldaan.

Bij de conclusies met betrekking tot verbetersuggesties zijn deze randvoorwaardelijke factoren opgesplitst naar

drie categorieën:

1. Factoren die niet beïnvloedbaar zijn: bijvoorbeeld commitment bij docenten voor de aanpak waardoor het

ontwerp kan worden uitgevoerd conform. Duidelijk is dat er streng op moet worden toegezien dat aan dit type

randvoorwaarden kan worden voldaan: ze zijn voorwaarde voor een succesvol onderzoekstraject. Bij het ontbreken

van deze randvoorwaarden moet heroverwogen worden of het werken met een script zinvol is in het kader van de

verbetering van de kwaliteit van het onderwijs.

2. Factoren die beïnvloedbaar zijn via het ontwerp: daarbij gaat het om zowel voorwaarden als functionele eisen:

bijvoorbeeld adequate uitleg over het script aan studenten en docenten, adequate voorbereiding op het geven van

effectieve feedback door studenten, bespreken van algemene en inhoudelijke criteria voor het geven van feedback,

adequate voorbereiding op de begeleiding van het feedbackproces aan docenten en een realistische planning van

de leeractiviteiten.

3. Factoren die beïnvloedbaar zijn in de voorbereiding van de uitvoering en/of implementatie: daarbij gaat het om

randvoorwaarden in de context die de uitvoering conform het ontwerp in de weg kunnen staan: bijvoorbeeld

adequate inrichting digitale leeromgeving.

Voordeel van het onderscheid is dat bruikbaarheidsaspecten en effectiviteitsaspecten gescheiden kunnen worden

van randvoorwaarden. Deze randvoorwaarden kunnen bij een vervolgonderzoek vooraf in kaart gebracht worden

zodat het onderzoek zich kan richten op bruikbaarheid en effectiviteit als aan alle randvoorwaarden kan worden

voldaan.

5.2 Reflectie op uitgevoerde onderzoek

Ten eerste: de vragenlijst voor studenten is tekortgeschoten met betrekking tot de antwoordoptie ‘n.v.t’ die soms

gewenst was, maar ontbrak. Daarom is wellicht is sommige gevallen ‘neutraal’ geantwoord op stellingen die ‘n.v.t.’

waren of bij de resultaten was niet duidelijk waarom de vraag niet was ingevuld.

Ten tweede: het ontwerp was gemaakt door de docent zelf: hierdoor is het mogelijk dat de perceptie van de

docent ‘gekleurd’ was. Om die reden werd in het onderzoek de nadruk gelegd op de opvattingen van de gebruikers,

de studenten.


23

5.3 Reflectie op resultaten studentenvragenlijst

De docent gaf tijdens het onderzoek aan dat ‘de studenten wisten dat de aanpak afweek van vorig jaar en dat er

sprake was van een ‘pilot’, waardoor de kans op sociaalwenselijke antwoorden aanwezig was. Dat gold met name

voor de vragen met betrekking tot deelname aan onderdelen van het programma, zoals bekijken van de

weblectures.

5.4 Ontwerp

Het ontwerp is tot stand gekomen binnen de vigerende randvoorwaarde met betrekking tot deelname: geen

verplichting. Een script is het meest bruikbaar en effectief als er alignment is tussen doelen, leeractiviteiten en

toetsing (Biggs, 2003). Omdat er geen verplichting is voor deelname, moet het script zo worden ontworpen dat

deelname aan alle leeractiviteiten de grootste kans oplevert voor een succesvolle afronding van het

studieonderdeel. De leeractiviteiten zouden dus nog meer dan nu het geval is ‘onontkoombaar’ moeten zijn, m.a.w.

dat deelname aan alle onderdelen noodzakelijk is om de doelen te bereiken en als betekenisvol wordt ervaren.

5.5 Voorwaarden voor uitvoering programma

Randvoorwaarde voor het ontwerp was dat het uitvoerbaar moest zijn binnen de beschikbare capaciteit en

middelen. Uit het onderzoek blijkt dat dit bij deze eerste uitvoering niet mogelijk was. Als het ontwerp wordt

aangepast op basis van de ervaringen van het afgelopen jaar en wordt uitgevoerd door dezelfde docent, is de

verwachting dat aan de voorwaarde hiervoor genoemd kan worden voldaan. De extra tijd zat nu vooral in extra

overleg en afstemming, inwerken op nieuwe werkwijze, tijd voor evaluatie, etc. Uitgangspunt van het script is dat

de beschikbare tijd voor de docent toereikend is.

5.6 Suggesties voor vervolgonderzoek

Op basis van de onderzoeksresultaten en de ervaringen bij de uitvoering kan het programma worden aangepast.

Als het programma daarna ook uitgevoerd gaat worden op andere locaties, dan is commitment voor uitvoering op

alle locaties noodzakelijk: volgens de docent is commitment bij de docenten aanwezig. Als het aangepaste

programma voorzien wordt van een korte ‘rationale’ waarin de ideeën en uitgangspunten achter het ontwerp

uiteengezet worden, de rationale besproken wordt met de docenten op alle locaties en de implementatie adequaat

begeleid wordt, dan wordt de kans vergroot dat het ontwerp conform ontwerp kan worden uitgevoerd op de

locaties. Hierbij moet worden opgemerkt dat het volledig uitvoeren van het script nog altijd geen garantie geeft dat

het als bruikbaar en ook als effectief wordt ervaren, omdat ook andere factoren daar een rol in vervullen,

bijvoorbeeld de mate waarin studenten in staat zijn elkaar te voorzien van goede feedback.

Dit wil niet zeggen dat vervolgonderzoek zich op brede implementatie moet richten. Wellicht heeft inzoomen op

onderdelen van het gehele proces een grotere impact en wellicht kan daarop vervolgonderzoek plaatsvinden,

bijvoorbeeld met betrekking tot aspecten van peerreview en/of de inzet van video/weblectures ter ondersteuning

van het leerproces.

5.7 Ten slotte

Door het ontwerp zijn de studenten in een actieve modus gekomen. De docent geeft het programma samen vorm

met de studenten: de docent hoeft niet alleen te zenden, de studenten hoeven niet alleen te ontvangen.

In onderliggend onderzoek is ervaren dat door het scripten van de leeractiviteiten beter kan worden nagedacht

over alle aspecten met betrekking tot het uit te voeren programma. Dat studenten door het uitgevoerde ontwerp

in een actieve modus zijn gekomen is toe te juichen, wat overigens nog niks zegt over de effecten van die actievere

betrokkenheid op de kwaliteit van de leeropbrengsten.

Het ontwerp kan een bijdrage leveren aan de didactische vernieuwing die noodzakelijk is met een gerichtheid op

actief leren van de student. Toch zal na aanpassing van het script gewerkt moeten worden aan een aantal


24

randvoorwaarden voor succesvolle toepassing om het script uiteindelijk breed te kunnen implementeren op alle

locaties. Deze randvoorwaarden moeten zoveel mogelijk op orde zijn om te mogen verwachten dat het script

bruikbaar en effectief kan worden.

En het bijdragen aan de verbetering van de kwaliteit van leeropbrengsten moet worden gewaarborgd, anders is

brede uitrol nog niet wenselijk.

Uit nadere beschouwing door de docent van de toetsresultaten van de module kan worden opgemaakt dat de

resultaten dit jaar aantoonbaar beter zijn in vergelijking met vorig jaar. Volgens de docent houden de verbeterde

resultaten verband met de nieuwe aanpak, maar

een oorzakelijk verband tussen de leeropbrengsten en het werken met de nieuwe aanpak activerende didactiek

kan uiteraard nog niet worden gelegd. Het is zeker reden om die relatie nader te verkennen in vervolgonderzoek.


25

Geraadpleegde bronnen

Biggs, J. (2003). Teaching for quality learning at university. What the student does (Second ed.). New York: Open University Press.

Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 7(74).

Black, P., & Wiliam, D. (1998b). Inside the Black Box Raising Standards Through Classroom Assessment. Phi Delta Kappan, 80(2), 139-148.

Boud, D. (2000). Sustainable assessment: Rethinking assessment for the learning society. Studies in Continuing Education, 22(2), 151-167.

Commissie Gedragscode Praktijkgericht onderzoek in het hbo. (2010). Gedragscode praktijkgericht onderzoek voor het hbo. Gedragscode voor het voorbereiden en uitvoeren van praktijkgericht onderzoek binnen het Hoger Beroepsonderwijs in Nederland. Den Haag: HBO-raad.

Dennen, V. (2003). Designing peer feedback opportunities into online learning experiences. Paper presented at the 19de Annual Conference on distance teaching and learning., Madison, Wisconsin.

Dochy, F., Segers, M., & Sluijsmans, D. (1999). Co-assessment in higher education: a review. Studies in Higher Education, 24(3).

Falchikov, N. (2005). Improving assessment through student involvement: practical solutions for aiding learning in higher and further education. New York: RoutledgeFalmer.

Finn, G. M., & Garner, J. (2011). Twelve tips for implementing a successful peer assessment. Medical teacher, 33(6), 443-446.

Fransen, J. (2013). De pionier als bruggenbouwer. W4: Weten Wat Werkt en Waarom, 2(3).

Götte, B. (2015). Cirkelen rond peerreview: Een ontwerpgericht onderzoek naar een scenario voor de inzet van peerreview in de afstudeerfase van de hogere beroepsopleiding Communicatie van Hogeschool Inholland Diemen. (Master), Hogeschool Inholland, Den Haag.

Hattie, J. A. C. (2009). Visible learning: a synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.

Hattie, J. A. C., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112. doi:10.3102/003465430298487

Juwah, C., Macfarlane-Dick, D., Matthew, B., Nicol, D., Ross, D., & Smith, B. (2004). Enhancing student learning through effective formative feedback. York: The Higher Education Academy (Generic Centre).

Keh, C. L. (1990). Feedback in the writing process: a model and methods for implementation. ELT journal, 44(4), 294-304.

Kigozi Kahiigi, E., Vesisenaho, M., Hansson, H., Danielson, M., & Tusubira, F. F. (2012). Modelling a peer assignment review process for collaborative e-learning. Journal of Interactive Online Learning, 11(2), 67-79.

Ladyshewsky, R. K. (2013). The role of peers in feedback processes. In D. Boud & M. E (Eds.), Feedback in Higher and professional education: understanding it and doing it well (pp. 147-189).

Laurillard, D. (2002). Rethinking university teaching: a conversational framework for the effective use of learning technologies. Londen: RoutledgeFalmer.

Min, H.-T. (2005). Training students to become successful peer reviewers. System, 33(2), 293-308.

Mory, E. H. (2004). Feedback research revisited. In D. H. Jonassen (Ed.), Handbook of research on educational communications and technology (2 ed., pp. 745-783). London: Lawrence Erlbaum Associates, Publishers.

Newkirk, T. (1984). Direction and misdirection in peer response. College Composition and Communication, 35(3), 301-311.

Nilson, L. B. (2003). Improving student peer feedback. College teaching, 51(1), 34-38.


26

Paulus, T. (1999). The effect of peer and teacher feedback on student writing. Journal of Second Language Writing, 8(3), 265-289.

Richardson, J. C., Ertmer, P. A., Lehman, J., & Newby, T. J. (2007). Using peer feedback in online discussions to improve critical thinking. Paper presented at the The Annual Meeting of the Association for Educational Communications and Technology, Anaheim, CA.

Rieber, L. J. (2006). Using peer review to improve student writing in business courses. Journal of Education for Business, 322-326.

Rompa, R. M. G., & Romme, A. G. L. (2001). Samenwerking en leerprestaties in afstudeerkringen. Pedagogische Studien, 78(5), 298-312.

Sadler, D. (1989). Formative assessment and the design of instructional systems. Instructional Science, 18(2), 119-144.

Sahin, S. (2008). An application of peer assessment in higher education. The Turkish Online Journal of Educational Technology, 7(2).

Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78(153), 153-189. doi:10.3102/0034654307313795

Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68(3), 249-276.

Topping, K., Smith, E., Swanson, L., & Elliot, A. (2000). Formative peer assessment of academic ariting between postgraduate students. Assessment & Evaluation in Higher Education, 25(2).

Tsui, A. B., & Ng, M. (2000). Do Secondary L2 Writers Benefit from Peer Comments? Journal of Second Language Writing, 9(2), 147-170.

Van den Berg, I., Admiraal, W., & Pilot, A. (2003). Peer assessment in university teaching. An exploration of useful designs. Assessment & Evaluation in Higher Education, 31(1), 135-147.

Van den Berg, I., Admiraal, W., & Pilot, A. (2006). Designing student peer assessment in higher education: analysis of written and oral peer feedback. Teaching in Higher Education, 11(2), 135-147.

Van den Berg, I., Pilot, A., & Admiraal, W. (2005). Peer assessment als leermiddel. Voorbeelden uit het hoger onderwijs. Utrecht: Universiteit Utrecht (IVLOS).

Van Seggelen-Damen, I. C., & Romme, A. G. L. (2014). Reflective questioning in management education: lessons from supervising thesis projects. SAGA Open, 4(2), 1-13. doi:10.1177/2158244014539167

Van Zundert, M., Sluijsmans, D., & Merriënboer, V. (2010). Effective peer assessment processes: Research findings and future directions. Learning and Instruction, 20, 270-279.

Williams, B., Brown, T., & Benson, R. (2013). Feedback in the digital environment. In D. Boud & E. Molloy (Eds.), Feedback in higher and professional education: understanding it and doing it well (pp. 125-139). London: Routledge.

Woolfitt, Z. (2015). The effective use of video in higher education. Retrieved from www.INHOLLAND.nl/tlt



27

Bijlage 1 → Screenshot vragenlijst studenten

De integrale vragenlijst en data zijn te vinden op www.inholland.nl/TLT bij onderzoekslijn feedback.

http://www.inholland.nl/TLT


28

Bijlage 2 → Protocol interview docent

TLT/TLF – Protocol voor interview met docent/pionier [concept 1600608]

Aspect Startvraag Vervolgvragen

Algemeen 1. Kun je aangeven hoe je het onderwijs-onderdeel hebt ervaren als docent?

Wat vind je de belangrijkste meerwaarde van deze aanpak en waarom?

Wat heb als minder positief ervaren en waarom?

Uitvoering van het onderwijsonderdeel

2. Heb je alle activiteiten uit het ontwerp uitgevoerd? Welke niet en waarom niet?

Wat betekenen de relatief hoge score met betrekking tot de deelname van studenten aan bekijken van de weblectures en geven van feedback?

Wat betekenen de relatief lage scores met betrekking tot het bedenken en plaatsen van tentamenvragen op Blackboard?

Wat zou de deelname aan het plaatsen van tentamenvragen kunnen stimuleren?

3. Heb je de indruk dat alle studenten alle lessen hebben gevolgd? Zo nee, waarom denk dat ze dit niet allemaal deden?

Wat betekent de relatief hoge scores met betrekking tot het aantal gevolgde lessen?

Wat zou studenten stimuleren om alle lessen te volgen?

4. In welke zin sloten de lessen wel of niet goed aan bij de verschillende weblectures en bij het plaatsen van tentamenvragen?

Wat zeggen uitspraken van studenten over de aansluiting tussen weblectures, lessen en plaatsen van tentamenvragen?

Zou de aansluiting tussen de weblectures, de lessen en het plaatsen van tentamenvragen verbeterd worden, en zo ja, wat betekent dat voor de uitvoering?

Wat vind je van de suggesties uit de survey onder studenten?

5. Heb je de indruk dat de wijze waarop je de uitvoering hebt georganiseerd in alle opzichten effectief was? Waarom wel of niet?

Wat zeggen de opmerkingen van studenten over de organisatie en uitvoering over dit onderwijsonderdeel?

Wat moet misschien anders in de organisatie en uitvoering om alle studenten te bewegen tot volwaardige participatie?

Waardering voor het onderwijsonderdeel

6. Ondersteunt de aanpak het leerproces in dit onderwijsonderdeel volgens jou en zo ja, waarom?

Wat betekenen de relatief gespreide scores van studenten voor de mate waarin online activiteiten de lesopbrengst versterkt?

Wat kan anders of beter in de uitvoering om de opbrengst in de lessen te verhogen?

7. Was de feedback die studenten elkaar gaven bruikbaar volgens jou? Waarom wel of niet?

Wat betekenen de scores van studenten op de waardering voor feedback van hun peers volgens jou?

Is de kwaliteit van de feedback die studenten elkaar geven nog te verbeteren, en zo ja, wat is daarvoor nodig? Geef een voorbeeld.

8. Werkte de digitale omgeving goed voor het bekijken van weblectures en plaatsen van tentamenvragen? Waarom wel/niet?

Wat beter in de inrichting van de digitale omgeving voor het bekijken van weblectures en plaatsen van tentamenvragen? Geef een voorbeeld.

Wat zeggen de opmerkingen van studenten over de inzet van de digitale omgeving?


29

Aspect Startvraag Vervolgvragen

De effectiviteit van de lessen en de aanpak

9. Werden de weblectures over ‘Thema’s in toerisme’ als ondersteunend ervaren in het leerproces volgens jou? Waarom wel of niet?

Wat zeggen de opmerkingen die studenten maken over de weblectures en over de inzet van weblectures in het leerproces?

Wat kan beter met betrekking tot de inhoud en vorm van deze weblectures opdat ze voor studenten ondersteunend zijn?

10. Ondersteunt het in de les presenteren door studenten het leerproces volgens jou? Waarom wel of niet?

Wat zeggen de opmerkingen van studenten over de toegevoegde waarde van het door studenten laten presenteren volgens jou?

Wat kan anders of beter met betrekking tot het laten presenteren door studenten in de lessen volgens jou?

11. Ondersteunt het elkaar als studenten feedback laten geven op presentaties het leerproces volgens jou? Waarom wel of niet?

Wat betekenen de relatief gespreide scores van studenten voor de mate waarin ‘geven van feedback op elkaar’ ondersteunend is voor het leerproces?

Wat kan anders of beter met betrekking tot het geven van feedback op elkaar opdat het ondersteunend is voor het leerproces?

12. Ondersteunt het bedenken + plaatsen van tentamenvragen in Blackboard het leerproces volgens jou? Waarom wel of niet?

Wat betekent de relatief lage deelname van studenten aan het bedenken + plaatsen van tentamenvragen in Blackboard volgens jou?

Wat zou er beter of anders moeten opdat de studenten deelnemen aan het plaatsen van tentamenvragen in Blackboard?

13. Moet de aanpak veranderen voor dit onderwijsonderdeel volgens jou?

Wat kan er anders of beter in de uitvoering van dit onderwijsonderdeel? Voorbeeld?

Wat kan anders of beter in de wijze waarop je als docent je rol vormgaf in de uitvoering?

14. Versterkt deze aanpak de motivatie voor dit onderwijsonderdeel volgens jou? Waarom wel of niet?

Wat betekenen de relatief positieve scores van studenten voor de mate waarin deze aanpak versterkend werkt op de motivatie?

Wat kan anders of beter in de uitvoering om de motivatie bij studenten te versterken?

Verbetersuggesties 15. Welke suggesties heb je nog voor de aanpak in dit onderwijsonderdeel?

Wat kan anders of beter met betrekking tot de aanpak in dit onderwijsonderdeel? Licht toe.

Moeten nog andere media en/of activiteiten worden ingezet en zo ja, welke en waarom?

16. Welke suggesties heb je ten aanzien van de organisatorische aspecten van de aanpak?

Wat kan anders of beter in de wijze waarop de lessen worden ingevuld? Licht toe.

Wat kan anders of beter in de organisatie en aansturing van het laten presenteren door studenten? Licht toe.

Wat kan anders of beter in de organisatie en ondersteuning van peerreview in de lessen? Licht toe.

Afsluiting 17. Wat zou je nog willen meegeven aan ons met betrekking tot de aanpak in dit onderwijsonderdeel?

Wat is niet gevraagd maar had wel moeten worden gevraagd?

Welke adviezen heb je aan ons ten aanzien van de wijze waarop we het onderzoek naar activerende didactiek uitvoeren?


30

Bijlage 3 → Opzet script HTRO - Thema’s Rotterdam

Eerste opzet script HTRO 2.3 - Thema’s

Week 1

Les 1. Uitleg van de lessen + …. Thema 5. Duurzaamheid in/en hotels (geen onderzoeksthema!).

30 minuten theorie les daarna ruimte om te laten zien hoe praktisch toepassen. Dit als voorbeeld voor studenten

hun eigen thema presentatie in week 2 en week 3.

Les 2. Werken aan theorieën groepjes -> consultancy vorm. Studenten gaan tijdens de les theorieën zoeken en

bestuderen voor hun inhoudelijke verkenning en maken een start met presentatie. Docent is aanwezig voor vragen

en feedback.

Lessen week 2 en 3: studenten bereiden zich voor d.m.v. een weblecture en/of het lezen van theorie/casus. Per les

maximaal 2 modellen/theorieën die vanuit de docent worden behandeld.

Projectgroep presenteren in de les hun thema met hoe ze de theorie van plan zijn te gebruiken in hun onderzoek +

minimaal 1 extra model/theorie bovenop de 2 ‘verplichte’.

Uit te voeren stappen voor ons vieren:

Stap 1. Tentamenvraag / richting per thema bedenken (om hier de inhoud en aanpak van les op aan te passen)

Stap 2. Voorbereiding voor studenten maken: of web lecture of/en artikel.

Stap 3. Ppt ontwikkelen -> link tussen web lecture van theorie of artikel. Case study hoe je de theorie in de praktijk

brengt. Puur literatuur in de les (denk aan ongeveer 15-20 minuten).

Stap 4. Projectgroep presenteren in de les hun thema met hoe ze de theorie van plan zijn te gebruiken in hun

onderzoek + minimaal 1 extra model/theorie bovenop de 2 ‘verplichte’.

Na presentatie de interactie/feedback zoeken in de klas doormiddel van: studenten een mogelijke tentamenvraag

laten bedenken bij de theorie, of per groepje 2 vragen stellen en 1 feedback punt op inhoud presentatie – feedback

geven (scripting).

Voor tentamen:

Kleine casus beschrijven en daar de vraag op baseren. Time management belangrijk, onderzoek heeft dit ook dus

het moet echt zo minimaal mogelijk!

Vervolg:

Week 2: Les 3. Thema 1 / Klanttevredenheid; Les 4. Thema 2 / Imago identiteit (modernisatie)

Week 3: Les 5. Thema 3 / Zoek en boek; Les 6. Thema 4 / Klantprofielen

Feedback en scripting van peerreview€¦ · inzetten van activerende werkvormen ter ondersteuning...

Documents

Transcript of Feedback en scripting van peerreview€¦ · inzetten van activerende werkvormen ter ondersteuning...