Analyse vragenlijst pilot bruikbaarheid docenten SURF · ROC Nijmegen 3 0 (0%) Saxion 17 10 (59%)...

SURF onderzoek juli 2013

1

Analyse vragenlijst pilot bruikbaarheid docenten SURF

Lector

Dr. Mark Gellevij

Onderzoekers

Dr. Marike Faber

Jolise ’t Mannetje MSc

Contact:

Saxion - Kenniscentrum Onderwijsinnovatie

Lectoraat Innovatief en Effectief Onderwijs

M.H. Tromplaan 28, kamer S1.77

7513 AB Enschede

Postbus 70000

7500 KB Enschede

T: 053 – 4871522

M: 06 – 20179485

I: www.saxion.nl/onderwijsinnovatie

E: [email protected]

http://www.saxion.nl/onderwijsinnovatie

mailto:[email protected]


2

Inleiding

In mei 2013 is een vragenlijst afgenomen bij docenten van vijf verschillende

hogescholen en één middelbare beroepsopleiding. De betrokken docenten hadden

hiervoor eerst een uitnodiging gekregen om ‘als student’ een eerste oefentoets,

ontwikkeld binnen het project ToetsBaBe, te maken. Doel van deze vragenlijst was

om in beeld te krijgen in hoeverre de ontwikkelde toets volgens docenten bruikbaar

is voor toetsgestuurd leren binnen de vakken bedrijfsadministratie en

bedrijfeconomie.

De vragenlijst is tot stand gekomen vanuit een SURF project om landelijk een

digitale toetsbank te ontwikkelen voor bedrijfsadministratie en bedrijfseconomie om

daarmee toegestuurd leren te bevorderen. De hoge uitval bij de betreffende

opleidingen en de hoge toetswerklast van docenten zijn aanleiding geweest om dit

project rond toetsgestuurd leren te starten. ‘Toetsgestuurd leren’ betekent dat de

toets onderdeel uitmaakt van het leerproces van de student. Studenten worden niet

afgerekend op de uitkomsten van deze toetsen, maar het helpt hen inzicht te krijgen

in hun eigen kennis- en competentieniveau. Op basis van de uitkomsten kunnen zij

zelf hun leerproces verder sturen. De verwachting is dat toetsgestuurd leren de

studie-uitval zal verlagen. Bovendien wordt verwacht dat de toetswerklast van

docenten zal afnemen, omdat de toetsen digitaal beschikbaar zijn en er ook digitaal

feedback gegeven zal worden.

Dit rapport doet verslag van de uitkomsten van de docentenvragenlijsten na een

eerste verkennende pilot binnen het project toetsgestuurd leren SURF

Bedrijfsadministratie/Bedrijfseconomie. Alle vijf betrokken Hogescholen hebben

geparticipeerd in het onderzoek. Hierbij moet worden opgemerkt dat het aantal

respondenten zeer onevenredig verdeeld is over de verschillende instellingen.

Achtereenvolgens wordt verslag gedaan van uitkomsten op vragen over:

1. Invullen van de vragen

2. Kwaliteit van de vragen

3. Bruikbaarheid voor toetsgestuurd leren

4. Bruikbaarheid in de lessen

5. Algemene vragen

Dit rapport is bedoeld om de ontwikkeling van de toetsbank binnen het project

verder te kunnen sturen en om de latere pilots met docenten én studenten optimaal

vorm te kunnen geven. Het rapport doet daartoe verslag in beschrijvende zin. Het

toont de verwerkte uitkomsten van de vragenlijsten en opvallende zaken worden

genoemd.

Tabel 1 geeft een overzicht van de respons op de vragenlijsten in vergelijking met de

aantallen mogelijke respondenten.


3

Tabel 1. Respons op de vragenlijst voor docenten per onderwijsinstelling weergegeven

Onderwijsinstelling Totaal aantal docenten Respons docenten aantal(%)

De Haagse Hogeschool 19 10 (53%)

Hogeschool Utrecht 36 9 (25%)

Hogeschool Rotterdam 28 8 (29%)

Hogeschool van Amsterdam 38 2 (5%)

ROC Nijmegen 3 0 (0%)

Saxion 17 10 (59%)

Totaal: 141 39 (28%)

N.b. Niet elke docent heeft de gehele vragenlijst ingevuld.

Zoals in Tabel 1 te zien is zijn de mogelijke respondenten van deze vragenlijsten

niet evenwichtig verdeeld over de verschillende onderwijsinstellingen. De

daadwerkelijke respons is ook onevenwichtig verdeeld over de verschillende

instellingen. De respons van de docenten op de Haagse Hogeschool en Saxion is

procentueel aanzienlijk hoger dan op de andere instellingen. Bij de vragen waarbij

dit relevant is zullen de resultaten per instelling worden weergegeven, zodat deze

onevenwichtige verhouding de resultaten niet te zeer beïnvloedt. Bij algemenere

vragen worden de resultaten bij elkaar opgeteld, omdat hier geen grote verschillen te

verwachten zijn.

Voor het leesgemak zijn de namen van de betrokken instellingen in de rest van deze

rapportage afgekort. De gebruikte afkortingen zijn als volgt:

De Haagse Hogeschool- HHS

Hogeschool Utrecht- HU

Hogeschool Rotterdam- HR

Hogeschool van Amsterdam- HvA

Saxion- Saxion

In de bijlage staat de afgenomen vragenlijst.


4

1. Invullen van de vragen

De eerste vragen die gesteld zijn gingen over de praktische bruikbaarheid van de

toets binnen het eigen toetssysteem van de verschillende instellingen. Volgens de

meeste docenten gaf de toetsintroductie duidelijk aan wat er van de docent verwacht

werd. Op een vijfpuntsschaal (zeer mee oneens-zeer mee eens) was de gemiddelde

score 3,56 (n=39). Vijf docenten (13%) waren het oneens of zeer oneens met deze

stelling, zij vonden de introductie niet duidelijk.

Vervolgens is gevraagd of de wijze van beantwoorden van de vragen in de digitale

omgeving eenvoudig is. Ook deze vraag beantwoorden de meeste docenten

bevestigend (gem. 3.85, n=39).

Uit de antwoorden op deze eerste twee vragen blijkt dat de praktische bruikbaarheid

voor de meeste docenten geen belemmeringen heeft opgeleverd.


5

2. Kwaliteit van de vragen

De tweede set vragen ging over de kwaliteit van de vragen in de proeftoets. Op de

vraag of de vragen in de toets helder geformuleerd zijn, antwoorden de meeste

docenten bevestigend (gem. 3.67, n=39). Drie docenten (7%) beantwoorden deze

vraag onder ‘neutraal’. Vervolgens is ook gevraagd of de antwoordopties helder

geformuleerd zijn. De gemiddelde score is met 3.74 (n=39) hierop nog iets

positiever. Hierop antwoorden twee docenten (5%) onder ‘neutraal’. Voor de meeste

docenten zijn dus zowel de vragen als de antwoordopties redelijk helder

geformuleerd.

Daarna is de docenten een aantal stellingen voorgelegd over hun perceptie van de

kwaliteit van de vragenlijst. Deze resultaten zijn weergegeven in Figuur 1

Gemiddelden vragen kwaliteit. Per stelling is de gemiddelde score weergegeven.

Figuur 1 Gemiddelden vragen kwaliteit

Zoals in Figuur 1 te zien is, zijn de vragen volgens docenten over het algemeen

valide (gem. 3.49). Docenten zijn wat negatiever (gem. 2.87) over de vraag of er

voldoende vragen per onderwerp zijn om goed in kaart te brengen of een onderwerp

beheerst wordt. Deze score is iets onder ‘neutraal’. De samenhang tussen de vragen

per onderwerp is volgens docenten beperkt duidelijk (gem. 3.03). De afwisseling in

de vragen zorgt volgens de docenten wel dat je gemotiveerd blijft (gem. 3.67). Op de

laatste vraag in deze categorie ‘Aan de antwoordopties is duidelijk te zien welk

antwoord correct is’ zou de score idealiter zo laag mogelijk moeten zijn. Een

invuller van een toets zou aan de antwoordopties níet moeten kunnen zien welk

antwoord juist is. De gemiddelde score hierop is 2.79, wat wellicht aanleiding geeft

om de antwoordopties nog eens te herzien.


6

Ook is aan de respondenten gevraagd hoe zij tegen het niveau van de vragen in deze

toets aankijken. Geen van de respondenten vindt het niveau te hoog, 62% vindt het

niveau precies goed en 38% vindt het niveau te laag.

Tot slot in deze categorie is gevraagd of de respondenten tegen slecht geformuleerde

vragen zijn aangelopen en zo ja, wat er volgens hen aan deze vraag verbeterd zou

moeten worden. Omdat hier alle gegeven antwoorden van belang zijn voor de

verdere ontwikkeling van de toetsbank, zijn deze allemaal opgenomen in Tabel 2.

Waar meerdere mensen dezelfde opmerking maakten is dit aangegeven.

Tabel 2: Opmerkingen bij vragen en suggesties

Vraag en eventuele verbetersuggestie

De vraag over directe/indirecte kosten kan tot discussie leiden.

hulprekeningen v het eigen vermogen

de open vraag over overcapaciteit. Daar kan de student meerdere zaken invullen (n=2)

Vraag 11, je kan slechts 1 pin zetten, maar het NWK =vlottende activa - kort vreemd vermogen

vraag 1 het antwoord. Er wordt wel aangegeven wat voor soort rekening het niet is maar niet wat voor soort

rekening het wel is. Dit geldt ook voor opgave 3 de beschrijving is prima maar een student weet niet zeker

of kasverschillen ook een hulprekening van het eigen vermogen is. Bij 4 kun je het antwoord voor de

studenten duidelijker maken als je de getallen erbij geeft.

vraag 4 moest met rekenmachine, maar niet duidelijk of dit ook was toegestaan voor student.

Geen slechte vraagstelling, maar de vraagstelling vind ik betrekkelijk eenvoudig. Ook kan er op deze manier

geen diepgang plaatsvinden in de vorm van grotere opgaven/casuistiek.

Te weinig antwoordopties bij enkele vragen.

Gisteren de toets gemaakt, kan geen concrete voorbeelden meer geven, maar omdat er een grote varieteit

aan vragen voorbij, moet je steeds `omdenken`. En ik vond de toelichtingen vaak summier.

Vraag 4 was niet duidelijk dat meerdere antwoorden gegeven mochten worden.

De vraag m.b.t. de GBR het is onduidelijk of de levensduur van de machine gelijk is aan de duur van het

project i.v.m. het bepalen van de afschrijving

bij vraag 3 is niet duidelijk aangegeven dat het om meerdere rekeningen gaat, en bij vraag 9 kan beter

worden gevraagd naar een ``begrip`` ipv een ``woord`` want een ``woord`` kan van alles zijn.

vraag 9, vraag 4 (vul 1 of 4 in...)

Dupont Chart in spiegelbeeld met boek, niet handig

invulvraag over capaciteit

Vraag 5 had ik alleen 1 en 4 ingevuld - het was me niet helder dat ik ook 2 en 3 moest invullen - dat was

jammer. Bij vraag 9: die was volledig onduidelijk. Zo`n vraag werkt niet - de andere wijze (vraag 10) waarbij

opties gegeven zijn is veel slimmer.


7

3. Bruikbaarheid vragen om toetsgestuurd te leren

De volgende groep vragen ging over de mogelijkheden om deze toets in te zetten

voor ‘toetsgestuurd leren’. Toetsgestuurd leren is daarin als volgt gedefinieerd:

‘Toetsgestuurd leren’ betekent dat de toets onderdeel uitmaakt van het leerproces.

Studenten worden dan niet afgerekend op de uitkomsten van de toets, maar het helpt

hen inzicht te krijgen in hun eigen kennis- en competentieniveau. Op basis van de

uitkomsten kunnen studenten hun leerproces verder sturen.

Allereerst is gevraagd of deze toets goed in te zetten is voor ‘toetsgestuurd leren’.

Op een vijfpuntsschaal is de gemiddelde score hierop 3.81 (sd 0.78). De meeste

docenten vinden deze toets dus goed inzetbaar. Vervolgens is gevraagd welke

inzichten de feedback in deze toets oplevert. Hierbij is onderscheid gemaakt in

feedback om studenten inzicht te geven in ‘of’, ‘hoe’, ‘hoeveel’ en ‘wat’ zij nog

moeten leren. De resultaten zijn weergegeven in

. Ook deze antwoorden zijn op een vijfpuntsschaal gegeven.


8

Figuur 2 Waar is feedback op gericht

Zoals in

Figuur 2 te zien is, verwachten de docenten dat studenten middels de feedback het

meeste inzicht krijgen in ‘of’ ze nog moeten leren (gem. 3.65). Ook ‘hoeveel’ (gem.

3.32) ze nog moeten leren en ‘wat’(gem. 3.43) ze nog moeten leren scoren boven

neutraal. De score op ‘hoe’ ze nog moeten leren is precies 3.00. De respondenten

antwoorden gemiddeld hierop ‘neutraal’. De vraag is dus of deze feedback de

studenten voldoende helpt bij bewustwording van ‘hoe’ ze nog moeten leren voor de

eindtoets. Voor toetsgestuurd leren is deze bewustwording wel belangrijk.

In de volgende vragen is aan de docenten gevraagd een inschatting te maken van de

toepasbaarheid van deze toets om toetsgestuurd te kunnen leren. Deze resultaten zijn

per Hogeschool weergegeven, omdat hier mogelijk verschillen per instelling uit naar

voren komen (vanwege verschillend curriculum, verschillende visie e.d.). Allereerst

is de stelling voorgelegd ‘Deze toets is voor studenten geschikt om toetsgestuurd te

kunnen leren’. Daarna volgde de stelling ‘Deze toets is voor mij als docent geschikt


9

om toetsgestuurd leren toe te kunnen passen’. De antwoorden op deze beide

stellingen zijn weergegeven in

Figuur 3.

Figuur 3 Geschiktheid voor toetsgestuurd leren


10

Zoals in

Figuur 3 te zien is zijn vrijwel alle scores boven de 3. Dat betekent dat men deze

toets voor studenten geschikt vindt om toetsgestuurd te kunnen leren en voor

docenten geschikt vindt om toetsgestuurd leren toe te kunnen passen. De scores voor

studenten om toetsgestuurd te kunnen leren en docenten om toetsgestuurd leren toe

te kunnen passen verschillen nauwelijks. De scores op de verschillende Hogescholen

verschillen iets. Zo is men op de HHS behoorlijk positief met scores richting de 4

(resp. 3.87 en 3.89). De scores van Saxion en HU liggen rond de 3.50. De scores van

HR zijn iets lager, respectievelijk 3.25 en 3.38. Omdat op de HvA slechts een

respondent deze vraag heeft ingevuld kan aan deze score geen conclusie worden

verbonden.

Hierna is gevraagd of docenten vaker ‘toetsgestuurd leren’ zullen inzetten als ze

meer van zulke toetsen tot hun beschikking hebben. De resultaten hiervan zijn

weergegeven in

Figuur 4.


11

Figuur 4 Vaker toetsgestuurd leren inzetten

Zoals in

Figuur 4 te zien is, willen de respondenten op alle Hogescholen toetsgestuurd leren

vaker in gaan zetten, als ze de beschikking krijgen over meer van zulke toetsen.

Om optimale bruikbaarheid van de toetsbank te bewerkstelligen, is aan de

respondenten gevraagd of zij bepaalde mogelijkheden missen om deze toets goed in

te kunnen zetten voor ‘toetsgestuurd leren’. Hierop geeft 68% van de respondenten

aan geen mogelijkheden te missen. Bij de respondenten die aan hebben gegeven dat

zij wel mogelijkheden missen, is gevraagd welke mogelijkheden dit zijn. De

antwoorden die de respondenten hierop gaven zijn letterlijk overgenomen in Tabel

3. Deze opmerkingen lopen erg uiteen, maar samenvattend valt op dat meerdere

mensen mogelijkheden van berekeningsvragen missen, dat het geven van feedback

nog niet genoeg aanwezig is en dat er wat praktische zaken nog niet prettig werken.

Tabel 3: Mogelijkheden die ontbreken voor toetsgestuurd leren


12

Mogelijkheden die ontbreken

er wordt nu helemaal geen feedback gegeven

dooroefeningsvragen, bij foute beantwoorden vragen gelijk extra vragen over het betreffende onderwerp

faciliteiten om de toets af te nemen

Het opstellen van een financieel plan

langere antwoordmogelijkheden bij open vragen, het maken van journaalposten, het geven van een

berekening

daar moeten we maar eens over hebben

denk dat ik er nog een keer grondig naar wil kijken om zo te zien met name vraag 23-24 zijn namenlijk van

de student afhankelijk in zekere zin. Als middel: ja je kunt het gebruiken en ze aangeven dan kan student

nooit zeggen dat hij/zij het niet wist. Nee uiteindelijk moeten zij het examen afleggen

Voor bedrijfsadministratie jaar 1 werken we inmiddels al 2 jaar succesvol met mc-vragen. NB: bij deze

proeftoets heb ik geen feedback gezien?!

opgaven waarvoor berekeningen gemaakt moeten worden

er staat een opmerking dat het niet mogelijk was om journaalposten te toetsen dat lijkt me wel mogelijk en

moet er hoe dan ook in.

In onze opleiding moeten studenten vaak zelf iets opstellen, dat kan nu niet

toets is te beperkt

Probleem is dat als je de toets gemaakt hebt en hebt afgesloten je niet nogmaals de toets kunt maken om

te zien hoe de feedback bij de verschillende antwoorden was...

studenten moeten het antwoord baseren op een kennisbasis of onderzoek.


13

4. Bruikbaarheid vragen voor in de lessen

In deze categorie vragen is vooral gevraagd naar de praktische toepassing van de

toetsbank in de lessen, los van het feit of dit ‘toetsgestuurd leren’ betreft. Hiermee

wordt in beeld gebracht of deze toetsvragen relevant zijn voor de onderwijscontext

waarvoor ze ontwikkeld worden.

Aan de docenten is gevraagd of zij de inhoud van de vragen relevant vinden voor

hun eigen lessen. De resultaten hiervan zijn weergegeven in Figuur 5.

Figuur 5. Relevantie inhoud van de vragen

Zoals in Figuur 5 te zien is vinden de docenten van alle verschillende instellingen de

inhoud van de vragen relevant voor hun lessen, alle gemiddelde scores zijn boven de

drie. De docenten van Saxion vinden de inhoud het minst relevant (gem. 3.4).

Vervolgens is gevraagd of docenten het gebruik van deze toets aan andere docenten

zouden aanraden. Een aanzienlijk deel van de docenten (16 van de 37, 43%)

antwoordt hierop neutraal. Het aantal docenten dat aangeeft het hier mee eens of

zeer mee eens te zijn, en het gebruik van de toets dus aan zal raden bij collega’s, is

17 van de 37 (46%). Slechts een enkele docent (n=4, 11%) zal gebruik van de toets

dus niet aanraden.

De andere vragen in deze categorie richten zich allemaal op de manier waarop

docenten deze toetsbank willen inzetten in hun lessen. Op basis van deze

antwoorden wordt een beter beeld gekregen van de al dan niet toetsgestuurde inzet

van de toetsbank. De antwoorden op vier stellingen zijn per Hogeschool in een

figuur weergegeven. Hierin gaven docenten aan in hoeverre ze de toets(vragen)

willen gebruiken bij het geven van huiswerk, tijdens de lessen, voor het

samenstellen van een eindtoets of om het leerproces te sturen. De resultaten zijn

weergegeven in Figuur 6 Gebruik van vragen HR Figuur 7,


14

Figuur 8 en

Figuur 9. De resultaten van de HvA zijn buiten beschouwing gelaten, omdat hier

slechts één respondent deze vraag heeft ingevuld.


15

Figuur 6 Gebruik van vragen HR

Figuur 7 Gebruik van vragen HHS


16

Figuur 8 Gebruik van vragen Saxion

Figuur 9 Gebruik van vragen HU

Zoals in voorgaande figuren te zien is verschilt het beeld op de verschillende

Hogescholen enigszins. Wel zijn vrijwel alle scores boven de drie, wat betekent dat

de respondenten de toets willen gaan gebruiken voor het betreffende doel. In Figuur

6 is te zien dat docenten op de HU de toets vooral willen gebruiken bij het geven van

huiswerk of zelfstudie en om het leerproces van studenten te sturen. Op de HHS (zie

Figuur 7) hebben docenten dezelfde voorkeuren, maar de scores zijn hoger.

Docenten zijn hier dus overtuigender van plan deze toets te gaan gebruiken.

Docenten van de HHS geven echter aan de toets niet tijdens de lessen te willen

gebruiken (gem. 2.33). Docenten van Saxion (zie


17

Figuur 8) willen de toets voor alle verschillende doelen inzetten, maar vooral om

eindtoetsen samen te kunnen stellen en om het leerproces van studenten te sturen.

De scores van de HU zijn, zoals in

Figuur 9 te zien is, het hoogst. Docenten van de HU willen deze toets het liefst

gebruiken. Zij willen de toets vooral inzetten bij het geven van huiswerk en

zelfstudie en om het leerproces van studenten te sturen.

Over het algemeen lijken docenten van alle instellingen deze toets in te willen

zetten. Het doel wat het meest direct samenhangt met ‘toetsgestuurd leren’ is het

inzetten van de toets op het leerproces van studenten te sturen. De inzet om het

leerproces van studenten te sturen scoort op alle instellingen ruim boven de 3.

Hiermee lijkt op alle betrokken Hogescholen draagvlak te zijn voor toetsgestuurde

inzet van deze toets.


18

5. Algemene vragen

Tot slot bevatte de vragenlijst enkele algemene vragen. Respondenten werd

gevraagd een cijfer te geven voor de bruikbaarheid van de vragen in deze toetsbank.

Het gemiddelde van alle gegeven cijfers is een 6,86 (n=36). Er blijkt wel spreiding

te zijn tussen de gegeven cijfers. Om dit in beeld te brengen is de frequentie van de

gegeven cijfers weergegeven in Figuur 10.

Figuur 10 Cijfer bruikbaarheid vragen in de toetsbank

Zoals in Figuur 10 te zien is geeft de grootste groep respondenten (n=15) de

bruikbaarheid een zeven. Er zijn echter ook respondenten die de bruikbaarheid met

een onvoldoende beoordelen (n=6) en respondenten die de bruikbaarheid zeer hoog

beoordelen met een negen of tien (n=4).

Om de toetsbank zo goed mogelijk aan te laten sluiten bij de wensen en behoeftes

van de toekomstige gebruikers is hen gevraagd suggesties te geven om de

bruikbaarheid van de toetsbank te vergroten. Deze suggesties zijn in Tabel 4

verzameld.

Tabel 4 Suggesties voor vergroten bruikbaarheid

Suggesties om de bruikbaarheid te vergroten

Vraag 1: feedback onvoldoendeindien de vraag onjuist is. Er kan bijvoorbeeld een voorbeeld gegeven

worden van wat wel een bezit/schuld is. Daarnaast wordt het juist antwoord niet genoemd. Vraag 2: In de

feedback wordt niet aangegeven wat financial accounting dan inhoud. Vraag 5, 6, 7, 8 en 12: De feedback

geeft alleen het juist antwoord, maar legt niet uit waarom dat antwoord juist is. Voor bedrijfsadministratie is

een dergelijke toets te beperkt. De antwoordmogelijkheden zijn nog te beperkt. Hierdoor heeft de toets geen

diepgang en onder het te behalen niveau van de studenten. Voor oefentoetsen is het aardig, maar een

student die foutloos scoort heeft absoluut geen zekerheid het tentamen wel te halen.

Deze formatieve toets moet aangeven welke kennis de student bezit, beheerst en kan toepassen (vooral)

op dit moment. Wellicht zou je een indeling kunnen maken op deze formatieve toets met geclusterde vragen

(op verschillende niveau - taxonomie Bloom) over een bepaald onderwerp. Er kan per onderdeel een score


19

worden gegeven en wellicht een advies. De student kan dan zien of hij dit onderdeel beheerst.

Voor cijfermatige en praktische rekenvakken heeft mijn voorkeur grotere casussen en grotere opdrachten

waarmee meer diepgang kan worden bereikt. Ik vind de desbetreffende vraagstelling betrekkelijk

oppervlakkig.

Ik doceer alleen BA. De proeftoets was een mix BA/BE, vandaar dat ik veel vragen met nee/oneens hebben

moeten antwoorden. Mbt de wel aanwezige BA-vragen: hier ontbrak het aan de kern vh vak: journaliseren.

Uitkomsten van proeftoetsen/socratives worden voor BA-jaar 1 wel vertaald in het latere onderwijs en finale

toetsing.

Ik heb een opmerking bij de bruikbaarheid van deze enquete: je kan niet meer terug naar je toetsvragen dus

feedback geven werkt dan niet lekker en je krijgt nu vragen waarbij je over alle toetsvragen heen moet

antwoorden. Ik denk dat jullie enquete bruikbaarder wordt als je per toetsvraag vraagt of deze bruikbaar is

of dat er commentaar op is.

Toelichting en antwoordenmodel moeten heel uitgebreid zijn. Voorbeeld: als wij rationele overcapaciteit

goed rekenen, moet seizoensovercapaciteit ook goedgekeurd worden (als het dat voorbeeld betreft).

De inhoud van de vragen is duidelijk, maar de vraagtypen leiden zo nu en dan tot verwarring, omdat de

vragen onduidelijk gesteld zijn.

Als vraag 5 en 9 in opzet verbeterd zijn zou ik een hoger cijfer geven - dat is eenvoudig aan te passen...

De toets was nuttig om te maken, weliswaar met een aantal BA-vragen in het begin, maar toch een goede

oefening.

Het is slechts een beperkt instrument voor een summatieve toets. In het leerproces gaat het niet alleen om

feitenkennis, dus formatief zie ik weinig toepassingen.


20

6. Conclusie

Doel van deze vragenlijst was om in kaart te brengen in hoeverre de ontwikkelde

toets volgens docenten bruikbaar is voor toetsgestuurd leren binnen de vakken

bedrijfsadministratie en bedrijfseconomie. Verschillende thema’s zijn bevraagd om

deze bruikbaarheid zo goed mogelijk in beeld te krijgen.

De praktische bruikbaarheid van de toetsbank heeft voor de meeste docenten geen

belemmeringen opgeleverd. De introductie was duidelijk genoeg en het aanklikken

van antwoordopties werd over het algemeen eenvoudig gevonden.

Over de kwaliteit van de vragen zijn de docenten over het algemeen tevreden. Wel

zouden er volgens de docenten meer vragen per onderwerp moeten zijn, om goed in

kaart te brengen of een onderwerp beheerst wordt. De antwoordopties moeten

wellicht nog eens bekeken worden, omdat een deel van de docenten aangeeft aan de

opties te kunnen zien welk antwoord correct is. Bovendien vindt 38% van de

respondenten het niveau van de vragen te laag. Tips om de kwaliteit van de vragen

te verhogen zijn opgenomen in Tabel 2.

Een belangrijk aspect van deze vragenlijst is de bruikbaarheid voor toetsgestuurd

leren. De meeste docenten vinden deze toets bruikbaar voor toetsgestuurd leren,

zowel voor studenten als voor docenten. Deze scores zijn geen van allen zo hoog dat

alle docenten volledig overtuigd zijn van de inzetbaarheid van de toetsbank voor

toetsgestuurd leren, wat ruimte geeft voor verbetering om dit project goed te laten

slagen.

Volgens docenten kunnen studenten bij het maken van deze toets uit de feedback die

zij krijgen vooral opmaken ‘of’ ze nog moeten leren en in iets mindere mate ‘wat’ en

‘hoeveel’ zij nog moeten leren. De feedback geeft volgens docenten niet zozeer

inzicht in ‘hoe’ studenten nog moeten leren, aangezien de score hierop neutraal is.

Docenten geven wel aan vaker toetsgestuurd leren in te willen zetten als ze de

beschikking krijgen over meer van dergelijke toetsen. Een meerderheid van de

docenten geeft aan geen mogelijkheden te missen om deze toets voor toetsgestuurd

leren in te kunnen zetten. Een aantal docenten geeft aan welke mogelijkheden zij

missen, zoals weergegeven in Tabel 3. De gegeven antwoorden lopen erg uiteen,

maar het valt op dat meerdere docenten aangeven dat studenten meer zouden moeten

kunnen oefenen en dat ook berekeningsvragen opgenomen moeten worden.

Omdat de inzetbaarheid van de toetsbank wellicht breder is dan alleen voor

‘toetsgestuurd leren’, is ook onderzocht of docenten deze toetsbank in het algemeen

bruikbaar en goed inzetbaar vinden. De meeste docenten vinden de inhoud van de

vragen relevant voor hun lessen en ongeveer de helft zou deze toetsbank ook bij

collega’s aanbevelen. Over het algemeen willen de docenten op de verschillende

Hogescholen de toetsbank voor verschillende doelen inzetten: voor het geven van

huiswerk, tijdens de lesuren, voor het samenstellen van eindtoetsen en om het

leerproces van studenten te sturen. Vooral deze laatste mogelijkheid hangt samen

met ‘toetsgestuurd leren’ Op alle Hogescholen lijkt de score hierop aan te geven dat

er draagvlak is voor de inzet van deze toetsbank voor ‘toetsgestuurd leren’.


21

Tot slot is aan de docenten gevraagd een cijfer te geven voor de bruikbaarheid van

deze toetsbank. Het gemiddelde cijfer is een 6,86, een ruime voldoende met ruimte

voor verbetering. De tips die weergegeven worden in Tabel 4 kunnen wellicht

bijdrage aan het verhogen van dit cijfer. Deze tips zijn zowel op praktisch als op

inhoudelijk vlak, gericht op bijvoorbeeld de feedbackmogelijkheden en

mogelijkheden voor het uitvoeren van berekeningen.


22

Bijlage 1: Vragenlijst docenten

Evaluatie gebruik toetsbank SURF project toetsBABE

Fijn dat je mee wilt werken aan dit onderzoek! De vragenlijst die je

nu gaat doorlopen gaat over de elektronische toets die je zojuist

gemaakt hebt alsof je een student was. Deze toets is onderdeel van een

toetsbank die bedoeld is om toegestuurd leren binnen

Bedrijfsadministratie en Bedrijfseconomie mogelijk te maken. Om

de kwaliteit van deze toetsbank te optimaliseren willen we je in

deze vragenlijst een aantal vragen stellen over de bruikbaarheid

van de toets die je hebt gemaakt. Om een goed beeld te krijgen

van de bruikbaarheid willen we je vragen om zo eerlijk en volledig

mogelijk antwoord te geven. Het invullen van de vragenlijst zal

ongeveer 10 minuten duren. Alvast bedankt voor het invullen!

Uitvoering invullen vragen

Geef van onderstaande stellingen aan in hoeverre je het er mee eens bent. Zee

r m

ee o

nee

ns

Z

eer

mee

een

s

1. De toets introductie geeft duidelijk aan wat er van mij wordt

verwacht

2. De wijze van beantwoorden van de vragen (bijvoorbeeld

aanklikken) in deze digitale omgeving is eenvoudig

Kwaliteit van de vragen


r m

ee o

nee

ns

Z

eer

mee

een

s

3. De vragen zijn helder geformuleerd

4. De antwoordopties zijn helder geformuleerd

5. De vragen zijn valide (meten wat ze moeten meten)


23

6. Er zijn voldoende vragen per onderwerp om goed in kaart te

brengen of een onderwerp wordt beheerst

7. De samenhang tussen de vragen per onderwerp is duidelijk

8. De afwisseling in typen vragen zorgt dat je gemotiveerd blijft

9. Aan de antwoordopties is duidelijk te zien welk antwoord correct is

10. Het niveau van de vragen in deze pilot is…..:

0 te hoog

0 precies goed

0 te laag

11. Ben je tijdens het invullen van de toets tegen onduidelijke of slecht

geformuleerde vragen en antwoorden aangelopen? Zo ja, geef aan om

welke vraag of vragen of welk(e) antwoord(en) dit ging en wat verbeterd

zou moeten worden.

<open invulveld>

Bruikbaarheid vragen om toetsgestuurd te leren

De volgende vragen gaan over de mogelijkheden om deze toets in te zetten voor

‘toetsgestuurd leren’. ‘Toetsgestuurd leren’ betekent dat de toets onderdeel uitmaakt

van het leerproces van de student. Studenten worden dan niet afgerekend op de

uitkomsten van de toets, maar het helpt hen inzicht te krijgen in hun eigen kennis- en

competentieniveau. Op basis van de uitkomsten kunnen zij hun leerproces verder

sturen.


r m

ee o

nee

ns

Z

eer

mee

een

s

12. Deze toets is goed in te zetten voor de werkvorm “toetsgestuurd leren”.

13. De feedback die gegeven wordt is geschikt om studenten in te laten zien

óf ze nog (meer) moeten leren voor een eindtoets.


hoe ze nog moeten leren voor een eindtoets.


hoeveel ze nog moeten leren voor een eindtoets.


24


wat ze nog (meer) moeten leren voor een eindtoets.

17. Deze toets is voor studenten geschikt om toetsgestuurd te kunnen leren.

18. Deze toets is voor mij als docent geschikt om toetsgestuurd leren toe te

kunnen passen.

19. Als ik (meer van) zulke toetsen tot mijn beschikking heb, zal ik vaker

‘toetsgestuurd leren’ inzetten in mijn onderwijs.

20. Ik mis bepaalde mogelijkheden om deze toets goed in te kunnen zetten bij

toetsgestuurd leren.

0 Ja

0 Nee

Indien ja, welke mogelijkheden mis je?

<open invulveld>

Bruikbaarheid vragen voor in de lessen


r m

ee o

nee

ns

Z

eer

mee

een

s

21. De inhoud van de vragen uit de toets is relevant voor mijn lessen

22. Ik zou andere docenten aanraden om deze toets te gebruiken

23. Ik wil deze toets gebruiken bij het geven van huiswerk/zelfstudie

24. Ik wil deze toets gebruiken tijdens mijn lesuren

25. Ik wil deze toets(-vragen) gebruiken om de eindtoetsen samen te kunnen

stellen

26. Ik wil deze toets(-vragen) gebruiken om het leerproces van studenten te

sturen

27. Welk cijfer, op een schaal van 1-10 (heel slecht-perfect), zou je de

bruikbaarheid van de vragen in deze toetsbank geven?

<cijfer 1-10>

28. We streven er naar om de bruikbaarheid van de toetsbank te optimaliseren.

Suggesties hoe we de bruikbaarheid van de vragen in deze toetsbank

kunnen verbeteren zijn welkom. Je kunt ze hieronder kwijt.


25

<open invulveld>

Heel hartelijk bedankt voor het invullen van de vragenlijst!

Analyse vragenlijst pilot bruikbaarheid docenten SURF · ROC Nijmegen 3 0 (0%) Saxion 17 10 (59%)...

Documents

Transcript of Analyse vragenlijst pilot bruikbaarheid docenten SURF · ROC Nijmegen 3 0 (0%) Saxion 17 10 (59%)...