Kwaliteitsborging van toetsing en beoordeling - tauu.uu.nl · Toelichting standaard 3: Het...

Drs. Lisette van Bruggen (UMCU)

Geertje Wismans MSc. (COLUU)

UMC Utrecht

31 juli 2014

versie 2.0

Kwaliteitsborging van toetsing en beoordeling

door de examencommissies en toetscommissies van de opleidingen Geneeskunde, Biomedische Wetenschappen

en Klinische Gezondheidswetenschappen

2

INHOUDSOPGAVE

INLEIDING ............................................................................................................................................... 3

1. HET WETTELIJK KADER EN UU-BELEID ....................................................................................... 5

1.1 Kwaliteitszorg.................................................................................................................................. 5

1.2 kwaliteitszorg .................................................................................................................................. 6

1.3 Toetsing en beoordeling in bachelor- en mastercursussen(UU-beleid) ................................ 7

2. EXAMENCOMMISSIES EN TOETSCOMMISSIE IN UMC UTRECHT.............................................. 9

2.1 Structuur van de Medische Faculteit ........................................................................................... 9

2.2 toetsvormen binnen de opleidingen ......................................................................................... 11

2.3 betrokken commissies en personen .......................................................................................... 12

3. KWALITEITSBORGING VAN TOETSING EN BEOORDELING IN THEORIE ............................... 16

3.1 Kwaliteitspiramide ........................................................................................................................ 17

Toetsorganisatie ....................................................................................................................................................... 18

4 KWALITEITSBORGING VAN TOETSING EN BEOORDELING IN DE PRAKTIJK ....................... 19

4.1 actiepunten per opleiding ........................................................................................................... 19

geneeskunde ................................................................................................................................................................ 19

Biomedische Wetenschappen ......................................................... Fout! Bladwijzer niet gedefinieerd.

Klinische Gezondheidswetenschappen ........................................ Fout! Bladwijzer niet gedefinieerd.

4.2 Actiepunten en mogelijke bijdragen toetscommissie ............................................................ 21

Toetsbeleid .................................................................................................................................................................... 21

toetsprogramma ......................................................................................................................................................... 21

Toets/toetsitems ......................................................................................................................................................... 22

Toetsbekwaamheid betrokkenen ......................................................................................................................... 22

Toetsorganisatie .......................................................................................................................................................... 22

4.3 Conclusie ........................................................................................................................................ 22

BIJLAGE 1 AFKORTINGEN ........................................................................................................... 23 BIJLAGE 2 OVERZICHT VAN TOETSVORMEN PER OPLEIDING ............................................. 24

BIJLAGE 3 HUIDIGE EN GEWENSTE SITUATIE PER OPLEIDING............................................ 30

Kwaliteitsborging van toetsing en beoordeling UMC Utrecht

3

INLEIDING

Het zal niemand ontgaan zijn dat zowel door wijzigingen in wetgeving als door de focus van accreditatie organisaties steeds meer nadruk op de kwaliteit van toetsen en de borging daarvan komt te liggen.

Waarom is kwaliteit van toetsing zo belangrijk? Het antwoord op deze vraag is simpel: toetsing geeft inzicht in het niveau van de student en dient als basis om beslissingen over studenten te nemen variërend van extra opdrachten tot een bindend studieadvies. Om te voorkomen dat hierbij misclassificaties ontstaan, moet de kwaliteit van toetsing zo hoog mogelijk zijn. Om goede beslissingen te nemen, waarbij het al dan niet uitreiken van het diploma uiteindelijk de belangrijkste is, is het verzamelen van losse toetsresultaten per vak of docent niet (meer) voldoende. Er moet een sterk samenhangend programma van toetsen zijn dat aansluit bij het onderwijsprogramma, waarbij voor beiden de te bereiken eindtermen en leerdoelen het uitgangspunt zijn. Dat heeft niet alleen gevolgen voor de inhoud van toetsing, maar mogelijk ook voor de variatie in toetsvormen en dat betekent ook dat wellicht andere criteria nodig zijn om de kwaliteit van toetsing te bepalen en te borgen.

Binnen het UMC Utrecht is al jaren een Commissie Kwaliteitszorg Toetsing (CKT) actief die zich voor inmiddels drie academische opleidingen bezig houdt met het beoordelen van de kwaliteit van schriftelijke toetsen, daarover advies uitbrengt aan examinatoren en verantwoording aflegt aan examencommissies en anderen bij het onderwijs betrokken partijen. De CKT heeft op dit moment de indruk dat de huidige werkwijze niet meer volstaat en zoekt naar mogelijkheden om de kwaliteit van toetsen beter te waarborgen en haar nieuwe taakstelling daarin.

Probleemschets Waarom is het nodig dat er kritisch gekeken wordt naar het huidige systeem van kwaliteitsborging van toetsing en beoordeling en de taakstelling voor de CKT? 1. Door wijzigingen in wetgeving zijn ook de taken en verantwoordelijkheden van onder meer

examencommissies veranderd. Examencommissies hebben nu formeel de taak om toezicht te houden op kwaliteit van toetsing en garant te staan voor het eindniveau van afgestudeerde studenten. Hoe kunnen zij deze taak vervullen en welke ondersteuning kan een toetscommissie als de CKT daarbij bieden?

2. Bij accreditaties van opleidingen is het gebied Toetsing een ‘knock-out’ criterium geworden. Niet voldoen aan de vereisten op het gebied van kwaliteitszorg van toetsing, betekent dat een opleiding niet geaccrediteerd wordt. Kwaliteitszorg rondom toetsing heeft zich binnen het UMC Utrecht tot op heden beperkt tot controle achteraf van schriftelijke toetsing voor grote groepen studenten binnen de academische opleidingen en individueel overleg hierover tussen ‘controleur’ en examinator. Er is echter geen structurele kwaliteitscontrole van andere vormen van toetsen en ook geen duidelijk beeld van de samenhang tussen verschillende toetsvormen binnen opleidingen. De helicopterview en expliciet beleid dit gebied ontbreekt. Kan dan wel gegarandeerd worden dat kwaliteit van toetsing voor de totale opleiding geborgd is?

3. Terugkoppeling van ervaringen van de leden van de toetscommissie over de kwaliteit van toetsing naar de examencommissies gebeurt via het jaarverslag. Slechts in incidentele gevallen is er op andere momenten of op andere manieren overleg tussen examencommissie en toetscommissie. Zijn beide commissies daarmee niet te zelfstandig aan het werk en past dit wel bij de opvatting dat de toetscommissie werkt onder verantwoordelijkheid van de examencommissies?

Deze notitie geeft weer op welke wijze examencommissies en toetscommissies van het UMC Utrecht gezamenlijk denken de kwaliteitsborging van toetsing en beoordeling te kunnen en te moeten aanpakken. Enerzijds om de kwaliteit van toetsing verder te verhogen, anderzijds om bij alle betrokken partijen duidelijkheid te creëren over wat er van hen verwacht wordt. Daarmee dient deze notitie ook als basis voor nieuwe afspraken tussen examencommissies en de huidige toetscommissies over werkwijze, taken en verantwoordelijkheden.


4

De notitie kent de volgende opbouw.

In hoofdstuk 1 worden het wettelijk kader en het UU-beleid besproken en de wijzigingen die daarin zijn aangebracht. Daarbij wordt aandacht besteed aan de consequenties hiervan voor de bestuurlijke verhoudingen. Vervolgens wordt in hoofdstuk 2 beschreven hoe de structuur van de opleidingen binnen het UMC Utrecht eruit ziet, welke toetsvormen gehanteerd worden en hoe de huidige organisatie is ingericht rondom de kwaliteitsborging van toetsing. In dit hoofdstuk wordt tevens aandacht besteed aan de onderscheiden taken en verantwoordelijkheden van de verschillende betrokken partijen bij het toetsproces.

Hoofdstuk 1 en 2 moeten worden beschouwd als het (gegeven) kader waarbinnen examencommissies en toetscommissie dienen te functioneren. In hoofdstuk 3 komt de kwaliteit van toetsing en beoordeling zelf aan bod. Er wordt besproken hoe volgens gangbare onderwijskundige principes het totale systeem van kwaliteitsborging bij toetsing eruit zou kunnen zien, welke kwaliteitscriteria men zou kunnen toepassen en welke beoordelingssystemen voor kwaliteit mogelijk bruikbaar zijn, met daarbij de koppeling naar de verantwoordelijke partijen conform het wettelijk kader.

Hoofdstuk 4 vormt de kern van deze notitie. Er wordt toegelicht hoe de examencommissies en de toetscommissie te werk zouden kunnen gaan en hoe zij, door uitoefening van hun taak, ook een kwaliteitsbevorderend effect zouden kunnen sorteren waar het de toetsing en beoordeling betreft. Aansluitend bij het beoordelingskader dat in hoofdstuk 3 is geschetst, wordt in de werkwijze onderscheid gemaakt tussen toezicht op curriculumniveau en toezicht op het niveau van individuele toetsen. Daarbij zetten we de gewenste situatie af tegen de huidige situatie om te komen tot een plan van aanpak voor de komende jaren.

In de bijlagen is in Bijlage 1 een lijst met in de notitie gebruikte afkortingen opgenomen. Bijlage 2 en Bijlage 3 bevatten achtergrondgegevens voor respectievelijk hoofdstuk 2 en hoofdstuk 4.


5

1. HET WETTELIJK KADER EN UU-BELEID

Per 1 september 2010 zijn er verschillende wijzigingen in de WHW doorgevoerd, onder meer om de toetsen binnen het Wetenschappelijk Onderwijs te verscherpen. Zo moet er meer aandacht besteed worden aan kwaliteitsborging en kwaliteitsbeleid rondom tentamens en examens, bijvoorbeeld door de aangescherpte verantwoordelijkheid van de examencommissie voor het borgen van de toetskwaliteit.

Daarnaast hanteert de NVAO een nieuw accreditatiekader waarbij drie vragen centraal staan: 1) Wat beoogt de opleiding? 2) Hoe realiseert de opleiding dit? 3) Worden de doelstellingen bereikt? Deze drie vragen zijn verdeeld in standaarden waaraan opleidingen moeten voldoen:

Standaard 1: De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen (o.a. de Dublin Descriptoren1).

Standaard 2: Het programma, het personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren.

Standaard 3: De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.

Toelichting standaard 3: Het gerealiseerde niveau blijkt uit de tussentijdse en afsluitende toetsen, de afstudeer-werken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren. De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijk (transparant)2.

Hierna wordt verder ingegaan op standaard 3, waarbij het wettelijk kader en het UU beleid centraal staan.

1.1 KWALITEITSZORG 3

Om de kwaliteit van toetsing te borgen, is er vanuit de Universiteit Utrecht een aantal afspraken gemaakt die aansluiten bij de NVAO standaarden. a. De decaan zorgt ervoor dat er een systeem van interne kwaliteitszorg is dat aan de volgende

minimumvoorwaarden voldoet: - de kwaliteitszorg in opleidingen is cyclisch (plan – do – check - act) - de interne kwaliteitszorg sluit aan bij externe kwaliteitszorg (de accreditatie) - de interne kwaliteitszorg is zowel gericht op cursus- als op curriculumniveau - bij de kwaliteitszorg worden studenten, docenten, alumni en het werkveld periodiek betrokken. - de resultaten van de kwaliteitszorg zijn openbaar voor alle betrokkenen. - de verantwoordelijkheden rond de kwaliteitszorg zijn helder belegd en vastgelegd.

b. Daarbij zorgt de decaan er voor dat: - de kwaliteitszorg goed functioneert - de kwaliteitsborging van het onderwijs en de examinering is ingebed in het interne

kwaliteitszorgsysteem - overleg en informatie-uitwisseling zodanig is geregeld dat de onderscheiden

verantwoordelijkheden waargemaakt kunnen worden.

1 De Dublin descriptoren beschrijven de eindtermen voor de studies aan universiteiten en hogescholen in Europa. 2 http://www.nvao.net/page/downloads/DEFINITIEVE_KADERS_OPLEIDINGSBEOORDELING_BEPERKT_22_november_2011.pdf 3 Uit notitie UU: Richtlijn Onderwijs Universiteit Utrecht http://www.uu.nl/SiteCollectionDocuments/Richtlijn%20onderwijs%202013.pdf


http://nl.wikipedia.org/wiki/Eindtermen

http://www.nvao.net/page/downloads/DEFINITIEVE_KADERS_OPLEIDINGSBEOORDELING_BEPERKT_22_november_2011.pdf

http://www.uu.nl/SiteCollectionDocuments/Richtlijn%20onderwijs%202013.pdf

6

c. De decaan zorgt dat examencommissies voldoende tijd en deskundigheid hebben om hun taken uit te voeren als toezichthouder op: - de kwaliteit van tentaminering en examinering - het niveau van de afgestudeerden (beschikt de student over kennis, inzicht en vaardigheden die

nodig zijn voor het verkrijgen van een graad). - Als de kwaliteit van tentamens of examens onvoldoende geborgd blijkt, draagt de decaan er zorg

voor dat er acties worden ondernomen om dit op te lossen.

d. De decaan zorgt er voor dat onderwijsdirecteuren/programmaleiders voldoende zijn toegerust om hun verantwoordelijkheid voor de kwaliteitszorg van het onderwijs te kunnen nemen.

1.2 KWALITEITSZORG

Onderstaand zijn de wettelijke taken en verantwoordelijkheden van de decaan en de examencommissie wat betreft kwaliteitszorg weergegeven4. Hoe dit wordt toegepast in het UMC Utrecht wordt beschreven in hoofdstuk 2.

De decaan benoemt de leden van de examencommissie. ‘Er dient een onafhankelijke én deskundige examencommissie te zijn die garant kan staan voor het eindniveau van de afgestudeerden’5. “De functionele onafhankelijkheid van de examencommissie ten opzichte van het college van bestuur

4 Schema ontleend uit brief O&O aan decanen, 1 april 5 Voorstel wetversterking kwaliteitswaarborgen hoger onderwijs. P25 http://www.google.nl/url?sa=t&rct=j&q=&esrc=s&frm=1&source=web&cd=3&ved=0CDgQFjAC&url=http%3A%2F%2Fwww.rijksoverheid.nl%2Fbestanden%2Fdocumenten-en-publicaties%2Fkamerstukken%2F2012%2F11%2F01%2Fvoorstel-wet-versterking-kwaliteitswaarborgen-hoger-onderwijs%2Fvoorstel-wet-versterking-kwaliteitswaarborgen-hoger-onderwijs.pdf&ei=1tAyU6rHDse8ygOo-4HgAw&usg=AFQjCNFIx_0WUhLTa83F-V2MYMpvIObptQ&bvm=bv.63738703,d.bGQ


http://www.google.nl/url?sa=t&rct=j&q=&esrc=s&frm=1&source=web&cd=3&ved=0CDgQFjAC&url=http%3A%2F%2Fwww.rijksoverheid.nl%2Fbestanden%2Fdocumenten-en-publicaties%2Fkamerstukken%2F2012%2F11%2F01%2Fvoorstel-wet-versterking-kwaliteitswaarborgen-hoger-onderwijs%2Fvoorstel-wet-versterking-kwaliteitswaarborgen-hoger-onderwijs.pdf&ei=1tAyU6rHDse8ygOo-4HgAw&usg=AFQjCNFIx_0WUhLTa83F-V2MYMpvIObptQ&bvm=bv.63738703,d.bGQ




7

betekent dat de examencommissie weliswaar wordt ingesteld door het college van bestuur, maar dat de instelling moet zorgen dat de examencommissies binnen de instelling onafhankelijk hun werk kunnen verrichten. Het college blijft wel eindverantwoordelijk voor de kwaliteit van het onderwijs en de graadverlening; een examencommissie moet handelen binnen de grenzen van de onderwijs- en examenregeling. Hierdoor is tevens geborgd dat de wijze van examinering past in het kader van de opleiding.”6

Om deze onafhankelijkheid, transparantie en professionalisering te versterken wordt in verschillende stukken zeer aanbevolen om een extern lid op te nemen in de examencommissie. De Examencommissie ziet toe op:

• de kwaliteit van tentaminering en examinering (als de kwaliteit van tentamens of examens onvoldoende geborgd blijkt, draagt de decaan in overleg met de examencommissie er zorg voor dat er acties worden ondernomen om dit op te lossen).

• het niveau van de afgestudeerden (beschikt de student over kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een graad).

Waar nodig kan de examencommissie samenwerken met de toetscommissie. De toetscommissie controleert namens de examencommissie (steekproefsgewijs) op basis van vooraf bepaalde criteria de kwaliteit van afzonderlijke toetsen. De verantwoordelijkheid voor het borgen van de toetskwaliteit blijft bij de examencommissie, de toetscommissie heeft slechts een adviserende rol. De decaan zorgt dat examencommissies voldoende tijd en deskundigheid hebben om hun taken uit te voeren als toezichthouder.

1.3 TOETSING EN BEOORDELING IN BACHELOR- EN MASTERCURSUSSEN 7(UU-BELEID)

Leerdoelen en toetsen zijn rechtstreeks aan elkaar gerelateerd (constructive alignment).

De toets maakt zichtbaar of leerdoelen al dan niet gehaald zijn op het gewenste niveau. De werkvormen, de didactiek en de toetsing zorgen er gezamenlijk voor dat studenten zich optimaal kunnen voorbereiden op het behalen van de leerdoelen op een zo hoog mogelijk niveau.

De UU heeft bij de invoering van de bachelor-masterstructuur via het project BAMA3.0 een einde willen maken aan de mogelijkheid tot eindeloos herkansen: een student wordt slechts eenmaal in een academisch jaar in de gelegenheid gesteld om alsnog een voldoende te halen. Een ander uitgangspunt bij de toetsing is dat de eindbeoordeling niet uitsluitend afhankelijk is van één eindtentamen, maar dat een

6 TK 2008-2009, 31821, nr. 3, p.28 e.v. geciteerd in: Geslaagd! Handreiking examencommissie, HBO-raad februari 2011 7 Overgenomen uit notitie UU: Richtlijn Onderwijs Universiteit Utrecht http://www.uu.nl/SiteCollectionDocuments/Richtlijn%20onderwijs%202013.pdf


http://www.uu.nl/SiteCollectionDocuments/Richtlijn%20onderwijs%202013.pdf

8

student gedurende een cursus een resultaat opbouwt en bovendien uiterlijk halverwege een cursus door de docent door middel van goede feedback van zijn vorderingen op de hoogte wordt gesteld. Wanneer studenten op dat moment nog onvoldoende hebben gepresteerd, zullen zij zich harder moeten inspannen om de cursus toch met een voldoende af te ronden. De evaluatie halverwege de cursus, zoals bedoeld in artikel B.2.3 van de richtlijn, zal doorgaans een toets zijn, maar kan ook andere vormen aannemen, zoals het maken van opdrachten, houden van een presentatie, uitvoeren van een practicum of een onderzoeksopdracht die gedurende een cursus met feedback wordt voltooid.

Belangrijk is in elk geval dat de student door de docent op de hoogte wordt gesteld van zijn of haar vorderingen. Voor de masterfase wordt niet expliciet de eis gesteld dat een student gaandeweg een eindresultaat opbouwt door bijvoorbeeld tussentoetsen.

Om de studeerbaarheid te bevorderen heeft de UU als stelregel dat toetsing is afgerond bij het einde van de cursus en dat docenten gehouden zijn aan een nakijktermijn van tien werkdagen vanaf de toetsdatum. Hiervan kan slechts worden afgeweken in overleg met de studenten en de examencommissie. Een student heeft recht op een aanvullende of vervangende toets bij een onvoldoende eindbeoordeling van ten minste een vier (richtlijn artikel B.2.3 en C.2.2). Het college van bestuur gaat daarbij uit van een niet-afgerond cijfer; een 3,51-3,99 is in die interpretatie dus geen 4. Bij een lagere eindbeoordeling dan een vier, wordt reparatie niet haalbaar geacht. De student moet dan de cursus op een later moment opnieuw volgen. Het onderwijs van die cursus hoeft niet identiek te zijn aan dat wat de student de eerste keer volgde, maar dient wel te voldoen aan de richtlijn (bijvoorbeeld activerend onderwijs, een evaluatiemoment halverwege de cursus). De artikelen B.2.3 en C.2.2. hebben uiteraard geen betrekking op onvoorziene omstandigheden als ziekte, omdat de hardheidsclausule in de OER daarvoor een oplossing biedt.

Onderstaand een opsomming van de afspraken die gemaakt zijn binnen de UU wat betreft toetsing binnen de cursussen.

BACHELORCURRICULUMCOMPONENTEN: - De resultaten worden binnen tien werkdagen na het afnemen van een toets bekend gemaakt. - Iedere cursus bevat meerdere toetsmomenten. Uiterlijk halverwege de cursus is er een moment

waarop de docent de vorderingen van de student evalueert en aan hem of haar kenbaar maakt. - Indien de student voldaan heeft aan de in de cursusbeschrijving beschreven inspanningen wordt hij,

uitsluitend bij een onvoldoende eindbeoordeling met eindcijfer minimaal 4,0, éénmaal in de gelegenheid gesteld om op een door de docent te bepalen wijze, de cursus alsnog te halen.

- Een thesis wordt altijd beoordeeld door tenminste twee docenten (de begeleider en een tweede beoordelaar).

- Maatregelen die getroffen worden bij fraude en plagiaat worden conform de modelbepaling van het college van bestuur opgenomen in de onderwijs- en examenregeling.

MASTERCURRICULUMCOMPONENTEN: - De resultaten worden binnen tien werkdagen na het afnemen van een toets bekend gemaakt. - Indien de student voldaan heeft aan in de cursusbeschrijving beschreven inspanningen wordt hij,

uitsluitend bij een onvoldoende eindbeoordeling van een vier of een vijf, eenmaal in de gelegenheid gesteld om op een door de docent te bepalen wijze, de cursus alsnog te halen.

- Een thesis wordt altijd beoordeeld door tenminste twee docenten (de begeleider en een tweede beoordelaar).

- Maatregelen die getroffen worden bij fraude en plagiaat worden conform de modelbepaling van het college van bestuur opgenomen in de onderwijs- en examenregeling.


9

2. EXAMENCOMMISSIES EN TOETSCOMMISSIE IN UMC UTRECHT

In dit hoofdstuk is allereerst beschreven hoe de structuur van de opleidingen binnen het UMC Utrecht eruit ziet, welke toetsvormen binnen de opleidingen worden gehanteerd. Vervolgens wordt ingegaan op hoe de organisatie is ingericht rondom de kwaliteitsborging van toetsing en hoe de taken en verantwoordelijkheden van alle betrokken partijen bij het toetsproces worden ingevuld.

2.1 STRUCTUUR VAN DE MEDISCHE FACULTEIT

De Medische Faculteit van de Universiteit Utrecht is sinds 1999 integraal onderdeel van het UMC Utrecht. Dit biedt de mogelijkheid de koppeling tussen theorie en praktijk in het (bio)medisch onderwijs te verbeteren. Uiteraard blijft het academisch onderwijs ook binnen het UMC Utrecht gebonden aan de weten regelgeving van het Hoger Wetenschappelijk Onderwijs (WHW) en de kaders van de Universiteit Utrecht.

Binnen het UMC Utrecht worden de volgende academische opleidingen van de UU verzorgd: - Geneeskunde (GNK) - Biomedische Wetenschappen (BMW) - Biomedical Sciences (BMS) - Klinische Gezondheidswetenschappen (KGW)

Alle genoemde academische opleidingen vallen onder de decaan die tevens lid is van de Raad van Bestuur van het UMC Utrecht. Voor de praktische dagelijkse leiding kent het UMC Utrecht een vice-decaan die tevens leiding geeft aan het OnderwijsCentrum.

Elke opleiding heeft een eigen opleidingsdirecteur en daarnaast een coördinator per fase en/of richting van de opleiding (bachelor en (pre)master).

De Geneeskunde opleiding heeft één examencommissie met subcommissies voor de bachelor opleiding en de twee masteropleidingen. De Geneeskunde opleiding was de eerste die in september 2007 een Commissie Kwaliteitszorg Toetsing in het leven riep voor de reguliere bachelor/masteropleiding CRU. Sinds september 2010 is er ook een CKT voor de masteropleiding SUMMA.

De opleiding Biomedische Wetenschappen heeft één examencommissie en sinds 2007 ook een Commissie Kwaliteitszorg Toetsing.

De opleiding Biomedical Sciences kent zowel een examencommissie als een toetscommissie via de Graduate School of Life Sciences en valt daarmee niet rechtstreeks onder verantwoordelijkheid van het UMC Utrecht.

De opleiding Klinische Gezondheidswetenschappen heeft één examencommissie en sinds september 2010 ook een Commissie Kwaliteitszorg Toetsing.

Binnen het OnderwijsCentrum is een Expertisecentrum voor Onderwijs en Opleidingen waar onder meer onderwijskundigen met toetsexpertise aan verbonden zijn. De toetsdeskundige is tevens voorzitter van de gecombineerde Commissies Kwaliteitszorg Toetsing.


10

Samengevat in een schema ziet de hierboven beschreven organisatiestructuur er als volgt uit.

∗ De opleiding BMS is in de rest van deze notitie buiten beschouwing gelaten omdat de kwaliteitsborging van toetsing daarvoor volledig via de Graduate School of Life Sciences loopt.

De samenstelling, taken en bevoegdheden van de in deze afbeelding genoemde partijen worden in paragraaf 2.3 verder uitgewerkt.

examencommissie examencommissie examencommissie

CKT CKT CKT

Universiteit Utrecht

opleidingsdirecteur opleidingsdirecteur opleidingsdirecteur opleidingsdirecteur

opleidingscoörd. CRU-BA

opleidingscoörd. CRU-MA

opleidingscoörd. SUMMA

opleidingscoörd. opleidingscoörd. Pre-MA opleidingscoörd.

opleidingscoörd. FW

opleidingscoörd. VW

opleidingscoörd. LW

Raad van Bestuur UMC Utrecht decaan

vicedecaan Onderwijscentrum

GNK BMW BMS* KGW

bachelor, 3 jaar, cohort ca. 180

div. masters, 2 jaar, cohort ca. 300

via Graduate School

of Life Sciences (GSLS)

pre-master, 1 jaar, ca. 100 studenten FW master, 2 jaar, ca. 20 studenten

VW master, 2 jaar, ca. 45 studenten

LW master, 2 jaar, ca. 20 studenten

CRU bachelor, 3 jaar, 304 studenten

CRU master, 3 jaar, ca. 300 studenten

SUMMA, 4 jaar, 40 studenten

toetsdeskundige


11

2.2 TOETSVORMEN BINNEN DE OPLEIDINGEN

Binnen de verschillende academische opleidingen worden verschillende toetsvormen gebruikt. Er zijn veel overeenkomsten, maar ook duidelijke verschillen. Hierna volgt een overzicht van de gebruikte toetsvormen per opleiding. Gedetailleerde overzichten van de toetsvormen voor de verschillende opleidingen per cursusonderdeel zijn opgenomen in bijlage 2. Deze overzichten zijn ontleend aan de meest recente zelfstudierapportages in het kader van de visitatieronden. Hoewel die rapportages alweer enkele jaren oud zijn, zijn de toetsvormen die beschreven staan binnen de opleidingen nog altijd in gebruik.

Toetsvormen G

NK-CRU

GN

K-SUM

MA

BMW

KGW

Schriftelijke toets open vragen X X X X

Schriftelijke toets gesloten vragen X X X X

Open boek tentamen/toets X X

Prestatie tijdens onderwijs/aanwezigheid X X X X

Praktisch werk X

Mondelinge toets X

Vaardigheidstoets (medisch-technisch) X

Anamnesegesprek met simulatiepatiënt X

Integrale vaardigheidstoets X

Portfolio gesprek X X X

Korte Praktijk Beoordeling X X

Examenpatiënt X X

(Eind)verslag X X X X

(Eind)presentatie X X X X

Toetsing communicatie-attitude X

Peer feedback X X

Opdracht of literatuuronderzoek X X X

Onderzoeksvoorstel X X

Essay X X

Scriptie X

Poster X X

Labjournaal X


12

2.3 BETROKKEN COMMISSIES EN PERSONEN

Binnen het UMC Utrecht zijn veel personen en commissies betrokken bij het totale proces van toetsing en het borgen van kwaliteit van toetsing. Van elk van deze partijen is hierna beschreven aan welke eisen personen moeten voldoen, hoe ze worden benoemd, welke taken en verantwoordelijkheden ze hebben, welke samenstelling commissies hebben, welke werkwijze ze momenteel hanteren en aan wie en hoe ze rapporteren.

DECAAN EN VICE-DECAAN

De decaan is lid van de Raad van Bestuur van het UMC Utrecht. In de praktijk is deze niet bij het concrete werk rondom het beoordelen en borgen van toetsing betrokken. Alleen in bijzondere gevallen wordt er op de decaan een beroep gedaan. De decaan wordt uiteraard wel op de hoogte gehouden van ontwikkelingen door de vice-decaan.

De vice-decaan is lid van het managementteam van de Directie Onderwijs en Opleidingen. Hij is vakinhoudelijk deskundig op het gebied van geneeskunde en tevens docent in de opleiding Geneeskunde (SUMMA).

De taken en verantwoordelijkheden zoals beschreven zijn in hoofdstuk 1.2 van deze notitie zijn binnen het UMC Utrecht gelegd bij de vice-decaan.

OPLEIDINGSDIRECTEUREN EN –COÖRDINATOREN

De opleidingsdirecteuren zijn inhoudelijke experts op het vakgebied van de opleiding. Veelal hebben zij ook een rol als docent binnen de opleiding. De opleidingsdirecteuren zijn in het bezit van een Senior Kwalificatie Onderwijs.

De opleidingscoördinatoren zijn ook inhoudelijke experts op het vakgebied van de opleiding. Ook zij zijn tevens docent binnen de opleidingen. De opleidingscoördinatoren worden geacht in het bezit te zijn van een Senior Kwalificatie Onderwijs, sommige zijn nog bezig met het traject daarvoor.

De taken en verantwoordelijkheden zoals beschreven in hoofdstuk 1.2 van deze notitie zijn binnen het UMC Utrecht ook daadwerkelijk gelegd bij de onderwijsdirecteuren. Onderdeel van de kwaliteitszorg voor het onderwijs is het afnemen van de studentenenquêtes na afloop van elk onderwijsonderdeel. In deze reguliere evaluaties zijn ook vragen over de kwaliteit van de toetsing opgenomen. Deze vragen hebben betrekken op representativiteit van de toets (sloot de toets aan bij het gegeven onderwijs?) en de kwaliteit van de vragen (waren de vragen duidelijk geformuleerd). Het formaliseren van het toetsbeleid en de implementatie daarvan is op het moment van het schrijven van deze notitie een aandachtspunt bij alle academische opleidingen. KGW heeft al bijna twee jaar een concept toetsbeleid liggen, BMW heeft hiervoor in 2013-2014 een EMP-project gestart. Naast de opleidingsspecifieke toetsbeleidsplannen wordt door het managementteam van het OnderwijsCentrum ook een gezamenlijke visie en richtlijn ontwikkeld.

EXAMENCOMMISSIES

De examencommissies van de verschillende opleidingen zijn wisselend samengesteld. De tabel op de volgende pagina geeft een overzicht van de overeenkomsten en verschillen.


13

GNK BMW KGW

# leden in Examencommissie

11 6 leden (incl vz) 3 adviseurs 1 ambt. secr.

4 leden (waarvan 3 richting-specifiek)

2 adviserende leden (de studieadviseurs)

1 ambtelijk secretaris. Verder schuift opleidings-directeur 2x per jaar aan voor afstemming (bv over toetsbeleid of signalen vanuit verzoeken studenten)

# adviescommissies voor bachelor-, master-, SUMMA-, portfolio- en professioneel gedrag. En CKT.

alleen CKT alleen CKT

zittingsduur leden (aftreedschema?)

drie jaar (herbenoeming mogelijk). Er is nog geen aftreedschema, wel plan om een huishoudelijk reglement op te stellen.

onbeperkt, geen aftreedschema

drie jaar (herbenoeming mogelijk)

eisen aan leden Er zijn geen eisen geformuleerd. Leden worden benoemd op basis van hun deskundigheid m.b.t. opleiding/toetsing.

In de praktijk zijn alle leden docent/examinator. Leden mogen geen managementfunctie met financiële verantwoordelijkheid bekleden of bestuurlijke eindverantwoordelijkheid voor een onderwijs-programma hebben.

BMW is een interfacultaire opleiding. De leden komen uit Diergeneeskunde, Geneeskunde en de Bètafaculteit. Alle leden zijn actief als examinator/docent in één of meerdere cursussen van de opleiding

per programmarichting een lid, dus FW / VW / LW Leden worden benoemd op basis van hun deskundigheid m.b.t. opleiding/toetsing.

programma specifieke leden zijn in ieder geval ook allemaal gepromoveerd.

vergaderfrequentie 12x per jaar 8-12x per jaar 12x per jaar, tenzij er geen bespreekpunten/verzoeken zijn

overlap leden CKT ja ja ja

belangrijkste werk Behandelen verzoeken om uitzonderingen op OER/Reglement, afhandeling beroepszaken, controle examens, bindend studieadvies, toetsing.

Borgen van toetskwaliteit, goedkeuren studieprogramma, vrijstellingen, fraude, plagiaat, BSA, vaststellen of een student aan de exameneisen voldoet, verzoeken studenten, goedkeuren studie buitenland, minoren etc. OER, Reglement Examencommissie, Benoemen examinatoren

Behandelen verzoeken studenten, toezien op kwaliteit van toetsing (signalen oppikken vanuit CKT, verzoeken studenten, thesischeck e.d.), OER, Reglement Examencommissie, benoemen examinatoren etc.


14

EXPERTISECENTRUM VOOR ONDERWIJS EN OPLEIDINGEN VAN HET ONDERWIJSCENTRUM

Het Expertisecentrum voor Onderwijs en Opleidingen is een afdeling van het OnderwijsCentrum van het UMC Utrecht. Binnen het Expertisecentrum werken onderwijskundigen met expertise op het gebied van (digitaal) toetsen. De taak van het Expertisecentrum is om opleidingen en individuele docenten te voorzien van advies en te helpen bij ontwikkeling van onderwijs in de breedste zin van het woord. Daar hoort advies en ondersteuning op het gebied van toetsing ook bij.

Zo kunnen de toetsdeskundigen van het Expertisecentrum docenten adviseren over te gebruiken (digitale) vraagtypen, helpen bij het ontwikkelen van toetsmatrijzen, toetsvragen onderwijskundig redigeren en adviseren over de resultaten van een toets aan de hand van een toetsanalyse.

Ook verzorgd het Expertisecentrum diverse docenttrainingen op het gebied van toetsing en beoordeling en levert zij samen met de CKT daarvoor de trainers.

COMMISSIE KWALITEITSZORG TOETSING

De Commissie Kwaliteitszorg Toetsing (CKT) werkt onder verantwoordelijkheid van de Examencommissies van de opleidingen Geneeskunde (CRU en SUMMA), Biomedische Wetenschappen en Klinische Gezondheidswetenschappen. Bij andere faculteiten wordt een dergelijke commissie vaak Toetscommissie genoemd.

In opdracht van de examencommissies heeft de CKT twee taakgebieden: 1. enerzijds het met raad en daad terzijde staan van docenten die bij toetsing en beoordeling betrokken

zijn, om de kwaliteit van de toetsing en beoordeling op een goed peil te houden en zo mogelijk en nodig ook verder te verbeteren; en

2. anderzijds het kritisch bezien en beoordelen van aangeboden toetsen om door feedback aan de ontwerper(s) van de toets de kwaliteit van toekomstige toetsen te verbeteren.

Sinds september 2010 bestaat er voor de academische opleidingen Geneeskunde (CRU en SUMMA), Biomedische wetenschappen en Klinische Gezondheidswetenschappen een gezamenlijke Commissie Kwaliteitszorg Toetsing (CKT). In de CKT zitten leden die specifiek voor een opleiding zijn benoemd en vallen onder de desbetreffende examencommissies.

De leden van de CKT zijn docenten die actief zijn in de diverse academische opleidingen en affiniteit met toetsing hebben. Ook hebben zij de docenttrainingen Toetsing I: het maken van goede toetsvragen en Toetsing II: kwaliteitszorg en analyse van toetsing bij het Expertisecentrum gevolgd of vergelijkbare scholing elders. Daarnaast kunnen CKT-leden ook lid zijn van een toetscommissie van een andere faculteit zoals de Graduate School of Life Sciences, Bèta of Diergeneeskunde, of van een examencommissie. Het aantal leden per opleiding is momenteel als volgt: vier voor GNK-CRU, één voor GNK-SUMMA, vier voor BMW en twee voor KGW.

De CKT vergadert circa vijf keer per jaar. Naast de gebruikelijke organisatorische zaken en de bevindingen vanuit de beoordelingen van afgenomen tentamens, komen dan ook vooral meer inhoudelijke onderwerpen aan de orde, zoals digitale toetsing, beoordeling van andere toetsvormen dan schriftelijke toetsing. De vergaderingen van de CKT worden voorbereid en voorgezeten door de onderwijskundig adviseur Toetsing en Beoordeling van het Expertisecentrum voor Onderwijs en Opleidingen. De voorzitter is tevens verantwoordelijk voor de jaarverslagen en correspondentie met andere betrokkenen zoals de examencommissie en opleidingscommissies. Het secretariaat van de CKT wordt ook gevoerd door het Expertisecentrum.

De werkwijze van de CKT richt zich tot op heden vooral op het achteraf beoordelen van schriftelijke (vooral op papier afgenomen) toetsen waarbij een heel cohort gelijktijdig wordt getoetst.

Het CKT secretariaat verzamelt hiervoor van elke toets een aantal gegevens, te weten: - de toetsopgaven met antwoordsleutel (MC) en/of modelantwoorden (open vragen) van de examinator, - het oordeel van de studenten over toetsomstandigheden en -inhoud zoals die blijkt uit de

studentenquêtes van het OnderwijsCentrum,


15

- de analyseresultaten van het MC-gedeelte van de toets vanuit het toetscentrum van het Centrum voor Onderwijs en Leren van de Universiteit Utrecht (COLUU-TES),

- de uiteindelijke cijfers zoals die aan de studenten bekend gemaakt worden (en in geval van eind- en herkansingstoetsen in Osiris worden geregistreerd).

Deze gegevens worden door het CKT secretariaat naar het CKT lid dat de beoordeling uitvoert gestuurd. Gegevens van verschillende toetsen van hetzelfde onderwijsdeel (tussen-, eind-, en herkansingstoets) en van samenhangende onderwijsonderdelen (bijvoorbeeld Stofwisseling I, II, en III) worden steeds door hetzelfde lid van de CKT beoordeeld.

De beoordelaar geeft zijn oordeel over en feedback op de toets via een beoordelingsformulier. Het ingevulde beoordelingsformulier wordt ook aan de betreffende examinator toegestuurd en zo nodig besproken. Uiteraard worden de gegevens ook gearchiveerd.

EXAMINATOREN

De feitelijke uitvoering van de toetsing van studenten ligt voor het grootste deel in de handen van de examinatoren. Zij stellen bijvoorbeeld schriftelijke toetsen samen, stellen criteria voor beoordelingen op, bepalen de uiteindelijke cesuur en cijfers en leggen hierover desgewenst verantwoording af aan de examencommissies.

De aanstellingseisen en benoeming van de examinatoren zijn per opleiding verschillend. Onderstaande tabel geeft een samenvatting.

GNK BMW KGW

Wie stelt examinatoren aan?

OnderwijsCentrum en EC-GNK stellen gezamenlijk de examinatoren aan. Examinatoren worden door de opleiding benaderd voor het examinatorschap.

Examinatoren worden benoemd door de examencommissie, op voordracht van en in overleg met de opleidingsdirecteur

Nieuwe examinatoren worden voorgedragen door de opleidingsdirecteur aan de Examencommissie, die ze vervolgens officieel benoemt

Wie bevestigt formeel de benoeming?

Aanstelling wordt bevestigd met formele benoemings-brief ondertekend door de opleidingsdirecteur. De brief gaat in CC naar de voorzitter EC en de manager onderwijs van de betreffende divisie.

Na akkoord opleidingsdirecteur, wordt examinator aangesteld via een brief namens de EC.

Examinator wordt aangesteld via een brief namens de EC.

Aan welke eisen moeten examinatoren voldoen?

Streven bij aanstelling van examinatoren is dat zij een SKO hebben

Kandidaat wordt altijd gevraagd naar kwalificaties. Dit dient een BKO te zijn en/of minimaal de cursussen toetsing I, II en beoordelen van verslagen. Als er nog geen BKO behaald is, dient de kandidaat-examinator het traject in te gaan. Tevens ontvangt de manager onderwijs van de kandidaat een brief waarin deze ‘eis’ wordt neergelegd.

Over het algemeen hebben alle examinatoren een BKO, ook al voordat zij aangesteld worden als examinator.

Aantoonbaar vakinhoudelijk bekwaam voor betreffende cursus

Premaster: minimaal Drs. of MSc. Master: minimaal Dr. Of PhD.

Basis Kwalificatie Onderwijs (BKO) vereist (of equivalent aantoonbaar didactisch onderlegd)

Goede referenties eerder onderwijs (gebaseerd op studentevaluaties en collegiale feedback). Bij voorkeur reeds als docent actief geweest in betreffende cursus


16

3. KWALITEITSBORGING VAN TOETSING EN BEOORDELING IN THEORIE

Het College van Bestuur beschrijft in de ‘Handreiking Toetsbeleid’8 indicatoren voor kwaliteitsborging, op twee niveaus, te weten het cursusniveau en het curriculumniveau. Cursusniveau betreft de kwaliteit van de afzonderlijke cursussen en het niveau van de examens. Curriculumniveau betreft de borging van het eindniveau van de afgestudeerden: men staat garant voor de koppeling tussen de eindkwalificaties van een opleiding en de leerdoelen per cursus binnen die opleiding. In de handreiking worden de volgende kwaliteitsindicatoren genoemd voor kwaliteit op beide niveaus. Cursusniveau: 1. Toetsen worden gemaakt op basis van de leerdoelen en eindtermen van de cursus; er zijn uniforme

afspraken over de manier waarop toetsen worden gemaakt. Docenten stellen gezamenlijk (vier-ogen principe) een tentamen samen en toetsen dat op kwaliteit en laten dit niet over aan een individuele docent.

2. Er zijn uniforme afspraken (procedures en richtlijnen) voor beoordeling en normering van toetsen (toetsingscriteria) en onderzoeksopdrachten en scripties (bijv. scriptiehandleiding met daarin de eisen waaraan een scriptie moet voldoen en de wijze waarop het cijfer wordt bepaald).

3. De kwaliteit van toetsen wordt onderzocht; de validiteit (zij meten kennis vaardigheden en competenties) en betrouwbaarheid (zij zijn consistent en nauwkeurig) van de toetsen is gegarandeerd.

Curriculumniveau: 4. Er is een toetsbeleid9/toetsplan dat wordt uitgevoerd (en geëvalueerd), in de vorm van een cyclisch

proces (plan, do, check, act), ingebed in het systeem van interne kwaliteitszorg. 5. Het beleid voorziet erin dat de examencommissie garant kan staan voor de kwaliteit van tentamens

en examens. 6. De eindkwalificaties van de opleiding zijn vertaald in toetsbare leerdoelen per cursus. 7. Er wordt systematisch nagegaan of er voldoende aansluiting is tussen de cursusdoelen en de

eindtermen, en of de optelsom van de leerdoelen per cursus overeenkomt met de eindkwalificaties van de opleiding. Schematisch vormgegeven:

In het Reglement Examencommissie10 staat in de artikelen 12 en 14 dat de examencommissie verantwoordelijk is voor het toezicht op het algemene curriculumniveau. Er zijn een toetsbeleid en toetsplan aanwezig die worden uitgevoerd en geëvalueerd. Op basis daarvan kan de examencommissie garant staan voor de kwaliteit van de examens (algemeen) en de tentamens (op cursusniveau). In het toetsprogramma zijn de eindkwalificaties van de opleiding vertaald in toetsbare leerdoelen per cursus (studieonderdeel) en wordt nagegaan in hoeverre er aansluiting is tussen cursusdoelen en eindtermen, bijvoorbeeld in de vorm van een toetsmatrijs.

8 Handreiking toetsbeleid, beschreven in criteria beoordeling. http://www.projects.science.uu.nl/imau/intranet/documents/criteria_beoordeling.pdf 9 Een integraal toetsbeleid is, volgens de definitie van de Onderwijsinspectie, een samenhangend stelsel van maatregelen en voorzieningen met als doel de kwaliteit van de toetsing en examinering te bewaken en te bevorderen, bewaken en borgen. In een integraal toetsbeleid komen de Wet op het Hoger Onderwijs en Wetenschappelijk onderzoek (WHW), het Strategisch Plan, de onderwijsvisie (inclusief toetsvisie) van de Universiteit Utrecht, de onderwijs- en examenregeling (OER), de facultaire richtlijnen en het studentenstatuut samen. 10 http://www.uu.nl/SiteCollectionDocuments/GEO/Student/Reglement-examencommissie-GS-2013-2014-NL.pdf

eindkwalificaties opleiding leerdoelen cursusonderdelen toetsonderdelen cursus


http://www.projects.science.uu.nl/imau/intranet/documents/criteria_beoordeling.pdf

http://www.uu.nl/SiteCollectionDocuments/GEO/Student/Reglement-examencommissie-GS-2013-2014-NL.pdf

17

3.1 KWALITEITSPIRAMIDE ALS BASIS

De ‘kwaliteitspiramide (van Joosten-ten Brinke, Sluijstermans & Peeters,2012)11 voor eigentijds toetsen en beoordelen’ helpt om inzichtelijk te maken welke elementen een rol spelen bij het borgen van kwaliteit van toetsing. Deze piramide benoemt vijf belangrijke bouwstenen die gezamenlijk de kwaliteit van toetsing borgen. Voor elk van deze bouwstenen zijn specifieke kwaliteitscriteria te benoemen.

TOETSBELEID/ TOETSPLAN

Toetsbeleid kan omschreven12 worden als “het geheel van keuzen terzake strategische, kwaliteits- en organisatorische vragen.”. Toetsbeleid en toetsplan zijn in deze beschrijving nauw verweven en vormen een cyclisch proces (plan, do, check, act). Een toetsplan bevat een systematische beschrijving van alle uitgewerkte procedures omtrent toetsing van een opleiding. Het geeft aan hoe en wanneer eindtermen, kwalificaties en leerdoelen getoetst worden. In het kader van de kwaliteitszorg van een opleiding is het zaak een integraal toetsbeleid te ontwikkelen en dit beleid uit te werken in de vorm van een toetsplan. Voor de bacheloropleidingen is de opleidingsdirecteur hiervoor de eerst aangewezen verantwoordelijke, daartoe gemandateerd door de het College van Bestuur. Voor de masteropleidingen is dit de vice-decaan van de graduate school.

TOETSPROGRAMMA

Bij toetsen (en tentamens) dient te worden aangegeven wat zij geacht worden te toetsen en waarom ze dat doen. Concreet betekent dit dus dat moet worden aangegeven hoe de toets zich verhoudt tot de doelstellingen van de cursus en tot andere toetsen die binnen dezelfde cursus worden gehanteerd. Verder is de functie van de toets van belang: is de toets bedoeld om te informeren, te selecteren, te classificeren, te plaatsen of te certificeren? Bij summatieve toetsen aan het eind van een cursus zal over het algemeen de certificerende functie in beeld komen in relatie tot de cursusdoelen en indirect ook tot de eindtermen van de opleiding. Vanuit het oogpunt van niveaubewaking zijn vooral dit soort summatieve certificerende toetsen van belang.

TOETSEN EN TOETSITEMS13

Validiteit Bij een valide toets meet de toets wat je wilt meten. Een valide toets is een goede afspiegeling van de leerdoelen en de leeractiviteiten (constructive alignment). Bij toetsen zal de vraag naar validiteit neerkomen op de vraag of de toets representatief is samengesteld in relatie tot de eindtermen, kerndoelen of -vaardigheden die voor het eindniveau van een cursus zijn geformuleerd. Een goede toetsmatrijs (specificatietabel of blauwdruk) is het belangrijkste middel om representativiteit te garanderen. Van een toets die niet expliciet is geconstrueerd op basis van zo’n matrijs kan moeilijk worden vastgesteld dat deze representatief of inhoudsvalide is. Voorts is het van belang dat de toets qua moeilijkheidsgraad is afgestemd op het (verwachte) niveau van degenen die de toets moeten ondergaan. Validiteit gaat vooraf aan betrouwbaarheid. Want als je niet weet of je toets de leerdoelen meet, kun je ook geen oordeel geven over de kwaliteit van de student14.

Betrouwbaarheid Een belangrijke dimensie van kwaliteit is de betrouwbaarheid van de toetsing. Een toets is betrouwbaar als deze bij herhaalde metingen een consistente uitslag geeft. Meestal berekent men voor

11 Uit: De kwaliteit van toetsing onder de loep van D. Sluijstermans e.a., OnderwijsInnovatie december 2012 12 Gea van Zutven, Marianne Polderdijk & Maurice de Volder. (2004). Handboek Toetsplanontwikkeling in competentiegericht onderwijs. Beleid voor verantwoord plannen van toetsing en examinering in het hoger onderwijs, p. 55 en 56.. http://hbo-kennisbank.uvt.nl/cgi/fontys/show.cgi?fid=129 13 Uit hoofdstuk 2: Berkel,H., Bax, A. & Joosten-ten Brinke, D. (2014). Toetsen in het hoger onderwijs. Bohn Stafleu van Loghum 14 Uit: Toetsbeleid Biomedische Wetenschappen


http://hbo-kennisbank.uvt.nl/cgi/fontys/show.cgi?fid=129

http://hbo-kennisbank.uvt.nl/cgi/fontys/show.cgi?fid=129

18

meerkeuzetoetsen en toetsen met open vragen hiervoor interne consistentiecoëfficiënten (zoals Cronbachs alfa), informatiefuncties, standaardmeetfouten of aantallen misclassificaties (gesteld dat men over de data beschikt om deze coëfficiënten uit te rekenen. Voor de beoordeling van bijvoorbeeld open vragen, papers, essays, werkstukken en theses, geldt in de regel dat de beoordeling moet geschieden door ten minste twee beoordelaars (vier ogen principe). In feite dient ook aangetoond te worden dat er sprake is van een voldoende overeenstemming tussen beoordelaars en dat de interbeoordelaarsbetrouwbaarheid aan minimumeisen voldoet. Alleen bij een (aangetoonde) zeer hoge overeenstemming zou men (in het geval van grote aantallen vragen bijvoorbeeld) kunnen volstaan met één beoordelaar.

Normering Een belangrijk punt betreft de vraag waar de cesuur tussen voldoende en onvoldoende wordt gelegd, tussen zakken en slagen voor een toets. Bij toetsen en examens kunnen zowel relatieve als absolute methoden van cesuurbepaling worden ingezet15. Bij relatieve cesuurbepaling (bijvoorbeeld ‘grading on the curve’ of de ‘juist toelaatbare afstand tot het groepsgemiddelde’, al dan niet uitgedrukt in standaardmeetfouten) is de waardering van de prestatie van een individuele student afhankelijk van de prestaties van de andere studenten. Waarschijnlijk om die reden geeft dit beoordelingssysteem de voorkeur aan absolute methoden zoals de kernitem-methode van De Groot, de methode Nedelsky of de methode Ebel. Voor bewaking van het niveau zijn methoden van standaardbepaling (prestatie- of beheersingsstandaard) belangrijk zoals de methode Angoff.

Transparantie De opleiding geeft aan wanneer er wordt getoetst (toetsmoment), wat er wordt getoetst (leerdoelen) en in welke vorm getoetst wordt. Daarnaast wordt er inzichtelijk gemaakt welke weging gehanteerd wordt (cesuur) bij de toets. Dit is transparantie. Op opleidingsniveau is deze informatie verzameld in de OER, waarin ook de regeling omtrent aanvullende toetsing is vermeld. Op het niveau van een cursus is dat beschreven in de cursusbeschrijving in de studiegids, het blokboek en expliciet in de toetsmatrijs16.

TOETSORGANISATIE

Dit betreft een groot aantal praktische zaken zoals ICT (digitale afname, itembanking, item- en toetsanalyse, cesuurbepaling, opslag en voortgang van studieresultaten), tentamenzalen en surveillance, beveiliging, digitaal portfolio, handleidingen, beoordelingsformulieren en –protocollen, de rol van examen-, toetsen opleidingscommissie, de inrichting van een examenbureau annex examensecretariaat, kosteneffectiviteit, fraudepreventie en -detectie en voorkomen van meeliften, planning (regelgeving en fasering in overeenstemming met de WHW), spreiding, volgorde en toelatingsvoorwaarden, termijnen, aantal herkansingen, doorstroming.

TOETSBEKWAAMHEID

Om de kwaliteit van toetsing te borgen, dienen de bij toetsing betrokken personen op het vlak waarvoor zij verantwoordelijk zijn deskundig en bekwaam te zijn. In het rapport ‘ Vreemde ogen dwingen’ van de Commissie Bruijn (naar aanleiding van ongerustheid op de kwaliteit van Hbo-diploma’s) is er een expertgroep opgericht die de mogelijkheden van een deskundigheidsbevordering op het gebied van toetsing verkent17: “Een docent dient aantoonbaar over voldoende onderwijskundige/didactische deskundigheid te beschikken, en daarbinnen over toetsdeskundigheid om zich te kwalificeren als (zelfstandig) examinator, (extern) lid van een examencommissie bij de eigen of een andere hogeschool, assessor of gecommitteerde” (p. 41)18. Deze deskundigheidbevordering zal in de vorm van een certificering Basis Kwalificatie Examinator/ Senior Kwalificatie Examinator (BKE/SKE) plaatsvinden. Deze tendens zal zich mogelijk uitbreiden tot het Universitair onderwijs.

15 Zie Berkel, H. van & Wijnen, W. (2006). Het geven van cijfers. In H. van Berkel & H. Bax (Red) Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum 16 Uit Toetsbeleid Biomedische Wetenschappen 17 Rapportage expertgroep BKE/SKE 14-01-2014 18 Onderwijsinnovatie, 4, 17-26.


19

4 KWALITEITSBORGING VAN TOETSING EN BEOORDELING IN DE PRAKTIJK

Om te bepalen hoe kwaliteitsborging van toetsing in de praktijk geregeld kan en moet worden, is het van belang goed zicht te hebben op de huidige en de gewenste kwaliteitsborging. Daarom is op 15 mei 2014 de vergadering van de Commissie Kwaliteitszorg Toetsing geheel besteed aan dit thema. Daarbij waren ook leden van de verschillende examencommissies en het management van de opleidingen uitgenodigd. De onderstaande vertegenwoordigers waren aanwezig:

GENEESKUNDE (CRU EN SUMMA)

BIOMEDISCHE WETENSCHAPPEN

KLINISCHE GEZONDHEIDS-WETENSCHAPPEN

- Dr. Paul Steenbergh (lid CKT en examencommissie)

- Dr. Isabelle Thunnissen (opleidingscoördinator bachelor)

- Dr. Annemarie Ultee (lid CKT)

- Dr. Inge van den Berg (lid CKT)

- Drs. Jacqueline van Wijngaarden (lid examencommissie)

- Dr. Peter van der Sluijs (lid examencommissie)

- Dr. Elly Holthuizen (lid CKT en voorzitter examencommissie)

- Dr. Astrid Freriksen (opleidingscoördinator bachelor)

- Dr. Carolien de Kovel (lid CKT)

- Dr. Roland van Linge (lid CKT en examencommissie)

- Dr. Manon Kluijtmans (opleidingsdirecteur)

- Drs. Martien van den Hoek (managementassistent)

De basis voor de inventarisatie was de conceptversie van de methodiek die is ontwikkeld door de Hogeschool van Arnhem en Nijmegen zoals ook beschreven in het artikel van Sluijstermans (2012) dat in hoofdstuk 3 wordt aangehaald. Deze methodiek is gebaseerd op de toetskwaliteitspiramide en geeft voor de verschillende onderdelen van de piramide een beschrijving van stadia in de vorm van een rubric. Hoewel de rubric nog in ontwikkeling is, biedt de informatie in het concept al voldoende handvatten voor een discussie over de huidige en gewenste situatie.

Hierna wordt per onderdeel van de piramide een korte samenvatting van de inventarisatie gegeven. Een compleet overzicht per opleiding van de aangegeven huidige en gewenste situatie is opgenomen in bijlage 3.

Vervolgens wordt een voorstel gedaan voor de bijdrage die de Commissie Kwaliteitszorg Toetsing zou kunnen leveren om van de huidige naar de gewenste situatie te komen. Als daarover consensus is met de examencommissies, kan een concreet plan van aanpak met tijdspad en verdere randvoorwaarden worden uitgewerkt.

4.1 ACTIEPUNTEN PER AANDACHTSGEBIED

KWALITEIT VAN HET TOETSBELEID

Alle drie de opleidingen beschikken momenteel over een (opzet tot) toetsbeleid, waarbij Geneeskunde dit nog vooral impliciet heeft en de andere opleidingen al meer expliciet.

Alle opleidingen geven echter aan te willen komen tot een expliciet toetsbeleid dat is ontwikkeld met bij toetsing betrokken partijen binnen en buiten de opleiding en dat vastgesteld is en gedragen wordt door alle bij toetsing betrokken partijen.

Ook wil men toe naar een regelmatige evaluatie waarbij de criteria om de kwaliteit van het toetsbeleid te evalueren door de examencommissie zijn vastgelegd. Het resultaat van de beoordeling wordt gedeeld/besproken met de examencommissie en/of toetscommissie. Op basis van deze bespreking wordt het toetsbeleid, waar nodig, aangepast.


20

KWALITEIT VAN HET TOETSPROGRAMMA

Bij alle drie de opleidingen komt het toetsprogramma tot stand vanuit algemene uitgangspunten van de opleiding (zoals variatie en tijd). Het toetsprogramma is afgesteld op de doelen van de opleiding en wordt gezocht naar variatie in toetsvormen passend bij de functie van de toetsing en gestelde doelen. Daarvoor zijn kwaliteitsstandaarden ontwikkeld.

Met name Geneeskunde geeft aan dat verbetering van de variatie in toetsvormen passend bij de toetsdoelen een aandachtspunt is.

Alle drie de opleidingen voeren de regie over het eigen toetsprogramma waarbij docenten veel invloed kunnen uitoefenen.

Meer systematische evaluatie van het toetsprogramma als onderdeel van de kwaliteitscyclus van de examencommissie is gewenst. Hiervoor dient een set van criteria samengesteld te worden door de examencommissie op basis waarvan de kwaliteit van het toetsprogramma wordt beoordeeld.

KWALITEIT VAN DE TOETS/TOETSITEM

Bij alle drie de opleidingen is kwaliteitszorg rondom de schriftelijke toetsing grotendeels zoals gewenst. De examinator maakt in samenspraak met betrokken collega’s de toets en draagt hiervoor de eindverantwoording. De toetsitems zijn afgeleid van de eindkwalificaties van de opleiding en de behoeftes van het werkveld (KGW) en rekening houdend met de keuzevrijheid binnen de opleiding (BMW).

De kwaliteit van de toets wordt vastgesteld op basis van de studentevaluaties en (bij KGW nog incidenteel) op basis van evaluaties van de examencommissie/toetscommissie. De schriftelijke toetsen worden systematisch geëvalueerd samen met studenten, de OC en de CKT als onderdeel van de kwaliteitscyclus. Voor andere toetsvormen zoals de coschappen en wetenschappelijke stages moet de kwaliteitscyclus verbeterd worden.

Het borgen van de aansluiting tussen toetsresultaten en gestelde doelen kan nog sterker met het verder implementeren van standaarden als toetsmatrijzen etc.

KWALITEIT VAN DE TOETSBEKWAAMHEID VAN DE BETROKKENEN

Toetsexpertise van met name examinatoren wordt bij alle opleidingen op individueel niveau vastgesteld door feedback van en intervisie met collega’s en op collectief niveau door de toetscommissie en examencommissie. Bij BMW moet de examinator op gesprek bij de opleidingsdirecteur en voorzitter van de examencommissie. Daar worden concrete afspraken gemaakt over o.a. toetsing en cursussen over toetsing.

Professionalisering vindt ad hoc plaats op basis van behoefte via incidentele scholing. Keuze van scholing wordt bepaald op individueel niveau maar structureel en collectief aangeboden. Deze scholing vindt veelal plaats in het kader van BKO/SKO-trajecten. Eenmaal behaald vindt geen structurele verdere professionalisering plaats aangestuurd vanuit de organisatie.

Via het Expertisecentrum voor Onderwijs en Opleidingen van het OnderwijsCentrum van het UMC Utrecht worden verschillende trainingen op het gebied van toetsing georganiseerd, te weten: • Toetsing I over het maken van goede toetsvragen (open en diverse gesloten vormen) • Toetsing II over kwaliteitszorg en coördinatie van toetsing (o.a. cesuurbepaling en maken en

interpreteren van toetsanalyses) • Beoordelen van papers, scripties etc. over het beoordelen van individueel (schriftelijk) werk van

studenten (o.a. gebruik van rubrics en plagiaat)

Daarnaast is toetsing een vast onderdeel van de Basiskwalificatie Onderwijs. Het is opgenomen in de eindtermen waaraan een docent voor een BKO moet voldoen en de docent dient hierop te reflecteren en voorbeelden van eigen vormen van toetsing en beoordeling te laten zien in het portfolio.


21

De Commissie Kwaliteitszorg Toetsing (CKT) is tevens geschoold op het gebied van toetsing, doordat alle leden een BKO en/of SKO hebben en doordat tijdens CKT-vergaderingen ervaringen worden uitgewisseld en thema’s worden besproken.

KWALITEIT VAN DE TOETSORGANISATIE

Het ontwerp, de uitvoering en de evaluatie van toetsen worden conform een meerjarenplan (BMW) of op basis van het toetsbeleid (KGW) voor een studiejaar georganiseerd.

Rollen, taken en verantwoordelijkheden van de Examencommissie en de toetscommissie zijn expliciet benoemd en vastgesteld door het management. Er zijn duidelijke afspraken over communicatie al kan communicatie tussen de toetscommissie en de examencommissie soms beter.

Eindresultaten van de toetsen worden volgens een systematisch aanpak gearchiveerd. Systematische archivering van de toetsen zelf kan beter.

De kwaliteit van de toets organisatie wordt niet (GNK) of slechts incidenteel (BMW) geanalyseerd op basis van ervaringen van docenten en studenten. Alleen KGW geeft aan dat de kwaliteit van de toetsorganisatie wordt geanalyseerd op basis van criteria als haalbaarheid en kosten en wordt geëvalueerd als onderdeel van kwaliteitszorg. Uiteindelijk willen alle opleidingen toe naar analyse op basis van criteria als kosten en haalbaarheid in relatie tot doelen in het toetsbeleid en evaluatie van de toetsorganisatie als onderdeel van de kwaliteitscyclus. Waarbij feedback van externen op het functioneren van toetsen examencommissies wenselijk is.

4.2 MOGELIJKE BIJDRAGEN TOETSCOMMISSIE

Uit de inventarisatie van de huidige en gewenste situatie blijkt dat er veel overeenkomsten zijn tussen de verschillende opleidingen. Per categorie zijn deze vertaald in een mogelijke bijdrage van de CKT. Uiteindelijk dienen de examencommissies de CKT al dan niet opdracht te geven tot uitvoering van deze (nieuwe) taken. Vervolgens kan dan een concreet plan van aanpak inclusief tijdspad en begroting worden opgesteld.

Algemeen De CKT heeft een taak in het bewaken en bevorderen van de kwaliteit van toetsing. Dat betekent dat zij voor zichzelf signalerende en adviserende rol ziet, afhankelijk van het aandachtsgebied van de kwaliteitszorg van toetsing.

Toetsbeleid Op het gebied van het toetsbeleid ziet de CKT vooral een signalerende rol voor zich zelf waarbij zij kan bijdragen aan de totstandkoming van toetsbeleid door de decaan, opleidingsdirecteuren en examencommissies te wijzen op de noodzaak van het hebben van een gedegen toetsbeleid en bijbehorende kaders en criteria. En de vraag kan stellen of alle opleidingen een toetsbeleid en toetsplan hebben dat aan de criteria voldoet. Ook kan de CKT bijdragen aan de kwaliteit van het toetsbeleid door het beleidsplan van de verschillende opleidingen te evalueren, onderling te vergelijken en waar mogelijk of nodig verbetersuggesties te doen. Het opstellen van een daadwerkelijk toetsbeleid blijft de verantwoordelijkheid van de opleidingsdirecteur.

Toetsprogramma Op het gebied van het toetsprogramma geldt eigenlijk hetzelfde als bij het toetsbeleid. Ook hier kan de CKT vooral een signalerende rol spelen door de vraag te stellen of alle opleidingen beschikken over een duidelijk en transparant toetsprogramma waarmee alle eindtermen van de opleiding zijn ondervangen.

Ook hier geldt dat de CKT kan bijdragen aan de kwaliteit van het toetsprogramma door dit van de verschillende opleidingen te evalueren, onderling te vergelijken en waar mogelijk of nodig


22

verbetersuggesties te doen. Daarnaast kan de CKT Inzichten uit de wetenschap over programmatisch toetsen delen met examencommissie en de opleiding. Het opstellen van een daadwerkelijk toetsprogramma blijft de verantwoordelijkheid van de opleidingsdirecteur.

Toets/toetsitems Op het gebied van toetsen en toetsitems kan de CKT een meer adviserende rol vervullen, door zoals zij nu al doet, steekproefsgewijs de kwaliteit van schriftelijke toetsen en toetsvragen te evalueren en bevindingen te bespreken met examinatoren. Hier zou de CKT nog een grotere rol kunnen spelen door standaarden op te stellen of te evalueren voor toetsondersteunende zaken als toetsmatrijs, interpretatie analyseresultaten, rubric format, beoordelingsschalen, etc. Bij andere vormen van toetsing zoals bijvoorbeeld individuele beoordelingen speelt de CKT momenteel nog geen echte rol. Hier zou zij een meer adviserende rol kunnen vervullen door bij te dragen aan het opstellen van criteria voor het evalueren van individuele beoordelingen. Ook kan zij het proces van individuele beoordelingen periodiek evalueren en verbetersuggesties doen waar nodig. En de CKT kan fungeren als klankbord voor examencommissie, opleidingscommissie en individuele docenten bij ontwerpen nieuwe toetsvarianten,

Toetsbekwaamheid betrokkenen Op het gebied van toetsbekwaamheid ziet de CKT een tweeledige rol. Enerzijds kan zij helpen om scholingsbehoeften van docenten, examinatoren en andere betrokkenen te signaleren. Anderzijds kan zijn fungeren als expertisegroep op het gebied van toetsing voor docenten en examencommissie. Onder meer door het leveren van bijdragen aan bij- en nascholing van docenten en andere betrokkenen op het gebied van toetsing via docenttrainingen, colloquia, opleidingsbijeenkomsten, etc. Zoals dit momenteel al gebeurt aangezien de docenttrainingen over toetsing opgezet en uitgevoerd worden door de voorzitter van de CKT en een CKT-lid.

Toetsorganisatie Op het gebied van de toetsorganisatie heeft de CKT ook vooral een signalerende en adviserende rol. Zo kan zij helpen om criteria op te stellen voor het evalueren van de toetsorganisatie, knelpunten signaleren en waar mogelijk verbetervoorstellen doen. Ook kan de CKT bijdragen aan het opstellen van adviezen over randvoorwaardelijke zaken zoals een calamiteitenplan digitaal toetsen, methode voor (centrale) archivering van toetsen en toetsresultaten, etc. Het daadwerkelijk organiseren van de toetsorganisatie is een taak van de opleidingsdirecteur.

4.3 CONCLUSIE

Om kwaliteit van toetsing op alle vlakken beter te kunnen borgen, ziet de CKT mogelijkheden om meer te gaan fungeren als expertisegroep op het gebied van toetsing. Daarmee wordt hun taak breder dan alleen het controleren van de kwaliteit van schriftelijke toetsen zoals nu het geval is.

Wanneer de examencommissies en opleidingsdirecties daar een meerwaarde in zien en akkoord gaan met een dergelijke nieuwe taakstelling, heeft dat gevolgen voor de gewenste samenstelling van de CKT en de benodigde deskundigheid en inzet van de CKT-leden.

De CKT-leden zouden zich dan verder moeten professionaliseren tot experts op het gebied van toetsing. Daarnaast dient de CKT dan als groep gezamenlijke producten af te leveren en dat vereist een andere samenwerking en overlegstructuur dan nu het geval is, waarbij ook betere en wellicht frequentere communicatie met de examencommissies noodzakelijk is. Dat alles tezamen vraagt een mogelijke andere expertise en zeker grotere tijdsinvestering van de CKT-leden.


23

BIJLAGE 1 AFKORTINGEN

In deze notitie staan een aantal afkortingen, voor de volledigheid staan hieronder de afkortingen uitgeschreven. (Afkortingen uit de overige bijlagen zijn niet opgenomen omdat deze veelal erg opleidingsspecifiek zijn.)

UU Universiteit Utrecht

UMCU/UMC Utrecht Universitair Medisch Centrum Utrecht

GNK Geneeskunde

BMW Biomedische Wetenschappen

BMS Biomedical Sciences

KGW Klinische Gezondheidswetenschappen

COLUU Centrum voor Onderwijs en Leren Universiteit Utrecht

TES Toets -en Evaluatie Servicecentrum

CKT Commissie Kwaliteitszorg en Toetsing

EC Examen Commissie

OC Onderwijs Commissie

NVAO De Nederlands-Vlaamse Accreditatieorganisatie

BAMA 3.0 Bachelor-Master 3.0

WHW Wet op Hoger en Wetenschappelijk onderwijs

EMP Educatieve Middelen Pool

OER Onderwijs- en Examen Regeling

BKO Basis Kwalificatie Onderwijs

SKO Senior Kwalificatie Onderwijs

BKE Basis Kwalificatie Examinator

SKE Senior Kwalificatie Examinator

Pre-MA Pre-Master

MC Multiple Choice

SUMMA Selective Utrecht Medical Master

CRU-BA Geneeskunde Curriculum - Bachelor

CRU-MA Geneeskunde Curriculum - Master

FW Fysiotherapie Wetenschappen

VW Verplegings Wetenschappen

LW Logopedie Wetenschappen


24

BIJLAGE 2 OVERZICHT VAN TOETSVORMEN PER OPLEIDING

GENEESKUNDE CRU

Binnen CRU19 wordt gebruik gemaakt van verschillende methoden van toetsing (zie ook onderstaand schema uit bijlage 23 van de zelfevaluatie, waarin per onderwijsonderdeel zowel de toetsvorm als het Miller-niveau waarop getoetst wordt staat vermeld):

- Schriftelijke toetsing, op papier of digitaal, met gesloten vragen en verschillende vormen van open vragen, om met name theoretische kennis en inzicht te toetsen (blokonderwijs en KLO).

- Beoordeling van inbreng tijdens de werkgroepen bij KLO. - Presentaties (met name tijdens het werkgroep onderwijs, tijdens TLO en tijdens de

coassistentschappen). - Beoordeling van schriftelijke verslagen in met name MH, AKWO, keuzeonderwijs en

wetenschappelijke stages. - Stationsexamens voor de geïntegreerde beoordeling van vaardigheden (PLO B1 en 2). Bij een

stationsexamen voeren studenten per 'station' een opdracht uit. Ze doorlopen 4 of 5 stations, respectievelijk: anamnese, lichamelijk onderzoek, informerend gesprek of slecht nieuws gesprek, medisch-technische vaardigheidstoets en verslaglegging (over anamnese en lichamelijk onderzoek).

- Portfoliogesprekken voor de beoordeling van SRP en Academische Vorming, voor de beoordeling van kennis, vaardigheden en professionaliteit tijdens de coassistentschappen en voor de beoordeling van de eindcompetenties van de opleiding (Portfolio M3).

- Beoordeling van functioneren in de kliniek via patiëntverslagen en observaties (Korte Praktijkbeoordelingen).

19 Zelfevaluatierapport bachelor- en masteropleiding CRU2006, Utrecht, dec. 2010


25

GENEESKUNDE SUMMA

Binnen SUMMA20 wordt gebruik gemaakt van merendeels vergelijkbare methoden van toetsing (zie ook onderstaande schema uit bijlage 17 van de zelfevaluatie):

- Schriftelijke toetsing met een combinatie van open en gesloten vragen (Lijn Kennis), alleen open vragen (casustraining (KD), Medische ethiek (KD), AWV2 (W)) of alleen gesloten vragen (Offward (KD))

- De Utrechtse Voortgangstoets: een schriftelijke, casus gebonden voortgangstoets die de studenten minimaal drie keer moeten afleggen en die behaald moet zijn om te kunnen starten in jaar 4. Deze toets bevat korte open en gesloten klinische casusvragen vragen en vragen over de biomedische basiskennis, op het niveau waarop de kennis paraat dient te zijn aan het einde van jaar 3.

- Beoordeling van prestaties tijdens het onderwijs (casustraining (KD)) - Stationstoets CS en CE (KH). CS bestaat uit de stations Lichamelijk onderzoek, aanvullende verrichtingen

en verslaglegging; CE bestaat uit de anamnese afnemen, uitslaggesprek en verslagleggen. - Beoordeling van presentaties (Offward (KD), praktijk van de zorg (KH), AWV1, AWV2, AWV 3, OP1 en 3

(W)) - Beoordeling van voorzitterschap (Offward (KD), AWV1 (W)) - Beoordeling van professioneel gedrag (casustraining (KD)), studentenpolikliniek en coassistentschappen

(KH)). - Praktijkbeoordeling (praktijk van de zorg, studentenpolikliniek en coassistentschappen (KH)) - Beoordeling onderzoeksvoorstel (OP2 (W)) - Beoordeling verslag (Praktijk van de zorg (KH), OP1 en 3 (W)) - Patiëntpresentaties (coassistentschappen (KH)) - Beoordeling praktische onderzoeksvaardigheden (OP 3 (W))

20 Zelfevaluatierapport onderzoeksmaster SUMMA, Utrecht, dec. 2010


26

BIOMEDISCHE WETENSCHAPPEN 21

Binnen Biomedische Wetenschappen worden verschillende methoden van toetsing gebruikt. Onderstaand schema ontleent aan bijlage 10 van de zelfevaluatierapportage geeft hiervan een overzicht.

21 Zelfevaluatierapport van de bachelor opleiding Biomedische Wetenschappen aan de Universiteit Utrecht, Utrecht, dec. 2011


27

Sinds het collegejaar 2005-2006 is het voor elke cursus verplicht om gedurende de cursus tenminste één moment in te ruimen waarbij de docent tussentijds de vorderingen van de studenten evalueert en kenbaar maakt. Voor deze tussentijdse toetsing kunnen verschillende toetsvormen gebruikt worden.

Bij schriftelijke toetsing wordt soms gebruik gemaakt van multiple choice vragen, maar voor het grootste gedeelte van open vragen, waarbij studenten getraind worden te redeneren en dwarsverbanden te leggen. De beoordeling van schriftelijke toetsen vindt plaats aan de hand van schriftelijk vastgelegde normen (antwoordmodel).

De beoordeling van andere toetsvormen (zoals mondelinge presentaties, samenwerkingsvaardigheden en verslagen) geschiedt aan de hand van criteria die zijn opgesteld door de Examencommissie. De criteria zijn inzichtelijk voor docenten en studenten via de beoordelingsformulieren op de website.

Tijdens het researchproject moeten studenten (onder begeleiding) leren onderzoeken. Tijdens deze ontwikkeling vindt formatieve toetsing plaats. Dit gebeurt via gesprekken met de begeleider tijdens het praktisch werk en/of feedback tijdens de schrijffase en eventueel ook bij de werkbesprekingen van de onderzoeksgroep waar de student het Researchproject uitvoert. Uiteindelijk vindt summatieve toetsing plaats op basis van een beoordeling van het praktisch werk (20%) en de scriptie (80%). Ook voor het Researchproject bestaat er een beoordelingsformulier, welke door de begeleider ingevuld dient te worden.

Het doel van de Studieloopbaanontwikkeling (SLO) is het ontwikkelen van academische vaardigheden, het realiseren van een weloverwogen studiepadkeuze en een goede voorbereiding op de arbeidsmarkt of een vervolgopleiding. Een student kan alleen afstuderen wanneer de SLO met een voldoende is beoordeeld. Toetsing voor dit onderdeel vindt plaats door (het inleveren van) verslagen van de tutorgesprekken en een aantal opdrachten (elk studiejaar heeft specifieke opdrachten), waaronder: het schrijven van een CV en een studiemotivatie, een sollicitatiebrief voor een masteropleiding, opdrachten over professioneel gedrag en vaardigheden, het schrijven van reflecties en de ingevulde beoordelingsformulieren. De SLO wordt beoordeeld door de tutor en de Examencommissie.


28

KLINISCHE GEZONDHEIDSWETENSCHAPPEN 22

Toetsing van kennis en vaardigheden binnen KGW vindt op diverse momenten in de opleiding en in gevarieerde vormen plaats (zie onderstaand overzicht uit bijlage 8 van het zelfevaluatierapport).

In 2013 is de masteropleiding Logopedie Wetenschappen bij KGW gekomen. Deze opleiding was nog niet in de zelfevaluatie opgenomen, maar de toetsvormen voor LW zijn in grote lijnen vergelijkbaar met die van de andere masteropleidingen FW en VW.

22 Zelfevaluatierapport Klinische Gezondheidswetenschappen, Utrecht, dec. 2010


29

Toetsing vervult zowel de functie van periodieke bepaling in hoeverre studenten de beoogde doelen (niveau van competentie) hebben bereikt, als van monitoring van de academische ontwikkeling die zij doormaken. Het behalen van de cursussen is in de regel gebaseerd op een combinatie van meerdere toetsvormen (tentamens, schriftelijke opdrachten, presentaties en projecten). De toetsing is afgestemd op het beoordelen van de verschillende leerdoelen. Zo worden kennis en vaardigheden getoetst via schriftelijke examens, academische vaardigheden en vaardigheid in samenwerken via uitvoering van projecten, vaardigheden in rapporteren via projectverslagen en afstudeeronderzoek en competentie in uitvoering van onderzoek via beoordeling door een directe begeleider en een tweede beoordelaar.

De Examencommissie stelt als criterium dat de student gedurende de afstudeerfase van het programma zelfstandig een onderzoek uitvoert en daarbij door twee wetenschappers wordt begeleid. De ene begeleider werkt in een onderzoekslijn, de andere begeleider is als docent betrokken bij de cursus ‘Afstudeeronderzoek’. Er wordt naar gestreefd dat tenminste één begeleider gepromoveerd is. Het afstudeeronderzoek wordt door beide begeleiders beoordeeld. De toetsing van het afstudeeronderzoek behelst zowel de wetenschappelijke inhoud als de proceskant met betrekking tot academische vaardigheden.


30

BIJLAGE 3 HUIDIGE EN GEWENSTE SITUATIE PER OPLEIDING

Bij de inventarisatie van de huidige en gewenste situatie waren personen betrokken vanuit zowel de CKT als de Examencommissies als het management van de opleiding. Deze zijn in hoofdstuk 4 genoemd.

Onderstaande tabellen per opleiding zet per onderwerp van de piramide de door deze personen aangegeven huidige en gewenste situatie naast elkaar.

OPLEIDING GENEESKUNDE Kwaliteit van het toetsbeleid

Huidige situatie Gewenste situatie

Hoe komt het toetsbeleid en de visie op toetsing tot stand (ontwerp)?

Er is sprake van een impliciet toetsbeleid, dat in gezamenlijke ontmoetingen met docenten en MT mondeling wordt gedeeld. Het toetsbeleid is niet of onvoldoende expliciet vastgelegd en systematisch op de agenda gezet.

Er is sprake van een toetsbeleid dat samen met de examencommissie en/of toetscommissie, docenten en andere betrokkenen bij toetsing binnen de opleiding is ontwikkeld. De opleiding werkt hierin samen met mensen buiten de opleiding: andere UMC’s, externe experts en alumni.

Welke informatie wordt gebruikt om de kwaliteit van het toetsbeleid vast te stellen (criteria)?

De opleiding heeft expliciete criteria en benut expertise van betrokkenen in het werkveld; het raamplan waar het impliciete toetsbeleid op gebaseerd is.

De opleiding heeft expliciete criteria gehanteerd om het toetsbeleid vorm te geven.

Hoe wordt de kwaliteit van het toetsbeleid geborgd (kwaliteitsborging)?

Het toetsbeleid wordt incidenteel geëvalueerd (bijvoorbeeld t.b.v. een accreditatie) als onderdeel van kwaliteitszorg door de examencommissie en/of de toetscommissie en docenten. Er zijn geen of onduidelijke criteria vastgelegd om de kwaliteit van het toetsbeleid te evalueren. Het resultaat van de evaluatie wordt gedeeld/besproken met de examencommissie en de toetscommissie.

Het toetsbeleid wordt regelmatig geëvalueerd als onderdeel van een beleidscyclus. De examencommissie heeft de criteria waarop de kwaliteit van het toetsbeleid wordt geëvalueerd vastgesteld. Het resultaat van de evaluatie van de kwaliteit wordt gedeeld/besproken met examencommissie en/of de toetscommissie en betreffende docenten. Het toetsbeleid wordt op basis van de bespreking waar nodig aangepast.

Kwaliteit van het toetsprogramma


Hoe komt het toetsprogramma tot stand (ontwerp)?

Het toetsprogramma wordt opgezet vanuit de voorstellen van medewerkers die de onderwijseenheden uitvoeren. Met de opleiding stemmen de betrokkenen bij toetsing de voorstellen op elkaar af zodat het toetsprogramma uitvoerbaar is. Bij de samenstelling van het toetsprogramma wordt rekening gehouden met de aansluiting op de onderwijsdoelen en – activiteiten. Hierin werken de ontwikkelaars van de toetsen en de opleiding nauw met elkaar samen. Bij de totstandkoming van het toetsprogramma wordt gezocht naar een variatie in toetsvormen, passend bij functies van toetsen (tussentijdse en finale beoordelingen) en de getoetste doelen.

Gelijk aan huidige situatie.


31

Welke informatie wordt gebruikt om de kwaliteit van het toetsprogramma vast te stellen (criteria)?

De opleiding heeft kwaliteitsstandaarden ontwikkeld of in gebruik waarmee de kwaliteit van het toetsprogramma door diverse betrokkenen binnen de opleiding wordt vastgesteld. De kwaliteitscriteria zijn afkomstig uit en worden steeds getoetst aan inzichten uit de wetenschap en ervaringen van interne betrokkenen.


Hoe wordt de kwaliteit van het toetsprogramma geborgd (kwaliteitsborging)?

Het resultaat van de beoordeling van de kwaliteit wordt besproken met betrokkenen (commissies, studenten, docenten). Op basis van de resultaten van de evaluatie worden, waar gewenst/nodig, wijzigingen in het toetsprogramma doorgevoerd.

Het toetsprogramma wordt periodiek systematisch geëvalueerd als onderdeel van de kwaliteitscyclus met alle belanghebbenden, waaronder de examencommissie en docenten.

Kwaliteit van de toets/toetsitems*


Hoe komt de toets tot stand (ontwerp)?

Er zijn operationele afspraken over toetsen toetsitemontwikkeling, bijv. ‘elke docent ontwerpt de toets(en) bij zijn/haar onderwijseenheid voor de start van de onderwijseenheid’. De toets/toetsitems zijn inhoudelijk afgeleid van de eindkwalificaties van de opleiding en via het Raamplan op de behoeften van het werkveld. De toets/toetsitems worden ontworpen door een groep docenten (die samen verantwoordelijk zijn voor de onderwijseenheid/ beroepstaak).


Welke informatie wordt gebruikt om de kwaliteit van de toets vast te stellen (criteria)?

De toets wordt voorgelegd aan deskundigen binnen de opleiding (bijv. expertisegroep toetsing) en van feedback voorzien. De opleiding heeft kwaliteitsstandaarden ontwikkeld waarmee de kwaliteit van de toets door diverse betrokkenen binnen de opleiding vastgesteld wordt. De kwaliteit van een toets wordt vastgesteld op basis van studentevaluaties en evaluaties van de toetscommissie.


Hoe wordt de kwaliteit van de toets geborgd (kwaliteitsborging)?

De toets en de toetsitems worden geëvalueerd als onderdeel van de kwaliteitscyclus: er zijn standaarden geformuleerd, de toetsen en toetsitems worden ontworpen en afgenomen en de doelen/standaarden worden geëvalueerd. De toetsen en toetsitems wordt meerdere malen geëvalueerd en er worden trendanalyses gemaakt.

Gelijk aan huidige situatie met de toevoeging dat er een vergelijking gemaakt wordt tussen toetsresultaten en de gestelde doelen.

* De opleiding Geneeskunde geeft aan dat de ingeschatte situaties op basis van dit overzicht vooral gelden voor schriftelijke toetsing. Voor de coschappen en wetenschappelijke stages moet hier nog meer aandacht voor komen en deze passen niet zo goed in de gehanteerd methodiek.

Kwaliteit van toetsbekwaamheid van betrokkenen


Hoe komt de ontwikkeling en inzet van toetsexpertise tot stand (ontwerp)?

Toetsexpertise wordt collectief ontwikkeld op basis van de visie die er op organisatieniveau is over goed toetsen.

Toetsexpertise wordt ingezet op basis van een middellange termijn visie op kwaliteit van toetsen (Hoe zetten we toetsexpertise zo in dat de kwaliteit van toetsing binnen de opleiding is geborgd?)


32

Welke informatie wordt gebruikt om de kwaliteit van de toetsexpertise vast te stellen (criteria)?

Toetsexpertise wordt vastgesteld door feedback van en intervisie met collega’s op basis van duidelijke criteria.

Toetsexpertise wordt op collectief niveau vastgesteld ontwikkeld op basis van de visie die er op organisatieniveau is over goed toetsen.

Hoe wordt de kwaliteit van de toetsexpertise geborgd (kwaliteitsborging)?

De keuze van scholing wordt bepaald op basis van de hiaten in toetsexpertise van het individu. Professionalisering vindt ad hoc op basis van de behoefte van een team plaats met incidentele scholing (bijvoorbeeld cursus, studiedagen). Toetsexpertise wordt intern één keer per jaar op collectief niveau vastgesteld. Toetsexpertise wordt door een externe partij en door de betrokkene zelf vastgesteld door het vergaren van 360 feedback (studenten, collega’s, werkveld).

Toetsexpertise wordt intern één keer per jaar op collectief niveau vastgesteld waarbij het resultaat een nauwkeurig overzicht is van de mate waarin toetsexpertise op organisatieniveau is geborgd. Professionalisering vindt plaats op basis van een middellange termijn met structurele scholing op individueel collectief niveau (bijvoorbeeld opleiding toetsdeskundige). De keuze van scholing wordt bepaald op basis van de visie van de opleiding op goed toetsen. Toetsexpertise wordt door een externe partij vastgesteld op basis van bijvoorbeeld een assessment. Toetsexpertise wordt door de betrokkene zelf vastgesteld door het vergaren van 360 feedback (studenten, collega’s, werkveld).

Kwaliteit van de toetsorganisatie


Hoe wordt de toetsorganisatie ingericht (ontwerp)?

Het ontwerp, uitvoering en de evaluatie van toetsen wordt voor een studiejaar georganiseerd (bijvoorbeeld het maken van toetsroosters, het bekend maken van toetsresultaten en het vormgeven van toetsen). Rollen, taken en verantwoordelijkheden van de examen- en toetscommissie zijn expliciet benoemd en vastgesteld door het management en deze organen opereren conform deze rollen, taken en verantwoordelijkheden. Er zijn afspraken op welke wijze docenten de examen- en toetscommissie kunnen benaderen. Toetsen en toetsresultaten worden voor meerdere jaren gearchiveerd volgens een systematische aanpak die gekoppeld is aan de te bereiken eindkwalificaties.

Gelijk aan huidige situatie met de toevoeging dat dit op basis van het geformuleerde toetsbeleid moet gebeuren.

Welke informatie wordt gebruikt om de kwaliteit van de toetsorganisatie vast te stellen (criteria)?

De kwaliteit van de toetsorganisatie wordt niet geanalyseerd.

De kwaliteit van de toetsorganisatie wordt geanalyseerd op basis van criteria als haalbaarheid en kosten in relatie tot de doelen zoals die zijn verwoord in het toetsbeleid.

Hoe wordt de kwaliteit van de toetsorganisatie geborgd (kwaliteitsborging)?

Er is geen sprake van kwaliteitsborging van de toetsorganisatie.

De toetsorganisatie wordt geëvalueerd als onderdeel van kwaliteitszorg: doelen vaststellen, toetsorganisatie ontwerpen, evalueren en verbeteren. Er wordt een vergelijking gemaakt tussen de uitkomsten en de gestelde doelen.


33

OPLEIDING BIOMEDISCHE WETENSCHAPPEN Kwaliteit van het toetsbeleid



Er is sprake van een toetsbeleid dat samen met de examencommissie en/of toetscommissie, docenten en andere betrokkenen bij toetsing binnen de opleiding is ontwikkeld. De opleiding werkt hierin samen met mensen buiten de opleiding: externe experts.



De opleiding heeft expliciete criteria gehanteerd om het toetsbeleid vorm te geven. Deze criteria zijn vastgesteld op basis van beelden die binnen de wetenschap en de praktijk over goed toetsbeleid leven en dus opleidingsspecifiek. De opleiding benut expertise van betrokkenen in het werkveld en op het gebied van toetsing en beoordeling bij het vaststellen van de een sterk toetsbeleid.

De gehanteerde criteria zijn uit het beschreven toetsbeleid af te leiden.


Het toetsbeleid wordt incidenteel geëvalueerd (bijvoorbeeld t.b.v. een accreditatie) als onderdeel van kwaliteitszorg door de examencommissie en/of de toetscommissie en docenten. Er zijn geen of onduidelijke criteria vastgelegd om de kwaliteit van het toetsbeleid te evalueren.

Het toetsbeleid wordt jaarlijks systematisch geëvalueerd samen met ‘klanten’, o.a. studenten en het werkveld, als onderdeel van de beleidscyclus. De examencommissie heeft de criteria waarop de kwaliteit van het toetsbeleid wordt geëvalueerd vastgesteld. Het resultaat van de beoordeling van de kwaliteit wordt gedeeld/besproken met examencommissie en/of de toetscommissie, docenten en studenten. Het toetsbeleid wordt op basis van de bespreking waar nodig aangepast.




Het toetsprogramma wordt opgezet vanuit de voorstellen van medewerkers die de onderwijseenheden uitvoeren. Het toetsprogramma komt tot stand vanuit algemene uitgangspunten zoals variatie, tijd die in het toetsbeleid van de opleiding zijn beschreven. Bij de samenstelling van het toetsprogramma wordt rekening gehouden met de aansluiting op de onderwijsdoelen en – activiteiten.

Het toetsprogramma wordt opgezet vanuit de voorstellen van medewerkers die de onderwijseenheden uitvoeren. Het toetsprogramma komt tot stand vanuit algemene uitgangspunten zoals variatie, tijd die in het toetsbeleid van de opleiding zijn beschreven. Voor de ontwikkeling van het toetsprogramma werken examencie,toetscommissie en ontwikkelaars van de toetsen en de onderwijsactiviteiten nauw met elkaar samen.


De opleiding heeft kwaliteitsstandaard ontwikkeld of in gebruik waarmee de kwaliteit van het toetsprogramma door diverse betrokkenen binnen de opleiding wordt vastgesteld.

De opleiding heeft kwaliteitsstandaard ontwikkeld of in gebruik waarmee de kwaliteit van het toetsprogramma door diverse betrokkenen binnen de opleiding wordt vastgesteld. De kwaliteitscriteria zijn afkomstig uit en worden steeds getoetst aan inzichten uit de wetenschap en ervaringen.


34


Het toetsprogramma wordt incidenteel geëvalueerd als onderdeel van kwaliteitszorg door de examencommissie en/of de toetscommissie en docenten. Er zijn geen of onduidelijke criteria vastgelegd om de kwaliteit van het toetsprogramma te evalueren. Het resultaat van de beoordeling van de kwaliteit wordt besproken met betrokkenen (commissies, studenten, docenten). Op basis van de resultaten van de evaluatie worden, waar gewenst/nodig, wijzigingen in het toetsprogramma doorgevoerd.

Het toetsprogramma wordt geëvalueerd als onderdeel van de kwaliteitscyclus van de examencommissie. Er is een set van criteria vastgesteld waarop de kwaliteit van het toetsprogramma wordt beoordeeld en de excie onderhoudt deze jaarlijks. Het resultaat van de beoordeling van de kwaliteit wordt besproken met betrokkenen (commissies, studenten, docenten). Op basis van de resultaten van de evaluatie worden, waar gewenst/nodig, wijzigingen in het toetsprogramma doorgevoerd.




De toets/toetsitems worden ad-hoc ontworpen, meestal vlak voor de toetsafname. Plus vragen uit voorgaande jaren in database. De toets/toetsitems worden ontworpen door een individuele docent (die de onderwijseenheid verzorgt) op basis van zijn ideeën.*

De toets/toetsitems zijn inhoudelijk afgeleid van de eindkwalificaties van de opleiding.


De kwaliteit van een toets wordt vastgesteld op basis van studentevaluaties, evaluaties van de examencommissie/ toetscommissie en evaluaties van het werkveld.



De toets wordt systematisch geëvalueerd met studenten als onderdeel van de kwaliteitscyclus.

De toets wordt systematisch geëvalueerd samen met ‘klanten’, o.a. studenten en het werkveld, als onderdeel van de kwaliteitscyclus.

* Examinator maakt toetsmatrijs en redigeert de toets. Kwaliteit van toetsbekwaamheid van betrokkenen



Toetsexpertise wordt informeel en non-formeel door het individu zelf ontwikkeld voor de individuele docent (cursus toetsing I&II). Toetsexpertise wordt formeel op individueel niveau ontwikkeld op basis van afspraken van de opleiding met de examinator (minimaal BKO, bij voorkeur SKO).



Examinator moet op gesprek bij opleidingsdirecteur en voorzitter Examencommissie. Daar worden concrete afspraken gemaakt over o.a. toetsing en cursussen over toetsing. N.B. Docenten zijn niet bij ons in dienst, dus de opleiding BMW kan alleen sturen, maar niet dwingen.



Zie vorige punt.


35




Het ontwerp, uitvoering en de evaluatie van toetsen is conform een meerjarenbeleid georganiseerd (bijvoorbeeld het maken van toetsroosters, het bekend maken van toetsresultaten. Rollen, taken en verantwoordelijkheden van de examen- en toetscommissie zijn expliciet benoemd en vastgesteld door het management en deze organen opereren conform deze rollen, taken en verantwoordelijkheden. Er is een duidelijke communicatie tussen examinatoren, toetscommissie en examencommissie. Toetsen en toetsresultaten worden voor meerdere jaren gearchiveerd volgens een systematische aanpak



De kwaliteit van de toetsorganisatie wordt geanalyseerd op basis van ervaringen van docenten en studenten.



De toetsorganisatie wordt incidenteel geëvalueerd en er worden ad hoc aanpassingen doorgevoerd.



36

OPLEIDING KLINISCHE GEZONDSHEIDSWETENSCHAPPEN Kwaliteit van het toetsbeleid



Er is sprake van een toetsbeleid dat samen met de examencommissie en/of toetscommissie, docenten en andere betrokkenen bij toetsing binnen de opleiding is ontwikkeld. De opleiding werkt samen met mensen buiten de opleiding: externe experts, vertegenwoordigers van het werkveld, alumni en hun werkgevers. Actuele maatschappelijke inzichten en ontwikkelingen zijn input voor het toetsbeleid en de visie op toetsing.

Gelijk aan huidige situatie met toevoeging van verbetercyclus en methode expliciet vastgesteld


De opleiding heeft expliciete criteria gehanteerd om het toetsbeleid vorm te geven. Deze criteria zijn vastgesteld op basis van beelden die binnen de opleiding over goed toetsbeleid leven en dus opleidingsspecifiek. De opleiding benut expertise van betrokkenen in het werkveld en op het gebied van toetsing en beoordeling bij het vaststellen van de een sterk toetsbeleid. De gehanteerde criteria zijn uit het beschreven toetsbeleid af te leiden.

Gelijk aan huidige situatie waarbij de criteria niet op basis van beelden binnen de opleiding, maar beelden binnen e wetenschap worden vastgesteld en nog beter uit het toetsbeleid zijn af te leiden.


Het toetsbeleid wordt incidenteel geëvalueerd (bijvoorbeeld t.b.v. een accreditatie).

Het toetsbeleid wordt voortdurend actueel gehouden en regelmatig geëvalueerd als onderdeel van een beleidscyclus. De examencommissie heeft de specifieke criteria waarop de kwaliteit van het toetsbeleid wordt geëvalueerd vastgesteld.




Het toetsprogramma wordt opgezet vanuit de voorstellen van medewerkers die de onderwijseenheden uitvoeren. Bij de totstandkoming van het toetsprogramma wordt gezocht naar een variatie in toetsvormen, passend bij functies van toetsen (tussentijdse en finale beoordelingen) en de getoetste doelen. Bij de samenstelling van het toetsprogramma wordt rekening gehouden met de aansluiting op de onderwijsdoelen en – activiteiten. Hierin werken curriculumcommissie, opleidingsdirecteur en ontwikkelaars van toetsen en onderwijsactiviteiten nauw met elkaar samen. Er is expliciet inbreng vanuit het werkveld om de eindtermen af te stemmen op de eisen van beroepsuitoefening en de context waarbinnen dit gebeurt.

Gelijk aan huidige situatie maar met een grotere betrokkenheid van examencommissie en toetscommissie


37


De opleiding heeftkwaliteitsstandaarden ontwikkeld of in gebruik waarmee de kwaliteit van het toetsprogramma door diverse betrokkenen binnen de opleiding wordt vastgesteld. De kwaliteitscriteria zijn afkomstig uit en worden steeds getoetst aan inzichten uit de wetenschap en ervaringen van interne betrokkenen.


Het toetsprogramma wordt incidenteel geëvalueerd als onderdeel van kwaliteitszorg door de examencommissie en/of de toetscommissie en docenten.

Het toetsprogramma wordt geëvalueerd als onderdeel van de kwaliteitscyclus van de examencommissie. Er is een set van criteria vastgesteld waarop de kwaliteit van het toetsprogramma wordt beoordeeld en de excie onderhoudt deze jaarlijks. Het resultaat van de beoordeling van de kwaliteit wordt besproken met betrokkenen (commissies, studenten, docenten). Op basis van de resultaten van de evaluatie worden, waar gewenst/nodig, wijzigingen in het toetsprogramma doorgevoerd.




Er zijn afspraken over toetsontwerp/ toetsitemontwikkeling die voortkomen uit de visie op toetsen en het toetsbeleid van de opleiding. De toets wordt ontworpen door (representanten van) de opleiding. Op opleidingsniveau zijn kaders en werkprocessen ontwikkeld voor toetsontwerp en toetsitemontwikkeling. De toets is inhoudelijk afgeleid van de eindkwalificaties van de opleiding en de behoeftes van het werkveld. De toets/toetsitems worden ontworpen door de examinator (die de onderwijseenheid verzorgt) op basis van zijn ideeën in samenspraak met één of meerdere collega’s.

Gelijk aan huidige situatie waarbij de werkprocessen worden erkend en gebruikt voor het ontwerp en de ontwikkeling van toetsen en toetsitems.


De opleiding heeft kwaliteitsstandaarden ontwikkeld waarmee de kwaliteit van de toets door diverse betrokkenen binnen de opleiding vastgesteld wordt. De kwaliteit van een toets wordt vastgesteld op basis van studentevaluaties.

Gelijk aan huidige situatie maar met een toenemend gebruik van de kwaliteitsstandaarden en een meer structurele evaluatie door ook de excie en toetscie.


De toets en de toetsitems worden geëvalueerd als onderdeel van de kwaliteitscyclus: er zijn doelen/standaarden geformuleerd, de toetsen en toetsitems worden ontworpen en afgenomen en de doelen/standaarden worden geëvalueerd. De schriftelijke toetsen worden geëvalueerd en er worden analyses gemaakt.

Gelijk aan huidige situatie met in de analyses meer aandacht voor andere vormen van toetsing


38

Kwaliteit van toetsbekwaamheid van betrokkenen



Toetsexpertise wordt collectief ontwikkeld op basis van de visie die er op organisatieniveau is over goed toetsen. Toetsexpertise wordt ingezet op basis van een middellange termijn visie op kwaliteit van toetsen (Hoe zetten we toetsexpertise zo in dat de kwaliteit van toetsing binnen de opleiding is geborgd?)

Gelijk aan huidige situatie


Toetsexpertise wordt vastgesteld door feedback van toetscommissie, programmacie en ontwikkelgroepen op basis van duidelijke criteria.

Toetsexpertise wordt op collectief niveau vastgesteld ontwikkeld op basis van de visie die er op organisatieniveau is over goed toetsen.


De keuze van scholing wordt bepaald op basis van de hiaten in toetsexpertise van het individu. Professionalisering vindt plaats op basis van een middellange termijn met structurele scholing op individueel collectief niveau (bijvoorbeeld BKO).

Gelijk aan huidige situatie waarbij toetsexpertise één keer per jaar intern in het R&O gesprek wordt vastgesteld door de leidinggevende op individueel niveau.




Het ontwerp, uitvoering en de evaluatie van toetsen wordt voor een studiejaar georganiseerd op basis van het geformuleerde toetsbeleid (bijvoorbeeld het maken van toetsroosters, het bekend maken van toetsresultaten en het vormgeven van toetsen). Rollen, taken en verantwoordelijkheden van de examen- en toetscommissie zijn expliciet benoemd en vastgesteld door het management en deze organen opereren conform deze rollen, taken en verantwoordelijkheden. Er zijn afspraken op welke wijze docenten de examen- en toetscommissie kunnen benaderen. Toetsresultaten worden gearchiveerd volgens een systematische aanpak.

Gelijk aan huidige situatie waarbij het archiveren van de toetsen zelf beter kan.


De kwaliteit van de toetsorganisatie wordt geanalyseerd op basis van criteria als haalbaarheid en kosten in relatie tot de doelen zoals die zijn verwoord in het toetsbeleid. De toetsorganisatie wordt bijgesteld op basis van nieuwe wetenschappelijke en maatschappelijke inzichten bijv. via de UU.

Gelijk aan huidige situatie met toegevoegd dat toetsen examencommissies externen vragen hun functioneren van feedback te voorzien om zo de kwaliteit van hun taken en verantwoordelijkheden te kunnen borgen.


De toetsorganisatie wordt geëvalueerd als onderdeel van kwaliteitszorg: doelen vaststellen, toetsorganisatie ontwerpen, evalueren en verbeteren. Er wordt een vergelijking gemaakt tussen de uitkomsten en de gestelde doelen.



Kwaliteitsborging van toetsing en beoordeling - tauu.uu.nl · Toelichting standaard 3: Het...

Documents

Transcript of Kwaliteitsborging van toetsing en beoordeling - tauu.uu.nl · Toelichting standaard 3: Het...