KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool...

12
Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht onderwijs (KIT) www.kwaliteit-toetsprogramma.nl Docentversie, januari 2013. In dit document staan de kwaliteitscriteria met onderliggende indicatoren, zoals die ook in het zelfevaluatie- instrument op de website (ww.kwaliteit-toetsprogramma.nl) te vinden zijn. Voor het aanvragen van accounts voor het zelfevaluatie- instrument: stuur een mailtje aan [email protected] Voor meer informatie en verwijzingen: Baartman, L.K.J., Kloppenburg, R., & Prins, F.J. (2013). Kwaliteit van toetsprogramma’s. In: H. van Berkel, A. Bax, & D. Joosten-ten Brinke (red.), Toetsen in het Hoger Onderwijs, pp. 51-62. Houten: Bohn Stafleu van Loghum. Kwaliteitscategorie Kwaliteitscriterium Validiteit Operationalisatie= Het toetsprogramma is op een duidelijke en juiste wijze afgeleid van de opleidingskwalificaties Indicatoren Score Waar blijkt dit uit? 1. De opleidingskwalificaties zijn helder omschreven, uitgewerkt en afgebakend. 1 2 3 4 5 6 7 8 9 10 2. De opleidingskwalificaties zijn duidelijk uitgewerkt in toetsbare leerdoelen per cursus en alle cursussen dragen bij aan het ontwikkelen van de opleidingskwalificaties. 1 2 3 4 5 6 7 8 9 10 3. De leerdoelen per cursus zijn duidelijk uitgewerkt in leeractiviteiten en beoordelingscriteria. 1 2 3 4 5 6 7 8 9 10

Transcript of KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool...

Page 1: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

KwaliteitsInstrument Toetsprogramma’s in beroepsgericht onderwijs (KIT)

www.kwaliteit-toetsprogramma.nl

Docentversie, januari 2013. In dit document staan de kwaliteitscriteria met onderliggende indicatoren, zoals die ook in het zelfevaluatie-

instrument op de website (ww.kwaliteit-toetsprogramma.nl) te vinden zijn. Voor het aanvragen van accounts voor het zelfevaluatie-

instrument: stuur een mailtje aan [email protected]

Voor meer informatie en verwijzingen: Baartman, L.K.J., Kloppenburg, R., & Prins, F.J. (2013). Kwaliteit van toetsprogramma’s. In: H. van

Berkel, A. Bax, & D. Joosten-ten Brinke (red.), Toetsen in het Hoger Onderwijs, pp. 51-62. Houten: Bohn Stafleu van Loghum.

Kwaliteitscategorie Kwaliteitscriterium

Validiteit Operationalisatie= Het toetsprogramma is op een duidelijke en juiste wijze afgeleid van de opleidingskwalificaties

Indicatoren Score Waar blijkt dit uit?

1. De opleidingskwalificaties zijn helder omschreven, uitgewerkt en afgebakend.

1 2 3 4 5 6 7 8 9 10

2. De opleidingskwalificaties zijn duidelijk uitgewerkt in toetsbare leerdoelen per cursus en alle cursussen dragen bij aan het ontwikkelen van de opleidingskwalificaties.

1 2 3 4 5 6 7 8 9 10

3. De leerdoelen per cursus zijn duidelijk uitgewerkt in leeractiviteiten en beoordelingscriteria.

1 2 3 4 5 6 7 8 9 10

Page 2: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Validiteit Dekking = De inhoud van het toetsprogramma is een goede afspiegeling van de opleidingskwalificaties en aspecten daarvan.

Indicatoren Score Waar blijkt dit uit?

1. Alle opleidingskwalificaties en aspecten daarvan worden beoordeeld in het toetsprogramma.

1 2 3 4 5 6 7 8 9 10

2. Het toetsprogramma bevat een evenwichtige verdeling van kennis, (beroeps)vaardigheden en professionele houding.

3. In het toetsprogramma wordt het integratief inzetten van kennis, vaardigheden en houdingen in complexe beroepssituaties beoordeeld.

1 2 3 4 5 6 7 8 9 10

Page 3: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Validiteit Complexiteit = Het toetsprogramma is van het juiste niveau, passend bij de fase van de opleiding.

Indicatoren Score Waar blijkt dit uit?

1. Het toetsprogramma vereist een toenemend niveau van kennis, vaardigheden en houdingen.

1 2 3 4 5 6 7 8 9 10

2. Het toetsprogramma kent een opbouw in de vereiste zelfstandigheid van de student en de ontwikkeling van het lerend vermogen.

3. De normering in het toetsprogramma sluit aan bij het vereiste beheersingsniveau, passend bij de (afstudeer)fase van de opleiding.

1 2 3 4 5 6 7 8 9 10

Page 4: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Validiteit Vorm = De toetsvormen in het toetsprogramma passen bij de te beoordelen inhoud en de beoogde leerprocessen.

Indicatoren Score Waar blijkt dit uit?

1. In het toetsprogramma is voldoende variatie in toetsvormen.

1 2 3 4 5 6 7 8 9 10

2. De toetsvormen in het toetsprogramma passen bij de opleidingskwalificaties en de verdeling tussen kennis, vaardigheden en professionele houding daarbinnen.

1 2 3 4 5 6 7 8 9 10

3. De toetsvormen in het toetsprogramma passen bij de beoogde leerprocessen van de verschillende cursussen.

1 2 3 4 5 6 7 8 9 10

Page 5: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Betrouwbaarheid Vergelijkbaarheid = De toetsuitslagen van studenten in het toetsprogramma zijn (zoveel mogelijk) vergelijkbaar doordat ze onafhankelijk zin van verschillen tussen beoordelaars en omstandigheden

Indicatoren Score Waar blijkt dit uit?

1. Voor alle toetsen zijn de beoordelingscriteria en normering vastgelegd en voor alle studenten gelijk.

1 2 3 4 5 6 7 8 9 10

2. Voor alle toetsen geldt dat de verschillende beoordelaars de beoordelingscriteria en normering op gelijke wijze hanteren.

1 2 3 4 5 6 7 8 9 10

3. Voor alle toetsen geldt dat de beoordelaars zich niet laten beïnvloeden door irrelevante verschillen tussen studenten.

1 2 3 4 5 6 7 8 9 10

4. De toetsomstandigheden zowel binnen- als buitenschools zijn voor alle studenten vergelijkbaar qua ondersteuning en complexiteit van omstandigheden.

1 2 3 4 5 6 7 8 9 10

5. Toetsresultaten worden geanalyseerd op mogelijke ongewenste afwijkingen tussen verschillende beoordelaars en indien nodig wordt actie ondernomen om dit te verminderen.

1 2 3 4 5 6 7 8 9 10

Page 6: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Betrouwbaarheid Triangulatie = Het toetsprogramma levert voldoende rijkheid aan informatie op om een betrouwbaar oordeel te kunnen vellen

Indicatoren Score Waar blijkt dit uit?

1. Voor elk (cluster van) opleidingskwalificaties wordt rijkheid aan informatie over de student gecreëerd door verschillende toetsvormen en/of verschillende soorten bewijzen.

1 2 3 4 5 6 7 8 9 10

2. Voor elk (cluster van) opleidingskwalificaties wordt rijkheid aan informatie over de student gecreëerd door toetsen in verschillende contexten (binnenschools / buitenschools)

1 2 3 4 5 6 7 8 9 10

3. Voor elk (cluster van) opleidingskwalificaties wordt rijkheid aan informatie over de student gecreëerd door input van meerdere verschillende beoordelaars (docenten / stagebegeleiders / studenten)

1 2 3 4 5 6 7 8 9 10

4. Bij toetsmomenten waarbij veel op het spel staat (bijvoorbeeld eindwerkstuk of integraal eindoordeel) worden twee of meer beoordelaars betrokken

1 2 3 4 5 6 7 8 9 10

5. Deze beoordelaars overleggen om tot een eindoordeel te komen en hebben elk een volwaardige inbreng in het overleg en oordeel

1 2 3 4 5 6 7 8 9 10

6. Dit oordeel is gebaseerd op een passende weging van alle kwalitatieve en kwantitatieve informatie over de student.

1 2 3 4 5 6 7 8 9 10

Page 7: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Functies Selectie = Op basis van het toetsprogramma kunnen studenten worden onderscheiden en geselecteerd op hun beheersing van de opleidingskwalificaties.

Indicatoren Score Waar blijkt dit uit?

1. Op basis van het toetsprogramma worden in de beginfase van de opleiding studenten geselecteerd voor het wel of niet vervolgen van de opleiding.

1 2 3 4 5 6 7 8 9 10

2. Op basis van het toetsprogramma worden studenten geselecteerd op geschiktheid voor de uitoefening van het beroep (aan het eind van de opleiding).

1 2 3 4 5 6 7 8 9 10

3. Op basis van het toetsprogramma kunnen excellente prestaties van studenten worden vastgesteld.

1 2 3 4 5 6 7 8 9 10

Page 8: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Functies Leereffect = Het toetsprogramma heeft een wenselijk effect op het leerproces van de student en het leerproces en toetsproces zijn met elkaar verweven.

Indicatoren Score Waar blijkt dit uit?

1. De combinatie van toetsen stimuleert de gewenste leerprocessen.

1 2 3 4 5 6 7 8 9 10

2. De toetsen geven de student rijke feedback over de geleverde prestaties.

1 2 3 4 5 6 7 8 9 10

3. Studenten ervaren het uitvoeren van de toetsen als een waardevol leermoment.

1 2 3 4 5 6 7 8 9 10

4. De toetsen zetten de studenten aan tot nadenken over hun eigen ontwikkeling en stimuleren het zelfstandig ontwikkelvermogen van studenten.

1 2 3 4 5 6 7 8 9 10

5. Studenten worden actief betrokken bij de toetsing van de kwaliteit van hun eigen werk en dat van anderen (bijvoorbeeld door peer- en zelfassessment), zodat ze hun eigen kennen en kunnen correct leren inschatten.

1 2 3 4 5 6 7 8 9 10

Page 9: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Functies Onderwijseffect = Het toetsprogramma geeft rijke feedback over het ermee samenhangende onderwijs.

Indicatoren Score Waar blijkt dit uit?

1. De toetsen in het toetsprogramma geven rijke informatie aan de docenten over het huidige niveau van de studenten.

1 2 3 4 5 6 7 8 9 10

2. De toetsen in het toetsprogramma geven rijke informatie aan de docenten over de kwaliteit van het gegeven onderwijs.

1 2 3 4 5 6 7 8 9 10

3. Deze informatie wordt gebruikt om het onderwijs en de toetsing te verbeteren.

1 2 3 4 5 6 7 8 9 10

Page 10: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Condities Transparantie = De informatie over de toetsen in het toetsprogramma is duidelijk en begrijpelijk.

Indicatoren Score Waar blijkt dit uit?

1. De opleidingskwalificaties zijn bekend bij en herkenbaar voor studenten en beoordelaars.

1 2 3 4 5 6 7 8 9 10

2. De beoordelingscriteria en normering zijn bekend bij en herkenbaar voor studenten en beoordelaars.

1 2 3 4 5 6 7 8 9 10

3. Voorafgaand aan alle toetsen wordt een duidelijke instructie gegeven aan studenten en beoordelaars. Zij weten op tijd wat er van hen wordt verwacht bij de verschillende toetsvormen.

1 2 3 4 5 6 7 8 9 10

4. Voor studenten is inzichtelijk hoe een oordeel tot stand is gekomen.

1 2 3 4 5 6 7 8 9 10

Page 11: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Condities Oordeelkundigheid = De beoordelaars beschikken over voldoende kennis en vaardigheden over de toetsinhoud, de manier van toetsen en het geven van feedback.

Indicatoren Score Waar blijkt dit uit?

1. De beoordelaars beschikken over voldoende kennis en vaardigheden over de toetsinhoud, beoordelingscriteria en normering.

1 2 3 4 5 6 7 8 9 10

2. De beoordelaars beschikken over voldoende kennis en vaardigheden over de beroepspraktijk waarop de toetsing van toepassing is.

1 2 3 4 5 6 7 8 9 10

3. De beoordelaars beschikken over voldoende kennis en vaardigheden over de verschillende toetsvormen.

1 2 3 4 5 6 7 8 9 10

4. De beoordelaars beschikken over voldoende kennis en vaardigheden over het geven van feedback aan studenten en het evalueren van gegeven onderwijs op basis van de toetsuitslagen.

1 2 3 4 5 6 7 8 9 10

5. De beoordelaars beschikken over voldoende kennis en vaardigheden over wettelijke en ethische aspecten van het beoordelen van studenten.

1 2 3 4 5 6 7 8 9 10

Page 12: KwaliteitsInstrument Toetsprogramma’s in …...Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013 KwaliteitsInstrument Toetsprogramma’s in beroepsgericht

Liesbeth Baartman & Raymond Kloppenburg, Hogeschool Utrecht, januari 2013

Kwaliteitscategorie Kwaliteitscriterium

Condities Organisatie = Het toetsprogramma is efficiënt en effectief georganiseerd.

Indicatoren Score Waar blijkt dit uit?

1. Het toetsprogramma is in overeenstemming met de beschikbare tijd en kosten voor ontwikkeling en uitvoering.

1 2 3 4 5 6 7 8 9 10

2. Studenten hebben voldoende tijd voor het uitvoeren van de toetsen.

1 2 3 4 5 6 7 8 9 10

3. De aan de docent toegekende tijd is voldoende om tot een zorgvuldige beoordeling te komen.

1 2 3 4 5 6 7 8 9 10

4. De toetsuitslagen worden binnen de vastgestelde termijn bekend gemaakt.

1 2 3 4 5 6 7 8 9 10

5. Er zijn voldoende herkansingsmogelijkheden voor studenten.

1 2 3 4 5 6 7 8 9 10

6. De opleiding beschikt over een klachtenprocedure die bekend is bij docenten en studenten.

1 2 3 4 5 6 7 8 9 10

7. De voor de toetsing vereiste voorzieningen zijn voldoende aanwezig.

1 2 3 4 5 6 7 8 9 10