Kwaliteit door een zelf regulerend proces, ondersteunend en motiverend

Stand van zaken

Utrecht 14 juni 2011

04/21/23 2

Inhoudsopgave

1. Achtergronden / toetshandboek2. Toetsconstructie3. Toetssyllabus4. Transparantie en kwaliteit5. Planning6. Beheerorganisatie

04/21/23 3

Achtergronden

• Pretest resultaten – zie nieuwsflits Lobo• Proces: KennisbasisToetshandboekItemsToets• Toetshandboek:

a. Toetsyllabus: is bedoeld voor docenten en studenten en beschrijft de inhoud van de toetsing van de kennisbasis en de wijze waarop er getoetst gaat worden.

b. Handleiding voor de item- en toetsconstructie: hierin is de constructieopdracht beschreven en zijn gedetailleerde richtlijnen voor de constructie opgenomen. Bestemd voor de redactiecommissie.

c. Toetsverantwoordingsdocument: de basis voor de beoordelingsanalyse van de toets. Bestemd voor de kwaliteitscommissie.

04/21/23 4

Per (sub)domein per leerdoel itemdatabase opbouwen

04/21/235

Kennisbasis

Toetsmatrijs

Handboek

Leerdoelen

Items Testen Revisie ok

Rapportage updaten

Item database

Toetssyllabus

• De toetssyllabus beschrijft de volgende onderdelen:– Het doel van de toets– De inhoud van de toets en de toetsmatrijs– De vorm van de toets– De beoordeling: scoring en cesuur– De uitslag– Herkansing– Inzageregeling– De afname

• De specificatietabel geeft feitelijk een beknopt overzicht van hoe de toets er uit moet zien om aan alle leerdoelen te beantwoorden.

04/21/23 6

Voorbeeld van de “500 matrijs”

04/21/23 7

Natuurkunde matrijs template

04/21/23 8

Transparant

Bij een transparante toets weten studenten voorafgaande aan de toets hoe en waarop zij beoordeeld worden. Dit moet daarom duidelijk van te voren aan studenten gecommuniceerd worden.

De redactie stelt samen met de opleidingen vast hoe de stof wordt getoetst en beoordeeld. Deze informatie wordt vervolgens aan de studenten gecommuniceerd via studiegidsen en andere bronnen.

Transparant toetsen betekent ondermeer dat studenten bekend zijn met de te beheersen stof en vaardigheden, waar mogelijk meerdere voorbeelden van (oude) toetsen met uitwerkingen kunnen inzien en weten op welke wijze de cesuur (voldoende/onvoldoende) wordt vastgesteld.

04/21/23 9

Betrouwbaarheid(1)

Betrouwbaarheid is de mate waarin een toets consistent meet. Iedere toets kent in principe foutenbronnen die de toetsuitslag

beïnvloeden. Het is zaak deze foutenbronnen zoveel mogelijk onder controle te houden om een adequaat oordeel uit te kunnen spreken. De betrouwbaarheid van een toets hangt af van de formulering van de vragen of opdrachten, gewenst zijn

a. vragen die niet voor onbedoelde interpretaties vatbaar zijnb. specifieke vragen, die alleen goed te beantwoorden zijn door

iemand die de stof beheerstc. toetslengte (het aantal vragen waaruit de toets bestaat moet

voldoende zijn om toevalstreffers te beperken)d. beoordelingscriteria en de beoordelingsmethode, beide

moeten van te voren zijn bepaalde. mate van objectiviteit bij de beoordeling, dit betreft de

verdedigbaarheid van het oordeelf. consistentie in de beoordelingen

04/21/23 10

Validiteit(1)

Validiteit is een belangrijke kwaliteitseis voor een toets (dekt de toets de leerdoelen), aangezien de opleiding aan de hand van beoordelingsgegevens uitspraken doet over de resultaten en het toekomstig functioneren van de studenten.

Valide toetsen rechtvaardigen de uitspraak dat de opleidingen meten of studenten de eindtermen ook daadwerkelijk verworven hebben. Bij validiteit speelt: a. de inhoud van de vragen (gaan de vragen over de leerdoelen), b. het gewenste niveau van de vragen (de moeilijkheidsgraad) en c. het aantal vragen per onderwerp een rol.

Een hulpmiddel om de validiteit van een toets te waarborgen is een specificatietabel of toetsmatrijs.

04/21/23 11

Planning

• Eerste concept toetssyllabus en handleiding voor de item- en toetsconstructie begin juli 2011.

• Eerste concept toetsverantwoordingsdocument september 2011.

• Definitieve documenten worden in het najaar voorgelegd aan de vakcommissies.

• Revisieplan itemproductie begin juli 2011• In cursusjaar 2011-2012 testen en pilots.• Oplevering goedgekeurde items (1000) in augustus 2012.

04/21/23 12

Beheerorganisatie

Toetsenbank Lerarenopleidingen• Vakcommissie + Kritische vrienden• Redactiecommissies • Kwaliteitscommissie • Functioneel beheerder • Bureau stichting toetsenbank• Bestuur

04/21/23 13