Instrument screening kwaliteit van kennistoetsenKennisplatform HBO, den Bosch, 19 maart 2015

Jan AdemaKarin Gerritsen-van Leeuwenkamp

Inhoud

• Doel van het instrument;• Gebruikers;• Fasen in constructieproces;• Indeling van het instrument;• Evaluatie prototype 1en 2;• Het instrument (prototype 2).

Doel van het project

• Het ontwerpen van een praktisch en verantwoord digitaal instrument, waarmee de kwaliteit van de constructiefase van kennistoetsen kan worden beoordeeld.

• Aanbevelingen doen hoe het instrument gebruikt kan worden door examinatoren bij het aantonen van de competenties in het kader van de BKE/SKE.

Waarom nog zo’n ‘lijstje’?

• Sluit aan op streven naar externe validering (cie. Bruijn);

• Standaardisatie kwaliteitscontrole;

• Aandacht voor vakinhoudelijke kwaliteit van toetsen.

Gebruikers

De gebruikers kunnen zijn:• de toetsconstructeur;• collegiale screener (vakgenoot van de

constructeur);• leden van toetscommissies;• leden van curriculumcommissies; • leden van examencommissies.

Fasen in constructieproces Instrument

• Ontwerpmethode: Educational Design benadering

• Fase 1: het vooronderzoek– Literatuurstudie;– Inventarisatie algemene gegevens;– Oriëntatie op digitale vormgeving van het instrument;– Oriënterend gesprek met docenten.

• Fase 2: ontwerp prototype 1, formatieve evaluatie van de indicatoren.– Opstellen indicatoren;– Evaluatie indicatoren door toetsdeskundigen en docenten;– Verwerken feedback.

Fasen in constructieproces Instrument

• Fase 3: ontwikkelen prototype 2, pilot en evaluatie – Gebruik door docenten en toetscommissies in diverse

opleidingen (Saxion, Ipabo, Cito)– Berekenen beoordelaarsovereenstemming;– Verwerken feedback op inhoud en gebruik.

• Fase 4: vormgeven prototype 3 (instrument als app).– Toegankelijk via internet;– Advies voor gebruik;– Beheer instrument en database overdragen.

Unieke kenmerken van het instrument

• Rapportage op productniveau volgens de toetscyclus. (dus niet op niveau van validiteit, betrouwbaarheid, transparantie).

• Alle typen kennistoetsen met hetzelfde instrument gescreend en op dezelfde criteria gerapporteerd.

• Geen onbeantwoordbare vragen door eerst de beschikbare producten te inventariseren.

• Toelichting van toetstechnische termen. Daardoor ook voor ontwikkeling van kennis van screener geschikt.

• Steekproef uit de opgaven wordt beoordeeld.

Indeling instrument

• Deel 1: Algemene gegevens: van de toets, de screener, de constructeur.

• Deel 2: Beschikbaarheid van de te beoordelen producten.

• Deel 3: – Kwaliteitscriteria: sturingsinformatie EC en management.

– Hulpvragen bij de criteria: concrete verbeterpunten voor docent. Ruimte voor opmerkingen en feedback.

– Toelichting toetstechnische termen.

Evaluatie prototype 1door toetsdeskundigen en docenten

samenvatting feedback :• De lijst is compleet maar (te) lang;• Criteria zijn cruciaal, hulpvragen belangrijk;• Vakjargon geeft onduidelijkheid;• De indeling naar producten is duidelijk en

concreet;• Veel feedbackpunten worden maar 1x genoemd.

Evaluatie prototype 2 door toetscommissies en docenten

samenvatting feedback en ervaring (tot nu toe)• Screenen duurt 30 – 60 minuten• De lijst is compleet;• Ballonnetjes bij vakjargon geven duidelijkheid;

• Voorbeeldrapportage screening (zie volgende dia) wordt al ingezet ter verantwoording kwaliteit.

• Weet niet wordt regelmatig gebruikt (m.n. bij vakinhoudelijke vragen)

• Beide screeners hebben niet altijd dezelfde producten bij de hand.

Evaluatie prototype 2 door toetscommissies en docenten

Beoordeelde criteria:

1 De toetsmatrijs is correct opgesteld.

2 De opgaven zijn uitwerkingen van de leerdoelen en het cognitieve beheersingsniveau zoals vermeld

in de toetsmatrijs.

3 De (deel)opgaven bevatten een duidelijke opdracht.

4 De inleidende teksten, casussen of visueel materiaal zijn van goede kwaliteit.

5 Het beoordelingsmodel maakt een objectieve verwerking van de antwoorden tot scores mogelijk.

6 De alternatieven van de meerkeuze opgaven zijn effectief.

7 Het antwoord van de stelling opgaven is correct.

8 De alternatieven van de overige gesloten vragen zijn plausibel.

9 Het taalgebruik van de toets is correct en uniform.

10 De toets is zorgvuldig vormgegeven en samengesteld.

11 De scoring en de cesuur zijn methodisch verantwoord en helder.

12 De herkansing is een toets met andere opgaven maar van gelijkwaardig niveau.

13 De toets wordt veilig verspreid en bewaard.

14 Met de toets wordt vastgesteld of de student het toetsdoel bereikt heeft, zoals omschreven in het

examenprogramma of modulebeschrijving.

Evaluatie prototype 2 door toetscommissies en docenten

Beoordeelde criteria:

1 De toetsmatrijs is correct opgesteld.

2 De opgaven zijn uitwerkingen van de leerdoelen en het cognitieve beheersingsniveau zoals vermeld

in de toetsmatrijs.

3 De (deel)opgaven bevatten een duidelijke opdracht.

4 De inleidende teksten, casussen of visueel materiaal zijn van goede kwaliteit.

5 Het beoordelingsmodel maakt een objectieve verwerking van de antwoorden tot scores mogelijk.

6 De alternatieven van de meerkeuze opgaven zijn effectief.

7 Het antwoord van de stelling opgaven is correct.

8 De alternatieven van de overige gesloten vragen zijn plausibel.

9 Het taalgebruik van de toets is correct en uniform.

10 De toets is zorgvuldig vormgegeven en samengesteld.

11 De scoring en de cesuur zijn methodisch verantwoord en helder.

12 De herkansing is een toets met andere opgaven maar van gelijkwaardig niveau.

13 De toets wordt veilig verspreid en bewaard.

14 Met de toets wordt vastgesteld of de student het toetsdoel bereikt heeft, zoals omschreven in het

examenprogramma of modulebeschrijving.

Screenshots prototype 2

Screenshots prototype 2

Screenshots prototype 2

Screenshots prototype 2

Screenshots prototype 2