Kalibreersessies HO

Congres NVE

23 november 2017

Marlies van Beek

Opzet workshop

Beoordelen beoordeeld

• Procedure en resultaten

• Opdracht beoordeling handtekenen

• Voorbeeld resultaten scriptie

• Vervolg procedure

Procedure kalibreersessies

• Onafhankelijk beoordelen van hetzelfde

werkstuk

• Vergelijking oordelen en toelichtingen

• Inventarisatie verbeterpunten

• Afspraken en aanpassingen

Resultaten

Betrouwbare beoordeling door:

• Afspraken over beoordeling

• Duidelijker documenten

• Gemeenschappelijk referentiekader

• Afspraken over begeleiding

Beoordelingsprocedure

• Onafhankelijk van elkaar beoordelen

• Oordelen vergelijken

• Bespreken oordelen

Beoordelingsopdracht

• Industrieel Product Ontwerpen

• Vijf tekeningen met de hand

Beoordeel de vijf tekeningen van de student

• onafhankelijk van elkaar

• op grond van het beoordelingsformulier.

Verbeterpunten

Formuleer drie verbeterpunten,

bijvoorbeeld over:

• de omschrijving van de criteria

• de opmaak en inhoud van het

beoordelingsformulier

• de beoordelingsprocedure

• beoordelingsinstructies

• de totstandkoming van het eindoordeel.

Oordelen set 2

Tekentechniek

Perspectief 4 6 7 7 5 7 7 7 7

3D suggesties 5 7 8 7 4 6 7 7 6

Vormconstr. 4 7 7 8 6 5 6 7 6

Vormvariatie 4 6 7 8 5 7 7 7 6

Lijnvoering 5 6 8 7 4 7 7 8 7

Effecten 6 6 7 6 4 5 7 7 4

Beroepshouding

Exper. Lust 6 6 7 6 4 8 7 6 6

Omgang og 6 6 7 6 4,5 8 6 7 6

Inzet/leercurve 6 5 7 4 4,5 8 6 7 6

eindcijfer 5 6 7 7 5 7 7 7 6

Conclusies

• Lijnvoering minste overeenstemming

(bij alle 5 sets tekeningen)

• Criteria over beroepshouding aanpassen

Verbeteringen

Uiteindelijk …

De student kan … Score

Rechte lijnen trekken 0 – 1

Met lijndiktes spelen 0 – 1

Perspectief opzetten 0 – 1

Kubussen en balken construeren 0 – 1

Ellipsen construeren 0 – 1

Cilinders en conussen construeren 0 – 1

Aanzichten in Amerikaanse projectie tekenen 0 – 1

Verhoudingen tekenen 0 – 1

…. 0 – 1

Totaal

Beoordelen beoordeeld

Voorbeeld resultaten scriptie

• Onafhankelijk beoordelen van hetzelfde

werkstuk

• Vergelijking oordelen en toelichtingen

• Inventarisatie verbeterpunten

• Afspraken en aanpassingen

Oordelen over scriptie

Vakkundigheid A B C D E

Kwaliteit van ...

probleemanalyse, onderzoeksvraag en deelvragen g t t v o

theoretisch kader t o t t t

onderzoek/ data-analyse v t t o o

beroepsproduct v t t o o/t

conclusie en aanbevelingen v t t o t

Schriftelijke communicatie

Kwaliteit rapportage g t t/v t o

Eindoordeel 60 5 40 4,5

Toelichtingen bij scriptie

onderzoeksmethoden en instrumenten

• Blijft op globaal niveau: interviews, desk research. Type

interview of research wordt niet concreet gemaakt, noch

verantwoord: wie is/zijn geïnterviewd, hoeveel mensen, met

welke vraagstellingen, hoe zijn de resultaten verzameld?

• Bij inventarisatie van de huidige situatie (deelvraag 1) wordt

de werkwijze niet vermeld;

• Naar sommige bijlagen wordt helemaal niet gerefereerd;

• In H6 wordt niet naar de interviews verwezen, die de basis

vormen van de vastgestelde requirements;

• Onderzoeksmethoden niet in hoofdverslag beschreven,

instrumenten ook niet.

Kwaliteit van onderzoek …

• De student beschrijft welke onderzoeksmethoden

en instrumenten gebruikt worden

• De gemaakte keuzes m.b.t. de uitvoering van het

onderzoek zijn verantwoord en onderbouwd

• De gehanteerde methoden en technieken zijn juist

gekozen en adequaat toegepast

Toelichting in beoordelingsformulier:

Per deelvraag beschrijft de student de selectie van

de correcte methode(n) en instrument(en),

inclusief een verantwoording/onderbouwing

Beoordelen beoordeeld

Vervolg procedure

Onafhankelijk beoordelen van hetzelfde

werkstuk

Vergelijking oordelen en toelichtingen

Inventarisatie verbeterpunten

Afspraken en aanpassingen

• En dan….?

Beoordelen beoordeeld

• Nogmaals onafhankelijk beoordelen van

ander werkstuk

• ‘Democratische’ beoordelingsstandaard =

gemeenschappelijke oordelen/toelichtingen

• Vergelijking toelichtingen met standaard

0

10

20

30

40

50

60

70

80

90

100

A B C D E F

Beoordelen beoordeeld

Procedure

Onafhankelijk beoordelen van hetzelfde

werkstuk

Vergelijking oordelen en toelichtingen

Inventarisatie verbeterpunten

Afspraken en aanpassingen

Beoordeling van oordelen en toelichtingen

Literatuur

• Bird & Yucel, 2013. Improving marker reliability of scientific

writing. Assessment & Evaluation in Higher Education.

• Andriessen e.a. Beoordelen is mensenwerk, 2014.

Eindrapport Expertgroep Protocol. Bijlage 6: Handreiking

kalibreersessies.

• Lampe & van Beek, 2015. Beoordelen beoordeeld.

Kalibreersessies in het HO Special Examencommissies

onderweg.

Dank voor uw aandacht

Marlies.vanbeek@cito.nl