Beoordelen is mensenwerk

Mogelijkheden van gezamenlijke protocollen voor afstuderen in het hboAmersfoort19 juni 2014

Dr. Daan AndriessenLector Methodologie van Praktijkgericht OnderzoekHogeschool Utrecht

Agenda

1. Aanleiding Expertgroep Protocol2. Model voor examinering in het hbo3. Mogelijkheden tot protocoleren4. Protocol Verbeteren en Verantwoorden van

afstuderen in het HBO

1. Aanleiding Expertgroep Protocol

Naar een alternatief voor landelijke examens

Motie Beertema (27/3/2012)

n De Kamer, verzoekt de regering, per opleiding of cluster van opleidingen samen met het bedrijfsleven of betrokken werkveld kernvakken te laten vaststellen, landelijke eindtermen te bepalen voor de kenniscomponent van deze kernvakken en die te examineren via landelijke toetsing die onafhankelijk wordt geborgd,

n en gaat over tot de orde van de dag.

Vreemde Ogen Dwingen (mei 2012)

n Voordelen landelijk examen wegen niet op tegen nadelenn Overgenomen aanbevelingen:

1. Externe validering van toetsen via pilots met gemeenschappelijk toetsen

2. Externe validering via certificering van examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE).

3. Duurzame kennisuitwisseling4. Externe validering van eindwerkstukken door een

gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken.

Opdracht Expertgroep Protocol

n “Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen”

Samenstelling Expertgroep Protocol

•Daan Andriessen (voorzitter) Hogeschool Utrecht

•Petra Manders (secretaris) Saxion

•Dan Greve Hogeschool Utrecht

•Peter Hermans Cito / Artez

•Linda Jakobs Hogeschool Arnhem Nijmegen

•Lucie te Lintelo Hogeschool van Amsterdam

•Karin Neijenhuis Hogeschool Rotterdam

•Gerard Straetmans Cito / Saxion

2. Model voor examinering in het hbo

Afstuderen in het hbo is veel meer dan het schrijven van een werkstuk

Afstudeerprogramma

Prestatie(s)

moet blijken uitBeroepsbekwaamheid

Eindkwalificaties

verwoord in

Principes van afstuderen

Prestaties in het hbo zijn beroepsproducten

1. Advies

2. Ontwerp

3. Eindproduct

4. Handeling

5. Onderzoek

Mogelijke oplossing of een

plan

Verbeelding van een eindproduct

Fysiek of digitale uitwerking van een ontwerp

Professioneel gedrag naar

cliënt of publiek

Antwoorden en conclusies

• Organisatie advies

• Pedagogisch advies

• Financieel advies

• Bouwontwerp• Bestemmingsplan

• Ondernemingsplan

• Schilderij• ICT applicatie• Apparaat• Film• Journalistiek tekst

• Les geven• Voorstelling geven

• Hulp verlenen• Verplegen• Therapie geven• Leiding geven• Ondernemen

• Archeologisch rapport

• Laboratorium rapport

• Forensisch rapport

(Naar Losse, 2012)

Afstudeerprogramma

Beroeps-opdracht (en)

leiden totPrestatie(s)

moet blijken uitBeroepsbekwaamheid

Eindkwalificaties

verwoord in

Principes van afstuderen

Beroepsopdrachten in het hbo zijn zoveel mogelijk:

n Authentiek:n Authentieke taakn Authentieke omstandigheden

n Representatief:n Complexiteit (cognitief en context)n Zelfstandigheid

Afstudeerprogramma

Beroeps-opdracht (en)

leiden totPrestatie(s)

moet blijken uit

Examinatoren

beoordeeld door

Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Principes van afstuderen

Examinator is deskundig

n Examinator is deskundig op:n De te beoordelen bekwaamheidn Het beoordelingsproces

n Beoordelen is mensenwerk!

Afstudeerprogramma

Beroeps-opdracht (en)

leiden totPrestatie(s)

moet blijken uit

Examinatoren

beoordeeld door

Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Beoordelingsmodel(len)

Prestatiecriteria en beoordelings-

schalen

geoperationaliseerd in

helpen de

Principes van afstuderen

Beoordelingsmodel ondersteunt de examinator

n Beoordelingsmodel helpt bij beoordelen van:n Kwaliteit beroepsproductn Kwaliteit verantwoordingsverslagn Kwaliteit van het proces

n Beoordelingsmodel bevat:n Prestatiecriterian Beoordelingsschalenn Beslisregels

n Beoordelingsmodel is:n Validen Inzichtelijkn En draagt bij aan betrouwbaarheid beoordeling

Afstudeerprogramma

Beroeps-opdracht (en)

leiden totPrestatie(s)

moet blijken uit

leidt

tot c

onclu

sie ov

er

Examinatoren

beoordeeld door

Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Beoordelingsmodel(len)

Prestatiecriteria en beoordelings-

schalen

geoperationaliseerd in

helpen de

Principes van afstuderen

Beslissings-procedure(s)

bepalen scores

3. Mogelijkheden tot protocollerenNiet alles kan landelijk worden afgesproken

Vier niveaus in hbo

n Niveau 1: Alle opleidingen van alle instellingen;n Niveau 2: Alle opleidingen met hetzelfde

opleidingprofiel / CROHO-nummer van alle instellingen;

n Niveau 3: Beperkt aantal opleidingen met hetzelfde opleidingprofiel / CROHO-nummer die onderwijsinhoudelijk overeenkomen;

n Niveau 4: Binnen één instelling.

Mogelijk en wenselijkNiveau 1: landelijk

Weln Gestandaardiseerde

wijze van verslaglegging over het afstudeer-programma als geheel

n Betekenis en minimumeisen Onderzoekend Vermogen

Nietn Eén beoordelingsmodel

voor afstudeerprestaties

Mogelijk en wenselijkNiveau 2: per CROHO

Weln Body of knowledge &

skills Onderzoekend Vermogen

n Gezamenlijk reviewen van de afstudeer-programma’s

Nietn Eén beoordelingsmodel

voor afstudeerprestaties (tenzij de opleidingen dezelfde eindkwalificaties én afstudeerprogramma hebben)

Mogelijk en wenselijkNiveau 3: groep verwante opleidingen

Weln Gezamenlijke invulling

van (delen van) het afstuderen

n Gezamenlijk beoordelingsmodel per afstudeerprestatie

n Inzetten van waarnemers en examinatoren

n Gezamenlijk reviewen van afstudeer-programma’s

Niet

Mogelijk en wenselijkNiveau 4: binnen één hogeschool

Weln Reviewen van

afstudeerprogramma’s door collega’s of het werkveld

Nietn Gezamenlijk

beoordelingsmodel per afstudeerprestatie

4. Protocol Verbeteren en Verantwoorden van afstuderen in het HBO

Protocol als middel voor systematische kwaliteitszorg en externe validering van afstuderen

Doel van het protocol

n Opleidingen in het hbo helpen samen werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3/16 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn.

1. Duidelijkheid scheppen over terminologie en inrichting van het afstuderen.

2. Een kader scheppen voor gezamenlijk leren en verbeteren.

3. Een kader scheppen voor borging en verantwoording.

Opzet van het protocol

n Een opsomming van 12 vragen over het afstudeer-programma waar een opleiding een goed antwoord op moet hebben om een goede beoordelings- en beslissingskwaliteit in het afstuderen te garanderen.

n In een verantwoording van het afstudeerprogramma beschrijft en verantwoordt de opleiding de antwoorden.

n Vragen zijn afgeleid vann Standaard 1 en standaard 3/16 van de NVAO en

de relatie tussen beiden Theorie over toetsenn Eis van onderzoekend vermogen

Inhoud van het protocol (1)

n Eindkwalificaties1. Weerspiegelen de eindkwalificaties van de

opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau?

2. Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties?

3. Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt?

Inhoud van het protocol (2)

n Beroepsopdrachten4. Zijn de beroepsopdrachten die studenten

uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties?

5. Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan?

Inhoud van het protocol (3)n Beoordeling

6. Waarborgt de opleiding dat elke examinator bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen?

7. Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren?

8. Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren?

9. Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling?

Inhoud van het protocol (4)

n Randvoorwaarden10. Zorgt de opleiding ervoor dat het

afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden?

n Verantwoording en ontwikkeling kwaliteit11. Geeft de opleiding invulling aan het ‘vreemde

ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen?

12. Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten?

Dank voor uw aandacht

n Daan.andriessen@hu.nln www.methodologie.hu.nln @onderzoekcoach.nl