Examinering in het hbo en de rol

van eindwerkstukken

Kennisplatform CITO

Breda

30 oktober 2014

Dr. Daan Andriessen Lector Methodologie van Praktijkgericht Onderzoek Hogeschool Utrecht

1. Aanleiding Expertgroep Protocol

Naar een alternatief voor landelijke examens

Motie Beertema (27/3/2012)

De Kamer, verzoekt de regering, per opleiding of

cluster van opleidingen samen met het bedrijfsleven

of betrokken werkveld kernvakken te laten vaststellen,

landelijke eindtermen te bepalen voor de

kenniscomponent van deze kernvakken en die te

examineren via landelijke toetsing die

onafhankelijk wordt geborgd,

en gaat over tot de orde van de dag.

Vreemde Ogen Dwingen

(mei 2012)

Voordelen landelijk examen wegen niet op tegen nadelen

Overgenomen aanbevelingen:

1. Externe validering van toetsen via pilots met

gemeenschappelijk toetsen

2. Externe validering via certificering van examinatoren

en opleiding van docenten door ontwikkeling van een

Basis- resp. Seniorkwalificatie examinering

(BKE/SKE).

3. Duurzame kennisuitwisseling

4. Externe validering van eindwerkstukken door een

gezamenlijk bottom-up opgesteld protocol bij

individuele eindscripties en bij qua niveau en

importantie vergelijkbare eindwerkstukken.

Opdracht Expertgroep Protocol

“Onderzoek de wenselijkheid en mogelijkheid van een

gezamenlijk, bottom-up opgesteld protocol of

protocollen voor het beoordelen van

(kern)werkstukken en adviseer over de wijze waarop

deze tot stand dienen te komen en aan welke

kwaliteitseisen deze dienen te voldoen”

Samenstelling Expertgroep

Protocol

•Daan Andriessen (voorzitter) Hogeschool Utrecht

•Petra Manders (secretaris) Saxion

•Dan Greve Hogeschool Utrecht

•Peter Hermans Cito / Artez

•Linda Jakobs Hogeschool Arnhem Nijmegen

•Lucie te Lintelo Hogeschool van Amsterdam

•Karin Neijenhuis Hogeschool Rotterdam

•Gerard Straetmans Cito / Saxion

2. Model voor examinering in het hbo

Afstuderen in het hbo is veel meer dan het schrijven van een

werkstuk

Afstudeerprogramma

Prestatie(s)

moet blijken uit Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Principes van afstuderen

Prestaties in het hbo zijn

beroepsproducten

1.

Advies 2.

Ontwerp 3.

Eindproduct 4.

Handeling 5.

Onderzoek Mogelijke

oplossing of een

plan

Verbeelding van

een eindproduct Fysiek of digitale

uitwerking van

een ontwerp

Professioneel

gedrag naar

cliënt of publiek

Antwoorden en

conclusies

• Organisatie-

advies

• Pedagogisch

advies

• Financieel

advies

• Bouwontwerp

• Bestemmingspl

an

• Ondernemingsp

lan

• Schilderij

• ICT applicatie

• Apparaat

• Film

• Journalistiek

tekst

• Les geven

• Voorstelling

geven

• Hulp verlenen

• Verplegen

• Therapie geven

• Leiding geven

• Ondernemen

• Archeologisch

rapport

• Laboratorium

rapport

• Forensisch

rapport

(Naar Losse, 2012)

Afstudeerprogramma

Beroeps-opdracht (en)

leiden tot Prestatie(s)

moet blijken uit Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Principes van afstuderen

Beroepsopdrachten in het hbo

zijn zoveel mogelijk:

Authentiek:

Authentieke taak

Authentieke omstandigheden

Representatief:

Complexiteit (cognitief en context)

Zelfstandigheid

Afstudeerprogramma

Beroeps-opdracht (en)

leiden tot Prestatie(s)

moet blijken uit

Examinatoren

beoordeeld door

Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Principes van afstuderen

Examinator is deskundig

Examinator is deskundig op:

De te beoordelen bekwaamheid

Het beoordelingsproces

Beoordelen is mensenwerk!

Afstudeerprogramma

Beroeps-opdracht (en)

leiden tot Prestatie(s)

moet blijken uit

Examinatoren

beoordeeld door

Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Beoordelingsmodel(len)

Prestatiecriteria en beoordelings-

schalen

geoperationaliseerd in

helpen de

Principes van afstuderen

Beoordelingsmodel

ondersteunt de examinator

Beoordelingsmodel helpt bij beoordelen van:

Kwaliteit beroepsproduct

Kwaliteit verantwoordingsverslag

Kwaliteit van het proces

Beoordelingsmodel bevat:

Prestatiecriteria

Beoordelingsschalen

Beslisregels

Beoordelingsmodel is:

Valide

Inzichtelijk

En draagt bij aan betrouwbaarheid beoordeling

Afstudeerprogramma

Beroeps-opdracht (en)

leiden tot Prestatie(s)

moet blijken uit

leid

t to

t co

nclusie o

ver

Examinatoren

beoordeeld door

Beroepsbekwaamheid

Eindkwalificaties

verwoord in

Beoordelingsmodel(len)

Prestatiecriteria en beoordelings-

schalen

geoperationaliseerd in

helpen de

Principes van afstuderen

Beslissings-procedure(s)

bepalen scores

3. Mogelijkheden tot protocoleren

Niet alles kan landelijk worden afgesproken

Vier niveaus in hbo

Niveau 1: Alle opleidingen van alle instellingen;

Niveau 2: Alle opleidingen met hetzelfde

opleidingprofiel / CROHO-nummer van alle

instellingen;

Niveau 3: Beperkt aantal opleidingen met hetzelfde

opleidingprofiel / CROHO-nummer die

onderwijsinhoudelijk overeenkomen;

Niveau 4: Binnen één instelling.

Mogelijk en wenselijk

Niveau 1: landelijk

Wel

Gestandaardiseerde

wijze van verslaglegging

over het afstudeer-

programma als geheel

Betekenis en

minimumeisen

Onderzoekend Vermogen

Niet

Eén beoordelingsmodel

voor afstudeerprestaties

Mogelijk en wenselijk

Niveau 2: per CROHO

Wel

Body of knowledge &

skills Onderzoekend

Vermogen

Gezamenlijk reviewen

van de afstudeer-

programma’s

Niet

Eén beoordelingsmodel

voor afstudeerprestaties

(tenzij de opleidingen

dezelfde eindkwalificaties

én afstudeerprogramma

hebben)

Mogelijk en wenselijk

Niveau 3: groep verwante opleidingen

Wel

Gezamenlijke invulling

van (delen van) het

afstuderen

Gezamenlijk

beoordelingsmodel per

afstudeerprestatie

Inzetten van waarnemers

en examinatoren

Gezamenlijk reviewen

van afstudeer-

programma’s

Niet

Mogelijk en wenselijk

Niveau 4: binnen één hogeschool

Wel

Reviewen van

afstudeerprogramma’s

door collega’s of het

werkveld

Niet

Gezamenlijk

beoordelingsmodel per

afstudeerprestatie

4. Protocol Verbeteren en

Verantwoorden van afstuderen in het

HBO

Protocol als middel voor systematische kwaliteitszorg en externe

validering van afstuderen

Doel van het protocol

Opleidingen in het hbo helpen samen werken aan het

valide, betrouwbaar en voor studenten inzichtelijk

toetsen van de beoogde eindkwalificaties, zoals

beoogd in standaard 3/16 van de NVAO en het

rapport ‘Vreemde ogen dwingen’ van de commissie

Bruijn.

1. Duidelijkheid scheppen over terminologie en

inrichting van het afstuderen.

2. Een kader scheppen voor gezamenlijk leren en

verbeteren.

3. Een kader scheppen voor borging en

verantwoording.

Opzet van het protocol

Een opsomming van 12 vragen over het afstudeer-

programma waar een opleiding een goed antwoord op

moet hebben om een goede beoordelings- en

beslissingskwaliteit in het afstuderen te garanderen.

In een verantwoording van het afstudeerprogramma

beschrijft en verantwoordt de opleiding de

antwoorden.

Vragen zijn afgeleid van

Standaard 1 en standaard 3/16 van de NVAO en

de relatie tussen beide

Theorie over toetsen

Eis van onderzoekend vermogen

Inhoud van het protocol (1)

Eindkwalificaties

1. Weerspiegelen de eindkwalificaties van de

opleiding zowel de eisen vanuit het werkveld als

de eisen aan het hbo-niveau?

2. Heeft de opleiding het vereiste niveau voor

onderzoekend vermogen beschreven in de

eindkwalificaties?

3. Toetst de opleiding alle eindkwalificaties in het

afstudeerprogramma en, indien het meerdere

afstudeeronderdelen betreft, is het duidelijk waar

wat getoetst wordt?

Inhoud van het protocol (2)

Beroepsopdrachten

4. Zijn de beroepsopdrachten die studenten

uitvoeren in het afstudeerprogramma geschikt

voor het aantonen van de te verwerven

eindkwalificaties?

5. Bewaakt de opleiding dat de complexiteit van de

beroepsopdrachten voor alle studenten dezelfde

is en dat er een vergelijkbare mate van

zelfstandigheid van hen verwacht wordt bij de

uitvoering hiervan?

Inhoud van het protocol (3)

Beoordeling

6. Waarborgt de opleiding dat elke examinator bekwaam

is om een onderbouwd oordeel van de prestaties van

studenten tot stand te brengen?

7. Bieden de gehanteerde beoordelingsmodellen

voldoende garantie op een valide, betrouwbare en

transparante beoordeling en zijn ze tegelijkertijd

werkbaar voor examinatoren?

8. Borgt de opleiding een gemeenschappelijke

interpretatie van de beoordelingsmodellen door de

examinatoren?

9. Is de beoordelingsprocedure voor alle betrokkenen

transparant en werkbaar en bevordert deze een zo

betrouwbaar mogelijke beoordeling?

Inhoud van het protocol (4)

Randvoorwaarden

10. Zorgt de opleiding ervoor dat het

afstudeerprogramma door alle betrokkenen binnen

de beschikbare tijd en mogelijkheden uitgevoerd

kan worden?

Verantwoording en ontwikkeling kwaliteit

11. Geeft de opleiding invulling aan het ‘vreemde

ogen’-principe om de kwaliteit van het

afstudeerprogramma aantoonbaar te bevorderen?

12. Overlegt de opleiding bij een visitatie bewijzen die

samen een transparant en representatief beeld

geven van het afstudeerprogramma en het

gerealiseerde eindniveau van studenten?

Pilots Protocol Afstuderen

Vereniging Hogescholen wil

implementatie stimuleren

9 mei 2014: Algemene Vergadering Vereniging

Hogescholen “biedt rapport ‘Beoordelen is

Mensenwerk’ ter inspiratie aan hogescholen aan.”

En spreekt af dat er zoveel mogelijk pilots worden

gehouden.

Januari 2015 tot december 2016 mogelijkheid aan

ongeveer 7 opleidingen als pilotopleiding te fungeren:

Beantwoorden 12 vragen

Ontwerpen verbeteringen

Implementeren verbeteringen

Evalueren ervaringen en effecten

Pilotopleidingen investeren en

ontvangen

Opzetten eigen projectgroep

met projectleider, leden en

onderzoeker

Aanleveren onderzoeksdata

en – verslagen t.b.v.

evaluatieonderzoek door

lectoraat Professioneel

Beoordelen (HS Zuyd) en

Methodologie van

Praktijkgericht Onderzoek

(HU)

Bijwonen 6 landelijke

bijeenkomsten met andere

pilotopleidingen t.b.v.

kennisuitwisseling en

ondersteuning.

Gebruik maken van

methoden & modellen

Gebruik maken van

vraagbaakfunctie lectoraten

Naast deze kopgroep kunnen

andere opleidingen ook

meeliften met de tussentijdse

bevindingen

Aanmelden voor pilotproject

3 inspiratiebijeenkomsten:

24 november (Stenden Leeuwarden)

25 november (Fontys Eindhoven)

3 december (HvA Amsterdam)

Opgeven via

http://www.vereniginghogescholen.nl/onderwijs/1516-

inspiratiebijeenkomsten-beoordelen-is-mensenwerk

Dank voor uw aandacht

Daan.andriessen@hu.nl

www.methodologie.hu.nl

@onderzoekcoach.nl

Bezoek de stand van het Lectoraat Methodologie van

Praktijkgericht Onderzoek

Doe de paradigmatest

Neem een exemplaar mee van mijn openbare les