Inspiratiesessie deelname onderzoekspilot

Inspiratiesessie deelname onderzoekspilot:Implementatie van het protocol Beoordelen is mensenwerk. Verbeteren en Verantwoorden van afstuderen in het HBO

Dr. Daan Andriessen, Lector Methodologie van Praktijkgericht Onderzoek, Hogeschool UtrechtDr. Dominique Sluijsmans, Lector Professioneel Beoordelen, Zuyd Hogeschool

Agenda

• Kennismaking• Toelichting Beoordelen is mensenwerk• Toelichting Pilot Protocol Afstuderen• Vragen

KENNISMAKING

Kennismaking deelnemers:

• Wie bent u?• Welke opleiding / hogeschool

vertegenwoordigt u?• Waarom bent u er vandaag bij?

Doelstellingen Pilot Protocol Afstuderen

• Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt

• Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord

• Pilotopleidingen kunnen het afstudeerprogramma volgens het protocol ontwikkelen en implementeren

• Er is kennis ontwikkeld over de toepassing van participatief ontwerpgericht onderzoek in het hbo

TOELICHTING BEOORDELEN IS MENSENWERK

Vreemde Ogen Dwingen, 2012

• Voordelen landelijk examen wegen niet op tegen nadelen

• Overgenomen aanbevelingen:– Externe validering van toetsen via

pilots met gemeenschappelijk toetsen– Externe validering via certificering van

examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE)

– Duurzame kennisuitwisseling– Externe validering van

eindwerkstukken door een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken

Opdracht Expertgroep Protocol

• “Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen”

Samenstelling Expertgroep Protocol

Afstudeerprogramma

Prestatie(s)

moet blijken uitBeroeps-bekwaamheid

Eindkwalificaties

verwoord in

Principes van afstuderen

Prestaties in het hbo zijn beroepsproducten

1. Advies 2. Ontwerp 3. Eindproduct 4. Handeling 5. OnderzoekMogelijke oplossing of een plan

Verbeelding van een eindproduct

Fysiek of digitale uitwerking van een ontwerp

Professioneel gedrag naar cliënt of publiek

Antwoorden en conclusies

Organisatie-advies

Pedagogisch advies

Financieel advies

Bouwontwerp Technisch

ontwerp Bestemmingspl

an Ondernemings-

plan

Schilderij ICT applicatie Apparaat Film Journalistieke

tekst

Les geven Voorstelling

uitvoeren Hulpverlene

n Verplegen Therapie

geven Leiding

geven Onderneme

n

Archeologisch rapport

Laboratorium rapport

Forensisch rapport

Naar Losse (2012)Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid?

Afstudeerprogramma

Beroeps-opdracht

(en)

leiden totPrestatie(s)

moet blijken uitBeroeps-bekwaamheid

Eindkwalificaties

verwoord in


Beroepsopdrachten in het hbo zijn zoveel mogelijk:

• Authentiek:– Authentieke taak– Authentieke omstandigheden

• Representatief:– Complexiteit (cognitief en context)– Zelfstandigheid

Afstudeerprogramma

Beroeps-opdracht

(en)


moet blijken uit

Examina-toren

beoordeeld door

Beroeps-bekwaamheid

Eindkwalificaties

verwoord in


Examinator is deskundig• Examinator is deskundig op:

– De te beoordelen bekwaamheid– Het beoordelingsproces

• Beoordelen is mensenwerk!

Afstudeerprogramma

Beroeps-opdracht

(en)


moet blijken uit

Examina-toren

beoordeeld door

Beroeps-bekwaamheid

Eindkwalificaties

verwoord in

Beoordelings-model(len)

Prestatie-criteria en

beoordelings-schalen

geoperationaliseerd in

helpen de


Beoordelingsmodel ondersteunt de examinator

• Beoordelingsmodel helpt bij beoordelen van:– Kwaliteit beroepsproduct– Kwaliteit verantwoordingsverslag– Kwaliteit van het proces

• Beoordelingsmodel bevat:– Prestatiecriteria– Beoordelingsschalen– Beslisregels

• Beoordelingsmodel is:– Valide– Inzichtelijk– En draagt bij aan betrouwbaarheid

beoordeling

Afstudeerprogramma

Beroeps-opdracht

(en)


moet blijken uitlei

dt to

t con

clusie

over

Examina-toren

beoordeeld door

Beroeps-bekwaamheid

Eindkwalificaties

verwoord in

Beoordelingsmodel(len)

Prestatie-criteria en

beoordelings-schalen

geoperationaliseerd in

helpen de


Beslissings-procedure(s)

bepalen scores

Doel van het protocol

• Opleidingen in het hbo helpen om samen te werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn.

– Duidelijkheid scheppen over terminologie en inrichting van het afstuderen.

– Een kader scheppen voor gezamenlijk leren en verbeteren.

– Een kader scheppen voor borging en verantwoording.

Vraag

• Welke van de volgende 12 vragen uit het protocol vindt u het moeilijkste te beantwoorden?

Inhoud van het protocol (1)

• Eindkwalificaties1. Weerspiegelen de eindkwalificaties

van de opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau?

2. Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties?

3. Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt?


• Beroepsopdrachten4. Zijn de beroepsopdrachten die

studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties?

5. Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan?


• Beoordeling6. Waarborgt de opleiding dat elke examinator

bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen?

7. Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren?

8. Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren?

9. Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling?


• Randvoorwaarden10.Zorgt de opleiding ervoor dat het

afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden?

• Verantwoording en ontwikkeling kwaliteit11.Geeft de opleiding invulling aan het

‘vreemde ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen?

12.Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten?

Onderzoekend vermogen aanleren

• 2009: HBO raad (2009) “Kwaliteit als opdracht”:“In onze moderne samenleving is het cruciaal dat hbo-bachelors over een onderzoekend vermogen beschikken dat leidt tot reflectie, tot evidence based practice, en tot innovatie”.

Expertgroep Protocol (2014):

• Reflectie: dit betreft het terugkijken op het eigen handelen in de beroepspraktijk, signaleren wat er niet goed ging, dat proberen te verklaren vanuit de kennisbasis en in diezelfde kennisbasis ook de uitgangspunten vinden voor een betere aanpak;

• Evidence-based practice: dit betreft het gebruiken van de kennisbasis om de juiste handelingen te kiezen;

• Innovatie: dit betreft het ontwikkelen van nieuwe handelingen om de beroepspraktijk te verbeteren.

VERANTWOORDEN

ONDERBOUWEN

VERNIEUWEN

Onderzoekend vermogen =

• Onderzoekend houdingZie bijvoorbeeld Bruggink & Harinck 2012

Bruggink & Harinck 2012

1. Nieuwsgierig zijn / Willen weten / Je dingen afvragen

2. Een open houding / Op zoek naar eigen vooronderstellingen / Oordeel kunnen uitstellen

3. Kritisch zijn: is het wel zo? / Zaken in twijfel trekken

4. Willen begrijpen / Tot inzicht willen komen / Willen doorgronden

5. Bereid zijn tot perspectiefwisseling6. Distantie nemen van routines / Vraagtekens bij

het vanzelfsprekende / Gebaande paden durven verlaten / Eigen richting durven kiezen

7. Gerichtheid op bronnen / Willen voortbouwen op eerdere opvattingen en ideeën

8. Gerichtheid op zeker weten / Goede bronnen willen gebruiken / Nauwkeurig willen zijn

9. Willen delen met anderen / Onderdeel willen zijn van leergemeenschappen.

Onderzoekend vermogen =

• Onderzoekend houding(Zie bijvoorbeeld Bruggink & Harinck 2012)

• Onderzoeksresultaten van anderen toepassen

• Onderzoek doen

30

Een definitie van onderzoek doen

• Onderzoek doen is het methodisch beantwoorden van vragen dat leidt tot relevante kennis.

OV ondersteunt beroepsproduct

1. Advies 2. Ontwerp 3. Eindproduct 4. Handeling 5. OnderzoekMogelijke oplossing of een plan

Verbeelding van een eindproduct

Fysiek of digitale uitwerking van een ontwerp

Professioneel gedrag naar cliënt of publiek

Antwoorden en conclusies

Organisatie-advies

Pedagogisch advies

Financieel advies

Bouwontwerp Technisch

ontwerp Bestemmingspl

an Ondernemings-

plan

Schilderij ICT applicatie Apparaat Film Journalistieke

tekst

Les geven Voorstelling

uitvoeren Hulpverlene

n Verplegen Therapie

geven Leiding

geven Onderneme

n

Archeologisch rapport

Laboratorium rapport

Forensisch rapport

Naar Losse (2012)Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid?

Probleem-stelling Diagnose Plan Ingreep Evaluatie

Methodisch werken

Onderzoeken

Onderzoekscyclus

Probleem-verkennend onderzoek

V A

Onderzoekscyclus

Diagnostischonderzoek

V A

Onderzoekscyclus

Ontwerp-onderzoek

V A

Onderzoekscyclus

Monitoringonderzoek

V A

Onderzoekscyclus

Evaluatie-onderzoek

V A

Naar Leen (2012)

OV ondersteunt het beroepsproduct

Drie niveaus van onderzoekend vermogen

Naar Butter (2013)

Methodische grondigheid (MG)

Praktische relevantie (PR)

Drie niveaus van onderzoekend vermogen

Methodische grondigheid

Praktische relevantie

Bescheiden Diepgaander Uitgebreid

Relevant voor de situatie / opdrachtgever

BA

Relevant voor het vakgebied MA

Relevant voor wetenschap en maatschappij

PhD

Naar Butter (2013)

Methodische grondigheid (MG)Praktische relevantie (PR)

Opleiding bepaalt zelf het niveau

Bescheiden Diepgaander Uitgebreid

Gebruik literatuur

Bewijskracht (Van Yperen, in

press)

Generalisatie

Body of Knowledge

Vakliteratuur vs Wetenschappelijke literatuurNederlands vs Engels

Theoretisch, Indicatief, Causaal

Geen, Beperkte groep, Grote groep

Vereiste kennis van onderzoeksdesigns en -methoden

Methodische grondigheid (MG)

TOELICHTING PILOT PROTOCOL AFSTUDEREN

Doelstellingen Pilot Protocol Afstuderen

• Er is kennis ontwikkeld over manieren om het protocol te implementeren en methodieken die daarvoor kunnen worden gebruikt

• Er is kennis ontwikkeld over de wijze waarop afstudeerprogramma’s van de pilotopleidingen zijn vormgegeven en de 12 vragen uit het protocol zijn beantwoord

• Pilotopleidingen kunnen het afstudeerprogramma volgens het protocol ontwikkelen en implementeren

• Er is kennis ontwikkeld over de toepassing van participatief ontwerpgericht onderzoek in het hbo

Vraagstellingen Pilot Protocol Afstuderen

• Wat hebben hbo-opleidingen nodig om het protocol afstuderen succesvol te kunnen implementeren?

• Op welke wijze worden de vragen uit het protocol beantwoord en tot welke (her) ontwerpen van het afstudeerprogramma leidt dat?

• Op welke wijze is participatief ontwerpgericht onderzoek mogelijk in het hbo dat zowel kennis oplevert als stimulerend werkt op de verandering?

Hoofdlijnen Pilot Protocol Afstuderen

Implementatiedeel• Pilotopleidingen

analyseren hun programma en stellen een diagnose

• Ontwerpen verbeteringen

• Implementeren verbeteringen

• Evalueren verbeteringen

Onderzoeksdeel• Pilotopleidingen

verzamelen onderzoekgegevens

• Vooraf over de context van implementatie

• Over de diagnosefase

• Over het verbeterplanfase

• Over de implementatie

• Over de evaluatie

Onderzoeksteam en Pilot teams

Onderzoeksteam• Daan Andriessen

(HU)• Mirjam Snel (HU)• Dominique

Sluijsmans (Zuyd)• Fleurie Nievelstein

(Zuyd)

Pilotteams• Eén projectleider• Eén onderzoeker• Aantal leden

(minimaal twee) dat betrokken is bij de afstudeerfase

• Het team is zelf eindverantwoordelijk voor het implementeren van het protocol en voor het aanleveren van de juiste gegevens aan het onderzoeksteam

Voorwaardelijke criteria

• Er kunnen maximaal 7 opleidingen deelnemen. Selectie gebeurt door VH

• Deelnemende opleidingen nemen deel aan het onderzoek van januari 2015 tot januari 2017

• Deelnemende opleidingen stellen zelf een pilot team samen

• Deelnemende opleidingen bekostigen zelf geïnvesteerde uren van de teamleden

• Het pilot team committeert aan:– actieve deelname aan een kick-off bijeenkomst

en vier uitwisselbijeenkomsten waarin deelnemende pilotopleidingen kennis uitwisselen

– het implementeren van het protocol en het aanleveren van onderzoeksgegevens aan het onderzoeksteam

• Er is commitment voor deelname van de leidinggevende

• Er is een voornemen om vreemde ogen mee te laten kijken op een van de niveaus uit tabel 3 van Beoordelen is mensenwerk

Selectiecriteria

• Een mix van opleidingen uit alle 7 domeinen

• Een mix qua regio• Een mix qua voornemen tot vreemde

ogen (niveau 2,3 en 4)• Mix in mate van volwassenheid van

afstudeerprogramma• Bij meerdere opleidingen van één

hogeschool in de top-7 volgt het verzoek aan het CvB om er één aan te wijzen

Buitenring

• Opleidingen die niet zijn geselecteerd kunnen deelnemen aan een buitenring.

• Deze opleidingen gaan zelf aan de slag met implementatie van het protocol

• Zij krijgen periodiek informatie uit de pilot

• Er is 3 x een bijeenkomst van alle leden van de buitenring voor het uitwisselen van ervaringen (eerste keer september 2015)

Aanmelden en Achtergrondinformatie

• Achtergrondinformatie en het aanmeldformulier via website Vereniging Hogescholen vanaf 4 december

• Het protocol Beoordelen is mensenwerk via website Vereniging Hogescholen

• Deadline van aanmelden is 23 januari• Bericht van selectie half februari• Kickoff bijeenkomst en

diagnosebijeenkomst: 3 maart 2015 Domstad, Utrecht

• Planbijeenkomst: 21 april 2015 Domstad, Utrecht

• Planning rest volgt

DISCUSSIE EN VRAGEN

Dank voor uw getoonde interesse!

• [email protected]• [email protected]

Inspiratiesessie deelname onderzoekspilot

Documents

Transcript of Inspiratiesessie deelname onderzoekspilot