Post on 24-May-2015
De benutting van Peer Review resultaten
Willem de Ridder, ROC AventusAdrie Visscher, Universiteit Twente
Externe evaluatie Peers (kritische vrienden) Instelling
◦ Nodigt de Peers uit◦ Bepaalt de onderzoeksvragen
Relatie met Governance Europese samenwerking
Iets over Peer Review
22 september 2011 2Peer Review Impact
Mensbeelden en◦ Peer Reviewrapport◦ Inspectierapporten◦ Auditrapportages
High Trust en Low Trust
22 september 2011 3Peer Review Impact
Wat is bruikbare informatie?
Peer Review, een vooronderstelling!
Organisatiesuccessen
22 september 2011 4Peer Review Impact
Case studies Richtlijnen MBO Raad en Peer Review Inzet nationale deskundigen
Project Peer Review Impact
22 september 2011 5Peer Review Impact
What’s the problem?
22 september 2011 6Peer Review Impact
Huidige prestatieniveaus
Gewenste niveau (= doelen)
Weloverwogen route naar de doelen bepalen, én in de praktijk vormgeven.
De eenvoud van kwaliteitszorg
22 september 2011 7Peer Review Impact
Kwaliteitszorgcyclus
22 september 2011 8Peer Review Impact
beter onderwijs, en daardoor betere leerprestaties?
betere schoolorganisatie?
meer doelgericht?
te hoge belasting?
Effecten
22 september 2011 9Peer Review Impact
10
Uit het onderwijsverslag 2008/2009 van de Inspectie
In opbrengstgerichte scholen zijn de leerprestaties beter.
Helaas werkt nog maar éénderde van de basisscholen opbrengstgericht.
Vaak al wel evaluatie van leerlingprestaties, maar minder analyse en conclusies getrokken over welke verbeteracties nodig zijn, en het uitvoeren van die verbetermaatregelen.
Het ontbreken van precieze, meetbare doelen werkt hierbij als een handicap.
22 september 2011 10Peer Review Impact
“We gaan zo goed mogelijk ons best doen”.
“We willen zo hoog mogelijke scores behalen”.
“Het hele rekenboek uitkrijgen dit schooljaar”.
“Onze bottlenecks grondig analyseren”.
“Een nieuwe rekenmethode aanschaffen”.
“Hoge scores halen die passen bij ons soort leerlingen”.
Enkele voorbeelden van doelen
22 september 2011 11Peer Review Impact
De complexiteit van kwaliteitszorg
Ambitie en motivatie
Kennis en vaardigheden
Cultuur en discipline
Praktische organisatie
22 september 2011 12Peer Review Impact
Niet de productie, maar de benutting van evaluatieve informatie/feedback (intern/extern)
Doodzonde gezien de onbetwist positieve effecten van feedback (mits het tot leren leidt)
Effectgroottes: .41 - .79
De cruciale rol van feedback, bijv. via Peer Review
22 september 2011 13Peer Review Impact
De normaalverdeling
22 september 2011 14Peer Review Impact
de klas (perspectief: leerling – docent)
schoolleiding, samenwerking, schoolklimaat (perspectief: docent – schoolleiding)
leerprestaties
Liefst benchmarks
Feedback over bijvoorbeeld
22 september 2011 15Peer Review Impact
OORZAKEN VAN PRESTATIEVERSCHILLEN TUSSEN LEERLINGEN
studentendocenten thuis
22 september 2011 16Peer Review Impact
instrumenteel
conceptueel
strategisch
Vormen van gebruik van evaluaties
22 september 2011 17Peer Review Impact
Try harder
probleemdiagnose
verbeteringsacties bepalen (liefst incl. doelen)
verbeteringsacties doorvoeren
verbeteringsacties evalueren
Instrumenteel
22 september 2011 18Peer Review Impact
Geen verspreiding onder doelgroep Niet begrepen, geloofd Geen idee hoe zaken verbeterd kunnen
worden Tekortschietende vaardigheden,
competenties, middelen Controversiële veranderingen niet
geliefd
Benutting: belemmerende factoren
22 september 2011 19Peer Review Impact
Men zou er zo goed zijn voordeel mee kunnen doen!
22 september 2011 20Peer Review Impact
Onderzoek naar de condities waaronder Peer Review uitkomsten meer benut worden
Richtlijnen
Peer Review Impact project
22 september 2011 21Peer Review Impact
Management should take the VET provider’s overall strategy into account when choosing the quality areas to be evaluated (strengths and/or improvement areas can be identified).
involvement from all relevant parties in selection of quality areas, including management staff at all levels.
determine which topics and questions are suitable for the Peer Review and which topics and questions should be tackled using other instruments, or by special experts.
EXAMPLES OF GUIDELINES
22 september 2011 22Peer Review Impact
Make sure that the intended users have the authority and resources to act upon the results of the Peer Review or that they have the backing of those in authority.
EXAMPLES OF GUIDELINES
22 september 2011 23Peer Review Impact
The VET provider should have an internal follow-up procedure implemented as follows, for example:
Defining indicators and the target level for each indicator for monitoring the impact of improvement actions.
Clarifying who will be responsible for specific follow-up activities and when these will be carried out.
Preparing a follow-up report. Organising follow-up meetings. Putting follow-up activities on the agenda at
management meetings.
EXAMPLES OF GUIDELINES
22 september 2011 24Peer Review Impact
Preparation of the Peer Review should include determining how to monitor the signs (early warning indicators) indicating that things are not going as expected and therefore requiring corrective actions.
Make the Peer Review Report available to the intended users during the Peer Review process, promptly taking their needs and preferences into account (how much information they can process, and in what format).
EXAMPLES OF GUIDELINES
22 september 2011 25Peer Review Impact
Ensure that the intended users of Peer Review results (such as management, teachers and students) are clear from the start.
Ensure sufficient support and resources are available, especially when putting the action plan into practice.
EXAMPLES OF GUIDELINES
22 september 2011 26Peer Review Impact
Willem de Ridder, ROC Aventus, w.deridder@aventus.nl
Adrie Visscher, Universiteit Twente, A.J.Visscher@utwente.nl
Nadere toelichting/ advisering???
22 september 2011 27Peer Review Impact