Samen aan het werk in sessie 6Focus op Evaluatie (kwaliteit leeromgeving)

Ilya Zitter Versie 6 februari 2014

Programma9:30 – 10:00Kort dag doornemenEindproduct en beoordeling

10:00 – 12:00Peer-reviewen: 4 rondes voor de lunch20 minuten per peer-review: 5 minuten presentatie en 15 minuten interactief peer-reviewenKies een kader:

Kwaliteitscriteria (Van den Akker & Thijs, 2009) Kwadranten van het model voor ontwerpen beroepsgerichte

leeromgevingen (Zitter, 2010)

12:00 – 13:00Samen lunchen

13:00 – 13:30Kennisintermezzo: Praktijkgericht onderzoek

Programma

13:30 – 15:30Peer-reviewen: 4 rondes na de lunch20 minuten per peer-review: 5 minuten presentatie en 15 minuten interactief peer-reviewenKies een kader (wel alle drie bij iedere peer-review):

Kwaliteitscriteria (Van den Akker & Thijs, 2009) Kwadranten van het model voor ontwerpen beroepsgerichte

leeromgevingen (Zitter, 2010)

15:30 – 16:00In duo’s: Maak een plan voor het afronden van (her)ontwerpproces en opleveren van de eindopdracht

16:00 – 16:30Laatste keer terug en vooruitblikken

Module Onderwijs Ontwerpen

Iteratief (her)ontwerpen van een leeromgeving (5 ECTS of veelvoud) voor eigen onderwijspraktijk centraal

In sessies 1, 3, 5 en 7 middels Leren op de werkplek/Zelfstudie ondersteund met HUbl

In sessies 2, 4 en 6 face-to-face Sessie 2 - kennismaken met ontwerpproces + focus op

analyse: simulatie hele ontwerpproces; analyseren van een goed voorbeeld, competentiegericht onderwijs in het hbo, gelaagdheid van een leeromgeving

Sessie 4 - focus ontwerp/ontwikkeling: uiteenrafelen van een leeromgeving, concept ‘blended learning’

Sessie 6 - focus evaluatie (kwaliteit leeromgeving): praktijkgericht onderzoek inbouwen en formatief evalueren in vorm van peer-reviewen met 2 kaders

Eindopdracht

Ontwerp leeromgeving, inclusief de keuzes voor het te ontwikkelen papieren/digitale materiaal: ontwerp van leeromgeving, in vorm van een Blokboek, Studentenhandleiding, Modulewijzer, ofwel: het onderwijsmateriaal zoals dat voor studenten wordt gemaakt ca. 50%

Flankerende rapportage bij het ontwerp ca. 50%: Analyse: analyserapport Onderbouwing ontwerp/ontwikkeling: onderwijskundig Evaluatie: evaluatierapport Ontwerpproces: logboek

Beoordeling Foutje geslopen bij knippen en plakken in deelnemershandleiding

Deel Nr Onvoldoende Voldoende GoedAnalyse (analyse-document) 

a De analyse is niet passend en ook niet systematisch uitgevoerd. Niet alle relevante bronnen (documenten en personen) zijn betrokken in de analyse.

De analyse is deels passend en systematisch uitgevoerd. Een deel van de relevante bronnen (documenten en personen) zijn betrokken in de analyse.

De analyse is passend en systematisch uitgevoerd. Alle relevante bronnen (documenten en personen) zijn betrokken in de analyse.

Ontwerp, incl. keuzes voor te ontwikkelenmateriaal(ontwerp-document)

bc

Het ontwerp, incl. keuzes te ontwikkelen materiaal:Voorziet niet in behoeften en berust niet op valide inzichten (in brede zin: gezien de relevante grenzen, de interactie met betrokkenen uit de omgeving en de relevante theorie/praktijk).Zit niet logisch en samenhangend in elkaar.De inschatting is dat het niet praktisch uitvoerbaar is in de situatie waarvoor het is bedoeld.De inschatting is dat ermee werken niet leidt tot de gewenste resultaten.

Het ontwerp, incl. keuzes te ontwikkelen materiaal: Voorziet deels in behoeften en berust deels op valide inzichten (in brede zin: gezien de relevante grenzen, de interactie met betrokkenen uit de omgeving en de relevante theorie/praktijk).Zit deels logisch en samenhangend in elkaar.De inschatting is dat het deels praktisch uitvoerbaar is in de situatie waarvoor het is bedoeld.De inschatting is dat ermee werken deels leidt tot de gewenste resultaten.

Het ontwerp, incl. keuzes te ontwikkelen materiaal: Voorziet in behoeften en berust op valide inzichten (in brede zin: gezien de relevante grenzen, de interactie met betrokkenen uit de omgeving en de relevante theorie/praktijk).Zit logisch en samenhangend in elkaar.De inschatting is dat het praktisch uitvoerbaar is in de situatie waarvoor het is bedoeld.De inschatting is dat ermee werken leidt tot de gewenste resultaten.

Evaluatie (evaluatie-rapport)

d De evaluatie is niet passend en ook niet systematisch uitgevoerd. De rapportage van resultaten zijn niet goed te volgen.

De evaluatie is deels passend en systematisch uitgevoerd en de resultaten zijn deels navolgbaar gerapporteerd.

De evaluatie is passend en systematisch uitgevoerd en de resultaten zijn navolgbaar gerapporteerd.

Ontwerpproces(logboek)

e Het ontwerpproces is niet transparant en niet goed te volgen. Er is niet inhoudelijk gereflecteerd op overwegingen en ontwerpbesluiten.

Het ontwerpproces is deels transparant en navolgbaar doordat inhoudelijk is gereflecteerd op overwegingen en ontwerpbesluiten.

Het ontwerpproces is transparant en navolgbaar doordat inhoudelijk is gereflecteerd op overwegingen en ontwerpbesluiten.

Analyse compleet?

Probleemanalyse/Contextanalyse/Behoefteanalyse/Analyse kennisbasis. Bijvoorbeeld volgende bronnen:Onderwijsbeleid: landelijk, HU, opleidingBeroepsprofiel: landelijk, opleidingBody of Knowledge (BoK’s): landelijk, opleidingBeroepenveld: beroepenveldcommissie; interviewsDoelgroep/Student: beschrijven, studentevaluaties, interviewsCurriculumontwerpen, Casco, formats, collega’sErvaringskennis: ‘Best practices’, collega’sAccreditatieproces: interne audit-rapport; externe NVAO-rapportToekomst: toekomstvisie, scenario’s, trendrapporten

Rode draad ontwerpproces

Scherpe analyse van de context, inclusief de uitgangssituatie en de beoogde/gewenste situatie

Uit de analyse komen de ontwerpeisen of ontwerpspecificaties op een logische manier voort waarmee het ontwerp is gemaakt

Ontwerp zelf moet voldoen aan kwaliteitscriteria De onderbouwing van het ontwerp is antwoord op de

vraag: waarom zo ontworpen? Onderwijskundig gezien + ontwerpeisen uit analyse

Evaluatie biedt kritische blik op het gemaakte ontwerp Logboek biedt zicht op welke ontwerpactiviteiten er

zijn ondernomen om te komen tot het ontwerp

Kaders evaluatieBepalen van kwaliteit van een leeromgeving kan vanuit verschillende perspectieven

Kwaliteitscriteria Relevantie Het leerplan voorziet in behoeften en berust op

valide inzichten Consistentie Het leerplan zit logisch en samenhangend in

elkaar Bruikbaarheid

Verwachte: De inschatting is dat het leerplan praktisch uitvoerbaar is in de situatie waarvoor het is bedoeld

Werkelijke: Het leerplan blijkt praktisch uitvoerbaar in de situatie waarvoor het is bedoeld

Effectiviteit Verwachte: De inschatting is dat werken met het leerplan

leidt tot de gewenste resultaten Werkelijke: Werken met het leerplan blijkt te leiden tot de

gewenste resultaten

(Thijs & Van den Akker, 2009)

Model ontwerpen beroepsgerichte leeromgevingen

(Zitter, Kinkhorst, Simons & Ten Cate, 2009; Zitter, 2010; Zitter, De Bruijn, Simons & Ten Cate, 2010; Zitter e.a., 2011; Zitter e.a., 2012;. Zitter & Hoeve, 2012; Zitter & Hoeve, 2013).

Samen lunchen12:00 – 13:00

Praktijkgericht onderzoekKennisintermezzo: Hoe kan ik praktijkgericht onderzoek inbouwen in een leeromgeving?

Kennisstroom en Praktijkstroom

Andriessen, A. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en D. Andriessen (eds) Handboek ontwerpgericht wetenschappelijk onderzoek: wetenschap met effect. Boom Lemma uitgevers: Den Haag

Kennisstroom en praktijkstroom

Andriessen, A. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en D. Andriessen (eds) Handboek ontwerpgericht wetenschappelijk onderzoek: wetenschap met effect. Boom Lemma uitgevers: Den Haag

Praktijkonderzoek door studenten

Opdrachten of projecten van studenten beschouwen als cases

Studenten als onderdeel van opdracht/project gedurende de uitvoering systematisch data laten verzamelen manier waarop inclusief ondersteuning goed ontwerpen

Studenten als onderdeel van opdracht/project achteraf systematisch data laten verzamelen manier waarop inclusief ondersteuning goed ontwerpen

Tijd inbouwen voor analyse Creatieve vorm zoeken voor delen van resultaten:

mini-conferentie, website, presentatie aan werkveld, publicatie voor opdrachtgever

Samenwerking zoeken met Lectoraat

Praktijkonderzoek als docent

Onderwijskundige onderzoeksvraag formuleren rond probleem dat speelt in onderwijspraktijk

Leeromgeving of een deel hiervan beschouwen als casus Systematisch formatief evalueren met peers, experts of

studenten vorm van data verzamelen Achteraf systematisch evalueren met peers, experts of studenten

vorm van data verzamelen Data analyseren en delen in vorm van presentatie, workshop,

conferentiebijdrage of praktijkpublicatie Samenwerking zoeken met collega/expert/lector Vorm van professionaliseren (LLL)

Participeren aan pilot-onderzoek?

Indien je eindproduct met voldoende/goed is beoordeeld, dan is het idee om die te analyseren voor (pilot) onderzoek over leeromgevingen vanuit een ontwerpperspectief. De focus is op het ontwerp van de leeromgeving en wordt daarom anoniem gerapporteerd.

Indien je bezwaar hebt dat jouw eindproduct voor dit praktijkgerichte onderzoek wordt ingezet (indien nodig na overleg met je direct leidinggevende), dan ontvang ik graag hierover een e-mail en haal ik jouw eindproduct uit de dataverzameling. De eindproducten van de mensen waarvan ik geen bezwaar krijg per e-mail neem ik mee in het onderzoek en bedank ik nu alvast voor hun medewerking hieraan!

Vragen over het (pilot) onderzoek zijn uiteraard welkom.

Meer weten?

Lectoraat Methodologie van Praktijkgericht Onderzoek http://www.onderzoek.hu.nl/Lectoraten/Daan%20Andriessen.aspx

Hoofdstuk Handboek Ontwerpgericht Wetenschappelijk Onderzoek http://www.dsrg.nl/docs/Hoofdstuk%2005%20Handboek%20Ontwerpgericht%20Wetenschappelijk%20Onderzoek.pdf

Aan het werkIn duo’s of klein groepje plan opstellen voor afronden van (her)ontwerp en opleveren eindopdracht

Terug & vooruitDe dag afsluiten – samen terugblikken naar de sessies die zijn afgelopen en vooruit kijken naar toekomst

Principes Manifest HU 2012 hebben we in BDB en deze module Onderwijs Ontwerpen nagestreefd:

1. ...is het contact tussen docent en student intensief en op maat

2. ...is het onderwijs een combi van face-to-face leren, online leren en leren op de werkplek

3. ...is de HU een verzameling van communities

4. ...maakt onderzoek deel van de dagelijkse (onderwijs)praktijk

5. ...hebben communities een eigen, herkenbare thuisbasis

6. ...telt de HU veertigduizend verschillende leerwegen

7. ...gebeurt toetsing goed geborgd en leerwegonafhankelijk

8. ...is elke student een professional en elke professional een potentiële student

9. ...stuurt elke docententeam zelf op kwaliteit.

Terugblikken en vooruit kijken

Blik terug: Hoe verliep het met leren op de

werkplek/zelfstudie met HUbl? Hoe verliep deze laatste face-to-face sessie?

Kijk vooruit: Hoe ga je afronden eindopdracht aanpakken? Welke datum ga je inleveren? Welke verwachtingen heb je over de rol van

onderwijs ontwerpen in je dagelijkse onderwijspraktijk na afronden van module ?

Succes!Tot ziens op HUbl (sessie 7) en face-to-face!