Samen aan het werk in sessie 6Focus op Evaluatie (kwaliteit leeromgeving)

Ilya Zitter Versie 31 maart 2014

OpeningProgramma

Beroepsproces en beroepsproduct

Programma9:30 – 10:00Kort dag doornemen

10:00 – 10:30Voorbereiden formatieve evaluatie (peer-review)Opdracht: welke vragen stel je om kwaliteitscriteria te toetsen?Vier groepen: relevantie, consistentie, bruikbaarheid, effectiviteitPlenair delen van vragen die je kunt stellen

10:30 – 11:15Ronde 1 formatieve evaluatie: RelevantieGroepjes van 3 mensen: maker, interviewer & lessons learned op A3

11:15 – 12:00Ronde 2 formatieve evaluatie: ConsistentieGroepjes van 3 mensen: maker, interviewer & lessons learned op A3

12:00 – 12:30Plenair delen van lessons learned relevantie & consistentie

12:30 – 13:30Samen lunchen

Programma

13:30 – 14:00

Kennisintermezzo: Praktijkgericht onderzoek

14:00 – 14:45Ronde 3 formatieve evaluatie: Bruikbaarheid (verwachte)Groepjes van 3 mensen: maker, interviewer & lessons learned op A3

14:45 – 15:30Ronde 4 formatieve evaluatie: Effectiviteit (verwachte)Groepjes van 3 mensen: maker, interviewer & lessons learned op A3

15:30 – 16:00 Plenair delen van lessons learned bruikbaarheid & effectiviteit

16:00 – 16:30Laatste keer terug en vooruitblikken

Hele module in vogelvlucht

Iteratief (her)ontwerpen van een leeromgeving (5 ECTS of veelvoud) voor eigen onderwijspraktijk centraal

In sessies 1, 3, 5 en 7 middels Leren op de werkplek/Zelfstudie ondersteund met HUbl

In sessies 2, 4 en 6 face-to-face Sessie 2 - kennismaken met ontwerpproces + focus op

analyse: simulatie hele ontwerpproces; analyseren van een goed voorbeeld, competentiegericht onderwijs in het hbo, gelaagdheid van een leeromgeving

Sessie 4 - focus ontwerp/ontwikkeling: uiteenrafelen van een leeromgeving, concept ‘blended learning’

Sessie 6 - focus evaluatie (kwaliteit leeromgeving): praktijkgericht onderzoek inbouwen en formatief evalueren in vorm van peer-reviewen

Beroepsproces en beroepsproduct

Onderwijs met een omvang van 5 EC (of een veelvoud hiervan) ontwerpen of herontwerpen, waarmee studenten worden voorbereid op de toekomstige beroepspraktijk. In de vorm van een ‘Blokboek’ of ‘Studentenhandleiding’ of ‘Modulewijzer’,(ofwel: het onderwijsmateriaal zoals dat voor studenten wordt gemaakt bij de betreffende opleiding)

Flankerende rapportage bij het ontwerp Analyse: alle uitgangspunten om het onderwijs te kunnen maken. Ontwerp/ontwikkeling: onderbouwing geven van onderwijs dat is

gemaakt. Antwoord op de vraag: waarom is het onderwijs op deze manier vorm gegeven?

Evaluatie: Onderwijs dat is gemaakt formatief evalueren. Kritische blik op de kwaliteit van dit onderwijs. Antwoord op de vragen: wat is goed en wat kan beter?

Ontwerpproces: logboek van de uitgevoerde ontwerpactiviteiten.

Analyse compleet?

Probleemanalyse/Contextanalyse/Behoefteanalyse/Analyse kennisbasis. Bijvoorbeeld volgende bronnen:Onderwijsbeleid: landelijk, HU, opleidingBeroepsprofiel: landelijk, opleidingBody of Knowledge (BoK’s): landelijk, opleidingBeroepenveld: beroepenveldcommissie; interviewsDoelgroep/Student: beschrijven, studentevaluaties, interviewsCurriculumontwerpen, Casco, formats, collega’sErvaringskennis: ‘Best practices’, collega’sAccreditatieproces: interne audit-rapport; externe NVAO-rapportToekomst: toekomstvisie, scenario’s, trendrapporten

Onderbouwing compleet? Ontwerpeisen vanuit analyse Bij herontwerp: vergelijking tussen voorgaande en

verbeterde ontwerp Hoofdmoot wordt gevormd door: onderwijskundige

onderbouwing met literatuur van de literatuurlijst of eigen literatuur met vergelijkbaar niveau. In elk geval aandacht voor:

Competentiegericht onderwijs (in brede zin) Strategisch: leerprocessen, onderwijsvisie,

onderwijsmodel, onderwijsconcept Tactisch: didactisch model/didactisch concept Operationeel: toelichten gemaakte keuzes voor de

leer/werkvormen

Evaluatie compleet?

Beschrijving van uitgevoerde vormen van formatieve evaluatie

Toelichting gehanteerde kwaliteitscriteria Gestructureerde en overzichtelijke resultaten Kritische blik op ontwerp: identificeren van de

sterke en de zwakke kanten/compromissen Ideeën en plannen voor doorontwikkeling van

de leeromgeving

Logboek compleet?

Overzicht van uitgevoerde ontwerpactiviteiten Breng hier structuur in aan, bijvoorbeeld m.b.v. STAR, beschrijf

helder en scherp: Situatie: o.a. aanleiding, wat gebeurde er, wie waren erbij) Taak waar je mee bezig was: m.n. Wat wilde je bereiken?

Wat vond je dat er moest gebeuren? Acties die je hebt ondernomen: o.a. hoe pakte je het aan Resultaat ervan: m.n. wat kwam eruit, hoe liep het af. Reflecteer hierop: m.n. Was je tevreden met de resultaten?

Wat is de essentie van wat je geleerd hebt? Wat zou je de volgende keer eventueel anders doen?

Het gaat hierbij om inhoudelijke en feitelijke informatie (niet om diepgravend reflecteren op je gevoelens)

Rode draad beroepsproces in de flankerende rapportage

Analyse van de context, inclusief de uitgangssituatie en de beoogde/gewenste situatie. Uit de analyse komen de ontwerpeisen op een logische manier voort. Alle uitgangspunten om het onderwijs te kunnen maken zijn in beeld gebracht.

De onderbouwing van ontwerp/ontwikkeling is antwoord op de vraag: waarom is het onderwijs op deze manier vorm gegeven?

Evaluatie biedt een kritische blik op het gemaakte onderwijs en ideeën/plannen voor de doorontwikkeling

Logboek biedt zicht op welke ontwerpactiviteiten er zijn ondernomen om te komen tot bovenstaande

Kaders evaluatieBepalen van kwaliteit van een leeromgeving kan vanuit verschillende perspectieven

NVAO: Nederlands-Vlaamse Accreditatieorganisatie http://www.nvao.net/

Voorbeeld: Goed - De opleiding steekt systematisch en over de volle breedte uit boven de gangbare basiskwaliteit. Operationalisering:

De beoogde eindkwalificaties passen qua niveau en/of oriëntatie binnen de (inter)nationale kwalificatieraamwerken en zijn geconcretiseerd in domein- of opleidingsspecifieke leerresultaten. Vanuit een geëxpliciteerde visie geeft de opleiding er een specifieke invulling aan.

Programma, personeel en voorzieningen vormen samen een uitdagende leeromgeving.

Er is een opleidingsbreed, transparant en coherent toetsbeleid dat door iedereen gevolgd wordt.

De gerealiseerde eindkwalificaties vertalen zich in producten die systematisch bovengemiddeld zijn.

De kwaliteitszorg in de opleiding is systematisch en vertaalt zich in een consequent verbeterbeleid dat zich uit in een groeiende kwaliteitscultuur.

Generieke kwaliteitscriteria Relevantie Het leerplan voorziet in behoeften en berust op

valide inzichten Consistentie Het leerplan zit logisch en samenhangend in

elkaar Bruikbaarheid

Verwachte: De inschatting is dat het leerplan praktisch uitvoerbaar is in de situatie waarvoor het is bedoeld

Werkelijke: Het leerplan blijkt praktisch uitvoerbaar in de situatie waarvoor het is bedoeld

Effectiviteit Verwachte: De inschatting is dat werken met het leerplan

leidt tot de gewenste resultaten Werkelijke: Werken met het leerplan blijkt te leiden tot de

gewenste resultaten

(Thijs & Van den Akker, 2009)

Samen lunchen12:30 – 13:30

Programma

13:30 – 14:00

Kennisintermezzo: Praktijkgericht onderzoek

14:00 – 14:45Ronde 3 formatieve evaluatie: Bruikbaarheid (verwachte)Groepjes van 3 mensen: maker, interviewer & lessons learned op A3

14:45 – 15:30Ronde 4 formatieve evaluatie: Effectiviteit (verwachte)Groepjes van 3 mensen: maker, interviewer & lessons learned op A3

15:30 – 16:00 Plenair delen van lessons learned bruikbaarheid & effectiviteit

16:00 – 16:30Laatste keer terug en vooruitblikken

Praktijkgericht onderzoekKennisintermezzo: Hoe kan ik praktijkgericht onderzoek inbouwen in een leeromgeving?

Kennisstroom en Praktijkstroom

Andriessen, D. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en D. Andriessen (red) Handboek ontwerpgericht wetenschappelijk onderzoek: wetenschap met effect. Boom Lemma uitgevers: Den Haag

Kennisstroom en praktijkstroom

Andriessen, A. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en D. Andriessen (eds) Handboek ontwerpgericht wetenschappelijk onderzoek: wetenschap met effect. Boom Lemma uitgevers: Den Haag

Praktijkonderzoek door studenten

Opdrachten of projecten van studenten beschouwen als cases

Studenten als onderdeel van opdracht/project gedurende de uitvoering systematisch data laten verzamelen manier waarop inclusief ondersteuning goed ontwerpen

Studenten als onderdeel van opdracht/project achteraf systematisch data laten verzamelen manier waarop inclusief ondersteuning goed ontwerpen

Tijd inbouwen voor analyse Creatieve vorm zoeken voor delen van resultaten:

mini-conferentie, website, presentatie aan werkveld, publicatie voor opdrachtgever

Samenwerking zoeken met Lectoraat

Praktijkonderzoek als docent

Onderwijskundige onderzoeksvraag formuleren rond probleem dat speelt in onderwijspraktijk

Leeromgeving of een deel hiervan beschouwen als casus Systematisch formatief evalueren met peers, experts of

studenten vorm van data verzamelen Achteraf systematisch evalueren met peers, experts of studenten

vorm van data verzamelen Data analyseren en delen in vorm van presentatie, workshop,

conferentiebijdrage of praktijkpublicatie Samenwerking zoeken met collega/expert/lector Vorm van professionaliseren door docent (LLL)

Practice as you preach: in deze module ook onderzoek

Beschrijvend onderzoek naar leeromgevingen in het hbo vanuit een ontwerpperspectief

Leeromgeving wordt beschouwd als case Data die wordt verzameld:

Ontwerp leeromgeving (‘Blokboek’ of ‘Studentenhandleiding’ of ‘Modulewijzer’, ofwel: het onderwijsmateriaal zoals dat voor studenten wordt gemaakt bij de betreffende opleiding)

Flankerende rapportage Eventueel een aanvullend interview

Data analyse met model voor ontwerpen van beroepsgerichte leeromgevingen

Participeren aan pilot-onderzoek?

Indien je eindproduct met voldoende/goed is beoordeeld, dan is het idee om die te analyseren voor (pilot) onderzoek over leeromgevingen vanuit een ontwerpperspectief. De focus is op het ontwerp van de leeromgeving en wordt daarom anoniem gerapporteerd.

Indien je bezwaar hebt dat jouw eindproduct voor dit praktijkgerichte onderzoek wordt ingezet (indien nodig na overleg met je direct leidinggevende), dan ontvang ik graag hierover een e-mail en haal ik jouw eindproduct uit de dataverzameling. De eindproducten van de mensen waarvan ik geen bezwaar krijg per e-mail neem ik mee in het onderzoek en bedank ik nu alvast voor hun medewerking hieraan!

Vragen over het (pilot) onderzoek zijn uiteraard welkom.

Meer weten?

Lectoraat Methodologie van Praktijkgericht Onderzoek http://www.onderzoek.hu.nl/Lectoraten/Daan%20Andriessen.aspx

Hoofdstuk Handboek Ontwerpgericht Wetenschappelijk Onderzoek http://www.dsrg.nl/docs/Hoofdstuk%2005%20Handboek%20Ontwerpgericht%20Wetenschappelijk%20Onderzoek.pdf

Practice as you preachdeze module langs lat Manifest HU 2021

Principes Manifest HU 2021 hebben we in BDB en deze module Onderwijs Ontwerpen nagestreefd:

1. ...is het contact tussen docent en student intensief en op maat

2. ...is het onderwijs een combi van face-to-face leren, online leren en leren op de werkplek

3. ...is de HU een verzameling van communities

4. ...maakt onderzoek deel van de dagelijkse (onderwijs)praktijk

5. ...hebben communities een eigen, herkenbare thuisbasis

6. ...telt de HU veertigduizend verschillende leerwegen

7. ...gebeurt toetsing goed geborgd en leerwegonafhankelijk

8. ...is elke student een professional en elke professional een potentiële student

9. ...stuurt elke docententeam zelf op kwaliteit.

Terug & vooruitDe dag afsluiten – samen terugblikken naar de sessies die zijn afgelopen en vooruit kijken naar toekomst

Terugblikken en vooruit kijken

Blik terug: Hoe verliep het met leren op de

werkplek/zelfstudie? Hoe verliep deze laatste face-to-face sessie?

Kijk vooruit: Hoe ga je afronden eindopdracht aanpakken? Welke verwachtingen heb je over de rol van

onderwijs ontwerpen in je dagelijkse onderwijspraktijk na afronden van module ?

Succes met afronden!