SLEM (Serious games voor Leren en Examineren in het Mbo)

Serious games voor verbeterde communicatieprocessen

bij ICT beheerders

Praktijkgericht onderzoek - NRO

Rob Nadolski Tom Hogendoorn

Surf Onderwijsdagen 10 November 2015

Route

0. Introductie en vragen aan u [3’]1. (Leer)games, SLEM leergames – waarom en waarover [10’]2. Flankerend onderzoek SLEM (gebruiksonderzoek, pilot, overdracht) [2’] 3. Gebruiksonderzoek aanpak Gepersonaliseerde Leerling Ondersteuning [5’]4. Pilot [kwaliteit leergame & GLO ] [10’]5. Overdracht [gebruiksvoorwaarden leergames] [5’]6. Discussie [10’]

0. Vragen aan u

Speelt u zelf entertainment games ?Speelt u zelf serious games ?Gebruikt u serious games in uw onderwijs ?Maakt u serious games ?Kun je leren van entertainment games?Kun je leren van serious games?

Confucius (500 bC)

“Tell me and I will forget,

Show me and I may remember,

Involve me and I will understand ...“

Einstein (nd)

”Games are the most elevated form of investigation”

1. Games……. leergames

Spore WoW

with Pulse!!! MineCraft

1. (Serious) games“a game is a system in which players engage in an abstract challenge,

defined by rules, interactivity and feedback, that results in a quantifiable outcome often eliciting an emotional reaction” (Koster, 2005; Kapp, 2012)

- system- players (= learners in serious games(SGs) for learning)- abstract challenge- rules- interactivity- feedback- quantifiable outcome (= goals - learning objectives in SGs for learning)- emotional reactionA serious game is a game with another purpose than pure entertainment (Abt, 1970)

1. Wat is het SLEM Project? Serious games voor Leren en Examineren in het mbo

- Samenwerkingsverband tussen OU, Stichting Praktijkleren, Nova College, Zadkine, met medewerking van Twente, Aventus

- Leergames om de vaardigheden van ICT Beheerder kerntaak 1 te verbeteren (met name de communicatie met de klant)

- Verschillende leergames ontwikkeld door Stichting Praktijkleren

- OU doet flankerend onderzoek i.s.m. ROC’s.

- Onderzoek gefinancierd door NRO

1. Waarom leergames bij SLEM?- Onderdompelende leerervaringen - Veilig oefenen - Comprimeren van (leer)tijd- Verbinding tussen theorie en praktijk - Natuurlijke feedback (in verhalen) - Adaptieve feedback (op basis van: voortgang) - GLO- Motivatie (controle & betekenisvol-relevant) - Voortgangsdata voor gerichte docent-feedback en beoordeling

(‘teacher-bandwidth”) [begeleiding + toetsing]- Consistente kwaliteit (= kwalitatief vergelijkbare leerervaringen)- Verbeterd leren (!?)

1. Waarover gaan de leergames bij SLEM?Er zijn vijf games (Stichting Praktijkleren):

- Leergame 1 voor 1e jaars studenten: Inrichten PC directeur AmeRijck (demo)

- Leergame 2 voor 2e jaars studenten: Herinrichting network AmeRijck

- Leergame 3 voor 3e jaars studenten: Intranetomgeving bij Flying Dutchman

- Twee Examengames: Evenementenburo Galema en Notalis (in ontwikkeling)

2. Flankerend onderzoek – SLEMVraag 1 (Gebruiksonderzoek) [Kwaliteit leergame]- Hoe kan de educatieve kwaliteit van het leergame-ontwerp worden geoptimaliseerd?

Vragenlijsten/interviews/literatuuronderzoekGLO (Gepersonaliseerde LeerlingOndersteuning)

Vraag 2 (Pilot) [Kwaliteit leergame]- In welke mate is de leergame een werkzame, efficiënte en effectieve oplossing? RCT-onderzoek 2 gamevarianten (GLO, geen GLO) (Nova, Zadkine, Aventus, Twente)

Vraag 3 (Overdracht) [Exploitatie leergame]- Wat zijn de voorwaarden voor generalisatie en succesvolle overdracht van de leergame naar andere ROC’s en naar andere domeinen dan ICT?

Semi-gestructureerde interviews met stakeholders

3. GebruiksonderzoekVraag [Kwaliteit leergame]- Hoe kan de educatieve kwaliteit van het leergame-ontwerp worden geoptimaliseerd?

a. Leergame 1 (kwantitatief en kwalitatief) onderzocht op: - Gebruiksvriendelijkheid, bestudeerbaarheid, inhoud, technisch-bugsb. Literatuurstudie feedback & GLO richtlijnen voor natuurlijke feedback & GLO Bevindingena. Gebruiksvriendelijkheid (+/-), bestudeerbaarheid (+/-), inhoud (+/-), technisch (+/-)b. Bestaande oplossingen GLO te kostbaar + feedbackrichtlijnen

Acties- Bestudeerbaarheid verbeteren via eenvoudig & goedkoop te ontwikkelen GLO [hoe?]- Reflectie-interviews voor betere balans ‘spelen & leren’ en betere bestudeerbaarheid- Feedbackrichtlijnen uit de literatuur toepassen voor inhoud GLO [welke en hoe?]- Leergame 2 uitbreiden met GLO en technische issues verhelpen(mn streaming video)- Leergame 1 tav inhoud en gebruiksvriendelijkheid verbeteren

NB Tijdens gebruiksonderzoek leergame 1 werd leergame 2 ontwikkeld

3. Aanbeveling Gebruiksonderzoek

Vraag [Kwaliteit leergame]

- Hoe kan de educatieve kwaliteit van het leergame-ontwerp worden geoptimaliseerd?

Betrek (eind)gebruikers zo vroeg mogelijk bij praktijkgericht gebruiksonderzoek

4. Pilot

Vraag [Kwaliteit leergame]- In welke mate is de leergame een werkzame, efficiënte en effectieve oplossing?

RCT-onderzoek 2 gamevarianten (GLO, geen GLO) (Nova, Zadkine, Aventus, Twente)

- groep 1: leergame 2 met GLO en de reguliere – natuurlijke - feedback- groep 2: leergame 2 met alleen de reguliere – natuurlijke - feedback (controle)

Feedbackrichtlijnen [obv literatuur studie]1. Feedback dient formatief en informatief te zijn2. Feedback dient gepersonaliseerd te zijn (dwz, gekoppeld aan acties van de leerling)3. Feedback dient de lerende betrokken te houden4. Feedback dient neutraal en informatief op het verbeteren van het leren gericht te zijn5. Feedback moet zowel op het product alsook op het proces gericht zijn6. Ga na of feedback wordt gebruikt en wordt begrepen7. Feedback dient tijdig beschikbaar te zijn [spanning met ‘game-experience’]

4. PilotFeedbackrichtlijnen [obv literatuur studie]1. Feedback dient formatief en informatief te zijn2. Feedback dient gepersonaliseerd te zijn (dwz, gekoppeld aan acties van de leerling)3. Feedback dient de lerende betrokken te houden4. Feedback dient neutraal en informatief op het verbeteren van het leren gericht te zijn5. Feedback moet zowel op het product alsook op het proces gericht zijn6. Ga na of feedback wordt gebruikt en wordt begrepen7. Feedback dient tijdig beschikbaar te zijn [spanning met ‘game-experience’!]

GLO = Gepersonaliseerde LeerlingOndersteuning

Leerlingondersteuning is gepersonaliseerd zodra er een mechanisme wordt gebruikt dat over een verzameling van leerlingacties (aggregatie) binnen de game al redenerendvia regels en criteria komt tot het verstrekken van een bepaalde ondersteuning aan deleerling. GLO is altijd een vorm van ‘uitgestelde geaccumuleerde terugkoppeling’ omdateerst een verzameling leerlingacties moet worden aangelegd op basis waarvan de GLOwordt verstrekt. GLO houdt de leerling als het ware een spiegel voor: ‘Hoe ben ik te werk gegaan en wat ging goed/wat kan beter?

4. PilotGLO geven vlak vóór het maken van het fase-rapport op basis van:

a. Ontijdig gevraagde informatie (tgv ‘stellen van vraag in verkeerde fase’) [systematisch]b. Gemiste informatie (tgv ‘niet stellen van een vraag’)c. Overbodige informatie (tgv ‘stellen overbodige vraag’)d. Bij een verkeerde persoon gevraagde informatie

Natuurlijke feedback:Aanwijzingen voor vervolgactiviteiten en directe reactie op student-acties (verhaallijn)

Voorbeeld GLO-inhoud: [= retrospectieve feedback]“Het lijkt erop dat je systematisch te werk gaat. Het blijkt dat je in de interviews een aantal belangrijke vragen hebt gemist, en hiermee informatie hebt gemist. Je had sneller kunnen werken, je hebt nu soms overbodige vragen gesteld. Daarnaast heb je een aantal keren vragen bij een persoon gesteld die deze niet kan beantwoorden omdat dit niet bij diens werk hoort. Alles overziende, lijkt het erop dat je een aantal personen opnieuw moet bevragen. Bedenk van te voren wie je welke vragen gaat stellen. Luister altijd goed naar hun antwoorden en maak aantekeningen die je in je rapport kunt verwerken.”

4. Pilot

4. Pilot

a. kwantitatief bij leerlingen (rapporten, vragenlijsten, logging)b. kwalitatief bij leerlingen en docenten (semi-gestructureerd interview)

Bevindingena. studeerbaarheid (ScoreRapport) Groep 1(GLO,n = 31) > Groep 2(geen-GLO,n = 34)

(t(63) = 2.11, p < .05, d = 0,52) Geen verschillen voor motivatie, gebruikersvriendelijkheid, voorkennisb. werkzaamheid (+&-)*, efficiëntie (+); studeerbaarheid (+), motivatie (+&-)*,

gebruikersvriendelijkheid (+), inhoud (+/-), technisch-bugs (+/-) ; [(+&-)* tgv ROC-verschillen]

Acties1. Verhelderen positionering en verankering SLEM-game in curriculum2. Bestuderen van leergame buiten school (was tijdens onderzoek niet toegestaan)3. Zorg voor goed verwachtingsmanagement leerlingen ‘leergame’ ipv entertainment4. Inhoud: verbeter gamedynamiek, minder steriel, verhelpen storende taalfouten5. Techniek: inrichten lokale server voor videostreaming

4. Aanbevelingen Pilot

Vraag [Kwaliteit leergame]

- In welke mate is de leergame een werkzame, efficiënte en effectieve oplossing?

- Verzorg inbedding van de leergame in het onderwijs- Ondersteun docenten bij gebruik van de leergame in het onderwijs

- Verken opties voor (technisch) laagdrempelige feedback (liefst in de leergame)- Zorg voor vrijheid van plaats en tempo voor studenten- Check gebruik en begrip van feedback - Doe praktijkgericht onderzoek tijdens de exploitatie

5. Overdracht

Vraag [Exploitatie leergame]- Wat zijn de voorwaarden voor generalisatie en succesvolle overdracht van de leergame naar andere ROC’s en naar andere domeinen dan ICT?

Via semi-gestructureerd interview met docenten ICT (Nova, Aventus, Zadkine, ROC Twente) & teamleiders bij deze ROCs (overkoepelende view)

Bevindingen tav leergames:1. Inhoud is tijdsbestendig (gering onderhoud)2. Voldoende flexibiliteit en efficiency, mits verankerd in curriculum en docent-inwerktijd3. Technische infrastructuur is simpel, maar moet wel geregeld zijn4. Goede kansen voor vergelijkbare leergames bij andere opleidingen met klantcontact

Actie:1. Kenniskringen benaderen om inzet leergames bij andere domeinen op te pakken

5. Aanbevelingen Overdracht

Vraag [Exploitatie leergame]

- Wat zijn de voorwaarden voor generalisatie en succesvolle overdracht van de leergame naar andere ROC’s en naar andere domeinen dan ICT?

- Zorg voor goede documentatie ter behoeve van succesvol didactisch gebruik - Betrek tijdig de juiste deskundigen bij het maken of inzetten van leergames - Doe praktijkgericht (gebruiks)onderzoek bij maken van nieuwe leergames

6. Discussie - ?vragen?

Leergames bij uw onderwijs? ”de huidige onderwijspraktijk met zijn klassikale model en zijn bijbehorende didaktiek is het product van de technische mogelijkheden: bord, boek, en pen” (Westera, 2014)

Leergames- verbeteren de kwaliteit van onderwijs- ondersteunen docenten (efficiency)- maken onderwijs aantrekkelijker

7. Boodschap (Take home message): Leren van games!Leren uw studenten van Games? (Leren uw studenten van een boek?)Een leergame – in een blend - past goed bij formeel onderwijs (Ontwikkeling van) een leergame is altijd een afweging op:

- effectiviteit , efficiency, onderhoudbaarheid, schaalbaarheid, flexibiliteit- kosten (ontwikkel, gebruik)

Leergames indien unieke opbrengst of besparing bij gebruik (bv. qua leerdoelen (cognitief-sociaal, individueel-groep))

Onderwijs = probleemeigenaar en experts inhoud PraktijkonderzoekWelten instituut = flankerend onderzoek - ontwerp samenwerking

rob.nadolski@ou.nl thogendoorn@novacollege.nl

EMERGO: www.emergo.ccof: http://portal.ou.nl/web/leren/emergo

Serious Games Society:http://seriousgamessociety.org/

Realising an Applied Gaming Eco-systemhttp://rageproject.eu

Dank u voor uw aandacht …

Dank voor uw aandacht …