De effecten van een serious game

op vaardigheden en motivatie bij

artsen en studentenhet ‘expertise reversal effect’ in de onderwijspraktijk

Dr.M.E.W. Dankbaar

Programmamanager e-learning, onderzoeker

Erasmus MC Rotterdam

Januari 2017

Inhoud

Trainen van complexe vaardigheden; rol van games

Demonstratie van de ABCDEsim game; blended opzet

Onderzoek naar serious games en simulaties

Resultaten effectiviteitsstudie onder artsen

Resultaten effectiviteitsstudie onder studenten

Conclusies en discussie

Trainen van complexe vaardigheden

Complexe vaardigheden worden geleerd:

a. Taakgericht, geïntegreerd oefenen (authentieke, complete taken)

b. Diversiteit aan problemen, voorbeelden, open opdrachten.

c. Ondersteunende informatie, begeleiding en deeltraining (1,2)

Cognitieve schema’s worden ontwikkeld waarmee studenten kunnen

abstraheren van concrete problemen.

Variëteit is bij cognitieve vaardigheden belangrijk (bij kennis: herhaling)

Doel: transfer naar nieuwe situaties en problemen.

1: Francom GM, Gardner J, What is task-centered learning? TechTrends, 2014, 58(5)

2: van Merrienboer JJ, Kirschner PA, Ten steps to complex learning. A systematic approach to four-component

instructional design. 2nd Ed. 2012

Wat hebben serious Games te bieden?

Air Medic Sky 1

Patient veiligheid

Underground

Laparoscopische

vaardigheden

Uitdagende taak met regels en principes (->leerdoel)

Betrokkenheid bij een verhaal

Ervaringsleren

Directe feedback

GeriatrX

Klinische zorg voor

oudere patienten

Trainen van acute zorg vaardigheden

Belangrijk onderdeel van medisch curriculum wereldwijd;

Kritisch voor patient veiligheid

Elk jaar volgen > 1,5 miljoen zorgprofessionals een cursus acute zorg,

gebaseerd op de ABCDE methode (‘treat first what kills first’)

Complexe vaardigheden zijn duur om te trainen (simulatie-onderwijs);

er zijn meer efficiënte trainingsmodellen nodig in het medisch onderwijs

Serious games zijn veelbelovende trainingsformats;

Erasmus MC heeft in 2011 de ABCDEsim game ontwikkeld (blended opzet)

ABCDEsim

Aanpak Blended Opleidingsontwerp

Raamwerk voor ontwerpkeuzes bij Blended en Online opleiden

Blended ontwerp Vaardigheidstraining acute zorg

E-module Kennistoets

abcdeSIM game met

6 scenario’s

Simulatie training en

beoordeling

Demonstratie abcdeSIM game

- Virtuele SEH met alle instrumenten en medicatie

- Realistische taken met 6 patient cases

- Hoog niveau van interactiviteit (fysiologisch model)

Onderzoek serious games en simulaties

Ondanks de steeds frequentere inzet van games in het onderwijs, is nog

weinig bekend over de effectiviteit

Onderzoek naar de cognitieve and motivationele effecten van serious

games toont geen eenduidige resultaten1,2,3.

Er is nog weinig bekend over optimale ontwerpkeuzes4.

Systematische reviews over effectiviteit van simulatieprogramma’s laten

zien dat, in vergelijking met geen interventie, simulaties grote effecten

hebben op kennis en vaardigheden5.

1 Akl et al.The effect of educational games on medical students’ learning outcomes: a systematic review: BEME Guide 14.

2 Sitzmann, a Meta-Analytic Examination of the Instruct. Effectiveness of Computer-Based Simulation Games. PersPsych. 11.

3 Graafland et al, Systematic review of serious games for medical education and surgical skills training. Br J Surg. 2012.

4 Garris, Ahlers, Driskell, Games, Motivation and Learning: a research practice model, 2002, Dec, 33.

5 Cook et al, Technology-Enhanced Simulation for Health Professions Education; A systematic review, JAMA. 2011.

Twee studies naar effectiviteit ABCDEsim game

‘Justification study’

1. a Heeft het gebruik van een serious game in de voorbereiding van een

training acute zorg voor artsen een positief effect op hun

vaardigheden?

b. Zijn deze artsen gemotiveerd om de game te gebruiken?

‘Clarification study’

2. a. Wat is het effect van het toevoegen van low-fidelity (tekst) cases of

high-fidelity (game) cases aan een e-module op de motivatie en

vaardigheden van geneeskunde studenten?

2. b. Wat is het effect op hun cognitieve belasting?

Onderzoeks design: historische vergelijking

a

b

c

d

e

a

b

c

d

e

Controle

groep

Game

groep

Zelfstudie Klassikale vaardigheidstraining (10 dagen)

Beoordeling

n=18

n=24

n=52

n=107

motivatievragenlijst

zelfstudie

theorie abcdesim

theorie

Onderzoeks design: historische vergelijking

a

b

c

d

e

a

b

c

d

e

Controle

groep

Game

groep

Zelfstudie Klassikale vaardigheidstraining (10 dagen)

Beoordeling

10 u

12.5 u

n=52

n=107

motivatievragenlijst

zelfstudie

theorie abcdesim

theorie

Tijd

Resultaten: Vaardigheidsniveau na de game (voor training)

Groepen zijn vergelijkbaar

op belangrijke kenmerken

(n=18/24)

p=.03; Cohen’s d= 0.62

3.46

4.85

4.25

4.71

1

2

3

4

5

6

7

Klinische competenties Communicatie competenties

Controle groep

Game groep

p >.5

Klinische competentiebeoordeling heeft hogere betrouwbaarheid dan communicatie (1)

Game groep heeft een hoger klinisch competentieniveau dan de controle groep

1 Dankbaar, Stegers-Jager, et al, Assessing the assessment in emergency care, Plos One, 2014

Vaardigheidsniveau na de training

Na 2 weken training: geen verschil tussen groepen

5.6 5.75.7 5.8

1

2

3

4

5

6

7

Klinische competenties Communicatie competenties

Controle groep

Game groep

Motivatie game groep

4.2

4.2

4.2

4.1

4.0

3.9

3.6

3.6

3.3

1.0 2.0 3.0 4.0 5.0

Ik voelde me actief betrokken bij scenarios uit degame

Mijn aandacht was volledig bij scenarios uit de game

ik vond de game leuk om te doen

Ik vond de inhoud van de game leerzaam

Ik kon me goed concentreren tijdens het spelen

Ik vond de manier van leren tijdens de gameplezierig

Ik had tijdens het spelen het gevoel behandelendarts op de SEH te zijn

Ik kon zelf ervaren wat wel en niet goed werkte

Ik voelde me tijdens het spelen van de scenariosregematig gestrest

geheel oneens geheel eens

“Super leerzame game.

Dit is heel 'echt' en heel

goed ter voorbereiding.

Je voelt de stress”.

“Ik vind dit een erg goede

manier om ervaring op te

doen met de ABCDE

methode”.

N=90

M= 3.9

Dankbaar M, Bakhuys Roozeboom M. van Merrienboer JJ et al, Preparing residents effectively in emergency care skills training

with a serious game, Simulation in Healthcare, Oct. 2016

Conclusies

De ABCDEsim game leidt in de voorbereiding van een klassikale

training tot een hoger vaardigheidsniveau acute zorg bij artsen.

Zij zijn gemotiveerd om de game te doen.

Waarschijnlijk kan de trainingstijd in combinatie met de game worden

ingekort (onderzoek).

Beperkingen studie:

- Groepen waren niet gerandomiseerd; verschillen tussen groepen zijn

mogelijk

betreft een zeer homogene groep; potentiele confounders gemeten

- Relatief klein aantal deelnemers pre-training assessment

Ondanks kleine aantallen een significant verschil in vaardigheid tussen groepen

Studie 2

Welke ontwerpkenmerken zijn bepalend voor het leer-effect?

‘Clarification study’

2. a. Wat is het effect van het toevoegen van low-fidelity

(tekst) cases of high-fidelity (game) cases aan een e-

module op de motivatie en vaardigheden van

geneeskunde studenten?

2. b. Wat is het effect op hun cognitieve belasting?

Game- cases (high fidelity) Tekst-cases (low-fidelity)

E-module

Onderzoeks-design (gerandomiseerd, n=61)

Controle

groep,

n=16

Game groep,

n=25

Tekst-cases

groep, n=20

Beoordeling

Casuïstiek

Kennistoets

Motivatie vragenlijst

Cognitieve belasting cases

Vragenlijsten

Cognitieve Belasting (10 items, schaal 0-11)

Intrinsic load ‘de inhoud van de game/cases was erg complex’ (3 items)

Extraneus load ‘de uitleg was erg onduidelijk’ (3 items)

Germane load ‘de scenario's hebben echt bijgedragen aan mijn begrip’ (4 items)

Motivatie en feedback (9 items, scale 1-5)

Motivatie ‘ik vond het doornemen van het materiaal leuk om te doen’ (6 items)

Feedback ‘ik kreeg voldoende feedback tijdens het leren’ (3 items)

Resultaten (n= 61)

Geen verschillen groepen in leeftijd, klinische ervaring, studieprestaties

Geen verschillen groepen in scores kennistoets (M= 20, SD=3.7)

Studietijd per groep

Cases en game groep: 2 uur extra studietijd

Gerapporteerde studietijd in minuten, gemiddeld (SD) Gelogde

game tijd

E-module Cases of Game Totaal

Controle groep 133 (78) - 133

Cases groep 177 (118) 70 (46) 247

Game groep 146 (98) 95 (53) 241 83 (54)

Klinische competenties

5.6

5.25.4

0

1

2

3

4

5

6

7

Klinische competenties

control groep

cases groep

game groep

N= 61P= 0.13

Cognitieve belasting

N=41

5.0

3.4

7.2

6.0

3.3

8.4

0.0

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

9.0

10.0

Intrinsic Load(complexiteit)

Extraneous Load(verwarrende uitleg)

Germane Load(mentale inspanning)

Cases groep

Game groep

p=0.03, ES=0.8 p=0.75 p=0.01, ES=1.0N=41

3.63.5

4.3

1

2

3

4

5

Controle groep Tekst-cases groep Game groep

N=59

P < 0.001

Motivatie

Dankbaar MEW, Alsma J, Jansen E, van Merrienboer et al, An experimental study on the effects of a

simulation game on students’ clinical cognitive skills and motivation, Advances in Health Sciences

Education, 2015 21(3).

Conclusies

Voor novices (beginfase van vaardigheidsontwikkeling):

een e-module met demo-video heeft veel instructieve waarde.

Zij profiteren niet van additioneel oefenen met open casuistiek (te complex;

zet hen wel aan tot langer studeren).

Hoge natuurgetrouwheid in een game werkt motiverend en stimuleert het

leveren van mentale inspanning, maar vergroot ook de complexiteit.

Deze zelfde game verbeterde wel de vaardigheden van artsen.

Conclusies (2)

‘Expertise-reversal effect’:

een rijke leeromgeving werkt goed voor experts, maar is

contra-productief voor onervaren lerenden

(interactie voorkennis - complexiteit format).

Games zijn vaak motiverend, maar afstemming complexiteit van taken

op competentie-niveau doelgroep is essentieel.

In beginfase van ontwikkeling complexe vaardigheden: een combinatie

van voorbeelden, open opdrachten en begeleiding lijkt van belang.

Vragen

Discussie

Contact informatie

m.dankbaar@erasmusmc.nl

http://www.e-pubs.nl?epub=m.dankbaar