Instituut voor Gezondheidszorg

November 2014

Wil de Groot-Bolluijt MScN

(

DIGITAAL TOETSEN EN AUTHENTICITEITDE DIGITALE SCRIPT CONCORDANCE TEST VOOR KLINISCH REDENEREN

Presentatie1. Inzicht mogelijkheden Script Concordance Test (SCT)2. Resultaten project 3. Mogelijkheden MANPopleidingen

digitaal trainen en lerentoetsen klinische vaardigheden

4. Mogelijkheden andere vakgebieden

Script Concordance Test

SCT een authentiek vraagtype voor:> klinisch redeneren > complexe casuïstiek

Klinisch redeneren:“Het proces dat wordt doorlopen om bij een patiënt de meest waarschijnlijke diagnose vast te stellen op basis van diagnostiek, en om het verdere beleid te bepalen.”

Vries A.C. et al. Leren klinisch redeneren en het ontwikkelen van ziektescripts: mogelijkheden in het medisch onderwijs. Tijdschrift voor medisch onderwijs

MANP project digitaal klinisch redeneren

• Klinisch Redeneren belangrijk onderdeel curriculum • Groot beroep op medische en verpleegkundige kennis• Leren gebruiken relevante informatie (geschiedenis,

anamnese en lichamelijk onderzoek)• Stellen diagnose en behandeling• Moeilijk om ‘black box’ denken aan te leren• Leren stap voor stap redeneren

MANP project:Medisch en verpleegkundig redeneren gecombineerd

Klinisch Rederen opleiding MANP voor start project

Docenten zoeken juiste methode beoordelen kennis student

Rol docenten en praktijk verschillendVaak casuistiekbeoordeling

• Vraagontwikkeling en evaluatie is erg arbeidsintensief• Interbeoordelaar betrouwbaarheid ?• Experts (meestal) niet direct betrokken

Project Digitaal Toetsen MANP (afgesloten sept 2014)

• Onderzoeken digitale beoordeling van Klinisch Redeneren• Deelnemers project: MANP-Opleidingen Fontys, Zuyd, Hogeschool

Rotterdam en Stichting Leerstation Zorg• Keuze ontwikkeling digitale Script Concordance Test (SCT) • SCT nieuwe digitale leermogelijkheden en (bij)scholing• Toetsen om te leren• Het SCT toegankelijk via LMS Leerstation Zorg: IQualify

Dit project is tot stand gekomen met steun van de Stichting SURF. In SURF werken universiteiten, hogescholen en onderzoeksinstellingen samen.Meer informatie: www.surf.nl

Keuze SCT op basis literatuurstudie(Bruggen et al 2012):

> EMQ (extanded matching question)> CIP (comprehensive integrated puzzle)> SCT (script concordance test)

Interactive simulation-based system for strengthening clinical reasoning skills

Script Concordance Test (SCT)

• Stap voor stap naar een juiste behandeling / diagnose• Er is meer dan 1 plausibel antwoord• Inzichtskeuzes met beperkte informatie in korte tijd• Validatie door expertpanels (artsen en VS-en) • Scoringsregels met gewogen antwoorden• Sterke psychometrische eigenschappen: betrouwbaar en valide

(reliability, face validity, and construct validity)

Resultaat SCT project:Paper: http://link.springer.com/chapter/10.1007/978-3-319-08657-6_13Peeters et all Digital Script Concordance Test for Clinical Reasoning. In: Kalz,M.,Ras,E. (eds) CAA 2014. CCIS, V (439), pp. 138-144. Springer International Publishing Switserland.

Script Concordance Test opbouw

Script in drie onderdelen:

1. Vignet: beschrijving bepaalde klinisch relevante situatie met informatie waarvan het onbekend is of er betekenis aan moet worden toegekend of niet.

2. Scenario’s: er wordt steeds nieuwe informatie gegeven. Mogelijkheden: 1) een hypothese, 2) een voorgenomen diagnostische actie 3) een voorgenomen behandeling.

3. Keuze antwoorden: om de actie te beoordelenmeer of minder waarschijnlijk / meer of minder zinvol.Likert schaal (5 punts)

Vignet

Scenario Info bij vignet

Beoordeling

opmerking maken

Scoreberekening: De hoogste score (100 punten) wordt gegeven aan het antwoord dat het meest is gegeven door de experts. De andere antwoorden worden gescoord naar verhouding a.h.v. de hoeveelheid experts die dat antwoord hebben gegeven.

Scenario B

Scenari

o B

Scenario C Scenari

o C

Een hoge score houdt in dat er grote overeenstemming bestaat tussen de leden van het expertpanel in deze specifieke voorgestelde klinische situatie.

Conclusies project bijdrage SCT voor MANP opleidingen

• Kwaliteitsverbetering: De gemeenschappelijke constructie van toetsvragen en toetsen- door verschillende opleidingen samen met inhoudsdeskundigen –draagt bij aan de kwaliteit van het onderwijs.

• Bijdrage leerproces: Zowel studenten als docenten ervaren een positieve bijdrage aan het leerproces en mogelijkheden voor toetsing.

• Bruikbaarheid digitale afname: Makkelijk in gebruik, snelle resultaten en statistische analyse.

• Bijdrage experts: Het bijeen brengen en inzetten van expertpanels versterkt de uitwisseling tussen opleiding en beroepspraktijk.

Beperkingen:

• Constructie van het vraagtype is erg arbeidsintensief• Aantrekken experts voor validatie vragen is niet eenvoudig te

realiseren

Conclusie: het SCT-vraagtype kan een belangrijke bijdrage leveren aan de

ontwikkeling en het onderhoud van Klinisch Redeneervaardighedenvan Verpleegkundig Specialisten (i.o)

SCT: interactive simulation-based system for strengthening clinical

reasoning skills

Het SCT-vraagtype bruikbaar voor andere vakgebieden?

Welke mogelijkheden ziet U ?clinical reasoning skills

Meer info over werken met SCT?

MANP opleidingen Fontys en Zuyd en

Hogeschool Rotterdam:

Robbert Gobbens (GobRJ@hr.nl)

Wil de Groot-Bolluijt w.de.groot-bolluijt@hr.nl

Wat doet de SIG Digitaal Toetsen?

• Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten volgen en signaleren.

• Kennis delen: bij elkaar brengen van experts, docenten en projectmedewerkers maar ook uitwisseling van toetsmateriaal en het gebruik van standaarden die dit mogelijk maken stimuleren.

• Kennis verspreiden: de collectieve expertise over didactiek, technologie en organisatie beschikbaar stellen voor belangstellenden.

• Waar vindt u de SIG Digitaal Toetsen?

• SURFspace: www.surfspace.nl/toetsen geeft een overzicht van kennisbronnen en links over digitaal toetsen. Veel bijdragen op deze site zijn afkomstig van leden van de SIG. Op het forum worden discussies over digitaal toetsen gevoerd.

• Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig bijeenkomsten waar experts van de onderwijsinstellingen elkaar ontmoeten en actuele ontwikkelingen met elkaar delen.

SIG Digitaal Toetsen