1

CAT-project begeleidingsdocument

Tbv CAT-project 3e jaar Geneeskunde

e-mail: cat-project@lumc.nl

2

Blokcoördinatoren

Dr. Arno Roest, Kindergeneeskunde

Mw. Prof. Dr. Saskia le Cessie, Klinische Epidemiologie/Medische Statistiek

Projectondersteuner

Mw. Priscilla Mol, DOO

Blokcommissie Dr Bart Groen, AIOS gynaecologie & verloskunde

Dr Erik Klok, internist

Mw. Drs. Karin van der Hoorn, Walaeus Bibliotheek

John O'Sullivan (Line Coordinator CIS), Communication in Science

Prof. Dr. Friedo W. Dekker, Klinische Epidemiologie

lijncoördinator Academische en Wetenschappelijke Vorming

3

Voorwoord Beste AIOS-promovendus, Het unieke aan het CAT- project is dat studenten onder begeleiding van een AIOS of promovendus gaan werken aan een probleem dat uit de praktijk komt, alle stappen zelf uitvoeren en uiteindelijk de CAT-presenteren op de afdeling van de AIOS of promovendus en hiervan een verslag schrijven, dat geldt als Bachelor scriptie. We kunnen als CAT-projectgroep niet genoeg benadrukken dat jullie rol essentieel is voor het welslagen van dit voor de opleiding geneeskunde vitale project. Het CAT-project gaat dit onderwijs jaar voor de 3de keer van start. De evaluaties van de studenten die het project afgelopen keer gedaan hebben waren positief, met name over de begeleiding van en het feit dat ze bezig waren met een klinisch scenario uit de praktijk. In dit document vind je een beschrijving van de manier waarop we in de OOR Leiden en in de studie Geneeskunde van het LUMC de Critical Appraisal of a Topic (CAT) doceren, wat we van de studenten verwachten en wat jouw rol is in dit project. Alle informatie, waaronder dit document, het blok boek dat studenten krijgen en de opnames van de AIOS-informatiebijeenkomst zal te vinden zijn op de OORLeiden website:

www.oorleiden.nl

Een belangrijke tool in dit project is KL-APP, een software systeem waar ook de co-schappen mee beoordeeld gaan worden. De student is in dit systeem de beheerder van zijn eigen project en vanuit dit systeem zullen alle koppelingen, deadlines, te uploaden verslagen en beoordelingen worden geregistreerd en krijg je vanzelf een email met een unieke link wanneer er wat van je verwacht wordt. Hierdoor hoef je geen papieren bij te houden, op te sturen etc. De bedoeling is dat we aan de AIOS/promovendus vragen om zelf haar/zijn begeleider in te vullen in KL-APP. Deze 2de begeleider zal de 2de inhoudelijke beoordeling van de scriptie uitvoeren. Daarnaast zullen ook meer dan andere jaren klinisch onderzoekers studenten begeleiden. Wanneer er in documenten of presentaties wordt gesproken van AIOS moet dit worden gelezen als AIOS of promovendus. De blokcommissie staat voor jullie klaar om er met zijn allen een goed project van te maken dat uniek is in Nederland en een brug slaat tussen de studie geneeskunde en de medische vervolg opleidingen. Als jullie vragen, problemen of commentaren hebben, schroom dan niet om contact op te nemen met ons. Namens de blokcommissie, Saskia Le Cessie en Arno Roest Blokcoördinatoren cat-project@Lumc.nl

4

1. Inleiding: Critical Appraisal of a Topic (CAT )

Het huidige medisch handelen wordt bij voorkeur gebaseerd op wetenschappelijk bewijs verkregen uit

goed opgezette studies. Daarnaast spelen patiëntkarakteristieken, voorkeur van de patiënt en de

diagnostische en therapeutische mogelijkheden van de arts op de locatie waar hij/zij zich bevindt een

rol in het bepalen van het medisch beleid ten aanzien van een klacht of ziekte bij de individuele

patiënt.

Een veelgebruikte manier om “evidence based” medisch handelen te bepalen naar aanleiding van een

specifiek probleem bij een patiënt is de “Critical Appraisal of a Topic (CAT)”-benadering. De CAT is een

manier om de resultaten uit onderzoeken kritisch te beschouwen en ons medisch handelen in de

klinische praktijk te baseren op het beste beschikbare bewijs uit onderzoek.

De CAT zoals die in de OOR-Leiden wordt gepropageerd is gebaseerd op het “Maastrichtse” 7-stappen

model en gaat uit van een patiënt uit de eigen praktijk (klinisch scenario-stap 1). Vanuit dit klinisch

scenario wordt een klinische vraag geformuleerd (stap 2). Op basis van de klinische vraag wordt een

literatuuronderzoek (stap 3) verricht om het beste beschikbare onderzoek met betrekking tot de

klinische vraag te vinden. Deze wordt vervolgens kritisch beoordeeld (stap 4). Hierna worden de

onderzoeken samengevat (stap 5) en hieruit volgt de beoordeling in de specifieke omstandigheden van

de patiënt (stap 6) om vervolgens tot een slotconclusie te komen. (stap 7).

5

Figuur 1 uit De Brouwer, C. P. M. , Kant, IJ., Smits, L. J. M., & Voogd, A. C. (2009). Training Critical

Appraisal of a Topic. Een onmisbare handleiding in het tijdperk van Evidence Based Medicine.

Maastricht: Mediview BV.

De CAT in de bachelorfase van de studie geneeskunde LUMC Wetenschappelijke vorming is een van de speerpunten van het geneeskunde curriculum 2012 in het

LUMC. Het CAT-project is het eindproduct van de Academische Wetenschappelijk Vaardigheden van

de bachelor Geneeskunde. Gezien de centrale plaats die de CAT inneemt in de medische vervolg

opleidingen is het essentieel dat de student geneeskunde hier op voorbereid wordt.

Het CAT-blok: januari 2017

Om de studenten de beginselen van het maken van een CAT bij te brengen zal er een 1-weeks CAT-

blok worden georganiseerd om alle 7-stappen van de CAT stap voor stap te doorlopen met behulp van

hoorcolleges, werkgroepen, e-learning modules en een afsluitende toets. Dit blok geldt als

voorbereiding op het maken van de CAT (het CAT-project) en het cijfer van de toets van het blok vormt

een deel van het eindcijfer van het CAT-project. Zie het Blokboek voor de studenten op de website.

Het CAT-project: Uitgangspunten voor het CAT-project zijn:

Op basis van een klinisch scenario van de AIOS, doorloopt de student de vervolg stappen van

de CAT.

Elke student moet een individueel verslag maken van het CAT-project.

De studenten zullen naast de beoordeling van het verslag ook op de afdeling een presentatie

moeten geven die beoordeeld wordt. Tevens zal het professionele gedrag van de student

beoordeeld worden.

Het CAT-project in Klinische Fase Applicatie (KL-APP)-software Om het CAT-project zo soepel mogelijk te laten verlopen is het geheel ingebed in het software pakket

KL-APP. De student beheert zo zijn eigen CAT-project. In dit software pakket zullen alle informatie,

deadlines en beoordelingsformulieren beschikbaar zijn. De beoordelingen zullen ook via dit systeem

verlopen.

Als AIOS hoef je niets te registreren, dit gebeurt allemaal in KL-APP. Vanuit KL-APP worden e-mails

verstuurd wanneer de student iets veranderd heeft, geupload heeft of wanneer er iets ter

beoordeling aangeboden is. Dit laatste gaat per e-mail via unieke links, waarbij je automatisch in KL-

APP en bij de benodigde beoordelingsformulieren komt. De eerste mail die je als AIOS zult krijgen is

een mail met de namen van de studenten die aan je gekoppeld zijn en waarin gevraagd wordt de

koppeling te bevestigen. Studenten uploaden de volgende documenten in KL-APP:

Zoekverslag ter beoordeling voor de Walaeus Bibliotheek.

De eindversie van de bachelorscriptie ter beoordeling.

Wanneer het finale verslag ge-upload is krijg je van KL-APP een mail toegestuurd. In deze mail is een

link geplaatst die toegang geeft tot het verslag en de beoordelingsformulieren voor het CAT-verslag, de

CAT-presentatie en het CAT-proces. De 2de beoordelaar zal een link krijgen voor de medebeoordeling

van de scriptie in het kader van het 4-ogen principe.

6

2. Wat vragen we van jou als begeleider?

December-Januari

Zoek een thema dat past in je belangstelling / belangrijke vragen die leven op de afdeling /

passen in je onderzoeksambitie in het domein diagnostiek, therapie of prognose en waarover

voldoende literatuur beschikbaar is. Soms kan het voorkomen dat er te weinig artikelen

gevonden worden. De studenten komen bij je terug voor een aangepast onderwerp.

Benoem een klinische vraag.

Eerste contact moment januari 2017: de studenten nemen contact op met de AIOS om het

klinisch scenario te bespreken. Vervolgens kan via e-mail contact de student(en) verder

worden begeleid. De Walaeus bibliotheek heeft spreekuren ingepland voor de studenten om

hen te begeleiden in het formuleren van de klinische vraag en het opstellen van een

zoekstrategie. Je kunt de studenten hier naar verwijzen.

Februari-Maart-April

Tijdens de periode februari-april maken de studenten elk individueel een scriptie. Hoe het verslag er

precies uit moet zien staat in één van de bijlages. Het schrijfproces wordt intensief begeleid door

Communication in Science (CiS) in twee werkgroepen, een individueel gesprek met de student en door

middel van peer review (door de medestudenten). Vanwege deze intensieve begeleiding is het niet

nodig dat de AIOS meerdere tussenversies van de scriptie uitgebreid becommentarieert. Half februari

2017 moeten de studenten ieder hun eigen zoekverslag inleveren bij de Walaeus bibliotheek. Hierna

zal de Walaeus bibliotheek deze verslagen beoordelen. Bij een onvoldoende beoordeling moet de

student het zoekverslag aanpassen om tot een voldoende te komen.

Selecteer samen met de student 3-4 artikelen om te beoordelen. Alleen originele artikelen,

geen systematic reviews of meta-analyses: dit kan per mail of in een contact.

Contactmoment maart-april 2016: de studenten voeren zelfstandig de beoordeling en

samenvatting van de gevonden literatuur uit, waarbij vragen in de responsiecolleges van de

klinische epidemiologie kunnen worden gesteld. Als de studenten dit gedaan hebben zullen zij

opnieuw een afspraak maken met de AIOS om de gevonden en samengevatte literatuur in de

context van het klinisch scenario te bespreken en te komen tot een bottom-line (stap 7).

Plan een presentatie op de afdeling. Duur van de presentatie is afhankelijk van de

afdelingsvoorkeuren.

Mei-juni

Nakijken verslag en presentatie: De student(en) levert/leveren voor half mei een scriptie in bij

de AIOS. De AIOS beoordeelt dit verslag. Verder geven ze ieder een presentatie van 15-30

minuten op de afdeling van de AIOS. Aan de 2de beoordelaar zal in het kader van het 4-ogen

principe een medebeoordeling worden gevraagd (zie bijlage).

De presentatie, het verslag en de beoordeling van het CAT proces worden door de AIOS voor

half juni beoordeeld.

7

3. Wat mogen jullie van de student verwachten?

Elke student voert een eigen CAT uit en schrijft zelf een scriptie.

Detectie van plagiaat wordt gemeld aan de examencommissie.

De studenten moeten zelf de PICO en klinische vraag formuleren en het daarop volgende literatuur

onderzoek uitvoeren, en zorgt zo nodig zelf voor begeleiding vanuit de Walaeus bibliotheek. Het

zoekverslag moet voor half februari via Kl-app worden ingediend en wordt door de Walaeus

bibliotheek beoordeeld.

De student maakt in overleg met de AIOS een selectie van de gevonden literatuur (3-4 artikelen) en zal

vervolgens deze kritisch beoordelen en samenvatten. De student wordt intensief begeleid bij het

schrijven en kan voor methodologische vragen terecht bij de klinische epidemiologie. De student

schrijft zelf het verslag, inhoudelijke vragen kan hij aan de AIOS stellen. Het verslag levert de student

voor half mei in.

Van de student wordt een beleefde en professionele houding verwacht. De student wordt daar ook

door de AIOS/promovendus op beoordeeld. Mochten hier ernstige zorgen over zijn meldt dit dan

vroegtijdig aan de blokcoördinatoren.

De studenten zullen het begeleidingsproces van de begeleider beoordelen (zie bijlage). Het formulier

zal naar de opleider van de AIOS worden verstuurd.

8

4. Tijdspad CAT project*

Wanneer Wat Wie

December 2016-

januari 2017

Voorbereiden onderwerp(en) voor de CAT Koppeling student AIOS/promovendus

AIOS

AIOS-student

Begin januari CAT-blok

Docenten Cat-blok,

Walaeus Bibliotheek, Communication in Science

(CIS)

Januari-februari Contact AIOS–student ter bespreking klinisch

scenario (stap 1 en 2) AIOS-student

Januari-februari Maken klinische vraag-zoekverslag (stap 2 en 3) Student

half februari Inleveren zoekverslag en beoordeling door

Walaeus Bibliotheek

Student/Walaeus

Bibliotheek

Februari-maart Beoordelen en samenvatten literatuur (stap 4 en 5) Student

Februari-maart Schrijven chapter 1 en chapter 2 van scriptie Student

deadline begin mrt schrijven 1e draft Ba-scriptie Student

Maart-april Contact AIOS-student mbt literatuur vs klinische

vraag-stap 6 en 7 AIOS-student

voor half april Schrijven 2e draft scriptie Student

voor half mei Schrijven eindversie Student

voor half juni Presentatie met beoordeling door AIOS en

opleider Student/AIOS/opleider

voor half juni Beoordeling CAT-proces en scriptie AIOS/opleider

De exacte deadlines worden via Blackboard gecommuniceerd en dient de student zelf in de gaten te

houden. Bovenstaande is een globaal overzicht.

9

In de bijlages staat een gedeelte van de informatie uit het blokboek van de

studenten. Met name zijn de beoordelingsformulieren die jij als AIOS moet

invullen van belang. Deze formulieren staan in KL-APP. Als er

beoordelingen noodzakelijk is wordt er een link naar je gestuurd die direct

toegang geeft tot de beoordelingsformulieren

1. De eindproducten: zoekverslag, CAT-verslag en

de presentatie

Het zoekverslag 1.1.

De informatiespecialisten van de Walaeus bibliotheek hebben spreekuren gepland om je bij het

zoeken van literatuur (stap 3 van de CAT) te helpen. Tijdens het CAT-blok en via Blackboard zal worden

aangegeven hoe je je kunt inschrijven voor de spreekuren. Kom goed voorbereid met je zoekstrategie

naar de spreekuren zodat de tijd die er voor je is gereserveerd door de informatiespecialisten goed

wordt gebruikt.

Uiteindelijk moet je een zoekverslag maken en dat door de Walaeus bibliotheek beoordeeld

zal worden. Als je vanuit eenzelfde klinisch scenario werkt, vraag je elk apart een tijdstip aan.

Een afspraak duurt maximaal 20 minuten. Dat is niet zo lang dus dat betekent dat je zelf al

serieus gezocht moet hebben voordat je komt. Neem je zoekverslag mee naar de afspraak.

Zorg dat je tijdig intekent op de afsprakenlijst.

Slechts bij uitzondering is het mogelijk om een afspraak te maken buiten de gereserveerde

tijden. Stuur hiervoor een email naar cat-project@lumc.nl ovv je naam, studentnummer en de

reden waarom je een afspraak wenst buiten de gereserveerde tijden. Zet bij het onderwerp

van de mail: afspraak Walaeus Bibliotheek. Houd er rekening mee dat het enkele dagen tot

weken kan duren voordat je via deze weg een afspraak hebt.

Uiteindelijk maak je een zoekverslag en bied je dat ter beoordeling aan via KL-APP. Het

literatuuronderzoek dient op systematische wijze te worden uitgevoerd, zoals behandeld is

tijdens blok Vraagstukken Borst en Nieren en het CAT-blok.

Voor de verslaglegging maak je gebruik van het Sjabloon voor het documenteren van

literatuuronderzoek van de Walaeus Bibliotheek dat via KL-APP beschikbaar is. (deadline: zie

Blackboard). Upload het document als Word document. Vanuit een PDF is het niet mogelijk

om de zoekstrategieën in PubMed te controleren.

Wie een onvoldoende heeft gehaald, moet aan de hand van de feedback een verbeterde

versie inleveren. Wie in eerste instantie een onderwerp heeft waarover te weinig literatuur

beschikbaar is en dus een nieuw onderwerp moet kiezen, kan een afspraak maken voor het

extra spreekuur. Het zoekverslag van het oorspronkelijke onderwerp kan worden ingeleverd

voor de beoordeling; het zoekverslag van het nieuwe onderwerp wordt niet meer beoordeeld.

Meer informatie over de spreekuren (data en tijden) volgt via Blackboard.

De scriptie 1.2.

De CAT-scriptie wordt in het Engels geschreven en bestaat uit 3 hoofdstukken. In hoofdstuk 1 beschrijf

je een algemene inleiding voor je onderwerp, gebaseerd op wetenschappelijke literatuur, en het

klinisch scenario (stap 1 van CAT-proces). Vervolgens beschrijf je in dit hoofdstuk de verdere opzet van

10

je scriptie. In hoofdstuk 2 beschrijf je stap 2 t/m 7 van het CAT-proces. In hoofdstuk 3 schrijf je in de

discussie wat volgens jou de volgende stappen zouden moeten zijn op basis van de gevonden uitkomst

van de CAT. In hoofdstuk 3 kun je eventueel gevonden systematische reviews of meta-analyses

betrekken bij je CAT.

1.2.1. Opbouw van de CAT-scriptie

Hieronder volgen enkele richtlijnen voor de opbouw van de scriptie. Hierbij is de aangegeven

hoeveelheid woorden vooral een gemiddelde. De lengte van je scriptie hangt af van je onderwerp en

de hoeveelheid artikelen die je analyseert.

layout:

o Titelpagina

o Chapter 1 General Introduction

(ongeveer 600 woorden, 2-3 pagina’s, regelafstand 1,5. )

o Chapter 2 Critical Appraisal of a Topic

(ongeveer 1500 woorden, 4-8 pagina’s, regelafstand 1,5)

o Chapter 3 Discussion

(maximaal 350 woorden, 1 pagina, regelafstand 1,5)

o References

o Appendix

lettertype en lettergrootte:

o zakelijk en leesbaar (bijv. 11-punt Calibri of Times New Roman)

o regelafstand 1,5.

refereren:

Gebruik consequent de Vancouverstijl voor bronverwijzingen (zie Walaeuswebsite voor

informatie over Vancouverstijl). Software voor referenties wordt aanbevolen, bijvoorbeeld

EndNote.. De Walaeusbibliotheek verzorgt tutorials voor het gebruik van EndNote.

Chapter 1

Algemene inleiding waarin je de volgende onderdelen in een lopend en samenhangend verhaal

beschrijft: klinisch scenario, medisch-wetenschappelijke achtergrond, klinische vraag en opzet van

het verslag

klinisch scenario (stap 1): Beschrijf de medisch-wetenschappelijke achtergrond van het

klinisch scenario, waarbij je het onderwerp in een breder wetenschappelijk perspectief plaatst

voor de lezer. Geef achtergrondinformatie over de aandoening, zoals etiologie, symptomen,

incidentie, prevalentie, morbiditeit, mortaliteit, leefstijlfactoren, risicofactoren en de meest

recente ontwikkelingen.

Beschrijf de huidige aanpak van diagnose, prognose en behandeling; geef aan of er een

gouden standaard is of dat er nog onduidelijkheid bestaat over de beste behandeling.

Bespreek afwijkende theorieën of tegenstrijdige onderzoeksresultaten.

11

Beschrijf de ontbrekende wetenschappelijke informatie die leidt naar de klinische vraag.

Uiteindelijk moet alle achtergrondinformatie uit de inleiding aansluiten bij deze vraag; je laat

de lezer zien waarom het belangrijk is dat de vraag beantwoord wordt.

Uiteindelijk beschrijf je aan het eind van hoofdstuk 1 de klinische vraag (stap2)

Chapter 2

In dit hoofdstuk beschrijf je de stappen 3, 4, 5, 6 en 7 van de CAT:

Literature search (stap 3):

In het verslag beschrijf je hoe je een systematisch literatuuronderzoek hebt uitgevoerd. Plaats

de zoektermen in de Appendix.

Noem de artikelen die je gaat gebruiken en geef duidelijk aan hoe je gekomen bent tot deze

artikelen. Waarom heb je juist deze artikelen gekozen en de andere niet? Hoe heb je

geselecteerd?

Evaluation of articles (stap 4):

Het is de bedoeling dat je 3 tot 4 artikelen beoordeelt. Dit moet primaire literatuur zijn, dus

originele onderzoeken en geen reviews of meta-analyses.

De gevonden literatuur beoordeel je vervolgens per artikel aan de hand van de JAMA-

beoordelingscriteria voor artikelen en beoordelingsformulieren zoals bijgevoegd in de bijlage.

Je beoordeling vormt een essentieel onderdeel van het overtuigen van je lezer in de bottom

line (stap 7)

Je beschrijft eerst kort wat het artikel onderzoekt. Daarna beschrijf je de validiteit van het

artikel aan de hand van de JAMA-beoordelingscriteria en sluit af met jouw beoordeling van de

validiteit om de lezer voor te bereiden op het Commentaar in stap 6. Beschrijf je beoordeling

zo specifiek mogelijk: termen als “goed” of “slecht” zijn onduidelijk voor de lezer.

Het kan soms lastig zijn om stap 4 en 5 uit elkaar te halen. In stap 4 staat het individuele

artikel centraal en met name de beoordeling van de validiteit van het artikel en dus of je wel of

niet de resultaten verder mag gebruiken om een antwoord te vinden op de klinische vraag uit

stap 2. In stap 5 ga je in op de resultaten.

Evidence (stap 5):

Maak een samenvatting, eventueel (maar niet alleen) met een resultatentabel, van de

belangrijkste bevindingen van de gevonden en beoordeelde artikelen om uiteindelijk tot een

conclusie te komen welk bewijs er in de literatuur aanwezig is en of hierop beleid kan worden

gebaseerd. Je trekt hierin nog geen conclusies over de patiënt; deze bewaar je voor stap 6.

Commentary (stap 6):

Bespreek je conclusies uit stap 4 en 5 in de context van de patiënt met diens eventuele

voorkeuren, de setting waarin de patiënt gezien wordt en geef aan wat de uitkomsten van de

CAT voor deze patiënt betekenen.

Bottom Line (stap 7):

12

Een kort en bondig antwoord op de klinische vraag van stap 2. Dit kan in 1 á 2 zinnen.

Chapter 3

Discussion:

In de discussie plaats je de conclusies van de CAT in het bredere medisch wetenschappelijk

perspectief dat je beschreven hebt in hoofdstuk 1 en in relatie tot eventueel beschikbare

systematische reviews of meta-analyses in relatie tot de CAT en de besproken artikelen.

Begin door kort de belangrijkste uitkomst(en) van de CAT samen te vatten en ga vervolgens in

op de vervolgstappen. Hoe nu verder?

Hierbij kun je bijvoorbeeld denken aan:

o vervolgonderzoek: Welk soort onderzoek? Welke onderzoeksopzet?

o behoefte aan nieuwe protocollen of aanpassing van protocollen

o jouw verwachtingen over mogelijke toepassingen van beschreven medische

ontwikkelingen Beschrijf dit alles zo concreet mogelijk en geef voorbeelden. Zorg voor een duidelijke alinea-indeling en geef de samenhang tussen de verschillende alinea’s

aan. Sluit af met een sterke inhoudelijke slotzin of slotalinea. Dit kan bijvoorbeeld je algemene

conclusie zijn, maar ook een toekomstvisie of suggestie.

Presentatie van de CAT 1.3.

De CAT die je gemaakt hebt presenteer je op de afdeling van de AIOS. De duur van de presentatie

wordt bepaald door de afdeling. In de presentatie bespreek je de stappen 1 tm 7 van je CAT. Let hierbij

op het volgende:

Bespreek stap 1 kort en bondig: achtergrondkennis mag bekend worden verondersteld

Laat de zoekstrategie duidelijk naar voren komen en geef aan waarom je de keus gemaakt

heb juist deze artikelen te beoordelen.

Gebruik eventueel een “evidence”-tabel om overzichtelijk de validiteit en resultaten van de

verschillende artikelen te presenteren.

Je AIOS beoordeelt de presentatie.

13

2. Bijlagen

Beoordelingsformulieren kritisch lezen van artikelen 2.1.

Hieronder vind je beoordelingsformulieren voor het beoordelen van een therapeutisch onderzoek (een

gerandomiseerde clinical trial, of observationeel onderzoek), een diagnostische studie en een

prognostische studie.

Beoordelingsformulier Therapeutisch onderzoek

(Guyatt et al. Users Guides to the medical Literature, JAMA 1994)

Validiteit Opmerkingen

1. Waren de patienten gerandomiseerd?

2. Hoe was de randomisatie uitgevoerd?

3. Waren alle patienten die geincludeerd zijn, ook gerapporteerd ?

4. Was de follow-up compleet?

5. Waren alle patienten geanalyseerd in de groep waaraan zij oorspronkelijk waren toegewezen?

6. Waren patienten, behandelaars en beoordelaars geblindeerd?

7. Waren de groepen vergelijkbaar aan het begin van het onderzoek?

8. Waren de groepen gelijk behandeld, afgezien van de experimentele behandeling?

Resultaten

9. Hoe groot was het behandeleffect?

10. Hoe groot is het 95% betrouwbaarheidsinterval van het behandeleffect?

Toepasbaarheid

11. In hoeverre zijn deze resultaten van toepassing op de patient uit de casus?

14

12. Zijn alle klinisch belangrijke uitkomsten onderzocht?

13. Zijn de verwachte voordelen van deze behandeling groter dan de nadelen?

14. Gaat U uw patient nu met deze therapie behandelen? (stap6)

15

Beoordelingsformulier Diagnostische test

(Jaeschke et al. Users Guides to the medical Literature, JAMA 1994)

Validiteit Opmerkingen

1. Is er een valide referentietest (gouden standaard)?

2. Bestaat de patiëntengroep uit personen waarbij de test ook in de praktijk op toegepast wordt?

3. Zijn de test en de gouden standaard onafhankelijk van elkaar uitgevoerd?

4. Is de gouden standaard bij iedereen uitgevoerd, onafhankelijk van het testresultaat?

5. Zijn uitvallers gerapporteerd met de reden van uitval?

Resultaten

6. Wat zijn de sensitiviteit, specificiteit en likelihoodratio’s van de test?

Toepasbaarheid

7. Kan de test op dezelfde manier uitgevoerd worden op de patiënt uit de casus?

8. Wat is de voorafkans en achterafkans op de ziekte voor de patiënt?

9. Zou de testuitslag het verdere medisch handelen beïnvloeden?

10. Wegen de voordelen op tegen de nadelen (mogelijke schade

16

en kosten)?

17

Beoordelingsformulier Prognostisch Onderzoek

(Laupacis, et al. Users Guides to the medical Literature, JAMA 1994)

Validiteit Opmerkingen

1. Is er een representatieve duidelijk omschreven groep patiënten, op een gelijk moment in het ziekteverloop?

2. Is de follow-up voldoende compleet?

3. Zijn de uitkomst criteria objectief vastgesteld, onafhankelijk van de prognostische factoren

4. Zijn de uitkomsten apart vastgesteld voor mensen met verschillende prognostische factoren, of is er een prognostische score gemaakt?

Resultaten

5. Wat is de kans op de uitkomst (in een bepaalde periode)?

6. Hoe nauwkeurig zijn de prognostische schattingen?

Toepasbaarheid

7. Is de bestudeerde patiëntenpopulatie vergelijkbaar met de patiënt uit de casus?

8. Zullen de resultaten van invloed zijn op wat je de

18

patiënt zou vertellen, of de therapie die je zou voorschrijven? (stap 6)

19

Beoordeling CAT-project door AIOS: proces

AIOS/promovendus: ............................................................................. Afdeling .............................................................

Naam student: ....................................................................................... Collegekaartnummer: ......................................

Proces gedurende het Cat-project

onv. vold. goed. zeer

goed

uit-

munt.

1. zelfstandigheid: de student is in staat zelfstandig te werken (voor betekenis van de schaalcijfers zie Instructie: punten C en D.) − zelfstandigheid − kennis van de stappen van de CAT − initiatief: houdt zelf het initiatief voor het verloop van de CAT − snel inwerken − plannen − zo nodig adviezen vragen aan AIOS − benoemt sterke en zwakke kanten van zichzelf / eigen werkzaamheden /

resultaten

2. sociale/contactuele vaardigheden: de student is in staat

adequaat te functioneren

− samenwerking met AIOS − adviezen AIOS gebruiken − staat open voor kritiek / heeft zelfreflectie − rapporteert regelmatig voortgang

3. motivatie van de student

− enthousiasme − gedrevenheid bij het uitvoeren van de CAT

Oordeel in woorden (sterke punten, verbeterpunten e.d.)

..........................................................................................................................................................................................................

..........................................................................................................................................................................................................

20

Concept Beoordeling CAT-project door AIOS: CAT-verslag

AIOS/promovendus: Afdeling:

Naam student: ....................................................................................... Collegekaartnummer: ......................................

CAT- verslag: beoordeling AIOS

onv. vold. goed. zeer

goed uit-

munt.

Chapter 1: Background/klinisch scenario

− Adequate uitleg van de ziekte, patient en patient gerelateerd factoren − Goede verdieping van achtergrond ten aanzien van diagnose, behandeling

of prognose

− Relevante uitleg van het klinisch probleem waar de CAT zijn relevantie

aan ontleent ten aanzien van diagnose, behandeling of prognose

Chapter 2: Critical Appraisal of a Topic

1. Klinische Vraag

− Sluit goed aan op het klinisch scenario − Formulering van de vraag is goed − Vraag bevat alle elementen nodig voor de literatuur search

2. Literatuur search

− Beschrijving van de zoekstrategie, termen en keuzes die gemaakt zijn om

tot relevante artikelen te komen − Motivering van de keus van de artikelen, bijvoorbeeld aard van de

populatie, primaire bron, taal, datum

3. Beoordeling artikelen

− Benoemen van belangrijkste sterke en zwakke methodologische punten − Zijn de resultaten goed weergegeven en beoordeeld op klinische

relevantie

− Kwaliteit van de beschrijving (helder, kort, bondig)

4. Samenvatting van de gevonden literatuur

− Samenvatting van de methodologische kwaliteit van gevonden literatuur − Samenvatting van de belangrijkste uitkomstmaten (evt in tabel vorm)

− Conclusie op basis de samenvatting tav test, behandeling, prognose

5. Commentaar mbt bruikbaarheid

− Kritische kijk op bruikbaarheid tav patient uit klinsch scenario − Vertaling van onderzoekspopulatie naar patient, gelet op

kosteneffectiviteit, juridisch en/of ethische dilemma’s

− Kwaliteit van de formulering

6. Bottom Line

− Zinvol antwoord op klinische vraag obv de literatuur − Kwaliteit formulering bottom line

Chapter 3: future perspective

− Relevante schets van waar het gevonden resultaat vanuit de CAT toe moet

leiden − Goede argumentatie waarom het gevonden resultaat van de CAT tot dit

toekomst perspectief moet leiden

Oordeel in woorden (sterke punten, verbeterpunten e.d.)

..........................................................................................................................................................................................................

..........................................................................................................................................................................................................

21

Beoordeling CAT-project door AIOS: CAT-presentatie AIOS/promovendus: Afdeling

Naam student: ....................................................................................... Collegekaartnummer: ......................................

Presentatie CAT

onv. vold. goed. zeer

goed

uit-

munt.

1. inhoud/opbouw

− lijn in betoog, samenhangend verhaal − kwaliteit van de uitleg − goede beschouwing van literatuur in het kader van klinisch scenario − conclusie is echt antwoord op de klinische vraag − Neemt inhoudelijk deel aan de discussie − Kwaliteit van de argumentatie

2. presentatievaardigheden

− levendigheid (houding, enthousiasme) − ondersteunend mediagebruik (powerpoint, dia’s helder en niet te vol) − contact met publiek (oogcontact, beantwoording van vragen, discussie,

interactiviteit) − tijdgebruik

− stemgebruik, intonatie en articulatie

Oordeel in woorden m.b.t. I en II (sterke punten, verbeterpunten e.d.)

..........................................................................................................................................................................................................

..........................................................................................................................................................................................................

22

Instructie

A. Beoordeling

Bij ieder van de beoordelingsaspecten staat met liggende streepjes een aantal kernbegrippen aangegeven. Lees

alle beoordelingsaspecten door voordat u de student op één betreffend aspect beoordeelt om te voorkomen dat

de beoordeling "doorzingt" naar andere aspecten. Het is uitdrukkelijk de bedoeling om ieder beoordelingsaspect

apart te beoordelen (dat wil zeggen: zonder te kijken naar wat u bij de andere aspecten heeft gegeven).

B. Gebruik van het formulier

Dit formulier dient enerzijds om de eindbeoordeling te uniformeren, anderzijds helpt het u om de student

feedback te geven op zijn/haar prestaties.

C. Schaalpunten

Voor het geven van de schaalpunten kunt u het volgende in gedachten houden:

5: uitmuntend: behorend bij de top 2% van studenten,

u ziet zo'n student wellicht niet meer dan eens in de 5 jaar.

4: zeer goed: behorend bij de top 20% van studenten,

u ziet zo'n student wellicht niet meer dan eens per jaar.

3: goed: behorend bij 60% van studenten,

u ziet zo'n student zeer regelmatig.

2: voldoende: 90% van de studenten hoort niet in deze categorie,

Deze student komt u veel minder vaak tegen dan de ‘goed-student’. Het is de student die

uitsluitend het strikt noodzakelijke doet om te slagen.

1: onvoldoende: 99% van de studenten hoort niet in deze categorie,

De begeleiding zal de student in veel gevallen zodanig bijsturen dat deze voldoende leert

en vaardigheden verwerft om toch (net) voldoende te scoren.

D. Voorbeelden van interpretatie van de schaalpunten bij de diverse beoordelingsaspecten

Beoordeling van het CAT-proces

Onvoldoende voldoende goed. zeer goed uitmuntend

1. Zelfstandigheid: de student is in staat zelfstandig te werken

De student werkt

nauwelijks zelfstan-dig.

De student moet sterk

worden gestuurd door de begeleider, ziet eigen zwakke

kanten nauwelijks.

De student kan zelfstandig

werken, plannen en vraagt bijtijds adviezen.

De student kan goed

zelfstandig werken, heeft een goede planning. Is in staat te

reflecteren op eigen

werkzaamheden.

De student werkt geheel

zelfstandig, heeft een goede en realistische planning, reflecteert

op eigen werkzaamheden en op

eigen werkprocessen en vaardigheden.

2. Sociale en contactuele eigenschappen Iemand die geheel zijn

eigen weg gaat en adviezen van

begeleider niet

opvolgt.

Heeft moeite met

samenwerken. Treedt weinig in overleg met begeleider.

Hoort adviezen aan, maar

gaat er selectief mee om. Reageert positief op kritiek,

maar kan gedrag niet goed

aanpassen.

Werkt redelijk samen.

Gebruikt adviezen en gebruikt kritiek bij verder

handelen. Rapporteert over

vorderingen.

Werkt goed samen. Vraagt

adviezen alleen indien nodig en stimuleert anderen commentaar

op zijn werk te geven. Weet

commentaar goed te verwerken in verder handelen. Geeft

regelmatig helderheid

over voortgang.

Werkt uitstekend samen en

weet het voortouw te nemen. Vraagt aan begeleider en

anderen adviezen indien nodig

en stelt werk en zichzelf open voor kritiek. Weet commentaar

te verwerken.

3. Motivatie van de student Vindt het doen van

een CAT niet nodig

om een goede arts worden. Loopt de

kantjes ervan af.

Doet de CAT omdat het

moet. Werkt netjes en doet

de CAT in de lijn van wat in het blokboek staat. Toont

geen interesse in de

achtergrond van de CAT.

Is duidelijk geïnteresseerd in

de CAT en ziet dit als een

essentieel onderdeel van het (straks) arts zijn.. Ziet het

kritisch beschouwen van

medisch handelen als noodzakelijk om de

geneeskunde verder te

brengen.

Werkt hard en ziet de CAT als

een essentieel onderdeel van de

geneeskunde. Is enthousiasmerend. Toont

betrokkenheid,

merkbaar aan de wens tot uitdragen van de

gevonden CAT uitkomst

middels presentatie en verslaglegging.

Toont uitzonderlijke interesse

In de achtergrond en

uitkomsten van de CAT. Toont zich gedreven

in het vergaren van

kennis door o.a. alles te (willen) weten over het

onderwerp. Gebruikt deze

kennis en draagt deze uit. Kan in hoge mate mensen om zich

heen enthousiasmeren.

Beoordeling CAT verslag/bachelor scriptie onvoldoende voldoende goed. zeer goed uitmuntend

Chapter 1: Background/klinisch scenario De student kan het

klinisch scenario niet in een breder kader

plaatsen en geeft niet

aan waarom dit de basis vormt voor een

CAT.

De student beschrijft

oppervlakkig de achtergrond van het klinisch scenario en

geeft enig inzicht waarom dit

de basis vormt voor de CAT

De student beschrijft op een

heldere manier de achtergrond van het klinisch

scenario en geeft goed aan

waarom dit de basis vormt voor de CAT

De student beschrijft op een

korte en heldere manier de achtergrond van het klinische

scenario en toont inzicht te

hebben in het mechanisme van klacht-ziekte en behandeling.

Geeft goed aan waarom dit de

basis vormt voor de CAT

De student beschrijft de

achtergrond op “review” niveau in een internationaal

tijdschrift en geeft uitstekend

aan waarom dit de basis vormt voor de CAT.

Chapter 2: Critical Appraisal of a Topic

1. Klinische vraag De student kan niet de

relevante elementen

van de CAT uit het klinisch scenario in

De student heeft de relevante

elementen uit het klinisch

scenario samengevat maar geen heldere vraag

De student heeft de relevante

elementen uit het klinisch

scenario samengevat en hier acceptabele vraag

De student heeft de relevante

elementen uit het klinisch

scenario samengevat en een heldere vraag geformuleerd.

De student heeft de relevante

elementen uit het klinisch

scenario samengevat en een korte, bondige en heldere vraag

23

een korte en bondige

vraag samenvatten

geformuleerd. geformuleerd. geformuleerd.

2. Literatuur search

De student heeft niet

de juiste zoekstrategie gebruikt zodat er geen

of niet relevante

artikelen zijn gevonden

De student heeft zonder

duidelijke kennis van PubMed een zoekstrategie

geformuleerd waar wel enige

relevante artikelen uit zijn gekomen

De student heeft met goede

kennis van PubMed een zoekstrategie geformuleerd

waar wel relevante artikelen

uit zijn gekomen

De student heeft met heldere en

uitgebreide zoekstrategie geformuleerd met gevorderde

kennis van PubMed waar

relevante artikelen uit zijn gekomen

De student heeft met heldere en

uitgebreide zoekstrategie geformuleerd met professionele

kennis van PubMed waar

relevante artikelen uit zijn gekomen

3. Beoordeling artikelen

De student heeft niet

goed aangegeven wat de methodologische

kwaliteit van de

artikelen is en of de resultaten valide of

niet zijn.

De student heeft aangegeven

wat de methodologische kwaliteit van de artikelen is

en geeft enig inzicht in de

validiteit van de resultaten.

De student geeft goed aan

wat de methodologische kwaliteit aan van de

gevonden artikelen en geeft

goed inzicht in de validiteit van de resultaten.

De student geeft uitgebreid aan

wat de methodologische kwaliteit van de gevonden

artikelen is en geeft uitstekend

inzicht in de validiteit van de resultaten.

De student geeft uitmuntend

aan wat de methodologische kwaliteit van de gevonden

artikelen is en geeft met bijna

professioneel inzicht in de validiteit van de resultaten aan.

4. Samenvatting van de gevonden literatuur

De student is niet in

staat om op overzichtelijke wijze

de resultaten van de

gevonden artikelen weer te geven en

samen te vatten.

De student heeft de

resultaten op een onoverzichtelijke manier

samengevat maar geeft wel

een acceptabeleconclusie van de gevonden literatuur.

De student heeft de resultaten

op een overzichtelijke manier samengevat en geeft een

goede conclusie van de

gevonden literatuur.

De student heeft de resultaten

op een overzichtelijke manier geanalyseerd en geeft een wel

overwogen conclusie van de

gevonden literatuur.

De student heeft de resultaten

op meta-analyse niveau weer en geeft een weloverwogen en

juiste conclusie van de

gevonden literatuur.

5. Commentaar bruikbaarheid De student is niet in

staat op basis van de

klinische vraag en de

samenvatting van de literatuur tot een

weloverwogen

commentaar te komen.

De student is in staat op

basis van de klinische vraag

en de samenvatting van de

literatuur tot een weloverwogen commentaar

te komen.

De student is in staat de

klinische vraag en de

samenvatting van de

literatuur goed te becommentariëren en een

weloverwogen commentaar

te komen in de juiste setting van het klinisch scenario.

De student is in staat de

klinische vraag en de

samenvatting van de literatuur

in een breder perspectief te plaatsen en tot weloverwogen

commentaar te komen in de

juiste setting van het klinisch scenario.

De student is in staat op

“editorial” niveau een

commentaar te geven op de

klinische in relatie tot de gevonden literatuur.

6.Bottom Line

De student geeft geen

logisch antwoord op de klinische vraag

De student geeft een logisch

antwoord op de klinische vraag.

De student geeft een goed

geformuleerd en logisch antwoord op de klinische

vraag.

De student geeft een goed

geformuleerd en bondig antwoord op de klinische vraag

De student geeft een zeer

scherp en helder antwoord op de klinische vraag

Chapter 3: future perspective De student kan de

uitkomst van de CAT niet in breder

perspectief plaatsen

en niet aangeven wat er met de resultaten

moet worden gedaan.

De student komt met een

duidelijk en logisch vervolg op de uitkomst van de CAT.

De student kan de uitkomst

van de CAT in breder perspectief plaatsen en goed

aangeven wat eventuele

vervolg stappen moeten zijn.

De student kan de uitkomst van

de CAT in breder perspectief plaatsen en bespreken zodanig

dat in een helder vervolgplan

beschreven wordt wat de verdere stappen moeten zijn.

De student kan de uitkomst van

de CAT in breder perspectief plaatsen en geeft uitstekend

weer wat de vervolg acties

moeten zijn met bijvoorbeeld een uitgewerkt

onderzoeksvoorstel, voorstel

voor een richtlijn oid.

Presentatie CAT

onvoldoende voldoende goed. zeer goed uitmuntend

1. Inhoud en opbouw van de presentatie

De presentatie heeft geen goede opening,

de inhoud is niet

onderbouwd, bottomline volgt niet

duidelijk uit de

gepresenteerde resultaten. Geen

discussie.

De presentatie geeft fragmentarisch beeld

van de CAT. De CAT wordt

wel goed gepresenteerd, maar de onderbouwing is

matig. De lijn is niet altijd

duidelijk en de bottom line volgt niet uit de gevonden en

samengevatte literatuur. De

discussie is zwak.

De presentatie geeft redelijk beeld van de CAT,geeft aan

wat de

kernpunten zijn, maar kan soms duidelijker. De

samenhang kan beter. Uitleg

hoe men aan de bottom line komt, is niet altijd helder en

plaatsing in een groter kader

ontbreekt.

De presentatie geeft volledig beeld van de CAT heldere

opbouw in

inleiding resultaten en discussie. Goede en duidelijk

presentatie van de verschillende

stappen van de CAT in een pakkend verhaal. Weet plaats

de CAT in een algemeen kader

uit te leggen. Goede discussie.

De presentatie heeft een zeer mooie en duidelijke opbouw,

zeer goede inleiding,

fraaie bespreking van verschillende CAT-stappen en

uitstekende discussie met

perspectief naar toekomstige implementatie. Heeft de

status van "key note lecture" op

een belangrijk internationaal congres.

2. Presentatievaardigheden

De student geeft een

voorgelezen

presentatie, geen dia's,

geen contact met

publiek, kan vragen

niet beantwoorden.

De student heeft een vlakke

toon, veel stopwoorden,

matige dia's en

weinig contact met publiek,

loopt uit in tijd. Kan wel

vragen beantwoorden en de CAT toelichten.

De student weet toehoorders

wel te

boeien, maar niet alert op

reacties uit publiek. Nette

dia's, die het publiek voor

kennisgeving aanneemt. Net verstaanbaar, loopt uit in tijd.

De student geeft een levendige

en enthousiaste presentatie,

heldere formulering, goed

verstaanbaar, mooie dia's, goed

(oog)contact met publiek,

goede tijdsplanning.

De student geeft een

charismatische presentatie,

prachtige audiovisuele

ondersteuning, fraaie

formulering, speelt in op

publiek, laat ruimte voor discussie, goede

tijdsplanning.

24

2de

Beoordeling CAT-verslag

Datum:

Naam student:…………………………………………….Collegekaartnummer…………….

Naam beoordelaar: .................................................................... Afdeling:……………………

Naam AIOS…………………….

CAT- verslag: beoordeling Opleider/Opleidersgroep

Oordeel in woorden (sterke punten, verbeterpunten e.d.)

..........................................................................................................................................................................................................

..........................................................................................................................................................................................................

Eindoordeel CAT-verslag: cijfer 5-9

25

Beoordeling CAT-AIOS door Student

AIOS: ..................................................................................................... Afdeling .............................................................

Naam student: ....................................................................................... Collegekaartnummer: ......................................

Bgeleiding gedurende het Cat-project

onv. vold. goed. zeer

goed

uit-

munt.

1. begeleiding:

− kennis van de stappen van de CAT − houdt controle op het verloop van de CAT − is makkelijk benaderbaar − houdt zich aan afspraken − reageert op vragen-emails − benoemt sterke en zwakke kanten van de student − geeft goede feedback

2. sociale/contactuele vaardigheden:

− samenwerking met student − staat open voor kritiek / heeft zelfreflectie − vraagt regelmatig naar de voortgang

3. motivatie van de AIOS

− enthousiasme − gedrevenheid bij het begeleiden van de CAT

Oordeel in woorden (sterke punten, verbeterpunten e.d.)

.........................................................................................................................................................................................................

.........................................................................................................................................................................................................

26

Bijlage: Toetsprogramma CAT-project In overleg met de decaan, examencommissie en opleiders is besloten dat 1) elke student een

individueel CAT-verslag moet maken dat geldt als bachelorscriptie en dat 2) gezien de

beschikbaarheid van de AIOS vooralsnog is besloten dat een AIOS 2 studenten kan begeleiden, maar

dat er dus separate 2 scripties geproduceerd moeten worden.

Omdat het maken van de CAT verschillende vaardigheden vraagt, is een toetsprogramma opgesteld

waarbij de afzonderlijke onderdelen los van elkaar worden beoordeeld. Het eindcijfer bestaat uit

een gewogen gemiddelde van de verschillende deelcijfers – elk deelcijfer moet afzonderlijk

voldoende zijn.

Beoordeling % van het eindcijfer

Kennis en inzicht

1. Toets aan het eind van het CAT-blok

10%

1. AIOS beoordeling verslag (inhoud)

Vaardigheid

2. AIOS beoordeling CAT-presentatie (vorm en

inhoud)

3. CiS beoordeling verslag (structuur - redenering-

wetenschappelijk taalgebruik (Engels))

Professioneel gedrag

4. AIOS beoordeling proces/samenwerking

5. CiS beoordeling werkgroep participatie/peer

evaluatie

30%

20%

15%

20%

5%

Totaal 100%