Ontwikkeling en validatie van Ontwikkeling en validatie van het GRIF reminder systeemhet GRIF reminder systeem

R. Winkens R. Winkens 22, J. van Wersch, J. van Wersch 3 3, P. Pop , P. Pop 22 en A. Hasman en A. Hasman 11

1 1 Universiteit Maastricht Universiteit Maastricht

i.s.m. i.s.m.

2 2 T&DC Maastricht en T&DC Maastricht en 3 3Atrium Medisch Centrum HeerlenAtrium Medisch Centrum Heerlen

Rianne Bindels Rianne Bindels 11

Medical Informatics, Maastricht University

OverzichtOverzicht

Wat is het GRIF?Wat is het GRIF? Hoe werkt GRIF?Hoe werkt GRIF? Validatie GRIFValidatie GRIF

– DoelDoel– OpzetOpzet– ResultatenResultaten– ConclusiesConclusies

Medical Informatics, Maastricht University

Wat is GRIF?Wat is GRIF?

GRIFGRIFGeautomatiseerde Reminders Geautomatiseerde Reminders

als Interactieve Feedbackals Interactieve Feedback

DoelDoelBevordering van de rationaliteit van het Bevordering van de rationaliteit van het

aanvraaggedrag van huisartsenaanvraaggedrag van huisartsen

Medical Informatics, Maastricht University

Persoonlijke feedback T&DCPersoonlijke feedback T&DC (Winkens et al. 1995)(Winkens et al. 1995)

– sinds 1985 sinds 1985 – gebaseerd op richtlijnen gebaseerd op richtlijnen – speciaal aanvraagformulierspeciaal aanvraagformulier

Nadelen:Nadelen:– twee maal per jaar, retrospectief twee maal per jaar, retrospectief – arbeidsintensiefarbeidsintensief

Wat is GRIF?Wat is GRIF?

Medical Informatics, Maastricht University

GRIF reminder systeemGRIF reminder systeem

VertalingVertaling van van geschreven richtlijnen geschreven richtlijnen

naar regelsnaar regels

Richtlijn

Regels

Medical Informatics, Maastricht University

Richtlijn

Regels

GRIF reminder systeemGRIF reminder systeem

24 NHG standaarden24 NHG standaarden 20 regionale werkafspraken20 regionale werkafspraken

Medical Informatics, Maastricht University

diagnostische testsdiagnostische tests medische informatiemedische informatie leeftijd/geslachtleeftijd/geslacht

Richtlijn

Regels

GRIF reminder systeemGRIF reminder systeem

24 NHG standaarden24 NHG standaarden 20 regionale werkafspraken20 regionale werkafspraken

Medical Informatics, Maastricht University

Richtlijn

Regels OpslaanOpslaan van regels in een van regels in een

Kennisbestand (KB)Kennisbestand (KB)

GRIF reminder systeemGRIF reminder systeem

KB

Medical Informatics, Maastricht University

Richtlijn

Regels

149 regels (reminders)149 regels (reminders) 78 verschillende tests78 verschillende tests Diverse medische Diverse medische

problemenproblemen Gebruik ICPC-codesGebruik ICPC-codes

GRIF reminder systeemGRIF reminder systeem

KB

Medical Informatics, Maastricht University

HIS

Aanvraag module

ICPC-module

KB

GRIF reminder systeemGRIF reminder systeem

MicroHisMicroHis– NAW-gegevensNAW-gegevens– ProbleemlijstProbleemlijst– MedicatieMedicatie

Medical Informatics, Maastricht University

HIS

Aanvraag module

ICPC-module

KB

GRIF reminder systeemGRIF reminder systeem

Aanvraag module GRIFAanvraag module GRIF– Vermoedelijke diagnoseVermoedelijke diagnose– Reden van aanvraagReden van aanvraag– TestsTests

Medical Informatics, Maastricht University

HIS

Aanvraag module

ICPC-module

KB

Evaluatiemodule

Reminder

Geen reminder

GRIF reminder systeemGRIF reminder systeem

Medical Informatics, Maastricht University

Reminder 1

Reminder 2

Medical Informatics, Maastricht University

ValidatieValidatie

Vergelijken van de Vergelijken van de

beoordeling van rationaliteit beoordeling van rationaliteit

tussen het GRIF reminder systeem tussen het GRIF reminder systeem

en een expert en een expert

Medical Informatics, Maastricht University

253 Formulieren archief T&DC 253 Formulieren archief T&DC Beoordeling rationaliteit doorBeoordeling rationaliteit door

– reminder systeem reminder systeem – expertexpert– panel van twee deskundigenpanel van twee deskundigen

Consensus van panel als referentieConsensus van panel als referentie Onterechte reminders beoordeeld door panelOnterechte reminders beoordeeld door panel

OpzetOpzet

Medical Informatics, Maastricht University

Totaal: 1225 testaanvragen Totaal: 1225 testaanvragen Gemiddeld per formulier:Gemiddeld per formulier:

– 5 testaanvragen5 testaanvragen– 2 reminders2 reminders

28% formulieren > 3 reminders28% formulieren > 3 reminders Maximum: 8 remindersMaximum: 8 reminders 61 verschillende reminders gevuurd61 verschillende reminders gevuurd

Resultaten Resultaten (1)(1)

Medical Informatics, Maastricht University

Expert SysteemExpert Systeem

KappaKappa 0.47 0.47 0.410.41

% Overeenstemming% Overeenstemming 7676 7171

Resultaten Resultaten (2)(2)

Medical Informatics, Maastricht University

RedenReden Aantal onterechte Aantal onterechte remindersreminders

Systeem checkt nietSysteem checkt niet 1717

Impliciete informatieImpliciete informatie 44

Resultaten Resultaten (3)(3)

TotaalTotaal 24 (5,4%)24 (5,4%)

Ontbrekende ICPC in regelOntbrekende ICPC in regel 33

Medical Informatics, Maastricht University

OvereenstemmingOvereenstemming % % KappaKappa

Panellid 1 - panellid 2Panellid 1 - panellid 2 7777 0.440.44

Intrabeoordelaar expertIntrabeoordelaar expert 8585 0.680.68

Resultaten Resultaten (4)(4)

Medical Informatics, Maastricht University

Redenen lagere overeenstemming:Redenen lagere overeenstemming:– Slechts 33% adviezen vertaaldSlechts 33% adviezen vertaald– Context aanvraagContext aanvraag– Constructie remindersConstructie reminders

Variatie in beoordeling door cliniciVariatie in beoordeling door clinici

DiscussieDiscussie

Medical Informatics, Maastricht University

Conclusie en ToekomstConclusie en Toekomst

Evaluatie GRIF in dagelijks gebruikEvaluatie GRIF in dagelijks gebruik

EffectiviteitEffectiviteit ToepasbaarheidToepasbaarheid

Prestatie systeem acceptabelPrestatie systeem acceptabel