VERIFICATIE INFORMATICAPROGRAMMA’S

Johan Guns

I

EN-ISO 15189:2012

Systemen die worden gebruikt voor het verzamelen, verwerken, registreren,

rapporteren, opslaan of terughalen van onderzoeksgegevens en informatie

moeten:

a) Gevalideerd zijn door de leverancier en geverifieerd op functioneren door

laboratorium, waarbij wijzigingen aan het systeem voorafgaand aan de

implementatie worden goedgekeurd, gedocumenteerd en geverifieerd;

b) Gedocumenteerd zijn, m.i.v. documentatie dagelijks functioneren;

c) Beschermd zijn tegen onbevoegde toegang;

d) Beveiligd zijn tegen manipulaties of verlies;

17-11-2018

Verificatie informaticaprogramma’s

5.10.3 Informatiesysteemmanagement

I

EN-ISO 15189:2012

Systemen die worden gebruikt voor het verzamelen, verwerken, registreren,

rapporteren, opslaan of terughalen van onderzoeksgegevens en informatie

moeten:

e) Bediend worden volgens voorschriften leverancier, of i.g.v. niet-

geautomatiseerde systemen voorwaarden scheppen die de nauwkeurigheid van

handmatige registratie en transcriptie beveiligen;

f) Onderhouden worden op een manier die de integriteit van data en informatie

bewerkstelligt, inclusief registratie van systeemstoringen en corrigerende

maatregelen;

g) Voldoen aan nationale of internationale eisen betreffende beveiliging van

gegevens.

17-11-2018

Verificatie informaticaprogramma’s

5.10.3 Informatiesysteemmanagement

I

EN-ISO 15189:2012

h) Gedocumenteerde procedure die de geheimhouding van patiëntinformatie te

allen tijde borgt;

i) Gedocumenteerd noodplan moet beschikbaar zijn;

j) Externe systemen die bedoeld zijn om informatie direct te ontvangen

(Medibridge, fax, email, websites, …) moeten geverifieerd worden opdat de

onderzoeksresultaten, betrokken informatie en commentaar nauwkeurig

worden weergegeven.

17-11-2018

Verificatie informaticaprogramma’s

5.10.3 Informatiesysteemmanagement

I

PRAKTIJKRICHTLIJN KLINISCHE BIOLOGIE VERSIE 3:2017

a) Aanstelling van een beheerder/verantwoordelijke binnen het laboratorium voor

de informaticasystemen;

b) SLA’s opstellen met interne en externe partijen die mede verantwoordelijkheid

dragen in de borging van informaticasystemen;

c) Procedure die de geheimhouding van patiëntinformatie te allen tijde borgt;

d) Procedure waarin het periodiek testen van hardware systemen wordt

beschreven;

e) Procedure voor periodiek testen van datatransmissie van gegevens;

f) Traceerbaarheid van wijzigingen in de informaticasystemen;

g) Informatica systemen betreffen ook interfaces

17-11-2018

Verificatie informaticaprogramma’s

5.10 Laboratorium informaticasysteem

I

PRAKTIJKRICHTLIJN KLINISCHE BIOLOGIE VERSIE 3:2017

g) Autoverificatie laboratoriumresultaten met expertsystemen

De gebruikte criteria tijdens de autoverificatie moeten worden opgenomen in

een procedure

Beschrijving van de regels die gebruikt worden in het expertsysteem

Periodiek testen van het functioneren van het expertsysteem

Praktijkrichtlijn pathologische anatomie versie 1 (2014) volgt de ISO15189:2012

17-11-2018

Verificatie informaticaprogramma’s

5.10 Laboratorium informaticasysteem

I

Federal Drug Administration, USA

17-11-2018

Verificatie informaticaprogramma’s

Software verification and validation are difficult

because a developer cannot test forever, and it is

hard to know how much evidence is enough.

In large measure, software validation is a matter of

developing a “level of confidence” that the device

meets all requirements and user expectations for the

software automated functions and features of the

device.

I

VERIFICATIE STRATEGIE

Software verificatie is een kwestie van het ontwikkelen van een zeker “niveau van

vertrouwen” dat de informatiesystemen voldoen aan de eisen en verwachtingen

van de gebruiker

De graad van vertrouwen is afhankelijk van het risicoprofiel van het laboratorium:

Patiëntveiligheid

Continuïteit van de laboratoriumanalyses

Data integriteit (de mate dat de collectie van data volledig, consistent en

accuraat gebeurt, alsook het behoudt van de relatie tussen data)

17-11-2018

Verificatie informaticaprogramma’s

I

VALIDATIE VERSUS VERIFICATIE

Validatie:

Bevestiging, aan de hand van objectief bewijs, dat de methode, apparaat, software

voldoet aan de eisen van een specifiek bedoeld gebruik of toepassing.

Verificatie:

Bevestiging aan de hand van objectief bewijs dat een methode, apparaat, software

voldoet aan de omschreven eisen, dat specifieke prestatiekenmerken worden

behaald.

17-11-2018

Verificatie informaticaprogramma’s

EN-ISO 15189:2012

I

VALIDATIE/VERIFICATIE MASTERPLAN

17-11-2018

Verificatie informaticaprogramma’s

V-model – risico gebaseerde implementatie volgens GAMP5

I

USER REQUIREMENTS SPECIFICATIONS (URS)

17-11-2018

Verificatie informaticaprogramma’s

I

HIËRARCHISCHE RISICOANALYSE

Gestoeld op 12 gesloten “ja” of “neen” vragen die volgende types van risico’s

inschatten:

a) Genereert het systeem kritische meetresultaten of informatie?

b) Berekent het systeem meetresultaten?

c) Moet het systeem worden gekalibreerd?

d) Zendt het systeem kritische meetresultaten of informatie door?

e) Registreert of archiveert het systeem kritische meetresultaten of informatie?

f) Wat is de graad van impact op de meetresultaten?

g) Wat is de graad van complexiteit van het informatiesysteem?

17-11-2018

Verificatie informaticaprogramma’s

Model UZ Brussel afgeleid van Burgess and McDowall, 2013

Burgess C. and McDowall R. An integrated risk assessment for analytical instruments and compuerized laboratory systems. Spectroscopy 28 (11), november 2013, p. 1-7.

I

COMPLEXITEIT GEAUTOMATISEERDE INSTRUMENTEN

Type 1: Infrastructuur software

Operating systems, JAVA, SQL

Type 3: Niet-configureerbare software

Commercial off-the-shelf software (COTS) vb. rekenbladen en

tekstverwerkingspakketten, anti-virus, Skype for business, …

Type 4: Configureerbare software

LIMS, ZIS, ERP, FMIS, monitoring software, rekenbladen met macro’s,

expert systemen, …

Type 5: Software ontwikkeld op maat

17-11-2018

Verificatie informaticaprogramma’s

GAMP5

I

COMPLEXITEIT GEAUTOMATISEERDE INSTRUMENTEN

Hoge impact data

Directe impact op de resultaten medische analyses

Gemiddelde impact data

Indirecte impact op de resultaten medische analyses

Lage impact data

Verwaarloosbare impact op de resultaten medische analyses

17-11-2018

Verificatie informaticaprogramma’s

Impact data

I

HIËRARCHISCHE RISICOANALYSE: COMPLEXITEITSNIVEAU

17-11-2018

Verificatie informaticaprogramma’s

Voorbeeld: bloedkweekautomaat

I

CLASSIFICATIE INFORMATIESYSTEMEN

17-11-2018

Verificatie informaticaprogramma’s

Voorbeeld: bloedkweekautomaat

I

INSTALLATIE KWALIFICATIE (IQ)

Door de leverancier onder toezicht van het laboratorium:

? Levering volledig – Installatie laatste versie software

? Documentatie volledig

? Veiligheidscertificaten

? Gebruikershandleiding

? Ingebruikstelling

? Netstroomaansluiting

? Zelf-diagnostische systemen

? Werking interfaces -Netwerkverbindingen

? Toegang - Rollen gebruikers

? Back-up systemen

? Redundantie van hard- en softwaresystemen

17-11-2018

Verificatie informaticaprogramma’s

Voorbeeld: bloedkweekautomaat

I

OPERATIONELE KWALIFICATIE (OQ)

Door de leverancier onder toezicht van het laboratorium:

? Werking/herkenning barcodes - monsteridentificatie

? Lotnummerbeheer – vervaldatum

? Kalibratie monitoring sensor / mapping incubator

? Controle alarmen

? Limieten

? Regels

? Alarmen

? Transfer resultaten – integriteit data, foutcodes, referentiewaarden

? Groei en detectie van standaard stammen (aeroob/anaeroob)

? Uitval netstroom

17-11-2018

Verificatie informaticaprogramma’s

Voorbeeld: bloedkweekautomaat

I

PERFORMANTIE KWALIFICATIE (PQ)

Door het laboratorium, sterk afhankelijk van de URS:

? Detectiegrens vb. 10-100 KVE

? Inhibitie antibiotica door resinen vb. verschillende concentraties van

verschillende antibiotica of mengelingen

? Duur kweek vb. trage groeiers zoals Propionibacterium acnes

? Volume monster

? Matrix monster

? Transfer eigen foutcodes/informatie

? Controle cascade communicatie

17-11-2018

Verificatie informaticaprogramma’s

Voorbeeld: bloedkweekautomaat

I

REKENBLADEN MET REKENKUNDIGE FORMULES

Gecontroleerd document

Bescherm het tegen onbevoegde

toegang vb. paswoord

Rekenkundige formules

Bescherm cellen met formules

Bescherm cellen met kritieke data zoals

referentiewaarden

Controleer de formules vb. gebruik bij

iedere versie eenzelfde dataset

Back-up data vb. server

Verifieer na aanpassingen

17-11-2018

Verificatie informaticaprogramma’s

I

EXPERTSYSTEMEN

Kennisbank en de regels vallen veelal onder

de vuistregel “het geheim van de kok”.

Maak gebruik van een vaste set

onderzoeksgegevens om periodiek de

werking van het expertsysteem te testen

17-11-2018

Verificatie informaticaprogramma’s

expert

expertsysteem

gebruiker

Kennis bank

Kennis acquisitie

RegelsUser

interface

I

VERIFICATIE UPGRADES/AANPASSINGEN CONFIGURATIE

Zie er steeds op toe wanneer upgrades worden geïnstalleerd;

Implementeer een “change control” proces;

De leverancier (intern/extern) moet “release notes” aanleveren;

Toets de “release notes” af t.o.v. de vooraf geïdentificeerde “critical care points”

van de applicatie (risico gebaseerd);

Herhaal de verificatie of bepaalde stappen van de verificatie in functie van de

risicoanalyse;

Gebruik voor de verificatie van stand-alone software bij voorkeur een test

server;

De upgrade van de applicatie kan opnieuw in gebruik worden van zodra de

verificatie werd afgerond.

17-11-2018

Verificatie informaticaprogramma’s

I

VERIFICATIE UPGRADES

17-11-2018

Verificatie informaticaprogramma’s

Voorbeeld: risico gebaseerde verificatie update VITROS 4600

• Check of conditiecodes goed worden

getoond, aangezien dit invloed heeft op

patiëntveiligheid/kwaliteit resultaat

• Check of communicatieproblemen

werden opgelost, wat invloed heeft op

continuïteit analyse

• Check de versleuteling resultaat,

aangezien dit invloed heeft op de data-

integriteit

I

VERIFICATIE INFORMATIESYSTEMEN DOCUMENTEREN

Item Criteria Test Resultaat

Instelling Gebaseerd op criteria opgesteld door de gebruiker/afwijkingen

Wie/wat/wanneer/hoeheb je de aanpassing of instelling getest

Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant

Gebruikers ID/paswoord/rollen/ gebruikersrechten

Wie/wat/wanneer/hoeheb je de rol getest

Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant

Interfaces/datatransmissie

Gebaseerd op criteria voor data integriteit/ afwijkingen

Wie/wat/wanneer/hoeheb je de datatransmissie getest

Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant

Databeheer/back-up Gebaseerd op criteria m.b.t. bewaarduur

Wie/wat/wanneer/hoeheb je de data integriteit getest

Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant

17-11-2018

Verificatie informaticaprogramma’s

Voorbeeld registratie

I

BESLUIT

Specificeer “user requirement specifications” (URS) / prestatiekarakteristieken;

Leverancier staat in voor de validatie, het laboratorium voor de verificatie;

Classificeer informatiesystemen volgens risicoprofiel;

Stel een verificatie masterplan op;

Implementeer een proces voor “change control” gebaseerd op de “critical care

points” van het informatiesysteem;

Documenteer de verificatie op een gestructureerde wijze.

17-11-2018

Verificatie informaticaprogramma’s

DANK U

UZ Brussel

Laarbeeklaan 101

1090 Brussel

T: 02 476 35 22

E: Johan.Guns@uzbrussel.be