VERIFICATIE INFORMATICAPROGRAMMA’S · 2018. 11. 20. · EXPERTSYSTEMEN Kennisbank en de regels...
Transcript of VERIFICATIE INFORMATICAPROGRAMMA’S · 2018. 11. 20. · EXPERTSYSTEMEN Kennisbank en de regels...
VERIFICATIE INFORMATICAPROGRAMMA’S
Johan Guns
I
EN-ISO 15189:2012
Systemen die worden gebruikt voor het verzamelen, verwerken, registreren,
rapporteren, opslaan of terughalen van onderzoeksgegevens en informatie
moeten:
a) Gevalideerd zijn door de leverancier en geverifieerd op functioneren door
laboratorium, waarbij wijzigingen aan het systeem voorafgaand aan de
implementatie worden goedgekeurd, gedocumenteerd en geverifieerd;
b) Gedocumenteerd zijn, m.i.v. documentatie dagelijks functioneren;
c) Beschermd zijn tegen onbevoegde toegang;
d) Beveiligd zijn tegen manipulaties of verlies;
17-11-2018
Verificatie informaticaprogramma’s
5.10.3 Informatiesysteemmanagement
I
EN-ISO 15189:2012
Systemen die worden gebruikt voor het verzamelen, verwerken, registreren,
rapporteren, opslaan of terughalen van onderzoeksgegevens en informatie
moeten:
e) Bediend worden volgens voorschriften leverancier, of i.g.v. niet-
geautomatiseerde systemen voorwaarden scheppen die de nauwkeurigheid van
handmatige registratie en transcriptie beveiligen;
f) Onderhouden worden op een manier die de integriteit van data en informatie
bewerkstelligt, inclusief registratie van systeemstoringen en corrigerende
maatregelen;
g) Voldoen aan nationale of internationale eisen betreffende beveiliging van
gegevens.
17-11-2018
Verificatie informaticaprogramma’s
5.10.3 Informatiesysteemmanagement
I
EN-ISO 15189:2012
h) Gedocumenteerde procedure die de geheimhouding van patiëntinformatie te
allen tijde borgt;
i) Gedocumenteerd noodplan moet beschikbaar zijn;
j) Externe systemen die bedoeld zijn om informatie direct te ontvangen
(Medibridge, fax, email, websites, …) moeten geverifieerd worden opdat de
onderzoeksresultaten, betrokken informatie en commentaar nauwkeurig
worden weergegeven.
17-11-2018
Verificatie informaticaprogramma’s
5.10.3 Informatiesysteemmanagement
I
PRAKTIJKRICHTLIJN KLINISCHE BIOLOGIE VERSIE 3:2017
a) Aanstelling van een beheerder/verantwoordelijke binnen het laboratorium voor
de informaticasystemen;
b) SLA’s opstellen met interne en externe partijen die mede verantwoordelijkheid
dragen in de borging van informaticasystemen;
c) Procedure die de geheimhouding van patiëntinformatie te allen tijde borgt;
d) Procedure waarin het periodiek testen van hardware systemen wordt
beschreven;
e) Procedure voor periodiek testen van datatransmissie van gegevens;
f) Traceerbaarheid van wijzigingen in de informaticasystemen;
g) Informatica systemen betreffen ook interfaces
17-11-2018
Verificatie informaticaprogramma’s
5.10 Laboratorium informaticasysteem
I
PRAKTIJKRICHTLIJN KLINISCHE BIOLOGIE VERSIE 3:2017
g) Autoverificatie laboratoriumresultaten met expertsystemen
De gebruikte criteria tijdens de autoverificatie moeten worden opgenomen in
een procedure
Beschrijving van de regels die gebruikt worden in het expertsysteem
Periodiek testen van het functioneren van het expertsysteem
Praktijkrichtlijn pathologische anatomie versie 1 (2014) volgt de ISO15189:2012
17-11-2018
Verificatie informaticaprogramma’s
5.10 Laboratorium informaticasysteem
I
Federal Drug Administration, USA
17-11-2018
Verificatie informaticaprogramma’s
Software verification and validation are difficult
because a developer cannot test forever, and it is
hard to know how much evidence is enough.
In large measure, software validation is a matter of
developing a “level of confidence” that the device
meets all requirements and user expectations for the
software automated functions and features of the
device.
I
VERIFICATIE STRATEGIE
Software verificatie is een kwestie van het ontwikkelen van een zeker “niveau van
vertrouwen” dat de informatiesystemen voldoen aan de eisen en verwachtingen
van de gebruiker
De graad van vertrouwen is afhankelijk van het risicoprofiel van het laboratorium:
Patiëntveiligheid
Continuïteit van de laboratoriumanalyses
Data integriteit (de mate dat de collectie van data volledig, consistent en
accuraat gebeurt, alsook het behoudt van de relatie tussen data)
17-11-2018
Verificatie informaticaprogramma’s
I
VALIDATIE VERSUS VERIFICATIE
Validatie:
Bevestiging, aan de hand van objectief bewijs, dat de methode, apparaat, software
voldoet aan de eisen van een specifiek bedoeld gebruik of toepassing.
Verificatie:
Bevestiging aan de hand van objectief bewijs dat een methode, apparaat, software
voldoet aan de omschreven eisen, dat specifieke prestatiekenmerken worden
behaald.
17-11-2018
Verificatie informaticaprogramma’s
EN-ISO 15189:2012
I
VALIDATIE/VERIFICATIE MASTERPLAN
17-11-2018
Verificatie informaticaprogramma’s
V-model – risico gebaseerde implementatie volgens GAMP5
I
USER REQUIREMENTS SPECIFICATIONS (URS)
17-11-2018
Verificatie informaticaprogramma’s
I
HIËRARCHISCHE RISICOANALYSE
Gestoeld op 12 gesloten “ja” of “neen” vragen die volgende types van risico’s
inschatten:
a) Genereert het systeem kritische meetresultaten of informatie?
b) Berekent het systeem meetresultaten?
c) Moet het systeem worden gekalibreerd?
d) Zendt het systeem kritische meetresultaten of informatie door?
e) Registreert of archiveert het systeem kritische meetresultaten of informatie?
f) Wat is de graad van impact op de meetresultaten?
g) Wat is de graad van complexiteit van het informatiesysteem?
17-11-2018
Verificatie informaticaprogramma’s
Model UZ Brussel afgeleid van Burgess and McDowall, 2013
Burgess C. and McDowall R. An integrated risk assessment for analytical instruments and compuerized laboratory systems. Spectroscopy 28 (11), november 2013, p. 1-7.
I
COMPLEXITEIT GEAUTOMATISEERDE INSTRUMENTEN
Type 1: Infrastructuur software
Operating systems, JAVA, SQL
Type 3: Niet-configureerbare software
Commercial off-the-shelf software (COTS) vb. rekenbladen en
tekstverwerkingspakketten, anti-virus, Skype for business, …
Type 4: Configureerbare software
LIMS, ZIS, ERP, FMIS, monitoring software, rekenbladen met macro’s,
expert systemen, …
Type 5: Software ontwikkeld op maat
17-11-2018
Verificatie informaticaprogramma’s
GAMP5
I
COMPLEXITEIT GEAUTOMATISEERDE INSTRUMENTEN
Hoge impact data
Directe impact op de resultaten medische analyses
Gemiddelde impact data
Indirecte impact op de resultaten medische analyses
Lage impact data
Verwaarloosbare impact op de resultaten medische analyses
17-11-2018
Verificatie informaticaprogramma’s
Impact data
I
HIËRARCHISCHE RISICOANALYSE: COMPLEXITEITSNIVEAU
17-11-2018
Verificatie informaticaprogramma’s
Voorbeeld: bloedkweekautomaat
I
CLASSIFICATIE INFORMATIESYSTEMEN
17-11-2018
Verificatie informaticaprogramma’s
Voorbeeld: bloedkweekautomaat
I
INSTALLATIE KWALIFICATIE (IQ)
Door de leverancier onder toezicht van het laboratorium:
? Levering volledig – Installatie laatste versie software
? Documentatie volledig
? Veiligheidscertificaten
? Gebruikershandleiding
? Ingebruikstelling
? Netstroomaansluiting
? Zelf-diagnostische systemen
? Werking interfaces -Netwerkverbindingen
? Toegang - Rollen gebruikers
? Back-up systemen
? Redundantie van hard- en softwaresystemen
17-11-2018
Verificatie informaticaprogramma’s
Voorbeeld: bloedkweekautomaat
I
OPERATIONELE KWALIFICATIE (OQ)
Door de leverancier onder toezicht van het laboratorium:
? Werking/herkenning barcodes - monsteridentificatie
? Lotnummerbeheer – vervaldatum
? Kalibratie monitoring sensor / mapping incubator
? Controle alarmen
? Limieten
? Regels
? Alarmen
? Transfer resultaten – integriteit data, foutcodes, referentiewaarden
? Groei en detectie van standaard stammen (aeroob/anaeroob)
? Uitval netstroom
17-11-2018
Verificatie informaticaprogramma’s
Voorbeeld: bloedkweekautomaat
I
PERFORMANTIE KWALIFICATIE (PQ)
Door het laboratorium, sterk afhankelijk van de URS:
? Detectiegrens vb. 10-100 KVE
? Inhibitie antibiotica door resinen vb. verschillende concentraties van
verschillende antibiotica of mengelingen
? Duur kweek vb. trage groeiers zoals Propionibacterium acnes
? Volume monster
? Matrix monster
? Transfer eigen foutcodes/informatie
? Controle cascade communicatie
17-11-2018
Verificatie informaticaprogramma’s
Voorbeeld: bloedkweekautomaat
I
REKENBLADEN MET REKENKUNDIGE FORMULES
Gecontroleerd document
Bescherm het tegen onbevoegde
toegang vb. paswoord
Rekenkundige formules
Bescherm cellen met formules
Bescherm cellen met kritieke data zoals
referentiewaarden
Controleer de formules vb. gebruik bij
iedere versie eenzelfde dataset
Back-up data vb. server
Verifieer na aanpassingen
17-11-2018
Verificatie informaticaprogramma’s
I
EXPERTSYSTEMEN
Kennisbank en de regels vallen veelal onder
de vuistregel “het geheim van de kok”.
Maak gebruik van een vaste set
onderzoeksgegevens om periodiek de
werking van het expertsysteem te testen
17-11-2018
Verificatie informaticaprogramma’s
expert
expertsysteem
gebruiker
Kennis bank
Kennis acquisitie
RegelsUser
interface
I
VERIFICATIE UPGRADES/AANPASSINGEN CONFIGURATIE
Zie er steeds op toe wanneer upgrades worden geïnstalleerd;
Implementeer een “change control” proces;
De leverancier (intern/extern) moet “release notes” aanleveren;
Toets de “release notes” af t.o.v. de vooraf geïdentificeerde “critical care points”
van de applicatie (risico gebaseerd);
Herhaal de verificatie of bepaalde stappen van de verificatie in functie van de
risicoanalyse;
Gebruik voor de verificatie van stand-alone software bij voorkeur een test
server;
De upgrade van de applicatie kan opnieuw in gebruik worden van zodra de
verificatie werd afgerond.
17-11-2018
Verificatie informaticaprogramma’s
I
VERIFICATIE UPGRADES
17-11-2018
Verificatie informaticaprogramma’s
Voorbeeld: risico gebaseerde verificatie update VITROS 4600
• Check of conditiecodes goed worden
getoond, aangezien dit invloed heeft op
patiëntveiligheid/kwaliteit resultaat
• Check of communicatieproblemen
werden opgelost, wat invloed heeft op
continuïteit analyse
• Check de versleuteling resultaat,
aangezien dit invloed heeft op de data-
integriteit
I
VERIFICATIE INFORMATIESYSTEMEN DOCUMENTEREN
Item Criteria Test Resultaat
Instelling Gebaseerd op criteria opgesteld door de gebruiker/afwijkingen
Wie/wat/wanneer/hoeheb je de aanpassing of instelling getest
Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant
Gebruikers ID/paswoord/rollen/ gebruikersrechten
Wie/wat/wanneer/hoeheb je de rol getest
Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant
Interfaces/datatransmissie
Gebaseerd op criteria voor data integriteit/ afwijkingen
Wie/wat/wanneer/hoeheb je de datatransmissie getest
Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant
Databeheer/back-up Gebaseerd op criteria m.b.t. bewaarduur
Wie/wat/wanneer/hoeheb je de data integriteit getest
Registreer de uitkomstVoldaan/niet voldaanRelevant/niet relevant
17-11-2018
Verificatie informaticaprogramma’s
Voorbeeld registratie
I
BESLUIT
Specificeer “user requirement specifications” (URS) / prestatiekarakteristieken;
Leverancier staat in voor de validatie, het laboratorium voor de verificatie;
Classificeer informatiesystemen volgens risicoprofiel;
Stel een verificatie masterplan op;
Implementeer een proces voor “change control” gebaseerd op de “critical care
points” van het informatiesysteem;
Documenteer de verificatie op een gestructureerde wijze.
17-11-2018
Verificatie informaticaprogramma’s