The Final Program

Sigma metrics wordt de norm De praktijk is de vorm

1 Wat vooraf ging 2 De ontwikkelingen binnen de klinische chemie 3 De basis van het model 4 De toepassingsgebieden (en beperkingen) 5 Wat nu speelt

Controle van het industriële proces werd geïntroduceerd in de jaren 30 door Walter A. Shewart (18-3-1891 11-03-1967) Statisticus bij Bell Laboratories. Shewhart WA. Economic Control of Quality of Manufactured Product. New York: D Van Nostrand Company, 1931 Op steekproef gebaseerd Statistische Kwaliteitscontrole (SQC): Gemiddelde Spreiding

W. Edwards Deming (14-10-1900 20-12-1993) doceerde SQC Deming WE. Quality, Productivity, and Competitive Position. Boston: MIT Center for Advanced Engineering Study, 1982 “When people and organizations focus primarily on quality as defined by Quality = (Results of work efforts)/(Total costs), quality tends to increase and costs fall over time” “When people and organizations focus primarily on costs, costs tend to rise and quality decline over time” Plan-Do-Check-Act

De 1ste generatie QC S. Levey en E.R. Jennings introduceerden het gebruik van de controle kaart in het medische laboratorium (1950) Levey S, Jennings ER. The use of control charts in the clinical laboratory. J Clin Pathol 1950;20:1059-66 Effectiviteit van het proces Verbeteren van de productiviteit Continue bewaken van de variatie Voorkomen van onnodige correctie Voorziet in proces informatie Metingen in tweevoud Handmatige procedures Spreiding tussen personen

De 1ste generatie QC Henry RJ, Segalove M. The running of standards in clinical chemistry and the use of the control chart. J Clin Pathol 1952;27:493-501 Aanbevelingen: Gebruik van een gepoold materiaal met stabiliteit over langere periode Enkelvoudige metingen (“single value” QC) Gebruik van 2 sd limieten

De 2de generatie QC De komst van de automatisering betekende de ontwikkeling van autoanalyzers (vanaf 1960) Consolidatie van analytische processen (SMA serie van Technicon) Het gebruik van de 2 SD limieten gaf teveel afkeuringen (Pfr) bij twee controle niveaus Gebruik van de Westgard regels Waarschuwingsregels Overtredingsregels

De 2de generatie QC De QC gebaseerd op de Westgard Multiregel werd toegepast op geautomatiseerde analyzers. In de praktijk werd een enkele set van regels toegepast op elke analytische procedure in aansluiting met de uniforme toepassing van limieten in de Levey-Jennings grafieken. De economische overwegingen welke regels werden toegepast waren op de achtergrond geraakt Kans op onterecht afkeuren (Pfr) Kans op foutdetectie (Ped)

3de generatie QC Analytische systemen werden sterk verbeterd in de tachtiger jaren. Met de komst van de DuPont ACA systemen werd de stabiliteit sterk verbeterd. Frequentie van controle metingen werd lager Verschillende QC procedures Begin van het ontwerpen van QC per analytische procedure .

4de generatie QC (Total Quality Management) Deming and Juran ; Inbreng van management verantwoordelijkheden en commitment. Kwaliteit: “totality of features and characteristics of a product or service that bear on its ability to satisfy given needs”], “fitness for use” [Juran], “conformance to requirements” [Crosby], “satisfying the needs of customers” [Deming]. Kwaliteit op basis van verwachting en behoefte van de klant Nadruk in het begin: Methode validatie / prestaties Bewaking van de prestaties Prestaties van de analytische procedures moeten aan eisen voldoen in relatie tot het toepassingsgebied in de vorm van een maximale tolerantie (allowable Total Error; TEa)

4de generatie QC (Total Quality Management) Westgard JO, Barry PL. Cost-Effective Quality Control: Managing the quality and productivity of analytical processes. Washington DC:AACC Press, 1986 Ontwerp van IQC voor de verschillende analytische procedures op een analyzer in termen van aantal QC metingen, aantal levels, bewakingsregels, minimale kans op onterecht afkeuren van controle resultaten IQC procedures op basis van het toepassingsgebied, methode afhankelijke precisie en bias

De 5de generatie QC (Six Sigma) Toegepast eind jaren negentig in de medische laboratoria Gebaseerd op het definiëren van tolerantie limieten Uniforme beschrijving van de kwaliteit in termen van aantal defecten (DPM) en Sigma metrics Westgard JO. Six Sigma Quality Design & Control: Desirable precision and requisite QC for laboratory measurement processes. Madison WI:Westgard QC, 2001. CLSI C24A3. Statistical Quality Control for Quantitative Measurements, 3rd ed. Clinical Laboratory Standards Institute, Wayne PA, 2006 Hulpmiddelen Start-up procedure met hoge Ped Monitor functie met lage Pfr Patient gemiddelden Gebruik van OpSpec Chart

Over kwaliteitsdoelen wordt al meer dan 40 jaar gesproken en gepubliceerd. • Tonks (1963), Barnett (1969), Cotlove (1970) • 1976 - Aspen Conference on Analytical Goals • 1980 - Nordkem Project on Quality Requirements • 1990 - 3rd Nordkem Project on Quality Specifications • 1992 - CLIA criteria for acceptable PT performance • 1999 - Stockholm Conference on Strategies to Set Global Quality Specifications

1999 Stockholm Conference Global Analytical Quality Specifications De hierarchie in de specificaties van de gewenste analytische kwaliteit (Analytical Quality Specifications)

–prioritering conform Stockholm conferentie

• Wet- en regelgeving Rilibäk, CLIA • Specifieke klinische toepassing ADA • Biologische variatie Ricos • Gepubliceerde aanbevelingen experts NCEP, NACB • Uitkomsten ringonderzoek EQAS, CLIA • State of the art gegevens

Criteria acceptabele performance 1 De totale analytische variatie 2 De binnendag spreiding 3 De totale analytische variatie 4 De bias 5 De aanvaardbare analytische fout

Sigma waarde

Aantal fouten per miljoen

absoluut percentage

1,00 1,65 2,00 2,50 3,00 3,50 4,00 4,50 5,00 5,50 6,00

317400 98400 45400 12419 2700 465 63 6,8

0,57 0,038 0,002

31,7 9,8 4,5 1,2 0,3

0,0465 0,0063

0,00068 0,000057

0,0000038 0,0000002

Beschrijving van de performance (stabiliteit) van een proces op product niveau

Weergave van een 6-Sigma proces

Tolerantie (TEa = 1,65 VCa + biasa)

1,65 VCa biasa

Kans op onterecht afkeuren

bias Foutdetectie Kans op terechte fouten

foutdetectie

4,35 sd

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 1 2 3 4 5 6

Kans

fout

dete

ctie

1.65 2.65 3.65 4.65 5.65 6.65 7.65

Sigma score

N R 13s 13s 13s/22s/R4s 13s/22s/R4s/41s 13s/22s/R4s/31s/6x

1 2 2 4 6

1 1 1 1 1

∆SEcrit =

Sigma score – 1,65 in sd-eenheden

0

2

4

6

8

10

12

14

16

18

20

0 1 2 3 4 5 6

4-Sigma

5-Sigma

10-Sigma

Bias

(%

)

VC (%)

De OPSpecs chart : de Operational Specification Chart

Sigma Score = (TEa – Bias) / VCa

Sigma Score * VCa = TEa - Bias

Bias (y) = - Sigma Score (m) * VCa (x) + TEa (a)

Y = m * X + a

Internal and External SQC Interne kwaliteitscontrole (IQC). Omvat alle handelingen (SQC hulpmiddelen) welke elke dag worden uitgevoerd door analytisch personeel op de analytische systemen en de gebruikte middelen Hoofdzakelijk gericht op de precisie van de analytische procedure(s). Externe kwaliteitscontrole (EQC). Omvat alle handelingen (SQC hulpmiddelen) welke periodiek (iedere maand, tweemaandelijks,..) worden uitgevoerd door analytisch personeel in samenwerking met een derde partij (referentielaboratorium, wetenschappelijke vereniging, organisator van EQAS) Hoofdzakelijk gericht op de juistheid van de analytische procedure(s) eventueel in combinatie met de IQC gegevens (precisie)

Sigma metrics als Evaluatie van analysesystemen Schifting in potentiele prestaties van de analytische procedures Sigma < 3 ; 3-6 ; >6 Voorkomen van onnodig veel vergelijk Ontwerp van IQC Schifting in prestaties en ontwerp op basis lage Pfr en hoge Ped Sigma < 3 ; 3-4 ; 4-6 ; >6 Gericht op de interen fout van het analytische proces Beoordeling EQC (score systeem) Gericht op de juistheid (calibratiestatus en herleiding) herkenning van bias en imprecisie Sigma <2 ; 2 – 4,5 ; > 4,5

B(%) < 0.25 * (CVw

2 + CVg2)0.5

TEa = 1.65 CVa + B

CVa < 0.5 * CVw

Testcode CVw CVg I(%) B(%) TE(%)

Trig 20,9 37,2 10,5 10,7 27,9

AF 6,4 24,8 3,2 6,4 11,7

Lipase 23,1 33,1 11,6 10,1 29,1

Beschrijving van de tolerantie in het antwoord

Beschrijving van de performance van het proces

Sigma score

= (TEa – bias)/VC Voor de bias wordt altijd de absolute waarde genomen!

∆SEcrit =

Sigma score – 1,65

∆SEcrit =

[(TEa – bias)/VC] – 1,65

Cpk =

(Tolerance specification - bias)/3SD

∆REcrit =

[(TEa – bias)/1.96 VC

Interpretatie van de Sigma-score voor analytisch proces

Sigma score

Interpretatie

>6

4 – 6 <4 en >3

<3

“wereldklasse” ; 1 controleregel Geschikt voor beoogde doel Geschikt voor beoogde doel ; Meer controleregels/ frequenter Probleem test (max QC analytisch)

Zoek de TEa op

Bepaal Imprecisie

Stel Bias = 0

Zoek Impr op

Stel Bias = 0

Bereken Sigma Bereken Sigma

Kwaliteitsdoel Bepaal bias

EP9 regr

Bereken Sigma

Referent

Kwaliteitsdoelen

Opgegeven referentie interval

Westgard advisor

Controle regels frequentie

>6 4-6 3-4 <3

“Peer”-groep

Evalueren van analysesysteem

Het evaluatie plan: Gegevens verzamelen: Per analytische procedure : VCinterne QC; VCleverancier Biologische spreiding : VCwithin en VCbetween Bereken op basis van TEa en VCleverancier de Sigma score (2-levels) Deel in op basis van Sigma-score EP15 procedure alleen in het geval dat Sigma score <3 Alle analytische procedures methode vergelijk (4 pools in 5-voud) Stel kwaliteitsdoelen vast Ontwerp IQC procedures met behulp van Westgard advisor

MUSE Multi Sample Evaluation

SKML Scoresysteem

De SKML kwantitatieve rondzendingen zijn gebaseerd op: • commuteerbare monsters die het klinisch relevante

concentratiegebied bestrijken en toegekende waarden hebben gebaseerd op referentiemethodes

• een scoresysteem met tolerantie gebieden gebaseerd op het biologische variatie concept

• Het Kalibratie 2000 project is onverminderd van belang voor het bereiken van deze kwaliteit

Tolerantiegebieden Scores toegekend op basis van het Total Error allowable (TEa) tolerantiegebied en het State of the Art (SA) tolerantiegebied (gebied waarbinnen 90% van de deelnemersresultaten lagen in een gefixeerde periode van drie jaar). Het tolerantiegebied is een functie van de concentratie en wordt geëxtrapoleerd van het concentratieniveau waarop de biologische variatie is vastgesteld (gezonde populatie) naar andere (pathologische) concentratieniveaus via het analytische precisieprofiel.

MUSE Scoresysteem voor kwantitatieve bepalingen Performance score en Six Sigma TE-sigma= abs(X – TEaL) / SDbl X = gemeten waarde voor het betreffende monster, TEaL = dichtstbij zijnde tolerantielimiet SDbl = binnen-laboratorium SD (op het concentratieniveau van de doelwaarde berekend op basis van het binnen-laboratorium precisieprofiel) De minimum waarde voor TE-sigma is -3 en de maximum waarde is 6. SAL = dichtstbij zijnde tolerantielimiet. SA-sigma=

MUSE Scoresysteem voor kwantitatieve bepalingen Performance score en Six Sigma

C = is een correctiefactor ter grootte van 2/√2π

De sectie stelt per bepaling vast of TE-sigma of SA-sigma wordt gebruikt. De Performance scores zijn standaard: score 2 bij TE-sigma > = 4.5 score 1 bij TE-sigma > = 2 en < 4.5 score 0 bij TE-sigma < 2

Minimale Acceptabele Performance (Prestatie) (MAP) Als prestatienorm wordt de MAP gebruikt. De MAP wordt berekend per ronde over alle bepalingen van een meetomgeving (cluster), waarbij geldt dat voor kwantitatieve bepalingen de gemiddelde minimale Performance score 1.0 moet zijn, overeenkomend met een TE-sigma tussen 2 en 4.5. De MAP is dus standaard: MAP = aantal bepalingen in meetomgeving * P-score [1] De Cumulatieve MAP wordt berekend door de MAP’s over het tijdsvenster van de rondzending te sommeren voor de betreffende meetomgeving (cluster).

Matige tot slechte analytische procedures

Goed analytische procedures

Slope

The Final Program

Sigma metrics wordt de norm De praktijk is de vorm