12. Mind The Gap: De voorspelling van cardiovasculaire veiligheid in de geneesmiddelontwikkeling – Samenvatting, conclusies en vooruitblik

12.1 Het regelgevend kader en de vertaling van vroegtijdige effecten naar risico.

Verscheidene intrinsieke en extrinsieke factoren, waaronder genetische predispositie,

kunnen het zogenoemde QT (of QTc)-interval in een cardiogram verlengen. Hoewel QT

verlenging niet gevaarlijk hoeft te zijn, wordt het in verband gebracht met

hartritmestoornissen en plotselinge hartdood [1, 2]. Aanwijzingen dat een

geneesmiddel de verlenging van het QTc interval tot gevolg heeft is in het algemeen een

reden tot zorg voor regelgevende autoriteiten [3, 4]. Ondanks inspanningen om het

effect van geneesmiddelen op de hartgeleiding in een vroeg stadium te herkennen, is

QTc verlenging de op-één-na meest voorkomende reden om een geneesmiddel uit de

handel te nemen. Verder stijgt het aantal geneesmiddelen met een risicovol QT profiel.

Deze recente “farmacoepidemie” in ogenschouw nemend, is het van belang het QT-

verlengingspotentiaal te voorspellen en de klinische relevantie ervan zo vroeg mogelijk

vast te stellen, zodat wijgering of vertraging van geneesmiddelregistratie en

beperkingen in het gebruik van het geneesmiddel vermeden kunnen worden [5].

Naast de ontwikkeling van onderzoeksprotocollen voor het vaststellen van

cardiovasculaire veiligheid in dierproeven worden in het klinisch onderzoek de

zogenoemde E14 richtlijnen toegepast, welke zijn opgesteld door de International

Conference on Harmonisation (ICH) [6]. Gelijksoortige richtlijnen (nummers S7A en

S7B) zijn ook ontwikkeld voor onderzoek in dieren [7, 8]. De E14 richtlijnen bevelen

een aparte studie aan die de cardiovasculaire veiligheid moet aantonen. Deze

zogenoemde grondige QT studie (thorough QT, TQT) is zodanig ontworpen dat een

eventuele QT verlenging van 5 milliseconden aangetoond kan worden. Indien het

bijbehorende éénzijdige betrouwbaarheidsinterval de 10 milliseconden niet overstijgt,

wordt dit geinterpreteerd als een gebrek aan bewijs voor een risicovolle QT verlenging.

Hoewel de aanbevolen invoering van risico-evaluatie goed bedoeld is, zijn de

aanbevelingen allesbehalve perfect.

263

Dit proefschrift belicht drie belangrijke tekortkomingen in de huidige aanpak, die de

evaluatie en ontwikkeling ondermijnen van geneesmiddelen die in de bestaande

medische behoefte voorzien. De eerste tekortkoming bestaat in de aannames die ten

grondslag liggen aan de vertaling van farmacologische effecten in experimenten

en studies naar die in de medische praktijk. De uitwerkingen van experimentele

factoren en processen wordt over het hoofd gezien, wat leidt tot een onvolledig begrip

van de vertaling van farmacologische eigenschappen naar kwantificeerbaar risico’s. De

tweede tekortkoming heeft te maken met het verschil tussen associatie en causaliteit

en de biologische implicaties hiervan. De keuze voor het QT interval als maat voor

het risico op hartritmestoornissen zonder hierbij de relatie tussen

geneesmiddelblootstelling en farmacologisch effect te betrekken bemoeilijkt het

vaststellen van een causaal verband tussen eerstgenoemden. Eenvoudige principes van

signaaldetectie, consistentie van resultaten en de sterkte van de relatie tussen het

gemetene en het te meten concept worden veronachtzaamd in onderzoeksprotocollen.

De derde tekortkoming is het ontbreken van een methode om afzonderlijke

aanwijzingen van veiligheidsrisico’s samen te smeden tot één waarde. De nadruk op

het genereren van aanwijzingen zonder deze vervolgens te integreren leidt tot

suboptimale protocollen en onjuiste beslissingscriteria. Dit heeft tot gevolg dat de

ontwikkeling van een geneesmiddel onterecht beeindigd kan worden. De huidige

methodes staan een integratieve benadering zelfs niet toe: noch van het te verwachten

risico, noch van de effectiviteit van maatregelen om het risico te verminderen.

In het ideale geval verschaffen experimenten in celpreparaten reeds een goede

voorspelling van de te verwachten klinische effecten, zowel vanuit het kwalitatieve

perspectief (de voorspelling luidt: ofwel QT interval verlenging vindt plaats ofwel het

vindt niet plaats) als vanuit het kwantitatieve (een voorspelling van de QT verlenging

per eenheid verandering van de geneesmiddelconcentratie). Verschillende auteurs

hebben voorstellen gedaan voor een kwalitatieve voorspellende relatie [9, 10]. Deze

relaties zijn echter gebaseerd op een empirisch gemaakt onderscheid tussen diverse

bevindingen. Het probleem hierbij is dat de classificatie van geneesmiddelen met een

klein QT verlengingseffect moeilijk is. Verder ontbreekt het aan kwantitatieve

benaderingen die de integratie nastreven van resultaten verkregen in de diverse stadia

van geneesmiddelontwikkeling. 264

Hoewel het werk in dit proefschrift de voorspelling van QT effecten met gebruikmaking

van in vivo (uit levende organismen) verkregen informatie behelst, blijft ook de

ontwikkeling van voorspellende methoden met behulp van in vitro (c.q. afkomstig uit

experimenten met celpreparaten) gegevens van groot belang. De mogelijkheid tot

voorspelling met op basis van in vitro verkregen maatstaven zou het vervolgproces van

experimenten en beslissingen al in een vroeg stadium kunnen vereenvoudigen. Dit

betekent een mogelijke beperking van het verlies van kandidaat-geneesmiddelen.

De nadruk ligt in dit werk echter op het in vivo stadium van geneesmiddelontwikkeling.

Barrières voor de vertaling van onderzoeksgegevens verkregen in dit stadium naar de

late klinische en praktijksituaties zijn overbrugbaar, zeker wanneer het gegevens uit

vroeg-klinische studies betreft: hier immers worden de geneesmiddelblootstelling en

cardiovasculaire signalen altijd uitvoerig gemeten. De belangrijkste doelstelling van dit

proefschrift is daarom de identificatie van ontbrekende factoren in de genoemde

vertaalslag. Deze factoren zijn het gevolg van verschillen in de gecontroleerde

omstandigheden waarin studies worden uitgevoerd, met name de verschillen in de

toegepaste inclusie- en exclusiecriteria. Aan dit werk ligt de vaststelling ten grondlag

dat aan de medische behandeling met geneesmiddelen altijd risico’s verbonden zijn.

Beslissingen aangaande de geschiktheid van een molecuul voor verdere ontwikkeling

tot geneesmiddel alsmede het therapeutisch gebruik van het ontwikkelde geneesmiddel

moeten daarom gebaseerd zijn op een kwantitatieve bepaling van het risico in de

patientendoelgroep. In plaats van te vertrouwen op de veronderstelde algemene

geldigheid en extrapoleerbaarheid van individuele onderzoeksprotocollen, is het beter

om uit te gaan van risicoanalyses waarin de verschillen tussen experiment en praktijk in

acht genomen worden.

Een belangrijke bevinding die naar voren komt uit dit werk is dat het samenvoegen van

bestaande resultaten doeltreffender kan zijn dan het genereren van nieuwe gegevens.

Wanneer deze synthese plaatsvindt met de juiste klinische en wetenschappelijke

intentie en met toepassing van geschikte statistische methoden, kan zij een betere basis

vormen voor besluitvorming. Tegelijkertijd respecteert zij praktische en ethische

bezwaren die verbonden zijn aan het onderzoek van geneesmiddelveiligheid in de

mens. Dit is speciaal van belang wanneer het gaat om weinig voorkomende

265

veiligheidssignalen gemeten over een langdurige periode.

De genoemde tekortkomingen, de hoge kosten verbonden aan het uitvoeren van TQT

studies en de noodzaak om de voorspellende waarde van vroege veiligheidssignalen in

te kunnen schatten vormen tezamen een pleidooi voor het beproeven van nieuwe

strategieen voor de evaluatie van de cardiovasculaire veiligheid van geneesmiddelen.

Het is essentieel dat de regelgeving op dit gebied een afspiegeling is van de

wetenschappelijke stand van zaken. Dit is evident niet het geval voor de ICH E14

richtlijnen, welke nog gestoeld zijn op de wetenschappelijke en regelgevingsgeest zoals

die meer dan tien jaar geleden heerste. In die tijd waren de kwantitatieve farmacologie

en farmacometrie als klinische disciplines nog in ontwikkeling. Nieuwe, robuuste

methodes zouden in overweging moeten worden genomen in vraagstukken over

regelgeving. Richtlijnen en regelgevingsbeleid zouden voortschrijdende inzichten

moeten belichamen. Inferentiemethoden gebaseerd op modellen en simulaties blijven in

veiligheidsbepalingen nog ondergebruikt. De grote hoeveelheid data die gegenereerd

wordt tijdens de klinische ontwikkelingsfase en de beschikbaarheid van gegevens over

geneesmiddelmoleculen met vergelijkbare farmacologische eigenschappen worden niet

systematisch – vanaf de vroege klinische studies tot aan geneesmiddelbewaking van op

de markt gebrachte farmaca – ingezet.

De in dit proefschrift voorgestelde nieuwe denkwijze stelt de synthese van informatie

centraal en beschouwt het genereren van nieuwe informatie als een bevestigingsstap in

het proces dat leidt van hypothese naar kennis. Statistische methodes vormen de

gereedschappen voor deze synthese, die in meer specifieke zin de vertaling van

veiligheidssignalen naar risico‘s behelst. Het hier beschreven onderzoek introduceert

bovendien farmacologische concepten in een epidemiologische context en verkleint

daarmee het onderscheid tussen geneesmiddelontwikkeling en gezondheidszorg.

Een direct gevolg van de hier gekozen benadering is een accentverschuiving in de

analyse van veiligheidssignalen, van associatie naar causaliteit.

Gestoeld op bovenstaande principes geeft dit proefschrift een aanzet tot het

terugdringen van het verlies van kandidaatgeneesmiddelen gedurende het

screeningsonderzoek en tot de ontwikkeling van betere onderzoeksprotocollen voor het

266

vaststellen van vroege tekenen van geneesmiddelonveiligheid. Hoofdstuk 1 verschaft

inzicht in het huidige proces van de selectie en ontwikkeling van

kandidaatgeneesmiddelen. De voorspellende waarde van onderzoeksprotocollen wordt

aan een kritische blik onderworpen en het belang van de interpretatie van bevindingen

wordt beschouwd in relatie tot de experimentele procedures en data-analysemethodes

waaruit zij voortkomen. Bij de data analyse wordt speciaal gelet op de keuze van

parameterisering. Deze wordt nader onderzocht in hoofdstuk 2. Het gebruik van

zogenaamde hierarchische modellen vormt een geschikte basis voor de vertaling van

geneesmiddeleffecten naar praktische risico’s. In dat opzicht onderstreept dit werk niet

alleen het belang van alternatieve methodologie voor de kwantificatie van QT (of QTc)

intervalverlenging maar beschrijft het ook de voorwaarden voor de parameterisatie van

de hiervoor gebruikte modellen. Vervolgens werd een dergelijk model dat het verband

tussen geneesmiddelconcentratie en effect beschrijft geevalueerd. In de daaropvolgende

stap lag de nadruk op de waarde van een strategie voor de vertaling van effecten in

diermodellen naar effecten in de mens. Deze strategie kreeg de benaming Not-in-Trial

Simulaties (NITS). NITS verdient aanbeveling als methode voor besluitvorming en

risicomanagement. Tenslotte werd de waarde onderzocht van enkele aanpassingen in

de standaard onderzoeksprotocollen voor de screening van kandidaatgeneesmiddelen.

Ons onderzoek ging ook in op de specificiteit en sensitiviteit van een standaard

gehanteerde drempelwaarde voor QT verlenging (nl. 10 milliseconden). Voor waarden

boven deze drempel wordt aangenomen dat er een klinisch relevant cardiovasculair

risico bestaat. De voorspellende waarden van effecten waargenomen in vroege

ontwikkelingsfases kann worden afgelezen uit zogenaamde receiver operating

karakteristieken (ROC) [11]. Hoewel een formele ROC analyse buiten beschouwing

bleef, werden enkele tekortkomingen in de aannames van gerelateerd beleid en

richtlijnen aangetoond.

12. 2 Analyse gebaseerd op Bayesiaanse hierarchische modellen

In hoofdstuk 3 werd getoond hoe met een Bayesiaans hierarchisch model het verband

tussen geneesmiddelconcentratie en de verlenging van het QTc interval beschreven kan

worden. Deze toepassing werd gedemonstreerd aan de hand van de

referentiegeneesmiddelen d,l-sotalol, moxifloxacine en grepafloxacine. De 267

geintegreerde modelmatige benadering stelde ons in staat het effect van het

geneesmiddel op de QTc verlenging onafhankelijk van andere factoren te

karakteriseren. De parameter die dit effect kwantificeert is echter geen onafhankelijke

maat van het risico verbonden aan de verdere ontwikkeling of het uiteindelijke gebruik

van het geneesmiddel. De waarde van deze parameter is daarentegen een directe

afspiegeling van het verband tussen farmacokinetiek en farmacodynamiek die, samen

met andere bronnen van variabiliteit, het genoemde risico bepaalt.

Deze benadering maakt de prospectieve evaluatie van kandidaatgeneesmiddelen

mogelijk. Omdat geneesmiddeleffecten worden gescheiden van systemische effecten

kunnen zij ook onder gecompliceerde omstandigheden vastgesteld worden,

bijvoorbeeld wanneer een effect vertraagd optreedt. De voorgestelde Bayesiaanse

analyse levert klinisch interpreteerbare effectmaten op die van nut kunnen zijn bij

besluitvorming in diverse stadia van de ontwikkeling van een farmacon. De uit deze

analysemethode voortvloeiende a-posteriori-verdeling kan direct gebruikt worden voor

de vertaling van QTc intervalverlenging naar risico over een reeks van doseringen of

concentraties. 

Deze kwaliteit kan behulpzaam zijn bij het nemen van beslissingen in het kader van

regelgeving, klinische geneeskunde en geneesmiddelonderzoek. In dit onderzoek werd

deze methode gebruikt om voor een reeks blootstellingswaarden (concentraties) de

waarschijnlijkheid van een QTc verlenging groter dan 10 milliseconden te bepalen. Deze

drempelwaarde kan aangepast worden al naar gelang het te onderzoeken scenario,

welk bijvoorbeeld de vergelijking van effecten tussen diersoorten kan betreffen. De

essentie van dit deel van het onderzoek is dat een nauwkeurige bepaling van het risico

verbonden aan een nieuw kandidaat-geneesmiddel niet mogelijk is zonder een

onderscheid te maken tussen geneesmiddel-specifieke en systeem-specifieke

parameters.

12. 3 Translationele farmacologie

12. 3. 1 Van preklinische onderzoeksprotocollen naar klinische studies

268

De huidige in vitro experimenten zijn beperkt in hun vermogen om de effecten van

therapeutische geneesmiddelconcentraties kwantitatief te voorspellen. De

beslissingscriteria die gehanteerd worden bij de ontwikkeling van een kandidaat-

geneesmiddel zijn gebaseerd op een kwalitatieve inschatting van het risico op

hartritme-effecten zonder dat daarin de mate van blootstelling aan de stof meegenomen

wordt. Deze tekortkoming kan een relatief hoog percentage vals-positieve uitkomsten

van risico analyses tot gevolg hebben. De consequentie hiervan is dat effectieve farmaca

verloren gaan voor verdere ontwikkeling. Richtlijn ICH S7B komt in dit bezwaar

tegemoet aangezien het stelt dat, om tot een risico-inschatting te komen, naast in vitro

experimenten ook een in vivo bepaling van het geneesmiddeleffect op QT interval

verlenging moet worden uitgevoerd. Niettemin blijft de bruikbaarheid van deze niet-

klinische tests onduidelijk. Uitkomstmaten voor niet-klinische studies moeten geijkt

worden tegen klinische data. Het gebruik van concentratie-effect relaties als maatstaf

hierbij is een nog niet eerder beproefde methode. Het eerder beschreven en op klinische

data getoetste Bayesiaanse hierarchische model werd in hoofdstuk 4 toegepast voor de

beschrijving van de relatie tussen geneesmiddelconcentratie en QT verlenging na

toediening van cisapride, d,l-sotalol en moxifloxacine aan honden. De resultaten van de

klinische data analyse en die in honden werden vervolgens aan elkaar gecorreleerd.

Doordat het model onderscheid maakt tussen geneesmiddel-specifieke en systeem- (c.q.

organisme-)specifieke parameters kon op basis van de analyse in honden een uitspraak

gedaan worden over de te verwachten geneesmiddelafhankelijke QT verlenging in

mensen. De geneesmiddelspecifieke parameter in het model is niet op zichzelf indicatief

voor een klinisch risico geassocieerd met het gebruik van het farmacon. Deze parameter

beschrijft uitsluitend de relatie tussen geneesmiddelconcentratie en farmacologisch

effect (in dit geval een veiligheidssignaal).

De voorgestelde model-georienteerde benadering lijkt een van de belangrijkste

beperkingen van eerdere pogingen tot een modelgebaseerde aanpak te overwinnen. De

nieuwe benadering is in staat geneesmiddeleffecten te identificeren en is daarom

geschikt voor de prospectieve evaluatie van geneesmiddelen in de ontwikkelingsfase.

In tegenstelling tot recente voorbeelden van modelmatige analyse van QTc interval

verlenging [12-15], was ons model in staat preklinisch en klinisch geobserveerde

269

effecten aan elkaar te correleren. De data analyse voor de genoemde

referentiegeneesmiddelen laat zien dat de beschikbaarheid van

geneesmiddelblootstellingswaarden in een therapeutische orde van grootte een van de

belangrijkste voorwaarden is voor de nauwkeurige vertaling van preklinische effecten

naar de mens. Vertalingen op basis van de (gebruikelijke) zeer hoge preklinische

blootstellingen kunnen leiden tot inaccurate voorspellingen van de grootte van het te

verwachten QT effect.

12. 3. 2 Van gecontroleerde klinische studies naar de medische praktijk

De bevindingen gepresenteerd in dit proefschrift tonen aan dat een vertaalslag niet

alleen noodzakelijk is bij de overgang van de preklinische naar de vroege klinische fase

van onderzoek, maar ook wanneer een geneesmiddel voor het eerst toegediend wordt

aan de patientpopulatie. De doelstelling in hoofdstukken 5, 6 en 7 was een analyse van

de verschillen tussen de verwachte en de in de medische praktijk waargenomen QTc

effecten van geneesmiddelen. Verder belichtten deze hoofdstukken een aantal ethische

en praktische vraagstukken met betrekking tot het vergaren van

geneesmiddelveiligheidsdata, met name wanneer dit infrequent voorkomende

nevenwerkingen betreft. Dergelijke informatie kan enkel gewonnen worden uit

epidemiologische studies, welke uitsluitend na registratie van een geneesmiddel

plaatsvinden. Hoofdstuk 5 toont aan dat de criteria die gehanteerd worden bij de

selectie van proefpersonen in vroege klinische studies een verklaring kunnen vormen

voor het verschil dat bestaat tussen vroege en late klinische studies in de relatieve

bijdrage van een geneesmiddel aan een waargenomen effect. Meestal worden met QTc

verlenging gepaard gaande storingen in het hartritme van een patient toegeschreven

aan het geneesmiddel zonder rekening te houden met andere intrinsieke en extrinsieke

factoren die aan het effect kunnen bijdragen. Dankzij het model beschreven in dit

proefschrift kon het geneesmiddelspecifieke QTc-verlengingseffect van d,l-sotalol in

patienten beschreven worden op een manier die verschillende bronnen van variabiliteit

in acht neemt. De resultaten tonen aan dat de waargenomen QTc waarden in deze

populatie niet enkel door het effect van het geneesmiddel verklaard kunnen worden.

Een logistische regressie analyse op de patientendata liet zien dat de aanwezigheid van

of een geschiedenis van diabetes, hartfalen, hoge bloeddruk en hartinfarct 270

risicofactoren zijn voor QTc verlenging. Verder werd een statistisch significant effect

gevonden voor comedicatie. Zowel comorbiditeit als comedicatie factoren zijn

verantwoordelijk voor een aantal hoge QTc waarden in de data.

In dit hoofdstuk werd gedemonstreerd hoe klinische en epidemiologische data op een

geintegreerde manier gebruikt kunnen worden voor de detectie van veiligheidssignalen

en voor de verbetering van risicobeheersing. De toepassing van farmacokinetische-

farmacodynamische concepten op epidemiologische data liet zien dat een analyse van

de concentratie-effect relatie in de vroeg-klinische populatie van proefpersonen

(gezonde vrijwilligers) van beperkte waarde is als de invloed van factoren die van

belang zijn in de patientenpopulatie niet ook in de analyse betrokken wordt. Deze

bevindingen extrapolerend naar het domein van TQT studies, kan men vraagtekens

zetten bij de validiteit van dit soort studies die de huidige standaard vormen voor de

vaststelling van hartritme effecten. Indirect wijzen deze bevindingen ook op de

tekortkomingen van de zogenaamde double-delta methode voor de analyse van

gegevens uit TQT studies. Het gebruik van tijdsgewijs berekende verschillen tussen de

behandeling met geneesmiddel en placebo levert resultaten op die niet representatief

zijn voor de mogelijk in de praktijk te verwachten geneesmiddel-geinduceerde QTc

verlengingen. Een ander voordeel van het farmacokinetisch-farmacodynamische model

is dat zelfs wanneer farmacokinetische parameters bepaald zijn op basis van

subtherapeutische geneesmiddelconcentraties, de effecten van blootstelling aan

therapeutische concentraties toch voorspeld kunnen worden. Zodoende kunnen

uitspraken gedaan worden over de verwachte QTc effecten van klinische relevante

doseringen.

Onze benadering heeft ook een onvolkomenheid aan het licht gebracht met betrekking

tot de aanname dat bevindingen in een klinische studie extrapoleerbaar zijn naar de

patientenpopulatie in de geneeskundige praktijk. De voorwaarden voor de evaluatie van

geneesmiddelgerelateerde QTc interval verlenging zijn het onderwerp van hoofdstuk

6. Hier werden de gevonden verschillen tussen populaties in klinische studies en die in

de praktijk overbrugd en werd het aandeel van een aantal factoren in het QTc effect

ingeschat met behulp van simulatiemethodes. De zogenaamde Not-In-Trial Simulatie

methode opereert onder de aanname dat het QTc interval in de algemene medische

271

populatie een optelsom is van een leeftijdseffect, een geneesmiddeleffect en de effecten

van comedicatie en comorbiditeit. Verwacht wordt dat deze methode ook van belang

kan zijn voor de inschatting van het QTc effect in risicopopulaties. Dit vereist dat

patienten behorend tot deze subpopulaties opgenomen worden in simulatiescenarios.

Deze benadering kan nauwkeurigere schattingen maken het cardiovasculaire risico en

kan oplossingen aanreiken om risico’s te vermijden. Zodoende kan een mogelijke

terugtrekking van een geneesmiddelregistratie voorkomen worden.

Dit onderzoek belichtte ook methodologische aspecten die verschillen kunnen

verklaren in geneesmiddelveiligheid zoals die wordt vastgesteld voor en na de toelating

van een geneesmiddel tot de markt. Ten eerste is de opzet van veiligheidsstudies sterk

gericht op effectiviteit. Ten tweede is het totale aantal patienten dat gedurende

klinische studies aan het geneesmiddel wordt blootgesteld niet groot genoeg om een

relatief weinig voorkomend maar mogelijk fataal risico op te sporen. Ten derde worden

veel subpopulaties met een hoger risico op hartritmestoornis geweerd uit klinische

studies. Onder deze subpopulaties kunnen vallen: vrouwen, ouderen, personen die door

erfelijkheid of leefpatroon belast zijn met een risico op hart- of andere ziekten

geassocieerd met een verminderde repolarisatiereserve (en daardoor meer geneigd zijn

QTc interval verlenging te vertonen), personen met een farmacogenetisch defect in hun

metabolische enzymen of farmacologische aangrijpingspunten zoals een polymorfisme

van een kaliumkanaal; personen met een sterkere neiging tot het ontwikkelen van een

vertraagde hartslag (bradycardie) of elektrolytische onbalans, of gebruikers van

geneesmiddelen waarvan bekend is dat ze farmacokinetische of farmacodynamische

interacties kunnen vertonen. Verder toonden de in dit proefschrift vermelde resultaten

een effect van leeftijd op het onder normale omstandigheden gemeten QTc interval.

Deze correlatie verklaart voor een belangrijk deel de waargenomen QTc waarden in de

patienten doelgroep, ongeacht van de behandeling.

Om de robuustheid van de bevindingen afgeleid uit de Not-in-Trial simulaties te testen

werden data van een nieuw referentiegeneesmiddel geanalyseerd in hoofdstuk 7. In

plaats van geneesmiddelveiligheidsonderzoek te beperken tot meta-analyses van

bestaande data (zowel uit gerandomiseerde klinische studies als uit de medische

praktijk) laat dit onderzoek zien dat een op modellen gebaseerde aanpak ook

272

“prospectieve” data synthese mogelijk maakt. Het gebruik van hierarchische modellen

stelt ons in staat vaste factoren (effecten van het geneesmiddel of het ziekteproces) en

stochastische factoren (variabele effecten, onzekerheden in het model) te integreren.

Parameters uit het model worden vervolgens gebruikt om relevante nieuwe scenarios

te onderzoeken. QTc metingen in personen die cisapride toegediend kregen, werden

nauwkeurig gekarakteriseerd, in het bijzonder de zeer hoge waarden.

De voorgaande resultaten moeten beschouwd worden als een externe validatie voor het

concept van Not-in-Trial Simulatie als een algemene methode voor signaaldetectie en

risicomanagement in de klinische geneesmiddelontwikkeling. De QTc waarden

waargenomen in de praktijk voor twee geneesmiddelen met verschillende

werkingsmechanismen en therapeutische toepassingen konden correct voorspeld

worden. Van twee belangrijke factoren die de bepalend zijn voor het effect werd

vastgesteld dat ze onafhankelijk zijn van het toegediende geneesmiddel. Deze factoren

zijn leeftijd en comorbiditeit. Hoewel de toepassing van het Not-in-Trial Simulatie

concept hier beperkt bleef tot QTc interval verlenging, wordt verwacht dat het ingezet

kan worden voor elk neveneffect. Het kan ook gebruikt worden om onderscheid te

maken tussen factoren wanneer deze interactie vertonen: met name wanneer het een

interactie tussen twee geneesmiddelen of tussen een geneesmiddel en het ziekteproces

betreft en de interactie specifiek is voor een bepaald geneesmiddel.

De Not-in-Trial Simulatie methode biedt voordelen ten opzichte van zogenaamde meta-

analyses, voor welke het “model” vooral een grote, samengestelde data set beschrijft.

Met behulp van de simulatiemethode kunnen onderzoekers hypothetische populaties

verkennen en verschillende doseringen testen die niet beperkt zijn tot de waargenomen

data.

De voornaamste beperking van de hier voorgestelde methode is het ontbreken van

stochastische variabiliteit op het effect van geneesmiddelblootstelling. De inclusie van

een dergelijke variabiliteit (welke verschillen tussen patienten verklaart) zou de

bepaling en de voorspelbaarheid van de relatie tussen blootstelling en effect verbeteren.

Meer onderzoek en andere onderzoeksprotocollen voor veiligheidsstudies in de

medischepraktijk zijn nodig om de rol van farmacokinetische variabiliteit beter te

verklaren.

273

12. 3. 3 De voorspellende waarde van QTc interval verlenging voor cardiovasculair risico

Het primaire doel van dit onderzoek naar QT/QTc verlenging in nieuwe

geneesmiddelen was het verminderen van voorvallen van hartritmestoornissen

veroorzaakt door geneesmiddelen (met uitzondering van geneesmiddelen met een

therapeutisch effect op het hartritme). Een doelstelling in het verlengde hiervan was

gericht op het verminderen van gevallen van plotselinge hartdood. Dit doel was

gebaseerd op het veronderstelde verband tussen verlenging van het QTc interval,

hartritmestoornis en plotselinge hartdood. Echter, gegevens die dit verband aantonen

waren niet bechikbaar. Daarom werd een omvangrijke evaluatie uitgevoerd waarin de

voorspellende waarde van QT interval verlenging onderzocht werd in 182 gevallen van

plotselinge hartdood (data afkomstig van het Rotterdam Study Cohort). Hier werd

vastgesteld dat de mate van optreden van plotselinge hartdood beter gecorreleerd is

aan een hoge absolute basiswaarde van het QTc interval dan aan QTc verschillen. Een

verlenging van meer dan 10 milliseconden ten opzichte van de basiswaarde was niet

van statistisch belang. Deze bevindingen zijn in overeenstemming met resultaten die

laten zien dat het relatieve risico op een levensbedreigende hartritmestoornis hoger is

bij een hartslag van meer dan 84 slagen per minuut en dat deze stoornissen zelden

voorkomen bij een QTc interval korter dan 500 milliseconden.

De hier getoonde resultaten doen twijfel rijzen over het gebruik van QT interval

verlenging als maat voor het cardiovasculaire veiligheidsrisico. In een analyse die

onderzocht hoe het voorkomen van plotselinge hartdood afhangt van veranderingen in

het QT interval of van de tijd tussen het laatst opgenomen electrocardiogram en

overlijden, werd geen verband gevonden. Dit betekent dat het gebruik van absolute QTc

waarden voor de bepaling van het risico op plotselinge hartdood betrouwbaarder zou

kunnen zijn. Deze bevindingen weerspreken de hypothese die aan de basis staat van de

richtlijnen in ICH E14 over de evaluatie van het cardiovasculaire risico van

geneesmiddelen. In deze richtlijnen is het veiligheidsrisico gedefinieerd aan de hand

van een drempelwaarde voor verlengingen van 10 milliseconden. Het verband tussen

het verschil van 10 milliseconden in QTc en plotselinge hartdood werd niet statistisch

significant bevonden. Wij voorzien daarom aanpassingen aan twee belangrijke

concepten in toekomstige revisies van de ICH E14 richtlijnen: de reden voor een

274

drempelwaarde van 10 milliseconden en het gebruik van veranderingen van

basiswaarden van QTc om risico’s te bepalen. Uitgaande van resultaten hier

gepresenteerd kan geconcludeerd worden dat veranderingen in QTc veroorzaakt door

geneesmiddelen het cardiovasculaire risico niet noodzakelijkerwijs verhogen tenzij de

QTc basiswaarde hoog is.

Hoewel het misschien niet mogelijk is een grensgebied voor QTc waarden op te stellen

zonder hierin verdere factoren te betrekken die bijdragen aan het risico op plotselinge

hartdood, lijkt het evident dat een effectief beleid voor risicomanagement basis-QTc

waarden als een belangrijke voorspellende factor voor hartritmestoornissen zou

moeten meenemen. De aanname dat een toename van het QTc interval met meer dan 10

milliseconden het risico op hartritmestoornissen binnen een populatie in gelijke mate

verhoogt kon niet worden gerechtvaardigd.

12. 4 De rol van simulaties in de optimalisatie van protocollen voor klinische studies.

12. 4.1 Simulatie van RR waarden en QT intervallen

Omdat de hartslagfrequentie mede de duur van het QT interval bepaalt, moet bij de

bepaling van het geneesmiddeleffect op het QT interval voor hartslag gecorrigeerd

worden. Het wiskundige verband tussen QT interval en hartfrequentie kan in het model

voor QT bepaling opgenomen worden. Het gecorrigeerde QT interval (QTc) kan

geneesmiddelgeinduceerde effecten onderscheiden van effecten veroorzaakt door

verschillen in hartfrequentie.

Voor een effectieve toepassing van klinische studie-simulaties op bepalingen van QT

verlenging is de beschikbaarheid van individuele hartfrequenties over de tijd

noodzakelijk. In tegenstelling tot methoden die ruwe data hanteren om verbanden

tussen variabelen af te spiegelen (de zgn. “resampling” methoden), werd in hoofdstuk 9

het verband tussen QT interval en hartfrequentie (RR) over een periode van 24 uur

expliciet beschreven met een model. Deze benadering stelt de onderzoeker in staat

realistische hartfrequentiereeksen te genereren die vervolgens gebruikt worden als

invoerdata voor het model dat het verband tussen QT en RR beschrijft. Aan de hand van

de nieuwe methode werden QT en RR metingen gesimuleerd voor discrete tijdspunten

275

gekozen volgens een protocol. De variantiestructuur en de correlaties in de

gesimuleerde data zijn een afspiegeling van de ruis op de data tengevolge van meet- en

selectieprocedures. Deze nieuwe benadering was essentieel voor de evaluatie en

optimalisatie van klinische protocollen in hoofdstukken 10 en 11. In deze evaluatie

werden variaties in studieopzet en analysemethode onderzocht op de eruit

voortvloeiende statistische type I en II fouten.

12. 4. 2 Concentratie-effect relaties versus de “double-delta” methode

In hoofdstuk 10 werden grondige QT (TQT) studies gesimuleerd onder aanname van

verschillende populatiegroottes en geneesmiddelgeinduceerde QT effecten. Ook de

studieopzet werd gevarieerd: een cross-over studie met referentiewaarden voor alle

kloktijden, een cross-over studie met drie referentiewaarden en parallelle studies

werden bestudeerd. De resultaten toonden aan dat een Bayesiaans hierarchisch model

geneesmiddelgeinduceerde QT effecten met een gelijke of hogere specificiteit en

sensitiviteit onderscheidt dan de double-delta methode. Deze bevindingen pleiten voor

het gebruik van concentratie-effectrelaties in plaats van de double-delta methode voor

de analyse van QTc interval verlenging veroorzaakt door geneesmiddelen. Zodoende

kunnen aanwijzingen voor of tegen een QT verlengend effect vergaard worden met een

significant kleiner aantal studiedeelnemers. Aangezien de hoge kosten van TQT studies

voornamelijk toegeschreven worden aan de vereiste studiegrootte, biedt dit resultaat

een reden om ethische, statistische en financiele aspecten van de bepaling van QT

verlengingen opnieuw te beschouwen. Een ander voordeel van het gebruik van een

modelgeorienteerde benadering is de mogelijkheid om op een andere manier met het

multipliciteitsprobleem om te gaan (multipliciteit onstaat wanneer een effect op

verschillende momenten vastgesteld moet worden). Het model bepaalt het

geneesmiddel-geinduceerde effect als een continue functie van de waargenomen

geneesmiddelconcentratie in plaats van het op een aantal discrete tijden te schatten.

Deze bemoedigende resultaten vormen zowel de bouwstenen voor een alternatief voor

de huidige analysemethode toegepast in TQT studies, als ook een strategie om de kosten

van dergelijke studies te reduceren.

Gezien de aanzienlijke winst in sensitiviteit die te boeken valt met een modelmatige

benadering voor de bepaling van QT interval verlenging, werd in hoofdstuk 11 de

276

mogelijkheid onderzocht om het QT verlengingsrisico gedurende de standaard

uitgevoerde “first-in-human” (FTIH) studie te bepalen. Wanneer de resultaten van een

dergelijke bepaling beschouwd worden in samenhang met aanwijzingen voor een

concentratie-effectrelatie en de daaraan verwante kans op QTc interval verlenging in

preklinische diermodellen, mag verwacht worden dat het risico op een QT verlengend

effect correct ingeschat kan worden. Een ander voordeel van de aanpak op basis van

modellen is de mogelijkheid om het QT verlengende effect van een geneesmiddel over

het gehele therapeutische concentratiebereik te karakteriseren. FTIH studies vormen

een verplicht en vastomschreven onderdeel van het klinische ontwikkelingpad. Slechts

geringe aanpassingen aan het schema van metingen zijn noodzakelijk om

electrocardiogrambepalingen correct mee te nemen in het protocol.

Verder lieten de analyseresultaten zien dat nauwkeurige schattingen van de grootte van

het QT verlengende effect gemaakt konden worden zonder dat daarvoor gegevens van

een positieve controlearm benodigd waren. Het nut van het gebruik van bestaande

gegevens over het effect van een referentiefarmacon als moxifloxacine in de vorm van

een a priori schatting wordt hiermee echter geenszins ontkend.

12. 5 Aanbevelingen

Dit proefschrift belicht de gebreken van verscheidene aspecten van de ICH E14 richtlijn.

Verder draagt het alternatieven aan en doet het aanbevelingen ter verbetering. In de

eerste plaats werd een Bayesiaans model geintroduceerd dat het verband beschrijft

tussen geneesmiddelconcentratie en QTc interval verlenging. Met dit model kunnen

geneesmiddelafhankelijke effecten over een relevant concentratiebereik voorspeld

worden. Deze methode verdient de voorkeur boven de puur empirische double-delta

methode. Gebruik van doseringen hoger dan de therapeutische is niet noodzakelijk

maar ook indien deze wel toegepast worden, kan het effect van een dosis in het

therapeutische bereik eenvoudig herleid worden met het hierarchische model. Verder

werd aangetoond dat de Bayesiaanse benadering QTc verlengingen over een

tijdscontinuum nauwkeuriger en preciezer voorspelt. Een ander voordeel van een op

modellen gebaseerde aanpak is de mogelijkheid om QTc effecten te beschrijven en te

vergelijken voor een spectrum van farmaca en organismen. De aan deze methode

277

inherente beschikbaarheid van a posteriori waarschijnlijkheidsverdelingen stelt de

onderzoeker in staat de kans op een vooraf gedefinieerde verlenging van het QTc

interval te bepalen. Door hetzelfde model opnieuw toe te passen voor de analyse van

data verkregen uit een FTIH studie met een toegevoegde ECG component, kan de

potentie van een farmacon om het hartritme te beinvloeden vastgesteld worden zonder

dat hiervoor een aparte TQT studie uitgevoerd hoeft te worden. Dit houdt in dat

besluiten om de ontwikkeling van een geneesmiddel al dan niet voort te zetten eerder

genomen kunnen worden.

12. 6 Vooruitblik

De resultaten gepresenteerd in dit proefschrift onderstrepen de behoefte aan een

nieuwe denkwijze bij de vaststelling van de cardiovasculaire veiligheid van

geneesmiddelen. In deze denkwijze is de synthese van gegevens niet langer

ondergeschikt aan het genereren van nieuwe gegevens. De resultaten bevestigen verder

de noodzaak om huidige richtlijnen te herzien. Met name de inhoud van het ICH E14

document blijkt niet in overeenstemming met recente wetenschappelijke inzichten.

Het is van belang dat klinisch onderzoekers, medici in de gezondheidszorg en regel- en

wetgevende autoriteiten inzien dat de opzet van een geneesmiddelstudie van invloed is

op de gegevens die de studie voortbrengt. Verschillen tussen de onderzoekspopulatie

bestudeerd tijdens geneesmiddelevaluatie en de patientenpopulatie in de medische

praktijk mogen niet genegeerd worden. Intrinsieke en extrinsieke factoren of covariaten

dragen bij aan de tot standkoming van het behandelingsresultaat. De farmacologische

effecten van het geneesmiddel worden door deze factoren geantagoneerd, tenietgedaan

of anderszins gemodificeerd. Binnen het regelgevende kader zou de vraag moeten rijzen

hoe efficient en betrouwbaar klinische studies zijn in het vaststellen van het risico op

levensbedreigende hartritmestoornissen, gezien de verschillen tussen populaties, de

intrinsieke ruis op de data en het relatief infrequent voorkomen van significante

geneesmiddelgerelateerde effecten [16].

Zoals de titel van dit proefschrift suggereert bestaat er een kloof in de vertaling van

veiligheidssignalen in klinische studies naar de medische praktijk, welke overbrugd

278

moet worden als onderdeel van de risicobeheersing. Daarom is het belangrijk tijdens de

klinische ontwikkeling de aandacht te vestigen op de synthese van gegevens en ervoor

te zorgen dat het verband tussen farmacokinetiek en farmacodynamiek bekend is. Op

modellen gebaseerde analyse en simulaties vormen de essentiele gereedschappen om

deze kloof te dichten. Wij verwachten dat vooruitgang geboekt kan worden in de

voorspelling van cardiovasculaire geneesmiddelveiligheid door de toepassing van het

concept van Not-in-Trial simulaties uit te breiden naar meerdere eindpunten en door de

integratie van meer en andere mechanistische modellen in de Bayesiaanse

hierarchische benadering. Gezien de toenemende beschikbaarheid van data over

geneesmiddelveiligheid afkomstig uit praktijkstudies zal de toegang tot informatie niet

langer de beperkende factor zijn in de overbrugging van eerdergenoemde kloof.

Onafhankelijk van de data blijft het verder van kritiek belang dat in de

modelgeorienteerde benadering onderscheid gemaakt wordt tussen

geneesmiddelspecifieke en systeemspecifieke parameters.

Het concept van de Not-in-Trial simulaties, ontwikkeld in dit proefschrift, kan een

verdere basis bieden voor de integratie van klinische en farmaco-epidemiologische

data. Het werd in eerste instantie geintroduceerd als een instrument om de uitwerking

te bepalen van de strikte inclusie- en exclusiecriteria die opgesteld worden voor

klinische studie-populaties, alsook om de invloed van de relatief korte duur van

klinische studies na te gaan. Deze beperkingen dragen ertoe bij dat infrequent of

zeldzaam voorkomende veiligheidssignalen pas lange tijd nadat het geneesmiddel op de

markt beschikbaar komt gedetecteerd worden. De mogelijkheid om dergelijke signalen

al vóór de registratie te anticiperen biedt de mogelijkheid om risicoverminderende

maatregelen te onderzoeken en implementeren.

Het idee achter Not-in-Trial simulaties is om relevante fysiologische parameters en

geneesmiddel-specifieke parameters te combineren in een model en vervolgens de

invloed van farmacoepidemiologische variabelen als comborbiditeit en comedicatie op

de parameterwaarden te bepalen. In één van zijn publicaties benadrukte Black “ dat het

onterechte conflict tussen diegenen die onder alle omstandigheden voor

gerandomiseerde studies pleiten en diegenen die geloven dat observationele data

afdoende zijn, plaats moet maken voor wederzijds begrip voor de complementaire rol

279

van de twee benaderingen.” [17].

Regelgevers en klinisch onderzoekers vertrouwen bij de evaluatie van een

geneesmiddel onder meer op een positieve waarde van de ratio tussen therapeutische

waarde en de risico. Hierbij zijn zij afhankelijk van data die gegenereerd wordt in

klinische of observationele studies [18-21]. In de praktijk zijn dit vaak langdurige

klinische fase IV studies of, recentelijk, observaties gemaakt in het kader van

progressieve licentieverstrekking (“progressive licensing”). Deze oplossing legt de last

uiteindelijk bij patienten en geneesmiddelontwikkelaars, met het risico dat bewijs van

onveiligheid pas verkregen wordt nadat een nevenwerking is opgetreden in de

medische praktijk. Tot dusver zijn pogingen om alternatieven te ontwikkelen voor

formele prospectieve studies beperkt gebleven tot “retrospectieve” meta-analyses van

bestaande data uit de klinische praktijk alsook uit gerandomiseeerde klinische trials.

Het is essentieel dat meer onderzoek gedaan wordt naar de ontwikkeling van

voorspellende methoden en vooruitblikkende strategieen.

De kracht van de Bayesiaanse benadering is beperkt tot de analytische capaciteit om

QTc interval verlenging op te sporen en helpt daarom enkel bij de bepaling van de

arythmogeniciteit. Zij biedt echter geen oplossing voor de praktische of statistische

problemen met betrekking tot de verwerking van ECG metingen. Mogelijke

onderwerpen waarin vooruitgang geboekt kan worden zijn het algoritme voor het

aflezen van ECG bepalingen, de techniek voor de correctie van

meetonnauwkeurigheden, de invloed van de aard van comorbiditeit op de ECG

waarden en verscheidene andere covariaten die hun weerslag hebben op deze

metingen.

Er wordt veel onderzoek verricht om de precisie van QT metingen te verbeteren. Onder

de onderzochte methoden valt het gebruik van geautomatiseerde afleestechnieken.

Verder wordt getracht statistische problemen te verhelpen door oorzaken van

variabiliteit te achterhalen, nieuwe algoritmes te ontwikkelen en de

reproduceerbaarheid van bepalingen te vergroten. In 2001 ontwikkelde de FDA het

digitale ECG Warehouse voor de opslag van ECG metingen die aangeleverd worden ten

behoeve van registratieverzoeken. Naast zijn primaire functie van opslagfaciliteit

280

vormt het Warehouse een geschikte bron voor onderzoek door universiteiten en

bedrijven. Het is een waardevol instrument dat gebruikt kan worden om nieuwe

biomarkers voor hartritmestoornissen te bestuderen, deze te correleren aan klinische

en biochemische maatstaven voor cardiovasculaire veiligheid, om hiermee de diagnose

en behandeling van cardiovasculaire aandoeningen te verbeteren. Verder biedt het de

mogelijkheid variabiliteit in fysiologische variabelen te bepalen en deze te gebruiken

om a priori verdelingen op te stellen voor toekomstige Bayesiaanse analyses van QTc

interval verlengingen op basis van farmacokinetische-farmacodynamische relaties.

Geneesmiddelonderzoekers moeten “oppassen voor de kloof” tussen gecontroleerde

klinische trials en de geneeskundige praktijk. De tijd is rijp om deze problematiek aan te

pakken door de verschillen te kwantificeren, te voorspellen, te interpreteren en

uiteindelijk te overbruggen. Het kan niet genoeg benadrukt worden dat het nu mogelijk

is een op modellen en simulaties gebaseerde benadering voor risicobeheersing te

ontwikkelen.

281

Referenties

[1] Kowey PR, Malik, M. The QT interval as it relates to the safety of non-cardiac drugs. European Heart Journal Supplements 2007;9(Supplement G).[2] Letsas KP, Letsas, G. P. Drug-Induced Proarrhythmia: QT Interval Prolongation and Torsade de Pointes. Hospital Chronicles 2011;6(3):118-22.[3] Piccini JP, Whellan DJ, Berridge BR, Finkle JK, Pettit SD, Stockbridge N, et al. Current challenges in the evaluation of cardiac safety during drug development: translational medicine meets the Critical Path Initiative. Am Heart J 2009 Sep;158(3):317-26.[4] Turner JR. Drug safety, medication safety, patient safety: An overview of recent FDA guidances and initiatives. Regulatory Rapporteur 2009;6(4).[5] Pollard CE, Valentin JP, Hammond TG. Strategies to reduce the risk of drug-induced QT interval prolongation: a pharmaceutical company perspective. Br J Pharmacol 2008 Aug;154(7):1538-43.[6] Anon. ICH E14 The clinical evaluation of QT/QTc interval prolongation and proarrhythmic potential for non-antiarrhythmic drugs. 2005.[7] Anon. ICH Topic S7A Safety Pharmacolog Studies for Human Pharmaceuticals. 2000.[8] Anon. ICH Topic S7B The nonclinical Evaluation of the Potential for delayed Ventricular Repolarization (QT Interval Prolongation) by Human Pharmaceuticals. 2005.[9] Pater C. Methodological considerations in the design of trials for safety assessment of new drugs and chemical entities. Curr Control Trials Cardiovasc Med 2005 Feb 3;6(1):1.[10] Turner JR. Analyzing Safety Data. Key Statistical Concepts in Clinical Trials for Pharma: Springer; 2012. p. 11-21.[11] Pepe M, Longton G, Janes H. Estimation and Comparison of Receiver Operating Characteristic Curves. Stata J 2009 Mar 1;9(1):1.[12] Cavero I. Using pharmacokinetic/pharmacodynamic modelling in safety pharmacology to better define safety margins: a regional workshop of the Safety Pharmacology Society. Expert Opin Drug Saf 2007 Jul;6(4):465-71.[13] Fleury A, Lave T, Jonsson F, Schmitt M, Hirkaler G, Polonchuk L, et al. A pharmacokinetic-pharmacodynamic model for cardiovascular safety assessment of R1551. J Pharmacol Toxicol Methods 2010 Jan-Feb;63(1):123-33.[14] Langdon G, Davis JD, McFadyen LM, Dewhurst M, Brunton NS, Rawal JK, et al. Translational pharmacokinetic-pharmacodynamic modelling; application to cardiovascular safety data for PF-00821385, a novel HIV agent. Br J Clin Pharmacol 2010 Apr;69(4):336-45.[15] Ollerstam A, Visser SA, Duker G, Forsberg T, Persson AH, Nilsson LB, et al. Comparison of the QT interval response during sinus and paced rhythm in conscious and anesthetized beagle dogs. J Pharmacol Toxicol Methods 2007 Sep-Oct;56(2):131-44.[16] Bonate PL, Russell T. Assessment of QTc prolongation for non-cardiac-related drugs from a drug development perspective. J Clin Pharmacol 1999 Apr;39(4):349-58.[17] Black N. Why we need observational studies to evaluate the effectiveness of health care. BMJ 1996 May 11;312(7040):1215-8.[18] Baker SG, Cook NR, Vickers A, Kramer BS. Using relative utility curves to evaluate risk prediction. J R Stat Soc Ser A Stat Soc 2009 Oct 1;172(4):729-48.

282

[19] Vickers AJ, Cronin AM, Kattan MW, Gonen M, Scardino PT, Milowsky MI, et al. Clinical benefits of a multivariate prediction model for bladder cancer: a decision analytic approach. Cancer 2009 Dec 1;115(23):5460-9.[20] CIOMS. Benefit-Risk Balance for Marketed Drugs: Evaluating Safety Signals. Geneva: CIOMS Working Group V; 1998.[21] Walker S, Philips, L., Cone, M. Benefit-Risk Assessment Model for Medicines: Developing a Structured Approach to Decision Making. Washington DC: CMR International Institute for Regulatory Science; 2005.

283