1

Datagedreven zorg:Hoe zorgen we voor vertrouwenswaardige AI in de langdurige zorg?

Het achtste artikel uit een artikelenreeks over de toenemende rol van “data” in de zorg en maatschappij

Dirk Lukkien, Esther Roosdorp en Henk Herman NapAuteur:

2

Hoe zorgen we voor vertrouwenswaardige AI in de langdurige zorg?

AI biedt kansen voor de langdurige zorg en belooft chronische problemen aan te pakken, bijvoorbeeld door bij te dragen aan het beter herkennen en voorspellen van de zorgvraag van cliënten en te ondersteunen bij de besluitvorming door zorgprofessionals over de juiste zorg op het juiste moment. In de vorige artikelen hebben we laten zien dat dit niet alleen toekomstmuziek is. Maar hoe zorgen we er voor dat AI op een verantwoorde manier wordt ingezet? Om aan te zetten tot nadenken, beschrijven we in dit artikel een aantal uitdagingen en dilemma's.

AI speelt nu al een rol in de langdurige zorg en is bezig met een opmars binnen verschillende toepassingsgebieden zoals monitoring technologie, registratie- en beslissingsondersteunende software, AR & VR en zorgrobots. Er zijn echter grenzen aan beslissingen en handelingen op basis van, of ondersteund door AI. Ten opzichte van mensen kunnen AI-algoritmen betere, snellere, en soms transparantere beslissingen nemen, maar algoritmische beslissingen kunnen bijvoorbeeld ook ondoorgrondelijk zijn, discrimineren of de plank volledig misslaan. Het snelle tempo van veranderingen op het gebied van AI leidt daarom niet alleen tot veel enthousiasme en forse investeringen, maar zet ook aan tot nadenken over de risico's en de impact van AI op individuen, groepen mensen en hele samenlevingen en over de manier waarop de ontwikkeling van AI moet worden voortgezet.

De discussie over AI beweegt zich continu tussen het verlangen naar intelligente technologieën die ons leven gemakkelijker maken en de angst dat AI onze sociale, economische en interpersoonlijke levens kan schaden of we er zelfs geheel de controle over kunnen verliezen.1,2,3,4 De laatste jaren is er zowel binnen Nederland als op internationaal niveau dan ook veel aandacht voor de verantwoorde ontwikkeling en toepassing van AI (zie kader).

Richtlijnen voor AI & ethiekEr zijn veel initiatieven geweest om vanuit ethisch perspectief naar AI te kijken, zowel vanuit de wetenschap en overheden als het bedrijfsleven. Dit heeft geleidt tot een breed scala aan ethische codes.5 Vanuit de Europese Commissie zijn er in april 2019 door een AI High Level Expert Group richtlijnen gepubliceerd voor de ontwikkeling en toepassing van “trustworthy” AI, oftewel voor vertrouwenswaardige AI. Deze richtlijnen zijn zowel voor gebruikers als voor ontwikkelaars van AI relevant en zijn ook in het Nederlands beschikbaar.6 Binnen de richtlijnen zijn er zeven eisen voor AI geformuleerd:

1. menselijke controle en menselijk toezicht

2. technische robuustheid en veiligheid3. privacy en datagovernance4. transparantie5. diversiteit, non-discriminatie en

rechtvaardigheid6. maatschappelijk en milieubewustzijn7. verantwoording

3

In de voorgaande artikelen over datagedreven zorg zijn voorbeelden genoemd van AI-innovaties waar men kanttekeningen bij plaatst en die bewust (moeten) worden meegenomen tijdens de verdere ontwikkeling en toepassing. Bij de toepassing van spraak-naar-tekst stelde een ECD leverancier bijvoorbeeld vraagtekens ten aanzien van de vertrouwelijkheid van data; waar gaan alle data naartoe en wat als andere mensen tijdens het rapporteren kunnen meeluisteren? Daarnaast ziet men het risico dat de aanbevelingen van beslissingsondersteunende software – die bijvoorbeeld op basis van cliëntrapportages aanbevelingen doet voor aandachtsgebieden - gemakkelijk door zorgprofessionals kunnen worden overgenomen zonder dat ze optimaal aansluiten bij hun professionele inschatting en de zorgvraag van de cliënt. Daarom wordt er nagedacht over hoe dit risico kan worden geminimaliseerd, bijvoorbeeld via training van gebruikers en door waarschuwingen in het gebruikersinterface.7

In dit artikel gaan we dieper in op een aantal uitdagingen en dilemma’s die gepaard gaan met de opmars van AI. We bespreken brede maatschappelijke uitdagingen waarvan in sommige gevallen nog zal moeten blijken hoe ze zich in de zorgpraktijk of bij specifieke technologische toepassingen manifesteren en hoe de sector hier op kan voorsorteren. Terwijl

ethische richtlijnen voor AI richting kunnen geven bij het anticiperen op, en oplossen van zulke vraagstukken, zijn er geen kant en klare oplossingen beschikbaar. De uitdagingen en dilemma’s leiden binnen iedere context tot unieke vragen en behoeven dus ook context-specifieke oplossingen. De ontwikkeling en het gebruik van zinvolle en verantwoorde AI in de langdurige zorg vraagt daarom om kennis en bewustwording vanuit de praktijk; om (h)erkenning van ontwikkelaars, gebruikers en andere belanghebbenden over de uitdagingen en dilemma’s die gepaard gaan met AI en welke impact deze (kunnen) hebben op specifieke ontwikkelingen in hun eigen praktijksituatie. Met dit artikel hopen we een bijdrage te geven aan de bewustwording van de sector op dit gebied. We willen hiermee niet afschrikken of ontmoedigen tot investeringen in innovatie op het gebied van AI. We willen juist aanmoedigen tot de ontwikkeling en inzet van waarde(n)volle en vertrouwenswaardige AI-toepassingen in de langdurige zorg.

Herken je de uitdagingen die in dit artikel naar voren worden gebracht? Heb je ideeën over hoe deze tot uiting komen bij de toepassing van AI in de zorg of hoe de sector hier mee om kan gaan? Laat het ons weten!

Deze eisen moeten volgens de richtlijnen continu worden geëvalueerd en aangekaart in de levenscyclus van AI-systemen.

Tegelijkertijd laten deze (en andere) richtlijnen nog veel ruimte voor interpretatie hoe eisen voor AI in verschillende situaties kunnen worden toegepast. Op dit moment wordt nagedacht over hoe zulke eisen zich vertalen naar de context van zorg – hoe kan en moet aan deze eisen worden voldaan bij de ontwikkeling en het gebruik van verschillende typen zorgtechnologieën waarachter AI een drijvende kracht is?

4

1. Garbage in, garbage outAI-systemen kunnen fouten maken vanwege bijvoorbeeld onvoldoende data, gekleurde data, foutieve programmering en onduidelijke doelen. Vraagstukken in de echte wereld kunnen nu eenmaal niet (altijd) eenvoudig worden gereduceerd tot algoritmische formules. In die zin zijn de uitkomsten van AI dan ook zo goed of slecht als de input die er voor worden gebruikt. We geven een aantal voorbeelden waarbij AI-toepassingen de mist in gingen door gebrekkige input.

Allerlei taken en beslissingen in onze maatschappij die voorheen alleen aan mensen werden overgelaten worden inmiddels gedelegeerd aan algoritmen die adviseren, zo niet beslissen over hoe data moeten worden geïnterpreteerd en welke acties moeten worden ondernomen.8 AI-algoritmen zullen het echter onmogelijk altijd bij het juiste eind hebben en maken ook fouten. Ze kunnen fouten maken vanwege bijvoorbeeld onvoldoende data, gekleurde data, foutieve programmering en onduidelijke doelen. Vraagstukken in de echte wereld kunnen nu eenmaal niet (altijd) eenvoudig worden gereduceerd tot algoritmische formules. In die zin zijn de uitkomsten van AI zijn dan ook zo goed of slecht als de input die er voor worden gebruikt.

Enkele bekende voorbeelden van AI-systemen die door beperkte input de mist in gaan, zijn: Microsoft’s chatbot Tay die ‘slimmer’ werd naarmate er meer mee werd gechat, maar binnen een dag leerde om racistische opmerkingen te maken9; Google’s Sentiment Analyzer die onder andere homoseksualiteit interpreteerde als iets negatiefs10; en Google Foto’s die foto’s van blanke personen beter herkende dan Afro-Amerikaanse personen omdat de trainingsdata meer foto’s van witte mensen bevat en daardoor sommige Afro-Amerikaanse personen zelfs classificeerde als gorilla’s.11

Er zijn ook verschillende voorbeelden van AI-systemen die als gevolg van gekleurde data oneerlijke beslissingen nemen. Zo kwam in 2018 in het nieuws dat het Amerikaanse bedrijf Amazon experimenteerde met een AI-gedreven

wervingstool die de zoektocht naar toptalent moest optimaliseren door de automatische beoordeling van cv’s van sollicitanten.12 Het persbureau Reuters onthulde dat deze tool werd verbannen toen het bedrijf besefte dat het systeem kandidaten niet op een genderneutrale manier beoordeelde voor banen voor softwareontwikkelaar en andere technische functies. De computermodellen bleken te zijn getraind om patronen te observeren in cv's die gedurende een periode van 10 jaar bij het bedrijf zijn ingediend. De meeste van deze cv’s waren echter afkomstig van mannen waardoor het systeem zichzelf aanleerde dat mannelijke kandidaten de voorkeur hadden en daardoor vrouwen consequent discrimineerde. Na dit nieuws beweerde Amazon dat deze tool nooit daadwerkelijk in de praktijk door hun recruiters is gebruikt om kandidaten te evalueren.

Een ander voorbeeld is de AI-gedreven risico-beoordelingssoftware genaamd COMPAS die op verschillende plekken in de Verenigde Staten wordt gebruikt om in te schatten hoe waarschijnlijk het is dat gevangenen die in afwachting zijn van hun proces nog eens een misdrijf plegen. Door dit systeem worden op basis van historische data correlaties berekend tussen factoren zoals iemands leeftijd en geschiedenis met het strafrechtelijk systeem, en of de persoon al dan niet opnieuw is gearresteerd. Deze correlaties worden gebruikt om automatisch een risicoscore te bepalen waarmee de kans wordt aangegeven dat een verdachte tijdens de wachttijd voor een nieuw misdrijf zal worden gearresteerd. Kortom, het systeem helpt rechters te bepalen of een verdachte wel of niet moet worden vrijgelaten in afwachting van zijn of haar proces. In plaats van het risico op menselijke fouten en vooroordelen te verkleinen, bleek het algoritme echter bestaande vooroordelen te versterken. Van Afro-Amerikanen werd onterecht vaker voorspeld dat ze weer de fout in zouden gaan dan van blanke Amerikanen. Zij hadden bijvoorbeeld 45% meer kans om een hogere risicoscore te krijgen dan blanke beklaagden, zelfs wanneer werd gecontroleerd voor eerdere misdaden, herhaling van een misdrijf, leeftijd en geslacht.13 Alhoewel het eindoordeel bij de rechters blijft en zij deze risicoscores niet altijd volgen, zijn de risicobeoordelingen invloedrijk.

Bovenstaande voorbeelden laten zien dat er achter de veronderstelling dat AI belangrijke beslissingen in onze samenleving kan nemen

5

het misverstand schuil gaat dat de data op basis waarvan algoritmen beslissingen nemen altijd overeenkomen met de realiteit. Ook in de context van zorg kan dit tot problemen leiden, zo bleek uit een onlangs gepubliceerd onderzoek naar een algoritme dat in Amerikaanse ziekenhuizen wordt toegepast om zorg aan patiënten met complexe medische behoeften toe te wijzen.14

Ook hier bleek er onbedoeld sprake te zijn van benadeling van Afro-Amerikanen. Zij kregen over het algemeen lagere risicoscores toegewezen dan even zieke blanke mensen, met het gevolg dat de Afro-Amerikanen minder snel werden doorverwezen naar programma's die meer gepersonaliseerde zorg bieden. De gevonden verklaring: hogere kosten voor gezondheidszorg gaan over het algemeen gepaard met grotere gezondheidsbehoeften en daarom kent het algoritme risicoscores aan patiënten toe op basis van de totale kosten voor gezondheidszorg die in één jaar zijn opgebouwd. De wetenschappers die het algoritme testten, stelden echter dat het algoritme hier ook de fout in ging: de gemiddelde zwarte persoon in de database had namelijk vergelijkbare totale zorgkosten als de gemiddelde blanke persoon, maar de gemiddelde Afro-Amerikaan in de dataset was ook aanzienlijk zieker dan de gemiddelde blanke persoon, met een grotere prevalentie van aandoeningen zoals diabetes, bloedarmoede, nierfalen en hoge bloeddruk. Hierbij was de veronderstelling van de onderzoekers dat de verminderde toegang tot zorg van Afro-Amerikaanse mensen in ieder geval deels te wijten is aan de effecten van systemisch racisme (in de echte wereld dus).

Bestaande vooroordelen worden dus indirect via de trainingsdata doorgegeven met in dit geval het resultaat dat Afro-Amerikanen zieker moesten zijn dan blanke mensen voordat ze werden doorverwezen voor extra hulp. Slechts 17,7% van de patiënten die van het algoritme extra zorg kregen toegewezen, waren Afro-Amerikaan. Volgens het onderzoek zou dat aandeel 46,5% zijn als het algoritme onbevooroordeeld zou zijn. Er is hier geen sprake van opzet. Dit vooroordeel is onbewust in het algoritme ingebouwd omdat het algoritme mensen op basis van kosten aan risicocategorieën heeft toegewezen. De positieve kant van dit voorbeeld is dat er medewerking werd verleend aan de onderzoekers om het algoritme

onder de loep te nemen. Inmiddels werken de onderzoekers en ontwikkelaars zelfs samen om het algoritme te verbeteren.

2. AI kan vooringenomenheid versterken, maar ook helpen voorkomenAI kan vooroordelen of vooringenomenheid die bestaat in de ‘echte wereld’ versterken omdat de algoritmen worden getraind op basis van historische data uit deze wereld. Algoritmen kunnen dit niet oplossen, want dit is iets wat in de echte wereld - in menselijke beslissingen - moet worden opgelost. Algoritmen kunnen echter wel een helpende hand bieden door complexe menselijke beslissingen of beslissingen die op grote schaal worden gemaakt en niet met het ‘blote oog’ te observeren zijn transparanter te maken. Menselijke en AI-gedreven beslissingen kunnen vervolgens in een meer verantwoorde en vertrouwenswaardige richting worden gestuurd. Dit geldt zowel voor de beslissingen van mensen, die we kunnen aanspreken op hun ‘gedrag’, als voor de uitkomsten van AI, die we kunnen (her)programmeren en voeden met betere data.

De eerdere voorbeelden van algoritmen die discrimineren, seksistisch of racistisch zijn en foute of gekleurde beslissingen maken, laten zien dat algoritmische voorspellingen en beslissingen de historische data weerspiegelen die worden gebruikt om ze te maken. Bij de ontwikkeling en inzet van AI moet men daarom waakzaam zijn voor discriminatie en andere vormen van bevoordeling of benadeling in de ‘echte wereld’. Zulke vooringenomenheid wordt alleen maar versterkt door algoritmen die op basis van deze historische beslissingen (data) worden getraind. Met de toenemende rol van AI bestaat zelfs het gevaar dat besluitvormingsprocessen in onze samenleving steeds meer in beton worden gegoten. AI kan besluitvorming alleen optimaliseren binnen de

6

parameters van empirische data uit het verleden en bestaande ‘theorieën’ over hoe de wereld werkt (al dan niet ingebouwd als ‘regels’). Er is geen algoritme die vooringenomenheid kan oplossen, want dit is in feite geen algoritmisch probleem, maar iets wat in de echte wereld - in menselijke beslissingen - moet worden opgelost.15,16,17

AI kan wel een helpende hand bieden, namelijk door historische beslissingen die zijn vastgelegd in 'data' transparanter te maken en het expliciet te helpen maken als beslissingen van mensen en de uitkomsten van AI-systemen gekleurd (en mogelijk ‘oneerlijk’) zijn. Dit geldt des te meer voor complexe beslissingen en/of beslissingen die op grote schaal worden gemaakt en niet met het ‘blote oog’ te observeren of analyseren zijn.18 Als we bijvoorbeeld in data en/of AI-gedreven beslissingen terug zien dat thuiswonende ouderen met een lage sociaal-economische status relatief lang op de wachtlijst voor een verpleeghuis komen te staan, of minder vaak worden geselecteerd voor interventies tegen eenzaamheid, dan kunnen we daar iets aan gaan doen als we dat onlogisch of onwenselijk vinden. Binnen de context van zorg kan vooringenomenheid en benadeling van bepaalde (groepen) mensen (onbewust en onbedoeld) voorkomen bij het gebruik van beslissingsondersteunende software die diagnoses stelt of bepaalde zorg toewijst aan individuen of groepen mensen, maar ook bij andere soorten zorgtechnologieën zoals toezichthoudende domotica en robotica. Denk bijvoorbeeld aan bepaalde cliënten waarbij blijkt dat zij minder snel geholpen worden bij een verpleegoproep19 of waarvan noodsituaties (zoals een val) minder goed door een camera worden gedetecteerd, of aan een sociale robot die niet goed in staat is om mensen van een bepaalde etnische achtergrond te herkennen of hun accent te verstaan. Vooringenomenheid is iets wat vaak onbewust speelt en iets waar zowel gebruikers als ontwikkelaars waakzaam voor moet zijn en zelfs door onderzoek expliciet naar op zoek kunnen gaan.

3. Kunnen algoritmen wel kritisch onder de loep worden genomen?Om een positieve impact van AI te bevorderen en een negatieve impact te voorkomen, is een belangrijke voorwaarde dat de werking en effecten van algoritmen objectief kunnen worden onderzocht. Zulk onderzoek is nu nog zeldzaam, onder andere door geheimhouding vanuit ontwikkelaars en ook vanwege de complexiteit van een zelflerend systeem. Naast onderzoek is ook een continu publiek debat over wat ‘eerlijke’ beslissingen zijn van belang. Eerlijkheid kan namelijk verschillende dingen betekenen in verschillende contexten en voor verschillende belanghebbenden. Tegelijkertijd zullen we moeten erkennen dat niet alle (lange termijn) effecten van AI vooraf inzichtelijk kunnen worden gemaakt en dat problemen soms pas duidelijk worden bij het gebruik van AI.

Om een positieve impact van AI te bevorderen en een negatieve impact te voorkomen, is een belangrijke voorwaarde dat we algoritmen goede input meegeven, oftewel doelstellingen, beslisregels en data die neutraal, valide, betrouwbaar en niet vooringenomen zijn. Een andere voorwaarde is dat de werking en effecten van algoritmen vervolgens ook objectief (en dus onafhankelijk) worden onderzocht. Onderzoek naar algoritmische beslissingen is nu nog zeldzaam omdat onderzoekers vaak geen toegang kunnen krijgen tot de algoritmen en tot de trainingssets met data die nodig zijn om deze algoritmen volledig te testen. Vaak zijn de algoritmen en data namelijk eigendom van commerciële bedrijven en bovendien kan het om gevoelige data gaan waarvan de eigenaar geen toestemming heeft gegeven voor onderzoek.20 Er zou dus al veel vaker sprake kunnen zijn van ‘bevooroordeelde’ besluitvorming door algoritmen dan men tot nu toe middels onderzoek heeft kunnen laten zien. Er is onvoldoende inzicht in. Toegang tot de algoritmen en trainingsdata is belangrijk om dit vaker en vroegtijdiger inzichtelijk en transparant te maken, ook in de zorg.

7

Naast onderzoek naar de werking en effecten van algoritmen is het van belang om een continue (publieke) dialoog te voeren over wat wenselijke en neutrale uitkomsten zijn van AI. Waarden zoals neutraliteit en eerlijkheid kunnen namelijk verschillende dingen in verschillende contexten en voor verschillende belanghebbenden betekenen.21 Het is zinvol om dat expliciet te maken en daar verschillende belanghebbenden bij te betrekken. Alleen dan is het mogelijk om te anticiperen en reflecteren op de gewenste en daadwerkelijke invloed van algoritmen in de zorg en maatschappij en om er voor te zorgen dat ze worden verbeterd.

Onderzoek en een (publieke) dialoog kunnen positieve effecten van AI stimuleren en nadelige effecten helpen voorkomen, maar men moet ook erkennen dat (lange termijn) effecten niet altijd kunnen worden voorspeld. Problemen en onderliggende waarden worden vaak pas duidelijk zodra problematisch gebruik van AI zich voordoet, zelfs met voldoende middelen voor onderzoek en een publieke dialoog om hier vooraf op te anticiperen.8

4. Algoritmen kunnen voorspellen, maar ook manipulerenAlgoritmen voorspellen niet alleen ons gedrag, maar kunnen het ook vormen. Zowel gebruikers als ontwikkelaars van AI-gedreven zorgtoepassingen dragen een verantwoordelijkheid om te voorkomen dat AI menselijk gedrag en beslissingen op een negatieve manier beïnvloedt; gebruikers door kritisch te kijken naar de suggesties en uitkomsten van AI en ontwikkelaars door gebruikers hier ook toe te stimuleren via het interface van hun toepassingen.

Algoritmen voorspellen niet alleen ons gedrag, maar kunnen het ook vormen.8,22 In het eerdere artikel waarin we uitleg gaven aan de betekenis van AI zijn verschillende voorbeelden naar voren gekomen die laten zien dat AI-systemen in zorg en maatschappij vaak worden geïmplementeerd als achtergrondproces, onzichtbaar en vaak ook onbekend voor degenen waarop ze van invloed zijn.20,23 Denk bijvoorbeeld aan alledaagse voorbeelden van AI zoals toegepast in Netflix, de zoekmachine van Google en Facebook of een camerabewakingssysteem met beeldinterpretatie in de zorg waarbij gebruikers zich niet of amper realiseren dat ze met AI te maken hebben. Aan de hand van data zijn techbedrijven (bijvoorbeeld Google, Facebook, Apple en Amazon) in staat om de persoonlijkheid, voorkeuren en gedragspatronen van hun gebruikers te leren kennen. Door het gericht aanbieden van reclame - zoals het geval is met online advertenties en in politieke campagnes – op basis van gebruikersprofielen helpt AI hen om het (aankoop- of stem)gedrag van deze gebruikers te beïnvloeden. Het schandaal rondom Cambridge Analytica en Facebook over de beïnvloeding van de Amerikaanse presidentsverkiezingen in 2016 onderstreept dit gevaar.24 Onderzoekers van het Oxford Internet Institute constateren dan ook dat de combinatie van de onzichtbaarheid en de beïnvloedende kracht van AI het fundamentele risico met zich meebrengt dat de menselijke autonomie en zelfbeschikking door (of met behulp van) AI worden ondermijnd.21 In die zin kan het een gevaarlijke narratief zijn om te zeggen dat we de toekomst kunnen voorspellen met AI; AI beïnvloedt onze toekomst al. Pokemon

"Toegang tot de algoritmen en trainingsdata is belangrijk om bevooroordeelde besluitvorming door AI vaker en vroegtijdiger inzichtelijkte maken."

8

Go leidt onbewust miljoenen mensen – dankzij gamification – naar winkels en restaurants.25

Op basis van algoritmische voorspellingen kan men de voorwaarden creëren die uiteindelijk die voorspellingen realiseren.26,27 Bij voorspellingen van algoritmen en de menselijke handelingen die hier uit volgen, kan dus ook sprake zijn van een selffulfilling prophecy (zelfvervullende voorspelling); een voorspelling die direct of indirect leidt tot het uitkomen van die voorspelling. Als een algoritme op Facebook bijvoorbeeld een advertentie aanbiedt op basis van je online gedrag, dan wordt daarmee automatisch de kans vergroot dat de voorspelling klopt dat je het product achter de advertentie gaat kopen. Van zulke zelfvervullende voorspellingen kan ook sprake zijn bij AI in de zorg. In het eerdere artikel over AI-toepassingen in het ECD werd bijvoorbeeld aangegeven dat ‘meedenkende’ AI-tools – bijvoorbeeld voor complexe terminologie of relevante aandachtsgebieden voor de cliënt – het risico met zich meebrengen dat zorgprofessionals bepaalde AI-gedreven suggesties gemakkelijk overnemen, zonder kritisch te overwegen of de suggestie helemaal passend is.28 In dat geval voorspellen ze niet (alleen) wat de zorgprofessional het beste kan rapporteren, maar manipuleren ze ook wat er wordt gerapporteerd.

Bij AI-gedreven zorgtoepassingen is het daarom essentieel dat ontwikkelaars duidelijke en realistische verwachtingen scheppen over de mogelijkheden en beperkingen van hun systemen en dat ze gebruikers – al dan niet via de interface van hun toepassingen - stimuleren om kritisch na te (blijven) denken en de uitkomsten van AI niet als leidend, maar hooguit als suggestie of hulpmiddel te zien. Tegelijkertijd zullen gebruikers hier ook zelf hun deel van de verantwoordelijkheid in moeten nemen. Dit geeft het belang aan van training en begeleiding van zorgprofessionals en andere gebruikers bij het in gebruik nemen van nieuwe AI-gedreven zorgtechnologie. Ook zullen gebruikers nauw moeten worden betrokken bij (vakinhoudelijk) beoordelen van de voorspellingen en het verbeteren en aanpassen van algoritmen wanneer de voorspellingen bijvoorbeeld onjuist of vooringenomen blijken te zijn.

5. Het black box dilemmaBij veel algoritmische beslissingen is er niemand die alle belangrijke potentiële gevolgen kent, heeft onderzocht, of kan achterhalen. Een grote uitdaging ligt bij de mate van complexiteit die ontstaat door gebruik van complexe methoden zoals deep learning en meerdere algoritmen die elkaar beïnvloeden. Door de complexiteit en beperkte interpreteerbaarheid en verklaar-baarheid van resultaten spreekt men bij AI vaak over een black box. Maar hoe ga je om met een black box, oftewel met een antwoord waarvan het onduidelijk is waarom dat het antwoord is? Terwijl we door de opmars van AI collectief steeds meer af gaan op beslissingen die we niet geheel kunnen doorgronden, maar die naar verwachting wel tot betere resultaten leiden, willen we in de zorg tegelijkertijd zo veel mogelijk op de hoogte zijn van de verklaring achter voorspellingen en aanbevelingen voordat we er in mee gaan. Een van de oplossingsrichtingen voor dit black box probleem waar wetenschappers en bedrijven op inzetten is “explainable AI”; dat zijn methoden die er voor moeten zorgen dat de werking en/of resultaten van algoritmen door menselijke experts kan worden begrepen.

Zelfs wanneer gebruikers van een bepaalde technologische toepassing zich bewust zijn van de onderliggende rol van AI, begeleidt of maakt AI vaak beslissingen zonder dat deze volledig worden begrepen of geëvalueerd.21 Wanneer je bijvoorbeeld een bepaald artikel in je online nieuwsfeed aangeboden krijgt waarvoor je niet direct een bepaalde interesse hebt - bijvoorbeeld een artikel uit een voetbalmagazine terwijl je geen interesse hebt in voetbal - is de kans groot dat een medewerker van de nieuwswebsite of de ontwerper van het algoritme niet in staat is om een alomvattende verklaring te geven waarom het algoritme heeft besloten dat artikel aan te bevelen. Misschien is de verklaring dat je buren of een aantal vrienden online interesse tonen in voetbal; wie zal het zeggen?

Bij veel algoritmische beslissingen is er niemand die alle belangrijke potentiële gevolgen kent of heeft onderzocht. Zoals eerder aangegeven is dit in feite zelfs moeilijk te onderzoeken omdat onderzoekers die besluitvorming door

9

(commerciële) algoritmen willen onderzoeken vaak worden gedwarsboomd door industriële geheimhouding en wettelijke en intellectuele eigendomsrechten die van toepassing zijn op zowel de algoritmen als de datasets waarop deze algoritmen worden getraind. Een nog grotere uitdaging ligt mogelijk bij de mate van complexiteit die ontstaat door gebruik van complexe methoden zoals deep learning en meerdere algoritmen die elkaar beïnvloeden. Bij AI die werkt op basis van machine learning (ML) en deep learning (DL) is de benadering voor het maken van beslissingen of het doen van nieuwe ontdekkingen - in tegenstelling tot bij rule-based algoritmen - om eerst antwoorden te vinden, en later pas verklaringen. Het is dan mogelijk om te ontdekken wat werkt zonder te weten waarom het werkt, en om dat inzicht vervolgens onmiddellijk te gebruiken, ervan uitgaande dat het onderliggende mechanisme later zal worden uitgezocht. In het verleden zijn de voorbeelden waarbij we oplossingen toepasten waarvan we de werking niet precies kenden beperkt gebleven tot gebieden zoals medicijnen. Aspirine (een extreem voorbeeld) werd bijvoorbeeld ontdekt in 1897 en toch heeft niemand overtuigend uitgelegd hoe het werkte tot 1995.29 Omdat ML geen causale mechanismen onthult, maar slechts statistische correlaties, kunnen ML-algoritmen bijvoorbeeld wel voorspellen welke behandeling statistisch gezien de grootste kans heeft op succes, maar niet waarom de cliënt meer baat heeft bij een specifiek aanbevolen behandelpad.

Sommige wetenschappers zoals Gary Marcus uiten kritiek op het feit dat er wereldwijd vanuit zowel wetenschap als industrie zo nadrukkelijk wordt ingezet op ML en DL, en beperkt op andere methoden om te komen tot AI.30,31 Omdat ML niet meer is dan een krachtige rekentool pleit hij er voor om meer onderzoek te doen naar hoe een stukje ‘logica’ en een dieper begrip van de wereld kan worden meegegeven aan AI. Klassieke, rule-based AI-methoden zouden een deel van de oplossing kunnen bieden, maar tegelijkertijd is de verwachting dat er nog veel fundamenteel onderzoek en verschillende doorbraken nodig zijn om hier grote stappen in te zetten. Het is dan ook aannemelijk dat de invloed van ML in zorg en maatschappij voorlopig zal blijven toenemen. Naarmate de toepassing van ML in de zorg groeit, is het gevolg dat er collectief steeds meer wordt

gevaren op ‘oplossingen zonder verklaringen’ en dus wordt afgegaan op beslissingen die we niet geheel kunnen doorgronden. Door de complexiteit en beperkte interpreteerbaarheid en verklaarbaarheid van resultaten spreekt men bij AI vaak over een black box – een systeem waarvan input en output bekend zijn, maar waarbij kennis over de interne werking ontbreekt.32 Maar hoe ga je om met een black box? In de zorg willen we het liefst zo veel mogelijk of zelfs geheel op de hoogte zijn van de verklaring achter voorspellingen en aanbevelingen voordat we er in mee gaan. Ook bij behandelingen die met behulp van AI worden voorgeschreven of aanbevolen, wil je als behandelaar en cliënt of patiënt(vertegenwoordiger) begrijpen waarom. Redenen ‘waarom’ kunnen mensen overtuigen om bepaalde acties te ondernemen en zijn vaak belangrijk voor samen beslissen en het vertrouwen van cliënten in hun behandelaar. Juist bij niet-levensreddende of -bedreigende beslissingen is zulk vertrouwen belangrijk voor het samen beslissen. Tegelijkertijd kunnen niet-uitlegbare AI-uitkomsten nog steeds (aantoonbaar) tot betere resultaten leiden, wat er voor kan pleiten om er in mee te gaan. Dit spanningsveld is een wetenschappelijke én maatschappelijke uitdaging.

Ondertussen wordt er gesproken over verschil-lende oplossingsrichtingen voor dit black box probleem. Een voor de hand liggende oplossingsrichting is om AI-gedreven systemen zorgvuldig en eerst op kleine schaal en in gecontroleerde omgevingen uit te testen en te implementeren, zodat we stapsgewijs leren in welke omstandigheden ze wel en niet goed functioneren.33 De vraag is wel in hoeverre AI-toepassingen in de praktijk daadwerkelijk incrementeel worden getest en uitgerold. Een andere oplossingsrichting waar wetenschappers en bedrijven zich de laatste jaren op richten, is “explainable AI”, oftewel methoden die er voor moeten zorgen dat de werking en/of resultaten van algoritmen door menselijke experts kunnen worden begrepen..34,35 De AVG (Algemene verordening gegevensbescherming) kan een

10

positief effect hebben op de investeringen vanuit de wetenschap en bedrijven om te komen tot uitlegbare AI, want deze wetgeving stelt uitlegbaar in feite verplicht. De AVG is een wet die het fundamentele recht vastlegt om zinvolle informatie te ontvangen over de logica achter besluitvorming op basis van (geautomatiseerde) dataverwerking. Hierbij zijn verschillende typen uitleg nodig; uitleg van de werking van AI-systemen voor experts die de programmering van de algoritmen voor hun rekening nemen; en uitleg voor (leken)gebruikers die hen helpt te begrijpen hoe AI hen beïnvloedt en in duidelijke taal de risico’s en voordelen van gebruik van het systemen beschrijft (een vergelijkbaar voorbeeld is een bijsluiter bij het kopen van medicijnen bij de apotheek). Ook hier is de vraag in hoeverre hier in de praktijk aan wordt voldaan. Bij specifieke AI-gedreven zorgtoepassingen zullen zowel gebruikers als ontwikkelaars kritisch na moeten gaan in hoeverre er wordt tegemoet gekomen aan de behoefte aan uitleg.

Er zijn tegelijkertijd ook mensen, zoals Cassie Kozyrkov van Google, die vraagtekens stellen bij de zoektocht naar uitlegbare AI en kritisch zijn over het nut en de haalbaarheid ervan. Kozyrkov stelt bijvoorbeeld dat algoritmen die precies uitleggen hoe ze tot hun uitkomsten komen de beperkte menselijke geheugencapaciteit zouden overweldigen. Ze pleit er voor om AI-oplossingen niet te beperken tot wat de menselijke geest zich kan bevatten en om er via rigoureus testen van systemen voor te zorgen dat we kunnen vertrouwen op hun uitkomsten.36

6. Voldoe je wel aan de norm?Bij het toenemend gebruik van AI, bijvoorbeeld in technologieën voor monitoring van de gezondheid, het welzijn en de veiligheid van cliënten, is het aannemelijk dat men vaker normen af gaat spreken voor bepaalde gemeten waarden. Dit gebeurt niet alleen bij data-analyse toepassingen door zorgorganisaties maar ook bij gezonde burgers die bijvoorbeeld gebruik maken van lifestyle apps en op het niveau van overheden die willen sturen op het (on)gezonde gedrag van mensen. Met de digitalisering van ‘gezondheid’ wordt de “biomacht” van partijen zoals de overheid steeds groter. Hierbij hoeft het individuele belang van een burger of cliënt niet vanzelfsprekend in lijn te zijn met, of voorrang te krijgen op het publieke belang. Cliënten en gezonde burgers zijn daarmee dus steeds kwetsbaarder voor nieuwe vormen van machtsuitoefening. Hierbij is het risico dat mensen worden buitengesloten of zich buitengesloten voelen wanneer ze niet aan de ‘norm’ voldoen.

In het vorige artikel over verschillende toepassingsgebieden van AI in de langdurige zorg werd aangegeven dat men bij het toenemend gebruik van technologieën voor monitoring van de gezondheid, het welzijn en de veiligheid van cliënten naar verwachting ook vaker normen af gaat spreken voor bepaalde gemeten waarden. Zulke normen kunnen eventueel als vaste regels in een algoritme worden geprogrammeerd, maar ook dynamisch zijn en zich over tijd aanpassen naar omstandigheden, al dan niet per cliënt. Als de hartslag van een cliënt bijvoorbeeld boven een bepaalde norm komt, of de hoeveelheid slaap onder de norm, dan kan dat aanleiding geven voor zorgverleners om een kijkje bij de cliënt te nemen, bepaalde interventies in te zetten of nader onderzoek te doen. Naarmate men vaker proactief en preventief verschillende monitoring technologieën bij cliënten inzet en grotere hoeveelheden data verzameld, kunnen op basis van ML ook nieuwe inzichten worden opgedaan over (cor)relaties tussen bepaalde gemeten waarden en over problematieken die voorheen niet bekend waren. Dit kan ook leiden tot nieuwe normen en regels voor AI.

"Terwijl we door de opmars van AI collectief steeds meer

af gaan op beslissingen die we niet geheel kunnen doorgronden, willen we in

de zorg tegelijkertijd zo veel mogelijk op de hoogte

zijn van de verklaring achter voorspellingen en

aanbevelingen voordat we er in mee gaan."

11

In het artikel 'Baas in eigen lichaam' leggen onderzoekers van het Rathenau Instituut uit dat er op basis van inzichten over groepen mensen normen ontstaan en worden opgelegd aan individuen. Deze normen gaan in toenemende mate spelen in data-analyse toepassingen die door zorgorganisaties worden toegepast, maar ook bij gezonde burgers die bijvoorbeeld gebruik maken van lifestyle apps. Overheden kunnen dankzij die inzichten sturen op het (on)gezonde gedrag van mensen. De Rathenau onderzoekers verwijzen bijvoorbeeld naar de samenwerking van de Gemeentelijke Gezondheidsdiensten (GGD’s) met private partijen voor preventie van overgewicht, waarbij de GGD’s data ontvangen over gezond gedrag in de wijk op basis van verkoopdata bij de lokale supermarkt en een online winkel.37

Terwijl dit soort voorbeelden (inclusief de normen die hiermee gepaard gaan) allemaal ten behoeve zijn van een betere volksgezondheid, stellen de Rathenau onderzoekers dat de “biomacht” van partijen zoals de overheid steeds groter wordt met de digitalisering van ‘gezondheid’. Het individuele belang van een burger of cliënt is hierbij niet vanzelfsprekend in lijn met het publieke belang, en krijgt ook niet vanzelfsprekend voorrang. Cliënten en gezonde burgers zijn daarmee dus ook steeds kwetsbaarder voor nieuwe vormen van machtsuitoefening. Het risico bestaat dat mensen worden buitengesloten of zich buitengesloten voelen wanneer ze niet aan de ‘norm’ voldoen. Zoals we later in dit artikel toelichten, verplaatst er - naarmate de rol van AI in de zorg toeneemt - bovendien ook steeds meer (bio)macht naar commerciële bedrijven (met commerciële belangen). Daarbij hoeven zowel het publieke als het individuele belang niet vanzelfsprekend voor commerciële belangen te gaan.

7. Computer says noHet risico bestaat dat er in de zorg en maatschappij steeds meer een houding ontstaat waarbij organisaties en mensen volledig vertrouwen op de uitkomsten van bepaalde AI-gedreven toepassingen, zonder deze uitkomsten te kunnen doorgronden of uitleggen aan degene waarop deze toepassingen van invloed zijn. Het is dan moeilijk voor mensen om tegen de beslissing

van het algoritme in te gaan. Individuen kunnen hierbij het slachtoffer worden van nieuwe vormen van onderdrukking en discriminatie. Daarnaast betekent de juiste zorg, op de juiste plek en op het juiste moment voor iedereen iets anders. Een data- en AI-gestuurde aanpak kan de aspecten die er daadwerkelijk toe doen over het hoofd zien. Het is daarom essentieel om te voorkomen dat men te veel af gaat op de kracht van AI en om te waarborgen dat mensen verantwoordelijk blijven en de regie blijven pakken bij belangrijke beslissingen.

In dit artikel kwam al met verschillende voorbeelden naar voren dat allerlei commerciële en publieke organisaties AI-algoritmen gebruiken om voorspellingen te doen of beslissingen te nemen over hun klanten, werknemers, burgers, patiënten/cliënten, etc. Individuen kunnen hierbij het slachtoffer worden van nieuwe vormen van onderdrukking en discriminatie. Wanneer je bijvoorbeeld een lening aanvraagt bij een bank, is het waarschijnlijk dat de aanvraag (deels) wordt verwerkt door algoritmen op basis van allerlei data over jou en statistieken over duizenden of miljoenen andere mensen.38 De veronderstelling is dat zo’n algoritme binnen een kort tijdsbestek met hoge nauwkeurigheid kan inschatten of je betrouwbaar genoeg bent om een lening te ontvangen. Het probleem hierbij is dat áls het algoritme ten onrechte tegen sommige mensen discrimineert, het lastig is om daar achter te

12

komen. Als de bank een persoon weigert om een lening te geven en de persoon vraagt 'Waarom?'; 'De algoritmen zeiden nee'.

In de zorg zijn er vergelijkbare risico’s, Denk bijvoorbeeld aan mensen die hogere premies moeten gaan betalen voor hun ziektekostenverzekering als ze kenmerken hebben of gedrag vertonen dat AI-systemen herkennen als voorspellers van de toekomstige ontwikkeling van bepaalde ziekten of aandoeningen. Dit gebeurt nu al in de VS.39,40 Mensen in lage sociaal-economische omstandigheden hebben een hoger risico op bepaalde problematieken. Door inzet van zulke AI-systemen zouden mensen die zich al in minder gunstige omstandigheden bevinden, in een nog slechtere situatie kunnen belanden.41,42 Het is moeilijk voor te stellen dat dergelijke AI-systemen in een solidair zorgsysteem als in Nederland gebruikt zullen en mogen worden, maar dit extreme voorbeeld laat zien dat besluitvorming door AI niet noodzakelijkerwijs gelijke kansen voor iedereen creëert - juist eerder ongelijkheid. Individuele en collectieve belangen en waarden zoals gelijkheid, solidariteit, toegankelijk en betaalbaarheid van zorg kunnen hierdoor onder druk komen te staan.

Dit voorbeeld laat ook zien dat het een ingewikkelde, maar belangrijke vraag is wie eigenaar is van persoonlijke zorgdata, met wie de data gedeeld mag worden en waarvoor deze gebruikt worden. Data kan namelijk ook tegen je gebruikt worden. Door zelf onze gezondheidsdata in te kunnen zien en aan te kunnen geven met welke zorgaanbieders (of andere partijen) welke data mogen worden gedeeld bij behandeling, zouden wij als burgers meer grip moeten krijgen op onze eigen gezondheid. Daarom wordt landelijk ingezet op de ontwikkeling en uitrol van een Persoonlijke Gezondheidsomgeving (PGO) voor iedere burger.43 Het Rathenau Instituut werpt hierbij echter de vraag op of de grote diversiteit aan burgers de verantwoordelijkheden kunnen en willen oppakken die deze digitale gezondheidsregie met zich meebrengt, zowel tijdens ziekte als tijdens gezondheid.44 Het is namelijk niet voor iedere burger even begrijpelijk of gemakkelijk om te bepalen wie precies waar verantwoordelijk voor is en wie baat heeft bij onze data. Het is dus ook zeker niet gemakkelijk – in ieder geval niet voor iedereen - om als individu regie te voeren over je persoonlijke data en hoe

die door anderen en door algoritmen (voor of tegen je) worden gebruikt.

Naast het risico dat algoritmen onterecht beslissingen maken die in ons nadeel zijn en dat we die beslissingen moeilijk kunnen voorkomen, bestaat ook het gevaar dat AI menselijke beslissers in een bepaalde richting leidt en (daarmee) bepaalde keuzeopties voortijdig buitenspel zet.45 Het doel van een AI-systeem kan bijvoorbeeld zijn om te helpen een bepaald gezondheidsdoel te bereiken en om de kans hierop te maximaliseren. Voor sommige mensen kunnen behandelingen met een lagere kans op succes echter toch een betere optie zijn omdat de iets verhoogde kans op succes voor hen niet opweegt tegen de nadelen van het zwaardere traject, zoals bijwerkingen, hogere kosten, minder contact met familie of reistijd. De juiste zorg, op de juiste plek en op het juiste moment kan voor iedereen iets anders betekenen. Een data- en AI-gestuurde aanpak kan de aspecten die er daadwerkelijk toe doen over het hoofd zien. Het is essentieel om te voorkomen dat men te veel af gaat op de kracht van data en AI en om er voor te zorgen dat mensen voldoende ruimte krijgen om keuzes te (blijven) maken over hun zorg. Mensen moet zelf de leiding (blijven) nemen bij het bepalen hoe we denken over enkele van onze belangrijkste waarden en keuzes in het leven en AI hierbij hooguit als hulpmiddel zien.

"Een data- en AI-gestuurde aanpak kan

de aspecten die er daadwerkelijk toe doen over het hoofd zien. Het is daarom essentieel om te voorkomen dat men te veel af gaat op de kracht

van AI."

13

8. Een balans tussen vertrouwen in AI én menselijke controle AI biedt mogelijke oplossingen voor grote uitdagingen in de zorg en maatschappij. Om het vertrouwen in AI te versterken en behouden, hoeven de beslissingen en uitkomsten van AI niet altijd perfect te zijn, maar zouden de uitkomsten van AI vooral merkbaar en aantoonbaar vergelijkbaar of beter moeten zijn dan puur menselijke beslissingen en handelingen. Bovendien zullen algoritmen in de loop van de tijd verbeteren en waarschijnlijk meer autoriteit krijgen omdat we uit ervaring leren dat we bij steeds meer problemen op ze kunnen vertrouwen. We moeten hierbij echter wel een balans vinden tussen vertrouwen in AI en behoud van menselijke vaardigheden en aandacht die nodig zijn bij bepaalde beslissingen en handelingen.

Bij de opmars van AI maakt historicus Yuval Noah Harari in zijn boek '21 lessen voor de 21ste eeuw' de vergelijking met democratie; na het inventariseren van alle nadelen van democratie zou je kunnen concluderen dat geen enkele gezonde persoon ooit zou kiezen om een dergelijk systeem te ondersteunen, maar toch zijn veel samenlevingen er voorstander van. Hierbij verwijst Harari naar de beroemde conclusie van Winston Churchill: dat democratie het slechtste politieke systeem ter wereld is, behalve alle andere. Harari verwacht dat men bij AI op dezelfde conclusie zal uitkomen. Hij stelt dat je een lijst kunt maken van de vele problemen die algoritmen veroorzaken en daaruit kunt concluderen dat mensen ze nooit zullen vertrouwen, maar dat we tegelijkertijd geen beter alternatief hebben voor veel problemen.46

Alhoewel bepaalde vraagstukken, processen en beslissingen in de zorg vragen om de hoogst mogelijke betrouwbaarheid van technologie, hoeven data en algoritmen misschien niet altijd perfect te zijn om van toegevoegde waarde te zijn. Bij het vinden van oplossingen voor de toenemende zorgvraag, complexiteit van zorg en de krimpende arbeidsmarkt, kan het goed zijn om de filosofie te adopteren dat de beslissingen en handelingen die worden overgenomen of ondersteund door technologie vergelijkbaar of beter moeten zijn dan

puur menselijke beslissingen en handelingen. AI leert bovendien van nieuwe input en feedback van gebruikers. Harari stelt dat algoritmen naarmate ze in de loop van de tijd verbeteren waarschijnlijk ook meer autoriteit zullen krijgen, omdat we uit ervaring leren dat we bij steeds meer problemen op ze kunnen vertrouwen.

Hierbij is het risico dat we – naarmate we meer vertrouwen op AI – in toenemende mate afhanke-lijk worden van de technologie. We zien de gezondheidszorg als een sector waar menselijke aandacht onmisbaar is. Zelfs wanneer AI-gedreven systemen volledig superieur zijn aan mensen bij het maken van beslissingen en het uitvoeren van fysieke handelingen, is het onwaarschijnlijk dat de mens uit beeld verdwijnt, want het merendeel van de mensen heeft behoefte aan menselijke aandacht en willen niet uitsluitend worden verzorgd en behandeld door technologie. Cliënten en burgers hebben behoefte aan een menselijke benadering van zorg, aan medelevende zorgprofessionals, familie en anderen die met hen kunnen communiceren en hen emotioneel ondersteunen bij hun beperking of aandoening. We zullen hierbij naar verwachting echter wel steeds afhankelijker worden van technologie, data en AI-gedreven toepassingen.

Naarmate onze afhankelijkheid van technologie toeneemt, zullen we mogelijk ook geleidelijk (een deel van) ons vertrouwen en/of vermogen verliezen om zelf beslissingen te nemen of handelingen te verrichten. Naarmate zelfrijdende auto’s bijvoorbeeld steeds geavanceerder worden, zullen menselijke bestuurders een steeds passievere rol hebben. Ze hoeven minder handelingen te verrichten, en zullen meer afgeleid raken en de mogelijkheden en eventuele waarschuwingen van de auto steeds minder begrijpen. De algehele (rij)vaardigheden van autobestuurders verminderen zo geleidelijk. Daardoor zijn autobestuurders mogelijk ook in steeds mindere mate voorbereid op eventueel handmatig ingrijpen als dit wel nodig is.47 In de zorg kan AI op een vergelijkbare manier afbraak doen aan de vaardigheden en aandacht van mensen bij bepaalde beslissingen en taken.

De vergelijking met zelfrijdende auto’s is zinvol, maar tegelijkertijd lijkt het aannemelijk dat de noodzaak tot veel van de huidige menselijke vaardigheden in de zorg niet snel zal afnemen. Wanneer een AI-systeem wordt getraind om

14

kankercellen of indicatoren voor de ontwikkeling van dementie te herkennen, betekent dit bijvoorbeeld niet dat de algoritmen ‘begrijpen’ wat kanker en dementie zijn. Zolang we de grenzen van AI erkennen, is een goede samenwerking met, en ondersteuning door algoritmen mogelijk. Menselijke zorgverleners en cliënten die de situatie begrijpen kunnen daarbij controleren of de algoritmen de juiste doelen nastreven en of de uitkomsten goed zijn; doelen en uitkomsten die aansluiten bij de belangen van individuele cliënten in hun specifieke situatie.

9. Spanningsveld tussen privacy en big dataEr is een continu spanningsveld tussen het delen van data ten behoeve van verbetering van de zorg en het niet delen van data ten behoeve van iemands persoonlijke privacy. Persoonlijke en gemeenschappelijke belangen kunnen hier tegenover elkaar staan en hierbij is er niet altijd een goed of fout. Het is zinvol om bij de ontwikkeling en inzet van data- en AI-gedreven toepassingen in de zorg na te denken en de dialoog te voeren over een balans tussen goede zorg én privacy. Beide waarden kunnen recht aan worden gedaan met de inzet van (big) data en AI. We verwachten dan ook dat er meer zal worden nagedacht over wat privacy precies betekent in het digitale tijdperk en dat dit begrip de komende jaren opnieuw vorm zal krijgen, ook in de zorg.

Privacy is een van de thema’s waar veel aandacht naar uit gaat in het maatschappelijk debat rondom data en AI. En niet onterecht. Zeker in de zorg is het veilig en vertrouwelijk omgaan met (medische) cliëntdata van belang. Een cliënt moet er op kunnen vertrouwen dat zijn medische data niet op straat komen te liggen en dat hij daarmee geconfronteerd wordt bij bijvoorbeeld sollicitaties of het verkrijgen van een lening. Bovendien is er een vertrouwelijke relatie nodig tussen cliënt en zorgprofessionals, zodat de cliënt ook het vertrouwen voelt om dingen te delen die van invloed kunnen zijn op de zorgverlening.Tegelijkertijd zijn er veel organisaties en mensen die pleiten voor het delen van (persoonlijke)

data, zodat dit in grote hoeveelheden (als ‘big data’) en geanonimiseerd met elkaar kan worden gekoppeld en benut voor analyses die nieuwe inzichten op kunnen leveren ten aanzien van ziektes, aandoeningen en mogelijke behandelingen, en die kunnen worden benut door AI-gedreven toepassingen. Zoals wordt bepleit in de kamerbrief ‘Data laten werken voor gezondheid’ van Minister Bruins (Medische Zorg en Sport) kunnen data van de ene patiënt het leven van een ander verbeteren en worden data-analyses bovendien krachtiger als ze gebaseerd zijn op grotere aantallen kwalitatief goede data.48 Er speelt hier een continu spanningsveld tussen het delen van data ten behoeve van verbetering van de zorg en het niet delen van data ten behoeve van iemands persoonlijke privacy. Dit is een discussie waarbij persoonlijke belangen en (willekeurige) gemeenschappelijke belangen tegenover elkaar kunnen staan en waar niet altijd een goed of fout is.49,50

Het is zinvol om bij de ontwikkeling en inzet van data- en AI-gedreven toepassingen in de zorg na te denken en de dialoog te voeren over een balans tussen goede zorg én privacy. Beiden waarden kunnen recht aan worden gedaan met de inzet van (big) data en AI. Het is essentieel om data te anonimiseren of pseudonimiseren en heldere afspraken te maken over derde partijen met wie de data gedeeld mogen worden. Hierbij kan er onderscheid worden gemaakt tussen persoonsgegevens- en (persoonlijke) medische gegevens, die verschillen qua recht, nut en noodzaak om te worden ingezien of benut. Uit gesprekken die Nivel heeft gevoerd blijkt dat verreweg de meeste organisaties die zorgdata verzamelen en analyseren burgers de mogelijkheid bieden om bezwaar te maken tegen het gebruik van hun data.51 Daarnaast wordt zoals eerder aangegeven landelijk ingezet op de ontwikkeling en uitrol van een Persoonlijke Gezondheidsomgeving (PGO) voor iedere burger, zodat burgers zelf hun gezondheidsdata in kunnen zien en aan kunnen geven met welke zorgaanbieders (of andere partijen) welke data mogen worden gedeeld bij behandeling, en zodoende meer grip krijgen op hun eigen gezondheid.43 Verder is het belangrijk om data niet te veel op één plek op te slaan, zodat niet één partij controle heeft over alle datastromen en kan bepalen wat er mee gebeurt. Het iKNL en ook Trimbos Instituut binnen de Geestelijke

15

Gezondheidszorg zijn bijvoorbeeld bezig met projecten waarin statistische technieken worden ontwikkeld waarmee data van verschillende ziekenhuizen of instellingen kunnen worden gecombineerd, zonder dat deze data daarvoor de locatie verlaten. Dit wordt ook wel gefedereerd of gedistribueerd leren genoemd. Dit opent de mogelijkheid voor instellingen om samen te werken zonder additionele datarisico’s.52,53

Verder zal gezamenlijk moeten worden bepaald wat privacy precies betekent in het digitale tijdperk. In dit artikel hebben we laten zien dat benadeling of discriminatie door AI vaak gaat over groepen mensen en niet zozeer is gericht op individuen. Daarom is het bijvoorbeeld noodzakelijk om verder te denken dan persoonlijke privacy en ook groepsprivacy mee te nemen in richtlijnen. We verwachten dat het begrip ‘privacy’ de komende jaren opnieuw vorm zal krijgen, ook in de zorg.

10. Wie ontwikkelt en beheert de AI?Op internationaal niveau zien we een concentratie van macht in de ontwikkeling en het beheer van AI; de expertise en financiële middelen die nodig zijn om goede digitale oplossingen te ontwikkelen bevinden zich grotendeels in de private sector en netwerk effecten versterken dit. Het is dan ook geen toeval dat het voor Nederlandse zorgorganisaties en ontwikkelpartijen relatief moeilijk is om (top)talent aan te trekken voor de ontwikkeling van AI. Als bepaalde partijen een te grote machtspositie - of zelfs een monopolie - opbouwen, kan dat leiden tot een gebrek aan autonomie en keuzevrijheid van gebruikers. Het kan er bovendien voor zorgen dat commerciële belangen (vaker) boven het publieke of individuele belang komen te staan. We pleiten er daarom voor dat organisaties in de Nederlandse langdurige zorg vaker hun krachten bundelen om na te denken over zinvolle en wenselijke toepassingen van AI en samen te werken bij de realisatie van deze oplossingen. Ook kunnen ze gezamenlijk een sterkere onderhandelingspositie innemen tegenover (grote) techbedrijven wanneer het

van meerwaarde (of zelfs noodzakelijk) is om hiervoor met deze bedrijven samen te werken.

ML-algoritmen leren relatief zelfstandig – in vergelijking met traditioneel programmeren, waarbij de ontwerper iedere specifieke instructie handmatig moet ingeven – en uitkomsten van ML zijn afhankelijk van datasets. Het is echter belangrijk om te realiseren dat algoritmen ook bij de toepassing van ML nog steeds door mensen worden gebouwd. Mensen bepalen het doel waarvoor ML op basis van data optimaliseert, evenals de eventuele criteria op basis waarvan het algoritme beslist. Mensen zijn verantwoordelijk voor, en spelen een cruciale rol in de realisatie van zinvolle en verantwoorde AI in de langdurige zorg.

Volgens Joran Lokkerbol, data scientist bij het Trimbos Instituut, is het een naïef en hardnekkig misverstand dat het toepassen van ML simpelweg een kwestie is van al je data aan de computer geven en afwachten tot alle onderliggende patronen in je data worden ontdekt. Het gebruik van ML vereist volgens hem veel doorzettingsvermogen in het steeds verder verfijnen van de manier waarop je je data voorbereidt en onderzoekt met een reeks verschillende soorten algoritmen. Bij de ontwikkeling van AI-toepassingen zit er dan ook relatief veel werk in het bepalen en inrichten van concrete doelstellingen, het voorbereiden en controleren van datasets, het rigoureus testen van de werking en effecten en het inbouwen van vangnetten voor als de algoritmen fouten maken. Dit zijn kennis- en tijdsintensieve uitdagingen en daardoor is het ontwikkelen en beheren van AI-gedreven toepassingen tot nu toe vooral weggelegd voor grote (internationale) bedrijven die de financiële middelen hebben en hiervoor grote afdelingen hebben opgezet.54 Voor kleine (zorg)organisaties die slechts één of enkele data scientists in dienst hebben, is dit een grotere uitdaging. We pleiten dan ook voor samenwerking in de keten op landelijk en internationaal niveau. De organisaties die de meeste data beheren en beste expertise in huis hebben, zijn in de beste positie om invloedrijke beslissingen te nemen over de rol en ontwikkelrichting van AI. Door deze machtsongelijkheid ontstaat een ongelijkheid in kennis, ook in de langdurige zorg. Ontwikkelaars bepalen in grote mate, soms meer dan ze zich realiseren, in hoeverre

16

AI op een zinvolle en verantwoorde manier wordt ingezet. Het is zaak dat ze de kennis en ervaring van gebruikers(organisaties) en andere belanghebbenden meenemen.

De macht in de ontwikkeling van AI is dus niet evenredig verdeeld. Kijkend naar de ontwikkelingen op internationaal niveau zien we een concentratie van macht bij een relatief kleine groep technologische partijen – denk aan Amerikaanse techreuzen als Google, Facebook, Apple, Microsoft, Amazon en hun Chinese tegenhangers zoals Alibaba, Baidu en Tencent. Deze bedrijven maken gezamenlijk impactvolle beslissingen voor het merendeel van de wereldbevolking, zoals de nieuwsverhalen die men 's ochtends als eerste ziet, de producten en diensten die ons via zoekmachines als eerste worden aanbevolen, en de informatie over onszelf die aan de wereld wordt getoond. Veel succesvolle consumentgerichte AI-bedrijven bereiken hun markten via digitale platforms die kunnen floreren (of falen) onder invloed van netwerk effecten. Dit betekent dat hoe beter de technologie zich kan aanpassen aan onze dagelijks leven, hoe meer mensen er gebruik van maken (en ervan afhankelijk worden) en hoe meer data worden verzameld en geld wordt verdiend om de technologie verder te verbeteren. Dit wordt ook wel het ‘winner-takes-it-all’ principe genoemd.55,56

Gepaard met het winner-takes-it-all principe gaat het gegeven dat de expertise en financiële middelen die nodig zijn om goede AI-gedreven toepassingen te ontwikkelen zich grotendeels bevinden in de private sector. Er is een race gaande onder technologiebedrijven om de beste talenten (zoals data scientists) op het gebied van AI aan te

trekken, waardoor er een concentratie van talent ontstaat bij een beperkt aantal bedrijven, en een tekort op andere plaatsen.54,57 Op globaal niveau bouwen Amerika en China ten opzichte van andere landen een steeds dominantere positie op in de ontwikkeling van AI.58,59 Het is dus geen toeval dat het voor Nederlandse zorgorganisaties en (vooral kleine) ontwikkelpartijen relatief moeilijk is om talent aan te trekken voor de ontwikkeling van AI.

Op verschillende manieren worden techreuzen ook in de zorg steeds invloedrijker. Via zoekopdrachten en cookies op populaire gezondheidswebsites bemachtigen bedrijven als Google, Amazon en Facebook bijvoorbeeld veel gevoelige medische data van bezoekers, zoals medische symptomen, diagnoses, medicijngebruik en informatie over menstruatie en vruchtbaarheid.60 Bezoekers hebben dit zelf vaak niet door of geen expliciete toestemming gegeven of uitleg gekregen waarvoor de data wordt gebruikt. Deze data kunnen worden gebruikt voor het gericht aanbieden van advertenties of voor andere voorspellende analyses. Bedrijven als Amazon en Google bieden daarnaast ook cloud computing-platforms aan waarmee de onbewerkte medische dossiers van duizenden tot miljoenen patiënten worden geanalyseerd.61,62,63 Wereldwijd maken zorg- en ICT-aanbieders, zorgverzekeraars, farmaceutische bedrijven, wetenschappelijke instituten en andere partijen gebruik van deze platforms, omdat ze zo relatief goedkoop data kunnen verzamelen waarmee ze onderzoek doen of zelf applicaties ontwikkelen. Tegelijkertijd worden deze platformleveranciers zo voorzien van enorme hoeveelheden data en ontwikkelen ze ook zelf lerende algoritmen die inzichten destilleren uit deze grote hoeveelheden data, zoals voorspellingen van de verblijfsduur en de kans op overlijden van patiënten in ziekenhuizen. Techreuzen kunnen zo een steeds groter concurrentievoordeel opbouwen bij de verdere ontwikkeling van AI-gedreven toepassingen in de zorg. Er is sprake een zelfversterkend effect.

Het gevaar achter deze trend is dat er bij de ontwikkeling en het beheer van AI-gedreven toepassingen in de zorg een steeds grotere afhankelijkheid ontstaat van een beperkt aantal partijen buiten de landsgrenzen met voornamelijk commerciële doelen. Het is niet per definitie verkeerd dat partijen met superieure technologie relatief veel geld verdienen. Op voorwaarde dat

17

het ontwerpproces van AI een democratische basis heeft en vakinhoudelijke kennis en gebruikersbelangen worden meegenomen, kunnen AI-toepassingen én de (grote) bedrijven daarachter een belangrijke bijdrage leveren aan verbeteringen in de gezondheidszorg. Als bepaalde partijen echter een te grote machtspositie - of zelfs een monopolie - opbouwen in bepaalde toepassingsgebieden van AI, dan ontstaat er een gebrek aan autonomie en keuzevrijheid van gebruikers.20 Dat is wel problematisch.

De centralisatie van macht brengt het risico met zich mee dat commerciële belangen boven het publieke of individuele cliëntbelang komen te staan. Bedrijven kunnen een steeds sterkere commerciële invloed uitoefenen op de manier waarop AI-gedreven technologie een rol vervult in de zorg. Ook wanneer hun ultieme doel is om een positieve maatschappelijke impact te creëren, zijn deze technologiebedrijven het aan hun aandeelhouders verplicht om in te gaan op commercieel lucratieve contracten.64 De commerciële belangen van bedrijven kunnen er zodoende toe leiden dat ze dingen doen die niet in het belang zijn van cliënten, zorgverleners en burgers, waarbij gebruikers zich niet prettig bij voelen of waarbij gebruikers geen inspraak hebben in de manier waarop er wordt omgegaan met hun data en privacy. Bovendien zijn de bedrijven achter een AI-gedreven product of -service vaak in staat om (het grootste deel van) de economische vruchten ervan te plukken.66 Terwijl de waarde van AI- en platformbedrijven vaak wordt geproduceerd door gebruikers – die data genereren – worden gebruikers daar vrijwel niet voor betaald. Om deze redenen is er inmiddels een Nederlandse Datavakbond in het leven geroepen, een partij die met techbedrijven wil onderhandelen over betere gebruikersvoorwaarden van online diensten.66

Tegelijkertijd lijkt het bij de verdere ontwikkeling en toepassing van AI in de langdurige zorg geen optie om niet gebruik te maken van de infrastructuur en diensten van grote techpartijen. In veel gevallen kan AI waarschijnlijk niet zonder hun infrastructuur. Bovendien komen ze op basis van hun data(stromen) en expertise ook met oplossingen die mogelijk – onder de juiste voorwaarden – van grote meerwaarde zijn voor de zorg. Wij willen dan ook allesbehalve ontmoedigen tot samenwerking met grote techbedrijven. We willen wel aangeven dat de samenleving en

zorgsector niet blind kunnen vertrouwen op de “goodwill” van commerciële bedrijven en dat er ook tal van voorbeelden van digitale technologieën zijn die bottom-up vanuit de praktijk zijn bedacht, ontworpen en in gebruik zijn genomen. We willen er dan ook voor pleiten dat organisaties in de Nederlandse langdurige zorg vaker hun krachten bundelen en:

1. gezamenlijk nadenken over zinvolle en wenselijke toepassingen van AI in de langdurige zorg;

2. nationaal en internationaal samenwerken bij de ontwikkeling en toepassing van (deze) AI-gedreven toepassingen, bijvoorbeeld door het delen van data en expertise;

3. daar waar nodig gezamenlijk stelling nemen en tegenwicht bieden tegen (grote) techbedrijven. Bij de ontwikkeling van AI-gedreven zorgtoepassingen kunnen grote techbedrijven wel degelijk hun meerwaarde bieden, of zijn ze zelfs onmisbaar, maar de sector kan in gezamenlijkheid een sterkere onderhandelingspositie innemen en afdwingen dat ze dit onder acceptabele voorwaarden doen.

In deze lijn is eind 2019 ook de Nederlandse AI Coalitie gelanceerd; een platform voor samenwerking tussen ondernemingen, onder-zoeksinstellingen, overheden en onderwijs-instellingen en vertegenwoordigers van de maatschappij.67 Deze Coalitie heeft het doel om Nederland te ontwikkelen tot een significante AI-wereldspeler, op een manier zoals wij dit in Europa willen: met de mens centraal. Vilans ziet hierbij kansen voor partijen uit de langdurige zorg om gezamenlijk meer vorm te geven aan de toekomstige rol van AI binnen de sector.

"De centralisatie van macht in de ontwikkeling en het beheer van AI brengt het risico met zich mee dat commerciële belangen boven het publieke of individuele cliëntbelang komen te staan."

18

Stap voor stap leren en verbeterenAI is niet de enige oplossing voor een toekomstbestendige langdurige zorg. Voor de zinvolle toepassing van AI in de langdurige zorg is het waardevol om kritisch na te (blijven) denken voor welke uitdagingen we AI-gedreven technologie ontwikkelen en gebruiken, en wanneer niet. Ontwikkelen we technologie die echte problemen aanpakt, of zoeken we problemen voor de technologieën die we kunnen ontwikkelen? Stellen we de gebruiker nog steeds centraal? Het is essentieel dat de sector hierover discussieert, hiermee experimenteert en hier zodoende over leert.

Dit artikel heeft met verschillende uitdagingen en dilemma’s uitgelegd dat AI niet vanzelfsprekend tot positieve resultaten leidt. Er kunnen ook – verwacht en onverwacht - ongewenste neveneffecten optreden. Voor de verantwoorde toepassing van AI-gedreven technologie in de langdurige zorg is het essentieel dat ontwikkelaars, gebruikers en andere belanghebbenden nadenken en stap voor stap keuzes maken over hoe een concrete technologie kan worden (her)ontworpen rekening houdend met ethische waarden (ethics by design), hoe de omgeving zich kan aanpassen voor optimale omgang met de technologie (ethics by environment) en hoe de technologie optimaal kan worden gebruikt (ethics by behavior). De verantwoorde toepassing van AI in de langdurige zorg vraagt waarschijnlijk slechts voor een klein deel voor inspanningen aan de technische kant. In veel grotere mate vraagt het om diepe betrokkenheid van gebruikers en de samenleving. Mensen zijn degenen die omgaan met technologie en de uitkomsten van technologie hebben dan ook veel te maken met de manier waarop het wordt gebruikt. Mens en technologie zijn intrinsiek verbonden en vragen om wederzijdse aanpassing, dus ook om nieuwe vaardigheden of houdingen van de gebruiker.68,69

Men komt er bij de inzet van nieuwe technologie stapsgewijs vanzelf achter wat werkt en wat moreel acceptabel is. We hebben met andere opkomende technologieën zoals sociale media echter gezien dat ethische vraagstukken stapelende effecten kunnen hebben die vanuit

sociaal en ethisch perspectief schadelijk kunnen zijn als ze niet in een vroeg stadium onderdeel wordt gemaakt van de ontwikkeling en implementatie. Als de uitdagingen die in dit artikel zijn beschreven niet vroegtijdig worden aangepakt, en als mensen als het gevolg daarvan bijvoorbeeld niet de juiste zorg en ondersteuning krijgen of ongelijkwaardig worden behandeld, dan zal het vertrouwen in AI-oplossingen verminderen. Bij een gebrek aan vertrouwen zal men de verdere ontwikkeling van AI ook niet meer willen financieren. Het negeren van de ethische uitdagingen kan zodoende tot een nieuwe 'AI winter' leiden, wat onwenselijk is gezien de enorme potentie van AI om maatschappelijke vraagstukken op te lossen.

De verdere opmars van AI in de langdurige zorg heeft daarom baat bij goede (en slechte) voorbeelden van AI waar men in vertrouwt en kan vertrouwen. Vilans helpt graag bij het zichtbaar maken van deze voorbeelden.

Wij horen graag meer over jouw ervaringen of vragenWe horen graag van zorgorganisaties, technologie leveranciers en andere belanghebbenden wat voor innovaties zij zien op het gebied van AI in de langdurige zorg, welke behoeften er op dit gebied zijn vanuit gebruikersperspectief, en welke uitdagingen en aandachtspunten men ziet.

Dus heb je zelf voorbeelden of een prangende vraag omtrent deze ontwikkeling? Neem dan contact met ons op!

Dirk Lukkiend.lukkien@vilans.nl

19

Bronnenlijst1. Helbing, D., Frey, B. S., Gigerenzer, G., Hafen, E., Hagner, M., Hofstetter, Y., ... & Zwitter, A. (2019). Will

democracy survive big data and artificial intelligence?. In Towards Digital Enlightenment(pp. 73-98). Springer, Cham.

2. Russell, S., Dewey, D., & Tegmark, M. (2015). Research priorities for robust and beneficial artificial intelligence. Ai Magazine, 36(4), 105-114.

3. Good, I. J. (1962). The social implications of artificial intelligence. The Scientist Speculates, 192-198.4. Hawking, S., Russell, S., Tegmark, M., & Wilczek, F. (2014). Transcendence looks at the implications of artificial

intelligence-but are we taking AI seriously enough. The Independent, 1, 2014.5. www.rathenau.nl/nl/digitale-samenleving/overzicht-van-ethische-codes-en-principes-voor-ai 6. https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=604347. www.vilans.nl/artikelen/uit-de-praktijk-kunstmatige-intelligentie-in-het-elektronisch-clientendossier8. Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L. (2016). The ethics of algorithms: Mapping the

debate. Big Data & Society, 3(2), 2053951716679679.9. www.trouw.nl/nieuws/deze-chatbot-veranderde-binnen-24-uur-in-een-nazi~b881d994/?referer=https%3A%2F

%2Fwww.google.com%2F 10. www.vice.com/en_us/article/j5jmj8/google-artificial-intelligence-bias 11. https://twitter.com/jackyalcine/status/615329515909156865 12. www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-

that-showed-bias-against-women-idUSKCN1MK08G 13. www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm 14. www.nature.com/articles/d41586-019-03228-6?utm_source=Nature+Briefing&utm_campaign=33b07f7e21-

briefing-wk-20191025&utm_medium=email&utm_term=0_c9dfd39373-33b07f7e21-4247581515. www.technologyreview.com/s/612876/this-is-how-ai-bias-really-happensand-why-its-so-hard-to-fix/16. www.nytimes.com/2019/12/06/business/algorithm-bias-fix.html17. www.forbes.com/sites/bernardmarr/2019/01/29/3-steps-to-tackle-the-problem-of-bias-in-artificial-

intelligence/#764910a47a1218. https://hbr.org/2019/10/what-do-we-do-about-the-biases-in-ai19. www.vilans.nl/artikelen/3-trends-in-datagedreven-domotica20. www.europarl.europa.eu/RegData/etudes/STUD/2019/624261/EPRS_STU(2019)624261_EN.pdf21. Taddeo, M., & Floridi, L. (2018). How AI can be a force for good. Science, 361(6404), 751-752.22. De Vries, K. (2010). Identity, profiling algorithms and a world of ambient intelligence. Ethics and information

technology, 12(1), 71-85.23. Crawford, K., Whittaker, M., Elish, M. C., Barocas, S., Plasek, A., & Ferryman, K. (2016, July). The AI Now report:

The social and economic implications of artificial intelligence technologies in the near-term. In AI Now public symposium, hosted by the White House and New York University’s Information Law Institute, July 7th.

24. https://nos.nl/op3/artikel/2223515-dit-is-het-grootste-privacylek-van-facebook-ooit.html 25. www.vpro.nl/programmas/tegenlicht/kijk/afleveringen/2019-2020/de-grote-dataroof.html26. https://slate.com/technology/2017/09/when-computer-predictions-end-up-shaping-the-future.html27. http://theconversation.com/predictive-algorithms-are-no-better-at-telling-the-future-than-a-crystal-

ball-9132928. www.vilans.nl/artikelen/uit-de-praktijk-kunstmatige-intelligentie-in-het-elektronisch-clientendossier29. https://medium.com/berkman-klein-center/from-technical-debt-to-intellectual-debt-in-ai-e05ac56a502c30. www.technologyreview.com/s/614443/we-cant-trust-ai-systems-built-on-deep-learning-alone/ 31. Marcus, G. (2018). Deep learning: A critical appraisal. arXiv preprint arXiv:1801.00631.32. https://towardsdatascience.com/machine-learning-interpretability-techniques-662c723454f333. Cowls, J., King, T. C., Taddeo, M., & Floridi, L. (2019). Designing AI for Social Good: Seven Essential Factors.34. Holzinger, A., Biemann, C., Pattichis, C. S., & Kell, D. B. (2017). What do we need to build explainable AI

systems for the medical domain?. arXiv preprint arXiv:1712.09923.35. www.darpa.mil/program/explainable-artificial-intelligence36. https://hackernoon.com/explainable-ai-wont-deliver-here-s-why-6738f54216be37. www.groene.nl/artikel/baas-in-eigen-lichaam 38. https://towardsdatascience.com/machine-learning-and-a-i-use-in-the-mortgage-industry-be79ac4754e139. www.americanexchange.com/tobacco-users-health-insurance-premiums/40. www.investopedia.com/articles/personal-finance/030116/why-higher-bmi-shouldnt-raise-insurance-rates.asp

20

41. Robinson, D., Yu, H., & Rieke, A. (2014, September). Civil rights, big data, and our algorithmic future. In Leadership Conference on Civil and Human Rights, available at: https://bigdata. fairness. io/wp-content/uploads/2014/11/Civil_Rights_big_Data_and_Our_Algorithmic-Future_v1 (Vol.

42. www.politico.com/story/2019/02/03/health-risk-scores-opioid-abuse-113997843. www.patientenfederatie.nl/themas/persoonlijke-gezondheidsomgeving/44. www.rathenau.nl/nl/maakbare-levens/digitale-gezondheidsregie45. https://aeon.co/essays/what-are-the-values-that-drive-decision-making-by-ai46. Harari, Y. N. (2018). 21 Lessons for the 21st Century. Random House.47. https://slate.com/technology/2019/03/boeing-737-max-crashes-automation-self-driving-cars-surprise.html 48. www.rijksoverheid.nl/documenten/kamerstukken/2018/11/15/kamerbrief-over-data-laten-werken-voor-

gezondheid49. www.nictiz.nl/wp-content/uploads/2018/04/Big_data_in_de_gezondheidszorg.pdf50. www.cqure.nl/nl/kennisplatform/de-privacy-maffia-versus-de-big-data-baronnen/51. https://www.nivel.nl/nl/nieuws/zorggegevens-gebruiken-voor-onderzoek-naar-een-centraal-

bezwaarsysteem?utm_source=Nivel+attendering&utm_campaign=4321037e11-2019_12_11_zorggegevens_onderzoek&utm_medium=email&utm_term=0_caebd11ec3-4321037e11-98619569

52. www.iknl.nl/onderzoek/over-r-d/development/distributed-learning53. www.trimbos.nl/actueel/nieuws/bericht/start-ontwikkeling-behandeltool-voor-de-ggz54. Nemitz, P. (2018). Constitutional democracy and technology in the age of artificial intelligence. Philosophical

Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 376(2133), 201800.55. Bughin, J., Hazan, E., Ramaswamy, S., Chui, M., Allas, T., Dahlström, P., ... & Trench, M. (2017). Artificial

intelligence – the next digital frontier. McKinsey Global Institute 56. Moore, M. (2016). Tech giants and civic power. Centre for the Study of Media, Communication and Power.”

King's College London.57. Fenech, M., N. Strukelj & O. Buston (2018). Ethical, Social, and Political Challenges of Artificial Intelligence in

Health. A report by Future Advocacy. Written and researched by Matthew Fenech, Nika Strukelj, Olly Buston for the Wellcome Trust, April 201

58. www.ianhogarth.com/blog/2018/6/13/ai-nationalism59. www.wired.co.uk/article/why-china-will-win-the-global-battle-for-ai-dominance60. www.ft.com/content/0fbf4d8e-022b-11ea-be59-e49b2a136b8d61. Rajkomar, A., Oren, E., Chen, K., Dai, A. M., Hajaj, N., Hardt, M., ... & Sundberg, P. (2018). Scalable and accurate

deep learning with electronic health records. NPJ Digital Medicine, 1(1), 18.62. www.smarthealth.nl/2018/11/29/blog-amazon-ziet-brood-in-medische-dossiers/63. www.wsj.com/articles/google-s-secret-project-nightingale-gathers-personal-health-data-on-millions-of-

americans-1157349679064. https://thegradient.pub/regulating-ai-in-the-era-of-big-tech/ 65. Mazzucato, M. (2018). Let's make private data into a public good. MIT Technology Review, 121(4), 74-75.66. https://datavakbond.nl/67. https://nlaic.com/68. https://ecp.nl/publicatie/essay-aanpak-begeleidingsethiek/69. www.nrc.nl/nieuws/2019/12/04/gezichtsherkenning-mag-dat-helaas-zo-werkt-ethiek-niet-a3982702