AITodayBusiness & IT Magazine | Juli 2019

Dit is er voor nodig om AI-modellenuitlegbaar te maken

Artificial Intelligence onder de motorkap

Picnic ChallengeAI en fotoclassificatie alsnieuwe leden van deklantenservice

Mark WolffenbuttelDe grootste valkuilen van AI-experimenten

INHOUD MAGAZINE

04Dit artikel beschrijft waarom de uitlegbaarheid van kunstmatige intelligen-tie belangrijk is en op welke vlakken dat zo is.

Artificial Intelligence onder de motorkap: Explainable AI

06Veel bedrijven denken dat je pas kan beginnen met artificial intelligence als je datakwaliteit op orde is. Klinkt logisch, maar daarmee laat je veel waarde liggen.

Verbeter je datakwaliteit, start met AI

08Zoals vaak het geval is bij een opkomende technologie, wordt er op dit moment nog volop geëxperimenteerd met kunstmatige intelligentie. Nog mooier zou het zijn als deze experimenten ook leiden tot een praktische toepassing.

Drie valkuilen van AI-experimenten

11

Lees alles over de challenge van Picnic die Info Support is aangegaan.

AI en fotoclassificatie als nieuwe leden van de klantenservice

INHOUD MAGAZINE Voorwoord

Vandaag de dag lijkt alles om Artificial Intelligence (AI) te draaien. Voor mij is dat aan de ene kant heel gaaf, maar aan de andere kant zorgt dat voor misverstanden. En de misverstanden komen door het benadrukken van extremen. Of de technologie wordt zo geprezen, dat het lijkt of je alles oplost met AI óf doemscenario’s worden als feiten gepresenteerd. Beide stoort mij, omdat dit in de weg staat om naar de technologie te kijken zoals die is: krachtig. Net zoals we kijken naar bijvoorbeeld vuur: je kunt je huis er meer verwarmen of mee afbranden. Het is middel is niet goed of slecht, het is krachtig.

Maar bij een dergelijke kracht hoort verantwoordelijkheid. Bijvoorbeeld de verantwoordelijkheid om besluiten die een AI maakt uit te leggen. Als je een hypotheek aanvraagt en je wordt geweigerd dan is als reden ‘computer says no’ niet voldoende. Dus waarbij AI nogal eens beweerd wordt dat het een zwarte doos is, zullen we deze doos moeten openen en uitleg krijgen hoe een beslissing tot stand is gekomen.

Een ander misverstand is dat als je maar veel data hebt, dat de machine hier wel chocolade van kan maken. De hoeveelheid van de data bepaald de uitkomst van bijvoorbeeld een voorspellend model. Echter, is dit niet het geval. Data moet van een goede kwaliteit zijn, anders wordt de uitkomst waardeloos. Toch hoef je niet eerst je hele datahuishouding perfect te hebben om alvast te starten. Sterker nog, door een concrete case te hebben, leer je snel wat goede datakwaliteit inhoudt.

Daarom adviseren wij organisaties om te experimenteren met AI, want AI is te belangrijk om het niet zelf te kunnen. Met experimenteren leer je veel over het vakgebied en waar je allemaal rekening mee moet houden. Om je te behoeden voor belangrijk valkuilen, hebben we er alvast een aantal voor je op een rij gezet. Een experiment wordt waardevol als je impact kan maken op je bedrijfsdoelstellingen. Bijvoorbeeld door het verhogen van je eficiency of het vereenvoudigen van herhalende taken. Daarom laten we zien wat fotoclassificatie kan beteken voor een bedrijf, waardoor het lijkt of je er een medewerker bij hebt.

Veel leesplezier!

Joop Snijder Head of Research Center AI Info Support

AIToday 3

Explainable AI - Als kunstmatige intelligentie een zwarte doos is?Weg van onbegrijpelijke beslissingen Er is een negatieve relatie tussen de complexiteit van IT en de uitlegbaarheid ervan. Simpeler: het is lastig een leek te vertellen hoe een intelligente technologie als artificial intelligence (ai) werkt. Het pleidooi voor explainable ai draag ik dan ook een warm hart toe. We moeten voorkomen dat straks niemand meer echt begrijpt wat er onder de motorkap van een ai-model gebeurt – ontwikkelaars, laat staan eindgebruikers.

Vaak wordt de nadruk gelegd op het belang van transparantie voor wat je compliance zou kunnen noemen: je moet als organisatie kunnen aantonen dat je voldoet aan wet- en regelgeving. Als je modellen gebruikt die onbegrijpelijke beslissingen nemen, dan lukt dat niet. Sterker, als het gaat om beoordelingsbeslissingen (denk aan het al dan niet toekennen van een hypotheek) dan ben je zelfs verplicht te onderbouwen waar deze keuze op is gebaseerd. Als je hiervoor algoritmes hebt ingezet die niet zijn uit te leggen, dan ben je ver van huis.

Trial and ErrorEr zijn nog meer zwaarwegende redenen die explainable ai (‘verklaarbare ai’) belangrijk maken. Zoals

wel vaker binnen de it is het ontwikkelen van ai-modellen een kwestie van trial and error. Je ontwikkelt iets in de hoop dat het op een bepaalde manier werkt. En als blijkt dat dit toch niet het geval is, dan ga je eraan sleutelen totdat het goed is. In zo’n proces is het cruciaal dat je altijd blijft begrijpen wat er onder de motorkap gebeurt. Als ai een zwarte doos wordt waarvan je de werking niet meer begrijpt, dan kun je ook niet meer bijsturen.

Een voorbeeld: AI wordt ingezet voor beeldherkenning, bijvoorbeeld om foto-onderschriften automatisch te genereren. Stop je er een plaatje in van een hond die gitaar speelt, dan krijg je als onderschrift: een hond die gitaar speelt. Het systeem herkent op basis van een uitgebreide database aan beelden dat er een hond op de foto staat en dat deze een gitaar vasthoudt. Een explainable ai-toepassing laat ook zien op basis van welke criteria deze conclusie is getrokken: je ziet dan

bijvoorbeeld dat het model de contouren van de hond heeft herkend als zijnde een hond.

Verkeerde afslag Toepassingen als deze kunnen ook net de verkeerde afslag nemen. Zo was er een model dat getraind werd om schapen op foto’s te herkennen. Dat lukte op een gegeven moment heel goed. Er bleek echter een foutje in te zijn geslopen: het model had ontdekt dat alle schapen in een groene achtergrond (gras) staan. De beslissing of er op een foto wel of geen schaap stond, werd niet genomen op basis van de contouren van het schaap, maar aan de hand van de groene achtergrond. Een zwaan of een witte tuintafel met een groene achtergrond zouden ook worden herkend als ‘schaap’. Het spreekt voor zich dat je als ontwikkelaar hier wel inzicht in moet hebben. Als een model op deze manier ontspoort, dan is het belangrijk om te achterhalen waar het mis is gegaan.

Adoptie van eindgebruikers Misschien nog wel de belangrijkste reden om ai explainable te maken, is de adoptie van de eindgebruiker. Naarmate algoritmes intelligenter worden, is het voor developers al soms ingewikkeld om te snappen wat er nu eigenlijk gebeurt

4 AIToday

‘In zo’n proces is het cruciaal dat je altijd blijft begrijpen wat er onder de motorkap gebeurt’

onder de motorkap – en dat geldt voor niet-it’ers nog veel meer. In mijn gesprekken met bedrijven die de eerste stapjes hebben gezet op ai-gebied merk ik dat ze vaak vastlopen als ze niet weten hoe een model in elkaar zit, hoe het geïntegreerd moet worden in het applicatielandschap, of hoe ze het moeten

testen. Een algoritme kan aan de buitenkant wel lijken te werken, maar als je niet weet waarom of hoe het werkt, dan kun je er als gebruiker nog weinig mee. Stel: je bent een arts die de beschikking krijgt over een ai-model dat kan voorspellen of een trombosepatiënt binnenkort een bloeding gaat krijgen. Het systeem analyseert hiervoor het bloed van

de patiënt. Als je niet weet welke criteria het model gebruikt om deze beslissing te nemen, dan zul je de uitkomst eerder wantrouwen dan wanneer het model volledig transparant is

Begin eenvoudigEen oplossing hiervoor is om zo eenvoudig mogelijk te beginnen Eenvoudigere algoritmes hebben een

betere uitlegbaarheid. Ook al presteert dit algoritme minder goed

dan een complexere, het zal wel de adoptie vergroten. De eindgebruiker gaat het model vertrouwen en van daaruit kan complexiteit worden toegevoegd. Zo groei je langzaam naar het niveau waarbij de uitlegbaarheid in balans is met de benodigde prestatie. Een aanpak die je hierin ondersteunt is DevOps for ai, omdat je hiermee de beheerder en eindgebruiker al in een vroeg stadium van de ontwikkeling actief erbij betrekt. Dat biedt niet alleen de developer meer inzicht, maar het zorgt er ook voor dat algoritmes beter uit te leggen zijn aan de eindgebruiker.

AIToday 5

Joop Snijder is Head of het Info Support Research Center AI en Area Lead voor het Technology Area ‘Data & Artificial Intelligence’.

Verbeter je datakwaliteit, start met AIVeel bedrijven denken dat je pas kan beginnen met Artificial Intelligence als je datakwaliteit op orde is. Klinkt logisch, maar daarmee laat je veel waarde liggen. Ga je zélfs eerst alleen met de datakwaliteit aan de slag, dan loop je risico dat je geld weggooit.

Een goede datahuishouding (data governance) is belangrijk. Als gevolg hiervan denken veel bedrijven dat het een goed idee is om de datakwaliteit eerst ‘goed’ te krijgen, voordat zij starten met artificial intelligence (AI). De algoritmen hebben data nodig, dus moet de kwaliteit van de data eerst op orde zijn. Anders kunnen we niet beginnen met AI. Een logische redenatie die risico’s met zich meebrengt. De kans is levensgroot dat als je ‘klaar’ bent, dat dit niet het geval is. Bij je eerste toepassing kom je erachter dat net die belangrijke data niet compleet is.

Geschikt Hoewel beginnen met AI zonder de datakwaliteit eerst ‘goed’ te hebben? Daarvoor kijken we naar wat datakwaliteit is. Data worden over het algemeen van hoge kwaliteit beschouwd als ze ‘geschikt zijn voor het beoogde gebruik in operaties, besluitvorming en planning’. Oftewel, als de data geschikt is voor gebruik, beschouwen we het als van hoge kwaliteit. De markt stelt ook dat je datakwaliteit kan meten in termen van accuraatheid, compleetheid en consistentie. Echter zeggen deze metingen niets over de bruikbaarheid van data. Het klinkt als een open deur, maar bruikbaarheid is het best vast te stellen door de data te gebruiken. De truc zit erin om met zo min mogelijk inspanning en risico te bepalen of de data bruikbaar is of verbeterd moet worden. De aanpak daarvoor is eenvoudig. Net zoals bij elke vorm van softwareontwikkeling is gebruik te maken van een minimal viable product (MVP).

Check listDatakwaliteit kun je meten in termen van:

Accuraatheid Compleetheid Consistentie Integriteit

AIToday 6

ModelHoe gaat dat in zijn werk voor AI? Want daar zoeken we naar patronen in de data en als de data niet goed genoeg zijn, dan krijgen we nooit een goed model. Dan geldt dat toch ook voor een MVP? Om een algoritme te testen, is te starten met een eenvoudig model. We hoeven niet in één keer de oplossing te ontwikkelen. Als we kunnen bewijzen dat het model levensvatbaar is, dan kunnen we daarop besluiten om door te investeren of te stoppen. Een eenvoudig model begint met het vinden van patronen met een beperkt aantal velden. Daarnaast is het vaak beter om niet je hele dataset te gebruiken, om zo de complexiteit te verlagen. En als je niet de hele dataset

gebruikt, dan kun je deze filteren. We nemen alleen dat deel dat kwalitatief goed is en representatief genoeg is voor ons probleemdomein. Het verbeteren van datakwaliteit gaat het best als de data direct gebruikt wordt. Door de data te gebruiken voor ai en machine learning zorg je dat data waarde creëren en daarmee is er een businesscase voor het verbeteren van datakwaliteit.

‘Data worden van hoge kwaliteit beschouwd als ze geschikt zijn voor het beoogde gebruik’

AIToday 7

Hans Geurtsen is Data Architect bij Info Support en Area Lead voor het Technology Area ‘Data & Artificial Intelligence’.

Drie valkuilen van AI-experimenten

Zoals vaak het geval is bij een opkomende technologie, wordt er op dit moment nog volop geëxperimenteerd met kunstmatige intelligentie. Dat is goed nieuws, maar het zou het nog mooier zijn als deze experimenten ook leiden tot een praktische toepassing.

Valkuil 1: Kwalitatieve data zijn moeilijk te vinden Het succes van een AI-oplossing valt of staat bij de data die je tot je beschikking hebt en de kwaliteit daarvan. Idealiter wil je als ontwikkelteam toegang hebben tot veel verschillende databronnen binnen de organisatie om mee te testen en ontwikkelen. In de praktijk gaat het daar al gauw mis. De eigenaren van databases zitten vaak verspreid over de organisatie, waardoor er veel tijd en energie kan gaan zitten in het vergaren van data.

Teams die zich bezighouden met AI-experimenten hebben daardoor al gauw de neiging om het maar te doen met de (beperkte) data die eenvoudig en snel beschikbaar zijn. En dan hebben we het niet eens gehad over het controleren van de datakwaliteit, waarmee je als team toch echt langs een domeinexpert en/of IT zal moeten – voilà, een extra drempel. De DevOps-oplossing: Betrek niet alleen ontwikkelaars en eindgebruikers bij een AI-experiment, maar

ookteamleden die verantwoordelijk zijn voor de datastrategie en -kwaliteit. Het gaat dan om data engineers en data scientists.

Valkkuil 2: Vasthouden aan 100 procent accuratesse IT is per definitie nogal een exact vakgebied en daardoor hebben we er soms nogal moeite mee als uitkomsten niet 100 procent accuraat zijn. Deze hang naar perfectie kan het in de praktijk brengen van een nieuwe AI-oplossing

vertragen of zelfs voorkomen. Een voorbeeld: wanneer een team een AI-chatbot gaat ontwikkelen die wordt ingezet om vragen van klanten af te handelen, wil het team doorgaans een oplossing die altijd met het juiste antwoord komt op vragen. Als de accuratesse vervolgens ‘slechts’ 72 procent blijkt te zijn, dan kan een conclusie zijn dat de oplossing niet goed werkt. Wat er dan eigenlijk wordt ver eten, is dat mensen ook niet feilloos zijn; een klantenservice-medewerker weet ook niet altijd direct het

juiste antwoord op een vraag. In dit soort gevallen heb je al gauw een business case gemaakt waarmee de accuratesse van een AI-chatbot kan worden verbeterd, bijvoorbeeld van 72 naar 80 procent.”

De DevOps-oplossing: Een minimale verbetering heeft ook een waarde, zeker in de experimenteerfase. Leer leven met kleine stapjes; meerdere kleine stapjes leiden uiteindelijk ook naar een grote

en voor de organisatie behapbare impact.

Valkkuil 3: De eindgebruiker wordt niet betrokken Als je een brug wilt slaan tussen het laboratorium van het AI-experiment en de uiteindelijke toepassing van een AI-oplossing in de praktijk, dan is het betrekken van de eindgebruiker in een vroeg stadium cruciaal. En dat zit hem niet alleen in het testen van features, maar ook in het uitleggen hoe een oplossing werkt. Om weer terug te komen op het vorige punt;

8 AIToday

‘Een minimale verbetering heeft ook een waarde, zeker in de experimenteer-fase.’

als de uitkomsten van een AI-oplossingniet 100 procent accuraat zijn, dan is het belangrijk om de business mee te nemen in de verklaring. Leg daarom uit hoe de AI-oplossing tot bepaalde oplossingen is gekomen.De DevOps-oplossing: Het betrekken van de eindgebruiker is bijna synoniem geworden aan de DevOps-benadering. Hierdoor kun je als ontwikkelteam regelmatig features testen en verbeteren voordat ze naar productie gaan.

Bruggen slaan De DevOps-methode helpt dus om een aantal belangrijke bruggen te slaan tussen het ontwikkelteam en de eindgebruikers. Dat zit hem in het betrekken van die eindgebruiker in een vroeg stadium, maar dat geldt ook voor datastrategen die ervoor

kunnen zorgen dat het team beschikt over de juiste (en kwalitatieve) data, ook na de implementatie. Het accepteren van een bepaalde foutmarge en dus leren leven met kleine verbeter stapjes is de laatste les die AI-teams kunnen trekken uit de DevOps-aanpak. Op die manier kun je ervoor zorgen dat je AI-oplossing verder komt dan de experimenteerfase.

‘Betrek niet alleen ontwikkelaars en eindgebruikers bij een AI-experiment, maar ook teamleden die verantwoordelijk zijn voor de datastrategie en -kwaliteit’

AIToday 9

Mark Wolffenbuttel is Unit Manager Healthcare en Insurance Industry bij Info Support en Chapter Lead voor het Technology Area ‘Data & Artificial Intelligence’.

10 AIToday

AI en fotoclassificatie als nieuwe leden van de klantenservice

Slimme klantenserviceNu Picnic al bijna vier jaar op volle toeren bezig is, is het inmiddels gegroeid naar een bedrijf van formaat, met honderden medewerkers. Een aanzienlijk deel daarvan bevindt zich op de afdeling klantenservice. Klanten kunnen zich melden met defecte of beschadigde producten – wat wordt ondersteund met bewijs in de vorm van fotomateriaal. Door een foto van het product op te sturen, wordt een medewerker van de klantenservice aan het werk gezet om te beoordelen of de klacht terecht is en of er een vergoeding of nieuw product tegenover mag staan. De analyse van de foto, beoordeling van het product en afhandeling van de klacht brengen aanzienlijk wat werk met zich mee. Hieruit ontstond de vraag van Picnic voor een slimmere variant van dit proces: kan dit niet op een of andere manier geautomatiseerd worden?

Meer innovatie, minder fouten Het idee van een challenge zag al snel het levenslicht. De uitdaging luidde als volgt: ontwerp een innovatieve oplossing om – met behulp van de dataset, bestaande uit een deel van de verzameling foto’s tot nu toe – producten die op de afbeelding te zien zijn te classificeren. Wanneer dat mogelijk is, kan uiteindelijk de klantenservice worden ondersteund, wat niet alleen een enorme efficiencyslag met zich meebrengt, maar ook fouten vermindert. Hoewel dit niet al te ingewikkeld klinkt, had het meer voeten in aarde dan op het eerste ogenblik leek. Immers, producten kunnen op talloze manieren beschadigd of bedorven raken. Bovendien worden de foto’s ook nog eens gemaakt door consumenten – die niet altijd even behendig zijn met de camera en belichting, laat staan dat de (telefoon)camera zelf van voldoende kwaliteit is. Zodoende was de mate van

herkenning soms ver te zoeken. Info Support durfde de uitdaging wel aan; uit puur enthousiasme ontstond spontaan een team.

Supermodel Omdat dit een ideale case was om afstudeerders een stapje dichterbij de realiteit van het werkveld te brengen, werd er gewerkt met drie duo’s met daarin steeds één student. Elk duo bedacht een oplossing; daarbij was de combinatie van enerzijds het creatieve denkvermogen van de afstudeerder en anderzijds de kennis en ervaring van de Info Support-medewerker ideaal. De drie modellen werden uiteindelijk naast elkaar gelegd, getest en uiteindelijk verenigd tot één ‘supermodel’.Data scientist en deelnemer Christel Geurts licht het proces toe. “Ik heb inmiddels ontdekt dat een tomaat op honderd manieren stuk kan zijn”, lacht ze. “Er waren vaak foto’s die meerdere producten bevatten en er zodoende niet goed te herleiden viel om welk

AIToday 11

product het precies ging. Zo hebben we ook meteen weer ingezien hoe belangrijk het is om een goede dataset te hebben. We zijn eenvoudig begonnen om te kijken wat werkt, en hebben het zo steeds verder uitgebouwd.”

Dat leidde tot drie modellen die goed functioneerden. “Als eerste maakten we modellen in TensorFlow, wat relatief ingewikkeld is en dicht tegen de wiskunde aan ligt. Daarna zijn we overgegaan op FastAI, wat eigenlijk een manier is om het trainen van Neurale

Netwerken makkelijker enminder wiskunde-focused te maken. Dat bleek super te werken. Tot slot hebben we ook een custom computer vision model gemaakt, omdat dat heel simpel te implementeren is en we wilden aantonen dat het voor bedrijven niet altijd nodig is om een eigen oplossing uit te vinden, aangezien er gewoon goede producten voor bestaan. Bovendien zat er in

custom computer vision ook een model dat voorgetraind was op het ‘Food’ domein, wat ervoor zorgde dat het model eigenlijk prima werkte met minimale inspanning. Uiteindelijk bleek de combinatie van deze drie het beste resultaat te geven.”

Top 5 Met de oplossing wist Info

Support in de top 5 te belanden, van uiteindelijk 205 deelnemende partijen, met als eindscore 87 procent nauwkeurigheid. Dat zo’n top 5 dicht bij elkaar ligt, zo blijkt; de winnaar behaalde een score van 89 procent. Of de oplossing in de praktijk zal worden gebruikt is nog niet duidelijk. Aan Info Support zal het niet liggen.

Over PicnicPicnic is Nederlands’ eerste digitale supermarkt. Hoewel er meerdere supermarkten zijn waarbij er online boodschappen kan worden gedaan, is Picnic bijzonder in de zin dat er geen enkele fysieke vestiging is. Hoewel dat in de non-food sector eerder regel dan uitzondering is, is dat bij de verkoop van verse producten als groente, fruit, vlees en zuivel echt uniek. En dat maakt het bedrijfsmodel anders. Met de focus op online, is het in feite geen supermarkt maar een IT-bedrijf – en dat merk je.

Christel Geurts is Data Scientist binnen Info Support en werkt actief mee aan diverse interne en externe Data en Artificial Intelligence initiatieven.

TRAINING VOOR BUSINESS EN ITDeep dive: Artificial Intelligence voor non-developers.

ProgrammaEen interactieve training over kunstmatige intelligentie zonder dat je hoeft te programmeren of dat er wiskunde behandeld wordt.

We gaan aan de slag met de volgende onderwerpen:

Introductie in AI AI & Cloud voorbeelden Uitleg Machine Learning algoritmes Uitleg Deep Learning Uitlegbaarheid van algoritmes Idee generatie voor AI DevOps for AI - een ontwikkelstrategie

Meer informatie of aanmeldenKijk op training.infosupport.com of neem telefonisch contact op via: +31 318 501 119.