Robotjournalistiek

Reflectieopdracht 2017

Thomas de Waard (278287)

Robotjournalistiek

Inleiding

Persoonlijke keuze en Doelstelling

Onderzoeksmethode

Hoofdstuk 1 Wat is robotjournalistiek?Hoofdstuk 2 Hoe werkt robotjournalistiek?Hoofdstuk 3 Welke media maken gebruik van nieuwsrobots?Hoofdstuk 4 Wat zijn de mogelijkheden en beperkingen van nieuwsrobots?Hoofdstuk 5 Conclusie Reflectie Bronnenlijst

Inleiding

Automatisering in de journalistiek is geen onbekend fenomeen. Hulpmiddelen als online zoekmachines en digitale archivering hebben ervoor gezorgd dat er tijd en moeite wordt bespaard voor het schrijven van een verhaal. Ook kleinere zaken zoals een

spellingscontrole in een tekstverwerker zijn aspecten van automatisering. Het zijn vormen van artificiële intelligentie die al lang zijn geïntegreerd in de dagelijkse routine van een journalist.

Nieuwsbedrijven die op grote schaal produceren zijn al bezig met de volgende stappen in het automatiseringsproces. Journalistieke robots hebben hun intrede gedaan op verschillende nieuwsredacties. Voor nieuwsmedia kan dit een kans zijn om productiviteit te verbeteren. Middels dit onderzoek hoop ik de lezer meer inzicht te bieden in de mogelijkheden en limieten van robotjournalistiek.

Relevantie

Robotjournalistiek is een term die de afgelopen drie jaar veelvoudig in de media voorbij is gekomen. Het klinkt misschien vreemd in de oren door associaties met robots in films en boeken. Met robotjournalistiek wordt echter de automatisering van berichtgeving door middel van software bedoeld, met andere woorden: computergestuurde programma’s doen het werk van een journalist van vlees en bloed.

Robotjournalistiek is een informele benaming voor een bepaalde techniek die onder de noemer kunstmatige intelligentie valt. Deze techniek wordt momenteel door meerdere media gebruikt om in hoge frequentie nieuwsverhalen te produceren. Het was in 2014 groot nieuws toen bleek dat persbureau Associated Press duizenden nieuwsartikelen automatisch liet schrijven door een robot. De nieuwsbots hebben nu ook de Nederlandse redacties bereikt. Het ANP is momenteel haar eerste nieuwsrobot gereed aan het maken.

Persoonlijke keuze en Doelstelling

Mijn keuze voor dit onderwerp komt voort uit een interesse in technologische vooruitgang in de nieuwsmedia. Zo herinner ik van mijn eerste baan in de journalistiek, bij een lokale krant, hoe de oudere garde klaagde over hoe het internet de journalistiek had verpest. Het gebruik

van internet is echter zo ver geïntegreerd in het dagelijkse werk van journalisten dat zij niet meer zonder kunnen functioneren. Robotjournalistiek is een fenomeen dat zich al heefgt genesteld in ons vak en gaat in de toekomst een nog grotere rol spelen. Het is daarom belangrijk om te weten wat dit voor het medialandschap betekent.

Door middel van dit onderzoek wil ik drie punten omtrent robotjournalistiek duidelijk maken. Ik wil in kaart brengen hoe de technieken werken, wat de voordelen zijn en wat de limitaties. Ik wil laten zien welke media gebruik maken van de techniek en wat daarbij de voordelen en beperkingen zijn. Dit doe ik middels de volgende vragen te beantwoorden:

Hoofdstuk 1 Wat is robotjournalistiek?Hoofdstuk 2 Hoe werkt robotjournalistiek?Hoofdstuk 3 Welke media maken gebruik van nieuwsrobots?Hoofdstuk 4 Wat zijn de mogelijkheden en beperkingen van nieuwsrobots?Hoofdstuk 5 Conclusie

OnderzoeksmethodeDe techniek is ingewikkeld is en zal niet voor iedereen bekend zijn, daarom leg ik uitgebreid uit hoe de techniek precies werkt. Ik heb met vier experts op het gebied van robotjournalistiek gesproken en heb deze reflectie verder aangevuld met literaire bronnen.

Onderzoeker Mariët Theune heb ik ruim een uur geïnterviewd op de Universiteit van Twente over de werking van de software en hoe dit in complexiteit is ontwikkeld. Theune studeerde meer dan twintig jaar geleden af met een project waarin automatisch gegenereerde teletekstberichten werden geschreven door een computerprogramma. Tegenwoordig onderwijst ze studenten in het vakgebied waar robotjournalistiek tot toebehoort. Theune is een belangrijke bron omdat ze op academisch niveau aan de ontwikkeling van robotjournalistiek heeft gewerkt. Zij heeft verder geen commerciële belangen. Met softwarecodeur Joe Procopio heb ik een half uur gesproken via Skype over hoe nieuwsmedia het beste gebruik kan maken van de techniek. Procopio is medeoprichter van Automated Insights, het grootste bedrijf dat actief is binnen de robotjournalistiek. Procopio kon mij meer vertellen waarom en hoe nieuwsbedrijven met de techniek kunnen werken. Ik heb ruim een half uur lang via Skype gesproken met Helga Vogt, hoofd Innovatie bij de landelijke Noorse persdienst NTB. Met haar sprak ik over hoe het systeem bij de persdienst is geïmplementeerd en welke voordelen er nu mee worden behaald. Vogt is een belangrijke bron voor mij omdat zij zelf ook een journalist is en met de techniek werkt.

Als laatst sprak ik ongeveer 40 minuten met Ehud Reiter. Hij is een zeer bekende in de wereld van deze techniek. Ik vond hem een waardevolle bron omdat hij in zowel het academische veld als het commerciële vak werkt.

Hoofdstuk 1: Wat is robotjournalistiek?

Robotjournalistiek is een term die vaak wordt gebruikt in zowel de Nederlandse als Engelstalige media. De computertechniek waar men over spreekt wordt echter, door onderzoekers, ontwikkelaars en directe gebruikers, Natural Language Generation (NLG) genoemd, in het Nederlands ook wel aangeduid als taalgeneratie. Ehud Reiter van de

Universiteit van Aberdeen definieert NLG als softwaresystemen die datapunten automatisch omzetten in leesbare tekst. De techniek definieert zich door teksten te schrijven die niet of moeilijk te onderscheiden zijn van menselijk geproduceerde tekst1. In andere woorden: Computergestuurde programma’s doen het werk van een journalist van vlees en bloed2.

1.1.1 Natural language binnen Artificial Intelligence

NLG is een subonderdeel van het geheel dat Natural Language Processing (NLP) wordt genoemd. NLP omvat alle software die menselijke tekst produceert of interpreteert, in zowel gesproken als geschreven vorm3. Deze techniek valt op haar beurt weer onder de algemene term artificiële intelligentie (AI). AI bevat alle software die als ‘intelligent’ kan worden beschouwd. Wat als ‘intelligent’ wordt beschouwd verandert door de jaren heen. Machines zijn steeds geavanceerder geworden waardoor simpele ‘intelligente’ taken uit de definitie van AI worden gehaald. Voorbeelden van AI zijn onder meer de tegenstander in een computerspel, automatische aanbevelingen in applicaties als Spotify en persoonlijke telefoonassistentes als Siri van Iphone4.

Natural Language Processing onderscheidt zich van simpele tekstverwerking door taal niet te zien als een reeks symbolen die elkaar opvolgen. De techniek begrijpt de hiërarchische structuur van menselijke taal: meerdere woorden maken een uitdrukking, meerdere uitdrukkingen maken een zin en uiteindelijk brengen deze zinnen een boodschap over. De techniek is zeker niet nieuw, vrijwel iedereen maakt er al gebruik van. Zo zijn de spellingcontrole in Microsoft Word en de vertaler van Google Translate voorbeelden van NLP5.

1.2 Natural Language Generation binnen Natural Language Processing

NLP is onder te verdelen in vier hoofdtypes: speech recognition, speech synthesis, natural language generation en natural language understanding. De eerste twee termen omvatten het verwerken van spraak, en de laatste twee het verwerken van tekst.

1 Persoonlijke communicatie Ehud Reiter2 Clerwall, C (2014) Ontleend aan “Enter the Robot Journalist: Users’ Perceptions of Automated Content.”3 KD Nuggets (2017) Ontleend aan https://www.kdnuggets.com/2017/02/natural-language-processing-key-terms-explained.html 4 Computer World (2015)https://www.computerworld.com/article/2906336/emerging-technology/what-is-artificial-intelligence.html5 Orr, D (2015) Ontleend aan ww.quora.com/What-technology-is-behind-Google-language-processing

Natural Language Generation wordt momenteel het meeste gebruikt binnen de journalistiek. Het is het tegenovergestelde van Language Understanding. NLU probeert de betekenis uit een geschreven tekst te halen om vervolgens data te creëren die deze betekenis omvat. NLG begint met het analyseren van data en schrijft vervolgens een tekst die het resultaat is van de interpretatie van de data6. De probleemoplossing en het eindresultaat van de twee technieken verschillen van elkaar. Bedrijven die zich specialiseren in language processing kiezen er daarom vaak voor om in slechts één richting te specialiseren. NLU heeft een simpele doelstelling: Begrijpen waar een tekst over gaat en de onnodige informatie voor de eindgebruiker weg te schrappen. De weg daar naar toe is echter nog moeilijk voor een computer. Het verkeerd interpreteren van een bijwoord kan de betekenis van een zin al compleet veranderen. Verder is de techniek nog niet voldoende ontwikkeld om menselijke taal volledig te verstaan. Aspecten als uitdrukkingen, sarcasme en perspectief van de auteur maken het proces moeilijk.NLG aan de andere kant heeft een moeilijker doeleinde maar de weg daar naar toe is eenvoudiger. De data die als beginpunt wordt genomen is meestal numerair en bevat geen dubbelzinnigheden. In het resultaat moeten de datapunten echter verwerkt worden in leesbare tekst. Daarbij is het van belang om te bepalen in welke volgorde en vorm de zinnen komen. Welke onderwerpen belangrijk zijn en welke niet7.

6 Coupel, T (2014) Ontleend aan https://yseop.com/blog/what-is-the-difference-between-natural-language-generation-and-understanding-2/

7 Persoonlijke communicatie Ehud Reiter

Hoofdstuk 2: Hoe werkt Robotjournalistiek?

Het maken van een tekst met behulp van taalgeneratie kan het beste worden gezien als het oplossen van een wiskundig probleem. De techniek werkt met verschillende algoritmes die elkaar overlappen. Een algoritme is een reeks aan instructies om een probleem op te lossen. Deze instructies moeten in de juiste volgorde worden geplaatst om tot het juiste

geheel te komen. Het is vergelijkbaar met een taak als aankleden in de morgen. Eerst je schoenen aandoen om vervolgens je sokken aan te trekken werkt niet.

Om van betekenis naar tekst te gaan moet een NLG-systeem de volgende stappen doorlopen volgens Ehud Reiter8:

1. Communicatieve Doelstelling: Welke informatie moet naar de lezer worden gecommuniceerd

2. Verloop plannen: De data ordenen en de structuur bepalen3. Zinnen vormen: Welke variabelen moeten in één zin komen4. Lexicalisatie: Welke woorden moeten worden gebruikt in de zinnen om de

informatie uit te drukken5. Het datamodel: Bepalen hoe de entiteiten gestructureerd moeten worden

Hoe dit precies werkt kunt u terugvinden in hoofdstuk 1.2.3

1.2 Casus Goalgetter

Om een beter beeld te creëren van de precieze werking leg ik het systeem van Goalgetter uit. Dit project werd in 1996, door Mariët Theune en medeonderzoekers van de Universiteit van Twente, op touw gezet. Goalgetter was een systeem dat de voetbaluitslagen op teletekstpagina’s kon omzetten in gesproken berichten. Het is naar de standaarden van nu slechts een eenvoudige vorm van NLG maar de techniek is in de basis hetzelfde als die van de robotjournalisten die tegenwoordig duizenden berichten per minuut kunnen schrijven9.

Goalgetter kon met de statistieken van de wedstrijd volledige zinnen schrijven die elkaar op logische wijze opvolgden. Het programma is momenteel helaas niet meer functioneel, het volgende voorbeeld geeft weer hoe een bericht van Goalgetter eruit heeft kunnen zien naar aanleiding van de wedstrijd tussen SC Heerenveen en Feyenoord. Dit onderstaande bericht heb ik geschreven door rekening te houden met wat de robot van Theune wel en niet kon weten:

8 Reiter, E. en Dale, R. (1997) Building applied natural language generation systems9 Persoonlijke communicatie Mariët Theuene

Het duel tussen SC Heerenveen en Feyenoord is geëindigd in een 1 – 2 overwinning voor Feyenoord. Zesentwintigduizend toeschouwers bezochten de wedstrijd, onder leiding van scheidsrechter Higler, in het Abe Lenstra stadion.

Ghoochannejhad zette de thuisploeg middels een strafschop in de achttiende minuut op voorsprong. Elf minuten na rust kwam Feyenoord langszij door een doelpunt van spits Jorgensen. Twintig minuten voor het eindsignaal maakte Tonny Vilhena het winnende doelpunt voor de uitspelende ploeg.

De software van Goalgetter kon verbindende woorden gebruiken als “openingstreffer” en “het maken van een hattrick” met de statistieken die Teletekst biedt. Het programma kon echter niet weten dat Jörgensen met een intikkertje scoorde of dat Vilhena de bal met zijn hoofd aannam om vervolgens diagonaal laag in de hoek te scoren. De tekst van Goalgetter geeft slechts de harde feiten weer en zegt in dat opzicht weinig over het verloop van de wedstrijd en of de overwinning verdiend is. Een redacteur van vlees en bloed schreef het onderstaande teletekstbericht over de wedstrijd. Dit bericht geeft de nuance en context weer die voor taalgeneratie nog onmogelijk was.

Om van de teletekstgegevens naar een geschreven tekst te gaan werd het volgende systeem gebruikt:

Het Language Generation Module (LGM) bestaat uit meerdere reeksen aan instructies waarin de verschillende variabelen worden verwerkt in de juiste volgorde. Deze variabelen zijn onder meer de tijd, speler en het aantal doelpunten in het geval van Goalgetter. Zo’n reeks zag er als volgt uit10:

Wanneer je deze lijn van boven naar beneden zou volgen naar voorbeeld van de wedstrijd van Feyenoord zou het volgende eruit moeten komen: In de zeventigste minuut liet Vilhena zijn eerste doelpunt noteren. Het bovenstaande voorbeeld is slechts een simpele variant van de meerdere templates die in het programma zijn verwerkt. Iedere template hoort bij een bepaald onderwerp. Zo schaart het voorbeeld zich onder de kop van gemaakte doelpunten. Andere onderwerpen van Goalgetter zijn algemeen verloop en uitgedeelde kaarten. Tijdens het schrijven van de tekst koppelt de software de templates met hetzelfde onderwerp aan elkaar. Hierdoor ontstaat een logisch volgorde en lopen de zinnen goed over in elkaar. Elke template heeft een lijst van voorwaarden die vereist zijn om de template uitvoerbaar te maken. Zo voldoet het doelpunt van Feyenoordspeler Tonny Vilhena niet aan de eisen van dit specifieke template. In het voorbeeld is het namelijk een vereiste dat een speler meer dan één doelpunt gedurende wedstrijd maakt. Dat hij zijn eerste doelpunt liet noteren geeft namelijk de implicatie dat hij meer gescoord heeft die dag. Het is slechts één van de

10 Online publicatie Universiteit van Twente. Ontleend aan http://wwwhome.cs.utwente.nl/~theune/GG/NLG.html

voorwaarden van het voorbeeld. Zo kan het template alleen gebruikt worden wanneer het doelpunt nog niet vermeld is eerder in de tekst. Dit voorkomt dat dubbele informatie in de gegenereerde tekst komt. Verder mag het geen eigen doelpunt zijn en moeten beiden teams eerder in de tekst genoemd zijn. Dit verzekert dat de informatie in een goede journalistieke vorm geordend is. Het systeem van Goalgetter wijkt af van de meerderheid van NLG-systemen omdat het geen extra module heeft die op voorhand de structuur van de tekst bepaalt. De volgorde van de tekst wordt bij Goalgetter gedurende het proces bepaald en is afhankelijk van de condities van de templates. Wanneer er meerdere opties zijn die op gelijke wijze geschikt zijn kiest het systeem willekeurig voor één optie. Volgens Theune is hiervoor gekozen om maximale variatie mogelijk te maken. Ontwikkeling van NLG Het systeem van Goalgetter is inmiddels meer dan twintig jaar oud. Volgens Theune is er weinig veranderd in de basis van de techniek die bij taalgeneratie wordt gebruikt. Volgens de wetenschapper is de techniek wel geavanceerder geworden waardoor nu meer mogelijk is. Zo kan taalgeneratie op een grotere schaal toegepast worden. Dit geldt zowel voor het aantal berichten dat geproduceerd kan worden alsmede het aantal variabelen dat een systeem kan verwerken. Een ander groot verschil tussen de taalgeneratie destijds en de techniek van nu is de beschikbare data waarmee kan worden gewerkt. In de afgelopen drie jaar is meer data gecreëerd dan ooit te voren. Naar schatting wordt slechts een marginaal percentage van alle data geanalyseerd en gebruikt, echter is niet alle data geschikt voor het gebruik van taalgeneratie. Aan welke eisen deze moeten voldoen kunt u vinden in hoofdstuk 2. Volgens Theune zou er anno 2017 een zeer uitgebreid voetbalverslag met taalgeneratie gemaakt kunnen worden. De beschikbare gegevens in 1996 zorgden ervoor dat elk wedstrijdverslag min of meer hetzelfde eruit zag. Een droge en generieke weergave van de absolute feiten waar geen informatie over spanning of een duiding van een betere ploeg in verwerkt kon worden. Statistieken in de sport zijn tegenwoordig een stuk uitgebreider, mede door toevoegingen van allerlei sensoren langs de lijn. Zo zou een geautomatiseerd bericht nu kunnen vertellen of een goal een intikkertje was of een afstandsschot dat met honderd kilometer per uur in de kruising belandde. En het grootste voordeel in dit voorbeeld is dat rechtstreeks naar de lezer gecommuniceerd kan worden11.

11 Persoonlijke communicatie Mariet Theune

1.2.2 Rule based en Machine Learning

De meeste vormen van taalgeneratie in de journalistiek zijn grotendeels ‘rule based’, ofwel gebaseerd op regels. Dit betekent dat de software binnen de kaders van de programmering werkt. Het is het tegenovergestelde van machine learning. Dit is een techniek waarbij een computer zelf kan nadenken en conclusies kan trekken. David Llorente, topman van NLG-bedrijf Narritiva, vergelijkt de twee door een parallel te trekken met een speelgoed racebaan waar de auto’s vast in een rails zitten en de zelfrijdende auto’s van Tesla12.

Het is voor robotjournalisten voorlopig nog niet haalbaar om compleet zelfstandig een nieuwsbericht te schrijven. Een poging daartoe zou leiden tot een stuk met vele fouten. Machines denken namelijk niet op dezelfde manier als de mens13. In een branche waar veel waarde wordt gehecht aan betrouwbaarheid is het daarom niet gek dat alle risico’s worden uitgesloten. NLG-systemen hebben een nihile kans om fouten te maken. Mocht er wel een fout in zitten, dan is dat de schuld van de programmeur.

1.2.3 Vormen van complexiteit

Taalgeneratie maakt in de meeste gevallen geen gebruik van Machine Learning. De techniek varieert echter wel van simpel tot gecompliceerd. Volgens ontwikkelaar Narrative Science zijn er drie verschillende niveaus in NLG. Dit varieert van automatisch verwijzingen in een tekst toe te voegen tot het beheren van competenties als selecteren, ordenen en verwerken. Volgens Ehud Reiter zijn er vijf stappen in het verfijnen van taalgeneratie14:

Niveau 1: ‘fill-in-the-blanks’ In de totale eenvoud van de techniek wordt er vrij weinig op het gebied van schrijven gedaan. Het betreft een sjabloontekst waar woorden in zijn weggelaten. Deze woorden worden opgevuld door de bijbehorende informatie uit een dataset. Een voorbeeld hiervan is het programma Word mailmerge. Dit wordt door grote bedrijven en overheidsinstanties gebruikt om brieven naar klanten te personaliseren. De standaardbrieven behouden dezelfde inhoud alleen de aanhef verandert bij elke nieuwe brief om een unieke klant te benaderen.

Niveau 2: Scripts In deze vorm wordt het sjabloon geïntegreerd met codeurprogramma’s die tekst kunnen verwerken Dit gebeurt met behulp van scripts. Scrips zijn instructies die van tevoren worden vastgelegd en automatisch worden uitgevoerd. Scriptprogrammas als C+ en Java zorgen ervoor dat er verbanden tussen data kunnen worden verwerkt. Deze programma’s bevatten echter nog geen taalkundige vaardigheden om een complexe tekst uit te werken.

Niveau 3: Gramatica In de volgende stap worden grammaticale regels toegevoegd. De software wordt aangeleerd welke regels toe te passen in bepaalde situaties. Hieronder

12 Llorente, D (2016) Ontleend aan https://www.linkedin.com/pulse/nlg-technologies-artificial-intelligence-vs-rule-base-david-llorente13 Reiter, E (2016) Ontleend aan https://ehudreiter.com/2016/12/12/nlg-and-ml/14 Persoonlijke communicatie Ehud Reiter

vallen situaties als interpunctie bij afkorting, het vervoegen naar meervoud en het gebruik van het juiste lidwoord.

Niveau 4: Dynamische zinnen Na het toevoegen van de taalregels wordt het systeem aangeleerd om kloppende zinnen te schrijven. Dit houdt in dat de machine leert schrijven zoals een mens dat doet in plaats van het opsommen van statische tekst. Taalkundige vaardigheden als verbinden, verwijzen en opvolgen worden hiermee mogelijk gemaakt. Het is een nodige stap om de tekst goed leesbaar te maken. Met deze techniek is de volgende zin bijvoorbeeld mogelijk: John had honger en at daarom een appel. Tevens had hij het koud. Zonder dynamische zinnen zou de uitkomst zijn: John had honger. John at een appel. John had het koud.

Niveau 5: Dynamisch verhaal Dit is de laatste stap om een geautomatiseerd verhaal op niveau van een echte redacteur te brengen. Het omvat het macro gedeelte in het schrijven van een tekst. Hiermee wordt bepaald welke boodschap het verhaal moet overbrengen met de lezersdoelgroep in gedachte. Bepalend is welke informatie waar in het document komt te staan. In het geval van een nieuwsverhaal zou het systeem dus moeten worden ingesteld om elk verhaal oprolbaar te schrijven. Beginnend met de kern en toewerken naar de minder belangrijke informatie.

Het systeem van Goalgetter zou volgens deze classificatie vallen onder categorie vier. Goalgetter wijkt af van de meeste moderne vormen van NLG omdat het geen extra module heeft die op voorhand de structuur van de tekst bepaalt. De volgorde van de tekst wordt bij Goalgetter gedurende het proces bepaald en is afhankelijk van de condities van de templates. Bij meerdere opties die op gelijke wijze geschikt zijn, kiest het systeem willekeurig voor één optie. Volgens Theune is hiervoor gekozen om maximale variatie mogelijk te maken15.

Hoofdstuk 3 Welke media maken gebruik van taalgeneratie?

15 Persoonlijke communicatie Mariet Theune

De techniek van taalgeneratie wordt al sinds de beginjaren van 1960 ontwikkeld en wordt in meerdere segmenten toegepast, zoals bij ondersteuning in het onderwijs, in de medische sector en voor marketingdoeleinden16. In het journalistieke vakgebied werd de techniek vrijwel uitsluitend gebruikt bij het verslaan van het weer. In deze situaties werden alleen eenvoudige vormen van taalgeneratie gebruikt. Denk daarbij aan een voorbeeld waarin de gegeven statistiek is dat de neerslagkans 45 procent is. De geformuleerde zin zal dan iets in de richting van ‘de kans op regen vandaag is 45 procent’ zijn. 3.1 Commerciële markt van taalgeneratie Grootschalig gebruik van taalgeneratie kwam pas in de afgelopen vijf jaar. Sinds 2012 is de commerciële markt van taalgeneratie in rap tempo ontwikkeld. Voorheen bestond dit vak voornamelijk in de academische wereld. De komst van ‘big data’ zorgde er echter voor dat commerciële belangen zichtbaar werden. De markt van taalgeneratie is tot dusver nog redelijk klein. Er zijn elf grote bedrijven die zich, onder meer of volledig, op deze markt richten.Voor deze grote bedrijven is de journalistiek vooralsnog een relatief kleine afzetmarkt. De meeste diensten leveren ze aan de financiële sector, of voor marketingdoeleinden17.

Zo gebruikt Homesnap, één van Amerikaans grootste databases voor onroerend goed, de techniek om leesvriendelijke omschrijvingen van leegstaande huizen te genereren. De software, genaamd Wordsmith, gebruikt hiervoor kadasterdata als bouwjaar, bouwmateriaal en omgeving van het huis als databron. Als de software in de data kan afleiden dat het huis na 2012 is gebouwd, zal het automatisch in tekst worden vertaald naar ‘Nieuwbouw’. Wordsmith schrijft zo’n bericht binnen enkele seconden, waar een makelaar daar normaliter de tijd voor moet nemen18.

Het gebruik van taalgeneratie is voornamelijk aantrekkelijk wanneer een bedrijf in grote frequentie tekst publiceert. Bedrijven als Microsoft, Deloitte en Yahoo! maken gebruik van de techniek. Enkele grote producenten van NLG-systemen hebben ook nieuwsmedia in hun klantenbestand. Voorlopig zijn dit nog alleen de nieuwsbedrijven die het meeste produceren: De persbureaus.

3.2 Taalgeneratie bij persbureaus

De belangrijkste factor voor het maken van geautomatiseerd nieuws is het werken met gestroomlijnde en constante data. Om die reden wordt het voornamelijk toegepast in het

16 Online publicatie van Wiki-NLG, geraadpleegd van www.nlg-wiki.org/systems/Table_of_NLG_systems17 Persoonlijke communicatie Joe Procopio18 Online videopresentatie Automated Insights, geraadpleegd van https://www.youtube.com/watch?v=kYP6mvXjnKc

verslaan van sportwedstrijden, financieel nieuws of het weer19. Eén van de eerste media die op grote schaal investeerde in taalgeneratie was het persbureau Thomson, nog voordat het fuseerde met Reuters. In 2006 bracht het bedrijf meerdere programma’s in werking om het financiële nieuws te verslaan20.

Het meest bekende voorbeeld van taalgeneratie in de journalistiek is dat van Assosciated Press. Het Amerikaanse persbureau begon met robots in 2014, eveneens voor het verslaan van kwartaalrapportages van de grote bedrijven. De persdienst versloeg voor de komst van de nieuwsbots de kwartaalcijfers van ongeveer driehonderd bedrijven. Zes maanden na invoering produceerde het AP meer dan drieduizend geschreven stukken over de kwartaalcijfers21.

Om dit mogelijk te maken huurde AP het bedrijf Automated Insights in, hetzelfde bedrijf dat geautomatiseerde tekst verzorgt voor Homesnap. Voor het softwarebedrijf is het AP één van de grootste klanten en dé grootste in het journalistieke gebied. Automated Insights ontwikkelde het programma Wordsmith dat voor haar klanten makkelijk is om in te stappen22. Volgens Joe procopio, één van de hoofdontwikkelaars bij Automated Insights, is de techniek die bij de kwartaalrapporten komt kijken speciaal ontworpen voor het AP vanwege de grote schaal en de vele variabelen23. De automatisering van de kwartaalrapporten was eveneens een beginpunt voor het AP om naar meerdere segmenten uit te breiden. Zo worden nu ook verschillende sporten automatisch verslagen met dezelfde software24.

3.3 Taalgeneratie In Europa

Het zijn de grote bedrijven als Thomson Reuters, Associated Press en Forbes die de eerste stappen maakten in de robotjournalistiek. Na succesvolle toepassing bij deze bedrijven volgden ook de kleinere persbureaus. Reuters onderzocht het gebruik van NLG bij de grootste persbureaus van Europa. Van de 14 ondervraagde bedrijven gaven er acht aan de techniek al te gebruiken en twee bedrijven gaven aan de techniek te ontwikkelen voor toekomstig gebruik25.

Eén van deze bedrijven die al met de software werkt is het Noorse persbureau Norsk Telegrambyrå (NTB). Helen Vogt, hoofd van innovatie bij NTB, raakte onder de indruk van de mogelijkheden van automatisering tijdens een bezoek aan het AP in 2014. In die tijd was het project waarin het AP duizenden kwartaalrapporten produceerde net gelanceerd. Het Noorse persbureau besloot om een eigen systeem op te zetten dat ontwikkeld werd door een gespecialiseerd softwarebedrijf26.

19 Persoonlijke communicatie Joe Procopio20 Financial Times (2006) Ontleend aan https://www.ft.com/content/bb3ac0f6-2e15-11db-93ad-0000779e2340#axzz2wa43wOcM21 The Verge (2015) Ontleend aan https://www.theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-reporting22 Online publicatie Automated Insights, ontleend aan https://automatedinsights.com/wordsmith23 Persoonlijke communicatie Joe Procopio24 Associated Press (2016) Ontleend aan https://www.ap.org/press-releases/2016/ap-expands-minor-league-baseball-coverage25 Fanta, A (2017) Putting Europe’s Robots on the Map: Automated journalism in news agencies26 Persoonlijke communicatie Helen Vogt

Voetbalrapportages werden uitgekozen als eerste segment voor de automatiseringssoftware. Het systeem werd ontwikkeld met het doel om in een latere fase over meerdere onderwerpen te kunnen schrijven. De ontwikkeling van het systeem begon in de zomer van 2015 en was na ongeveer vier maanden operationeel functioneel. Volgens Vogt heeft het programma zeker zeventig tot tachtig versies doorlopen voordat het naar behoren functioneerde. Naar haar zeggen was dit nodig om zo alle mogelijke fouten uit het systeem te elimineren. Zo kwam in een voetbalverslag van één van de eerdere versies naar voren dat de scheidsrechter een doelpunt had gemaakt.

Momenteel schrijft de software bij het NTB voetbalverslagen voor de drie hoogste divisies, waarvan alleen de derde divisie zonder editoriaal tussenkomst gepubliceerd wordt. Bij de hoogste twee divisies wordt het geautomatiseerde verhaal altijd aangesterkt met informatie van een journalist die de wedstrijd gezien heeft.

ANP

Sinds dit jaar is ook het ANP naar de mogelijkheden van robotjournalistiek aan het kijken. Volgens hoofdredacteur Johan Groeneveld wordt er momenteel gekeken naar de mogelijkheden van automatisering. Daarbij noemt hij ‘corvee achtige taken’ en ‘monnikenwerk’ wat moet worden overgenomen door nieuwsbots. De focus ligt voorlopig op beursverslagen en sportwedstrijden.

Het ANP gaat echter, in tegenstelling tot AP en NTB, geen berichten plaatsen zonder de tussenkomst van een redacteur. Het geautomatiseerde werk is volgens Groeneveld een berichtvoorstel waar een redacteur zijn blik over laat gaan, hier en daar een aanvulling doet en vervolgens op de publicatieknop drukt. “Alles wat hier de deur uitgaat, moet het ANP-keurmerk dragen. De redactie moet zich daarvoor verantwoordelijk voelen. Maar ik sluit niet uit dat er een moment komt dat we de geautomatiseerde berichtenstroom zo vertrouwen dat we zeggen: dat kan zo naar buiten.27”

3.4 Laagdrempelig gebruik van taalgeneratie

Taalgeneratie binnen de journalistiek valt tot nu toe grotendeels onder het domein van de persbureaus en beperkt zich in de meeste gevallen tot weer, sport en financiële berichtgeving. Nieuwsmedia zijn echter niet afhankelijke van derde bedrijven, zoals Automated Insights, voor het gebruik van taalgeneratie op de redactie. Dat bewees journalist Ken Schwencke in 2014 door een eigen robot te maken die nieuws verslaat.

27 Stimuleringsfonds voor de Journalistiek (2017) Ontleend aan https://www.svdj.nl/nieuws/bots-voor-de-kwantiteit-journalisten-voor-de-kwaliteit/

De redacteur van de Amerikaanse krant L.A. Times kreeg in 2014 van zijn werkgever de kans om een softwareprogramma te maken dat automatisch berichten kon schrijven over aardbevingen. Het programma schrijft binnen drie minuten na waarneming van een aardbeving een simpel nieuwsbericht met kerninformatie als locatie, magnitude en afstand. Het algoritme van Schwencke gaat te werk wanneer het informatie over een aardbeving verkrijgt van een geologisch instituut in de regio. Een geautomatiseerd nieuwsbericht over een aardbeving zag er als volgens uit28:

This is the article generated by the LA Times algorithm: A shallow magnitude 4.7 earthquake was reported Monday morning five miles from Westwood, California, according to the U.S. Geological Survey. The temblor occurred at 6:25 a.m. Pacific time at a depth of 5.0 miles.According to the USGS, the epicenter was six miles from Beverly Hills, California, seven miles from Universal City, California, seven miles from Santa Monica, California and 348 miles from Sacramento, California. In the past ten days, there have been no earthquakes magnitude 3.0 and greater centered nearby.This information comes from the USGS Earthquake Notification Service and this post was created by an algorithm written by the author.

De zogenaamde Quakbot is één van de meerdere projecten van Schwencke die uiteindelijk precies hetzelfde doen. Zo maakte hij onder andere een map van de VS waarin hij het aantal huurhuizen tegenover het aantal koopwoningen illustreerde. Ook maakte hij voor de L.A. Times een tool waarin journalisten informatie binnen krijgen over moorden die in een gemeente gepleegd worden. Het algoritme van de tool haalt die informatie op zijn beurt weer bij plaatselijke lijkschouwers. Er komt vervolgens buiten de informatie zoals leeftijd, etniciteit en doodsoorzaak geen uitgeschreven verhaal uit zoals dat bij de quakebot het geval is. Volgens Schwencke is het aan de redacteuren van de krant om te bepalen wat ze met deze informatie willen doen29.

Hoofdstuk 4 Wat zijn de mogelijkheden en beperkingen van nieuwsrobots?

In het voorgaande hoofdstuk heb ik enkele voorbeelden gegeven van nieuwsmedia die gebruik maken van nieuwsrobots. In dit hoofdstuk wil ik verder toelichten waarom deze media voor automatisering hebben gekozen.

Geen banen verloren

28 BBC (2014) Ontleend aan BBC, geraadpleegd op http://www.bbc.com/news/technology-26614051 29 Schwencke, K Ontleend aan http://schwanksta.com/

Volgens Philana Paterson van AP is er geen enkele baan verloren gegaan in het proces van automatisering. Groeneveld van het ANP en Vogt van het Noorse NTB geven eveneens aan dat de nieuwsrobots niet in het leven zijn geroepen om de menselijke redacteur te vervangen. De achterliggende gedachte van automatisering is dat het eentonige werk van basale informatiewerk geen lastenpost meer is voor de redacteur. In plaats daarvan kan de schrijver zijn tijd richten op het verdiepen in een onderwerp.30 31 32

1.4. Voordelen van NLG

Volgens Helen Vogt van het Noorse NTB is er in de technologie geïnvesteerd vanwege het bevorderen van publicatiesnelheid, kwantiteit van berichtgeving, personalisatie van verhalen en het verlagen van de werkdruk33.

Publicatiesnelheid

Vogt legt uit dat de automatisering ervoor heeft gezorgd dat het werk van de redacteuren minder stressvol is geworden. De hoogste divisie in Noorwegen telt elk weekend acht wedstrijden. Het streven is om de belangrijkste drie matches in zo’n vijf à zes minuten na afloop te verslaan. Voor de minder interessante potjes wordt ongeveer tien minuten gerekend. Met behulp van de software kunnen redacteuren nu vele malen sneller publiceren. Zij krijgen een compleet feitelijke beschrijving van zes tot acht paragrafen van de wedstrijd binnen enkele seconden op hun beeldscherm. Hierin staan alle statistieken als balbezit, doelpogingen en wissels in verwerkt. Eveneens staan in deze paragrafen relevante historische data die dateert tot de jaren veertig in verwerkt. Hierdoor hoeft de schrijver niet zelf door het archief te pluizen.

Kwantiteit berichtgeving

Het persbureau wil binnen een jaar meer dan twintigduizend voetbalverslagen per week publiceren. Dit zijn alle officiële wedstrijden die vallen onder de Noorse voetbalbond, waaronder alle jeugdwedstrijden. Dit is mogelijk door de informatie die de voetbalbond zelf online bijhoudt. Een geautomatiseerd verhaal bij de amateurs zal dus een stuk minder complex zijn aangezien het informatie over balbezit en dergelijke ontbreekt. Desalniettemin ziet het persbureau een groeiende vraag van het kleinere publiek.

Persoonlijke berichtgeving

30 The Verge (2015) Ontleend aan http://www.theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-reporting31 Stimuleringsfonds voor de Journalistiek (2017) Ontleend aan https://www.svdj.nl/nieuws/bots-voor-de-kwantiteit-journalisten-voor-de-kwaliteit/32 Persoonlijke communicatie Helen Vogt33 Persoonlijke communicatie Helen Vogt

Vogt merkte dat er ook steeds meer vraag was voor een betere focus op het lokale publiek. Bij de Noorse verkiezingen in september wordt daarom automatisering ingezet om per administratieve regio een uniek verhaal te maken. Het gaat hier om simpele informatie als opkomst en hoeveel zetels een partij heeft gehaald ten opzichte van de vorige keer. Het persbureau zal dan één landelijk verhaal uitbrengen en 19 unieke verhalen waar de informatie die belangrijk is voor de regio in is verwerkt. De informatie wordt op die dag zo’n twintig keer bijgewerkt en zo zullen er rond de vierhonderd geautomatiseerde berichten geproduceerd worden.

Verlagen van de werkdruk

Journalisten zijn niet goed met nummers, legt Vogt uit. Zeker als er een tijdsdruk invloed heeft op een redacteur kunnen slordigheden ontstaan. De software sluit feitelijke onjuistheden volledig uit. Ook is het volgens Vogt een groot voordeel dat journalisten geen monotone werkzaamheden hoeven verrichten als het opzoeken en verwerken van data. Zo worden in de toekomst bij het NTB de huizenprijzen en de marktprijs van zalm automatisch in tekstvorm geüpdatet.

4.2 Vereisten van NLG

Zoals ik eerder vermeldde levert het gebruik van taalgeneratie in de journalistiek zich het beste uit voor onderwerpen waar veel over geschreven kan worden. Doorgaans zijn het de grote nieuwsredacties die er echt baat bij hebben.

Taalgeneratie is niet enkel weggelegd voor de allergrootste mediabedrijven, beaamt Joe Procopio van Automated Insights. Zijn bedrijf richt met het softwareprogramma Wordsmith naast bedrijven als AP ook op de lokale media. “juist bij de kleinere media blijven mooie verhalen liggen omdat er te weinig personeel beschikbaar is. Na een kleine leerperiode kunnen journalisten van een mediabedrijf zelfstandig onderweg met het programma.” Volgens de softwareontwikkelaar zijn er een aantal factoren die het gebruik van de techniek aantrekkelijk maken34:

. Frequentie - Inhoud die wordt geproduceerd op terugkerende basis, zij het dagelijks, wekelijks, maandelijks of op andere chronologische basis. Een voorbeeld hiervan is het rapporteren over kwartaalcijfers.

. Nieuwheid – Inhoud die tijdgevoelig is en van meeste waarde is wanneer de informatie het “verst” is. Een voorbeeld hiervan is de Quakebot van Ken Schwencke, die na seconden na waarneming van een aardbeving een nieuwsbericht kan schrijven

. Omvang – Inhoud die wordt geproduceerd in grote volumes. Het is gunstig om 5.000 verslagen automatisch te automatiseren. Het is nog gunstiger om een miljoen verslagen te maken.

34 Persoonlijke communicatie Joe Procopio

. Persoonlijk – Inhoud die focust op een individueel niveau, of bedoeld is om één persoon of kleine groep te interesseren. Zo wordt geautomatiseerd nieuws in Noorwegen toegespitst op de locatie van de lezer.

Volgens Procopio hoeft er slechts aan één van deze vier punten te worden voldaan om in aanmerking te komen voor automatisering. Inhoud die aan meerdere criteria voldoen zijn wel een betere kandidaat. Volgens de programmeeur komen er meer onderwerpen in aanmerking voor automatisering dan men denkt. Volgens hem zijn er ook criteria die het gebruik van NLG zeker niet uitsluiten:

. Structuur en toon – De Inhoud hoeft geen sjabloon of hevig gestructureerd te zijn om er een automatische tekst van te maken. Het maakt het echter wel makkelijk maar is zeker geen vereiste. Automatisch gegenereerde verhalen kunnen elke toon aannemen – zij het professioneel, informeel, cynisch of overredend. De software kan de tekst zelf omzetten in de toon die gewenst is bij de huisstijl van het afnemende medium.

. Data – Geautomatiseerde verhalen hebben data nodig om tot stand te komen. Deze data hoeft echter niet exclusief numeriek te zijn. Geschikte databronnen kunnen beschikken over elke soort tekst – eigennamen, SEO-termen, en zelfs lijsten.

. Bestaande Inhoud – De voordelen van het automatiseren van hetgeen wat een bedrijf al handmatig genereert zijn makkelijk zichtbaar. Het is zeker ook een goede manier om te beginnen met automatisering. Maar het mooie van automatisering is dat het je de mogelijkheid geeft om verhalen te maken die daarvoor nog nooit mogelijk waren.

4.3 Kosten van NLG-systemen Het is echter nog de vraag of taalgeneratie in de toekomst ook een hulpmiddel wordt voor de kleinere redacties. De systemen die nu in gebruik zijn genomen door de redacties van persbureaus hadden niet het doel om de kosten van productie te verlagen. Zo zegt Reg Chua van AP dat men vaak denkt dat automatisering goedkoop is. Automatisering kost echter geld door de investering, onderhoud, controle en beheer van het systeem35.

35 Chua, R (2017) Putting Europe’s Robots on the Map: Automated journalism in news agencies

Een sportjournalist bij Thomson Reuters zei dat de techniek bij zijn bedrijf wel het einddoel heeft om kosten te besparen.“ Het programma Wordsmith van Automated Insights is in de meest simpele vorm beschikbaar voor een bedrag van tweeduizend dollar per maand. Voor dit bedrag krijgt de gebruiker een programma waar men zelf mee aan de slag kan36. Automatisering in de vorm van de kwartaalcijfers van AP zal veel duurder zijn geweest. Persbureau NTB investeerde voor driehonderdduizend euro in automatisering37. De Britse nieuwsdienst Press Association kreeg onlangs zeven ton van Google aangewezen om op termijn maandelijks meer dan 30.000 artikelen automatisch te schrijven38. Het is eveneens twijfelachtig of we nog veel simpele vormen van taalgeneratie zullen zien zoals de Quakebot van Ken Schwencke. Hij had namelijk gevorderde kennis om te coderen en kreeg de tijd om een programma te ontwikkelen. Volgens Ehud Reiter is taalgeneratie in de vorm van een gratis tool waar iedere journalist mee aan de slag kan nog ver weg. Er zijn minder dan tien Open Source (Gratis) software beschikbaar. Dat is relatief weinig voor een techniek die al zo lang wordt ontwikkeld39.

Wat zijn de beperkingen van nieuwsbots?

In de voorgaande hoofdstukken staat beschreven hoe de techniek precies werkt en wat het allemaal kan doen. Maar wat kunnen de nieuwsrobots nog niet? Simpel gezegd kan een nieuwsrobot helemaal niks. Het is de programmeur die van te voren het werk doet. De software vult alleen de puntjes in. De aangewezen protocollen hiervoor zijn informatie verzamelen, ordenen en verwerken. Slechts drie competenties die een journalist bezit.

In dit onderzoek heb ik de kwestie voornamelijk belicht vanuit het perspectief van de mensen die de techniek ontwikkelen en implementeren. Professor Neil Thurman, verbonden aan de Universiteit van Londen, onderzocht hoe redacteuren over de techniek denken. Hiervoor interviewde hij tien journalisten bij Thomson Reuters, CNN, BBC, The Sun, en Trinity Mirror over hun ervaringen en bevindingen van taalgeneratie40. Over de mogelijkheden komen dezelfde punten naar boven die ik eerder beschreef.

Dit hebben de journalisten te zeggen over de nadelen van NLG:

De ondervraagde journalisten ondervinden dat NLG in grote mate beperkt wordt door de afhankelijkheid van gestroomlijnde en geïsoleerde data. Hierdoor schiet de techniek op het gebied van context, complexiteit en creativiteit te kort in vergelijking met traditionele journalistiek. Zo ook in berichtgeving over financiën en sport, waar de techniek het vaakst voor wordt gebruikt.

36 Online publicatie Automated Insights, ontleend aan https://automatedinsights.com/pricing37 Persoonlijke communicatie Helen Vogt38 Press Association (2017) Ontleend aan www.pressassociation.com/company-news/pa-awarded-e706000-grant-google-fund-local-news-automation-service-collaboration-urbs-media/39 Persoonlijke communicatie Ehud Reiter40 Thurman, N (2017) ontleend aan When reporters get hands-on with robo-writing

Tunnelvisie

Een reporter van CNN had het volgende te zeggen over geautomatiseerde berichtgeving bij een Premier League voetbalwedstrijd: “Een NLG-programma kan tot tweeduizend gedetailleerde gebeurtenissen weergeven. Dit is echter alleen maar van betrekking voor wat er op het veld gebeurd. Dat kan grotendeels irrelevant zijn voor een journalist, die zich wil focussen op gebeurtenissen buiten het speelveld. Denk hierbij aan het rapporteren van rellen op de tribune en beschrijven dat een club voor de laatste keer in 112 jaar tijd in een stadion speelt.” Volgens de verslaggever kunnen deze contextuele factoren niet geprogrammeerd worden in een NLG-programma, waardoor de data “slechts 10 procent van het hele verhaal weergeeft.”

Menselijke blik

De journalisten gaven aan dat geautomatiseerde berichtgeving saai en eenvoudig is. Volgens de ondervraagde reporter van The Sun is het de taak van journalisten om duiding aan gebeurtenissen te geven. De journalist van het roddelblad geeft als voorbeeld een verhaal over het faillissement van de Britse retailer BHS. “Een robot schrijft over de nummertjes maar onze lezer willen informatie over de flamboyante en arrogantie levenswijze van de eigenaar, en welk effect dat heeft gehad.”

Hoofdstuk 5: ConclusieWat is robotjournalistiek?

Robotjournalistiek is eigenlijk een misleidende benaming. De juiste benaming voor de techniek is Natural Language Generation (NLG). NLG is een vorm van tekstverwerking door een computer. De techniek onderscheid zich van simpele tekstverwerking door menselijke taal na te kunnen bootsen. In het proces gaat de software van betekenis naar tekst. Om een

praktisch voorbeeld te geven: Het programma leest een databron (uitslag van een voetbalwedstrijd) en maakt daar een puur feitelijk verhaal van.

Hoe werkt robotjournalistiek?

De computerprogramma’s kunnen nog niet zelfstandig opereren. Daarom zal een verhaal er altijd precies uit komen te zien zoals de programmeur dat wenst. Om tot een verhaal te komen doorgaat het systeem deze vijf stappen:

1. Communicatieve Doelstelling: Welke informatie moet naar de lezer worden gecommuniceerd2. Verloop plannen: De data ordenen en de structuur bepalen3. Zinnen vormen: Welke variabelen moeten in één zin komen4. Lexicalisatie: Welke woorden moeten worden gebruikt in de zinnen om de informatie uit te drukken5. Het datamodel: Bepalen hoe de entiteiten gestructureerd moeten worden

Welke media maken gebruik van nieuwsrobots?

Dit zijn voornamelijk de persbureaus. De allergrootste bedrijven zijn begonnen met deze trend. In de laatste twee jaar volgden ook de kleinere persdiensten. Zo gebruikt de meerderheid van de Europese persbureaus deze techniek. Uitzonderingen zijn er ook in de vorm van LA Times, die een laagdrempelige versie functioneel maakte.

Wat zijn de mogelijkheden van nieuwsrobots?

Taalgeneratie leent zich perfect uit voor onderwerpen die een vaste structuur hebben. Denk bijvoorbeeld aan een voetbalwedstrijd. Die duurt altijd negentig minuten en kent steevast dezelfde regels. De focus van automatisering ligt bij het creëren van verhalen die voorheen niet geschreven konden worden. Het gaat daarbij om gepersonaliseerde berichtgeving die maar voor een select aantal lezers interessant is. De robotjournalist is buiten de onderhoudskosten een éénmalige investering die tot in de eeuwigheid kan doorschrijven. De robot is sneller, productiever en nauwkeuriger dan de mens.

Een bijkomstigheid is dat de journalist wordt ontzien van een tijdrovende taak. In plaats van informatie te verzamelen, kan de journalist zich meer bezighouden met verdieping in het onderwerp. Het klinkt als de perfecte samenwerking. De machine doet het werk dat de journalist niet wil doen, en de journalist doet het werk dat de machine niet kan doen.

Wat zijn de beperkingen van nieuwsrobots?

De grootste beperking van de nieuwsrobots is dat ze alleen in staat zijn om voor simpele berichtgeving te zorgen. Het zal altijd een feitelijke opsomming zijn van de gegevens waar het verder geen duiding aan kan geven. Deze techniek kan in zijn huidige vorm dan ook op weinig vlakken concurreren met een menselijke journalist. De robot zal geen kwalitatief hoogwaardig stuk schrijven. Daar is deze techniek ook niet voor bedoeld.

Bronnenlijst Persoonlijke communicatie Ehud Reiter

Clerwall, C (2014) Ontleend aan “Enter the Robot Journalist: Users’ Perceptions of Automated Content.”

KD Nuggets (2017) Ontleend aan https://www.kdnuggets.com/2017/02/natural-language-processing-key-terms-explained.html

Computer World (2015)https://www.computerworld.com/article/2906336/emerging-technology/what-is-artificial-intelligence.html

Orr, D (2015) Ontleend aan ww.quora.com/What-technology-is-behind-Google-language-processing

Coupel, T (2014) Ontleend aan https://yseop.com/blog/what-is-the-difference-between-natural-language-generation-and-understanding-2/

Persoonlijke communicatie Ehud Reiter

Reiter, E. en Dale, R. (1997) Building applied natural language generation systems Persoonlijke communicatie Mariët Theuene

Online publicatie Universiteit van Twente. Ontleend aan http://wwwhome.cs.utwente.nl/~theune/GG/NLG.html

Llorente, D (2016) Ontleend aan https://www.linkedin.com/pulse/nlg-technologies-artificial-intelligence-vs-rule-base-david-llorente

Reiter, E (2016) Ontleend aan https://ehudreiter.com/2016/12/12/nlg-and-ml/

Persoonlijke communicatie Ehud Reiter

Persoonlijke communicatie Mariet Theune

Online publicatie van Wiki-NLG, geraadpleegd van www.nlg-wiki.org/systems/Table_of_NLG_systems

Persoonlijke communicatie Joe Procopio

Online videopresentatie Automated Insights, geraadpleegd van https://www.youtube.com/watch?v=kYP6mvXjnKc

Persoonlijke communicatie Joe Procopio

Financial Times (2006) Ontleend aan https://www.ft.com/content/bb3ac0f6-2e15-11db-93ad-0000779e2340#axzz2wa43wOcM

The Verge (2015) Ontleend aan https://www.theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-reporting Online publicatie Automated Insights, ontleend aan https://automatedinsights.com/wordsmith

Persoonlijke communicatie Joe Procopio

Associated Press (2016) Ontleend aan https://www.ap.org/press-releases/2016/ap-expands-minor-league-baseball-coverage

Fanta, A (2017) Putting Europe’s Robots on the Map: Automated journalism in news agencies

Persoonlijke communicatie Helen Vogt

Stimuleringsfonds voor de Journalistiek (2017) Ontleend aan https://www.svdj.nl/nieuws/bots-voor-de-kwantiteit-journalisten-voor-de-kwaliteit/

BBC (2014) Ontleend aan BBC, geraadpleegd op http://www.bbc.com/news/technology-26614051

Schwencke, K Ontleend aan http://schwanksta.com/

The Verge (2015) Ontleend aan http://www.theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-reporting

Stimuleringsfonds voor de Journalistiek (2017) Ontleend aan https://www.svdj.nl/nieuws/bots-voor-de-kwantiteit-journalisten-voor-de-kwaliteit/

Persoonlijke communicatie Helen Vogt

Persoonlijke communicatie Helen Vogt

Persoonlijke communicatie Joe Procopio