Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF...

28
Date: 01-12-19 Team: Ed de Heer, Fairoesh Nanhekhan, Tim de Haan, Robbert van ’t Westende, Martijn Arts HackaLOD Radio Kootwijk

Transcript of Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF...

Page 1: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Date: 01-12-19

Team: Ed de Heer, Fairoesh Nanhekhan, Tim de Haan, Robbert van ’t Westende, Martijn Arts

HackaLOD

Radio Kootwijk

Page 2: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player2

Page 3: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Total Design — HackaLOD3

Page 4: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Total Design — HackaLOD4

Page 5: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Total Design — HackaLOD5

Page 6: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Total Design — HackaLOD6

Page 7: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player7

Radio

Page 8: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player8

Page 9: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player9

Page 10: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player10

Jaartal Datum

Page 11: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player11

Linked Data PlayerRadio Historica

Page 12: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player13

Data

Twee datasets: Anefo fotocollectie van het NA en ANP Radiobulletins van de KB. De sets bestaan oorspronkelijk uit meer dan 450.000 foto’s die open beschikbaar waren en 1 miljoen ANP nieuwsberichten. De twee datasets bestrijken de periode 1937 – 1984.

Page 13: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player14

Page 14: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player15

Page 15: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player16

De Data

In totaal zijn er 187.281 foto’s van de Anefo fotocollectie naar RDF omgezet.

Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken naar een overeenkomstige datum. De datumnotatie van de ANP-bulletins is in het formaat 'YYYY-MM-DD'. De datumnotatie van de foto's hebben we dan ook in hetzelfde formaat moeten aanpassen. Hiernaast bleek ook uit analyse dat het overgroot deel van de foto's geen goede datum bevatte waardoor helemaal geen match kon worden gemaakt. Sommige foto's bevatte geen datum of er was enkel een jaartal opgegeven.

Uiteindelijk zijn alle foto's met een correcte datum geselecteerd uit de bulk van 187.281 foto's en bleven er 46.054 over waarmee een mogelijk match kon worden gemaakt. De 46.054 foto's zijn in een aparte graaf geplaatst.

Page 16: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

17

De Data

De ANP nieuwsberichten waren door de KB al omgezet naar LOD. Echter niet de ge-OCRde teksten waarmee we wilden/moesten matchen. Het bleek dat Beeld en Geluid wel een set had waarbij deze ge-OCRde teksten wel omgezet waren naar LOD. Dit is wel een veel kleinere set van ongeveer 200.000 ANP nieuwsberichten over de periode 1937-1955.

Linked Data Player

Page 17: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player18

De Data

Bij een eerste matching, waarbij we de 46.054 overgebleven foto’s probeerden te matchen op onderwerp bleek dit performance-problemen te geven.

Dit omdat een trefwoord bij een foto door alle 197.200 ge-OCRde ANP radiobulletins moest zoeken. Dit werd tegelijkertijd gedaan voor alle trefwoorden (van 46.054 foto’s). We hebben toen een selectie gemaakt van de 30 meest voorkomende trefwoorden van de fotocollectie. De meest voorkomende term is “Noord-Holland".

We hebben per trefwoord uit de fotocollectie een query gedaan op de ge-OCRde tekst. Hieruit kregen we uiteindelijk wel resultaat. Zo hebben we voor 30 trefwoorden 1.500 foto’s kunnen matchen met 242 ANP nieuwsberichten.

Page 18: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player19

Page 19: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player20

Page 20: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Total Design — HackaLOD21

Page 21: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Total Design — HackaLOD22

Page 22: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player23

[demonstratie applicatie]

Page 23: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player24

Lessons Learned

Full-text search zoeken in 197.200 ANP-bulletins op basis van de trefwoorden/onderwerpen van de 46.054 foto's (waarbij elke foto ongeveer 1 tot 4 trefwoorden bevat) was voor ons onwerkbaar via GraphDB en SPARQL.

Bij zulke grote aantallen lijkt het ons dat Linked Data daar niet voor bedoeld is. Via omwegen en enige fragmentatie van de query's is het toch gelukt om met SPARQL matches te maken. Dit laatste kostte wel veel (repeterend) werk.

Data kwaliteit niet altijd even goed. Dit geldt voor zowel de ANP-bulletins als de fotocollectie.

De ge-OCRde teksten bevatten veel onleesbare tekens en spelfouten wat het matchen op trefwoorden bemoeilijkte. Ook bij de fotocollectie ontbrak correcte data om goed te matchen (zoals bijvoorbeeld de datum van de foto's).

Page 24: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player25

Hoe verder?

Op dit moment hebben we te weinig data om veel matches te krijgen. Hier kunnen we aan werken door bijv. de ANP bulletins verder om te zetten naar RDF.

Tot slot kunnen we ook functionaliteit toevoegen zoals het zoeken op onderwerp of koppelen met andere datasets zoals de BAG waardoor visualisaties op de kaart mogelijk worden

Aanvulling die we willen realiseren is het crowd sourced verrijken van de data door mensen ‘on-the-go’ op hun mobiele telefoon te verleiden om tematchen, taggen en annoteren. Deze verrijking kan iedereen eventjes doen.

.

Page 25: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player26

Toevoegen van een co-creatie functionaliteit zodat gebruikers mee

kunnen helpen met annoteren, valideren van

matches etcetera.

Toevoegen van een profiel functionaliteit zodat bij je persoon ook metadata wordt opgeslagen en het systeem dus zich aanpast aan je gedrag en profiel (natuurlijk LOD). features

Page 26: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Total Design — HackaLOD27

meer beelden, meer radiobulletins, meer mediale typen, meer …

Page 27: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player29

Met swipen zou de tijdlijn heel gemakkelijk moeten

bewegen. Idealiter terwijl je ook - net als bij de radio

- ook fragmenten van de audio hoort terwijl je

(langzaam) swiped.

Swipen over de tijdlijn levert het exponentieel sneller bewegen op van de foto’s. Door met dynamic skelleton animatie te werken kan dit snel, goed en performant werken.

Page 28: Radio Kootwijk - hackalod.com · In totaal zijn er 187.281 fotosvan de Anefo fotocollectie naar RDF omgezet. Om de foto's te kunnen matches met de ANP-bulletins werd allereerst gekeken

Linked Data Player30

Delen van het multimediale item bestaande uit meerdere foto’s en een nieuwsbericht via Instagram als een video met geluid. Deze is automatisch gegenereerd vanuit de slideshow van de foto’s plus de sound.