Download - Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

Transcript
Page 1: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch zoeken over knowledge graph, semantisch web,

rdf, linked data, ontologieën, metadata, ...

VOGIN-IP-lezing 2014

Eric Sieverts

@sieverts

Page 2: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch zoeken

een deel van het materiaal in deze presentatie wordt ook gebruikt in de eendaagse cursus

"semantisch zoeken"

bij GO Opleidingen

eric sieverts, maart 20142

Page 3: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

conflicting views?

Semantic Web Business: Going Nowhere Slowly

I've been a semantic web skeptic for years. SemWeb is useful for information enrichment in certain domains, via a circumscribed set of tools. However, the SemWeb offers a vanishingly small benefit to the vast majority of businesses. The vision persists but is unachievable; the business reality of SemWeb is going pretty much nowhere.

The SemWeb dream centers on sharing linked data via the W3C's Resource Description Framework protocol. There is no question that SemWeb aspires to a worthy goal, but its tools and processes are no match for the reality of never-diminishing online, social, and enterprise data chaos. We will never achieve its ideal universe of neatly marked up data, published by content producers in accordance with the prescriptive W3C standards.

Seth Grimes on January 7, 2014 in InformationWeek

eric sieverts, maart 20143

In case you missed it, a series of recent articles have made a Big Announcement:

The Semantic Web is not here yet.

Additionally, neither are flying cars, the cure for cancer, humans traveling to Mars or a bunch of other futuristic ideas that still have merit.

A problem with many of these articles is that they conflate the Vision of the Semantic Web with the practical technologies associated with the standards. While the Whole Enchilada has yet to emerge (and may never do so), the individual technologies are finding their way into ever more systems in a wide variety of industries. These are not all necessarily on the public Web, they are simply Webs of Data.

Brian Sletten on January 13, 2014 in semanticweb.com

Page 4: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch zoeken

vraag 1:• wanneer is een zoeksysteem een semantisch

zoeksysteem?

.... als het erop staat?

eric sieverts, maart 20144

Page 5: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch zoeken

vraag 2:• welke functionaliteit van een zoeksysteem zou u

semantisch noemen?

eric sieverts, maart 20145

Page 6: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch zoeken

10 Things that Make Search a Semantic Search[volgens Hakia dat zelf beweert semantische zoekmachine te zijn]

1. Handling morphological variations

2. Handling synonyms with correct senses

3. Handling generalizations

4. Handling concept matching

5. Handling knowledge matching

6. Handling natural language queries and questions

7. Ability to point to uninterrupted paragraph and the most relevant sentence

8. Ability to Customize and Organic Progress

9. Ability to operate without relying on statistics, user behavior, and other artificial means

10. Ability to detect its own performance eric sieverts, maart 2014

http://company.hakia.com/whatis.html

6

Page 7: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch zoeken

Current trend : the semantic search system should be able to understand the query and give relevant results based on the current trend and news.

Location of search : When searching for 'what is the temperature', semantic search should provide results based on the current location.

Intent of the search : Semantic search should give appropriate search results based on the intent of the search and not on the specific words used.

Variations of words : Semantic search should consider tenses, plural, singular etc and provide results for all semantic word variations.

Synonyms : Semantic search should understand synonyms and give more or less the same results on any synonyms of the word users search for.

Generalized and Specialized queries : Semantic Search should set relation between generalized and specialized queries and provide appropriate results.

Concept matching : Sub-set of context matching. Semantic search should understand the broad concept of the query and return relevant results.

Natural language queries : On search for 'What time is it in Arizona‘, Semantic Search would show you the current time in Arizona, USA.

Change of meaning based on the group of words. The last word in a query may completely change its meaning. Semantic Search should distinguish such differences and give relevant search results.

eric sieverts, maart 2014

http://www.techulator.com/resources/5933-What-Semantic-Search.aspx

Tony John (2012) - Semantic Search: Factors considered by Search Engines

7

Page 8: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

8

maar dat is vooral vanuit

SEO perspectief

Page 9: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch zoeken

samenvattend: globaal 3 soorten toepassingen

1. inschatten van de intentie van de zoeker - en liefst concreet antwoord in plaats van "ten blue links"bijv.: zoekt mobiel in buurt van de Damstraat naar “pizza”

>> adres van pizzeria in de buurt

2. bepalen van betekenis van woorden/tekst in documentenvooraf bij indexeren of achteraf in zoekresultaat;van eenvoudige herkenning van entiteiten of meegegeven metadata, tot complexe kennis van de wereld, zodat automatisch concepten worden toegekend of relevante aanvullende informatie verschijnt

3. automatisch aanpassen van zoekactiesbijv.: zoekactie uitbreiden met gerelateerde zoekwoorden,

zoekwoorden vervangen door betere zoekwoorden, (ook) in andere systemen zoeken

eric sieverts, maart 20149

Page 10: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

1. intentie van de zoeker

intentie of context van vraag kan worden bepaald:

• op basis van de lokatie van de zoeker– globaal:

op basis van internetdomein waar gebruiker zit (ip-adres)

op google.nl krijg je ander antwoord dan op google.com– heel precies:

op basis van bekende gps- of gsm-gegevens (mobiel)

• op basis van analyse van de gestelde vraag

• op basis van eerder zoekgedrag van de zoeker

ook bij dubbelzinnige zoekwoorden?

eric sieverts, maart 201410

Page 11: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

intentie van de zoeker

intentie of context van vraag kan worden bepaald:

• op basis van lokatie

• op basis van analyse van de gestelde vraag– naam van persoon, bedrijf, product, gebeurtenis, … >> feiten

– naam van gewoon persoon >> facebook / linked-in gegevens

– herkent vaste combinaties van woorden

– natuurlijke taal interpretatie

– statistiek op frequente eerdere vragen

• op basis van eerder zoekgedrag

eric sieverts, maart 201411

Google Knowledge

Graph

wolfram|alpha

Page 12: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

eric sieverts, maart 2014

Page 13: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

Wie op “Bach” zoekt, vindt vermoedelijk liever gegevens over hem dan websites over hem.Google's Knowledge Graph kent 500 miljoen objecten met 3,5 miljard kenmerken(binnenkort ook in het Nederlands)

13

gegevens o.a. afkomstig uit: "Freebase" (crowdsourced kennisbank), Wikipedia, CIA World factbook enstatistische analyse van eigen gegevens

Page 14: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

wat is in dit verband een "graph"?

een netwerk van al die concepten met hun onderlinge relaties en kenmerken

14

Page 15: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

graphs zijn nu "hot"

15 eric sieverts, maart 2014

social graph uit Twitter

social graph uit Facebook

relaties in Freebase

Page 16: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

16 eric sieverts, maart 2014

meer uit de Knowledge Graph

generieke vragen leveren lijstjes/"carousel",soms in meer rubrieken

Page 17: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

17 eric sieverts, maart 2014

Page 18: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

18 eric sieverts, maart 2014

Page 19: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 20: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

20 eric sieverts, maart 2014

feitelijk antwoordboven gewoneresultaten

Page 21: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

21

Page 22: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

22 eric sieverts, maart 2014

vergelijkingen

Page 23: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

23 eric sieverts, maart 2014

Page 24: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

Bing heeft iets soortgelijks: "Satori"maar dat reageert nog niet altijd zo slim op combinaties van woorden

Page 25: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 26: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

intermezzo: een onderzoekje

wat geeft beter antwoord op wat voor soort vragen?zie: http://webzoek.pbworks.com/semantisch

• antwoord uit Google's Knowledge Graph• antwoord uit Bing's Satori• antwoord uit Wolfram|Alpha• gegevens over dat onderwerp uit de Wikipedia• eerste weblinks uit gewone zoekresultaat uit Google  • door Sensebot geselecteerde antwoorden  • door Cluuz geselecteerde antwoorden  • antwoord uit Ask-Cluuz • antwoord uit Kngine • door Factbites samengevatte antwoorden• eerste weblinks uit (semantisch?) zoekresultaat uit Hakia  

eric sieverts, maart 201426

Page 27: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

intentie van de zoeker

intentie of context van vraag kan worden bepaald:

• op basis van de lokatie van de zoeker

• op basis van analyse van de gestelde vraag

• op basis van eerder zoekgedrag van de zoeker– wat voor zoekvragen stelde gebruiker eerder

– naar welke resultaten keek gebruiker dan (bijvoorbeeld al toegepast in Google's relevantie-personalisatie; opgeslagen "history" is ook al "big data")

eric sieverts, maart 201427

Page 28: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

2. bepalen van betekenis

betekenis herkennen van woorden en gegevens in teindexeren tekst en/of in al gevonden resultaten

• herkennen van "entiteiten" in tekst(herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...)

• tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection")

• betekenis die herkenbaar aanwezig is in "embedded metadata"(bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web

• inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data")

• ...eric sieverts, maart 201428

Page 29: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

example:article from NYTimesanalysed by….. >>

herkennen van "entiteiten"

29

Page 30: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

example:article from NYTimesanalysed by"Open Calais" http://viewer.opencalais.com/

30

Page 31: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

example:article from NYTimesanalysed by "Zemanta"http://www.zemanta.com/demo/

31

Page 32: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

betekenis door structuur

Facebook

• kent betekenis toe door gegevens gestructureerd op te slaan

• doet dat ook in een "graph" >> graph search

32 eric sieverts, maart 2014

Page 33: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

2. bepalen van betekenis

betekenis herkennen van woorden en gegevens in teindexeren tekst en/of in al gevonden resultaten

• herkennen van "entiteiten" in tekst(herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...)

• tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection")

• betekenis die herkenbaar aanwezig is in "embedded metadata"(bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web

• inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data")

• ...eric sieverts, maart 201433

Page 34: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

sentiment detection

34

>> andere voorbeelden

Page 35: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

voorbeeld:PDF documentgeanalyseerd met Dewey Classifier

automatische classificatie

35

Page 36: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

resultaat van analysevan PDF document

36

Page 37: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

Google herkentobjecten in images

Page 38: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

pinterest biedt automatisch (?) gegenereerdefilters op onder meer recepten

?

Page 39: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

2. bepalen van betekenis

betekenis herkennen van woorden en gegevens in teindexeren tekst en/of in al gevonden resultaten

• herkennen van "entiteiten" in tekst(herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...)

• tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection")

• betekenis die herkenbaar aanwezig is in "embedded metadata"(bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web

• inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data")

• ...eric sieverts, maart 201439

Page 40: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

eric sieverts, maart 2014

uit semantische codering

gestandaardiseerde markering van kenmerken in webpagina's

voorbeelden van “embedded metadata”:– recipe search bij Google en Yahoo– toepassing e-commerce ontology

daarbij gebruikte standaarden:– microformats / rich snippet markup / microdata / schema.org

(Google, Yahoo, Bing) onder andere voor: recepten, recencies, personen, producten, organisaties, gebeurtenissen, muziek

– RDFa

40

Page 41: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

41

in huidig Google-interface

onzichtbaar en minder

handig geworden;

NB: alleen in google.com

bij Yahoo overzichtelijker

Page 42: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

browser extensies (in Chrome) omembedded metadatauit pagina's te pikken

Page 43: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

standaardisatie van kenmerken van producten

met "GR-ontologie" volgens "RDFa“ in “XHTML”

43

Page 45: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

nieuwe standaard van de zoekmachinegiganten: microdata hiërarchie van kenmerken voor embeddable metadata in webpagina’s

45

+ nu ook Yandex

Page 46: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

de concepten uit degood relations ontology zijn recent ook in schema.org geïncorporeerd

door Google, Bing en Yahoo vastgelegde standaard: microdata met hiërarchie van embeddable metadata kenmerken voor het web

Page 47: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

microdata en RDFa

• toepassing van deze technieken is vaak "SEO-driven"

• Google biedt webmasters "Structured data testing tool" dat fouten in codering detecteert

zie blogpost op SearchEngineLand

http://searchengineland.com/how-to-use-rich-snippets-semantic-markup-to-send-rich-signals-139886

eric sieverts, maart 201447

Page 48: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

wat heeft zoeker hieraan?

• zoeker kan gerichter zoeken en filteren

(zoals in Google's receptenzoeker)

• zoeker krijgt duidelijker informatie over gevonden items

(zoals Google's rich snippets)

eric sieverts, maart 2014

Page 49: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

metadata tools

• er zijn handige browsertools (voor chrome) die analyse maken van in webpagina aanwezige metadata volgens microformat, microdata of RDFa standaard

http://searchengineland.com/how-to-use-rich-snippets-semantic-markup-to-send-rich-signals-139886

chrome extensions:https://chrome.google.com/webstore/category/extensions

• met Google's "webmaster structured data testing tool" kun je indirect net zo iets:

http://www.google.com/webmasters/tools/richsnippetseric sieverts, maart 201449

intermezzo metadata tools

Page 50: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 51: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 52: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

hulp voor makers van pagina's voortoevoegen metadata

Page 53: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 54: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 55: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 56: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Page 57: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

2. bepalen van betekenis

betekenis herkennen van woorden en gegevens in teindexeren tekst en/of in al gevonden resultaten

• herkennen van "entiteiten" in tekst(herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...)

• tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection")

• betekenis die herkenbaar aanwezig is in "embedded metadata"(bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web

• inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data")

• ...eric sieverts, maart 201457

intermezzo:RDF, semantisch web,ontologieën, linked data, …

Page 58: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

rdf

eric sieverts, maart 2014

RDF = resource description framework• RDF is een standaard voor het beschrijven van de relatie

tussen een resource (of een object) en zijn metadata

• RDF gebruikt “namespaces” om naar computer-leesbare beschrijving van gebruikte metadatastandaarden te verwijzen (link via URL)

• RDF is bedoeld om bestaande semantische systemen te (her)gebruiken en te combineren

• RDF wordt meestal in XML-notatie weergegeven

• RDFa = “RDF in attributes” , standaard om metadata in de inhoud van (X)HTML webpagina’s te verwerken

58

intermezzo RDF

Page 59: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

rdf tripels

eric sieverts, maart 2014

• eigenschappen (metadata) worden vastgelegd in zogenaamde tripels: subject <predicaat> object (wat je ook zou mogen noemen : ding <eigenschap> waarde )

• waarbij – te beschrijven ding een webadres (URI) heeft– eigenschap van dat ding liefst ook een URI heeft– "waarde" van die eigenschap liefst ook een URI heeft

• voorbeeld:– boek (heeft een webadres: URI)– heeft auteur (betekenis van eigenschap ergens beschreven: URI)– persoon (gegevens van persoon ergens op web te vinden: URI)

• RDF-tripels worden ook gebruikt in "linked data"

• ze worden opgeslagen in zogenaamde triple-stores

59

intermezzo RDF

Page 60: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

rdf tripels grafisch

eric sieverts, maart 2014

subject <predicaat> object

doc1 <heeft auteur> auth1

auth1 <heeft naam> john smith

auth1 <heeft affiliatie> home inc.

auth1 <heeft email> [email protected]

grafische representatie vansimpel netwerk van 4 RDF-tripels

60

intermezzo RDF

Page 61: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

rdf - weergave in xml

eric sieverts, maart 2014

<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"

xmlns="http://www.john.smith.net/rdfexample/">

<rdf:Description rdf:about="http://www.xxx.com/yyy/doc1.xml">

<author>

<rdf:Description rdf:about="http://www.xxx.com/autId/7801">

<name>John Smith</name>

<affiliation>Home Inc.</affiliation>

<email>[email protected]</email>

</rdf:Description>

</author>

</rdf:Description>

</rdf:RDF>

namespaces

URI's van beschreven resources

61

je zou eigenlijk ook nog met URI's moeten verwijzennaar de plek waar die kenmerken gedefinieerd zijn

intermezzo RDF

Page 62: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

rdf tripels

eric sieverts, maart 201462

naar idee vanLucas Koster / IP

"Uit Berlijn"

boek

Uit Berlijn

"Armando"

Schuldiglandschap

http://www.worldcat.org/oclc/10098995 

is een

http://www.w3.org/1999/02/22-rdf-syntax-ns#type

naam

http://xmlns.com/foaf/spec/#term_name

http://viaf.org/viaf/9885610/

http://hdl.handle.net/10934/RM0001.COLLECT.496040

is geschreven door

is schilder van

http://purl.org/dc/terms/creator 

http://purl.org/dc/terms/creator 

intermezzo RDFhttp://schema.org/Book

title

Armando

http://purl.org/dc/terms/title 

Page 63: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

rdf bekijken

eric sieverts, maart 201463

intermezzo RDF

voor het bekijken van RDF in webpagina's bestaan, behalve een paar (niet zo handige) Chrome extensies, ook zogenaamde RDF Browsers als webservices, waar je URL's van te analyseren pagina's kunt invoeren

bijvoorbeeld: "graphite"

– http://graphite.ecs.soton.ac.uk/browser

Page 64: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

in semantisch webwordt van "alles"

de betekenisvastgelegd

eric sieverts, maart 2014

semantisch web

om betekenis ook te kunnen begrijpen zijn"ontologieën" nodig

64

intermezzo semantischweb & ontologieën

Page 65: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

ontologieën

eric sieverts, maart 2014

"Ontology is the philosophical study of the nature of being, becoming, existence, or reality, as well as the basic categories of being and their relations" 

Wikipedia

filosofie kunstmatigeintelligentie

semantischweb

65

intermezzo semantischweb & ontologieën

linked(open) data

Page 66: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

ontologieën

eric sieverts, maart 2014

een strikt en uitputtend schema voor een bepaald onderwerpsdomein, meestal in een hiërarchische structuur, die alle relevante grootheden en hun relaties bevat, alsmede de regels waaraan die grootheden en relaties binnen dat domein voldoen

filosofie kunstmatigeintelligentie

semantischweb

66

intermezzo semantischweb & ontologieën

linked(open) data

Page 67: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

ontologieën

• "kennis-representatie“ waarin kennis over (klein stukje van) de wereld in geformaliseerde vorm is weergegeven

• meestal niet rechtstreeks gebruikt voor ontsluiting

• maakt vollediger en meer complexe representaties van de werkelijkheid mogelijk dan met een thesaurus

• veel mogelijke soorten relaties tussen concepten

• vastgelegde rollen en eigenschappen van die concepten

• vaak voor een beperkt onderwerpsdomein (“wijn ontologie”)

• soms breder in een zogenaamde “core ontology” bijvoorbeeld: CIDOC-CRM (conceptual reference model) voor concepten, relaties en eigenschappen op gebied van cultureel erfgoed

eric sieverts, maart 201467

intermezzo semantischweb & ontologieën

Page 68: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

relaties tussen enkele concepten in een eenvoudige "wijn-ontologie"

Château Lafitte Rothschild {is een} wijnhuis

Château Lafitte Rothschild {produceert} Château Lafitte Rothschild Pauillac

Bordeaux {heeft als beste wijnhuizen} Château Lafitte Rothschild

Château Lafitte Rothschild Pauillac {wordt gemaakt door} Château Lafitte Rothschild

Château Lafitte Rothschild Pauillac {is een} Pauillac

Bordeaux {is een} wijnstreek....

veel meer soorten relaties mogelijk dan alleen BT, NT, RT, Use, Used for

68

hiërarchische structuur vanconcepten van één soort ineen eenvoudige "wijn-ontologie"

Page 69: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

ontologieën

eric sieverts, maart 2014

elk soort kennisorganisatiesysteem waarmee betekenisbeschreven kan worden, zoals• "echte" ontologieën• thesauri• taxonomieën• semantische netwerken• namenlijsten• concordanties• …

filosofie kunstmatigeintelligentie

semantischweb

69

intermezzo semantischweb & ontologieën

linked(open) data

schema.orgis ook simpele vorm hiervan

Page 70: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

ontologieën

eric sieverts, maart 2014

"conceptuele datamodellen" voor allerlei domeinen, zoals• foaf (persoonsgegevens)

• dublin core (15 velden voor vooral erfgoed)

• good-relations ontology (e-commerce)

• music ontology (muziek)

• skos (thesaurusrelaties)

• cidoc-crm (erfgoed)

definities van "velden", klassen van eigenschappen, e.d., meestal niet van hun inhouden

filosofie kunstmatigeintelligentie

semantischweb

70

intermezzo semantischweb & ontologieën

linked(open) data

Page 71: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

ontologieën

voor “ontologieën” in het kader van semantisch web en linked data is essentieel dat:

– ontologie zo beschikbaar is dat een computer-programma hem kan lezen, verwerken en interpreteren

→ vereist gestandaardiseerde notaties en formele talen om ze te beschrijven, zoals

• rdf• rdfs• owl• skos• …

eric sieverts, maart 201471

intermezzo semantischweb & ontologieën

Page 72: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

voorbeeld van de relaties tussen concepten m.b.t.het standbeeld van Balzacdoor Rodin [CIDOC-CRM]

72

Page 73: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

73

Page 74: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

74

Page 75: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

75

Page 76: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

voorbeeld hoe diverse semantische standaarden

(ontologieën) via RDF werden gecombineerd

vroeger veel gebruikte standaarden voor beschrijvingselementen:• v: vcard• mo: music ontology• foaf: friend of a friend• owl: web ontology language• geo

maar worden nu algemeenvervangen door schema.org

76

oud

Page 77: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

grafische weergave vanSKOS-representatie vanthesaurustermen & relaties:netwerk van RDF-tripels

Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries.

SKOSSimple Knowledge Organisation System

77

Page 78: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

SKOS relaties

in dit voorbeeld zagen we standaard thesaurusrelaties:<skos:prefLabel> voorkeursterm voor concept<skos:altLabel> synoniemen<skos:scopeNote> omschrijving van concept<skos:broader> algemener concept<skos:narrower> specifieker concept

ook beschrijving in hoeverre termen uit verschillende thesauri inhoudelijk overeenkomen (concordantie) :<skos:mappingRelation> overeenkomst met term uit ander systeem <skos:exactMatch> term heeft zelfde betekenis<skos:closeMatch> term heeft bijna zelfde betekenis<skos:broadMatch> term is ruimer<skos:narrowMatch> term is specifieker

zo kunnen zoekacties worden uitgebreid,ook met termen uit andere systemen

eric sieverts, maart 201478

Page 79: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantisch web

• ultieme toepassing van interoperabiliteit

• gebruikt combinatie van – RDF(S) – ontologieën (ook thesauri, taxonomieën, semantisch netwerken, …) – formele talen (als SKOS en OWL - ook wel ontologieën genoemd)– annotatie van resources/objecten (=onderwerpsontsluiting)

• als vanuit allerlei systemen wordt gelinkt naar dergelijke computerleesbare "databases" met semantische kennis, kan programmatuur allerlei termen met elkaar in verband brengen ten behoeve van zoeken (en andere functies)

• dat wordt bijvoorbeeld in Europeana toegepast

• en "linked data" moet dat nog makkelijker maken

eric sieverts, maart 201479

intermezzo semantischweb & ontologieën

Page 80: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

Tim Berners Lee:

1989: "invented" the World Wide Web

2004: proposed the "semantic web"

2006: designed "linked data" as a step towards realisation of the semantic web

eric sieverts, maart 201480

van web tot linked data

intermezzo linked data

Page 82: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

linked data

linked (open) data• kan weergegeven als RDF-tripels

zodat die data computer-leesbaar zijn

• ze staan op internet zodat het "open" is

• bedoeld om te worden hergebruiktzodat het belangrijk ingrediënt voor het semantisch web is

• is gestandaardiseerdzodat het makkelijk hergebruikt kan worden

• iedereen kan (en moet!) data bijdragenwaardoor het soms wel een beetje een rommeltje is

• je kunt zoeken in linked data triple-stores SPARQL is voor linked data wat SQL is voor relationele database

eric sieverts, maart 201482

intermezzo linked data

Page 83: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

dbpedia: data from Wikipedia

last.fm: artists

geonames:6.2 M toponyms

BBC: wildlifefinder

project GutenbergIMDB

music brainz

Reuters:openCalais

viaf: virtual internationalauthority file

LCSH

NY times

Flickr

"linked open data cloud" - 31 miljard data online – 504 miljoen links daartussendoor standaardisering van dataformats en metadata,

kunnen computers betekenis van die data "begrijpen" en die data gebruiken

rechtspraak.nl

sept 2011

Page 84: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

fragment uit het linked dataVIAF-record voorLewis Carrollviaf.org/viaf/66462036/rdf.xml

84

Page 85: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

fragment uit het linked dataVIAF-record voor Hugo Brandt Corstiusviaf.org/viaf/94439179/rdf.xml

85

Page 87: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

linked data in worldcat

eric sieverts, maart 201487

Page 88: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

sparql - endpoints

nog wat linked data jargon:

SPARQL Sparql Protocol And Rdf Query Language

wat SQL is voor relationele databasesis SPARQL voor RDF triple stores

Endpoints toegangspunten op het web waar je SPARQL zoekactie op RDF triple stores kunt uitvoeren (je moet daarvoor de SPARQL syntax kennen - door een computer laten uitvoeren)

eric sieverts, maart 201488

intermezzo linked data

Page 89: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

3. aanpassen zoekacties

aanpassen / verbeteren van zoekacties vooraf (automatisch) bewerken van zoekvraag

• variaties op zoekwoord meenemen in query– spelling verbeterd (statistiek?) [veilgheid >> veiligheid]

– zoeken op woordstam (enkel/meervoud, vervoegingen, ….)[vaccination >> vaccinations, vaccine, vaccinate, vaccinated, …]

– spellingsvariaties [immunisation <> immunization]

– samenstellingen opbreken (en omgekeerd)

[catfood <> cat food ; maatregel + veiligheid <> veiligheidsmaatregelen]

• synoniemen, acroniemen aan query toevoegen (uit woordenlijst, semantisch netwerk, ontologie)[vaccination <> immunization ; jfk <> john f kennedy]

• verwante en specifiekere begrippen aan query toevoegen

(uit semantisch netwerk, thesaurus, ontologie)

eric sieverts, maart 2014

heeft nog niet zo veel met

"semantiek" te maken;

Google doet dat wel al allemaal

89

Page 90: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

eric sieverts, maart 2014

3. aanpassen zoekacties

aanpassen / verbeteren van zoekacties achteraf bewerken van zoekresultaat

• zoekresultaten clusteren op basis van inhoud – meestal op basis van woordstatistiek (voorbeeld Clusty, Polymeta)

– soms op basis van automatische classificatie

• in gevonden document alinea(s) tonen die antwoord op vraag geeft

– KWIC display van zoekmachines is eenvoudige vorm daarvan

– zie bijv. Sensebot

• uit meer zoekresultaten samenvatting genereren van belangrijkste bevindingen / antwoorden

– zie bijv. Factbites

90

Page 93: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

93

Page 94: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

semantische zoekmachines

voor "semantisch" gaan door:

• Wolfram|Alpha "computational knowledge engine", feitelijke gegevens

• DuckDuckGo niet semantischer dan google

• Hakia enterprise search; webresultaten nogal middelmatig

• Cognition voor specifieke databases, bijv. voor Medline

• Sensebot vat ook inhoud van meer documenten samen

• Factbites samengevatte informatie uit geselecteerde bronnen

• Cluuz selecteert (uit) antwoorden; ask.cluuz beantwoordt vragen

• Swoogle RDF ontology search engine

• Sindice zoekmachine voor sites met RDF metadata

• Kngine heeft ook een app voor smartphones

• Unsilo nog in ontwikkeling ("invite" aanvragen)

94 eric sieverts, maart 2014

Page 95: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

what all that alphabet soup means

• CC Creative Commons• CIDOC-CRM CIDOC Conceptual Reference Model• DC Dublin Core• FOAF Friend-of-a friend• GR Good Relations Ontology• HTML HyperText Markup Language• LOD Linked Open Data• MO Music Ontology• OG Open Graph protocol• OWL Web Ontology Language• RDF Resource Description Framework• RDFa RDF in Attributes• SKOS Simple Knowledge Organisation System• SPARQL Sparql Protocol And Rdf Query Language• URI Uniform Resource Identifier• URL Uniform Resource Locator• VIAF Virtual International Authority File (authors)• XHTML eXtensible HyperText Markup Language• XML eXtensible Markup Language

Page 96: Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

the end

eric sieverts, maart 201496

voor meer "didactische" informatie zie o.a. semantic universityhttp://www.cambridgesemantics.com/semantic-university