Metadata, standaarden, interoperabiliteit, semantisch web en linked data

48
Metadata, standaarden, interoperabiliteit, semantisch web & linked data Eric Sieverts Media, Informatie & Communicatie (Hogeschool van Amsterdam) DA31 eric sieverts, maart 2011

description

Presentatie bij lessen Ontsluiting-1 bij MIC-IM

Transcript of Metadata, standaarden, interoperabiliteit, semantisch web en linked data

Page 1: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

Metadata, standaarden, interoperabiliteit,

semantisch web & linked data

Eric SievertsMedia, Informatie & Communicatie (Hogeschool van Amsterdam)

DA31

eric sieverts, maart 2011

Page 2: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

voorbeelden van standaardisatie vankenmerken in webpagina's• Google recipes• RDFa / e-commerce ontology

eric sieverts, MIC, maart 2011

Page 3: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

standaardisatie van eigenschappen/kenmerken

in beschrijving van recepten met"microformats"/"rich snippets markup"

Page 4: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

standaardisatie van eigenschappen/kenmerken

van producten met"GR-ontologie" in "RDFa"

Page 6: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

voorbeelden van standaardisatie van kenmerkenin kader van "linked data" • NY Times "tag"-beschrijvingen• Last.fm muzieksite

Linked Data impliceert / vereist "interoperabiliteit" van systemen:ze moeten van elkaar begrijpen wat ze bedoelen

eric sieverts, MIC, maart 2011

Page 8: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

kenmerken volgensdiverse standaarden

Page 9: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

enkele van de gebruikte standaarden voor beschrijvingselementen:• v: vcard• mo: music ontology• foaf: friend of a friend• owl: web ontology language• geo

Page 10: Metadata, standaarden, interoperabiliteit, semantisch web en linked data
Page 11: Metadata, standaarden, interoperabiliteit, semantisch web en linked data
Page 12: Metadata, standaarden, interoperabiliteit, semantisch web en linked data
Page 13: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

Tim Berners Lee:

1989: "invented" the World Wide Web

2004: proposed the "semantic web"

2006: designed "linked data" as a step towards realisation of the semantic web

eric sieverts, MIC, maart 2011

Page 14: Metadata, standaarden, interoperabiliteit, semantisch web en linked data
Page 15: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

the "linked open data cloud" - september 2010 - 24 billion data onlineby standardisation of dataformats and metadata,

computers can "understand" the meaning of these data & use them

Page 16: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

dbpedia: data from Wikipedia

last.fm: artists

geonames:6.2 M toponyms

BBC: wildlifefinder

Flickr

project Gutenberg

IMDB

music brainz

rechtspraak.nl

Reuters:openCalais

viaf: virtual internationalauthority file

LCSH

NY times

Page 17: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

fragment uit het linked dataVIAF-record voorLewis Carrollviaf.org/viaf/66462036/rdf.xml

Page 18: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

fragment uit het linked dataVIAF-record voor Hugo Brandt Corstiusviaf.org/viaf/94439179/rdf.xml

Page 19: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

kernbegrippen die we tegenkwamen

• semantiek (= betekenis, begrijpen) • interoperabiliteit (= kunnen samenwerken)

• metadata (= beschrijven & karakteriseren)

• ontologieën (= kennis organisatie systemen)

• semantisch web (= informatie op web begrijpen)

• linked data (= gegevens op web begrijpen, linken en hergebruiken)

op allerlei manieren horen daar standaarden bij

eric sieverts, MIC, maart 2011

Page 20: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

interoperabiliteit• Interoperability is the ability of two or more systems or components

to exchange information and to use the information that has been exchanged

• Semantic Interoperability is the ability of computer systems to communicate information and have that information properly interpreted by the receiving system in the same sense as intended by the transmitting system. bron: Wikipedia

• Interoperabiliteit betekent in het algemeen dat systemen (of apparatuur) in staat zijn tot onderlinge uitwisseling of/en communicatie. De systemen kunnen m.a.w. ‘praten met elkaar’ en zijn in zekere zin ‘compatibel’. Om interoperabiliteit te bereiken zijn standaarden, protocollen en procedures erg belangrijk bron: http://www.cjsm.vlaanderen.be/e-cultuur/beleidskader/bouwstenen/lexicon.html

eric sieverts, MIC, maart 2011

Page 21: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

standaarden

bij niveaus van metadata• weergave van de metadata (en hun beschrijvingen/definities)

standaarden: XML, (X)HTML, in database (?)

• beschrijving van de metadatastandaarden: RDF, RDFa, microformats

• beschrijving van de metadatastandaardstandaarden: OWL, SKOS

• definitie van de metadata: klassen van eigenschappenstandaarden: DC, MARC21, FRBR, GR, LOM, Vcard, ...

• (regels voor invullen van) waarden van eigenschappenstandaarden: thesauri (MeSH, AAT, ...), AACR2, RDA, ISO8601, ...

eric sieverts, MIC, maart 2011

Page 22: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

<persoon><naam>

<voornaam>Eric</voornaam><voornaam>Gerard</voornaam><achternaam>Sieverts</achternaam>

</naam><adres>

<straat><straatnaam>Marnixstraat</straatnaam><nummer>163</nummer><extra>parterre</extra>

</straat><plaats>Amsterdam</plaats><postcode>1015 VN</postcode>

</adres><schoenmaat>42</schoenmaat><geboortedatum schema="iso8601">1947-02-16</geboortedatum><lengte maat="cm">174</lengte>

</persoon>

weergave van metadata in XML

eric sieverts, MIC, maart 2011

standaard voor weergeven van datum

Page 23: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

weergave van metadata in HTML

Page 24: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

weergave van MARC-metadata in database

Page 25: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

... en wat die velden echt betekenen

Page 26: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"

xmlns:dc="http://purl.org/dc/elements/1.1/"

xmlns:vcard="http://imc.org/vCard/3.0#"

xmlns:mesh="http://nlm.nih.gov/mesh/MBrowser.htm">

<rdf:Description rdf:about="http://www.xxx.nl/yyy/doc1.xml">

<dc:title>Indexing of medical articles</dc:title>

<dc:creator>

<rdf:Description about="http://www.yyy.nl/authors/smithj">

<vcard:FN>John Smith</vcard:FN>

<vcard:EMAIL>[email protected]</vcard:EMAIL>

</rdf:Description>

</dc:creator>

<dc:subject>indexing</dc:subject>

<mesh:subject>Abstracting and Indexing as Topic</mesh:subject>

<mesh:subject>International Classification of Diseases </mesh:subject>

<mesh:classification>L1.453.245.100.</mesh:classification>

<mesh:classification>L1.453.245.945.400.</mesh:classification>

</rdf:Description>

</rdf:RDF>

beschrijving van metadata in RDF; weergave van RDF in XML

eric sieverts, MIC, maart 2011

verwijzing naar

gebruiktestandaarden

Page 27: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

beschrijving van metadata in RDFa; weergave van RDFa in (X)HTML

Page 28: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

RDF (en linked data)

• computerleesbare beschrijvingen van metadata • bijv. met RDF (resource description framework):

RDF triple stores• waarbij

– te beschrijven ding een webadres (URI) heeft– eigenschap van dat ding liefst ook een URI heeft– "waarde" van die eigenschap liefst ook een URI heeft

• voorbeeld:– boek (heeft een webadres: URI)– heeft auteur (betekenis van eigenschap ergens beschreven: URI)– persoon (gegevens van persoon ergens op web te vinden: URI)

eric sieverts, MIC, maart 2011

Page 29: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

RDF tripels

subject {predicaat} object

doc1 {heeft auteur} auth1

auth1 {heeft naam} john smith

auth1 {heeft affiliatie} home inc.

auth1 {heeft email} [email protected]

grafische representatie vansimpel netwerk van 4 RDF-tripels

eric sieverts, MIC, maart 2011

Page 30: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

dezelfde RDF-tripels in XML

<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"

xmlns="http://www.john.smith.net/rdfexample/">

<rdf:Description rdf:about="http://www.xxx.com/yyy/doc1.xml">

<author>

<rdf:Description rdf:about="http://www.xxx.com/autId/7801">

<name>John Smith</name>

<affiliation>Home Inc.</affiliation>

<email>[email protected]</email>

</rdf:Description>

</author>

</rdf:Description>

</rdf:RDF>

namespaces

URI's van beschreven resources

eric sieverts, MIC, maart 2011

Page 31: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

eric sieverts, MIC, maart 2011

structuur van metadatamodellen

• plat (bijv. Dublin Core)

• hiërarchie (bijv. FOAF)

• klassen (bijv. LOM)

• relationeel (bijv. FRBR)

• relationeel + klassen (bijv. Music Ontology)

• relationeel + hiërarchie (??)

Page 32: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

Dublin Core heeft platte metadatastructuur

Page 33: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

persoon

naam

adres

schoenmaat

geboortedatum

lengte

voornaam

tussenvoeg

achternaam

straat

plaats

postcode

straatnaam

nummer

extra

boomstructuur voor metadatadefinitie(zelfbedachte metadata-"standaard")

eric sieverts, MIC, maart 2011

Page 34: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

metadatadefinitie beschreven

volgens DTD-standaard

ten behoeve van weergave in XML

eric sieverts, MIC, maart 2011

Page 35: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

hiërarchie van metadata volgens FOAF-standaard in metadatabeschrijving in XML

<foaf:Group>

<foaf:name>ILRT staff</foaf:name>

<foaf:member>

<foaf:Person>

<foaf:name>Martin Poulter</foaf:name>

<foaf:homepage rdf:resource="http://www.ilrt.bris.ac.uk/aboutus/ staff/staffprofile/?search=plmlp"/>

<foaf:workplaceHomepage rdf:resource="http://www.ilrt.bris.ac.uk/"/>

</foaf:Person>

</foaf:member>

</foaf:Group>

eric sieverts, MIC, maart 2011

Page 36: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

hiërarchie van eigenschappen in metadata

vcard:ADR vcard:poBoxvcard:extendedAddressvcard:streetAddressvcard:localityvcard:regionvcard:postalCodevcard:countryName

vcard:N vcard:familyNamevcard:givenNamevcard:additionalNamevcard:honorificPrefixvcard:honorificSuffix

eric sieverts, MIC, maart 2011

of zijn diteigenlijk

klassen ?

Page 37: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

voorbeeld van klassen-structuur van LOM metadatamodel (Learning Object Metadata)

Page 38: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

FRBR (functional requirements for bibliographic records) is relationeel model (relaties tussen entiteiten)

structuur van "velden" van elke entiteit kan beschreven met XSD (XML schema taal)

Page 39: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

Wstudy aboutthe opera

Борис Годунов

FRBNW006W

Борис Годунов:opera

FRBNW002W

Борис Годунов:libretto

FRBNW003W

Борис Годунов:tragedy

FRBNW004W

illustrations forthe play

Борис Годунов

FRBNW005W

introduction tothe play

Борис Годунов

FRBNW007

SADA COM

EFrench

translation

E001E

1869version

E001E

1872version

E002E

Rimsky-K'sarrangement

E003E

Frenchtransl. by

O. Lanceray

E002E

Englishtranslation

E003E

definitivestate

E001E

originaltext

E001

A1997

recording

A001

A1997

recording

A001

A1962

recording

A001

Mca. 1922

publication

FRBNM010

M1998

release

FRBNM002

M1996

re-release

FRBNM003

M1980

publication

FRBNM004

M1937

publication

FRBNM005

M1926

publication

FRBNM006

M1910

publication

FRBNM007

M1982 (Paris)publication

FRBNM008

M1927

publication

FRBNM011

M1982 (NYC)publication

FRBNM009

I

I001

I

I001

I

I001

I

I001

I

I001

I

I001

I

I001

I

I002

I

I001

I

I001

I

I001

REP

E002E

Russian text1872 version

E001E

Russian text1869 version

COM

ERussian text

ed. byP. Lamm

E003E

Frenchtransl. by

Lily Denis

E004E

French tr.by Delinesand Laloy

E005

COM

COM

EFrench

transl. byA. Baranoff

E004E001E

Russiantext

SUP

TRA

TRA

TRA

TRA

TRA

Patrick LeBoeuf (BNF)

FRBR voorbeeld: "Boris Godunov"

Page 40: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

ontologieën

• algemene aanduiding voor "kennisorganisatiesystemen"• definities en relaties van zowel "velden" als "waarden"

zijn in ontologie te beschrijven – hiërarchische structuur van "velden" mogelijk :

(metadatastandaarden zoals Vcard, FOAF, GoodRelations, ... zijn ontologieën)

– hiërarchische structuur van "waarden" mogelijk (thesauri zoals MeSH, AAT, ... zijn ontologieën)

• (computerleesbaar) beschrijven van ontologieën – OWL : "Web Ontology Language"

(algemene uitgebreide standaard)– SKOS : "Simple Knowledge Organisation System"

(eenvoudige/beperkte standaard, vooral voor thesauri)eric sieverts, MIC, maart 2011

Page 41: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

voorbeeld van hiërarchische structuur van inhoudelijke termen in MeSH-thesaurus

eric sieverts, MIC, maart 2011

Page 42: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

voorbeeld van hiërarchische structuur van inhoudelijke termen in AAT (Art & Architecture Thesaurus)

eric sieverts, MIC, maart 2011

Page 43: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

interoperabiliteit en SKOS

om interoperabiliteit tussen systemen “automatisch” te kunnen laten verlopen is een standaard nodig om computerleesbaar te beschrijven:

– hoe een bepaald ontsluitingssysteem in elkaar zit

– hoe relaties tussen begrippen moeten worden geïnterpreteerd(bijv.: of iets een Broader Term, een Narrower Term of ... is )

– hoe begrippen zich verhouden tot die in een ander systeem,– ...

SKOS is ontwikkeld om dat makkelijk en gestandaardiseerd te kunnen

SKOS: Simple Knowledge Organisation System

eric sieverts, MIC, maart 2011

Page 44: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

grafische weergave vanSKOS-representatie vanthesaurustermen & relaties:netwerk van RDF-tripels

Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries.

Page 45: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

SKOS representatie in RDF<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:skos="http://www.w3.org/2004/02/skos/core#"><skos:Concept> <skos:prefLabel>Economic cooperation</skos:prefLabel> <skos:altLabel>Economic co-operation</skos:altLabel> <skos:scopeNote>Includes cooperative measures in banking, trade, industry etc., between and among countries. </skos:scopeNote> <skos:broader> <skos:Concept> <skos:prefLabel>Economic policy</skos:prefLabel> </skos:Concept> </skos:broader> <skos:related> <skos:Concept> <skos:prefLabel>Interdependence</skos:prefLabel> </skos:Concept> </skos:related> <skos:narrower> <skos:Concept> <skos:prefLabel>Economic integration</skos:prefLabel> </skos:Concept> </skos:narrower> <!-- ...more narrower terms omitted ... --></skos:Concept></rdf:RDF>

computerleesbareweergave

Page 46: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

ascii, utf-8, unicode, uri, ..

xml

rdf

thesaurus

technische basisstructuren

weergeven van beschrijving

beschrijven van metadatabeschrijving

kennisorganisatiesysteem/ ontologie

lagenstructuur van gebruikte standaarden

skos beschrijvenvan thesaurus

eric sieverts, MIC, maart 2011

Page 47: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

SKOS relaties

in dit voorbeeld zagen we standaard thesaurusrelaties:<skos:prefLabel> voorkeursterm voor concept<skos:altLabel> synoniemen<skos:scopeNote> omschrijving van concept<skos:broader> algemener concept<skos:narrower> specifieker concept

ook beschrijving in hoeverre termen uit verschillende thesauri inhoudelijk overeenkomen (concordantie) :<skos:mappingRelation> overeenkomst met term uit ander systeem <skos:exactMatch> term heeft zelfde betekenis<skos:closeMatch> term heeft bijna zelfde betekenis<skos:broadMatch> term is ruimer<skos:narrowMatch> term is specifieker

eric sieverts, MIC, maart 2011

Page 48: Metadata, standaarden, interoperabiliteit, semantisch web en linked data

what this alphabet soup means

• AACR2 Anglo-American Cataloging Rules• AAT Art & Architecture Thesaurus• DC Dublin Core• DTD Document Type Definition• FOAF Friend-of-a friend• FRBR Functional Requirements for Bibliographic Records• GR Good Relations Ontology• HTML HyperText Markup Language• ISO International Organization for Standardization• LOM Learning Object Metadata• MARC Machine Readable Cataloging• MeSH Medical Subject Headings• MO Music Ontology• OWL Web Ontology Language• RDA Resource Description & Access• RDF Resource Description Framework• RDFa RDF in Attributes• SKOS Simple Knowledge Organisation System• URI Uniform Resource Identifier• XML eXtensible Markup Language