CATCHPlus diensten-10jun2011
-
Upload
catchplus-project -
Category
Technology
-
view
702 -
download
3
description
Transcript of CATCHPlus diensten-10jun2011
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
1
CATCHPlus gemeenschappelijke diensten
Hennie BrugmanTechnisch coordinator
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
2
Overzicht
1. Introductie en algemeen overzicht (20+10 minuten)
2. Inzoomen op individuele diensten (5 x 10 min)
3. Beschikbaarheid, duurzame exploitatie, hosting (5 min)
4. Discussie (maximaal 30 min)
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
3
CATCHPlus opzet
WP 1: Gemeenschappelijke diensten WP 2: Deel-projecten
WP 3: Framework en interoperabiliteit
MuseumplusCheckersStitchPlusChoralplusScratch4allWitchcraftplusMultiplyChip API
Projectbureau
Projectbureau
Erfgoed-instellingen
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
4
De uitdaging van CATCHPlus• Samenhang tussen heel verschillende tools
en diensten realiseren• Toepasbaarheid over grenzen van collecties
en instellingen bevorderen• Resultaten gedistribueerd en online op het
web beschikbaar maken• Samen ontwikkelen waar dat kan• Bijdragen aan infrastructuur voor het
Nederlands digitaal erfgoed• Duurzame exploitatie en hosting
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
5
Benadering• Uniform omgaan met 4 soorten data
– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten
• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot
gemeenschappelijke diensten
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
6
• Uniform omgaan met 4 soorten data– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten
• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot
gemeenschappelijke diensten
Vocabulaire en AlignmentRepository
“Uniform representeren, publicerenen doorzoekbaar maken van thesauri door middel van web services”
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
7
• Uniform omgaan met 4 soorten data– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten
• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot
gemeenschappelijke diensten
Annotation & Recommendation
“Uniform representeren, opslaan,doorzoekbaar en uitwisselbaar maken vanuiteenlopende annotaties van (delen van) bronnen op het web”
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
8
• Uniform omgaan met 4 soorten data– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten
• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot
gemeenschappelijke diensten
Standaard toegang dmvOAI data providers
“Ondersteuning van depublicatie van metadata mbv OAI-PMHbij deelnemende erfgoedinstellingen”
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
9
• Uniform omgaan met 4 soorten data– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten
• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot
gemeenschappelijke diensten
Diensten voor gebruik enbeheer van persistente identifiers
“ontkoppelen van object-namen enobject-locaties ter ondersteuning van duurzame verwijzingen”
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
10
• Uniform omgaan met 4 soorten data– Terminologie (vocabulaires)– Annotaties– Catalogi (metadata)– Digitale objecten
• Duurzame verwijzingen (persistent identifiers)• Breed inzetbare componenten opwaarderen tot
gemeenschappelijke diensten
• Workspaces• User Profile Repository
“Persoonlijke, tijdelijke opslag van data sets. Tijdelijk verlenen van toegangsrechten tot die data sets”
“Verzamelen van profiel-informatie door en over gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten”
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
11
WP 1: gemeenschappelijke diensten
Vocabulaire en Alignment Service
Annotation Repository
Workspaces
User Profile Repository
WP 3: framework en interoperabiliteit
Metadata harvesting met OAI-PMH
Persistente Identifiers
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
12
Het “landschap”
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
13
Uitgangspunten
• Open set van samenwerkende bouwstenen (versus monolyten)– componenten ook bestaansrecht op zichzelf of in andere context
• Samenwerking met anderen– hergebruik waar mogelijk bestaande oplossingen– Sluit aan/draag bij aan gerelateerde initiatieven
• Standaardisatie en uniformering• RESTful web services• Liever wat beperkter in scope dan geen draagvlak
– eerst interne en externe belanghebbenden op één lijn– draagvlak belangrijk voor duurzame exploitatie
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
14
Verbindingen door gemeenschappelijke diensten: voorbeelden
– Intern: tussen individuele deelprojecten– Extern: bijdragen aan infrastructuur digitaal
cultureel erfgoed, diensten zijn in potentie breed inzetbaar
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
15
Workspace toepassingen
• Primair toegepast tbv Scratch4All (images)• In tweede instantie voor één of meer CATCHPlus
cases (spraak, sets van zoekresultaten)– verbindend tussen CATCHPlus deelprojecten– leidt tot uniforme web services
• Model voor persoonlijke, tijdelijke hosting, met name tbv toegang door web services
• potentieel onderdeel van veel (erfgoed-)web applicaties
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
16
OAI en PIDs
• BenG: metadata publicatie met OAI-PMH– Neveneffect: toekenning en publicatie van persistente
identifiers– “Landingspagina’s” PIDs en OAI vallen samen
• Bijdrage aan Nederlands Erfgoed: Digitaal!, daarna aan NL Aggregator
• CATCHPlus diensten op metadata eenvoudig te generaliseren (bv zoeken ihkv MuseumPlus)
• bijdrage aan digitale infrastructuur nederlands cultureel erfgoed en Europeana
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
17
Multiply/DSS
Search for
Afghanistan
Search results: Annotations:
1 2
Immix title1
Immix title2
Immix title3
Immix results
AT14nov06-text
AT14nov06-website
Context document 3
Context results
Primary language Archiving date
Creation dateDocument type
Context document metadata
Text
11/14/2006
09/23/2006
Dutch
Context documents
Immix metadata
Recommendations
Add context document…
Show all
Show all
Edit
Options…
Show graph…
Show annotations… militairenregeringenkrijgsgevangenenministers-presidentenministersambtenarengevangenissendemocratiseringkampenstemmenmissieakkoorden
Advanced search…Search for
Afghanistan
Search results: Annotations:
1 2
Immix title1
Immix title2
Immix title3
Immix results
AT14nov06-text
AT14nov06-website
Context document 3
Context results
Primary language Archiving date
Creation dateDocument type
Context document metadata
Text
11/14/2006
09/23/2006
Dutch
Context documents
Immix metadata
Recommendations
Add context document…
Show all
Show all
Edit
Options…
Show graph…
Show annotations… militairenregeringenkrijgsgevangenenministers-presidentenministersambtenarengevangenissendemocratiseringkampenstemmenmissieakkoorden
Advanced search…
MetadataOAI-PMH
VocabulaireRepository
TextRepository
AnnotatieRepository
VideoRepository
RecommendationRanking services
AnnotatieServices
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
18
Stand van zaken
• Een aantal al gerealiseerde diensten is toenemend succesvol– Breed gedragen wensen tav tweede versies
• Vertragingen hebben wel geleid tot– Duidelijke plannen en specificaties– Meer draagvlak onder mogelijke stakeholders
• Frequente contacten en afstemming met gerelateerde projecten
• Nu is de tijd van implementatie
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
19
stakeholders
Vocabulairebank
GM OAI-PMH
RMA /AM
CHECKERS
WORKSPACES
Standaardisatie OAI
Persistent Identifiers
Annotation Repository
User Profile Repository
STITCH+MUSEUM+
CHIP+
MULTIPLY
WITCHCRAFT+
CHORAL+
SCRATCH4ALL
RCENaturalis
CLARINSURF
NA Scratch4allGAR ChoralplusBenG MultiplyMI Witchcraft+GM Museumplus
SARABIGGRIDTARGET
TrezorixUni. Tilburg
KB OCLC
Radio RijnlandUni. Twente
GAR NAX-MI BenG
Clarin/ClavasEuropeanaKBGARBenGNAFotomuseum
Werkgroep ErfgoedthesauriRKDDENOCLC RCE
AdlibPicturaTrezorix
DeventitTMS
MIClarin-NLNED!NL AggregatorsEuropeana
Seecr
TargetRUG
NA Gelders archief Groninger archieven Stadsarchief Leuven
TINMCN
MI UU
BenG DENRCE KennisnetNA MI Surf
SARA EPIC CLARIN Europeana
BenG NA
RDE
GridLineZieOok
RMAAM BenGRCE
ZieOok
Open Annotation Consortium
Scratch4allChoral+Multiply
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
20
Vragen en discussie
• Onze vragen– Deugen ambities, aanpak en benaderingswijze?– Ontbreken er diensten, of zijn er overbodige?– Zijn er (betere) bestaande oplossingen?– Zijn er nieuwe toepassingen denkbaar?
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
21
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
22
WP 1: gemeenschappelijke diensten
Vocabulaire en Alignment Service
Annotation Repository
Workspaces
User Profile Repository
WP 3: framework en interoperabiliteit
Metadata harvesting met OAI-PMH
Persistente Identifiers
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
23
Vocabulary and Alignment Service(“VocabulaireBank”)
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
24
Visie
• CATCHPlus– Tools en diensten bouwen met één uniforme, externe
dienst voor terminologie-gebruik– Eenvoudig gebruik van elkaars thesauri
• Breder– “Linked Data++”– Laagdrempelig (her)publiceren van thesauri– (her)gebruiken van thesauri zonder tussenkomst van
toolbouwers– Eenvoudig gebruik van gepubliceerde thesauri vanuit tools
en diensten
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
25
VAS doelen• Standaard formaat en access methoden
– SKOS, SKOS gebaseerde REST API• Web publicatie van vocabulaires
– Als Linked Open Data– Als doorzoekbare en browse-bare dataset REST API– Te gebruiken voor duurzame referenties naar concepten
persistente identifiers– Te harvesten door middel van OAI-PMH
• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’
• Stimuleren van Open licenties
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
26
SKOS
Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries.
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
27
VAS doelen• Standaard formaat en access methoden
– SKOS, SKOS gebaseerde REST API• Web publicatie van vocabulaires
– Als Linked Open Data– Als doorzoekbare en browse-bare dataset REST API– Te gebruiken voor duurzame referenties naar concepten
persistente identifiers– Te harvesten door middel van OAI-PMH
• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’
• Stimuleren van Open licenties
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
28
Linked Open Data
• Een methode om data te tonen, delen en verbinden via ‘dereferencable URIs’ op het Web.
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
29
VAS doelen• Standaard formaat en access methoden
– SKOS, SKOS gebaseerde REST API• Web publicatie van vocabulaires
– Als Linked Open Data– Als doorzoekbare en browse-bare dataset REST API– Te gebruiken voor duurzame referenties naar concepten
persistente identifiers– Te harvesten door middel van OAI-PMH
• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’
• Stimuleren van Open licenties
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
30
Use cases (t.a.v. REST API)
• Use cases uit CATCHPlus en Cultureel Erfgoed– Publiceer je thesaurus: importeer een SKOS vocabulaire,
dan krijg je er REST toegang, tool support en Linked Data gratis bij
– Selecteer het juiste concept om een object te beschrijven• autocompletion
– Gebruik voor browsen en zoeken (naar terminologie en/of collectie-data)
• VAS repository als een “topic map” voor erfgoed-collecties
– Thesaurus-onderhouds-taken door online gemeenschappen
– Vertalen, verfijnen, generaliseren van zoekvragen
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
31
Wat is inmiddels gebouwd?• Repository voor SKOS data (inclusief alignment
data)– RDF store (Virtuoso)
• REST API (search, autocomplete, upload, download), gebaseerd op het SKOS data model
• De repository bevat 12 verschillende thesauri (niet vrij toegankelijk, niet meer up-to-date m.u.v. GTAA)
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
32
Client tools en diensten
• CATCHPlus cases (semantische annotatie, ranking, art recommender, …)
• CLARIN(-NL) CLAVAS project• Pictura gebruikt de API voor toegang tot de
Beeld en Geluid GTAA thesaurus (Memorix)• Generieke browse- en zoek- web applicatie
(gebruikt REST API) – Q42
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
33
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
34
VAS, versie 2
• Gedurende half jaar intensief overlegd door CATCHPlus, RCE, Adlib, Pictura, Trezorix– Op initiatief van RCE– Mede naar aanleiding van VAS, versie 1
• Doel: tools en omgevingen op elkaar aansluiten mbt vocabulaires/kennisstructuren
• VAS versie 2 conform de uitkomsten van dit overleg
- performance, schaalbaarheid- gedistribueerd- nieuwe functies- mooier RESTful- authenticatie en authorisatie- betere manieren om content te beheren
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
35
Gezamenlijke visie
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
36
REST specificatie
• Concept resolve API– URI, bv http://id.loc.gov/authorities/sh95000541
• Find API – /find/concepts– /find/conceptschemecollections– /find/conceptschemes– /map/concept– /map/object– /concept
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
37
Toekomst• Online zetten en promoten gezamenlijke API specs• Implementatie Repository service, versie 2
– Nieuwe API– Harvesting dmv OAI-PMH– Upload van SKOS bestanden
• Linken met nieuwe “DEN inventarisatie van erfgoedthesauri”
• Actualiseren en uitbreiden van de inhoud• Stimuleren van open licenties (ODbL)• Duurzame hosting op één of meer plaatsen
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
38
stakeholders
Vocabulairebank
Clarin/ClavasEuropeanaKBGARBenGNAFotomuseum
Werkgroep ErfgoedthesauriRKDDEN RCE
AdlibPicturaTrezorix
DeventitTMS
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
39
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
40
Workspaces
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
41
Visie
• CATCHPlus– Gebruikspatroon {inloggen, documenten
uploaden/verzamelen en organiseren, tool daarop laten werken} maar één keer bouwen
• Spaart werk• Biedt gedeelde oplossing voor inloggen, ….
– Legt vast hoe tools en diensten verbonden kunnen worden• Breder
– Nieuw model voor flexibele hosting– Virtuele collecties– Bouwsteen binnen web service gebaseerde infrastructuren
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
42
Potentieel
• Legt vast hoe web services veilig op data kunnen werken – tijdelijk delegeren van toegangsrechten
• Goede plek om ‘Single Sign On’ mee te verbinden• Goede ‘home base’ voor geïntegreerde applicatie-omgevingen
(b.v. Virtual Research Environments)• Cloud hosting aspect: tijdelijke, persoonlijke, veilige opslag op
het web, met flexibele toegankelijkheid• voorportaal voor digitale archiving
– data curatie– toekenning persistente identifiers
• Ontwikkeld door partijen, die over veel opslagcapaciteit en bandbreedte beschikken
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
43
Deliverables
• Workspace repository (Target Holding)
• RESTful API (Target Holding)
• Webapps voor workspace beheer en workspace repository beheer (Target Holding)
• Authenticatie en Autorisatie oplossing (BigGrid?)
• 2-4 toepassingen binnen CATCHPlus
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
44
Implementatie ikhv Scratch4All
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
45
Status
• Implementatie Workspaces en aansluiting op Scratch4All is gestart– Afronding: december 2011
• Gesprekken over Authenticatie en Autorisatie module zijn gaande
• Waarschijnlijk ook toegepast ihkv CLARIN, ten behoeve van data uitwisseling tussen web services
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
46
stakeholders
WORKSPACESCLARIN
NA Scratch4allGAR ChoralplusBenG MultiplyMI Witchcraft+GM Museumplus
SARABIGGRIDTARGET
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
47
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
48
Metadata harvesting
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
49
Wat?
– Publiceren van metadata volgens standaard formaten (Dublin Core, qualified Dublin Core, bredere standaard formaten, proprietaire formaten)
– Publiceren op standaard manier (OAI-PMH)
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
50
Status
• Implementatie bij B en G afgerond• Een aantal deelnemers heeft inmiddels zelf
OAI-PMH• NED!, NL Aggregators en Europeana• Beheer van persistente identifiers kan worden
gekoppeld aan publicatie van metadata
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
51
stakeholders
Standaardisatie OAI
MIClarin-NLNED!NL AggregatorsEuropeana
CQ2
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
52
Annotation Repository
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
53
Visie
• CATCHPlus– Uitwisselen en doorzoekbaar maken van
uiteenlopende annotaties van (delen van) bronnen op het web
– Stap voor stap verrijken van data• Breder
– Annotatie repository als collectie- en instelling-overstijgende index
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
54
Requirements
• Annotatie van onderdelen van teksten, xml/xhtml, pdf, audio, video, melodie, images (komen allemaal in CATCHPlus projecten voor)
• Annotatie van annotaties en waarden van annotaties (“gelaagde annotatie”)
• Semantische waarden• Web gebaseerd en uitbreidbaar data model• Opslaan en doorzoeken in repository met
REST API
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
55
Voorbeeld: gelaagde annotaties
Voorbeeld workflow:
Document scan[automatische line strip detectie service]Lege annotatie[repository]annotatie[document transcriptie tool] transcriptie[entity recognition service]entity annotatie[repository]
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
56
Deliverables
• Annotatie uitwissel-formaat• Annotatie Repository• REST API voor opslaan en doorzoeken
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
57
Open Annotation model/formaat
• Generiek model uit CATCH: AMM (Annotation Meta Model)• Grote overlap in requirements en uitwerking met Open
Annotations (www.openannotion.org)• Voorstel: pas OAC model toe (en draag daar eventueel aan bij)
•Annotation is web document met URI•Body annoteert een Target•Verschillende auteurs/eigenaren•Body en Target kan alles zijn•Iedere resource kan target van andere annotatie zijn•Voorzieningen voor onderdelen van documenten
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
58
Status
• “Annotation model en formaat” aanbeveling binnenkort beschikbaar, inclusief toets aan CATCHPlus cases
• Implementatie-proces moet nog beginnen• Toepassing in eerste instantie waarschijnlijk
gekoppeld aan workspaces
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
59
stakeholders
Annotation Repository
Open Annotation Consortium
ZieOok
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
60
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
61
User Profile Repository
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
62
Visie
• CATCHPlus– Verzamelen van profiel-informatie door en over
gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten
– Primair ten dienste van Art Recommender. Apart ontwikkeld met oog op bredere toepasbaarheid
• Breder– Gebruikers ‘single-sign-on’ bieden, en baas maken van
hun eigen profieldata– Collectie aanbieders beschikken over brede profiel-
informatie, zonder dat zelf bij te hoeven houden
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
63
Wat is het?
• Profielen bevatten personalia, voorkeursobjecten en –concepten, ratings, gebruiks-statistieken e.d.
• Repository met RESTful API voor– Beheer van profielen– Tijdelijke toegang voor toevoegen objecten en gebruiks-
statistieken– Opvragen van profiel informatie door collectie-aanbieders
• Web applicatie voor profielbeheer• Widgets voor website-bouwers
– Login– Rating
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
64
Toepassing
• CHIP API deelproject– Bestond oorspronkelijk uit een recommendation engine
(Art Recommender), een Rating tool en een User Profile Repository
– UPR is gepromoveerd tot gemeenschappelijke dienst– Art Recommender wordt gerealiseerd op basis van de
ZieOok recommendation engine• Amsterdam Museum sinds kort de
uitvoerder/collectie-aanbieder• Toepassen op andere collecties is relatief eenvoudig
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
65
Relatie met ZieOok
• ZieOok– Is een generieke recommendation engine voor erfgoedcollecties– Gebouwd door Beeld en Geluid– Werkt op basis van statistiek– Collecties te importeren mbv OAI-PMH– Heeft (nog) geen generieke oplossing om met gebruikers- en
gebruiksinformatie om te gaan• Art Recommender is voor ZieOok een extra toepassing,
UPR een generieke bouwsteen• ZieOok biedt zicht op brede toepassing van CATCHPlus UPR
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
66
webappwebapp
ZieOok/Art
Recommender
REST API
Dashboard
User Profile Repository
ED!T collectionRMA Collection
OAI
Collection
OAI
Collection
Profile Editor
“harvest”
“collection info”
REST API
“recommend”
“harvest”
“collection info”
“store profile” “store profile”
webapp
“profile info” “store profile”
login widget
rating widget
Recommender widget
UsersUser profilesFavorite objects & conceptsRatingsUsage statistics
“modify profile”
“store statistics”
“grant access”
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
67
Status
• Begin juli kickoff• Streven: implementatie eind 2011 afgerond• Implementator (o.v.): Gridline
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
68
Stakeholders
User Profile Repository
GridLineZieOok
RMAAMRCE
User Profile Repository
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
69
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
70
Persistente Identifiers
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
71
Visie
• Oorspronkelijke opdracht OCW: biedt een zo breed mogelijke oplossing voor persistente identifiers aan.
• Vertaald naar de volgende taken:– Kies robuuste, duurzame technologie– Laagdrempelig toekennen en beheren van PIDs– Duurzaam, betaalbaar en betrouwbaar model
voor hosting en exploitatie
Probleem en basisoplossing
• Steeds meer digitale objecten, met steeds meer identifiers– In web context: identifier = URL
• Steeds vaker extern aangeboden (web)• Steeds meer verwijzingen naar objecten
– Contextualisering– Samenwerkingsverbanden– Virtuele collecties en tentoonstellingen
• Identifiers zijn vaak niet uniek• Identifiers zijn vaak niet persistent• Verwijzingen worden gemakkelijk ongeldig (broken links)
Probleem
object_1
new_object_1
http://.../object_1
Basisoplossing • Ontkoppel naam/identifier en locatie(s)• Registreer combinaties van identifiers met locaties
in een tabel• Externe referenties gebruiken de identifier
Basisoplossing
object_1
new_object_1
id1
id1 http://.../object_1
Basisoplossing (resolver)
new_object_1
id1
id1 http://.../new_object_1
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
77
Requirements (1)Software support
Goede resolving service beschikbaar Bewezen technologie, stabiel en100% betrouwbaar Schaalbaar Globaal werkende oplossing• gedistribueerde hosting en dienstverlening mogelijk• Identificatie van onderdelen van objecten Mogelijkheid om metadata met een identifier te associëren “Actionable”: identifiers kunnen worden ge-resolved met
behulp van een http URI
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
78
CATCHPlus keuze: Handles als basis• Handle technologie
• Voldoet (verreweg) het best aan onze eisen• http://handle.net/
• Eén Local Handle System en Handle prefix per deelnemende ‘Naming Authority’
• Hosting van Local Handle Systems door SARA, ge-mirrored door internationale partners (EPIC)
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
79
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
80
Requirements (2)Identifier beheer
Identifier beheer moet onafhankelijk zijn van– System management– Web server management– Hosting van resolution services
• Moet kunnen worden gedaan vanuit de context van een collectie-beheer-systeem– Typisch door de verantwoordelijke collectie beheerder
Is efficient, krachtig en eenvoudig Is veilig
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
81
CATCHPlus oplossing: identifier beheerREST web service• Voor zoeken, creëren en beheren van Handles
(behorend bij je eigen Naming Authority) over internet
• ook ondersteuning voor batch operaties (“verplaats collectie”)
• SARA heeft eerste versie voor CATCHPlus gebouwd
• Wordt in de praktijk door een aantal instellingen gebruikt
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
82
Methoden voor identifier beheer
• Neveneffect van collectie beheer• Actie in collectie-beheer-systeem triggert een PID
beheer REST call• Neveneffect van collectie publicatie
• Update van je gepubliceerde data set (bv OAI data provider’s interne database) triggert een PID beheer REST call
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
83
Requirements (3)Organisatie en beleid
• Welke keuzen zijn gemaakt door je partner instituten? (hoe minder smaken, hoe beter)
• Betrouwbaarheid en duurzaamheid van de service providers
• Quality of Service: redundantie, 24/7 beschikbaarheid, performantie, vermogen op te schalen
• Beperkte en beheersbare kosten• Vrijheid om te wisselen van service provider• Invloed van gebruikersgemeenschap
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
84
CATCHPlus oplossing: organisatie• EPIC (European Persistent Identifier Consortium)
• SARA (Nederland), CSC (Finland), GWDG (MPG, Duitsland)
• Redundante en betrouwbare PID services voor eScience en eCulture in Europa
• Contracten mbt Europese mirror van Global Handle Repository
• Directe samenwerking met CNRI• Stakeholders overleg met erfgoedpartijen en SARA
• Samen met DEN• Business cases, business model en contractvormen
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
85
Toekomstperspectief
• EPIC brede REST API– Verbeteringen en toevoegingen aan huidige API– Uitbreidbaar, policies afdwingbaar– Specificatie is klaar– Implementatie (o.v.) door SARA, met bijdrage
GWDG• Introductie-trajecten bij erfgoedinstellingen• Businessmodel en contracten
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
86
stakeholders
Persistent Identifiers
BenG DENRCE KennisnetNA SurfMI
SARA EPIC CLARIN Europeana
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
87
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
88
Beschikbaarheid, exploitatie en hosting:enkele opmerkingen
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
89
Beschikbaarheid
• Broncode komt onder Open source licentie en online beschikbaar (GitHub)
• We promoten Open Database licenties en Creative Commons
• We promoten vrij gebruik van services, of tegen kostprijs
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
90
Hosting en exploitatie
• Regelen duurzame hosting, onderhoud en doorontwikkeling valt binnen scope van CATCHPlus
• Business modellen middagprogramma• Ook techniek kan misschien
kostenbesparend werken– Workspaces– Dynamisch deployment van web services
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
91
Vragen, opmerkingen, kritiek, suggesties?
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut
92
Vragen van onze kant
• Ontbreekt er iets in het CATCHPlus dienstenpakket?• Nut en noodzaak van de gemeenschappelijke diensten?• Zijn er op- of aanmerkingen in technologische zin?
– B.v., we zijn begonnen met REST (+mash ups). Is er een reden SOAP (+ service bus) te ondersteunen?
• Visie op onderhoud en doorontwikkeling van tools, diensten en data op langere termijn?
• Inschatting kansen op overleven na CATCHPlus?• Wie zouden de aanbieders van die diensten uiteindelijk moeten
zijn?• Ondersteunen deze diensten de CATCHPlus deelprojecten
voldoende?• Realistisch of te ambitieus?• …