DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

23
19 juni 2014 Het Open Data Archief Parallelle sessie Delft-FEWS Gebruikersdag 2014

Transcript of DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Page 1: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

19 juni 2014

Het Open Data Archief

Parallelle sessie – Delft-FEWS Gebruikersdag 2014

Page 2: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Archief(oplossing)

19 juni 2014

doel(en)…

verantwoordelijkheden…

verplichtingen…

beschikbaarheid...

uptime…

b ereikb aarheid …

toegang…

zoekmogelijkheden…

Data uploads & downloads...

Integratie met en/of onderdeel van bestaande systemen…

Open Data

Page 3: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

19 juni 2014

Overzicht

• Aanleiding – waarom?

• Doelstelling – wat?

• Ontwerp – hoe is het bedacht?

• Realisatie – waar staan we nu?

• Demo – hoe werkt het?

• Gepland/gerelateerd werk – to do lijst

• Vragen / Discussie

Page 4: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Aanleiding

• Bestaande archiefoplossingen - verbeterwensen

• FEWS

• Matroos

• …

• Data

• Omvang

• Productie: grote hoeveelheden (externe) voorspellingen

• Consumptie: (langjarige) reeksen (cal

• Beschikbaarheid

• snel - Operationele context

• langzaam - ‘offline’ activiteiten

• Opslag

• Passend bij beschikbaarheidsvraag

19 juni 2014

Page 5: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Doelstelling

Het nieuwe archief:

• Open

• Leesbaar

• Benaderbaar (door verschillende clients, versch. niveaus)

• Standaarden / technologie

• Data formaat

• Opslag

• Query

• Bevraagbaar

• Wat: metadata

• Reply:

• Schaalbaar

19 juni 2014

Page 6: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Ontwerp: archief als geheel

19 juni 2014

storage catalogue

harvester importer

data

set

retrieve query

Page 7: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Ontwerp: storage

19 juni 2014

• Data staat op disk (als files), niet in

een database;

• De file inhoud staat beschreven in

een XML metadata file;

• Metadata file bevat tevens

referentie naar de data file;

• De data opslag bestaat uit een

groot aantal - georganiseerde –

folders en (metadata) files.

Metadata file

*.xml

Collection of files

*.nc

storage

Data

Metadata (XML)

directory

Data

Metadata (XML)

directory

Data

Metadata (XML)

directory

Data

Metadata (XML)

directory

Page 8: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Ontwerp: opslag data en metadata (storage)

Voorbeeld

• Opslag van (nabewerkte) metingen voor gebied

Bellinger voor een periode van 1 dag;

• Data staat in 4 aparte NetCDF-files,

• Inhoud staat beschreven in metaData.xml file

19 juni 2014

Page 9: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Ontwerp: catalogue

• Catalogue will be

based on

GeoNetwork;

• Catalogue will be

build by reading

metadata files;

• Search for

keywords and

period;

19 juni 2014

storage

Data

Metadata (XML)

directory

Data

Metadata (XML)

directory

Data

Metadata (XML)

directory

Data

Metadata (XML)

directory

catalogue

metadata

Page 10: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Ontwerp: archief als geheel

19 juni 2014

storage catalogue

harvester importer

data

set

retrieve query

Page 11: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Ontwerp: data toegang (zoeken)

Zoeken via de Catalogue access layer

• Access layer: GeoNetwork (open-source

catalogus);

• Externe toegang om data te zoeken;

• Gebaseerd op OGC CSW protocol (=

wereldwijde standaard);

• Op basis van ‘keywords’ and ‘ruimtelijke

informatie’.

19 juni 2014

catalogue

query

csw/web

Page 12: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Ontwerp: data toegang (data ophalen)

Ophalen via de Data access layer

• Verzorgt externe toegang tot de data;

• Time series:

• HTTP Get

• OPeNDAP

• OGC WMS

• OGC WCS

• Non-timeseries data:

• HTTP Get.

19 juni 2014

storage

HTTP/OpenDAP

WMS/WCS

Page 13: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Realisatie – Stand van Zaken

• (basis) Bouwstenen n.a.v. ontwerp gerealiseerd voor:

• Data Importer

• Harvester

• Storage (+ data access layer)

• Catalogus (+ catalogue access layer)

• Client

• Delft-FEWS 2013.02/2014.01

• Datasets productie

• ‘Taggen’ van events

• Bevragen/zoeken

• Ophalen (in SA)

19 juni 2014

storage catalogue harvester importer

data

set

retrieve query

Page 14: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Demo

19 juni 2014

Page 15: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Archive Dialog: create an event

19 juni 2014

Page 16: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Archive Dialog: search for events

19 juni 2014

Page 17: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Archive Dialog: search the complete archive

19 juni 2014

2. zoek

4. download

1. specifeer

3. inspecteer

Page 18: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Demo

• Search in archive:

• Use case 1:

• National

• Simulated + Observed Series

• 18/5/14 – 19/5/14

• Use case 2

• Huon

• 18/5/14 – 25/5/14

• Run Import

• Show data

19 juni 2014

Page 19: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Archive Dialog: configuration aspects

19 juni 2014

Page 20: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Gepland werk

19 juni 2014

storage catalogue

harvester importer

data

set

data processing layer

Page 21: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Gepland werk

• Gebruik van open archief

• Uitbreiding aantal

• ‘openheid’ promoten (benaderbaar door derden)

• Clients: uitbreiding aantal type clients

• Use cases welkom!

• EU project SWITCH-ON (Forecast Broker)

• Data processing layer: afhandeling data verzoeken van

verschillende clients (applicatie, web)

• Uitbreiding data formaten mbt import

• FEWS 2014.02

• Dynamisch data ophalen afh. van rel. view period

• Operationele Database

• Lange termijn Open Archief

19 juni 2014

Page 22: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

FEWS: Dynamisch bepalen waar data te halen…

19 juni 2014

storage catalogue Delft-FEWS

Centrale

Database

operationeel open archief

service layer

data processing layer dac

Page 23: DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Vragen en Discussie…

• Wat wil je (Deltares) meegeven…?

19 juni 2014