DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

Click here to load reader

  • date post

    01-Jun-2015
  • Category

    Engineering

  • view

    203
  • download

    2

Embed Size (px)

Transcript of DSD-NL 2014 - Delft-FEWS Gebruikersdag - Open Data Archief (Deltares)

  • 1. 19 juni 2014 Het Open Data Archief Parallelle sessie Delft-FEWS Gebruikersdag 2014

2. Archief(oplossing) 19 juni 2014 doel(en) verantwoordelijkheden verplichtingen beschikbaarheid... uptime bereikbaarheid toegang zoekmogelijkheden Data uploads & downloads... Integratie met en/of onderdeel van bestaande systemen Open Data 3. 19 juni 2014 Overzicht Aanleiding waarom? Doelstelling wat? Ontwerp hoe is het bedacht? Realisatie waar staan we nu? Demo hoe werkt het? Gepland/gerelateerd werk to do lijst Vragen / Discussie 4. Aanleiding Bestaande archiefoplossingen - verbeterwensen FEWS Matroos Data Omvang Productie: grote hoeveelheden (externe) voorspellingen Consumptie: (langjarige) reeksen (cal Beschikbaarheid snel - Operationele context langzaam - offline activiteiten Opslag Passend bij beschikbaarheidsvraag 19 juni 2014 5. Doelstelling Het nieuwe archief: Open Leesbaar Benaderbaar (door verschillende clients, versch. niveaus) Standaarden / technologie Data formaat Opslag Query Bevraagbaar Wat: metadata Reply: Schaalbaar 19 juni 2014 6. Ontwerp: archief als geheel 19 juni 2014 storage catalogue harvesterimporter data set retrieve query 7. Ontwerp: storage 19 juni 2014 Data staat op disk (als files), niet in een database; De file inhoud staat beschreven in een XML metadata file; Metadata file bevat tevens referentie naar de data file; De data opslag bestaat uit een groot aantal - georganiseerde folders en (metadata) files. Metadata file *.xml Collection of files *.nc storage Data Metadata (XML) directory Data Metadata (XML) directory Data Metadata (XML) directory Data Metadata (XML) directory 8. Ontwerp: opslag data en metadata (storage) Voorbeeld Opslag van (nabewerkte) metingen voor gebied Bellinger voor een periode van 1 dag; Data staat in 4 aparte NetCDF-files, Inhoud staat beschreven in metaData.xml file 19 juni 2014 9. Ontwerp: catalogue Catalogue will be based on GeoNetwork; Catalogue will be build by reading metadata files; Search for keywords and period; 19 juni 2014 storage Data Metadata (XML) directory Data Metadata (XML) directory Data Metadata (XML) directory Data Metadata (XML) directory catalogue metadata 10. Ontwerp: archief als geheel 19 juni 2014 storage catalogue harvesterimporter data set retrieve query 11. Ontwerp: data toegang (zoeken) Zoeken via de Catalogue access layer Access layer: GeoNetwork (open-source catalogus); Externe toegang om data te zoeken; Gebaseerd op OGC CSW protocol (= wereldwijde standaard); Op basis van keywords and ruimtelijke informatie. 19 juni 2014 catalogue query csw/web 12. Ontwerp: data toegang (data ophalen) Ophalen via de Data access layer Verzorgt externe toegang tot de data; Time series: HTTP Get OPeNDAP OGC WMS OGC WCS Non-timeseries data: HTTP Get. 19 juni 2014 storage HTTP/OpenDAP WMS/WCS 13. Realisatie Stand van Zaken (basis) Bouwstenen n.a.v. ontwerp gerealiseerd voor: Data Importer Harvester Storage (+ data access layer) Catalogus (+ catalogue access layer) Client Delft-FEWS 2013.02/2014.01 Datasets productie Taggen van events Bevragen/zoeken Ophalen (in SA) 19 juni 2014 storage catalogue harvesterimporter data set retrieve query 14. Demo 19 juni 2014 15. Archive Dialog: create an event 19 juni 2014 16. Archive Dialog: search for events 19 juni 2014 17. Archive Dialog: search the complete archive 19 juni 2014 2. zoek 4. download 1. specifeer 3. inspecteer 18. Demo Search in archive: Use case 1: National Simulated + Observed Series 18/5/14 19/5/14 Use case 2 Huon 18/5/14 25/5/14 Run Import Show data 19 juni 2014 19. Archive Dialog: configuration aspects 19 juni 2014 20. Gepland werk 19 juni 2014 storage catalogue harvesterimporter data set data processing layer 21. Gepland werk Gebruik van open archief Uitbreiding aantal openheid promoten (benaderbaar door derden) Clients: uitbreiding aantal type clients Use cases welkom! EU project SWITCH-ON (Forecast Broker) Data processing layer: afhandeling data verzoeken van verschillende clients (applicatie, web) Uitbreiding data formaten mbt import FEWS 2014.02 Dynamisch data ophalen afh. van rel. view period Operationele Database Lange termijn Open Archief 19 juni 2014 22. FEWS: Dynamisch bepalen waar data te halen 19 juni 2014 storage catalogueDelft-FEWS Centrale Database operationeel open archief service layer data processing layerdac 23. Vragen en Discussie Wat wil je (Deltares) meegeven? 19 juni 2014