Eenmaal gemeten, veel gebruikt

29
HSB Workshop - 19 mei 2011 “Eenmaal gemeten, veelvuldig gebruikt” De data toegangs-infrastructuur van de Nationale Oceanografische Data Commissie (NODC) Taco de Bruin Voorzitter - Nationale Oceanografische Data Commissie (NODC) NIOZ Koninklijk Nederlands Instituut voor Zeeonderzoek

description

Datastructuur van de National Oceanografische Data Commissie (NODC), door Taco de Bruin.

Transcript of Eenmaal gemeten, veel gebruikt

Page 1: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

“Eenmaal gemeten, veelvuldig gebruikt”

De data toegangs-infrastructuur van de

Nationale Oceanografische Data Commissie (NODC)

Taco de Bruin

Voorzitter - Nationale Oceanografische Data Commissie (NODC)

NIOZ Koninklijk Nederlands Instituut voor Zeeonderzoek

Page 2: Eenmaal gemeten, veel gebruikt

Inhoud:

- Nationale Oceanografische Data Commissie (NODC)

- De data toegangs-infrastructuur van de NODC - Europese standaardisatie- Hoe werkt het- Wat is er- Combineren van data uit verschillende bronnen

- Voordelen van de gekozen aanpak

- Toekomst: plannen en kansen

HSB Workshop - 19 mei 2011

Page 3: Eenmaal gemeten, veel gebruikt

A Spatial Data Infrastructure is an Internet-based

platform to find and access data, that may be

collected, stored and published by other

organizations and often other countries

Key components of a Spatial Data Infrastructure (SDI):

- Catalogues of available resources

- Agreed-upon access policies and standards

- Services to access and download the data

Max Craglia, JRC-EC, 2010

HSB Workshop - 19 mei 2011

Page 4: Eenmaal gemeten, veel gebruikt

National Oceanographic Data Committee (NODC)

• Committee – not a centre

• Based on Memorandum of Understanding (MoU) (1997- 2008) (2009 -

• Fully distributed structure

Currently 7 Partners:

- Rijkswaterstaat - Directorate General for Public Works and Water Management

- Royal Netherlands Institute for Sea Research (NIOZ) (Academic community)

- TNO B&O – Built Environment and Geosciences (Geological Survey)

- Hydrographic Service (KM-HYD)

- Centre for Estuarine and Marine Ecology (NIOO-CEME)

- Wageningen IMARES

- Deltares

1997-2008: Royal Netherlands Meteorological Institute (KNMI)

- Advisor: Marine Information Services (MARIS)

HSB Workshop - 19 mei 2011

Page 5: Eenmaal gemeten, veel gebruikt

NODC Objectives (from MoU):

1) to further data management and the delivery of guaranteed quality data to a broad user group

2) to lower thresholds and barriers (organizational, technical, financial) for data exchange

- ‘collect once, use many times’

HSB Workshop - 19 mei 2011

Page 6: Eenmaal gemeten, veel gebruikt

National Oceanographic Data Committee (NODC)

• Very interesting mix of government agencies (2), research institutes (3)

and privatized, former government agencies (2)

• Government agencies have specific tasks, limited to territory and EEZ of the Kingdom of The Netherlands (The Netherlands, Caribbean Netherlands, Aruba, Curaçao and St. Maarten)

• Other NODC Partners may operate all over the world

• Data from all disciplines: Coastal research, bathymetry, geology, biology, ecology, physical oceanography, marine meteorology, etc, etc.

• Many different data types

• Broad expertise among Partner institutes

• Flexible, efficientHSB Workshop - 19 mei 2011

Page 7: Eenmaal gemeten, veel gebruikt

NODC Data Policy (18 Mei 2000):

“5. Uitwisseling en beschikbaarstelling van gegevens

Alle oceanografische gegevens, zoals omschreven in artikel 4, zijn in principe vrij en zonder kosten toegankelijk en te gebruiken.

Daarbij moet een aantal beperkingen in acht worden genomen:

5.1 De gegevensleverancier moet de daadwerkelijke eigenaar van de gegevens zijn.

5.2 De gegevensleverancier behoudt het auteursrecht en blijft eigenaar van de gegevens.

5.3 De gegevensleverancier is op geen enkele wijze aansprakelijk voor (de gevolgen van) het gebruik van de gegevens.

5.4 Bij gebruik t.b.v. een publicatie, op welke wijze dan ook, is bronvermelding een vereiste.

5.5 Op gegevens, verkregen voor wetenschappelijk onderzoek, kan een publikatie- en/of gebruiksembargo van maximaal 2 jaar worden toegepast.

Het bestaan van de gegevens wordt bekend gemaakt via het EDMED formaat.

5.6 Etc.HSB Workshop - 19 mei 2011

Page 8: Eenmaal gemeten, veel gebruikt

The NL-NODC is the national platform for oceano-graphic data management

• Representing The Netherlands in international organizations and projects:

- IODE- ICES (WGMDM and WGDIM)- EU-projects and initiatives as

Sea-Search SeaDataNet EMODNet

• The Dutch approach has been noticed internationally:

- Australia: AODC-JF- United Kingdom- Italy- Portugal- France- Poland- Norway

HSB Workshop - 19 mei 2011

Page 9: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

Situation of data exchange within NL-NODC around 2005:

Online accessibility and availability of data

• Waterbase (RIKZ)• CODIS (NIOZ)• KODAC (KNMI)• Watermarkt (RIKZ, veel andere instituten)• HYDRA (KNMI)• COREBASE (NIOZ)• DINO (TNO- B&O)• Getij.nl (RIKZ)• Waterstat.nl (RIKZ)

Page 10: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

Situation of data exchange within NL-NODC around 2005:

Online accessibility and availability of data

• Waterbase (RIKZ)• CODIS (NIOZ)• KODAC (KNMI)• Watermarkt (RIKZ, veel andere instituten)• HYDRA (KNMI)• COREBASE (NIOZ)• DINO (TNO- B&O)• Getij.nl (RIKZ)• Waterstat.nl (RIKZ)

Page 11: Eenmaal gemeten, veel gebruikt

Situation of data exchange within NL-NODC around 2005:

Online accessibility and availability of data

• Waterbase (RIKZ)• CODIS (NIOZ)• KODAC (KNMI)• Watermarkt (RIKZ + many other partner institutes)• HYDRA (KNMI)• COREBASE (NIOZ)• many more …..

- No (national) overview of data availability- No standard names from controlled vocabularies- No standard exchange formats- User had no central, one-stop access to data holdings- User had to do all format conversions and syntheses

- user had to spend at least 50% of time on finding data and data conversion, instead of doing science

HSB Workshop - 19 mei 2011

Page 12: Eenmaal gemeten, veel gebruikt

National infrastructure for access to oceanographic and marine data and information:

NODC-i

Objectives of the project:

• centralized overview of all data in the partner databases

• transparent and centralized accessaccess via Internet to a distributed system of partner databases

Project:

• February 2005 – December 2008 ( 2 phases)

• 1 M Euro (500k from Bsik – Ruimte voor Geo-Informatie (RGI))

• SeaDataNet technology        

HSB Workshop - 19 mei 2011

Page 13: Eenmaal gemeten, veel gebruikt

Total 49 partners, links with JCOMM, WDC, DMAC, MMI, EDIOS, EU-MarBEF (NoE), EU-Seased, ESEAS, Esonet, EuroGeoSurveys, POGO, etc.

SeaDataNet, consortium of national oceanographic data centres:

35 countries

IOC/IODE

ICES

JRC

HSB Workshop - 19 mei 2011

Page 14: Eenmaal gemeten, veel gebruikt

SeaDataNet, key elements:

Provides centralized overview of data availability and centralized access (through one portal) to a distributed system of data providers

Common Data Index (CDI)

- CDI: ‘common’ description of individual measurements (location, time, parameter, availability, owner, etc.)

Many, well governed standard vocabularies

INSPIRE

Standard output formats

- ASCII for profile data (well-defined Ocean Data View ASCII)

- NetCDF (CF) for gridded data

HSB Workshop - 19 mei 2011

Page 15: Eenmaal gemeten, veel gebruikt

SeaDataNet system

CDI

User interface

DownloadManager

datadata

data

Shopping basket

Request Status Manager

DownloadManager

DownloadManager

Central User

Register

Data download, in uniform format

SeaDataNet portal

HSB Workshop - 19 mei 2011

Page 16: Eenmaal gemeten, veel gebruikt

Operational since early 2009 Go to http://www.nodc.nl Link: Data access

HSB Workshop - 19 mei 2011

Page 17: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

Operational since early 2009 Go to http://www.nodc.nl Link: Data access

Page 18: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

Operational since early 2009 Go to http://www.nodc.nl Link: Data access

Page 19: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

Operational since early 2009 Go to http://www.nodc.nl Link: Data access

Page 20: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

Operational since early 2009 Go to http://www.nodc.nl Link: Data access

Page 21: Eenmaal gemeten, veel gebruikt

HSB Workshop - 19 mei 2011

North Sea data:

There is a lot more than is obvious at first sight

Page 22: Eenmaal gemeten, veel gebruikt

As a result from the NODCi-project:

• NIOZ was the very first institute in Europe to fully comply to the SeaDataNet requirements

• NL-NODC was the very first node in Europe to become a fully functional node in the SeaDataNet Transnational Access network

HSB Workshop - 19 mei 2011

Page 23: Eenmaal gemeten, veel gebruikt

Experiences with the NODC-i / SeaDataNet infrastructure, during the first 2 years of operation:

- Technically capable of handling all kind of situations, ranging from fully automated data extraction to manual data extraction

- Well designed system: only minor adjustments and improvements necessary with each new release of the Download Manager

- People are using it, without any problems

HSB Workshop - 19 mei 2011

Page 24: Eenmaal gemeten, veel gebruikt

24

A complete suite of software tools for data visualization and quality control, data analysis

• Ocean Data View: visualization, quality control,

aggregation, analysis

• DIVA: data processing (interpolation, climatologies)

• Ocean Browser: Online product visualization

HSB Workshop - 19 mei 2011

Page 25: Eenmaal gemeten, veel gebruikt

Having access to all these data allows for the production and continuous updating of a whole suite of regional products

HSB Workshop - 19 mei 2011

Page 26: Eenmaal gemeten, veel gebruikt

Fruitful collaborations with projects which make use of the SeaDataNet infrastructure

• European Marine Observation and Data Network (EMODNet) (DG-Mare)

Hydrography, Chemistry, Physical Parameters, …

• European Research Infrastructures (DG-Research)

Geo-Seas, Black-Sea Scene, EuroFleets, Jerico

• Marine Core Services of the GMES : MyOcean

HSB Workshop - 19 mei 2011

Page 27: Eenmaal gemeten, veel gebruikt

New technology (webservices) allows to integrate data and products from different sources on the fly

Example: EMODNet bathymetry product with SeaDataNet CDI entries for the North Sea

HSB Workshop - 19 mei 2011

Page 28: Eenmaal gemeten, veel gebruikt

Benefits of the NL-NODC/SeaDataNet infrastructure

1) Central portal for access to data from (other) partners

2) Continue to make use of existing data base systems – no waste of investments

3) Greater efficiency: Data requests can now be handled by NODCi/SeaDataNet infrastructure

4) Well governed standards are readily available and the infrastructure enforces the use of these standards

5) NODCi/SeaDataNet infrastructure is ready for INSPIRE requirements and can directly be used for EMODNET projects (probably also for other national obligations, such as OSPAR)

6) No need to develop infrastructure and policies on your own and thus re-invent the wheel

HSB Workshop - 19 mei 2011

Page 29: Eenmaal gemeten, veel gebruikt

Future developments, plans and opportunities

1) SeaDataNet-II- From ‘man-to-machine’ to ‘machine-to-machine’(allows highly automated and continuous updating of data input in support of operational products, using web-services)

2) WaLTER (Wadden Sea Long Term Ecosystem Research) – project will expand the NODC network and infrastructure

3) Opportunities for the Informatie Huis Marien (IHM) to build on the NODC infrastructure and accomplish quick and solid results

HSB Workshop - 19 mei 2011