17 juni 2014

Reproduceerbaarheid en

kwaliteitsborging

Wiebe Borren

Aanleiding

Kritische geluiden uit modelconsortia over kwaliteitsborging in

modelbouw (m.n. regionaal):

• Niet alles is navolgbaar

• Onduidelijk of aangedragen informatie en inzichten (goed)

verwerkt worden

• Projectvertragingen

• Fouten mogen gemaakt worden, maar niet 2x dezelfde

17 juni 2014

Kader

Nieuwe werkwijze:

• Proces

• Inhoud

Kernbegrippen:

• Reproduceerbaarheid, traceerbaarheid

• Transparantie, openheid

• Uitwisseling van kennis, synergie

• Kwaliteitsborging

17 juni 2014

Onderwerpen

1. HydroConnect: workflow management en versiebeheer

2. Plausibiliteitstesten

3. Terugkoppeling naar REGIS

4. GMDB: Grondwater-Model-Data-Bank

17 juni 2014

HydroConnect

17 juni 2014

• Versiebeheer

• Workflow management

• Gebaseerd op VisTrails

Workflow:

• opeenvolgende rekenstappen, b.v. om

basisdata om te zetten in modelinvoer

Versiebeheer:

• data

• workflows

• modellen

Modelleercyclus

17 juni 2014

Work

flow

managem

ent

Basisdata

Modelleerproces - Schematisaties, concepten

- Filtering, transformatie

- Consensus

Model-invoerdata

Rekenproces - Model: schaal, periode, stapgrootte

- Optimalisatie: criteria, parameters,

meetwaarden

Resultaten

Evaluatie - Statistisch en hydrologisch oordeel

- Verbeterpunten, aanbevelingen

Oplevering

Modelleercyclus

17 juni 2014

Work

flow

managem

ent

Basisdata

Modelleerproces - Schematisaties, concepten

- Filtering, transformatie

- Consensus

Model-invoerdata

Rekenproces - Model: schaal, periode, stapgrootte

- Optimalisatie: criteria, parameters,

meetwaarden

Resultaten

Evaluatie - Statistisch en hydrologisch oordeel

- Verbeterpunten, aanbevelingen

Oplevering

Vers

iebeheer

Workflow

17 juni 2014

Modelinvoer Rekenkern Tussen -

resultaat Basisdata,

(schematisaties) Resultaten

V1.0

V2.1

V1.0

V1.7

V2.1

V1.0 V1.0

V2.2

Tool

V1.3

V1.0

V2.0

V1.0

Tool

Workflow en documentatie

17 juni 2014

Modelinvoer Rekenkern Tussen -

resultaat Basisdata,

(schematisaties) Resultaten

V1.0

V2.1

V1.0

V1.7

V2.1

V1.0 V1.0

V2.2

Tool

V1.3

V1.0

V2.0

V1.0

Tool

Documentatie Documentatie Documentatie

Documentatie

Workflow documentatie

Voorbeeld workflow in HydroConnect

17 juni 2014

Voorbeeld workflow in HydroConnect

17 juni 2014

Model versiebeheer

• Een release-versie van een model (bijvoorbeeld AZURE 1.0)

bestaat uit een “bevroren” set van:

• basisdata

• workflows, inclusief gebruikte scripts/software

• modelinvoer

• modelrekencode

• modelresultaten

• testrapporten

• Van daaruit wordt verder gewerkt en kunnen modelvarianten

(tussenversies) ontstaan

• Deze kunnen later leiden tot een nieuwe release versie

17 juni 2014

OTAP

HydroConnect faciliteert OTAP

17 juni 2014

Plausibiliteitstesten

• (Hydro)logische testen

• Testen die de hydroloog iets zeggen over de plausibiliteit van:

• basisdata

• modelinvoer

• modelresultaten

• Signaleren, niet afkeuren

• Hydroloog / modelleur moet afgegeven signaal interpreteren

Hier niet bedoeld: testbank voor het testen van de rekencode (iMOD)

17 juni 2014

Testrapporten in HydroConnect

17 juni 2014

Modelinvoer Rekenkern Tussen -

resultaat Basisdata,

(schematisaties) Resultaten

V1.0

V2.1

V1.0

V1.7

V2.1

V1.0 V1.0

V2.2

Tool

V1.3

V1.0

V2.0

V1.0

Tool

Testrapporten in HydroConnect

17 juni 2014

Modelinvoer Rekenkern Tussen -

resultaat Basisdata,

(schematisaties) Resultaten

V1.0

V2.1

V1.0

V1.7

V2.1

V1.0 V1.0

V2.2

Tool

V1.3

V1.0

V2.0

V1.0

Tool

Testrapport Testrapport Testrapport

Testscript Testscript Testscript

Testrapport

Overzicht in HTML of PDF:

• Signaleringen:

• waar en hoe vaak wordt drempelwaarde overschreden?

• basale statistieken (percentielen, missing values etc.)

• stoplichten, vlaggen

• Kaarten

• Histogrammen

• Grafieken

17 juni 2014

Terugkoppeling naar REGIS / BRO

REGIS op termijn in BRO:

• Uitgangspunt voor overheden

• Terugmeldplicht

• TNO verantwoordelijk voor kwaliteit en oppakken terugmeldingen

Grondwatermeetreeksen:

• Binnenkort onder BRO

• Bronhouders blijven verantwoordelijk

• TNO faciliteert

→ Grondwatermodelconsortia hebben belang bij terugmelding, zodat

hydrologische inzichten niet verloren gaan

17 juni 2014

Teruglevering

1. Promotie-onderzoek Aris Lourens

2. GMDB: Grondwater-Model-Data-Bank

17 juni 2014

REGIS en grondwatermodellen

17 juni 2014

Boring

Hydrogeologisch

model (REGIS)

Grondwatermodel

Route terug

17 juni 2014

Boring

Hydrogeologisch

model (REGIS)

Grondwatermodel

Kalibratie-resultaat

Hydrologisch inzicht

GMDB: Grondwater-Model-Data-Bank

Webportal voor (release-versies) van alle grondwatermodellen

Vastleggen relatie ondergrondschematisatie en REGIS

Faciliteert opslag data/informatie voor zover BRO dit niet afdekt

Uploaden terugmeldingen

http://gmdb.nhi.nu

17 juni 2014

Webportal

17 juni 2014

Voorbeeld onttrekkingen

17 juni 2014