DSD-NL 2014 - iMOD Symposium - 6. Reproduceerbaarheid en Kwaliteitsborging, Wiebe Borren, Deltares
-
Upload
deltaressoftwaredagen -
Category
Engineering
-
view
164 -
download
2
Transcript of DSD-NL 2014 - iMOD Symposium - 6. Reproduceerbaarheid en Kwaliteitsborging, Wiebe Borren, Deltares
17 juni 2014
Reproduceerbaarheid en
kwaliteitsborging
Wiebe Borren
Aanleiding
Kritische geluiden uit modelconsortia over kwaliteitsborging in
modelbouw (m.n. regionaal):
• Niet alles is navolgbaar
• Onduidelijk of aangedragen informatie en inzichten (goed)
verwerkt worden
• Projectvertragingen
• Fouten mogen gemaakt worden, maar niet 2x dezelfde
17 juni 2014
Kader
Nieuwe werkwijze:
• Proces
• Inhoud
Kernbegrippen:
• Reproduceerbaarheid, traceerbaarheid
• Transparantie, openheid
• Uitwisseling van kennis, synergie
• Kwaliteitsborging
17 juni 2014
Onderwerpen
1. HydroConnect: workflow management en versiebeheer
2. Plausibiliteitstesten
3. Terugkoppeling naar REGIS
4. GMDB: Grondwater-Model-Data-Bank
17 juni 2014
HydroConnect
17 juni 2014
• Versiebeheer
• Workflow management
• Gebaseerd op VisTrails
Workflow:
• opeenvolgende rekenstappen, b.v. om
basisdata om te zetten in modelinvoer
Versiebeheer:
• data
• workflows
• modellen
Modelleercyclus
17 juni 2014
Work
flow
managem
ent
Basisdata
Modelleerproces - Schematisaties, concepten
- Filtering, transformatie
- Consensus
Model-invoerdata
Rekenproces - Model: schaal, periode, stapgrootte
- Optimalisatie: criteria, parameters,
meetwaarden
Resultaten
Evaluatie - Statistisch en hydrologisch oordeel
- Verbeterpunten, aanbevelingen
Oplevering
Modelleercyclus
17 juni 2014
Work
flow
managem
ent
Basisdata
Modelleerproces - Schematisaties, concepten
- Filtering, transformatie
- Consensus
Model-invoerdata
Rekenproces - Model: schaal, periode, stapgrootte
- Optimalisatie: criteria, parameters,
meetwaarden
Resultaten
Evaluatie - Statistisch en hydrologisch oordeel
- Verbeterpunten, aanbevelingen
Oplevering
Vers
iebeheer
Workflow
17 juni 2014
Modelinvoer Rekenkern Tussen -
resultaat Basisdata,
(schematisaties) Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool
Workflow en documentatie
17 juni 2014
Modelinvoer Rekenkern Tussen -
resultaat Basisdata,
(schematisaties) Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool
Documentatie Documentatie Documentatie
Documentatie
Workflow documentatie
Voorbeeld workflow in HydroConnect
17 juni 2014
Voorbeeld workflow in HydroConnect
17 juni 2014
Model versiebeheer
• Een release-versie van een model (bijvoorbeeld AZURE 1.0)
bestaat uit een “bevroren” set van:
• basisdata
• workflows, inclusief gebruikte scripts/software
• modelinvoer
• modelrekencode
• modelresultaten
• testrapporten
• Van daaruit wordt verder gewerkt en kunnen modelvarianten
(tussenversies) ontstaan
• Deze kunnen later leiden tot een nieuwe release versie
17 juni 2014
OTAP
HydroConnect faciliteert OTAP
17 juni 2014
Plausibiliteitstesten
• (Hydro)logische testen
• Testen die de hydroloog iets zeggen over de plausibiliteit van:
• basisdata
• modelinvoer
• modelresultaten
• Signaleren, niet afkeuren
• Hydroloog / modelleur moet afgegeven signaal interpreteren
Hier niet bedoeld: testbank voor het testen van de rekencode (iMOD)
17 juni 2014
Testrapporten in HydroConnect
17 juni 2014
Modelinvoer Rekenkern Tussen -
resultaat Basisdata,
(schematisaties) Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool
Testrapporten in HydroConnect
17 juni 2014
Modelinvoer Rekenkern Tussen -
resultaat Basisdata,
(schematisaties) Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool
Testrapport Testrapport Testrapport
Testscript Testscript Testscript
Testrapport
Overzicht in HTML of PDF:
• Signaleringen:
• waar en hoe vaak wordt drempelwaarde overschreden?
• basale statistieken (percentielen, missing values etc.)
• stoplichten, vlaggen
• Kaarten
• Histogrammen
• Grafieken
17 juni 2014
Terugkoppeling naar REGIS / BRO
REGIS op termijn in BRO:
• Uitgangspunt voor overheden
• Terugmeldplicht
• TNO verantwoordelijk voor kwaliteit en oppakken terugmeldingen
Grondwatermeetreeksen:
• Binnenkort onder BRO
• Bronhouders blijven verantwoordelijk
• TNO faciliteert
→ Grondwatermodelconsortia hebben belang bij terugmelding, zodat
hydrologische inzichten niet verloren gaan
17 juni 2014
Teruglevering
1. Promotie-onderzoek Aris Lourens
2. GMDB: Grondwater-Model-Data-Bank
17 juni 2014
REGIS en grondwatermodellen
17 juni 2014
Boring
Hydrogeologisch
model (REGIS)
Grondwatermodel
Route terug
17 juni 2014
Boring
Hydrogeologisch
model (REGIS)
Grondwatermodel
Kalibratie-resultaat
Hydrologisch inzicht
GMDB: Grondwater-Model-Data-Bank
Webportal voor (release-versies) van alle grondwatermodellen
Vastleggen relatie ondergrondschematisatie en REGIS
Faciliteert opslag data/informatie voor zover BRO dit niet afdekt
Uploaden terugmeldingen
http://gmdb.nhi.nu
17 juni 2014
Webportal
17 juni 2014
Voorbeeld onttrekkingen
17 juni 2014