Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van...

17-02-12

Challenge the future Delft University of Technology

Duurzaam archiveren door gezamenlijk beheer van historische en actuele geo-data in dezelfde omgeving

Peter van Oosterom, TU Delft, OTB Research Institute for the Built Environment, GIS technology Geonovum-DANS studiedag: 'Digitale duurzaamheid van Geodata', Donderdagmiddag 16 februari 2012, Java Gebouw, NOW, Den Haag

2 Duurzame geo-data

Inhoud

•  Duurzame geo-data, een technisch probleem?

•  (Deel)oplossing: actuele & historische data samen

•  Identifiers en temporele attributen

•  Maps4Science

•  Conclusie

3 Duurzame geo-data

Duurzame geo-data, een technisch probleem?

• Duurzaam digitaal archiveren heeft vele aspecten: juridisch, sociaal, organisatorisch, financieel, technisch,..

• Deze aspecten zijn met elkaar verweven •  Perspectief in presentatie is vanuit techniek

4 Duurzame geo-data

Vraagstukken duurzame archivering

• Blijft formaat van data wel ondersteund door leverancier? (in geo-land vele formaten zowel open als gesloten)

• Digitale gegevensdragers bestand tegen tand des tijds? (media leesbaar, geen omgevallen bits)

• Archieven bestand tegen calamiteiten zoals brand? (voldoende back-up’s)

• Goede ontsluiting, wie wel/niet toegang? (standaard web-services)

5 Duurzame geo-data

Inhoud




•  Maps4Science

•  Conclusie

6 Duurzame geo-data

Informatiesystemen t.b.v. productietaken

• Deze hebben zelfde uitdagingen (back-up, toegang,…) •  Zijn door dagelijks gebruik systemen levend • Vergaande maatregelen genomen voor geval van calamiteiten:

•  redundante systeemoplossingen •  uitgebreide back-up schema’s

•  Storingen worden snel geconstateerd •  Storingen worden ook snel verholpen i.v.m. operationele taak

• Kosten niet gering, maar te rechtvaardigen gezien de noodzaak

7 Duurzame geo-data

(Deel)oplossing: actuele & historische data samen beheren

• Vroeger alleen de meest recente toestand in (geo-)database à massale kopieën (ter archivering)

• Kadaster gebruikte deze voor produceren mutatiebestanden à opsporen verschillen historische kopie - huidige database (bewerkelijke actie gezien data omvang en aantal klanten)

•  Introductie temporele informatiemodel (versie tijdstempels) à zowel historische als actuele data in dezelfde omgeving

• Mogelijk om efficiënt: à inhoud op willekeurig moment in verleden te vragen (archief) à veranderingen tussen 2 tijdstippen te leveren (mutaties)

8 Duurzame geo-data

Voordelen gezamenlijk beheer

• Archief even efficiënt als productiesysteem à door goede (ruimtelijk-temporele) data clustering & indexering

•  Steeds groter wordende opslagcapaciteit en hardware versnellingen à historische en actuele data in één geïntegreerd haalbaar

• Door combinatie archief + productiesysteem kosten bespaard (met voorzieningen als redundante systemen en back-up’s)

• Kwaliteit en beschikbaarheid archief gaat omhoog!

9 Duurzame geo-data

Inhoud




•  Maps4Science

•  Conclusie

10 Duurzame geo-data

Ruimte-tijd-thema driehoek

Object-id (OID)

Ruimte (2D, 3D)

Tijd Thema

2D space + time à 3D 3D space + time à 4D


Data granulariteit m.b.t. tijd

• Kaart (hele data set) klassieke topografische kaart (elke 6-jaar), luchtfoto

• Object klasse huidige topografische kaart (wegen elke 2-jaar)

• Object instantie kadastrale kaart

• Attribuut niveau grondwaterstand op locatie

Fijn, minder redundant

Grof, meer redundant


Tijd op object instantie (record) niveau

• Meest voorkomende vorm temporeel model •  Goed te implementeren

•  Elk object uitgebreid met temporele attributen (tmin, tmax)

•  Nieuw object: tmin = check-in tijd, tmax = max_val •  Verwijder object: tmax = check-in tijd •  Update object: ànieuwe versie tmin = check_in tijd, tmax = max_val àoude versie tmax = check_in tijd (dezelfde waarde!)

• Belangrijkste functionaliteit is ondersteunden vragen: •  Geef kaart op moment t •  Geef de veranderingen in periode t1-t2


Leveren veranderingen in periode (inclusief tijdelijke versies)

select * from line l where t_beg < l.tmax and l.tmax <= t_end; select * from line l where t_beg < l.tmin and l.tmin <= t_end;

vervallen

nieuw


Vervallen topo lijnen Juli 1998- Juli 1999

Tellen veranderingen GBKN


Unieke object (versie) identificatie

• Normaal gesproken heeft elk object heeft unieke object-id (OID) • Temporeel systeem: verschillende versies van hetzelfde object

(met dezelfde OID)

• Om object-versie te identificeren in tijd: key = OID + tmin • Merk op deze key veranderd niet (i.t.t. alt_key = OID + tmax)

• Bij de verwijzing van het ene object naar het andere, alleen gebruik maken van OID-deel van key


Permanente object identificatie

•  In NL operationeel binnen LKI (kadastrale kaart, GBKN) sinds 1997 à mogelijk opschalen naar alle geo-data (en ook buiten NL)

•  In VK voorstel URI (http://location.defra.gov.uk/wp-content/ uploads/2010/04/Designing_URI_Sets_for_Location-Ver0.5.pdf) •  Template http://{sector}.data.gov.uk/id/{concept}/{reference}[/

{version}] •  Voorbeelden

http://land.data.gov.uk/id/title-plan/cph-de15-27 http://reference.data.gov.uk/id/postcode/SO164GU

• Noodzakelijk voor Geoweb (GII), verwijzingen tussen datasets


P1

P2 P3

P5

P4

t2

t1

t0

tijd

y

x

Alternatief aparte temporele attributen 2D+tijd = 3D geometrie


t2

t1

t0

tijd

y

x P2

P1

Bewegende objecten à niet verticaal


Aparte ruimte en tijd attributen of een enkel geïntegreerd attribuut?

•  Voordelen aparte attributen: 1.  In staat om alle gevallen te representeren 2.  Ondersteund door huidige technologie 3.  Tijdsaspect is meer dan alleen een enkele dimensie

•  Voordelen geïntegreerd hoger dimensionaal data type:

1.  Optimale efficiënte bij zoeken ruimte-tijd queries 2.  Ouder-kind relatie wordt topologie buur query in tijd 3.  Op basis van volledige partitie: geen overlap of hiaat in de

ruimte/tijd representatie van objecten 4.  Dynamische analyse: twee bewegende objecten zouden

geen ruimtelijk-temporele overlap moeten hebben (botsing)


Inhoud




•  Maps4Science

•  Conclusie


NWO GOF Voorstel grootschalige onderzoeksfaciliteit

31 augustus 2011: ingediend bij NWO sept/okt 2011: goede expert review 10 januari 2012: interview

Voor zomer 2012: besluit door minister OCW

spatial data for all of science


Onderzoekers anders dan ‘normale’ gebruikers? (PDOK/Google Earth)

1.  Zoeken onverwachte verbanden à meer vreemde data combi's 2.  Ook geïnteresseerd in bron metingen (herinterpretaties) 3.  Grote gebieden, meer gegevens à ontdekken van patronen 4.  Produceren meer eigen gegevens (uit metingen, berekeningen) 5.  Meer eisen t.a.v. 3D en tijd (niet alleen 'nu') ondersteuning 6.  Tijdseries voor valideren van (proces)modellen 7.  Behoefte aan delen geo-processing ketens (analyses, simulaties) 8.  Niet geo-informatie professionals (geneeskunde, geschiedenis,

economie, enz.)

à  Antwoord: ja (en nee) à  Zelfde gebruiksgemak, maar …

veel meer soorten data/diensten à enorme uitdaging


•  (nagenoeg) alle wetenschappers hebben behoefte aan geo-info, niet alleen de geo-wetenschappers maar ook archeologie, epidemiologie, technologie, sociologie, etc.) à data intensief onderzoek

• Voorstel GOF: Maps4Science

(2+5 jaar project, 22.8 meuro) • NL geo-sector steunt met data • Knoop in internationaal netwerk • Beste GII: 3D/tijd/schaal,

semantiek, upload, zeer veel data, remote processing, data policy à www.maps4science.nl

“Doctor, take your own medicine…”


Inhoud




•  Maps4Science

•  Conclusie


Conclusie

•  Integraal beheer historische en actuele geo-data is realistische optie voor zowel archief als operationele taak

• Hierbij data en metadata ook gelijk behandelen

• Unieke permanente object identificatie alle NL geo-data à wie neemt initiatief (DANS, Geonovum,…)?

•  Er blijven nog voldoende aardige vraagstukken over… zoals het niet stabiel zijn van de geografische referenties: •  Geografische namen zijn niet stabiel, in historische data komt Batavia

in Nederlands-Indië voor (nu bekend als Jakarta in Indonesië) •  Coördinaten zijn niet stabiel door de tijd (ook Nederland

beweegt zowel horizontaal als verticaal: schuift en kantelt) ànog een reden voor x,y,z,t coördinaten


Verschillen oude en nieuwe hoogten NAP (4e–5e NWP, ong. 25 jaar)

• Brand et al. AGI/GAP-04/004 Rijkswaterstaat AGI augustus 2004


www.maps4science.nl http://maps4science.nl/documents/Maps4Science_high.mp4

Maps4Science, korte video

Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van...

Documents

Transcript of Duurzaam archiveren door gezamenlijk beheer van ...Duurzaam archiveren door gezamenlijk beheer van...