De levenscyclus van Open Geodata met Open Source

tools

Just van den Broecke Jan-Willem van Aalst Frank Steggink Cartodag 2017 – Rotterdam – 15 maart 2017

www.nlextract.nl www.opentopo.nl

• NLExtract en vectordata (Just)• NLExtract en rasterdata (Frank)• OpenTopo: van PostGIS naar kaartbeeld

(J.W.)• Kaartproducten publiceren (Just)• Vragen en discussie over deze levenscyclus

In dit uur

NLExtract: vectordata

Just van den Broecke

1-1-2012:Basisregistraties

worden open data!

Een stukje historie…

Downloaden bij PDOK…?

Bijv. TOP10NL en BAG…

Maar wat dan…?

Bakken met XML en GML

?GML GML

XML XML

Hoe maak je een kaart…?

?GML GML

XML XML

Of een adreszoeker…?

?GML GML

XML XML

Eerst in PostGIS inlezen…

GML GML

XML XML

…met NLExtract dus?

NLExtract

Wat is NLExtract?

Tools (ETL) om vrije Nederlandse overheids-

geodata hapklaar te maken

Wat is NLExtract?

BRT/TOP10NL – Basisregistratie Topografie

BAG – Basisregistratie Adressen en Gebouwen

BGT – Basisregistratie Grootschalige Topografie

BRK – Digitale Kadastrale Kaart (DKK)

AHN2/3 – Hoogtebestand

Bonnebladen – Historische kaarten

TOP10NL3D

Welke datasets worden verwerkt?

DownloadsDownloads

http://data.nlextract.nl

NLExtract enrasterdata:Hillshading

Frank Steggink

DEM: generiekDSM: bevat objecten boven maaiveld: “ruw”

DTM: terrein: “maaiveld”

Uitleg DEM, DSM, DTM

XDTM opvullen

Bron Resolutie Projectie Licentie

AHN 2+3 0,5 RD CC-0

Vlaanderen 1 Lambert 72 Vlaamse Open Data licentie 1.0

Wallonië 1 Lambert 72 Closed source

Nordrhein-Westfalen

1 ETRS89 – UTM zone 32N

Datenlizenz Deutschland Namensnennung 2.0

Nord-Pas de Calais

10 RGF-93 Open data (onbekend)

EU-DEM 25 ETRS89 Open data (Copernicus)

Ook ALOS World 3D – 30m is gebruikt, maar hier zitten teveel artefacten in, wat een lelijk resultaat gaf.

Bronnen

Bronnen: resoluties

AHN 2 en 3 combineren Gaten opvullen:

− kleine buffer (incl. 8 aangrenzende bladen)− omzetten naar hillshade− gaten met egale grijswaarde gevuld

Bladindeling is o.b.v. AHN2

Verwerking AHN

AHN: inwinningsjaren

Data is al opgevuld Herprojectie naar RD, met resolutie 50cm Hillshade genereren Datasets combineren: beste resolutie gebruiken

Verwerking buitenland

Aachen, Aachen, ~~1:10.0001:10.000

Resultaat [buitenland]

Shell

Batch

Tools

AHN3 2015 en nieuwer gebruiken Opvullen gaten:

− DTM opvullen met constante hoogte, i.p.v. hillshade met grijswaarde

− Nauwkeurige gebouw- en watervlakken gebruiken (BAG, BGT)

− Beter opvulalgoritme overblijvende gaten Beschikbaar stellen DTM hele OpenTopo extent

op 0,5m resolutie in RD Toolchain ontwikkelen en open source maken

Mogelijke verbeteringen

OpenTopo:kaarten maken

Jan-Willem van Aalst

Van geo-data naar kaart

• PC met veel SSD, veel geheugen & snelle processor

• PostgreSQL met PostGIS extensie (www.postgres.org)

• QGIS (www.qgis.org)• PDOK Plugin in QGIS• PostGIS databases van NLExtract.nl (kan > 100 GB

zijn!)• Hillshade rasterbestanden van NLExtract.nl• Enig cartografisch gevoel• Veel uren en geduld

Wat heb je nodig

BAGBAG

NLExtract

BRKBRK

BGTBGT

Eerste stappen

TOP10NL

TOP10NL

www.postgres.org/downloadPostGIS extensie: via de Stackbuilder

PostgreSQL/PostGIS installeren

PostGIS dumps restoren

Per PostGIS database een verbindingdefiniëren in QGIS (eenmalig).

PostGIS verbinden in QGIS

PostGIS bevat ‘ruwe’ data zonder styl ing

Er is kaartbeeld in QGIS?

QGIS stijlen toepassen

PDOK plugin in QGIS

• Bóven terreinvlakken, ónder water en gebouwen!

• Op 80% transparantie, anders te dominant• Bilinear / gemiddelde

Hillshading toepassen

1. BAG pandvlakken of BRT/Top10NL pandvlakken?

• Parkeergarages, kassen, hoogbouw…

2. Generalisatie: via andere datasets of via visualisatie?

3. Labels afkappen langs de rand van de kaart4. POI labels uit OSM of uit BRT/Top10NL?5. Labels door QGIS laten plaatsen of uit

TopNamen?6. Bomen uit BGT of uit BRT/Top10NL?7. Wanneer is detail teveel detail? Doel van je

kaart?• … en nog dozijnen andere…

Cartografische dilemma’s

BGT: bronhouders die andere keuzes maken… toch maar TOP10NL erbij halen?

Cartografische dilemma’s

Labelen van veel verschillende features: welke krijgen voorrang?

Cartografische dilemma’s

Een kaartlaag met indexbladen nodig, eventueel met extra omranding i.v.m. afkappende kaartlabels.

Atlas maken met Composer

100 pixels/km~1:100.000 @ 254dpi8 bladen @ 40x50km

200 pixels/km~1:50.000 @ 254dpi54 bladen @ 40x50km

400 pixels/km~1:25.000 @ 254dpi153 bladen @ 20x25km

800 pixels/km~1:12.500 @ 254dpi543 bladen @ 10x12,5km

1600 pixels/km~1:6.250 @ 254dpi1047 bladen @ 10x6,25km

3200 pixels/km~1:3.125 @ 254dpi3300 bladen @ 5x3,125km

OpenTopo resoluties

5x per jaar het volgende proces:

1.Per 9e van de maand BAG en BRK ophalen van NLExtract

2.Per 15e van de maand OSM dumps + PostGIS ophalen van NLExtract

3.Per 18e van de maand BGT PostGIS ophalen van NLExtract

4.Rond de 20e van de maand Top10NL PostGIS ophalen van NLExtract

5.Overige kaartlagen bijwerken: PRK/RRGS, RWS

6.Data preparatie in Postgres PgAdminIII (vooral tekstlabels)

7.Schalen genereren met QGIS atlas composer @96dpi (8, 54, 153, 543, 1047, 3300 bladen, resp. 1, 2, 6, 12, 52, en 135 uur renderen)

8.Uitsnijden en comprimeren met GDAL

9.Conversie naar JPG en GeoTIFF met GDAL

10.Publiceren op data.nlextract.nl

OpenTopo publicatieproces

Op data.nlextract.nl:

1./bag/postgis: ~2 GB (uitgepakt ~45 GB XML)

2./bgt/postgis: ~10 GB en groeiend (~80% gereed per feb. 2017)

3./brk/postgis: ~1 GB (lijnen; ~3 GB vlakken)

4./osm/nl/: ~3 GB

5./osm/buitenland: ~3 GB

6./top10nl/postgis: ~2 GB•Samen uitgepakt > 120 GB in de PostGIS database •Geotifs en jpg’s OT/OST samen > 370 GB

Ruime hoeveelheid SSD (1 TB of meer) is aan te bevelen!

OpenTopo: “Big Data”…

Kaartenpubliceren

Just van den Broecke

TIFFTIFF

JPEGJPEG

GeoTIFFGeoTIFF

NLExtract

NLExtract

Downloads

Downloads

Kaarten publiceren

OpenTopo WMTS op PDOK

Kaartcollecties op Map5.nl

De Map5 Topo-app

Bonnebladen op Map5.nl

NLExtract: de mensen

Jan-Willem van AalstJust van den BroeckeBas CouwenbergMatthijs van der DeijlRichard DuivenvoordeStefan de KoninkMilo van der LindenEdward Mac GillavryTom PesmanReinout van ReesLuuk SchaminéeFrank Steggink

GeodanOpenGeoGroep

Groepsdiscussie en vragen

www.nlextract.nlwww.opentopo.nl

Bedankt