FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data

CONNECT. TRANSFORM. AUTOMATE.

Validatie en kwaliteitscontrole met FMEBruno De LatGeodata Ingenieur en GIS Project Manager


Inhoud

Waarom validatie en kwaliteitscontrole? Wat kan er gecontroleerd worden?

Schema Attribuut-waarden Geometrie

Validatie workflow met FME Desktop en FME Server

Voorbeelden


Waarom validatie en kwaliteitscontrole?

Slechte data kosten tijd, geld en soms zelfs levens.


Waarom validatie en kwaliteitscontrole?

FME Desktop en FME Server zijn krachtige tools om data te controleren en feedback te geven

Zeer veel FME gebruikers gebruiken FME voor validatie- en kwaliteitscontrole


Wat kan gecontroleerd worden?

þ Schema Feature Type naam Attribuut aanwezigheid Attribuut naam Attribute data type Coördinatensysteem


Wat kan gecontroleerd worden? þ Schema

Schema controle – Voornaamste middelen Schema (Any Format) Reader FeatureTypeFilter StatisticsCalculator AttributeClassifier XMLValidator JSONValidator



Schema (Any Format) Reader



FeatureTypeFilter



StatisticsCalculator



AttributeClassifier



XMLValidator



JSONValidator


Wat kan gecontroleerd worden? þ Attribuutwaarden

þ Attribuutwaarden Aanwezigheid attribuut Data Type (numeric, alpha etc) Waarde in een range Geen duplicaten



Attribuutwaarden – Voornaamste middelen Tester and TestFilter AttributeClassifier AttributeRangeFilter & AttributeFilter NullAttributeMapper Matcher DuplicateRemover StringSearcher StatisticsCalculator



TesterTestFilter



NullAttributeMapper Lees verschillende ‘types’ van NULL values Schrijf verschillende ‘types’ van NULL values



DuplicateRemover


Wat kan gecontroleerd worden?

þ Geometrie in 2D en 3D Intersecties Orientatie Duplicate vertices Ongeldige geometrie etc


Wat kan gecontroleerd worden? þ Geometrie

Geometrie – Voornaamste middelen GeometryValidator GeometryFilter Matcher SpatialFilter SliverRemover & SpikeRemover AreaCalculator & LengthCalculator OrientationExtractor



GeometryValidator 12 testen (meer verwacht in volgende versies) Integratie oude transformers (SelfIntersector) Check & Repair



GeometryValidator



GeometryFilter Nieuwe stijl in FME 2014



Matcher Combinatie geometrie en attributen Inclusief vertex toleranties



SpatialFilter Alle mogelijke ruimtelijke relaties nagaan



SliverRemover Opsporen en oplossen van slivers



SpikeRemover Opsporen en oplossen van Spikes Maximum Spike Angle


Validatie Workflow met FME Desktop

FME Workbench: Validatieregels

Testen op 1 of meerdere problemen Correcties

Automatisch vs Manueel Writers

Rapport met statistieken van fouten Geografisch bestand met locatie van fouten en detail-

melding Desktop = Lokaal gebruik


Validatie Workflow met FME Server

Input data via email upload directory watcher scheduled task

Resultaten en rapport aanbieden via email, data download, browers, FTP,…

Volledig automatisch Gebruiker moet geen FME-kennis & licentie

hebben


Voorbeelden

Statistieken van fouten in Excel


Voorbeelden

Statistieken van fouten in HMTL


Voorbeelden

Locatie van fouten Detailmelding van fout


Voorbeelden: Workflow met FME Server

User/Editor using ArcGIS

FME Server

Download MyData

Validate MyData

Upload MyData

Extract & Lock

Upload & Unlock

User uses web interface to interact with FME

Author using FME Desktop to model

Validateddata

Data being edited

Data editor environment

FME Author environmentPublish Workbench to FME Server

Data to be edited

Data ready for upload

Database Server

PC

Citrix

Network Disk

Query

Server administratormonitoring FME server

No

Yes

Log file

AWISInformix

Spatial DatabladeProductie

AWISInformix

Spatial DatabladeStaging

ET

L

Cancel Download


GIM Training Centre:Kwaliteitsaspecten van Geodata

Theorie (Voormiddag) Inleiding: Overzicht kwaliteitsaspecten van geodata Mogelijke foutenbronnen en hoe ze te vermijden Hoe kwaliteitsvolle geodata opbouwen Vastleggen van een kwaliteitsnorm Kwaliteitscontrole-technieken

Praktijk (Namiddag) Sessie A: ArcGIS Sessie B: FME

Waar en Wanneer? Dinsdag 27 mei 2014 (Heverlee) Woensdag 19 november 2014 (Heverlee)


Samenvatting

Kwaliteit van geodata is belangrijk! FME is uitstekend geschikt om fouten op te

sporen FME is uitstekend geschikt om fouten te

corrigeren.


Dank u!

Vragen?

Voor meer informatie: Bruno De Lat [email protected] GIM http://www.gim.be

FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data

Software

Transcript of FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data