CONNECT. TRANSFORM. AUTOMATE.

Validatie en kwaliteitscontrole met FMEBruno De LatGeodata Ingenieur en GIS Project Manager

CONNECT. TRANSFORM. AUTOMATE.

Inhoud

Waarom validatie en kwaliteitscontrole? Wat kan er gecontroleerd worden?

Schema Attribuut-waarden Geometrie

Validatie workflow met FME Desktop en FME Server

Voorbeelden

CONNECT. TRANSFORM. AUTOMATE.

Waarom validatie en kwaliteitscontrole?

Slechte data kosten tijd, geld en soms zelfs levens.

CONNECT. TRANSFORM. AUTOMATE.

Waarom validatie en kwaliteitscontrole?

FME Desktop en FME Server zijn krachtige tools om data te controleren en feedback te geven

Zeer veel FME gebruikers gebruiken FME voor validatie- en kwaliteitscontrole

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden?

þ Schema Feature Type naam Attribuut aanwezigheid Attribuut naam Attribute data type Coördinatensysteem

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Schema

Schema controle – Voornaamste middelen Schema (Any Format) Reader FeatureTypeFilter StatisticsCalculator AttributeClassifier XMLValidator JSONValidator

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Schema

Schema (Any Format) Reader

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Schema

FeatureTypeFilter

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Schema

StatisticsCalculator

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Schema

AttributeClassifier

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Schema

XMLValidator

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Schema

JSONValidator

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Attribuutwaarden

þ Attribuutwaarden Aanwezigheid attribuut Data Type (numeric, alpha etc) Waarde in een range Geen duplicaten

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Attribuutwaarden

Attribuutwaarden – Voornaamste middelen Tester and TestFilter AttributeClassifier AttributeRangeFilter & AttributeFilter NullAttributeMapper Matcher DuplicateRemover StringSearcher StatisticsCalculator

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Attribuutwaarden

TesterTestFilter

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Attribuutwaarden

NullAttributeMapper Lees verschillende ‘types’ van NULL values Schrijf verschillende ‘types’ van NULL values

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Attribuutwaarden

DuplicateRemover

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden?

þ Geometrie in 2D en 3D Intersecties Orientatie Duplicate vertices Ongeldige geometrie etc

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

Geometrie – Voornaamste middelen GeometryValidator GeometryFilter Matcher SpatialFilter SliverRemover & SpikeRemover AreaCalculator & LengthCalculator OrientationExtractor

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

GeometryValidator 12 testen (meer verwacht in volgende versies) Integratie oude transformers (SelfIntersector) Check & Repair

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

GeometryValidator

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

GeometryFilter Nieuwe stijl in FME 2014

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

Matcher Combinatie geometrie en attributen Inclusief vertex toleranties

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

SpatialFilter Alle mogelijke ruimtelijke relaties nagaan

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

SliverRemover Opsporen en oplossen van slivers

CONNECT. TRANSFORM. AUTOMATE.

Wat kan gecontroleerd worden? þ Geometrie

SpikeRemover Opsporen en oplossen van Spikes Maximum Spike Angle

CONNECT. TRANSFORM. AUTOMATE.

Validatie Workflow met FME Desktop

FME Workbench: Validatieregels

Testen op 1 of meerdere problemen Correcties

Automatisch vs Manueel Writers

Rapport met statistieken van fouten Geografisch bestand met locatie van fouten en detail-

melding Desktop = Lokaal gebruik

CONNECT. TRANSFORM. AUTOMATE.

Validatie Workflow met FME Server

Input data via email upload directory watcher scheduled task

Resultaten en rapport aanbieden via email, data download, browers, FTP,…

Volledig automatisch Gebruiker moet geen FME-kennis & licentie

hebben

CONNECT. TRANSFORM. AUTOMATE.

Voorbeelden

Statistieken van fouten in Excel

CONNECT. TRANSFORM. AUTOMATE.

Voorbeelden

Statistieken van fouten in HMTL

CONNECT. TRANSFORM. AUTOMATE.

Voorbeelden

Locatie van fouten Detailmelding van fout

CONNECT. TRANSFORM. AUTOMATE.

Voorbeelden: Workflow met FME Server

User/Editor using ArcGIS

FME Server

Download MyData

Validate MyData

Upload MyData

Extract & Lock

Upload & Unlock

User uses web interface to interact with FME

Author using FME Desktop to model

Validateddata

Data being edited

Data editor environment

FME Author environmentPublish Workbench to FME Server

Data to be edited

Data ready for upload

Database Server

PC

Citrix

Network Disk

Query

Server administratormonitoring FME server

No

Yes

Log file

AWISInformix

Spatial DatabladeProductie

AWISInformix

Spatial DatabladeStaging

ET

L

Cancel Download

CONNECT. TRANSFORM. AUTOMATE.

GIM Training Centre:Kwaliteitsaspecten van Geodata

Theorie (Voormiddag) Inleiding: Overzicht kwaliteitsaspecten van geodata Mogelijke foutenbronnen en hoe ze te vermijden Hoe kwaliteitsvolle geodata opbouwen Vastleggen van een kwaliteitsnorm Kwaliteitscontrole-technieken

Praktijk (Namiddag) Sessie A: ArcGIS Sessie B: FME

Waar en Wanneer? Dinsdag 27 mei 2014 (Heverlee) Woensdag 19 november 2014 (Heverlee)

CONNECT. TRANSFORM. AUTOMATE.

Samenvatting

Kwaliteit van geodata is belangrijk! FME is uitstekend geschikt om fouten op te

sporen FME is uitstekend geschikt om fouten te

corrigeren.

CONNECT. TRANSFORM. AUTOMATE.

Dank u!

Vragen?

Voor meer informatie: Bruno De Lat bruno.delat@gim.be GIM http://www.gim.be