FME World Tour 2015: (NL) Inleiding tot FME voor IT & Managers

Inleiding tot FME

Inleiding FME - 2015 - GIM

Bruno De Lat

FME = spatial ETL

▶ Extract:

- Lees brondata

▶ Transform:

- Bewerk (alfanumerisch en geometrisch)

- Bevraag

- Analyseer

- Valideer

- Combineer

▶ Load

- Schrijft naar resultaat

Spatial :

▶ Controleer alle ruimtelijke aspecten van E, T en L

▶ Geometrie, Relaties, Coördinatiesystemen,…

FME = veelzijdige ETL

1. Verwerk

2. Automatiseer

3. Verwittig

Uitdagingen:

▶ Uitwisseling data CAD en GIS

▶ Data migratie

▶ Data validatie en correctie

▶ Data integratie en verwerking

▶ Automatisatie

Proces

1. Wat zijn de mogelijkheden?

2. Welke data formaten?

3. Hoe gaat het in zijn werk?

Wat zijn de mogelijkheden?

1. Transformatie

▶ Omzetting

▶ Extractie

▶ Samenvoegen

▶ Schema

2. Publicatie

▶ Webservices

▶ Data warehouse

3. Integratie

▶ Systemen

▶ Backup

4. Validation

▶ Kwaliteit

▶ Datamodel

▶ Bussiness rules

Welke data formaten?

Meer dan 325 formaten:

▶ DB

▶ CAD

▶ BIM

▶ GIS

▶ Web

▶ Generic: xml, Json

▶ Courant: pdf, xls…

Meer dan 325 formaten worden ondersteund

GIS (vector)

▶ ESRI shape

▶ Mapinfo MIF/MID

▶ Mapinfo TAB

▶ Adobe Geospatial PDF

▶ GML, XML, KML

▶ …

▶ AutoCAD DWG/DXF

▶ AutoCAD Civil 3D (Read)

▶ Bentley Microstation Desgin DGN

▶ …

Raster▶ ESRI grid▶ GeoTIFF▶ IMG▶ MrSID (read only)▶ JPG, JPEG 2000▶ …

Point Cloud▶ LIDAR LAS▶ Pointcloud XYZ▶ …

3D /BIM (Building Information Modeling)▶ AutoCad DWG/DXF▶ CityGML▶ GoogleSketchup▶ Shapefile/Feature Class▶ Adobe 3D PDF (write only)▶ AutoCAD civil 3D (read only)▶ …

Databanken

▶ ESRI Geodatabases: File, personal, arcSDE

▶ Oracle

▶ Smallworld

▶ Informix

▶ Geomedia Warehouse

Niet ruimtelijke formaten

▶ csv, txt

▶ Excel

▶ Access

▶ Directories (Copy/paste)

▶ …

FME producten

▶ FME Desktop

▶ Proces Modellering

▶ Visualisatie van data

▶ Verwerken van data

▶ FME Server*

▶ Web User Interface

▶ API REST et SOAP

▶ Koppelen Active directory (bv. LDAP)

▶ FME Cloud*

▶ FME Server op een Amazon Web Server

▶ Prijs volgens gebruik

▶ FME Mobile (free app)

▶ Android / iOS API

▶ Report to FME server (location…)

▶ Get notified by FME server

* Enkel mogelijk in combinatie met minstens 1 FME Desktop licentie

Praktisch

Onderdelen van FME desktop

▶ FME Data Inspector

▶ FME Workbench

FME Data Inspector

▶ Visualisatie 2D/3D data

▶ Alle formaten in 1 scherm

▶ Bevragen van data

▶ Uitgebreide inspectiemogelijkheden geometrische

eigenschappen

▶ Visualiseren van data voor/tijdens/na een transformatie

▶ Data leren kennen

▶ Visuele Kwaliteitscontrole van data en transformatie-stappen

FME Data Inspector

Table of attributes

Display control

ViewTable View and

featureinformation

FME Workbench

Reader/Writer and Transformers

Readers WritersTransformers

FME Transformers

▶ Transformers = bouwstenen om data te bewerken

▶ Geometrie transformers

▶ Wijzig geometrie

▶ Analyseer ruimtelijk interactie

▶ Attribuut transformers

▶ Wijzig attributen

▶ Meer dan 500 Transformers (3D, Calculators, Filters,

Geometric operators, Coordinate systems,, Lists, Point Cloud,

Rasters, ...)

Source Destination

FME Transformers

▶ FME toont het aantal verwerkte objecten (not black box)

▶ Het is eenvoudig om ook moeilijke analyses te doen

Automatisatie – FME Desktop

▶ Eenvoudige en complexe omzettingen

▶ Model parameters

▶ Herbruikbaarheid

▶ Opstarten via « prompt and run »

▶ Batch processing (herhaalbaarheid, ketting van processen)

▶ WorkspaceRunner Transformer

▶ Command Prompt

▶ Windows Scheduler

▶ Voorbeeld automatisatie functionaliteit

▶ « Fanout »

▶ Exemple

BelgianRailroads

BelgianCommunesSimple model

Simple et rapide!

Automatisatie – FME Server

▶ Takenbeheer, wachtrij

▶ Automatische uitvoering

▶ Regelmatige tijdstippen

▶ Als…, dan…

▶ Prioriteiten

▶ Op basis van gebruikers

▶ Op basis van processen

▶ Schaalbaar

▶ Engines

▶ Infrastructure distribuée

▶ Werkelijke tijden (websocket)

Monitor – Notification (FME Server)

Notificatie (meldingen)

▶ Als… (event)

▶ IMAP, SMTP (email)

▶ UDP (streaming, xml, JSON)

▶ Verandering op een locatie (directory

watch)

▶ Dan… (notification)

▶ e-mail, SMS à l'utilisateur

▶ HTTP push

▶ FTP upload

Monitor – Reporting (Desktop and Server)

Logging

▶ Log files van transformaties (Standaard)

▶ Statistieken, rapportage, data problemen

wegschrijven in formaat naar keuze

▶ Xlsx

▶ Pdf

▶ DB, shapefile…

Demo FME desktop

MITAB: provinces

Shapefile: communes

Excel: hab./commune

Inputs Output: KML

Voorbeelden FME-projecten uitgevoerddoor GIM

▶ Data validatie

▶ Project VMM: Kwaliteitscontrole van geodata en data

▶ Data migratie

▶ Project Brugis: Replicatie van databanken

▶ Data integratie

▶ Project AGIV: wegenregister

▶ Opladen van data

▶ Project SPW: Geoportaal

Voorbeeldproject FME

Data validatie

Project VMM

Kwaliteitscontrole van geodata en data flow

CONTEXT

▶ VMM - Vlaamse Milieu Maatschappij

▶ Rioleringsdatabank:

▶ Planning en toezicht op de waterzuiverings- en rioleringsinfrastructuur

▶ Berekening IE (inwonersequivalent)

▶ Oorsprong data: locale CAD gegevens (externe beheerders)

▶ Opslag in aan AWIS- geo- relationele databank (Informix)

Probleemstelling:

▶ Volledig manuele verwerking

▶ ArcMap Editertool werd ontwikkeld

▶ Operatoren editeren en zetten ‘s avonds klaar voorfeedback

▶ Nachtelijke validatie-processen (in Informix)

▶ Enkel alfanumerische contrôle (geen topologie)

▶ Volgende ochtend: email met feedback over fouten.

▶ Problemen met corrupte databestanden

▶ 20 VTE’s gedurenden maanden en maanden nodig om data te corrigeren.

Vraag:

▶ Automatische correctie mogelijk?

▶ Verbeteren validatieproces

▶ Onmiddellijke feedback

▶ Volledige validatie (ook topologie)

▶ Dataflow

▶ Vereenvoudigen, minder kopies

▶ Maar bestaande Informix databanken behouden

Oplossing:

Fase 1: Analyse

▶ Analyse beschikbara data

▶ Detectie van fouten

▶ Automatische correctie mogelijk?

▶ Uittesten van export en impot in Informix

▶ Resultaten

▶ Een deel van de fouten kunnen automatisch rechtgezet

worden

▶ FME kan correct data lezen en schrijven naar Informix

▶ Het is mogelijk om alle bestaande vaildatieregels te herschrijven

in FME en nog verder aan te vullen en te verbeteren.

▶ Betere en snellere gegevensstroom dankzij FME Server

Oplossing:

Fase 2: Geautomatiseerde data correcties

▶ Snapping

▶ Samenvoegen van (kleine) lijntjes in elkaar verlengde

▶ Indien in zelfde netwerk

▶ Rekening houden met attributen en kruisingen

▶ …

▶ Opsporen van oneindige lussen

▶ Resultaten

▶ 60426 segmenten werden « gesnapt »

▶ Aantal segmenten herleid tot 80 %

▶ Alle lussen werden opgespoord

▶ 100 % juistheid

Oplossing:

Fase 3: Verbeteren van de data flow

User/Editor

using ArcGIS

FME Server

Download MyData

Validate MyData

Upload MyData

Extract & Lock

Upload & Unlock

User uses web interface to

interact with FME

Author using FME Desktop to model

Validated

being edited

Data editor environment

FME Author environment

Publish Workbench

to FME Server

to be edited

Data ready

for upload

Database Server

Citrix

Network Disk

Server administrator

monitoring FME server

Log file

Informix

Spatial Datablade

Productie

Informix

Spatial Datablade

Staging

Cancel Download

Oplossing:

Fase 3: Kwaliteitscontrole en feedback

Rapport (HTML) Shapefiles

3434 Inleiding FME - 2015 - GIM

Voorbeeld:

Een segment mag zichzelf niet snijden

3535 Inleiding FME - 2015 - GIM

Voorbeeld:

Een segment mag zichzelf niet snijden

Conclusies:

▶ Behoud de werkende onderdelen uit de bestaande

oplossing:

▶ ArcMap Editeertool

▶ AWIS databank

▶ Bestaande Controletools

▶ Tijdswinst

▶ Dankzij automatische correcties

▶ Onmiddellijke feedback validatie

▶ Intelligent logbestand

▶ Onderhoud

▶ Eigen FME-specialist kan eenvoudig validatieregels toevoegen

of wijzigen

Data Integratie

Project AGIV

Aanmaak van het wegenregister

Data integratie: Wegenregister

Doelstelling:

▶ Combinatie van 2 data bronnen tot 1 netwerk

▶ GRB (AGIV)

▶ Geometrie: Primaire wegen (auto)

▶ Attributen: straatcode, verharding, morfologische wegklasse

▶ ITGI (NGI)

▶ Geometrie: Primaire en secundaire wegen (fiets- en

wandelwegen)

▶ Attributen: Breedte, aantal rijstroken, wegtype

Data integratie: Wegenregister

Resultaat:

Data Migratie

Project Brugis

Replicatie van databanken

Context:

▶ Geoportaal voor Brussels Gewest

▶ Referentie data in een Oracle Databank

▶ Geoserver wordt gebruikt om webservices te maken met data in een PostGIS databank

▶ Replicatie: Oracle -> PostGIS (elke nacht)

▶ 104 datalagen

Vraag:

▶ Geen onvolledige data in productieomgeving

▶ Geen onderbreking van bestaande services

▶ Geen FME Server

▶ Data in PostGIS worden gepubliceerd door geoserver

webservices

▶ Data in PostGIS worden geëditeerd in QGIS

Replication.bat

Oplossing:

Replicatie

Windows task schedulerElke nacht

Schema:tmpbrugis

CheckSchema:brugis

Notification:E-mail

Oplossing:

▶ Databank schema werd aangemaakt in PGAdmin

▶ Inclusief PK, FK, Procedures and triggers

▶ FME wordt gebruikt om de data uit PostGIS in te lezen in een

(eerste) tijdelijk schema (garantie continuïteit)

▶ Extra controle met FME:

▶ Controle of de replicatie geen problemen heeft gegeven

• Geen problemen: hernoem schema

• Wel problemen: Replicatie wordt niet uitgevoerd en e-mail wordt

uitgestuurd via een python caller. (FME Desktop)

Data Upload

Project SPW

Geoportaal

Opladen van data

Context:

▶ Update van het geoportaal ‘WalOnMap’

▶ Verschillende overheidsdiensten zijn verantwoordelijk

voor de inhoud en onderhoud van de data

▶ SPW (Le Service Public de Wallonie) is

verantwoordelijk voor het ter beschikking stellen van

de data

Opladen van data

Originele situatie en probleem:

▶ Overheidsdiensten nemen beslissing om data op WalOnMap

te publiceren

▶ Via een voornamelijk manueel proces stelt een operator

deze data te beschikking

▶ Deze data worden ingeladen in InfraSIG (Oracle)

Opladen van data

Vraag:

▶ Oplaadproces volledig automatiseren

▶ Geen gedeeltelijk upload toelaten

▶ Generische opladen (gemakkelijk te configureren)

▶ Automatische update van bijhorende metadata

▶ Gestuurd door web applicatie

Opladen van data

Resultaat:

Modulaire architectuur

▶ Generisch:

▶ Configuratie Opladen (CT)

▶ Contrôle kwaliteit geometrie (CT)

▶ Organisatie in Staging (WS)

▶ Bijwerken metadata (WS)

▶ Rapportage activiteiten (WS)

▶ Notifications

▶ Specifiek:

▶ Ad hoc data verwerkingen en aanpassingen

FME server beheert WS workflow

Opladen van data

Configuratie parameters:

▶ Een bestand met alle configuraties

▶ Wordt gelezen door een custom tranformer

Opladen van data

Automatische Kwaliteitscontrole:

▶ Self intersection

▶ Duplicate vertices

▶ Duplicate geometrie

▶ Slivers, slivers donut, point donut

▶ Spikes, donut spikes

▶ Niet gesloten polygonen

▶ Donut holes buiten de geometrie

▶ Snapping, overshoot, undershoot

Opladen van data

Updaten van InfraSIG databank:

▶ FULL, UPDATE, APPEND, MIXED

▶ Alles in 1 transactie

▶ Python script stelt dynamisch een SQL statement op

▶ Roll back mogelijkheid in geval van een fout

▶ 100% dans FME

Opladen van data

Workspace Manager:

▶ Ontvangt instructies voor een upload

▶ Datasets

▶ Producteur, email

▶ Stelt de parameters samen om deze dataset soepel op te

laden.

GIM en Safe software

▶ VAR-partner sinds 1999 (Value added reseller)

▶ Verdeler en contact binnen België

▶ Onderhoud en 1ste lijn support

▶ Informatie

▶ +- 10 FME gebruikers

▶ 3 FME Certified Professionals

▶ 2 FME Certified Trainers

FME opleidingen bij GIM

▶ Opleidingsmateriaal van Safe Software (Engelstalig)

▶ Lesgever = FME Certified Trainer

▶ Open Opleidingen

▶ FME Desktop Basis (2 dagen)

▶ FME Server Basis (2 dagen)

▶ Op aanvraag

▶ Advanced opleidingen

Meer informatie www.gim.be

Belgische FME referenties

Samenvatting: Waarom FME?

▶ Bespaar tijd en geld

▶ Het verwerken van data wordt kinderspel

▶ Verhoog de productiviteit

▶ Automatiseer processen

▶ Ga snel aan de slag

▶ Intuïtieve interface voor niet-programmeurs

▶ Haal meer uit uw data

▶ Combineer meerdere bronnen tot nieuwe informatie

▶ Verbeter de ETL processen

▶ Naar een performante en elegante datastroom

▶ Automatiseer uw taken

▶ Laat de computer het repetitieve werk doen.

Samenvatting

www.gim.bebruno.delat@gim.be

FME World Tour 2015: (NL) Inleiding tot FME voor IT & Managers

Software

Transcript of FME World Tour 2015: (NL) Inleiding tot FME voor IT & Managers

2015 Bc Edital 4 Fme

Acht tips voor beginnende managers

FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data

2013-114 - VACATURES - managers

FACET Academy - geen managers

Opstart ontwikkeling managers

BLMC Interim Management & Interim Managers

HRM Reviews Handleiding voor Managers

Murphy voor managers

FME World Tour 2016: intro by GIM

FME Adviesgroep

Vreemd gaan voor managers

FME World Tour 2015: (NL) IMKL writer voor FME

Iron Managers

Masterclass 23dingen Voor Managers

MAATWERK VOOR PLOEGENDIENST VITAAL IS GOED … TNO FME... · Dit is een gezamenlijke uitgave van TNO en FME. Leiden/Zoetermeer, 19 november 2014 Inhoud ... worden aangetast door een

Tour Report

Werkvormen Voor Managers 091023161135 Phpapp02

FME World Tour 2016: Ontdek FME (GIM)

Jongejan Academy - geen managers