Download - BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Transcript
Page 1: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

BIG DATA

Afvalmanagement

Stad Antwerpen - Winpol

Koen Bogaert

Page 2: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

• Big data – definitie

• Context van big data in stad Antwerpen

• Voorbereiding tot big data

• Big data in praktijk

• Big data in de toekomst

Agenda

Page 3: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

“Men spreekt van big data wanneer men werkt met een of meer datasets die te groot zijn om met reguliere databasemanagementsystemen onderhouden te worden”

Niet de snelheid of de omvang dat telt – maar de nieuwe inzichten = de meerwaarde van big data !

Big data = betere data

Volgens wikipedia

Definitie Big Data

Page 4: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

https://www.youtube.com/watch?time_continue=22&v=tPkKemx6NxU

Acpaas = Antwerp City Platform as a Service

Context

Page 5: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Acpaas: herbruikbare softwareblokjes

Page 6: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Informatieveiligheid: privacy & securityDatamanagement

Smart city sensoren

Data van buiten de groep

Data van binnen de groep

Data lake

GEO-database

Datawarehouse

^Realtime / operationele data

ORBA

^Traditionele strategische & operationele data

Page 7: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Voorbereiding tot gebruik big data

Page 8: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

-Verschillende moedersystemen-Geavanceerd vs oubollig

-Alle systemen produceren veel data-Data in allerlei vormen

-Verschillende soorten van aanleverwijze (zie systemen)-Push/pull, ftp, pdf via mail, xls, handgeschreven nota’s

-Wisselende markt qua aanbieders (ref. raamcontracten)-Kans op om de 4jaar nieuwe systemen te borgen

Veel, maar…

Page 9: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Digitale pakhuis = datawarehouse

• Verhoging datakwaliteit via analyse en bouwen rapporten

• Cross over rapporten: over moedersystemen heen- Surplus naar active reporting + Cumul.io

• Één unieke bron – dataverzameling

• Koppelen met andere databronnen via kopie van andere datapackages

Financieel: 100K jaarlijks

→ Begeleiding extern, ontwikkeling nieuwe “sterren”, koppeling systemen

Inzet personeel: 1,2 VTE per jaar

→ 0,2 VTE extern en 1 VTE intern

Oplossing?

Page 10: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Datamanagement in afvalbeheer

Page 11: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

-In kaart brengen van alle data leveranciers

-Verzamelen van data afvalverwerkers

-Inzetten op automatische upload van data:

-Via ftp, csv, push-pull, bi-omgeving afvalverwerker

-Van manueel naar vol automatisch

1ste stap

Aanpak opstart Datawarehouse

Page 12: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Wilrijk

Willebroek

Kaai 271

Afvalstromen per fractie 2016

Edegem

Haven

Merksem / Hoboken

HobokenMerksem

Kaai 271

Kaai 271

Doel

Kaai 271

BrechtGentHaven

slibveld

Grimbergen

Page 13: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Opslag en verwerking van de verschillende databronnen

Koppelen met bestaande datasets binnen de stad

2de stap

Opstart aanpak datawarehouse (II)

Page 14: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Visuele voorstelling

Datawarehouse ProperOSS 2.0

Grofvuil-toepassing

Avias

CRS-Persoon

Data voertuigen Grofvuil H-A-H Persoonsgegevens

Registratiescontainerparken

Betalingen en transacties OSS

Inkomsten

Sjablonen SR-OSS-CDData afvalverwerkersVeegplannen

Metingen StraatbeeldData afvalverwerkers

Data afvalverwerkers

Zuilbewegingen OSSData

afvalverwerkers ( Data afvalverwerkers (

Track en Trace data Fleet Complete

GISARC GISonline

Studiedienst Antwerpendemografische informatie, SPSS-analyses

Andere datamarkten: sensibilisatie (GAS), personeel,

IOT: sensordata: sensoren sorteerstraat, big belly, openbare vuilnisbak

Page 15: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Resultaat van de 2de stap

Page 16: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Ontsluiten via rapporten, dashboard,…

Dashboard ondergrondse sorteerstraten

3de stap

Opstart aanpak datawarehouse (III)

Page 17: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

• Afvalverwerkers: tonnages, fracties,…

• Werkplanning – ronde-info

• Straatbeeldmetingen properheid: parameters

• Inzamelobjecten: OSS, papiermanden, containerparken

• Vulgraden, fracties, volume, ….

• Voertuigenportefeuille: beschikbaarheid voertuigen, track en trace, specificaties voertuigen,

• Klantenmanagement: meldingbeheer, klachtenbeheer,..

Beschikbare data in DWH - afvalbeheer

Page 18: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Verhoging tonnage steenpuin bij Hooge Maey Tonnage steenpuin in Q2 2017

• Data afvalverwerkers

• Data SAP

• Data operationele planning

RESULTAAT: kostenbesparing

Foutdetectie

Big data – een meerwaarde - financieel

Page 19: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

-Data verwerkers

-Data voertuigen

-Data operationele planning

Resultaat = operationele impact – hands on

Overbeladingsrapport

Big data – meerwaarde - intern

Page 20: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Vroeger = kluwen, chaos, atoma-schriftjes

Nu = gestructureerd, historiek, officiële communicatiebron,

DATA: afvalverwerkers, containerparken

Resultaat = tijdswinst: verwerking en opzoekwerk + uniforme taal

Invullen jaarlijkse OVAM-enquête

Big Data – Meerwaarde - extern

Page 21: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Data

- Inzetbaarheid voertuigen

- Klachten en meldingenbeheer

- Personeelsinzet

- Properheid straat

- Financieel – facturatie

Dashboard dirteam + weekrapport

Big data – Meerwaarde voor hoger kader

Page 22: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Big data – Meerwaarde voor hoger kader

Page 23: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

123 sensoren in openbare vuilnisbakken

Forecasting sensor – aansturen werking

Resultaat: optimalisatie dienstverlening + lessons learned voor volgende project

Vulgraadsensoren in papiermanden(Proefproject Antwerpen-Zuid)

Big data - Meerwaarde – IOT

Page 24: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Vulgraadsensoren in papiermanden

Big data – Meerwaarde IOT (II)

Sensoren & software▪ Proefproject 123 sensoren in Antwerpen-zuid▪ Vulgraad, ledigingsrapporten, alarmen, dashboard, kaartweergave

Page 25: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Vulgraadsensoren in papiermanden

Sensoren in afvalbakken

0

200

400

600

800

1000

0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-99 100

Aan

tal l

ed

igin

gen

Vullingsgraad (%) bij lediging

Minder onnodige ledigingen

▪ Effectieve ledigingsfrequentie volgens ledigingsrapporten (vergelijking periode 1 en 2)

0

200

400

600

800

1000

0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-99 100

Aan

tal l

ed

igin

gen

Vullingsgraad (%) bij lediging

Onnodige ledigingen

Figuur 1: Bij theoretische lediging (zonder sensoren)

Figuur 2: Bijsturing lediging door sensoren met alarm op 80%

Page 26: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Sensoren in afvalbakken

Bevindingen

▪ + Vermijden van onnodige ledigingen

▪ - Voorkomen van laattijdige ledigingen

▪ ? Effect buiten proefgebied

Vulgraadsensoren in papiermanden

Page 27: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Realtime toepassing → focus op controle

Stand - alone

Beleidsinformatie

• veel parameters – ongebruikte data

• geen koppeling met planning

Track en trace voertuigendata

Big data – minder waarde - overload data

Page 28: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Vulgraadsensoren in Big Belly’s

Big data – minder waarde – extra analyse

Sensoren & software▪ Uitrol op locaties met capaciteitspieken▪ Vulgraad, ledigingsrapporten, alarmen, dashboard, kaartweergave

Page 29: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Vulgraadsensoren Big Belly

Big data – minder waarde – extra analyse

0.0

1.0

2.0

3.0

4.0

5.0

6.0

Ma Di Wo Do Vr Za Zo

Aantal ledigingen

Aantal ledigingen bij 100%

Page 30: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Big data – minder waarde – extra analyse

Intensief gebruik, vaak te laat: capaciteit?

Operationeel bijsturen?

Onnodige ledigingen

Laag gebruik

Page 31: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Data planning

Data weerstations

Minpunt

Voor analyse – nood aan historische data

Verwachte neerslag,…

Bijkomende analyse

Big data – minder waarde – extra analyse

Page 32: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Data track en trace

Data financieel

Data afvalverwerkers

Data voertuigdata

Geen data beschikbaar van

- Handhaving en toezicht (pas veel later beschikbaar)

- Privacy-issues

Evaluatie Ondergrondse Sorteerzuilen

Big data – minder waarde: gebrek aan data

Page 33: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Data:

- GIS-data

- Track en trace

- To do App (lees: Ato App)

Minpunt

- Ontbreken van data v/d planning

- POC – datakwaliteit was zeer laag

Optimalisatie containerdienst

Big data- minder waarde – datakwaliteit

Page 34: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

• Uitbreiden dataverzameling

• Opsmuk datakwaliteit

• Inzetten in meer automatisch koppelen

IOT – usercases

• Smartzone Sint-Andries: Aptus – afvalmeting in vuilniswagen

• Sneeuw en ijzel – realtime zichtbaarheid van gestrooide routes

• Digital twin: verlenen van medewerking

Realtime Afvalbeheer

→ https://app.cumul.io/s/dashboard-afvalbeheer-gh850jmy

Lopende projecten

Page 35: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

• GDPR – privacy

• Geografische plug in – ESRI

• Dynamische rapportering

• IOT

• Maturiteit datamanagement (risico-analyses)

• Route-optimalisaties

• Data in functie van optimalisatie

• Nu voorlopig focus op datastroom optimalisatie niet zozeer op proces optimalisatie

Waar lopen we tegen aan ?

Page 36: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

• Verder experimenteren met real-time data

• Mogelijkheid bekijken - ref smartzone (slimme buurt) + koppeling Geografische informatie GIS

• Toepassen van technologie inzake beeldherkenning: oa: appvoor meldingen straatbeeld en camera’s in GFT-sorteerzuil

• Verder inzetten op API’s om data automatisch te uploaden

• Verrijken van data - over datawarehouses heen

• Open data + GPDR (gegevensbescherming) richtlijnen goed bewaken

• Nieuwe applicaties: bv routemanagementsysteem

Big data – eindig ?

Page 37: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen

Vragen