Data gedreven innoveren, hoe doe je dat?

About me

1990 Database Marketing2000 Customer Intelligence2010 BI & Data WarehousesToday: Big Data Analytics

Advanced Business Intelligence

Data Science Big Data Engineering

TRUSTED BY

Data lab Data Factory

• Innoveren

• Ontdekken

• Creativiteit

• Produceren

• Borgen

• Beheersbaarheid

Top 3

Big Data Innovatie Aanpak

Data lab Data Factory

Van waardevol idee naar waarde propositie

Waarde

Geclusterde ideeën

Value Proposition

Fears: Niet op het juiste moment op de juiste plek zijn

Needs: Weten waar en wanneer ingebroken wordt

Features: Hoeveel inbraken zijn er te verwachten in de verschillende buurtenop basis van veranderende omstandigheden (inbraken in de buurt, weer, evenementen) & kenmerken (woning, buurt)

Experience: Heatmapmet inbraakkans van de dag. Projecteren in briefing room

Benefits: Een dag vooruit voorspellen in welke wijk er verhoogde kans op inbraak is

Dienst Handhaving

Wants:Handhaven waar het relevant is

Woninginbraak Voorspeller

Van waarde propositie naar uitvoerbaar experiment

CRISP-DM

Cross Industry Standard Process for Data Mining• Cyclisch proces

• Onderscheid verschillende stappen

• Geeft houvast voor resourcing, tooling, skills

Business understanding• Begrijpen van de business uitdaging• Vertalen in een Datamining aanpak• Definiëren van succes factoren

• Bijvoorbeeld:– Kunnen we voorspellen welke klanten

gaan weglopen?– Welke factoren zijn bepalend?

• Gedrag• Persoonseigenschappen• Omgevingseigenschappen

Data Understanding

• Welke data lijkt relevant?

• Welke data is beschikbaar?

• In welke vorm, kwaliteit, historie, dichtheid?

• Eerste data exploratie kan al verrassende inzichten bieden

Data collection sources • Transactional • Time phased data• CRM

StructuredData

• Social• Channel• Customer Service• Warranty

UnstructuredData

• Temperature• RFID• GPS• Accelerometer

• Mapping and GPS• Video• Voice• Digital images

SensorData

Other Data Types

Data Preparation• Opschonen, koppelen en prepareren

van de data

• = 80% van het werk !

• En: Verschillende modellen vragenom verschillende data representaties

• Omgaan met verschillende data types, missing values, normaliseren

• Select, clean, transform, join…

Modeling

• Data Mining

• Verschillende modellen uitproberen

• Trade-off:– Performance

– Toepasbaarheid

– Begrijpelijkheid

Evaluation– Evalueren van voorspelkracht en

fit met de business doelen

– Tunen en verbeteren

– Interpretatie van het model

Hot: Combineren van verschillendemodellen op verschillende stukkendata (ensemble modelling)

DeploymentImplementatie, “in “produktie brengen”• Onderdeel maken van (geautomatiseerd)

bedrijfsproces

• Continue datafeed nodig

• Modellen leren bij op nieuwe data

Voorbeelden:

• “Next best action” adviseren aan call center medewerker

• Geautomatiseerd aansturen van banners

PROJECTVOORBEELD

Voorspellen woninginbraakDoel

Hoeveel inbraken zijn er te verwachten in de verschillende buurtenop basis van veranderende omstandigheden (inbraken in de buurt, weer, evenementen) & kenmerken (woning, buurt)

ToepassingHet aantal te verwachten inbraken vertalen naar:• Gerichte inzet van toezicht & handhaving• Voorlichting kwetsbare groepen en buurten• Gericht preventief beleid, samen met partners (politie, corporaties)• Inrichting nieuwe wijken

Business Understanding• Wat weten we van Panden en hun

omgeving?• Wat zijn volgens domeinexperts belangrijke

factoren bij het kiezen van een inbraaklocatie en tijdstip?

• Wat mogen we weten van inbrekers en hun gedrag?

Data Understanding• Basisregistratie Adressen en Gebouwen (BAG)• Basisregistratie Personen (BRP, voorheen GBA) • Demografie (leeftijd, geslacht, opleiding, inkomen..) • Locaties lantarenpalen & groen • Aanwezigheid kliko’s• Camera locaties • Bewonersmeldingen openbare orde• Woninginbraakmonitor (2012 – 2015) Politie• Dagmonitor (2010 – 2015) Politie• Politiekeurmerk Veilig Wonen uitgiftes

Weersomstandigheden (2011 – 2015) per dag, per uur & per wijk: KNMI

• Evenementenkalender, vakanties, feestdagen

Privacy

Modeleren en Evalueren

Modeling Evaluation

Van voorspellen naar bruikbare informatie

Dashboarding:

• Heatmap van voorspellingen• Trends• Invloed van maatregelen inzichtelijk maken• Relevante variabelen per buurt• Statistieken van voorgaande inbraken

– Methodiek, tijdstip, etc.

• Uiteindelijk draait het om de eindgebruiker– Wat is nuttig?

Data lab

DATALAB NADER BEKEKEN

InnoverenOntdekkenCreativiteit

Wat komt er kijken bij een Big Data experiment

• Waardevolle ideeën• Domeinkennis• Data

• Data Science kennis• Mensen• Middelen

-> Opleidingen-> Trainees-> Het Datalab !!

Het lab in de vorige eeuw

Een Datalab

• Veilig en snel experimenteren

• Rendement uit Data en Data Scientists

– Samenwerking, best practices sharing,

– Code and Data sharing (hergebruik van code en data)

– Meer tijd voor Data Science (minder IT gedoe)

• Drempel verlagen naar in productiename

Data verzamelen • Transactional • Time phased data• CRM

StructuredData

• Social• Channel• Customer Service• Warranty

UnstructuredData

• Temperature• RFID• GPS• Accelerometer

• Mapping and GPS• Video• Voice• Digital images

SensorData

Other Data Types

Data structureren

Een activity log

Zien wat je collega’s doen

Best practices delenCode

Datasets

Visuele tools versus command line

Radoop = RapidMiner + Hadoop

RapidMiner: Code Free Analytics on Hadoop

DataLABOntwerpt u mee?

Ontwerp je lab

• Jullie wensen

• Functionaliteit

• Hosting naar keuze

Aan de slag

• Met experimenten aan de slag

• Hergebruik van data en code

• Data Science support

• Onbeperkt opschalen van opslag en rekenkracht

Data etalage

• Gemeentelijke data

• Weer en evenementen

• Social Media

• ….

martijn@xomnia.com

Hard working and having fun