Download - Data ontsluiten...mág dat?

Harald Kikkers

[email protected] I T C G

IT Consultancy Group bv

Friesestraatweg 215

9743 AD Groningen

…maar mág het ook?

I T C G …maar mág het ook?

2

Harald

Kikkers ITCG | DATPROF

I T C G Overeenkomst tussen…

3

ig Data

usiness Intelligence ?

&

I T C G De letter…

4

I T C G En zou je een “B” film maken…

5

Bron: http://www.pastemagazine.com/.../the-100-best-b-movies-of-all-time.html

39. Shark Attack 3: Megalodon

(2002 / David Worth)

32. The Incredible Shrinking Man

(1967 / Jack Arnold)

18. Braindead

(1992 / Peter Jackson)

I T C G Business case voor B-films?

• Vele liefhebbers

• ‘Bewezen technieken’, voldoende matige acteurs

• Goedkoop

• Positieve business case

– Duidelijk doel

– Lage kosten

– Goed haalbaar

6

I T C G Big data & BI projecten

Onduidelijkheid? “NEE!”

versie-nummer 7

usiness case?

Doel Haalbaarheid Voordelen Kosten

I T C G Peter Jackson…

8

Braindead (1992), maar ook…

I T C G The Lord of the Rings

Doel

• A-film / blockbuster

Haalbaarheid

• Techniek garandeert succes?

Business case?

9

I T C G Suggestie / werkelijkheid?

10

Kunst-project BI-project

I T C G Betrouwbaarheid informatie!

11

Business Case

Doel

Betrouwbaarhei

d

Informatie

Kosten Haalbaarheid

I T C G Betrouwbaarheid

12

I T C G Big Data = uitdaging!

13

I T C G LOFAR

14

I T C G LOFAR – data & proces

15

Glasvezel

verbindingen

Duizenden antennes

A/D-converters Super computer

Wetenschappelijke

analyse

I T C G Universitair medisch centrum

versie-nummer 16

Zorg, onderzoek & onderwijs

Systemen Foto’s, tekst en tabellen

Clinical Data Repository

I T C G Problemen oneerlijk verdeeld?

• Gelukkig niet

• Ook ‘Small Data’ projecten

bieden geweldige faal-kansen!

• Data-problemen

• Proces-problemen

17

Facebook Google

amazon.com

I T C G Informatie-snoepwinkel…

18

I T C G Wie ben ik? Wat wil ik?

19

Vernieuwer?

Volger

?

I T C G Chocola van te maken…?

20

Bron

Blok D.

Piet Z.

Klaas S.

D. Blok

V

M

M

F

Man G.H. M

Naam Geslacht Orderbedrag Valuta

EUR

EUR

DKK

EUR

EUR

25

100

250

50

75

Aantal klanten?

(zelfde naam en geslacht) Gemiddelde besteding?

10

0

12

5

16

7

57 71 95

5 4 3

I T C G Proces-problemen

21

I T C G Onderken én elimineer bedreigingen!

• Vele (vaak ogenschijnlijk klein)

• Kunnen jouw dag verpesten!

22

I T C G Kunnen wij het maken?

• Juiste architectuur kiezen

• Data- en proces-problemen onderkennen én oplossen

• Binnen beperkte tijd

• Tegen beperkte kosten

23

I T C G

Kenmerken bronnen

• Aantal bronnen?

• Mate van overlap?

• Complexiteit meta-data?

• Hoeveelheid data?

• Mutatiegraad en aanwas?

• Kwaliteit data?

Kenmerken gebruiksdoel

• Vaste of variabele vraag?

• Continue of periodieke

opvraging?

• Aggregatie of details?

• Indicatief of exact?

• Historisch of actueel?

24

Architectuur

I T C G Architectuur: Historie…?

25

Ja hoor, we

ondersteunen

historie!

…van meta data?

…van transformatieregels?

…van brondata?

…van afgeleide gegevens?

…van mutaties op brondata?

…van mutaties op afgeleide gegevens?

…?

I T C G

H S E

Veel bronnen?

• Sturen op genericiteit koppelvlakken

– Afspraken (GLO’s)

– Ontkoppeling

– Techniek

26

E S H E S H

I T C G

H L E

Complexe meta-data?

27

E L H E L H M M M

Meta Data

T T T

O O O

Q Q Q

Software generatie

I T C G Doel en middel

28

I T C G Optimaliseren maak-proces

• Meteen focus op data kwalitiet (geen GI-GO!)

• AGILE methode (iteratief!)

• Big vertraging door testen met Big Data?

29

AGILE bouw

Big Data test

I T C G Small Data test

30

AGILE bouw

‘Small Data’ test

AGILE bouw

Big Data test

I T C G Testen met subsets

31

S

I T C G Kunnen wij het maken?

32

“JA!!!”

AGILE

Tooling

Snelheid

Performance

Betrouwbaarheid “Alles in place”

Productiviteit

Efficiency

Binnen budget

Duidelijke doelstelling

Op planning

Architectuur

I T C G …maar mág het ook?

33

Eigen organisatie

Publiek Wet- en regelgeving

Gevoelige data?

I T C G Eigen organisatie

34

I T C G Publiek

35

I T C G Wet- en regelgeving

36

I T C G Business case – Kosten gevoelige

data

37

Risico’s

• Imago-schade

• Reputatie-schade

• Geldboetes

Maatregelen

• Beveiliging

• Screening

• Subsetting

• Anonimisering

• …

I T C G Geanonimiseerd testen

38

S

S

A

I T C G Anonimisering

39

‘Blank’ ‘Blur’ ‘Shuffle’ ‘Subset’

I T C G Geanonimiseerde analyse

40

A

I T C G Samenvatting

41

Business case? Kunnen wij het maken? …maar mág het ook?

I T C G Napraten…

42

E L

H

T

O

Q S

A

M