Data ontsluiten...mág dat?

42
Harald Kikkers [email protected] I T C G IT Consultancy Group bv Friesestraatweg 215 9743 AD Groningen maar mág het ook?

description

Ze bestaan. De organisaties die wel in staat zijn hun databronnen te ontsluiten, hun BI-processen in te richten en die over meer dan voldoende analyse-power en slimme tools beschikken om het laatste drupje aan nuttige informatie nog uit hun data te persen. Maar ook die organisaties hebben nog een uitdaging, als met het gebruik van die data wordt ingegaan tegen bijvoorbeeld de eigen richtlijnen m.b.t. data-veiligheid en/of de privacy-wetgeving. Wat zijn de risico's? Hoe zijn die risico's te managen? En kan van zo'n probleem ook een kans worden gemaakt? Want ook hier geld(t): 'BI means Business'!

Transcript of Data ontsluiten...mág dat?

Page 1: Data ontsluiten...mág dat?

Harald Kikkers

[email protected] I T C G

IT Consultancy Group bv

Friesestraatweg 215

9743 AD Groningen

…maar mág het ook?

Page 2: Data ontsluiten...mág dat?

I T C G …maar mág het ook?

2

Harald

Kikkers ITCG | DATPROF

Page 3: Data ontsluiten...mág dat?

I T C G Overeenkomst tussen…

3

ig Data

usiness Intelligence ?

&

Page 4: Data ontsluiten...mág dat?

I T C G De letter…

4

Page 5: Data ontsluiten...mág dat?

I T C G En zou je een “B” film maken…

5

Bron: http://www.pastemagazine.com/.../the-100-best-b-movies-of-all-time.html

39. Shark Attack 3: Megalodon

(2002 / David Worth)

32. The Incredible Shrinking Man

(1967 / Jack Arnold)

18. Braindead

(1992 / Peter Jackson)

Page 6: Data ontsluiten...mág dat?

I T C G Business case voor B-films?

• Vele liefhebbers

• ‘Bewezen technieken’, voldoende matige acteurs

• Goedkoop

• Positieve business case

– Duidelijk doel

– Lage kosten

– Goed haalbaar

6

Page 7: Data ontsluiten...mág dat?

I T C G Big data & BI projecten

Onduidelijkheid? “NEE!”

versie-nummer 7

usiness case?

Doel Haalbaarheid Voordelen Kosten

Page 8: Data ontsluiten...mág dat?

I T C G Peter Jackson…

8

Braindead (1992), maar ook…

Page 9: Data ontsluiten...mág dat?

I T C G The Lord of the Rings

Doel

• A-film / blockbuster

Haalbaarheid

• Techniek garandeert succes?

Business case?

9

Page 10: Data ontsluiten...mág dat?

I T C G Suggestie / werkelijkheid?

10

Kunst-project BI-project

Page 11: Data ontsluiten...mág dat?

I T C G Betrouwbaarheid informatie!

11

Business Case

Doel

Betrouwbaarhei

d

Informatie

Kosten Haalbaarheid

Page 12: Data ontsluiten...mág dat?

I T C G Betrouwbaarheid

12

Page 13: Data ontsluiten...mág dat?

I T C G Big Data = uitdaging!

13

Page 14: Data ontsluiten...mág dat?

I T C G LOFAR

14

Page 15: Data ontsluiten...mág dat?

I T C G LOFAR – data & proces

15

Glasvezel

verbindingen

Duizenden antennes

A/D-converters Super computer

Wetenschappelijke

analyse

Page 16: Data ontsluiten...mág dat?

I T C G Universitair medisch centrum

versie-nummer 16

Zorg, onderzoek & onderwijs

Systemen Foto’s, tekst en tabellen

Clinical Data Repository

Page 17: Data ontsluiten...mág dat?

I T C G Problemen oneerlijk verdeeld?

• Gelukkig niet

• Ook ‘Small Data’ projecten

bieden geweldige faal-kansen!

• Data-problemen

• Proces-problemen

17

Facebook Google

amazon.com

Page 18: Data ontsluiten...mág dat?

I T C G Informatie-snoepwinkel…

18

Page 19: Data ontsluiten...mág dat?

I T C G Wie ben ik? Wat wil ik?

19

Vernieuwer?

Volger

?

Page 20: Data ontsluiten...mág dat?

I T C G Chocola van te maken…?

20

Bron

Blok D.

Piet Z.

Klaas S.

D. Blok

V

M

M

F

Man G.H. M

Naam Geslacht Orderbedrag Valuta

EUR

EUR

DKK

EUR

EUR

25

100

250

50

75

Aantal klanten?

(zelfde naam en geslacht) Gemiddelde besteding?

10

0

12

5

16

7

57 71 95

5 4 3

Page 21: Data ontsluiten...mág dat?

I T C G Proces-problemen

21

Page 22: Data ontsluiten...mág dat?

I T C G Onderken én elimineer bedreigingen!

• Vele (vaak ogenschijnlijk klein)

• Kunnen jouw dag verpesten!

22

Page 23: Data ontsluiten...mág dat?

I T C G Kunnen wij het maken?

• Juiste architectuur kiezen

• Data- en proces-problemen onderkennen én oplossen

• Binnen beperkte tijd

• Tegen beperkte kosten

23

Page 24: Data ontsluiten...mág dat?

I T C G

Kenmerken bronnen

• Aantal bronnen?

• Mate van overlap?

• Complexiteit meta-data?

• Hoeveelheid data?

• Mutatiegraad en aanwas?

• Kwaliteit data?

Kenmerken gebruiksdoel

• Vaste of variabele vraag?

• Continue of periodieke

opvraging?

• Aggregatie of details?

• Indicatief of exact?

• Historisch of actueel?

24

Architectuur

Page 25: Data ontsluiten...mág dat?

I T C G Architectuur: Historie…?

25

Ja hoor, we

ondersteunen

historie!

…van meta data?

…van transformatieregels?

…van brondata?

…van afgeleide gegevens?

…van mutaties op brondata?

…van mutaties op afgeleide gegevens?

…?

Page 26: Data ontsluiten...mág dat?

I T C G

H S E

Veel bronnen?

• Sturen op genericiteit koppelvlakken

– Afspraken (GLO’s)

– Ontkoppeling

– Techniek

26

E S H E S H

Page 27: Data ontsluiten...mág dat?

I T C G

H L E

Complexe meta-data?

27

E L H E L H M M M

Meta Data

T T T

O O O

Q Q Q

Software generatie

Page 28: Data ontsluiten...mág dat?

I T C G Doel en middel

28

Page 29: Data ontsluiten...mág dat?

I T C G Optimaliseren maak-proces

• Meteen focus op data kwalitiet (geen GI-GO!)

• AGILE methode (iteratief!)

• Big vertraging door testen met Big Data?

29

AGILE bouw

Big Data test

Page 30: Data ontsluiten...mág dat?

I T C G Small Data test

30

AGILE bouw

‘Small Data’ test

AGILE bouw

Big Data test

Page 31: Data ontsluiten...mág dat?

I T C G Testen met subsets

31

S

Page 32: Data ontsluiten...mág dat?

I T C G Kunnen wij het maken?

32

“JA!!!”

AGILE

Tooling

Snelheid

Performance

Betrouwbaarheid “Alles in place”

Productiviteit

Efficiency

Binnen budget

Duidelijke doelstelling

Op planning

Architectuur

Page 33: Data ontsluiten...mág dat?

I T C G …maar mág het ook?

33

Eigen organisatie

Publiek Wet- en regelgeving

Gevoelige data?

Page 34: Data ontsluiten...mág dat?

I T C G Eigen organisatie

34

Page 35: Data ontsluiten...mág dat?

I T C G Publiek

35

Page 36: Data ontsluiten...mág dat?

I T C G Wet- en regelgeving

36

Page 37: Data ontsluiten...mág dat?

I T C G Business case – Kosten gevoelige

data

37

Risico’s

• Imago-schade

• Reputatie-schade

• Geldboetes

Maatregelen

• Beveiliging

• Screening

• Subsetting

• Anonimisering

• …

Page 38: Data ontsluiten...mág dat?

I T C G Geanonimiseerd testen

38

S

S

A

Page 39: Data ontsluiten...mág dat?

I T C G Anonimisering

39

‘Blank’ ‘Blur’ ‘Shuffle’ ‘Subset’

Page 40: Data ontsluiten...mág dat?

I T C G Geanonimiseerde analyse

40

A

Page 41: Data ontsluiten...mág dat?

I T C G Samenvatting

41

Business case? Kunnen wij het maken? …maar mág het ook?

Page 42: Data ontsluiten...mág dat?

I T C G Napraten…

42

E L

H

T

O

Q S

A

M