Data ontsluiten...mág dat?

Post on 04-Jul-2015

698 views 1 download

description

Ze bestaan. De organisaties die wel in staat zijn hun databronnen te ontsluiten, hun BI-processen in te richten en die over meer dan voldoende analyse-power en slimme tools beschikken om het laatste drupje aan nuttige informatie nog uit hun data te persen. Maar ook die organisaties hebben nog een uitdaging, als met het gebruik van die data wordt ingegaan tegen bijvoorbeeld de eigen richtlijnen m.b.t. data-veiligheid en/of de privacy-wetgeving. Wat zijn de risico's? Hoe zijn die risico's te managen? En kan van zo'n probleem ook een kans worden gemaakt? Want ook hier geld(t): 'BI means Business'!

Transcript of Data ontsluiten...mág dat?

Harald Kikkers

ha.kikkers@itcg.nl I T C G

IT Consultancy Group bv

Friesestraatweg 215

9743 AD Groningen

…maar mág het ook?

I T C G …maar mág het ook?

2

Harald

Kikkers ITCG | DATPROF

I T C G Overeenkomst tussen…

3

ig Data

usiness Intelligence ?

&

I T C G De letter…

4

I T C G En zou je een “B” film maken…

5

Bron: http://www.pastemagazine.com/.../the-100-best-b-movies-of-all-time.html

39. Shark Attack 3: Megalodon

(2002 / David Worth)

32. The Incredible Shrinking Man

(1967 / Jack Arnold)

18. Braindead

(1992 / Peter Jackson)

I T C G Business case voor B-films?

• Vele liefhebbers

• ‘Bewezen technieken’, voldoende matige acteurs

• Goedkoop

• Positieve business case

– Duidelijk doel

– Lage kosten

– Goed haalbaar

6

I T C G Big data & BI projecten

Onduidelijkheid? “NEE!”

versie-nummer 7

usiness case?

Doel Haalbaarheid Voordelen Kosten

I T C G Peter Jackson…

8

Braindead (1992), maar ook…

I T C G The Lord of the Rings

Doel

• A-film / blockbuster

Haalbaarheid

• Techniek garandeert succes?

Business case?

9

I T C G Suggestie / werkelijkheid?

10

Kunst-project BI-project

I T C G Betrouwbaarheid informatie!

11

Business Case

Doel

Betrouwbaarhei

d

Informatie

Kosten Haalbaarheid

I T C G Betrouwbaarheid

12

I T C G Big Data = uitdaging!

13

I T C G LOFAR

14

I T C G LOFAR – data & proces

15

Glasvezel

verbindingen

Duizenden antennes

A/D-converters Super computer

Wetenschappelijke

analyse

I T C G Universitair medisch centrum

versie-nummer 16

Zorg, onderzoek & onderwijs

Systemen Foto’s, tekst en tabellen

Clinical Data Repository

I T C G Problemen oneerlijk verdeeld?

• Gelukkig niet

• Ook ‘Small Data’ projecten

bieden geweldige faal-kansen!

• Data-problemen

• Proces-problemen

17

Facebook Google

amazon.com

I T C G Informatie-snoepwinkel…

18

I T C G Wie ben ik? Wat wil ik?

19

Vernieuwer?

Volger

?

I T C G Chocola van te maken…?

20

Bron

Blok D.

Piet Z.

Klaas S.

D. Blok

V

M

M

F

Man G.H. M

Naam Geslacht Orderbedrag Valuta

EUR

EUR

DKK

EUR

EUR

25

100

250

50

75

Aantal klanten?

(zelfde naam en geslacht) Gemiddelde besteding?

10

0

12

5

16

7

57 71 95

5 4 3

I T C G Proces-problemen

21

I T C G Onderken én elimineer bedreigingen!

• Vele (vaak ogenschijnlijk klein)

• Kunnen jouw dag verpesten!

22

I T C G Kunnen wij het maken?

• Juiste architectuur kiezen

• Data- en proces-problemen onderkennen én oplossen

• Binnen beperkte tijd

• Tegen beperkte kosten

23

I T C G

Kenmerken bronnen

• Aantal bronnen?

• Mate van overlap?

• Complexiteit meta-data?

• Hoeveelheid data?

• Mutatiegraad en aanwas?

• Kwaliteit data?

Kenmerken gebruiksdoel

• Vaste of variabele vraag?

• Continue of periodieke

opvraging?

• Aggregatie of details?

• Indicatief of exact?

• Historisch of actueel?

24

Architectuur

I T C G Architectuur: Historie…?

25

Ja hoor, we

ondersteunen

historie!

…van meta data?

…van transformatieregels?

…van brondata?

…van afgeleide gegevens?

…van mutaties op brondata?

…van mutaties op afgeleide gegevens?

…?

I T C G

H S E

Veel bronnen?

• Sturen op genericiteit koppelvlakken

– Afspraken (GLO’s)

– Ontkoppeling

– Techniek

26

E S H E S H

I T C G

H L E

Complexe meta-data?

27

E L H E L H M M M

Meta Data

T T T

O O O

Q Q Q

Software generatie

I T C G Doel en middel

28

I T C G Optimaliseren maak-proces

• Meteen focus op data kwalitiet (geen GI-GO!)

• AGILE methode (iteratief!)

• Big vertraging door testen met Big Data?

29

AGILE bouw

Big Data test

I T C G Small Data test

30

AGILE bouw

‘Small Data’ test

AGILE bouw

Big Data test

I T C G Testen met subsets

31

S

I T C G Kunnen wij het maken?

32

“JA!!!”

AGILE

Tooling

Snelheid

Performance

Betrouwbaarheid “Alles in place”

Productiviteit

Efficiency

Binnen budget

Duidelijke doelstelling

Op planning

Architectuur

I T C G …maar mág het ook?

33

Eigen organisatie

Publiek Wet- en regelgeving

Gevoelige data?

I T C G Eigen organisatie

34

I T C G Publiek

35

I T C G Wet- en regelgeving

36

I T C G Business case – Kosten gevoelige

data

37

Risico’s

• Imago-schade

• Reputatie-schade

• Geldboetes

Maatregelen

• Beveiliging

• Screening

• Subsetting

• Anonimisering

• …

I T C G Geanonimiseerd testen

38

S

S

A

I T C G Anonimisering

39

‘Blank’ ‘Blur’ ‘Shuffle’ ‘Subset’

I T C G Geanonimiseerde analyse

40

A

I T C G Samenvatting

41

Business case? Kunnen wij het maken? …maar mág het ook?

I T C G Napraten…

42

E L

H

T

O

Q S

A

M