ITCG - brondata als enabler van agile bi - Harald Kikkers

30
I T C G Harald Kikkers [email protected] I T C G IT Consultancy Group bv Friesestraatweg 215 9743 AD Groningen Brondata als enabler van Agile BI

Transcript of ITCG - brondata als enabler van agile bi - Harald Kikkers

Page 1: ITCG - brondata als enabler van agile bi - Harald Kikkers

Harald [email protected] T C G

IT Consultancy Group bv

Friesestraatweg 2159743 AD Groningen

Brondata als enabler van Agile BI

Page 2: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBI, altijd lastig?!

Brondata als enabler van Agile BI 2

Big ENTERPRISE

Big LOGIC

Big DATA

Page 3: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBig ENTERPRISE

• Vertrager…– Te hoge kosten (?)– Te lange doorlooptijd (?)– Te hoge risico’s (?)

• Versneller…– Big ENTERPRISE AGILE!

• Big LOGIC (?) Kennis, technologie• Big DATA (?) Volume, semantiek, kwaliteit,

veiligheid

Brondata als enabler van Agile BI 3

Page 4: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GAGILE!

• Doel– Sneller, beter, goedkoper,…– Opheffen nadelen conventionele aanpakken

• ‘waterval’ gaat uit van ‘fixed target’, volledige spec• Agile ‘specifying by doing’

• Een continuproces– Kleine teams, multidisciplinair, betrokkenheid

gebruikers– Korte iteraties (‘Sprints’) snelle feedback

bijsturen– Nauwe samenwerking business en ICT

Organisatie!Brondata als enabler van Agile BI 4

Page 5: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GKennis en ervaring…

• BI• SQL• Databases• Data analyse• Data kwaliteit• Data modellering• Informatie analyse• Performance tuning• Project management• Materie-deskundigheid• Informatie management• Technische infrastructuren• Modellering datalogistieke processen• Etc, etc, etc, etc, etc, etc, etc, etc, etc, etc, …

Brondata als enabler van Agile BI 5

Page 6: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBig ENTERPRISE

Brondata als enabler van Agile BI 6

Agileaanpak

Page 7: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C G“One down, two to go!”

Brondata als enabler van Agile BI 7

Big ENTERPRISE

Big LOGIC

Big DATA

AGILE

Page 8: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBig LOGIC

• Vertrager…– Structuur en semantiek van data– Data-kwaliteit, normering en regels– Mapping-/transformatie

• Versneller…– Meta-data repositories– Standaard architectuur– BI tools

• Meta data repositories• (Bron-)data analyse• ETL (transformatie, mapping)• Code generatoren• Runtime framework

Brondata als enabler van Agile BI 8

Page 9: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GToepassing tools in BI

Brondata als enabler van Agile BI 9

Bronnen Extracties(GLO)

DQregels

laad&

check

mapping

ReferentieModel

BronModellen

Uitval AuditMapregels

DQregels

check

Uitval

mapping

AuditMapregels

Data Warehouse

DataMarts

Page 10: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GETL-tools in BI

Brondata als enabler van Agile BI 10

laad&

check

mapping

ReferentieModel

BronModellen

Uitval Audit

check

Uitval

mapping

Audit

Data Warehouse

DataMarts

Bronnen

DQregels

Mapregels

DQregels

Mapregels

Extracties(GLO)

ETLVoordelen:• Basisfunctionaliteiten (stage, hist, map, QA)• Kennisborging generatie

Voorwaarden:• Meta-data management (?)

Page 11: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GAnalyse-tools in BI

Brondata als enabler van Agile BI 11

Bronnen Extracties(GLO)

laad&

check

mapping

ReferentieModel

BronModellen

check

mapping

Data Warehouse

DataMarts

DQregels

Uitval AuditMapregels

DQregels

Uitval AuditMapregels

AnalyseVoordelen:• Kennis integratie borging generatie

Voorwaarden:• Modelleren meta-data (?)• Formuleren & normeren kwaliteit (?)

Page 12: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBI-tools

Kennis…• Analyseren (statistiek, profiling)• Vastleggen (repositorie)• Ontsluiten (browsen, visualisatie)• Onderhouden (editors)• Automatiseren (generatoren)

Managen van kennis (meta–data)Automatiseren oplossing (generatie en operatie)

Brondata als enabler van Agile BI 12

Page 13: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 13

Page 14: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 14

Page 15: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 15

Page 16: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 16

Page 17: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBig LOGIC

Brondata als enabler van Agile BI 17

BItools

Page 18: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C G“Two down, one to go!”

Brondata als enabler van Agile BI 18

Big ENTERPRISEAGILE

Big LOGIC

Big DATA

BI tools

Page 19: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBig DATA

• Vertrager…– Testsets te groot– Testsets niet specifiek– Testsets bevatten ‘gevoelige’ data

• Versneller…– Kleinere testsets– Specifieke testsets– Anonimisering

Brondata als enabler van Agile BI 19

Test Data Management tools!

Page 20: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GToepassing subsetting in BI

Brondata als enabler van Agile BI 20

DQregels

laad&

check

mapping

ReferentieModel

BronModellen

Uitval AuditMapregels

DQregels

check

Uitval

mapping

AuditMapregels

Data Warehouse

DataMarts

Bronnen Extracties(GLO)

SubsettingVoordelen:• Kleine sets = snel testen• Kleine sets = veilig (minder ‘gevoelige’

data)

Voorwaarden:• Flexibiliteit m.b.t. selectie-criteria (?)• Over de keten heen (?)• Technisch vs. functioneel consistent (?)

Page 21: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GSubsetting screen shots…

Brondata als enabler van Agile BI 21

Page 22: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GSubsetting screen shots…

Brondata als enabler van Agile BI 22

Page 23: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GSubsetting screen shots…

Brondata als enabler van Agile BI 23

Page 24: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GToepassing anonimisering in BI

Brondata als enabler van Agile BI 24

DQregels

laad&

check

mapping

ReferentieModel

BronModellen

Uitval AuditMapregels

DQregels

check

Uitval AuditMapregels

Data Warehouse

Bronnen Extracties(GLO)

Anonimiseringmapping

DataMarts

Voordelen:• Anoniem = veilig (WbP, concurrentie)

Voorwaarden:• Bepalen risico-klasse (?)• Specificatie anonimiseringsregels (?)• Pseudonimiseren of anonimisering (?)

Page 25: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GAnonimisering screen shots…

Brondata als enabler van Agile BI 25

Page 26: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GAnonimisering screen shots…

Brondata als enabler van Agile BI 26

Page 27: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C G“Touchdown!”

Brondata als enabler van Agile BI 27

Big DATATDM tools

Big ENTERPRISEAGILE

Big LOGICBI tools

Page 28: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GBig DATA

Brondata als enabler van Agile BI 28

TDMtools

Page 29: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GConclusie

• Big ENTERPRISE AGILE methode

• Big LOGIC Data analyse & ETL-tooling

• Big DATA Testdata management tooling

• Subsetting• Anonimisering

Brondata als enabler van Agile BI 29

Page 30: ITCG - brondata als enabler van agile bi - Harald Kikkers

I T C GAfsluiting

• Vragen…?

• … en anders op onze stand– Kennismaken– Demo’s

• DATPROF Integrate• DATPROF Subset• DATPROF Privacy

Brondata als enabler van Agile BI 30