Harald Kikkersha.kikkers@itcg.nlI T C G

IT Consultancy Group bv

Friesestraatweg 2159743 AD Groningen

Brondata als enabler van Agile BI

I T C GBI, altijd lastig?!

Brondata als enabler van Agile BI 2

Big ENTERPRISE

Big LOGIC

Big DATA

I T C GBig ENTERPRISE

• Vertrager…– Te hoge kosten (?)– Te lange doorlooptijd (?)– Te hoge risico’s (?)

• Versneller…– Big ENTERPRISE AGILE!

• Big LOGIC (?) Kennis, technologie• Big DATA (?) Volume, semantiek, kwaliteit,

veiligheid

Brondata als enabler van Agile BI 3

I T C GAGILE!

• Doel– Sneller, beter, goedkoper,…– Opheffen nadelen conventionele aanpakken

• ‘waterval’ gaat uit van ‘fixed target’, volledige spec• Agile ‘specifying by doing’

• Een continuproces– Kleine teams, multidisciplinair, betrokkenheid

gebruikers– Korte iteraties (‘Sprints’) snelle feedback

bijsturen– Nauwe samenwerking business en ICT

Organisatie!Brondata als enabler van Agile BI 4

I T C GKennis en ervaring…

• BI• SQL• Databases• Data analyse• Data kwaliteit• Data modellering• Informatie analyse• Performance tuning• Project management• Materie-deskundigheid• Informatie management• Technische infrastructuren• Modellering datalogistieke processen• Etc, etc, etc, etc, etc, etc, etc, etc, etc, etc, …

Brondata als enabler van Agile BI 5

I T C GBig ENTERPRISE

Brondata als enabler van Agile BI 6

Agileaanpak

I T C G“One down, two to go!”

Brondata als enabler van Agile BI 7

Big ENTERPRISE

Big LOGIC

Big DATA

AGILE

I T C GBig LOGIC

• Vertrager…– Structuur en semantiek van data– Data-kwaliteit, normering en regels– Mapping-/transformatie

• Versneller…– Meta-data repositories– Standaard architectuur– BI tools

• Meta data repositories• (Bron-)data analyse• ETL (transformatie, mapping)• Code generatoren• Runtime framework

Brondata als enabler van Agile BI 8

I T C GToepassing tools in BI

Brondata als enabler van Agile BI 9

Bronnen Extracties(GLO)

DQregels

laad&

check

mapping

ReferentieModel

BronModellen

Uitval AuditMapregels

DQregels

check

Uitval

mapping

AuditMapregels

Data Warehouse

DataMarts

I T C GETL-tools in BI

Brondata als enabler van Agile BI 10

laad&

check

mapping

ReferentieModel

BronModellen

Uitval Audit

check

Uitval

mapping

Audit

Data Warehouse

DataMarts

Bronnen

DQregels

Mapregels

DQregels

Mapregels

Extracties(GLO)

ETLVoordelen:• Basisfunctionaliteiten (stage, hist, map, QA)• Kennisborging generatie

Voorwaarden:• Meta-data management (?)

I T C GAnalyse-tools in BI

Brondata als enabler van Agile BI 11

Bronnen Extracties(GLO)

laad&

check

mapping

ReferentieModel

BronModellen

check

mapping

Data Warehouse

DataMarts

DQregels

Uitval AuditMapregels

DQregels

Uitval AuditMapregels

AnalyseVoordelen:• Kennis integratie borging generatie

Voorwaarden:• Modelleren meta-data (?)• Formuleren & normeren kwaliteit (?)

I T C GBI-tools

Kennis…• Analyseren (statistiek, profiling)• Vastleggen (repositorie)• Ontsluiten (browsen, visualisatie)• Onderhouden (editors)• Automatiseren (generatoren)

Managen van kennis (meta–data)Automatiseren oplossing (generatie en operatie)

Brondata als enabler van Agile BI 12

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 13

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 14

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 15

I T C GBI-tool screen shots…

Brondata als enabler van Agile BI 16

I T C GBig LOGIC

Brondata als enabler van Agile BI 17

BItools

I T C G“Two down, one to go!”

Brondata als enabler van Agile BI 18

Big ENTERPRISEAGILE

Big LOGIC

Big DATA

BI tools

I T C GBig DATA

• Vertrager…– Testsets te groot– Testsets niet specifiek– Testsets bevatten ‘gevoelige’ data

• Versneller…– Kleinere testsets– Specifieke testsets– Anonimisering

Brondata als enabler van Agile BI 19

Test Data Management tools!

I T C GToepassing subsetting in BI

Brondata als enabler van Agile BI 20

DQregels

laad&

check

mapping

ReferentieModel

BronModellen

Uitval AuditMapregels

DQregels

check

Uitval

mapping

AuditMapregels

Data Warehouse

DataMarts

Bronnen Extracties(GLO)

SubsettingVoordelen:• Kleine sets = snel testen• Kleine sets = veilig (minder ‘gevoelige’

data)

Voorwaarden:• Flexibiliteit m.b.t. selectie-criteria (?)• Over de keten heen (?)• Technisch vs. functioneel consistent (?)

I T C GSubsetting screen shots…

Brondata als enabler van Agile BI 21

I T C GSubsetting screen shots…

Brondata als enabler van Agile BI 22

I T C GSubsetting screen shots…

Brondata als enabler van Agile BI 23

I T C GToepassing anonimisering in BI

Brondata als enabler van Agile BI 24

DQregels

laad&

check

mapping

ReferentieModel

BronModellen

Uitval AuditMapregels

DQregels

check

Uitval AuditMapregels

Data Warehouse

Bronnen Extracties(GLO)

Anonimiseringmapping

DataMarts

Voordelen:• Anoniem = veilig (WbP, concurrentie)

Voorwaarden:• Bepalen risico-klasse (?)• Specificatie anonimiseringsregels (?)• Pseudonimiseren of anonimisering (?)

I T C GAnonimisering screen shots…

Brondata als enabler van Agile BI 25

I T C GAnonimisering screen shots…

Brondata als enabler van Agile BI 26

I T C G“Touchdown!”

Brondata als enabler van Agile BI 27

Big DATATDM tools

Big ENTERPRISEAGILE

Big LOGICBI tools

I T C GBig DATA

Brondata als enabler van Agile BI 28

TDMtools

I T C GConclusie

• Big ENTERPRISE AGILE methode

• Big LOGIC Data analyse & ETL-tooling

• Big DATA Testdata management tooling

• Subsetting• Anonimisering

Brondata als enabler van Agile BI 29

I T C GAfsluiting

• Vragen…?

• … en anders op onze stand– Kennismaken– Demo’s

• DATPROF Integrate• DATPROF Subset• DATPROF Privacy

Brondata als enabler van Agile BI 30