Harald Kikkers

ha.kikkers@itcg.nl I T C G

IT Consultancy Group bv

Friesestraatweg 215

9743 AD Groningen

Brondata als enabler van Agile BI

I T C G BI, altijd lastig?!

Brondata als enabler van Agile BI 2

Big ENTERPRISE

Big LOGIC

Big DATA

I T C G Big ENTERPRISE

• Vertrager…

– Te hoge kosten (?)

– Te lange doorlooptijd (?)

– Te hoge risico’s (?)

• Versneller…

– Big ENTERPRISE AGILE!

• Big LOGIC (?) Kennis, technologie

• Big DATA (?) Volume, semantiek, kwaliteit, veiligheid

Brondata als enabler van Agile BI 3

I T C G AGILE!

• Doel

– Sneller, beter, goedkoper,…

– Opheffen nadelen conventionele aanpakken

• ‘waterval’ gaat uit van ‘fixed target’, volledige spec

• Agile ‘specifying by doing’

• Een continuproces

– Kleine teams, multidisciplinair, betrokkenheid gebruikers

– Korte iteraties (‘Sprints’) snelle feedback bijsturen

– Nauwe samenwerking business en ICT

Organisatie!

Brondata als enabler van Agile BI 4

I T C G Kennis en ervaring…

• BI

• SQL

• Databases

• Data analyse

• Data kwaliteit

• Data modellering

• Informatie analyse

• Performance tuning

• Project management

• Materie-deskundigheid

• Informatie management

• Technische infrastructuren

• Modellering datalogistieke processen

• Etc, etc, etc, etc, etc, etc, etc, etc, etc, etc, …

Brondata als enabler van Agile BI 5

I T C G Big ENTERPRISE

Brondata als enabler van Agile BI 6

Agile aanpak

I T C G “One down, two to go!”

Brondata als enabler van Agile BI 7

Big ENTERPRISE

Big LOGIC

Big DATA

I T C G Big LOGIC

• Vertrager…

– Structuur en semantiek van data

– Data-kwaliteit, normering en regels

– Mapping-/transformatie

• Versneller…

– Meta-data repositories

– Standaard architectuur

– BI tools

• Meta data repositories

• (Bron-)data analyse

• ETL (transformatie, mapping)

• Code generatoren

• Runtime framework

Brondata als enabler van Agile BI 8

I T C G Toepassing tools in BI

Brondata als enabler van Agile BI 9

Bronnen Extracties (GLO)

DQ regels

laad &

check

mapping

Referentie Model

Bron Modellen

Uitval Audit Map regels

DQ regels

check

Uitval

mapping

Audit Map regels

Data Warehouse

Data Marts

I T C G ETL-tools in BI

Brondata als enabler van Agile BI 10

laad &

check

mapping

Referentie Model

Bron Modellen

Uitval Audit

check

Uitval

mapping

Audit

Data Warehouse

Data Marts

Bronnen

DQ regels

Map regels

DQ regels

Map regels

Extracties (GLO)

ETL

Voordelen:

• Basisfunctionaliteiten (stage, hist, map, QA)

• Kennisborging generatie

Voorwaarden:

• Meta-data management (?)

I T C G Analyse-tools in BI

Brondata als enabler van Agile BI 11

Bronnen Extracties (GLO)

laad &

check

mapping

Referentie Model

Bron Modellen

check

mapping

Data Warehouse

Data Marts

DQ regels

Uitval Audit Map regels

DQ regels

Uitval Audit Map regels

Analyse

Voordelen:

• Kennis integratie borging generatie

Voorwaarden:

• Modelleren meta-data (?)

• Formuleren & normeren kwaliteit (?)

I T C G BI-tools

Kennis…

• Analyseren (statistiek, profiling)

• Vastleggen (repositorie)

• Ontsluiten (browsen, visualisatie)

• Onderhouden (editors)

• Automatiseren (generatoren)

Managen van kennis (meta–data)

Automatiseren oplossing (generatie en operatie)

Brondata als enabler van Agile BI 12

I T C G BI-tool screen shots…

Brondata als enabler van Agile BI 13

I T C G BI-tool screen shots…

Brondata als enabler van Agile BI 14

I T C G BI-tool screen shots…

Brondata als enabler van Agile BI 15

I T C G BI-tool screen shots…

Brondata als enabler van Agile BI 16

I T C G Big LOGIC

Brondata als enabler van Agile BI 17

BI tools

I T C G “Two down, one to go!”

Brondata als enabler van Agile BI 18

Big ENTERPRISE

Big LOGIC

Big DATA

I T C G Big DATA

• Vertrager…

– Testsets te groot

– Testsets niet specifiek

– Testsets bevatten ‘gevoelige’ data

• Versneller…

– Kleinere testsets

– Specifieke testsets

– Anonimisering

Brondata als enabler van Agile BI 19

Test Data Management tools!

I T C G Toepassing subsetting in BI

Brondata als enabler van Agile BI 20

DQ regels

laad &

check

mapping

Referentie Model

Bron Modellen

Uitval Audit Map regels

DQ regels

check

Uitval

mapping

Audit Map regels

Data Warehouse

Data Marts

Bronnen Extracties (GLO)

Subsetting

Voordelen:

• Kleine sets = snel testen

• Kleine sets = veilig (minder ‘gevoelige’ data)

Voorwaarden:

• Flexibiliteit m.b.t. selectie-criteria (?)

• Over de keten heen (?)

• Technisch vs. functioneel consistent (?)

I T C G Subsetting screen shots…

Brondata als enabler van Agile BI 21

I T C G Subsetting screen shots…

Brondata als enabler van Agile BI 22

I T C G Subsetting screen shots…

Brondata als enabler van Agile BI 23

I T C G Toepassing anonimisering in BI

Brondata als enabler van Agile BI 24

DQ regels

laad &

check

mapping

Referentie Model

Bron Modellen

Uitval Audit Map regels

DQ regels

check

Uitval Audit Map regels

Data Warehouse

Bronnen Extracties (GLO)

Anonimisering

mapping

Data Marts

Voordelen:

• Anoniem = veilig (WbP, concurrentie)

Voorwaarden:

• Bepalen risico-klasse (?)

• Specificatie anonimiseringsregels (?)

• Pseudonimiseren of anonimisering (?)

I T C G Anonimisering screen shots…

Brondata als enabler van Agile BI 25

I T C G Anonimisering screen shots…

Brondata als enabler van Agile BI 26

I T C G “Touchdown!”

Brondata als enabler van Agile BI 27

Big DATA

Big ENTERPRISE

Big LOGIC

I T C G Big DATA

Brondata als enabler van Agile BI 28

TDM tools

I T C G Conclusie

• Big ENTERPRISE

AGILE methode

• Big LOGIC

Data analyse & ETL-tooling

• Big DATA

Testdata management tooling

• Subsetting

• Anonimisering

Brondata als enabler van Agile BI 29

I T C G Afsluiting

• Vragen…?

• … en anders op onze stand

– Kennismaken

– Demo’s

• DATPROF Integrate

• DATPROF Subset

• DATPROF Privacy

Brondata als enabler van Agile BI 30