ITCG - brondata als enabler van agile bi - Harald Kikkers
-
Upload
sogeti-nederland-bv -
Category
Documents
-
view
323 -
download
0
Transcript of ITCG - brondata als enabler van agile bi - Harald Kikkers
Harald [email protected] T C G
IT Consultancy Group bv
Friesestraatweg 2159743 AD Groningen
Brondata als enabler van Agile BI
I T C GBI, altijd lastig?!
Brondata als enabler van Agile BI 2
Big ENTERPRISE
Big LOGIC
Big DATA
I T C GBig ENTERPRISE
• Vertrager…– Te hoge kosten (?)– Te lange doorlooptijd (?)– Te hoge risico’s (?)
• Versneller…– Big ENTERPRISE AGILE!
• Big LOGIC (?) Kennis, technologie• Big DATA (?) Volume, semantiek, kwaliteit,
veiligheid
Brondata als enabler van Agile BI 3
I T C GAGILE!
• Doel– Sneller, beter, goedkoper,…– Opheffen nadelen conventionele aanpakken
• ‘waterval’ gaat uit van ‘fixed target’, volledige spec• Agile ‘specifying by doing’
• Een continuproces– Kleine teams, multidisciplinair, betrokkenheid
gebruikers– Korte iteraties (‘Sprints’) snelle feedback
bijsturen– Nauwe samenwerking business en ICT
Organisatie!Brondata als enabler van Agile BI 4
I T C GKennis en ervaring…
• BI• SQL• Databases• Data analyse• Data kwaliteit• Data modellering• Informatie analyse• Performance tuning• Project management• Materie-deskundigheid• Informatie management• Technische infrastructuren• Modellering datalogistieke processen• Etc, etc, etc, etc, etc, etc, etc, etc, etc, etc, …
Brondata als enabler van Agile BI 5
I T C GBig ENTERPRISE
Brondata als enabler van Agile BI 6
Agileaanpak
I T C G“One down, two to go!”
Brondata als enabler van Agile BI 7
Big ENTERPRISE
Big LOGIC
Big DATA
AGILE
I T C GBig LOGIC
• Vertrager…– Structuur en semantiek van data– Data-kwaliteit, normering en regels– Mapping-/transformatie
• Versneller…– Meta-data repositories– Standaard architectuur– BI tools
• Meta data repositories• (Bron-)data analyse• ETL (transformatie, mapping)• Code generatoren• Runtime framework
Brondata als enabler van Agile BI 8
I T C GToepassing tools in BI
Brondata als enabler van Agile BI 9
Bronnen Extracties(GLO)
DQregels
laad&
check
mapping
ReferentieModel
BronModellen
Uitval AuditMapregels
DQregels
check
Uitval
mapping
AuditMapregels
Data Warehouse
DataMarts
I T C GETL-tools in BI
Brondata als enabler van Agile BI 10
laad&
check
mapping
ReferentieModel
BronModellen
Uitval Audit
check
Uitval
mapping
Audit
Data Warehouse
DataMarts
Bronnen
DQregels
Mapregels
DQregels
Mapregels
Extracties(GLO)
ETLVoordelen:• Basisfunctionaliteiten (stage, hist, map, QA)• Kennisborging generatie
Voorwaarden:• Meta-data management (?)
I T C GAnalyse-tools in BI
Brondata als enabler van Agile BI 11
Bronnen Extracties(GLO)
laad&
check
mapping
ReferentieModel
BronModellen
check
mapping
Data Warehouse
DataMarts
DQregels
Uitval AuditMapregels
DQregels
Uitval AuditMapregels
AnalyseVoordelen:• Kennis integratie borging generatie
Voorwaarden:• Modelleren meta-data (?)• Formuleren & normeren kwaliteit (?)
I T C GBI-tools
Kennis…• Analyseren (statistiek, profiling)• Vastleggen (repositorie)• Ontsluiten (browsen, visualisatie)• Onderhouden (editors)• Automatiseren (generatoren)
Managen van kennis (meta–data)Automatiseren oplossing (generatie en operatie)
Brondata als enabler van Agile BI 12
I T C GBI-tool screen shots…
Brondata als enabler van Agile BI 13
I T C GBI-tool screen shots…
Brondata als enabler van Agile BI 14
I T C GBI-tool screen shots…
Brondata als enabler van Agile BI 15
I T C GBI-tool screen shots…
Brondata als enabler van Agile BI 16
I T C GBig LOGIC
Brondata als enabler van Agile BI 17
BItools
I T C G“Two down, one to go!”
Brondata als enabler van Agile BI 18
Big ENTERPRISEAGILE
Big LOGIC
Big DATA
BI tools
I T C GBig DATA
• Vertrager…– Testsets te groot– Testsets niet specifiek– Testsets bevatten ‘gevoelige’ data
• Versneller…– Kleinere testsets– Specifieke testsets– Anonimisering
Brondata als enabler van Agile BI 19
Test Data Management tools!
I T C GToepassing subsetting in BI
Brondata als enabler van Agile BI 20
DQregels
laad&
check
mapping
ReferentieModel
BronModellen
Uitval AuditMapregels
DQregels
check
Uitval
mapping
AuditMapregels
Data Warehouse
DataMarts
Bronnen Extracties(GLO)
SubsettingVoordelen:• Kleine sets = snel testen• Kleine sets = veilig (minder ‘gevoelige’
data)
Voorwaarden:• Flexibiliteit m.b.t. selectie-criteria (?)• Over de keten heen (?)• Technisch vs. functioneel consistent (?)
I T C GSubsetting screen shots…
Brondata als enabler van Agile BI 21
I T C GSubsetting screen shots…
Brondata als enabler van Agile BI 22
I T C GSubsetting screen shots…
Brondata als enabler van Agile BI 23
I T C GToepassing anonimisering in BI
Brondata als enabler van Agile BI 24
DQregels
laad&
check
mapping
ReferentieModel
BronModellen
Uitval AuditMapregels
DQregels
check
Uitval AuditMapregels
Data Warehouse
Bronnen Extracties(GLO)
Anonimiseringmapping
DataMarts
Voordelen:• Anoniem = veilig (WbP, concurrentie)
Voorwaarden:• Bepalen risico-klasse (?)• Specificatie anonimiseringsregels (?)• Pseudonimiseren of anonimisering (?)
I T C GAnonimisering screen shots…
Brondata als enabler van Agile BI 25
I T C GAnonimisering screen shots…
Brondata als enabler van Agile BI 26
I T C G“Touchdown!”
Brondata als enabler van Agile BI 27
Big DATATDM tools
Big ENTERPRISEAGILE
Big LOGICBI tools
I T C GBig DATA
Brondata als enabler van Agile BI 28
TDMtools
I T C GConclusie
• Big ENTERPRISE AGILE methode
• Big LOGIC Data analyse & ETL-tooling
• Big DATA Testdata management tooling
• Subsetting• Anonimisering
Brondata als enabler van Agile BI 29
I T C GAfsluiting
• Vragen…?
• … en anders op onze stand– Kennismaken– Demo’s
• DATPROF Integrate• DATPROF Subset• DATPROF Privacy
Brondata als enabler van Agile BI 30