DB/M Congres 2006 - Flexibele data controle

21
Flexibele datacontrole Alexander van Helm, senior DWH architect 2 november 2006

description

Presentatie gegeven bij deDB/M beurs in 2006 over het conrtoleren van je data tijdens het laad proces. Het laat de kracht van de Kadenza tool Sterna Raven zien.

Transcript of DB/M Congres 2006 - Flexibele data controle

Page 1: DB/M Congres 2006 - Flexibele data controle

“Nieuwe invalshoeken leiden tot heldere perspectieven”

Flexibele datacontrole

Alexander van Helm, senior DWH architect2 november 2006

Page 2: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 2

Agenda

Wie ben ik en wie is Kadenza Kent u dit? Zo kan het ook Samenvatting

Page 3: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 3

Wie ben ik?

Wie is Alexander van Helm– Afgestudeerd in de wiskunde– 35 jaar jong– Getrouwd en 3 kinderen

Business Intelligence & Data Warehouse (BI&DWH)– Informatie is alles

BI&DWH architect en projectmanager– De combinatie van inhoud en verantwoordelijkheid– Weet veel van de praktijk, maar kent ook de theorie

Belangrijkste klanten– KLM, AGIS, Leaseplan, Delta Lloyd, AstraZeneca, Postcode Loterij…

Page 4: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 4

Wie is Kadenza ?

100 % specialist op het gebied van Business Intelligence & Data Warehouse (BI&DWH) vraagstukken;

Projecten, Consultancy, Opleidingen en Beheer;

40 medewerkers;

Kadenza specialisten hebben een minimum van 5 jaar gerichte vakervaring;

Steekwoorden professionaliteit, flexibiliteit en betrokkenheid;

Uitstekende referenties.

Page 5: DB/M Congres 2006 - Flexibele data controle

“Nieuwe invalshoeken leiden tot heldere perspectieven”

Kent u dit?

Page 6: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 6

Content vóór Kadenza

Harde werkelijkheid– Rapportages gaven een onvolledig en vertekend beeld– Data vanuit bronsystemen niet volledig of niet tijdig– Vraagtekens bij de beheersbaarheid van het datawarehouse

Gewenste situatie managementrapportages– Tijdig– Volledig– Correct

Behoefte– Verbetering van de controle– Beheersbare omgeving

Page 7: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 7

Waar blijft mijn informatie?

Informatie moet altijd sneller

Informatie wordt wijd verspreid

Informatie niet altijd in context

Page 8: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 8

Strengere regulatie

Consumenten en klanten eisen juiste informatie

De overheid eist juiste informatie

Er zitten zelfs mensen gevangen voor onjuiste informatie

Page 9: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 9

De tweestrijd

KwaliteitSnelheid

Page 10: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 10

Stellingen

De business beslist– Voorkom fout geladen informatie of gaat de rapportage voor– Liever oude informatie, dan foute informatie?

Fouten in data veranderen in de tijd

Oppoetsen van foute data gevaarlijk

Auditors willen zien wat er gebeurd is

Page 11: DB/M Congres 2006 - Flexibele data controle

“Nieuwe invalshoeken leiden tot heldere perspectieven”

Zo kan het ook

Page 12: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 12

Content ná Kadenza

Gevoel– De gegevens zijn tijdig en accuraat– Gezamenlijk met de gebruikers een optimaal resultaat– Geen klachten– Awareness bij gebruikers

De business is in charge– Besluitmoment vanuit de business om wel of niet door te laten

lopen– Met een rapportagecyclus van een week zijn gegevens

noodzakelijk, desnoods niet geheel gevuld– Maar dan wel met inzicht

Page 13: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 13

RAVEN

Kadenza heeft RAVEN

Reference Architecture Validation Environment

RAVEN is– Non-intrusive (geen keurslijf)– Uitbreidbaar– Onafhankelijk– Rapporteerbaar

Page 14: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 14

Het antwoord van Kadenza

Samen met de business – Controles invoeren– Controles aan- en uitzetten

Rapportages over gelukte en foute data controles

Zwaarte van fouten in stellen:– Informatief– Waarschuwing– Fout

Page 15: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 15

Het resultaat

Mogelijkheid tot een beheerbaar en beheersbaar datawarehouse

Functioneel en technisch beheerder verantwoordelijk, niet de applicatiebeheerder

Vertrouwen in het datawarehouse

De auditor kan overtuigd worden

Het datawarehouse wordt een gecontroleerde, beheersbare omgeving

Onmisbaar voor Management Accounting

Page 16: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 16

Wat doen de vendors

ETL tools incorporeren data kwaliteit

Controles en oppoetsen onderdeel van data proces

Ver weg gestopt in de ETL

Niet toegankelijk voor rapportages

Page 17: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 17

Waarom niet voldoende

De IT is leading

Controles elke keer opnieuw maken

Elke controle wijziging betekent nieuwe productie gang

Controles ver weg van de business

Weinig rapportage mogelijkheden over controles

Vendor lock-in

Page 18: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 18

Wat kan RAVEN dan wel

De business is in charge

Centraal opgeslagen datacontroles Centrale vastlegging van de uitkomst van controles

Buiten de programmatuur om aan en uit te zetten Buiten de programmatuur om controles instellen en veranderen

Gebruik maken van standaardcontroles:– Uniciteit– Referentiele integriteit– Aantallen– Niet leeg– ….

Page 19: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 19

Vragen

Page 20: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 20

Samenvatting

Kwaliteit wint de wedstrijd

Vendors stappen in, maar– Controles moeizaam– Weinig informatie– Elke wijziging programmatuur weer naar productie

Kadenza’s antwoord Raven– De business nauw betrokken– Apart in te stellen, dus flexibel– Uitgebreide rapportage mogelijkheden

Kwaliteit controle is hard nodig, maar maak het niet star!

Page 21: DB/M Congres 2006 - Flexibele data controle

2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 21

Content zelf aan het woord

“Tegenwoordig is er een besluitmoment vanuit de business om dit wel of niet door te laten lopen. Zeker met een rapportagecyclus van slechts een week kunnen zij zich het niet veroorloven om helemaal geen beeld te hebben van omzetten en resultaten, zelfs wanneer bepaalde velden niet gevuld zijn. Wij geven onze afnemers daarbij inzicht in het belang van het volgen van de processtappen en verwachten dat in de toekomst alleen maar verder te verbeteren.”