DDMA / Arvix: Datakwaliteit
description
Transcript of DDMA / Arvix: Datakwaliteit
Event: DDMA DQ Dag
Thema: Datakwaliteit
Spreker: Ortwin Verreck - Arvix
Datum: 12 september 2006 – Fortis NV, Utrecht
www.ddma.nl
DDMA Ondersteun je gegevenskwaliteitsaanpak met tools
12 september 2006
Ortwin Verreck
Technisch directeur ARVIX
Ondersteun je gegevenskwaliteitsaanpak met tools
Vooraf
“Bij gegevenskwaliteit gaat het primair om de
bruikbaarheid van de gegevens. Dit is al verbeterd als je
de gegevenskwaliteit kent”
“De kwaliteit van de gegevens is pas verbeterd als de
bruikbaarheid van de gegevens toeneemt”
In deze presentatie om de juiste aanpak ondersteunt met
tooling om de bruikbaarheid te vergroten.
Ondersteun je gegevenskwaliteitsaanpak met tools
Agenda
� Wat is gegevenskwaliteit
� Wat is gegevenskwaliteitmanagement
� Doel van gegevenskwaliteit
� Selecteren van middelen: tools
Geen doel maar middel om bruikbaarheid van gegevens te verhogen
Geen doel maar middel om bedrijfsprestaties te verbeteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Belang van gegevens neemt toe – Voorbeeld
Keuzevrijheid
Nuon verliest 200.000 klanten
De vrijheid van klanten om voortaan zelf hun
energieleverancier te kiezen, heeft voor Nuon slecht uitgepakt. Het energiebedrijf, dat van oudsher veel klanten in Gelderland heeft, verloor sinds de liberalisering van de energiemarkt vorig jaar juli ongeveer 200.000 klanten;
75.000 kozen voor een andere stroomleverancier, 125.000 voor een andere gasleverancier. Op 1 juli vorig jaar had het bedrijf 2,5 miljoen klanten. Mensen keerden Nuon niet alleen de rug toe omdat ze bij andere leveranciers goedkoper uit zouden zijn, ook de inmiddels aangepakte
administratieve chaos en het……
ECONOMIE
Consumentenbond helpt klant Essent(ANP)DEN HAAG, 1 MAART. De Consumentenbond gaat
bemiddelen tussen Essent en
klanten die vinden dat zij een te
hoge of onjuiste rekening hebben
gekregen. Volgens de bond regende het afgelopen jaar
honderden klachten van...
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel
Middelen
Ondersteun je gegevenskwaliteitsaanpak met tools
Wat is gegevenskwaliteit?
� Kwaliteit ≠ “juiste”, “ware”
� Kwaliteit = duurzaam bruikbaar
� Type uitdagingen
� Technisch (kan niet) “Mijn dochter is geboren op 15 januari 2097”
� Functioneel (mag niet ) “Onze medewerker Johan de Vries van 95 jaar”
� Inhoudelijk (niet juist) “Deze Ipod bestelling is toch gratis”
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Belang van gegevenskwaliteit neemt toe
� Steeds meer gegevens nodig
� Steeds strengere eisen aan actualiteit en
volledigheid
� Informatieverstrekking als dienst
� Internet: straight through processing
� …
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Kwaliteit ontstaat niet vanzelf!
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel
Middelen
Ondersteun je gegevenskwaliteitsaanpak met tools
Kwaliteitsmanagement
� Kwaliteit volgens Demming� Bepaal de stand van zaken
� Analyseer de onvolkomenheden
� Bepaal wat je wilt bereiken
� Bedenk maatregelen
� Implementeer maatregelen
� Operationaliseren
voor gegevens
Check
Plan
ActDo
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Meten, weten, verbeteren
Administratie Extern
2) referentie1) waarneming
3) intrinsiek
De kunst van de goede mix
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel
Middelen
Ondersteun je gegevenskwaliteitsaanpak met tools
Technisch meten
Ongeldigewaarden
Ontbrekendedatum
afhankelijkheden
Dubbeleattributen
Het ontbrekenvan referentiele integriteit
Onwaarschijnlijkerelaties
Ontbrekende attributen
Ongeldigeberekeningen
Ongeldigereeksen
Dubbele sleutelwaarden
Niet standaardopmaak
normalisatie
DummyWaarden
Inconsistenties
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Inhoudelijk meten
Bijstellen modelMet domeinexperts:
Opstellen businessrules
MetenAnalyseren en bruterenNemen van maatregelen
Implementeren van de maatregelen
Gegevenskwaliteit
Gegevenskwaliteit-management
Beeld: stijging verkoop
via internet maakt reguliere
verkoopkanaal overbodig
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Managen van gegevenskwaliteit
Implementatie
Ontdekkenkritische
gegevens
Analyserenen
Bruteren
Weging(PrioriterenVerbeter-
mog.)
Maatregelen
Geen
Quickfix
(gegevens)
Ontwerp
Business
Solution
Norm
BepalenVerbeter-potentieel
Meting
Verbetering
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Scope te beperkt
� Meting met bedrijfsregels levert een
röntgenfoto van� De administratie
� De organisatie
� Röntgenfoto zet aan tot actie als� De objectiviteit buiten kijf staat
� De meetresultaten begrijpelijk zijn
� Mogelijke opbrengsten de business overtuigen
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
De scope
� Cyclus uitbreiden tot de bedrijfsprocessen
waarvan de gegevens afkomstig zijn en die de
gegevens gebruiken.
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Doel bepalen
Middelen selecteren
Kwaliteitscirkel grote Q of kleine q:
Gegevens
Processen(voegen gegevens toe)
Processen(gebruiken gegevens)
q
Wet- en regelgeving,
CAO
Applicatie
Q
Gegevenskwaliteit
Gegevenskwaliteit-management
Ondersteun je gegevenskwaliteitsaanpak met tools
Metingen en verbeterdoelen in termen van
� Klachten van klanten
� Work-around kosten
� Rework en foutherstel
� Compliancy met wetten en (externe) regels
� Responsesnelheid
� Inspelen op specifieke klantvragen
� Risicomanagement: resultaatgericht controleren
� Trendbreuken voorzien
� ...
Tevredener klanten tegen minder kosten en meer omzet
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Resume : Selectiecriteria op basis van doel
� Ondersteuning kwaliteitsmanagement (PDCA)
� Quick fix of structurele verbetering (grote Q of kleine q)
� Waarneming, referentie of intrinsieke meting
� Technische rules en/of business rules
� Gegevenskwaliteitgericht of business case gericht
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Selectiecriteria op basis van functionaliteit
� Automatische schoning
� Referentietabel met adressen (internationaal)
� Integreerbaarheid (ETL,CRM, ERP)
� Dataprofiling
� Cliëntgegevens, maar ook business
gegevens!
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Selectie criteria op basis van ontdubbeltechniek: deterministisch of problablistisch
Client_nr Naam Postcode Geb.datum Gesl. Roepnaam
923091 R. WILLEMSE 1213AR 39 11.10.2002 V RACHEL
923112 V. WILLEMSE 1213AR 39 11.10.2002 V VALERY
Client_nr Naam Postcode Geb.datum Gesl. Roepnaam
814856 S. MUTLU 5331GR 7 14.3.1992 M SEYHUN
814871 C. MUTLU 5331GR 7 14.3.1992 M CEYHUN
unieke cliënten
unieke cliënten
dubbeleregistraties
dubbeleregistraties
Potentiëlealiassen
Ondersteun je gegevenskwaliteitsaanpak met tools
Selectiecriteria marktanalyse 1: (visionair of marktleider)
Bron: Gartner april 2006
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Nederlandse situatie
Koplopers:
• Human Inference (met stip)
• Trillium Software
Weinig/geen marktaandeel:
• Dataflux (alleen onderdeel SAS)
• Firstlogic (geen europese adressen)
Let op:
• Geschiktheid europese adressen/
referentiedata
Ondersteun je gegevenskwaliteitsaanpak met tools
Selectiecriteria marktanalyse 2 (ook aanbodgedreven)
Bron: Forrester april 2006
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Prijskwaliteitverhouding
� Er zijn ook deeloplossingen mogelijk;
� Ook ‘eigen’ oplossingen kunnen;
gegevens
kwaliteit
Kosten
100%
Trillium
Human Inference
QAS
(Cendris)‘eigen’
oplossing
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Tot slot
� “A fool with a tool is still a fool”..
� Bepaal eerst je doelstellingen
� Oriënteer: voer een objectieve meting uit
� Selecteer op basis van je scope een aantal
hulpmiddelen/tools
� Voer een proof-of-concept uit (onder begeleiding)
� Kijk naar de toepasbaarheid en…
� … kijk ook naar de licentieovereenkomst ☺
Gegevenskwaliteit
Gegevenskwaliteit-management
Doel bepalen
Middelen selecteren
Ondersteun je gegevenskwaliteitsaanpak met tools
Vragen