DDMA / Arvix: Datakwaliteit

25
vent: DDMA DQ Dag hema: Datakwaliteit preker: Ortwin Verreck - Arvix Datum: 12 september 2006 – Fortis NV, Utrecht www.ddma.n

description

Ortwin Verreck (Arvix) bespreekt welke datakwaliteit managementsystemen er zijn en nog belangrijker: hoe ze ingezet moeten worden, want – zo stelt hij- “A fool with a tool is still a fool.” Datakwaliteit omvat zowel de betrouwbaarheid als de bruikbaarheid van gegevens. Door het beoordelen van de kwaliteit en de mogelijkheden tot verbetering, ontstaat inzicht in de manieren waarop prestaties omhoog kunnen. Het managen begint met een inventarisatie van de huidige stand van zaken en het benoemen van de knelpunten. Van groot belang zijn de gebruiksdoeleinden. Gaat het om een tijdelijke oplossing of structurele veranderingen; een waarneming, referentie of intrinsieke meting? Selecteer op grond van deze doelstellingen maatregelen en implementeer deze. Door gegevenskwaliteitsmanagement ontstaat een goed instrument om de datakwaliteit en de prestaties van de organisatie te meten en te verbeteren.

Transcript of DDMA / Arvix: Datakwaliteit

Page 1: DDMA / Arvix: Datakwaliteit

Event: DDMA DQ Dag

Thema: Datakwaliteit

Spreker: Ortwin Verreck - Arvix

Datum: 12 september 2006 – Fortis NV, Utrecht

www.ddma.nl

Page 2: DDMA / Arvix: Datakwaliteit

DDMA Ondersteun je gegevenskwaliteitsaanpak met tools

12 september 2006

Ortwin Verreck

Technisch directeur ARVIX

Page 3: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Vooraf

“Bij gegevenskwaliteit gaat het primair om de

bruikbaarheid van de gegevens. Dit is al verbeterd als je

de gegevenskwaliteit kent”

“De kwaliteit van de gegevens is pas verbeterd als de

bruikbaarheid van de gegevens toeneemt”

In deze presentatie om de juiste aanpak ondersteunt met

tooling om de bruikbaarheid te vergroten.

Page 4: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Agenda

� Wat is gegevenskwaliteit

� Wat is gegevenskwaliteitmanagement

� Doel van gegevenskwaliteit

� Selecteren van middelen: tools

Geen doel maar middel om bruikbaarheid van gegevens te verhogen

Geen doel maar middel om bedrijfsprestaties te verbeteren

Page 5: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Belang van gegevens neemt toe – Voorbeeld

Keuzevrijheid

Nuon verliest 200.000 klanten

De vrijheid van klanten om voortaan zelf hun

energieleverancier te kiezen, heeft voor Nuon slecht uitgepakt. Het energiebedrijf, dat van oudsher veel klanten in Gelderland heeft, verloor sinds de liberalisering van de energiemarkt vorig jaar juli ongeveer 200.000 klanten;

75.000 kozen voor een andere stroomleverancier, 125.000 voor een andere gasleverancier. Op 1 juli vorig jaar had het bedrijf 2,5 miljoen klanten. Mensen keerden Nuon niet alleen de rug toe omdat ze bij andere leveranciers goedkoper uit zouden zijn, ook de inmiddels aangepakte

administratieve chaos en het……

ECONOMIE

Consumentenbond helpt klant Essent(ANP)DEN HAAG, 1 MAART. De Consumentenbond gaat

bemiddelen tussen Essent en

klanten die vinden dat zij een te

hoge of onjuiste rekening hebben

gekregen. Volgens de bond regende het afgelopen jaar

honderden klachten van...

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel

Middelen

Page 6: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Wat is gegevenskwaliteit?

� Kwaliteit ≠ “juiste”, “ware”

� Kwaliteit = duurzaam bruikbaar

� Type uitdagingen

� Technisch (kan niet) “Mijn dochter is geboren op 15 januari 2097”

� Functioneel (mag niet ) “Onze medewerker Johan de Vries van 95 jaar”

� Inhoudelijk (niet juist) “Deze Ipod bestelling is toch gratis”

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 7: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Belang van gegevenskwaliteit neemt toe

� Steeds meer gegevens nodig

� Steeds strengere eisen aan actualiteit en

volledigheid

� Informatieverstrekking als dienst

� Internet: straight through processing

� …

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 8: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Kwaliteit ontstaat niet vanzelf!

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel

Middelen

Page 9: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Kwaliteitsmanagement

� Kwaliteit volgens Demming� Bepaal de stand van zaken

� Analyseer de onvolkomenheden

� Bepaal wat je wilt bereiken

� Bedenk maatregelen

� Implementeer maatregelen

� Operationaliseren

voor gegevens

Check

Plan

ActDo

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 10: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Meten, weten, verbeteren

Administratie Extern

2) referentie1) waarneming

3) intrinsiek

De kunst van de goede mix

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel

Middelen

Page 11: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Technisch meten

Ongeldigewaarden

Ontbrekendedatum

afhankelijkheden

Dubbeleattributen

Het ontbrekenvan referentiele integriteit

Onwaarschijnlijkerelaties

Ontbrekende attributen

Ongeldigeberekeningen

Ongeldigereeksen

Dubbele sleutelwaarden

Niet standaardopmaak

normalisatie

DummyWaarden

Inconsistenties

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 12: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Inhoudelijk meten

Bijstellen modelMet domeinexperts:

Opstellen businessrules

MetenAnalyseren en bruterenNemen van maatregelen

Implementeren van de maatregelen

Gegevenskwaliteit

Gegevenskwaliteit-management

Beeld: stijging verkoop

via internet maakt reguliere

verkoopkanaal overbodig

Doel bepalen

Middelen selecteren

Page 13: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Managen van gegevenskwaliteit

Implementatie

Ontdekkenkritische

gegevens

Analyserenen

Bruteren

Weging(PrioriterenVerbeter-

mog.)

Maatregelen

Geen

Quickfix

(gegevens)

Ontwerp

Business

Solution

Norm

BepalenVerbeter-potentieel

Meting

Verbetering

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 14: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Scope te beperkt

� Meting met bedrijfsregels levert een

röntgenfoto van� De administratie

� De organisatie

� Röntgenfoto zet aan tot actie als� De objectiviteit buiten kijf staat

� De meetresultaten begrijpelijk zijn

� Mogelijke opbrengsten de business overtuigen

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 15: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

De scope

� Cyclus uitbreiden tot de bedrijfsprocessen

waarvan de gegevens afkomstig zijn en die de

gegevens gebruiken.

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 16: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Doel bepalen

Middelen selecteren

Kwaliteitscirkel grote Q of kleine q:

Gegevens

Processen(voegen gegevens toe)

Processen(gebruiken gegevens)

q

Wet- en regelgeving,

CAO

Applicatie

Q

Gegevenskwaliteit

Gegevenskwaliteit-management

Page 17: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Metingen en verbeterdoelen in termen van

� Klachten van klanten

� Work-around kosten

� Rework en foutherstel

� Compliancy met wetten en (externe) regels

� Responsesnelheid

� Inspelen op specifieke klantvragen

� Risicomanagement: resultaatgericht controleren

� Trendbreuken voorzien

� ...

Tevredener klanten tegen minder kosten en meer omzet

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 18: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Resume : Selectiecriteria op basis van doel

� Ondersteuning kwaliteitsmanagement (PDCA)

� Quick fix of structurele verbetering (grote Q of kleine q)

� Waarneming, referentie of intrinsieke meting

� Technische rules en/of business rules

� Gegevenskwaliteitgericht of business case gericht

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 19: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Selectiecriteria op basis van functionaliteit

� Automatische schoning

� Referentietabel met adressen (internationaal)

� Integreerbaarheid (ETL,CRM, ERP)

� Dataprofiling

� Cliëntgegevens, maar ook business

gegevens!

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 20: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Selectie criteria op basis van ontdubbeltechniek: deterministisch of problablistisch

Client_nr Naam Postcode Geb.datum Gesl. Roepnaam

923091 R. WILLEMSE 1213AR 39 11.10.2002 V RACHEL

923112 V. WILLEMSE 1213AR 39 11.10.2002 V VALERY

Client_nr Naam Postcode Geb.datum Gesl. Roepnaam

814856 S. MUTLU 5331GR 7 14.3.1992 M SEYHUN

814871 C. MUTLU 5331GR 7 14.3.1992 M CEYHUN

unieke cliënten

unieke cliënten

dubbeleregistraties

dubbeleregistraties

Potentiëlealiassen

Page 21: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Selectiecriteria marktanalyse 1: (visionair of marktleider)

Bron: Gartner april 2006

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Nederlandse situatie

Koplopers:

• Human Inference (met stip)

• Trillium Software

Weinig/geen marktaandeel:

• Dataflux (alleen onderdeel SAS)

• Firstlogic (geen europese adressen)

Let op:

• Geschiktheid europese adressen/

referentiedata

Page 22: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Selectiecriteria marktanalyse 2 (ook aanbodgedreven)

Bron: Forrester april 2006

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 23: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Prijskwaliteitverhouding

� Er zijn ook deeloplossingen mogelijk;

� Ook ‘eigen’ oplossingen kunnen;

gegevens

kwaliteit

Kosten

100%

Trillium

Human Inference

QAS

(Cendris)‘eigen’

oplossing

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 24: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Tot slot

� “A fool with a tool is still a fool”..

� Bepaal eerst je doelstellingen

� Oriënteer: voer een objectieve meting uit

� Selecteer op basis van je scope een aantal

hulpmiddelen/tools

� Voer een proof-of-concept uit (onder begeleiding)

� Kijk naar de toepasbaarheid en…

� … kijk ook naar de licentieovereenkomst ☺

Gegevenskwaliteit

Gegevenskwaliteit-management

Doel bepalen

Middelen selecteren

Page 25: DDMA / Arvix: Datakwaliteit

Ondersteun je gegevenskwaliteitsaanpak met tools

Vragen