DDMA / eXDe: Datakwaliteit

Event: DDMA DQ Dag

Thema: Datakwaliteit

Spreker: Jack van den Brink – eXDe Solutions BV

Datum: 12 september 2006 – Fortis NV, Utrecht

www.ddma.nl

Een assessment framework voor datakwaliteit

Utrecht, 12 september 2006

Datakwaliteit, hoe maak je het concreet?

©2006 eXDe Solutions. All rights reservedDDMA’s Dag van de Datakwaliteit28-Aug-06

Introductie

• Jack van den Brink

– Werkzaam in de IT sinds 1987

– MSc in IT (dissertation over Data Quality framework)

– Veel ervaring met CRM en CDI implementaties

– Sinds 1-6-2006 werkzaam bij eXDe (datamanagement en integratie)

• eXDe Solutions B.V.

– In 2005 gestart door een management buy-out van Deloitte Consultancy

– Gespecialiseerd in Applicatie Management en monitoring (24x7)

– Veel expertise op het gebied van data integratie en software ontwikkeling

– In 2006 gestart met business unit (datamanagement en integratie)


A view from the present“Data Age … Information Age … the Knowledge Era”

Time

Knowledge Level

.Calc.Crunch

Data

Generation

Data

Generation

•ERP I

.ME

Information

Supply

Information

Supply

•Dynamic Portals•Info anywhere•Entertainment is business

.Fear

•Web Portals•ERP II•Year 2000 •112•911

Information

Generation

Information

Generation

.KNOW

Information

Interpretation

Information

Interpretation

•Embedded Intelligence•Action based on value•Governance and Compliance•Terrorism•Fraud Detection

•On-Line Business•CRM

.COM

Data

Interpretation

Data

Interpretation

•Reporting tools•Data Warehouse

Knowledge

Generation

Knowledge

Generation

•Predictive behavior•Preventive actions•Learning engines

.Imagine


De invloed van slechte datakwaliteit

“Data quality problems cost North American businesses more than $600 billion dollars a year.”

“By 2005, Fortune 1000 enterprises will lose more money in operational inefficiency due to data quality issues than they will spend on data warehouse and CRM initiatives.”

“In recent discussions with more than 30 companies, not one expressed a strong level of confidence in the quality of customer data or satisfaction with the company’s overall approach to managing and integrating customer data.”

“Poor quality of customer data costs Dutch businesses € 400 billion a year based on direct costs only. The indirect costs will be much higher.”


De invloed van slechte datakwaliteit

De invloed van data kwaliteit wordt nog steeds onderschat

Resultaten van ERP, CRM en BI implementaties worden negatief beïnvloed door het

beperkte bewustzijn van data kwaliteit

Strategische en tactische besluiten zijn moeilijk te maken gebaseerd op data van slechte kwaliteit

Data kwaliteit is niet alleen een IT issue. Datakwaliteit moet worden geadresseerd op strategisch niveau

Datakwaliteit heeft constant aandacht nodig mede gebaseerd op een methode en/ of vaste cyclus

“Data warehouses play a crucial role in the success of a business intelligence (BI) program. However, through 2007, more than 50 percent of data warehouse projects will have limited acceptance, or will be outright failures, as a result of a

lack of attention to data quality issues, according to Gartner”


Waar te beginnen?

monitormonitorassessassess implementeerimplementeer

Opstellen businescase


Het doel van het assessment framework

• Het meten van de huidige data kwaliteit

• Het weergeven van het bewustzijn van een organisatie op het gebied van datakwaliteit, gebaseerd op visie en uitvoering

• Het in kaart brengen van mogelijke korte- en lange termijn verbeteringen

• In korte tijd uit te voeren

monitormonitorassessassess implementeerimplementeer monitormonitorassessassess implementeerimplementeer


De onderdelen van het assessment framework

• Het assessment framework bestaat uit de volgende onderdelen:

Het procedure document beschrijft hoe het

assessment wordt uitgevoerd

Het procedure document beschrijft hoe het

assessment wordt uitgevoerd

De questionnaire bestaat uit 47 vragen in verschillende categorieën;

systemen, management en eigenaarschap, data-invoer en

validatie, datatransformatieprocessen en beheer

De questionnaire bestaat uit 47 vragen in verschillende categorieën;

systemen, management en eigenaarschap, data-invoer en

validatie, datatransformatieprocessen en beheer

De data collectie database wordt gebruikt om de klant data in te

laden voor analyse. Voor de uitvoer van de analyse is een set

aan queries ontwikkeld

De data collectie database wordt gebruikt om de klant data in te

laden voor analyse. Voor de uitvoer van de analyse is een set

aan queries ontwikkeld

Een voorgedefinieerde presentatie template is ontwikkeld

om de assessment resultaten op een gestructureerde manier

te presenteren

Een voorgedefinieerde presentatie template is ontwikkeld

om de assessment resultaten op een gestructureerde manier

te presenteren

Proceduredocument

Proceduredocument

QuestionnaireQuestionnaire

Data collectiedatabase

Data collectiedatabase

Predefined final report

Predefined final report



Co-Brand Logo

Kick-off meetingLocation, Date

Data Quality Assessment.

Procedure document

• Het procedure document ligt de aanpak van het assessment toe. Het document geeft een overzicht van alle assessment activiteiten

• De inhoud is verdeeld in de volgende paragrafen;

– Introductie,

– Voorwaarden,

– Activiteiten,

– Resultaten

– Conclusie

2 hoursAll aboveFinal Results meeting

2 hoursDatabase administrationData loading

2 hoursDatabase administrationData extraction

2 hoursData owner, functional application management

Questionnaire discussion

4 hoursData owner, functional application management

Questionnaire completion

2 hoursData owner, database administration, functional application management

Kick-off meeting

DurationNeeded customer resources

Activity

Standaard kick-off presentatie

De tabel hier boven geeft een overzicht van de activiteiten, benodigde resources en een inschatting van de benodigde tijd voor de resources om de activiteiten af te ronden



Questionnaire

• De datakwaliteit questionnaire wordt gebruikt om een overzicht te krijgen van de klant omgeving in relatie tot de relationele datakwaliteit

• De questionnaire bestaat uit 47 vragen in vijf categorieën

• De gedefinieerde categorieën zijn:

– (Klant)systemen,

– management en eigenaarschap,

– data-invoer en validatie,

– datatransformatieprocessen,

– beheer

• De questionnaire is in MS Excel formaat



Data collectie database

• De data collectie database wordt gebruikt voor het inladen van de klant specifieke data die verder geanalyseerd wordt door de uitvoer van verschillende queries.

Customerdatabase

Data collectiondatabase

Import scripts Assessment queriesResult

documents

Extraction of data can be delivered as MS

Access, MS Excel or flat file

Import scripts are used to load the predefined

tables

Assessment queries are executed to generate

the results data

Predefined table scheme with predefined assessment queries

Results are displayed in a specific results table

(analysis table)



Voorgedefinieerde eindrapportage

• De eindrapportage geeft alle resultaten in een presentatie vorm weer. De resultaten van de questionnaire en de data analyse zijn opgenomen in deze presentatie. Daarnaast wordt een overall data kwaliteitscijfer gegeven en algemene conclusies getrokken

Co-Brand Logo

Final reportLocation, Date

Data Quality Assessment.

1 ©2006 eXDe Solutions. All rights reserved<presentation title, change before presenting!!>14-Aug-06

Kick-off agreements

Follow up?Follow up?

Agreement 1Agreement 1




• Overview of agreements made during kick-off


Assessment activities

Data assessment

Data extraction

Questionnaire discussion

Questionnaire completion

Kick-off meeting

status

Pending

Done

Overview of assessment activities with check on completeness Not done


Questionnaire summary results

......

......

......

......

......

......

CRM SystemsCRM Systems

......

......

......

......

......

......

Data transformation

processes

Data transformation processes

......

......

......

......

......

......

Organizational

management and ownership

Organizational management and

ownership

......

......

......

......

......

......

ExploitationExploitation

......

......

......

......

......

......

Data entry and validation

Data entry and

validation


Graph results

Execution

Vision

Organization XYZ

• Results overview of questionnaire.

Organization QRS



• Een veel gebruikte definitie van datakwaliteit gebaseerd op de inzichten van Joseph Juran is:

“Data are high of quality if they are fit for their intended uses in operations, decision making and planning. Data are fit for use if they are free of defects and posses desired features”.

• Om datakwaliteit te kunnen meten moeten meetbare categorieën worden bepaald

• Veel gebruikte meetbare categorieën zijn: Actueel, Compleet, Correct en Uniek (ACCU)

Definitie van datakwaliteit



Datakwaliteit meetbare categorieën

Vormen de gegevens een afbeelding van de werkelijkheid?

Zijn ze nog actueel?

Vormen de gegevens een afbeelding van de werkelijkheid?

Zijn ze nog actueel?

Zijn de gegevens compleet binnen een record?

Zijn de gegevens compleet t.o.v. het breder universum?

Zijn de gegevens compleet binnen een record?

Zijn de gegevens compleet t.o.v. het breder universum?

Is het formaat correct?

Is de inhoud correct? Is de data integer?

Is het formaat correct?

Is de inhoud correct? Is de data integer?

Komt elke relatie maar één keer voor in de database?Komt elke relatie maar één keer voor in de database?

ActualiteitActualiteit

CompleetheidCompleetheid

CorrectheidCorrectheid

UniciteitUniciteit



Datakwaliteit gemeten (1)

• Datakwaliteit is een begrip met name gebaseerd op de perceptie van de organisatie zelf

• Er is geen algemene definitie van goede of slechte datakwaliteit

• Er zijn geen percentages die een goed datakwaliteitsniveau bepalen

• Datakwaliteit moet gemeten worden op die attributen die essentieel zijn voor de strategie en processen van een organisatie




• Iedere categorie kan op basis van de essentiële attributen gemeten worden. Een overall score kan worden berekend met de volgende formule:

CIJFER = (Actualiteit+Compleetheid+Correctheid+Uniciteit)/4

• De individuele cijfers kunnen worden berekend op basis van de volgende formule:

CIJFER = 10 – (totaal percentage/aantal attributen)

• Het uiteindelijke cijfer geeft een kwaliteitsniveau weer op een tienpuntsschaal. Dit cijfer wordt met name gebruikt om het datakwaliteitsniveau tastbaar te maken. Het cijfer geeft geen waardeoordeel in de zin van goed of slecht




• Op basis van aanvullende vraagstelling rondom de organisatorische inbedding van datakwaliteit binnen een organisatie kan de volwassenheid van een organisatie op het gebied van datakwaliteit worden gemeten.

Execution

Vision

Organization QRS



Business Case

• Stel een business case op om kosten en investeringen van een datakwaliteitsprogramma te rechtvaardigen

• Stel de business case op vanuit een business perspectief;

– Wat levert het een sales-, marketing- of callcentermanager op?

• Stel de business case op in samenwerking met verschillende afdelingsmanagers

• Houd het eenvoudig (verre detaillering is meestal niet noodzakelijk en zorgt voor veel informatie, waar veel vragen over komen)

• Kijk naar benchmark en branche gegevens

• Gebruik scenario's; niets doen zal meer geld gaan kosten!

• Zoek naar onderdelen die leiden tot verbetering van de concurrentie positie



Implementatie

• Definieer een helder programma met concrete doelen en opbrengsten

• Splits het programma op in kleine deelprojecten met duidelijke producten en frequent resultaat (minimaal één resultaat per 3 maanden)

• COMMUNICEER!!

• Denk goed aan de organisatorische inbedding!

• Zorg voor sponsorship op management niveau

• Zorg voor borging in de staande organisatie

• Denk naast correctieve maatregelen ook aan preventieve maatregelen



Monitor

• Het regelmatig meten van datakwaliteit is belangrijk

• Het meten geeft inzicht in ontwikkeling van de kwaliteit

• Ontwikkel initiatieven voor het verder verbeteren van onderdelen die teruglopen in kwaliteit

• De meting eventueel bijstellen wanneer andere attributen belangrijk worden

• Een DQ dashboard kan een goed instrument zijn om op regelmatige basis te rapporteren over de datakwaliteit



“The only place where success comes before work is in the dictionary.”

– Vidal Sassoon


Meer informatie?

eXDe Solutions B.V.

PostadresPostbus 7114600 AS Bergen op Zoom

BezoekadresWattweg 74622 RA Bergen op Zoom

� +31 (0)164 21 33 00� +31 (0)652 05 57 06� +31 (0)164 21 33 09� www.exde.nl@ [email protected]

Jack van den Brink

[email protected]


eXDe Solutions B.V. , a private company with limited liability under Dutch law, with its statutory seat in Breda, the Netherlands, having its principal place of business at Wattweg 7, 4622 RA Bergen op Zoom the Netherlands. For more information, please visit the Netherlands member firm’s website at www.exde.nl.

eXDe Solutions B.V. is an official alliance partner of

DDMA / eXDe: Datakwaliteit

Documents

Transcript of DDMA / eXDe: Datakwaliteit