I T C GBIG DATA

BIG DATA

Business Intelligence

Volume? Variatie?

I T C GBIG WATER - Volume

++++

I T C GBIG WATER - Variatie

I T C GComplexiteit managen

• Probleem:

– Als de variatie toeneemt, zullen we toegenomen

afhankelijkheden/complexiteit moeten managen

• Oplossing:

– Modellering

• Data modellen / Schema waterleidingennet

– Standaardisering

• Data koppelvlakken / Specs leidingnetonderdelen

– Kennisborging

• Data definities / Vastlegging locatie-informatie leidingen

I T C GAfhankelijkheid

Afhankelijkheid

Beschikbaarheid

Continuïteit? Kwaliteit?& &

I T C GBeschikbaarheid

I T C GBron-geörienteerd

I T C GData Vault – bron-geörienteerd

• Karakteristieken

– Database voor tijdlijnhistorie van brondata

– Type tabellen:

• Hubs sleutels/business object

• Satellieten attributen + geldigheid/business object/bron

• Links relaties tussen hubs

– Wijzigen door toevoegen (“zero updates”)

• Datamodel flexibel

• Data snel

– Bouw-/onderhoudsinspanning evenredig met mate van

business integratie

• “Staging Vault” 100% te genereren uit metadata bronnen

I T C GVullen hub/sat (t = 01-01-2010)

Prd_id Productname Load date Record source

PRODUCTS_BRON_1

HUB_PRODUCTS

Id Name Price discount

4 Product B 865 5%

11 Product C 766 7%

PRODUCTS_BRON_2

1

2

3

Product A

Product B

Product C

01-01-2010

01-01-2010

01-01-2010

BRON_1

BRON_1

BRON_2

Prd_id Price Load date Load end

date

Record

source

SAT_PRODUCTS_BRON_1

Prd_id Price discount Load date Load end

date

Record

source

SAT_PRODUCTS_BRON_2

1

2

995

850

01-01-2010

01-01-2010

∞

∞

BRON_1

BRON_1

2

3

865

766

5%

7%

01-01-2010

01-01-2010

∞

∞

BRON_2

BRON_2

Id Name Price

5 Product A 995

9 Product B 850

I T C GVullen hub/sat (t = 02-01-2010)

Prd_id Productname Load date Record source

PRODUCTS_BRON_1

HUB_PRODUCTS

Id Name Price discount

4 Product B 865 5%

11 Product C 766 7%

PRODUCTS_BRON_2

1

2

3

Product A

Product B

Product C

01-01-2010

01-01-2010

01-01-2010

BRON_1

BRON_1

BRON_2

Prd_id Price Load date Load end

date

Record

source

SAT_PRODUCTS_BRON_1

Prd_id Price discount Load date Load end

date

Record

source

SAT_PRODUCTS_BRON_2

1

2

995

850

01-01-2010

01-01-2010

∞

∞

BRON_1

BRON_1

2

3

865

766

5%

7%

01-01-2010

01-01-2010

∞

∞

BRON_2

BRON_2

Id Name Price

5 Product A 995

9 Product B 850

990

02-01-2010

1 990 02-01-2010 ∞ BRON_1

02-01-2010X X

I T C GData Vault – bron-geörienteerd

• Toepasbaarheid

– Bron = waarheid

– Data kwaliteit “as is”

– Gebruikers interpreteren zelf

I T C GDoel-geörienteerd

I T C GInmon – doel-geörienteerd

• Karakteristieken

– Hoge mate van integratie

– Bedrijfs Gegevens Model (BGM)

• Structuur

• Semantiek

• Data kwaliteit

I T C GInmon versus Data Vault

Operational Databases Staging Area Enterprise Datawarehouse Datamarts

Bu

sin

ess R

ule

s

Bu

sin

ess R

ule

s

I T C GInmon – doel-geörienteerd

• Toepasbaarheid

– Creëren van „de waarheid‟ in BGM

– Zonodig data kwaliteit verbeteren

• Schonen

• Ontdubbelen

• Uniformeren

• Verrijken

• Verbeteren

• Koppelen

• …

– Gebruikers krijgen „voorgekookt‟ informatieproduct

I T C GProductiviteit managen

• Probleem:

– Bij toenemende complexiteit, neemt productiviteit af

• Oplossing:

– Modellering

– Standaardisering AUTOMATISERING

– Kennisborging

I T C GITCG / DATPROF

• ITCG

– Gespecialiseerd in oplossen van complex data

integratie vraagstukken

– Opdelen probleem naar generieke (ontwerp-)patronen

– „Vangen‟ van kennis (kwaliteitsregel, mappingregels)

• DATPROF

– Generatie van geautomatiseerde oplossing

I T C GDATPROF Integrate

Data Warehouse

Reporting

Data

Sources

...

...

...

Oracle

Exploitation

MonitorNScheduler8

generated application code

JAVA

Operating System

DATPROF Integrate Runtime

Modeler

ETL-Object Library

Meta Data Repository

DATPROF Integrate Developer

loa

d

his

tory

qu

ality

ma

pp

ing

qu

ality

ma

pp

ing

extra

ctio

n

metadata

me

tad

ata

Inte

rface

Dashboard & Portals

I T C GBeing in control…

Harald Kikkers (niet te verwarren met de man hierboven)

Namens ITCG op het BI Symposium Sogeti 2012