Paul Grooten

29 mei 2018 – v1.0

Van procesgedreven naar datacentrisch

Themasessie NORA Gebruikersdag

Agenda

Mag ik even voorstellen…

Het CBS als Data knooppunt

Van proces gedreven naar data centrisch

Het CBS DataMeer

Aanbevelingen

Mag ik even voorstellen…

3

Centraal Bureau voor de Statistiek

4

Zelfstandig Bestuursorgaan (ZBO)

Officiële StatistiekenEconomisch - Sociaal -

VolkstellingNationaal en Regionaal

180 mEur 2000+

The Hague Heerlen Bonaire

Opgericht in 1899 (5 fte, 2 kamers), nu 3 vestigingen

Data Verzamelen

Data Verwerken

Publiceren

Statistisch proces

5

Missie

6

● 3.900 tabellen in StatLine (online database)

● 800 nieuwsberichten

● 51.000 keer als bron in nieuwsmedia

● Ruim 10 miljoen keer is CBS.nl bezocht

● 116.000 volgers op Twitter

● 946.000 bevragingen Open Data

CBS in cijfers*

* Status eind 2017

7

Fenomeengerichte benadering

Verspreiding informatie via diverse kanalen

8

9

Diverse vormen van OutputNieuws

berichtenStatLine

Open Data

Micro-

data

Maat-werk

Publica-ties

Tweets

Les-materiaal

Visualisa-

ties

Filmpjes

Corporate nieuws

10

● Privacy altijd gewaarborgd (in de wet vastgelegd)

● Geheimhoudingsplicht voor alle medewerkers

● De CBS wet garandeert dat gegevens alleen voor statistische doeleinden worden gebruikt

● Geen enkele instelling kan toegang opeisen tot de gegevens die het CBS verzamelt

Gegevensbescherming als top prioriteit

Het CBS als Data knooppunt

11

12

Data gebruik

13

CBS als Data knooppunt

DatabronnenMinisteries, Planbureaus en DNB

Gebruikers

Universiteiten

Onderwijs

Gezondheidszorg

Internationaal

Decentrale overheid

Media

Politiek

Bedrijfsleven

Burger

BRP

KvK

UWV

GGDPolitie

Kadaster

BedrijvenBurger

Belastingdienst

Onderwijssamenwerking

14

Samenwerken

15

Samenhang en complexiteit

Economy

Education

Energy

Environment

Finance

Fire & Emergency

Response

Governance

Health

Recreation

Safety

Shelter

Solid Waste

Telecommunications

Transportation

Urban Planning

Wastewater

Water & Sanitation

Sustainable Development Goals

16

Vraag naar:

● Meer, samenhangende, actuele, maatwerk, “doe het zelf”, “doe

het samen” statistische informatie

Realiteit:

● Moeilijkheden bij het verkrijgen van statistische informatie

● Toegenomen beschikbaarheid én gebruik van administratieve

bronnen

● Toenemende complexiteit

Uitdagingen

Van proces gedreven naar data centrisch

17

18

Hoe om te gaan met de grote vraag?

19

Anders kijken naar Data!

20

Van Procesgedreven

21

…naar Datacentrisch

Datameer

Microdata Stat. data

Artikelen/Visualisaties

Hergebruiken / Combineren

Slimme / flexibele processen

Afnemers / Onderzoekers

Zelfstandig gebruiken

Afnemers

Publiceren

Afnemers

Ophalen

BerichtgeversRespondenten

Streaming data

Registraties

Exploreren

22

● Afscheid nemen van beperkingen huidige methoden en technieken

● Nieuwe Architectuur

● Eindgebruiker ondersteunen en zelfstandig informatie laten vinden (self-service)

● Inzet nieuwe ontwikkelingen op gebied van:

Datavirtualisatie Metadata Beveiliging en Autorisatie

Dat betekent

23

Focus op vinden

24

Nieuwe blik op proces georiënteerde BA

User of

statistics

Policy, budget, descriptions of

external registrations

Conceptual

metadata & product

quality

Process metadata:

workflow & proces

quality

Process metadata:

statistical

knowledge rules

Conceptual metadata &

product quality

Determine

statistical

information

needs

Design

structure

processes

Design

final products

Design

statistical

knowledge

rules

Design

raw materials,

semifinished

products

Plan, check, act

Quality indicators Plan, schedule

Outputbase

Supplier of

registrations,

Respondent

Realised metadataMeasured quality

indicators, reports

Drawing

samples,

etc

Data collection Publishing Imputation,

editing, etc Disclosure

Control, etc

Inputbase Microbase Statbase

Estimation,

statistical

Integration,

etc

Design

Chain

management

Statistics

Production

25

Maar ook de vraag naar flexibiliteit verlangt een andere architectuur

CBS zal in toekomst zowel mode 1 als ook

mode 2 ondersteunen

Een beetje zoals…

Web Web Web Web

Afspraken

Regels

One Stop Shopping

All you needand more

Zoek / Vergelijk

26

27

Een Data Shop

Web Web Web Web

Afspraken

Regels

EZ

One Stop Shopping

All you needand more

Zoek / Vergelijk

PDCUDC DDC

PDCUDC

UDC=Urban Data Center | PDC = Provionciaal Data Center | DDC=Departemental Data Center

Het CBS DataMeer

28

29

Het toegankelijk maken van statistische data voor statistici - Meer data

- Makkelijker te vinden

- Makkelijker te begrijpen

- Makkelijker te verkrijgen

Twee troeven - Data virtualisatie

- Metadata-model

De data centraal in het CBS DataMeer

30

De kern van het CBS DataMeer

Data-Abstractielaag (middels data virtualisatie)

FIN CRM SecundaireBronnen

FlatFiles

WebServices

Big Data

DPT Dashboard Intra Mobile Report AppVisual

JSON SQL SQL Excel XML NOSQL

JDBC/SQL MDX/DAX Rest/SOAP Json/RestODBC/SQL ODBC/SQLXML/SOAP

De nieuwe CBS Data Architectuur

31

Demand

Supply

(Leg

acy)D

atasou

rces

Data Source Layer(DSL)

CSVSQL DB

Web Srv

ETL tooling

XLS

App

CBDS

Vraag

Consumer Layer(CL)

Web PageS2STooling

P V A

P V A= Data Prep = Data Visualization = Data Analytics

Security

Data V

irtualizatio

nP

latform

Data Transformation Layer (DTL)

Data Provisioning Layer (DPL)

Building Block 1

Building Block 2

Building Block 3

Building Block 4

Web-Service

C

OData Web-Service B

Web-Service A

Security

UserQue.

Da

ta G

ove

rna

nce

TechMeta

Me

tad

ata

Ma

na

ge

me

nt

Import Conceptual Meta

Conn.String

Existing New

CIO office | Versie 1.81

Se

curi

ty &

Au

tori

sati

on

…richting een multi zone DaaS Architecture

32

Security

CLD

atasou

rces

DSL

Data V

irtualizatio

n

DTL

DPL

Da

ta G

ove

rna

nce

Existing New

UserQue.

Me

tad

ata

Ma

na

ge

me

nt

TechMeta

Zone CBS

DDC=Departemental Data Center | UDC=Urban Data Center | CL=Consumer LayerDPL=Data Provisioning Layer | DTL=Data Transformation Layer | DSL=Data Source Layer

Building Block 1

Building Block 2

Web-Service A

CBDSDSC

P VA

P V A= Data Prep = Data Visualization = Data Analytics

Security

Zone DDC1

Building Block 7

Building Block 8

Web-Service D

DDC1

Secured

VPN

P VA

Zone UDC1

Building Block 3

Building Block 4

Web-Service B

UDC1

Secured

VPN

P VA

Zone UDC2

Building Block 5

Building Block 6

Web-Service C

UDC2

Secured

VPN

P VA

EHB Se

curi

ty &

Au

tori

sati

on

Remote Acces omgeving in CL

Pseudonimi-seren in DTL

Voor Open en Micro Data

Data-Abstractielaag

33

● Naast technische metadata ook conceptuele, proces en herkomst metadata

● Metadata model ondergebracht in graph database vanwege flexibiliteit en geschiktheid

● Basis voor zoeken/vinden maar ook voor toekomstige ontwikkelingen (o.a. automatische classificatie)

Metadata systeem als kloppend hart

Persoon

Petra

Persoon

Peter

Is_getrouwd_met

Woont_samen_met

Naam….: PeterGeboren: 1 sep 1991Twitter…: @peter

Label Relaties Node Propperties

34

Zoeken en vinden m.b.v. Metadatasysteem

Free Text Search Engine

Graph model Zoekindex

Datasets met variabelen gesorteerd op nabijheid / relevantie met relaties

?1

24 35

6

DSD

DS

VAR

35

Combineren en verwerken

8

97

6

Combineren/VerwerkenData Virtualisatie system

(DV)

ICT Gebruik

RegioBase

Post-code tabel

Security enAccess Control

Bron systemen

Datasets met variabelen gesorteerd op nabijheid /relevantie met relaties

36

Samenvatting Datameer

Data-Abstractielaag (middels data virtualisatie)

FIN CRM SecundaireBronnen

FlatFiles

WebServices

Big Data

DPT Dashboard Intra Mobile Report AppVisual

JSON SQL SQL Excel XML NOSQL

JDBC/SQL MDX/DAX Rest/SOAP Json/RestODBC/SQL ODBC/SQLXML/SOAP

Met

adat

a sy

ste

em

Aanbevelingen

37

38

● Ontwikkel een Datastrategie (maar dit is niet voldoende voor succesvolle implementatie)

● Naast technologie, speelt vooral ook de cultuur een belangrijke rol

Wat is er nodig voor succes?

39

• Check of Datastrategie in lijn is met je plannen (v.v.)

• Begin met experimenteren met technologieën als datavirtualisatie

• Bouw aan een cultuur die verandering omarmt en communiceer je plannen zo vaak als mogelijk

Aanbevelingen

40

Wat levert het op?

€ M{ "

stimuleerKostendata toegang

Risico’s

Groei Hergebruik

Time toMarket

reduceer

41

Vragen?

Paul GrootenData architect / CIO OfficeCBS

42