ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht...

23
www.DATPROF.com Volg ons op twitter: @DATPROF Subsetten & Anonimiseren

Transcript of ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht...

Page 1: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

www.DATPROF.comVolg ons op twitter: @DATPROF

Subsetten & Anonimiseren

Page 2: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

ITCG en DATPROF

- Data Warehousing

- Data Migratie

- Data Kwaliteit

- Test Data Management

Opgericht in 1998, gespecialiseerd in data integratie

Diensten Producten

Page 3: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

www.DATPROF.com

Page 4: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

www.DATPROF.com

DOELEINDEN:

• TESTEN

• ONTWIKKELEN

• OUTSOURCING

• MARKETING

• OPLEIDING

PROBLEMEN:

• Werken met volledige kopieën:

• Werken met volledige kopieën:

• Werken met persoonsgegevens:

Page 5: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Minimaliseren gebruik van persoonsgegevens

Besparen op hardware & infrastructuur

Terugbrengen doorlooptijden

Waarom subsetten?

Efficiënter beheren testdata

Page 6: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Beschermen relaties

Voldoen aan wetgeving

Voorkomen imagoschade

Beveiligen concurrentie-gevoelige data

Waarom anonimiseren?

Page 7: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

www.DATPROF.com

Creëren representatieve subsets van productie databases

Page 8: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Wat is subsetten?

Voorbeeld 1: “willekeurig 5%”

Productiedatabase

Testdatabase

Voorbeeld 2: “alle klanten uit Amsterdam”

Page 9: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Start punt

Zelfde structuur

% Productie

dataTestdata

Selectiecriterium

Classificatie

Relatief: t.o.v startpunt

Volledig: stamtabellen

Leeg: log tabellen

Overslaan: temp tabellen

Page 10: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

• Representatief

• Consistent

• Onderhoudbaar

• Herhaalbaar

• Keten-ondersteuning

• Bruikbaar!

Relevant voor subsetten

Page 11: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

1. Create application

2. Import Data model

3. Configuresubset 4. Deployment

Deploy subset

Subset

Hoe werkt DATPROF Subset?

Page 12: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

www.DATPROF.com

Anonimiseren vertrouwelijke en privacy gevoelige data

Page 13: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Test Ontwikkel

Hoe zit het met beveiliging?

Productie

Firewall? Autorisatie? Beveiliging-updates? Outsourcing?

Extern

Page 14: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Persoonsgegevens

Page 15: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

“Elk gegeven over een geïdentificeerde of identificeerbare natuurlijke persoon”

A d r e s s e nTe l e f o o n n u m m e r s

N a m e nE - M a i l

Bron: Wet Bescherming Persoonsgegevens

Page 16: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Anonimiseren van Persoonsgegevens

R e l i g i e G e z o n d h e i dV i d e o

B e e l d e n

P o l i t i e k e

v o o r k e u r

K e n t e k e n s

R e l i g i e

“Elk gegeven over een geïdentificeerde of identificeerbare natuurlijke persoon”Bron: Wet Bescherming Persoonsgegevens

Page 17: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Regulering in het kort

Viertal risicoklassen :

Risicoklasse 0 - Publiek niveau; telefoonboeken

Risicoklasse 1 - Basis niveau: krantabonnement

Risicoklasse 2 - Verhoogd risico: bank & verzekering gegevens

Risicoklasse 3 - Hoog risico: DNA & opsporingsgegevens Artikel 9: Doelbinding“Persoonsgegevens worden niet verder verwerkt op een wijze die onverenigbaar is met de doeleinden waarvoor ze zijn verkregen”Artikel 13: Organisatorische & technische maatregelen

“De verantwoordelijke legt passende technische en organisatorische maatregelen ten uitvoer om persoonsgegevens te beveiligen tegen verlies of tegen enige vorm van onrechtmatige verwerking. “ CBP- AV23 - Beveiliging van persoonsgegevens

“Voor het testen van informatiesystemen met

persoonsgegevens mogen uitsluitend gegevens van

fictieve personen gebruikt worden”

Page 18: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Wat is anonimiseren?

Voorbeeld:- Verwissel bestaande namen

- Genereer nieuwe 11-proef banknummers- Laat geboortedata enigszins afwijken

- Genereer nieuwe bedragen en aantallen

Testdatabase

Page 19: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Production

ID Firstname Lastname Bankaccount Totaal

1 John Ed˚wards 418582971 € 110,00

2 Chris Evans 389719722 € 140,00

Production

PK ID Product Totaal

1 1 Basic € 90,00

2 1 Advanced € 20,00

3 2 Basic € 90,00

4 2 Pro € 50,00

Test

ID Firstname Lastname Bankaccount Totaal

2 John Evans 233248316 € 110,00

1 Chris Ed˚wards 240806153 € 140,00

Test

PK ID Product Totaal

1 2 Basic € 90,00

2 2 Advanced € 20,00

3 1 Basic € 90,00

4 1 Pro € 50,00

Key-Shuffle: ID Shuffle: Lastname Expressie: Bankaccount

Voorbeeld

Key-Shuffle, Shuffle & Expressie

Page 20: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Keten-ondersteuning

Geheugenfunctie

Geheugenfunctie

Page 21: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

• Anoniem, maar herkenbaar

• Representatief

• Identieke datakwaliteit

• Referentiële integriteit

• Ketenondersteuning

• Bruikbaar!

Relevant voor anonimiseren

Page 22: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

1. Create application

2. Import Data model

3. Configureanonymization 4. Deployment

Deploy anonymization

Hoe werkt DATPROF Privacy?

Page 23: ITCG en DATPROF - Data Warehousing - Data Migratie - Data Kwaliteit - Test Data Management Opgericht in 1998, gespecialiseerd in data integratie Diensten.

Demo?Neem contact op via www.datprof.com

[email protected]