20130918 kennis sessie-handout

Post on 11-Jun-2015

146 views 2 download

Transcript of 20130918 kennis sessie-handout

Test Data Management

Diensten - Advies - Implementatie - Proof of Concept - Business Case - Risico analyse

Tools - DATPROF Subset - DATPROF Privacy

VEEL

ORGANISATIES GEBRUIKEN KOPIEËN VAN

PRODUCTIE DATABASES

DOELEINDEN:

• TESTEN

• ONTWIKKELING

• OUTSOURCING

• MARKETING

• OPLEIDING

Hoe beheer je al deze omgevingen?

Hoe ga je om met persoonsgegevens?

Minimaliseer datagebruik Bespaar op hardware Verkort doorlooptijden Efficiënter data beheer

Beschermen van relaties Voldoen aan wetgeving Voorkom imagoschade Behoud concurrentie positie

Subsetten Anonimiseren Voordelen van het subsetten van data Voordelen van het anonimiseren en maskeren

Productie Test/Ontwikkel Source Database Target Database

Datamodel classificatie

Filteren – Proces data Voorbeeld: Klanten, Orders, Contracten, Facturen

Volledig – Master data Voorbeeld: Applicatie data, Inrichting, Stamtabellen

Leeg – Logging, overbodige historie Voorbeeld: Log tabellen, temp tabellen, overbodige historie

Bepalen welke delen van de data overgezet moeten worden.

Keten Methodes om over de keten heen te subsetten

Productie Test/Ontwikkel

Start Filter Alle klanten uit Groningen

Start Filter Alle orders van klanten die in de

vorige subset zitten.

Toepassingen

Ontwikkel-Test-Acceptatie omgevingen Data Warehousing & Business Intelligence Data Distributie

Hoe kan subset-technologie gebruikt worden?

Importeren Meta data Classificeren Deployment

Anonimiseren van gevoelige gegevens

Identiteitsdiefstal

Chantage Creditcard fraude

Spam

Imagoschade

Risico Welke risico’s lopen betrokkenen

- Naam

- Geboortedatum

- Email

- Bankrekening nummer

- BSN nummer

- Adres

- Polisnummer

- Telefoonnummer

- Etc…

- Banksaldo

- Schulden

- Medicijn gebruik

- Ziekte

- Geloofsovertuiging

- Politieke voorkeur

- Salaris

- Telefoonhistorie

- Etc…

Persoonsgegevens

Identificerende Kenmerkende

“Elk gegeven over een geïdentificeerde of identificeerbare natuurlijke persoon” Bron: Wet Bescherming Persoonsgegevens

Informatie

analyse

Impact analyse

Definiëren regels

Bouw Test

- Beheer

- Overdraagbaarheid

- Eenvoud (bv datamodel veranderingen)

- Keten / Regressie

ANONIMISEREN

- Mate van anonimiteit - Bruikbaarheid - Acceptatietest

- Impact op test? - Impact op

systeem? - Impact op keten?

- Welke systemen? - Welke tabellen? - Welke

kolommen? - Welke interfaces?

- Zo weinig mogelijk - Zo anoniem mogelijk - Herbruik

Technieken

Shuffle Verwissel waarden binnen een kolom

Conditioneel Maskeer gespecificeerde delen van tabellen +

Voornaam Naam Soort

Frans

Jan

Dirk

Jansen

de Boer

Huisman

DATPROF

Klant

Klant

Klant

Leverancier

321 Voornaam Naam Soort Opmerking E-Mail

Frans

Jan

Dirk

de Boer

Huisman

Jansen

Blank Verwijder waarden uit kolom

Scramble Vervang bestaande karakters

“Zwager van D.Jansen”

“Heeft schulden”

xxxxxxx@xxxx.xx

Xxxxxxx@xxxx.xx

xxxxx@xxxxxxxxxx.xx

Klant

Klant

Klant

Leverancier DATPROF

Nr. Polis

789

321 Nr. Voornaam Naam Soort Opmerking E-mail

Frans

Jan

Dirk

de Boer

Huisman

Jansen

DATPROF

123

456

789

321

123

456

Basis + AV Standaard

Basis

Klant

Klant

Klant

Leverancier

xxxxxxx@xxxx.xx

Xxxxxxx@xxxx.xx

xxxxx@xxxxxxxxxx.xx

Key-Shuffle Verwissel primary keys en foreign keys consistent.

“Uniek klantnummer dat op pasjes en polissen wordt gedrukt”

Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum

Frans

Jan

Dirk

de Boer

Huisman

Jansen

DATPROF

123

Klant

Klant

Klant

Leverancier

xxxxxxx@xxxx.xx

Xxxxxxx@xxxx.xx

xxxxx@xxxxxxxxxx.xx

321

789

456

First day Verander datum velden naar de 1e van dezelfde maand of jaar

01-02-1954

01-11-1984

01-03-1974

Postcode

Geboortedatum 1e van de maand 1e van het jaar

87% 3.7% 0.04%

Bron: onderzoek anonimiteit door Prof. Dr. Latanya Sweeney (Harvard University)

Nr. Voornaam Naam Soort Opm.. E-mail Geb-datum

de Boer

Huisman

Jansen

DATPROF

123

Klant

Klant

Klant

Leverancier

xxxxxxx@xxxx.xx

Xxxxxxx@xxxx.xx

xxxxx@xxxxxxxxxx.xx

321

789

01-02-1954

01-11-1984

01-03-1974

Look-up Vervang waarden met waarden uit een andere tabel

Tim

Ruben

Thomas

Frans

Jan

Dirk

Voornamen

Daan

Thomas

Tim

Lars

Ruben

Levi

Luuk

Referentiedata

Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum

Thomas

Tim

Ruben

de Boer

Huisman

Jansen

DATPROF

123

Klant

Klant

Klant

Leverancier

321

789

456

01-02-1954

01-11-1984

01-03-1974

Expression Maak gebruik van standaard of eigen functies

T.deBoer@testdata.nl

T.Huisman@testdata.nl

R.Jansen@testdata.nl

Fictief

Fictief

Fictief

Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum

Thomas

Tim

Ruben

de Boer

Huisman

Jansen

DATPROF

123

Klant

Klant

Klant

Leverancier

321

789

456

01-02-1954

01-11-1984

01-03-1974

T.deBoer@testdata.nl

T.Huisman@testdata.nl

R.Jansen@testdata.nl

Fictief

Fictief

Fictief

Vergelijken

Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum

Frank

Jan

Dirk

Jansen

de Boer

Huisman

DATPROF

789

Klant

Klant

Klant

Leverancier

123

456

321

16-02-1954

25-11-1984

27-03-1974

“Zwager…”

“...Schulden..”

fdeboer@live.nl

Huisman@live.nl

ikben@dirkjansen.nl

Importeren

Meta data Definiëren regels 3. Deployment

Demonstratie