Bron foto: http://www.flickr.com/photos/eachdaycounts/97638443

Kwaliteitscontrole en validatie van gedigitaliseerd archiefmateriaal

KVAN Dagen 7 juni 2011

Robert Gillesse, Stichting DENMarc Holtman, Stadsarchief AmsterdamImgmar Koch, Medewerker Provinciale

Archiefinspectie Noord-Brabant en Limburg

Altijd ok?

Video Duyvis

KwaliteitscontroleHoe ver moet je gaan?

Bron foto: http://www.flickr.com/photos/pierrelaphoto/2314190563

Hoe ver?

•Welke kwaliteitscriteria, wanneer en in welke frequentie?•Welke steekproefmethode?•Wat is “fout” en hoe verhouden “fouten” zich tot elkaar?•Wat doet de leverancier aan kwaliteitsborging? •Hoe verhouden de kosten van kwaliteitscontrole zich tot de scanprijs?

Inhoud parallelsessie en uw QA-Team

1.Robert Gillesse: Controle van digitale reproducties

2.Ingmar Koch: Kwaliteitscontrole en steekproeven

3.Marc Holtman: kwaliteitscontrole en de worklow

4.Vragen en discussie

Kwaliteitscontrole van digitale reproducties

Robert Gillesse, DENKVAN dagen 7-6-2011

Afbakening

•Digitale reproducties in de zin: originelen omgezet in digitale afbeeldingen bestaande

uit pixels•Focus op beeldkwaliteit

Geen standaardrecept voor kwaliteitscontrole van digitale

afbeeldingen

Afhankelijk van projectdoelstellingen en soort materiaal

Vervanging “versus” beschikbaarstelling

In Beleidsregel Vervanging voor provincies verwezen naar Geheugen van Nederland

richtlijnen (sinds 2006 niet upgedate)

In welke mate moet de digitale reproductie het origineel weerspiegelen?

Wat zijn de essentiële eigenschappen van het origineel die ik in de digitale reproductie wil

terugzien?

Concreet: detaillering, waarheidsgetrouwe weergave kleur of toon, vormvastheid,

afwezigheid van beeldverstoringen

Bron: KB Historische kranten: http://kranten.kb.nl/view/article/id/ddd%3A010340569%3Ampeg21%3Ap002%3Aa0067/layout/fullscreen

Kranten: belang leesbaarheid duidelijk. Maar hoe belangrijk is

kleurbetrouwbaarheid?

Maar dit is toch wel de juiste kleur blauw?

Bron: Geheugen van Nederland. Collectie Mauritshuis: http://www.geheugenvannederland.nl/?/nl/items/MAU01:0670

Uitdaging: essentiële eigenschappen van origineel vertalen in technische

kwaliteitscriteria

Vertaling te reproduceren eigenschappen origineel in technische kwaliteitseisen

Eigenschappen origineel Kwaliteitscriteria

Detaillering Resolutie Efficiëntie van de detailreproductie (SFR)

Helderheidswaarden Tonale weergave Bitdiepte

Kleur KleurbetrouwbaarheidKleurruimteBitdiepte

Afhankelijk van essentiële eigenschappen en

projectdoelstellingen krijgen kwaliteitscriteria meer of minder

nadruk

Met andere woorden: niet alle “fouten” zijn even belangrijk

Bron: KB Historische kranten: http://kranten.kb.nl/view/article/id/ddd%3A010340569%3Ampeg21%3Ap002%3Aa0067/layout/fullscreen

Wat is erger? Het niet kunnen lezen van de tekst of

de aanwezigheid van een kleurzweem?

Afwijkingen dus verschillend gewicht toekennen

Hoe nu de beeldkwaliteit te controleren?

•Met behulp van foto testkaarten of referentie originelen

•Deels handmatig, deels en liefst automatisch

Kodak grijstrap

Macbeth kleuren testkaart

Kodak grijstrap

Universal Test Target (Metamorfoze)

Microfilm scherpte testkaart

Scherpte testkaart voor digitale fotografie

Voorbeeld scanning referentie originelen uit de bron

Automatische controle

• Informatie uit bestandsheader - oa: kleurruimte, bitdiepte, resolutie, bestandsformaat (via tool

JHOVE).

• Op termijn ook beeldkwaliteit via foto testkaarten en analysesoftware.

Ten einde raad?Lees verder:

•Metamorfoze richtlijnen, KB•DE BASIS richtlijn voor vervaardiging van beeld, DEN•Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam

, Stadsarchief Amtserdam•Foto´s: Digitisation of Photographical Materials Guidelines, Nationaal Archief, Den Haag

Kwaliteitscontrole en

steekproeven

Ingmar Koch

KVAN-dagen Leeuwarden

7 juni 2011

100% controle =

zinloos

Representatieve steekproef

Probleem 1

Wat is representatief?

Van een batch wordt 10% getest. Als meer dan 1% van de batch niet voldoet aan de normen (…), dan wordt de batch teruggezonden.

Bijvoorbeeld

Probleem 2

Wat is de kwaliteit van het geheel?

BijvoorbeeldNaam Proces Beoordelen ingekomen

(analoge) postControlecriteria (+ normering)

Keuze juiste DSP-proces (98% juist)

Uitvoering controle

Maandelijks representatieve steekproef van minimaal één procent van de ingekomen documenten

De oplossing: AQL

Vier dingen onthouden

• Representativiteit• Acceptatielimieten• Overall kwaliteit• Verdiend vertrouwen

Een uitgewerkt voorbeeld

AQL = 1%

Batch = 5.000

3 slides from hell

Kwaliteit van eerdere batches,

bepaalt de omvang van de volgende steekproef

Vier dingen onthouden

• Representativiteit• Acceptatielimieten• Overall kwaliteit• Verdiend vertrouwen

http://bit.ly/steekproeven

AttributiesQuality checked check yes, Withassociates, http://www.flickr.com/photos/withassociates/5091295528/

Help I’m drowning in Quality Street, Nataliej, http://www.flickr.com/photos/nataliejohnson/2122722198

Green Legos, Roberto Bouza, http://www.flickr.com/photos/bouzafr/4420825483

Ringstekken Burgum, Andrys Stienstra, http://www.flickr.com/photos/andrys_stienstra/4957175345

Unknown Unknowns, Ami Clarke, http://www.amiclarke.com/uu.htm

Odd One Out, C.A. Muller, http://www.flickr.com/photos/cliff_robin/618199950

Crayola Pattern, C.A. Muller, http://www.flickr.com/photos/cliff_robin/617650131

29/365: Odd one out, Sarah and Mike ...probably, http://www.flickr.com/photos/sarahandmikeprobably/3237313650/

Brick Textures, BlueBec, http://www.flickr.com/photos/bluebec/2790924731

Quality, Nidhug, http://www.flickr.com/photos/nidhug/3495340350

Document Imaging Man, Richtpt, http://www.flickr.com/photos/bluebec/2790924731

Kaart van de hel, S. Botticelli, http://commons.wikimedia.org/wiki/File:Sandro_Botticelli_-_La_Carte_de_l%27Enfer.jpg

05811 Trust must be earned (on the floor), Frank Chan, http://www.flickr.com/photos/geekstinkbreath/3474900869

CC Birthday Party Berlin, Franz Patzig, http://www.flickr.com/photos/franzlife/2112776432

KVAN Leeuwarden 2011

Constatering van een fout zegt iets over het scansysteem

Leverancier

Controles instelling

Altijd te herleiden naar een oorzaak in het systeem

Controle van het eindproduct

Klassieke controle

Scansysteem Eindproduct Scans

Scansysteem: geheel van beleid, processen, hardware en software waarbinnen analoge originelen via scanning gedigitaliseerd worden

Logistiek originelen Scanning

Technische infrastructuur

Data verwerking

Projectmanagement

Levering

KVAN Leeuwarden 2011

KVAN Leeuwarden 2011

Klassieke controle

Kwaliteitswaarborging binnen systeem op orde: stabiele kwaliteit van de geleverde eindproducten

Dus: noodzaak controles op eindproduct door instelling minder groot!

Leverancier

Scansysteem Eindproduct Scans

Kwaliteitswaarborging

KVAN Leeuwarden 2011

Integrale beoordeling

Scansysteem Eindproduct Scans

Leverancier

Kwaliteitswaarborging

Controles instelling

KVAN Leeuwarden 2011

Waarchuwing! Een lage prijs per scan in combinatie met

een matige kwaliteitswaarborging

veroorzaakt schade aan de portemonnee

KVAN Leeuwarden 2011

I. Beoordeling scansysteem

Voorafgaand aan project bij de offerteaanvraag (en onderhandeling) en evt gedurende het project

Hoe

1. Stellen van eisen op alle onderdelen in de offerteaanvraag

2. Vragen stellen

3. Bezoek aan de werkvloer

Wanneer

KVAN Leeuwarden 2011

I. Beoordeling scansysteem

Samenwerking met de leverancier levert het beste product voor de scherpste prijs

Dit vraagt om openheid van zowel leverancier als instelling

KVAN Leeuwarden 2011

II. Controle eindproduct

1. Technische parameters (resolutie, bestandsnamen etc)

2. Kwaliteit reproductie: detail en kleur

3. Volledigheid

Belangrijk

Controles zoveel mogelijk aansluitend op het productieproces.

Niet wachten op afronding hele scantraject

Controle is integraal onderdeel van hele scanproces.

Goede afspraken maken met leverancier voor start project!

KVAN Leeuwarden 2011

1. Controle technische parameters

Resolutie

Bestandsformaat

Data integriteit

Deze parameters kunnen geautomatiseerd gecontroleerd worden!

Twee opties

1. Zelf uitvoeren mbv software en / of scripts.

2. Uitvoering leverancier, resultaten rapporteren

Bestandsnamen

KVAN Leeuwarden 2011

Zelf doen: volledig in eigen hand

Maar vraagt om technische kennis

Kennis van Java

KVAN Leeuwarden 2011

procedure di_Verwerk_Scan (p_Filename varchar2) isbegin v_FileName := p_Filename; if lower(substr(v_Filename, length(v_Filename) - 3, 4)) = '.jpg' then v_FileName := replace(v_Filename, '.jpg', ''); v_FileName := replace(v_Filename, '.JPG', ''); v_OrderNr := substr(v_Filename, 1, length(v_Filename) - 6); v_OrderId := di_Order_id(v_OrderNr); v_VolgNr := 0; begin select sort_feld_txt into v_ToegangsNr from aplkn_archv.tbs_vrzng_enht@scopeprd where vrzng_enht_id = v_ScopeId; select sgntr_cd into v_InventarisNr from aplkn_archv.tbs_vrzng_enht@scopeprd where vrzng_enht_id = v_ScopeId; v_Beeldbank := 0; begin select int_zahl into v_Beeldbank from aplkn_archv.tbs_gsft_obj_bzhng_hrch@scopeprd, aplkn_archv.tbs_gsft_obj_dtl@scopeprd where gsft_obj_1_id = gsft_obj_id and daten_elmnt_id = 10376 and gsft_obj_2_id = v_OrderId; exception when no_data_found then null; end; begin select Aantal into v_Aantal from di_scans where orderid = v_OrderId; if v_VolgNr - 1 <> v_Aantal then update di_scans set okay = 0, opmerking = 'Fout in nummering!' where orderid = v_OrderId; commit; v_Fout := 1; else update di_scans set aantal = aantal + 1 where orderid = v_OrderId; commit; end if; end di_Verwerk_Scan;

En SQL

KVAN Leeuwarden 2011

Optie 2: uitvoering door leverancier en rapportage

Vraagt om samenwerking, openheid en vertrouwen

Scansysteem

Eindproduct Scans

Kwaliteitswaarborging

Rapportage metingen

KVAN Leeuwarden 2011

2. Controle reproductie: detail en kleur

Methoden

Scanning en controle van referentieoriginelen

A. Technische, gestandaardiseerde referentieoriginelen

B. Representatief document uit te digitaliseren bron

A. meest objectief en te automatiseren. Maar vraagt om technische kennis

Steekproef in scans, visuele controle (is de tekst leesbaar?)

B. subjectief en niet voor alle objecttypen geschikt, maar eenvoudig en effectief om snel verloop ik kwaliteit te toetsen

Voorbeeld gestandaardiseerde referentieoriginelen en meetsoftware

Voorbeeld scanning referentie originelen uit de bron

Voorbeeld hybride: scannen testkaart, maar controle visueel

KVAN Leeuwarden 2011

2. Controle reproductie: detail en kleur

Meetfrequentie

Maar houd het realistisch!

Afhankelijk van doelstelling project, norm en materiaalsoort

KVAN Leeuwarden 2011

Niet zo

Consequentie: referentiescan afgekeurd, dan alle tussenliggende scans afkeuren

Maar zo

Interval: eenheid, dagdeel, dag? Per project afspreken

KVAN Leeuwarden 2011

3. Volledigheid

Mogelijke methoden

Scandummy origineel waarvan bekend is hoeveel scans het oplevert

Genummerde originelen gemakkelijk op volledigheid te controleren

Dubbel scannen

Wees creatief

1:1 controle

Stem controle (en foutmarge!) af op doelstelling project en type bron.

KVAN Leeuwarden 2011

3. Volledigheid

1:1 controle (origineel / scans)

Liefst uitvoering door leverancier

Meest volledig

KVAN Leeuwarden 2011

3. Volledigheid

1:1 controle (origineel / scans)

1:1 controle door instelling

Week Aantal

1 10%

2 5%

3 3%

4 1%

5 1%

6 1%

Enz

Intensief bij nieuwe leverancier, nieuw project

Bij vertrouwen frequentie terugbrengen

KVAN Leeuwarden 2011

3. Volledigheid

Genummerde originelen

398 genummerde pagina’s, nummering begint bij scan 3

Type nummer = foliering

Scan volgnummer 400 moet folio 398 zijn

399398397396395

KVAN Leeuwarden 2011

3. Volledigheid

Dubbel scannen

# scans = 365 # scans = 365

Lage kwaliteit telsessie Hoge kwaliteit master files

x 9.000