Download - Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Transcript
Page 1: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Bron foto: http://www.flickr.com/photos/eachdaycounts/97638443

Page 2: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Kwaliteitscontrole en validatie van gedigitaliseerd archiefmateriaal

KVAN Dagen 7 juni 2011

Robert Gillesse, Stichting DENMarc Holtman, Stadsarchief AmsterdamImgmar Koch, Medewerker Provinciale

Archiefinspectie Noord-Brabant en Limburg

Page 3: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Altijd ok?

Video Duyvis

Page 4: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KwaliteitscontroleHoe ver moet je gaan?

Bron foto: http://www.flickr.com/photos/pierrelaphoto/2314190563

Page 5: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Hoe ver?

•Welke kwaliteitscriteria, wanneer en in welke frequentie?•Welke steekproefmethode?•Wat is “fout” en hoe verhouden “fouten” zich tot elkaar?•Wat doet de leverancier aan kwaliteitsborging? •Hoe verhouden de kosten van kwaliteitscontrole zich tot de scanprijs?

Page 6: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Inhoud parallelsessie en uw QA-Team

1.Robert Gillesse: Controle van digitale reproducties

2.Ingmar Koch: Kwaliteitscontrole en steekproeven

3.Marc Holtman: kwaliteitscontrole en de worklow

4.Vragen en discussie

Page 7: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Kwaliteitscontrole van digitale reproducties

Robert Gillesse, DENKVAN dagen 7-6-2011

Page 8: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Afbakening

•Digitale reproducties in de zin: originelen omgezet in digitale afbeeldingen bestaande

uit pixels•Focus op beeldkwaliteit

Page 9: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Geen standaardrecept voor kwaliteitscontrole van digitale

afbeeldingen

Afhankelijk van projectdoelstellingen en soort materiaal

Page 10: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Vervanging “versus” beschikbaarstelling

In Beleidsregel Vervanging voor provincies verwezen naar Geheugen van Nederland

richtlijnen (sinds 2006 niet upgedate)

Page 11: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

In welke mate moet de digitale reproductie het origineel weerspiegelen?

Page 12: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Wat zijn de essentiële eigenschappen van het origineel die ik in de digitale reproductie wil

terugzien?

Concreet: detaillering, waarheidsgetrouwe weergave kleur of toon, vormvastheid,

afwezigheid van beeldverstoringen

Page 13: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Bron: KB Historische kranten: http://kranten.kb.nl/view/article/id/ddd%3A010340569%3Ampeg21%3Ap002%3Aa0067/layout/fullscreen

Kranten: belang leesbaarheid duidelijk. Maar hoe belangrijk is

kleurbetrouwbaarheid?

Page 14: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Maar dit is toch wel de juiste kleur blauw?

Bron: Geheugen van Nederland. Collectie Mauritshuis: http://www.geheugenvannederland.nl/?/nl/items/MAU01:0670

Page 15: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Uitdaging: essentiële eigenschappen van origineel vertalen in technische

kwaliteitscriteria

Page 16: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Vertaling te reproduceren eigenschappen origineel in technische kwaliteitseisen

Eigenschappen origineel Kwaliteitscriteria

Detaillering Resolutie Efficiëntie van de detailreproductie (SFR)

Helderheidswaarden Tonale weergave Bitdiepte

Kleur KleurbetrouwbaarheidKleurruimteBitdiepte

Page 17: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Afhankelijk van essentiële eigenschappen en

projectdoelstellingen krijgen kwaliteitscriteria meer of minder

nadruk

Page 18: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Met andere woorden: niet alle “fouten” zijn even belangrijk

Page 19: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Bron: KB Historische kranten: http://kranten.kb.nl/view/article/id/ddd%3A010340569%3Ampeg21%3Ap002%3Aa0067/layout/fullscreen

Wat is erger? Het niet kunnen lezen van de tekst of

de aanwezigheid van een kleurzweem?

Page 20: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Afwijkingen dus verschillend gewicht toekennen

Page 21: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Hoe nu de beeldkwaliteit te controleren?

•Met behulp van foto testkaarten of referentie originelen

•Deels handmatig, deels en liefst automatisch

Page 22: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Kodak grijstrap

Macbeth kleuren testkaart

Page 23: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Kodak grijstrap

Universal Test Target (Metamorfoze)

Page 24: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Microfilm scherpte testkaart

Scherpte testkaart voor digitale fotografie

Page 25: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Voorbeeld scanning referentie originelen uit de bron

Page 26: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Automatische controle

• Informatie uit bestandsheader - oa: kleurruimte, bitdiepte, resolutie, bestandsformaat (via tool

JHOVE).

• Op termijn ook beeldkwaliteit via foto testkaarten en analysesoftware.

Page 27: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Ten einde raad?Lees verder:

•Metamorfoze richtlijnen, KB•DE BASIS richtlijn voor vervaardiging van beeld, DEN•Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam

, Stadsarchief Amtserdam•Foto´s: Digitisation of Photographical Materials Guidelines, Nationaal Archief, Den Haag

Page 28: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Kwaliteitscontrole en

steekproeven

Ingmar Koch

KVAN-dagen Leeuwarden

7 juni 2011

Page 29: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

100% controle =

zinloos

Page 30: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011
Page 31: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Representatieve steekproef

Page 32: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Probleem 1

Wat is representatief?

Page 33: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Van een batch wordt 10% getest. Als meer dan 1% van de batch niet voldoet aan de normen (…), dan wordt de batch teruggezonden.

Bijvoorbeeld

Page 34: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Probleem 2

Wat is de kwaliteit van het geheel?

Page 35: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

BijvoorbeeldNaam Proces Beoordelen ingekomen

(analoge) postControlecriteria (+ normering)

Keuze juiste DSP-proces (98% juist)

Uitvoering controle

Maandelijks representatieve steekproef van minimaal één procent van de ingekomen documenten

Page 36: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

De oplossing: AQL

Page 37: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Vier dingen onthouden

• Representativiteit• Acceptatielimieten• Overall kwaliteit• Verdiend vertrouwen

Page 38: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Een uitgewerkt voorbeeld

Page 39: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

AQL = 1%

Batch = 5.000

Page 40: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

3 slides from hell

Page 41: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011
Page 42: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011
Page 43: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011
Page 44: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Kwaliteit van eerdere batches,

bepaalt de omvang van de volgende steekproef

Page 45: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Vier dingen onthouden

• Representativiteit• Acceptatielimieten• Overall kwaliteit• Verdiend vertrouwen

Page 46: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

http://bit.ly/steekproeven

Page 47: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

AttributiesQuality checked check yes, Withassociates, http://www.flickr.com/photos/withassociates/5091295528/

Help I’m drowning in Quality Street, Nataliej, http://www.flickr.com/photos/nataliejohnson/2122722198

Green Legos, Roberto Bouza, http://www.flickr.com/photos/bouzafr/4420825483

Ringstekken Burgum, Andrys Stienstra, http://www.flickr.com/photos/andrys_stienstra/4957175345

Unknown Unknowns, Ami Clarke, http://www.amiclarke.com/uu.htm

Odd One Out, C.A. Muller, http://www.flickr.com/photos/cliff_robin/618199950

Crayola Pattern, C.A. Muller, http://www.flickr.com/photos/cliff_robin/617650131

29/365: Odd one out, Sarah and Mike ...probably, http://www.flickr.com/photos/sarahandmikeprobably/3237313650/

Brick Textures, BlueBec, http://www.flickr.com/photos/bluebec/2790924731

Quality, Nidhug, http://www.flickr.com/photos/nidhug/3495340350

Document Imaging Man, Richtpt, http://www.flickr.com/photos/bluebec/2790924731

Kaart van de hel, S. Botticelli, http://commons.wikimedia.org/wiki/File:Sandro_Botticelli_-_La_Carte_de_l%27Enfer.jpg

05811 Trust must be earned (on the floor), Frank Chan, http://www.flickr.com/photos/geekstinkbreath/3474900869

CC Birthday Party Berlin, Franz Patzig, http://www.flickr.com/photos/franzlife/2112776432

Page 48: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

Constatering van een fout zegt iets over het scansysteem

Leverancier

Controles instelling

Altijd te herleiden naar een oorzaak in het systeem

Controle van het eindproduct

Klassieke controle

Scansysteem Eindproduct Scans

Page 49: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Scansysteem: geheel van beleid, processen, hardware en software waarbinnen analoge originelen via scanning gedigitaliseerd worden

Logistiek originelen Scanning

Technische infrastructuur

Data verwerking

Projectmanagement

Levering

KVAN Leeuwarden 2011

Page 50: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

Klassieke controle

Kwaliteitswaarborging binnen systeem op orde: stabiele kwaliteit van de geleverde eindproducten

Dus: noodzaak controles op eindproduct door instelling minder groot!

Leverancier

Scansysteem Eindproduct Scans

Kwaliteitswaarborging

Page 51: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

Integrale beoordeling

Scansysteem Eindproduct Scans

Leverancier

Kwaliteitswaarborging

Controles instelling

Page 52: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

Waarchuwing! Een lage prijs per scan in combinatie met

een matige kwaliteitswaarborging

veroorzaakt schade aan de portemonnee

Page 53: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

I. Beoordeling scansysteem

Voorafgaand aan project bij de offerteaanvraag (en onderhandeling) en evt gedurende het project

Hoe

1. Stellen van eisen op alle onderdelen in de offerteaanvraag

2. Vragen stellen

3. Bezoek aan de werkvloer

Wanneer

Page 54: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

I. Beoordeling scansysteem

Samenwerking met de leverancier levert het beste product voor de scherpste prijs

Dit vraagt om openheid van zowel leverancier als instelling

Page 55: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

II. Controle eindproduct

1. Technische parameters (resolutie, bestandsnamen etc)

2. Kwaliteit reproductie: detail en kleur

3. Volledigheid

Belangrijk

Controles zoveel mogelijk aansluitend op het productieproces.

Niet wachten op afronding hele scantraject

Controle is integraal onderdeel van hele scanproces.

Goede afspraken maken met leverancier voor start project!

Page 56: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

1. Controle technische parameters

Resolutie

Bestandsformaat

Data integriteit

Deze parameters kunnen geautomatiseerd gecontroleerd worden!

Twee opties

1. Zelf uitvoeren mbv software en / of scripts.

2. Uitvoering leverancier, resultaten rapporteren

Bestandsnamen

Page 57: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

Zelf doen: volledig in eigen hand

Maar vraagt om technische kennis

Kennis van Java

Page 58: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

procedure di_Verwerk_Scan (p_Filename varchar2) isbegin v_FileName := p_Filename; if lower(substr(v_Filename, length(v_Filename) - 3, 4)) = '.jpg' then v_FileName := replace(v_Filename, '.jpg', ''); v_FileName := replace(v_Filename, '.JPG', ''); v_OrderNr := substr(v_Filename, 1, length(v_Filename) - 6); v_OrderId := di_Order_id(v_OrderNr); v_VolgNr := 0; begin select sort_feld_txt into v_ToegangsNr from aplkn_archv.tbs_vrzng_enht@scopeprd where vrzng_enht_id = v_ScopeId; select sgntr_cd into v_InventarisNr from aplkn_archv.tbs_vrzng_enht@scopeprd where vrzng_enht_id = v_ScopeId; v_Beeldbank := 0; begin select int_zahl into v_Beeldbank from aplkn_archv.tbs_gsft_obj_bzhng_hrch@scopeprd, aplkn_archv.tbs_gsft_obj_dtl@scopeprd where gsft_obj_1_id = gsft_obj_id and daten_elmnt_id = 10376 and gsft_obj_2_id = v_OrderId; exception when no_data_found then null; end; begin select Aantal into v_Aantal from di_scans where orderid = v_OrderId; if v_VolgNr - 1 <> v_Aantal then update di_scans set okay = 0, opmerking = 'Fout in nummering!' where orderid = v_OrderId; commit; v_Fout := 1; else update di_scans set aantal = aantal + 1 where orderid = v_OrderId; commit; end if; end di_Verwerk_Scan;

En SQL

Page 59: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

Optie 2: uitvoering door leverancier en rapportage

Vraagt om samenwerking, openheid en vertrouwen

Scansysteem

Eindproduct Scans

Kwaliteitswaarborging

Rapportage metingen

Page 60: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

2. Controle reproductie: detail en kleur

Methoden

Scanning en controle van referentieoriginelen

A. Technische, gestandaardiseerde referentieoriginelen

B. Representatief document uit te digitaliseren bron

A. meest objectief en te automatiseren. Maar vraagt om technische kennis

Steekproef in scans, visuele controle (is de tekst leesbaar?)

B. subjectief en niet voor alle objecttypen geschikt, maar eenvoudig en effectief om snel verloop ik kwaliteit te toetsen

Page 61: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Voorbeeld gestandaardiseerde referentieoriginelen en meetsoftware

Page 62: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Voorbeeld scanning referentie originelen uit de bron

Page 63: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

Voorbeeld hybride: scannen testkaart, maar controle visueel

Page 64: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

2. Controle reproductie: detail en kleur

Meetfrequentie

Maar houd het realistisch!

Afhankelijk van doelstelling project, norm en materiaalsoort

Page 65: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

Niet zo

Consequentie: referentiescan afgekeurd, dan alle tussenliggende scans afkeuren

Maar zo

Interval: eenheid, dagdeel, dag? Per project afspreken

Page 66: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

3. Volledigheid

Mogelijke methoden

Scandummy origineel waarvan bekend is hoeveel scans het oplevert

Genummerde originelen gemakkelijk op volledigheid te controleren

Dubbel scannen

Wees creatief

1:1 controle

Stem controle (en foutmarge!) af op doelstelling project en type bron.

Page 67: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

3. Volledigheid

1:1 controle (origineel / scans)

Liefst uitvoering door leverancier

Meest volledig

Page 68: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

3. Volledigheid

1:1 controle (origineel / scans)

1:1 controle door instelling

Week Aantal

1 10%

2 5%

3 3%

4 1%

5 1%

6 1%

Enz

Intensief bij nieuwe leverancier, nieuw project

Bij vertrouwen frequentie terugbrengen

Page 69: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

3. Volledigheid

Genummerde originelen

398 genummerde pagina’s, nummering begint bij scan 3

Type nummer = foliering

Scan volgnummer 400 moet folio 398 zijn

399398397396395

Page 70: Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

KVAN Leeuwarden 2011

3. Volledigheid

Dubbel scannen

# scans = 365 # scans = 365

Lage kwaliteit telsessie Hoge kwaliteit master files

x 9.000