van het menselijk visueel systeem Enkele karakteristieken...
Transcript of van het menselijk visueel systeem Enkele karakteristieken...
Beeldverwerking
Prof. dr. ir. W. Philips
Didactisch materiaal bij de cursus
Academiejaar 2010-2011
http://telin.UGent.be/~philips/beeldv/
Tel: 09/264.33.85 Fax: 09/264.42.95
Telecommunicatie en Informatieverwerking
UNIVERSITEIT GENT
Telecommunicatie en Informatieverwerking
UNIVERSITEIT GENT
01b.2
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Copyright noticeThis powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of 1998.This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed:
1. If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998-2001” in a font size of at least 10 point on each slide;
2. You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file);
3. If you modify the presentation, you should clearly state so in the presentation;4. You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation
should not intend to make or make a profit from the activity for which you use or distribute the presentation;5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author.
In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it).“Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes, ...Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer.If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures.
Prof. dr. ir. W. Philips E-mail: [email protected] of Telecommunications and Information Processing Fax: 32-9-264.42.95University of Gent Tel: 32-9-264.33.85St.-Pietersnieuwstraat 41, B9000 Gent, Belgium
Enkele karakteristiekenvan het menselijk visueel systeem
01b.4
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Inleiding
Beelden zijn dikwijls bedoeld om door mensen te worden bekeken
Het menselijk visueel systeen is uiterst complex; het bestaat uit•het oog: een sensor met lokale signaalverwerking (“preprocessing”)•de visuele cortex: lage- en hoge-niveau beeldverwerking•de rest van het brein: interpretatie
Al deze deelsystemen beïnvloeden elkaar!⇒ Hopeloos complex!
Beeldverwerking wijzigt beelden,•gewild: b.v. beeldverbetering•of ongewild: b.v. compressie
⇒ Het is dus belangrijk om te weten hoe de mens afwijkingen in beelden waarneemt
01b.5
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Optische illusies
http://www.unoriginal.co.uk/illusionvideos.html
01b.6
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
HelmholtzStripes or hoops? Fashion myth uncoveredBy Steve Connor Friday, 12 September 2008
The first rule of fashion – that vertical stripes flatter the figure – is a myth, according to a study conducted by scientists at York University. Women who avoid wearing clothes with horizontal stripes in the belief that it makes their bum look larger should be reassured by a scientific study showing quite the opposite. It found that horizontal stripes actually make people look slimmer.
http://http://www.belfasttelegraph.co.uk/lifestyle/fashion-beauty/stripes-or-hoops-fashion-
myth-uncovered-13972416.html
01b.7
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Golflengte en frequentie
01b.8
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Vermogenspectrum van licht
Lichtintensiteit: I(x,y)d S is het lichtvermogen dat invalt op een elementair stukje oppervlak d S (eenheid: Watt/m2)
∫∞+
∞−= dffyxIyxI );,(),(
frequentiespectrum
λλ
λ dddfcyxI∫
∞+
∞−= )/;,( λλ dyxI∫
∞+
∞−= );,('
golflengtespectrum(gebruikt in de lichttechnologie)(onafhankelijk van het
transmissiemedium)
I(x,y) dS
Licht kan worden ontbonden in een kleurenspectrum
In de vrije ruimte: f λ=c met c de lichtsnelheid 2λλc
ddf =⇒
Opmerking: zichtbaar licht
λ ≈ 550 nm (grootteorde)
f ≈ 500 THz (grootteorde)
x
y
01b.9
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Structuur van het menselijk oogFotogevoelige elementen in de retina:
•twee soorten: kegeltjes en staafjes
lens
retina
optischezenuwbundel
fovea
visuele as
Staafjes en kegeltjes
Kegeltjes•aantal: 6.000.000•voor zicht bij normaal omgevingslicht•3 types, gevoelig voor respectievelijk blauw, groen en geelgroen licht
Staafjes•aantal: 100.000.000•veel gevoeliger dan kegeltjes
•grootste dichtheid in de fovea•100.000.000 receptoren in het oog maar slechts 800.000 zenuwdraden
⇒ er is duidelijk lokale processing in het oog
⇒ voor “donker”-zicht
•1 type ⇒ geen kleuronderscheiding
blinde vlek
01b.10
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Retina, kegeltjes en staafjes
Zenuw-bundels
01b.11
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
De neurale interconnecties in het oog
Bipolaire cellen: •input=kegeltjes •output=ganglioncellen
Horizontale cellen•maken dwarsverbin-dingen tussen kegel-tjes en bipolaire cellen
Amacriene cellen:•maken dwarsverbin-dingen tussen bipolaire cellen en ganglion cellen
amacriene cel
horizontale cel
bipolaire cel
01b.12
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Absorptiespectra van kegeltjespigmentenDeze absorptiespectra geven aan hoeveel percent van het licht op een bepaalde frequentie in de kegeltjes wordt geabsorbeerd
α (blauw)
relatieve absorptiespectra
400 500 600 700golflengte λ (nm)
β (groen)
γ (geelgroentot rood)
Dit licht wordt echter niet volledig omgezet in een zenuwsignaal⇒De absorptiespectra geven slechts een ruw idee van de spectrale
gevoeligheid van de kegeltjes
(golflengtespectra!)
arbi
traire
een
hede
n
01b.13
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Spectrale gevoeligheid van de kegeltjes...
Wat is het verband tussen het invallend lichtspectrum I ( f ) en de zenuwsignalen “aan de uitgang” van de kegeltjes?
• f (x)≈ c log(x): een monotoon stijgende “log”-achtige functie
De spectrale gevoeligheidscurve geeft weer hoeveel van het licht met een bepaalde frequentie in een elektrisch signaal wordt omgezet
met • Si( f ), i=1,2,3 de spectrale gevoeligheid van de kegeltjes van type i
Experimentele vaststelling: goed model voor de respons van een kegeltje van type i op licht met spectrum I(f): ∫= dffIfSr ii )()(f(ri) met
De log-functie zorgt voor dynamiekcompressie (sterkte daglicht kan met een factor 20 000 variëren)
01b.14
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
… Spectrale gevoeligheid van de kegeltjes...
Verschil spectrale gevoeligheid en absorptiekarakteristiek:•De spectrale gevoeligheidscurve Si( f ) geeft weer hoeveel van het licht met een bepaalde frequentie in een elektrisch signaal wordt omgezet
•De absorptiekarakteristiek Ai( f ) geeft aan hoeveel licht bij een bepaalde frequentie wordt geabsorbeerd
Spectraal filter/fotocel
Absorptie
Ai(f) Efficiëntie Ei(f)
fotonen →elektronen
Dynamiek-compressie
Ruwe benadering: Si( f )≈ Ai( f )
)( fI )log(⋅ f(ri)
Verband: )()()( fEfAfS iii =
01b.15
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
...Spectrale gevoeligheid van de kegeltjes
400 500 600 700golflengte (nm)
α (blauw)
β (groen)
γ (geelgroentot rood)
• De gevoeligheidscurven overlappen vrij veel ⇒ zelfs bronnen met een smal spectrum zullen meestal meerdere types kegeltjes activeren
Conclusies:• Het oog is weinig gevoelig voor blauw
Opmerking: Si’(λ) =Si (c/λ)
Ruwe benadering voor Si’(λ ): Si’(λ)≈ Ai’(λ )
01b.16
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Metamerisme
bron1
bron2
Metamerisme: bronnen met een verschillend spectrum kunnen de zelfde kleurindruk geven (de mens ziet geen verschil tussen de bronnen)
relatieve absorptiespectra
400 500 600 700golflengte (nm)
α (blauw)
β (groen)
γ (geelgroentot rood)
Logisch: I( f ) is een functie en dus bepaald door oneindig veel getallenen er zijn maar drie soorten kegeltjes ⇒ er gaat informatie verlorenEr bestaan minder triviale voorbeelden van metamerisme (zie appendix!)
01b.17
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Kleinst waarneembaar contrast:
II ∆+
I
De wet van Weber...Deze experimenteel vastgestelde wet suggereert een logaritmisch verband tussen de “waargenomen helderheid” I’en de opgenomen lichtintensiteit I:
III 02.01' ≈∆↔=∆
(Weber’s wet)02.0/ ≈∆ II
Intensiteit I
II∆
2%
III
02.01' =
∆∆
⇒ bII +=⇒ )ln(50'
bIaI +=⇒ )log('
Alhoewel een logaritmisch verband het experiment grotendeels kan verklaren blijkt dat de werkelijkheid veel complexer is en dat de “waargenomen helderheid” I’in een punt ook afhangt van de lichtintensiteit in andere kegeltjes
(grijs licht)
01b.18
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
( )002.0/ IIfII −≈∆
II ∆+ I0I
...De wet van Weber
Besluit: •Weber’s wet gaat maar op als I≈I0
Kleinst waarneembaar contrast tussen 2 lichtvlekken op een achtergrond
Intensiteit I
II∆
20 CI =10 CI =
Verklaring: •het oog past zich aan het achtergrond-licht (omgevingslicht) aan
•cfr. verblinding door de zon
•Intensiteitsverschillen tussen twee gelijkende lichtintensiteiten I en I+∆I zijn moeilijker waar te nemen als de intensiteit I0 van achtergrondlicht sterk verschilt van I
•de waargenomen helderheid van een punt hangt ook af van de lichtintensiteit in andere punten
01b.19
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Simultaan contrast
Simultaan contrast: de waargenomen intensiteit van een object hangt af van de intensiteit van de achtergrond“contrasterende kleuren versterken elkaar”Dit is nog een duidelijk bewijs dat het oog zich aanpast aan de globale helderheid in een zeker omgeving
0I1I
2I2I
01b.20
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Simultaan contrast
Complementaire kleuren versterken elkaar
01b.21
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Simultaan contrast
There is strong contrast between yellow and blue in Vincent’s painting of the "CaféTerrace on the Place du Forum, Arles", 1888.
01b.22
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Periodieke patronen en spatiale frequentie( )xfAByxb xπ2cos),( +=Sinusoidaal intensiteitspatroon:
Definitie: contrast van een patroon:mMmMC
+−=
⇒ maximale intensiteit: M=B+A; minimale intensiteit: m=B-A
0.6 1.8 6.0 18 60
10
64
2
1
0.60.4
Spatiale frequentie f (cycles/deg.)
relatieve gevoeligheid Aref /A
Aref, fx,ref
A, f
Besluit: het “waargenomen contrast”•hangt af van de spatiale frequentie•wordt nul bij zeer hoge frequenties
Verklaring: het oog neemt een zeer fijn patroon waar als “egaal grijs”
BAC =hier:
Opmerking: effectieve frequentie hangt af van kijkafstand
Experiment: voor gegeven f, regel A af zodat de witte banden even wit lijken in beide patronenZet Aref /A uit als functie van f
01b.23
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
1
2
2,
1,rr
ff
x
x =Twee patronen lijken de zelfde spatiale frequentie te hebben als
Waargenomen spatiale frequentie
fx,i: spatiale frequentie in cycl. per meter1,xf 2,xf
2r
1r
ri: kijkafstand in meter
is dus een goede maat voor de waargenomen spatiale frequentierfx(aantal lijntjes per graad)wordt uitgedrukt in cycl. per radiaal (of per graad)
01b.24
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Vereenvoudigd zichtmodel (één type kegeltjes)
lineaire combinatie
Verklaring voor de afhankelijkheid van het waargenomen contrast van de spatiale frequentie:
•de kegeltjes worden door een “neuraal netwerk” verbonden met de optische zenuwbundel
•model: de zenuwsignalen zijn lineaire combinaties van de kegeltjessignalen
naar visuele cortex
∫= dffIfSr ii )()()( fI)log(⋅Spectraal
filter
∫= dffIfSr ii )()()( fI )log(⋅Spectraalfilter
�
kegeltje 1
kegeltje n
…
Het blok “lineaire combinatie”•gedraagt zich als een spatiaal filter (zie later): het maakt het zicht ietwat wazig waardoor zeer fijne zwart-wit patronen er egaal grijs gaan uitzien
•zorgt voor datacompressie: het heeft 8 uitgangen per 1000 ingangen
01b.25
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Model voor kleurzicht
)log(⋅Spectraal filtergeelgroen
spatiaalfilter
bijdrage kegeltjesop andere plaatsen
�
achromatischeinfo
-
-
chrominanties
)log(⋅Spectraal filterblauw Σ
+�
spatiaalfilter
)log(⋅ ΣSpectraal filtergroen
+�
spatiaalfilter
�
Het oog is minder gevoeligaan spatiale veranderingen in kleur dan in intensiteit
naar hersenen(visuele cortex)
01b.26
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Besluit
Bij beeldverwerking moeten we rekening houden met de volgende eigenschappen van het oog:
•het niet-lineaire verband tussen lichtintensiteit en waargenomen helderheid: contrastaanpassing
⇔ de logaritmische karakteristiek van de kegeltjes•kleurzicht is trichromatisch
•het oog ziet een lichtpunt als drie getallen en niet als een spectrum•metamerisme: lichtbronnen met een verschillend spectrum kunnen niet altijd worden onderscheiden
•spatiale effecten:•het oog is veel minder gevoelig bij hoge spatiale frequenties•snelle spatiale veranderingen in intensiteit zijn beter zichtbaar dan even snelle veranderingen in kleur het zelfde fysisch contrast
Appendix
Zelfstudie
01b.28
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Opmerking: Si’(λλλλ) =Si (c/λλλλ)
∫= dffIfSr ii )()(
∫∞+
∞−= λ
λλλ dccIcSi 2)/()/(
∫∞+
∞−= λλλ dISr ii )(')('
per definitie van Si ( f )
per definitie van Si ( f )
∫∞+
∞−= λλλ dIcSi )(')/( per definitie van I’ (λ)
)/()(' λλ cSS ii =⇒
01b.29
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Metamerisme: algemeen gevalWanneer geven twee lichtspectra I(f) en I’(f) dezelfde respons?
⇒ als ri=r’i voor i=1,2,3
d.w.z. als 3,2,1)(')()()( == ∫∫ idffIfSdffIfS ii voor
( ) 3,2,10)(')()( ==−⇔ ∫ idffIfIfSi voor
Interpretatie: als I(f)-I’(f) loodrecht staat op de drie spectrale gevoeligheidscurven van het menselijk oog, dan ziet het oog geenverschilHet is niet moeilijk een functie te vinden die loodrecht staat op 3 gegeven functies ⇒ metamerisme komt zeer vaak voor
01b.30
© W. Philips, Universiteit Gent, 1998-2010versie: 29/9/2010
Bibliografie
Jean-Bernard Martens. Image Design Technology - A Perceptual Approach. The International Series in Engineering and Computer Science, 2003, 568 p. ISBN: 1-4020-7461-1http://webexhibits.org/colorart/ganglion.htmlNog aan te vullen