Beeldverwerking
Prof. dr. ir. W. Philips
Didactisch materiaal bij de cursus
Academiejaar 2010-2011
http://telin.UGent.be/~philips/beeldv/
Tel: 09/264.33.85 Fax: 09/264.42.95
Telecommunicatie en Informatieverwerking
UNIVERSITEIT GENT
Telecommunicatie en Informatieverwerking
UNIVERSITEIT GENT
09a.2
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Copyright noticeThis powerpoint presentation was developed as an educational aid to the renewed course “Image processing” (Beeldverwerking), taught at the University of Gent, Belgium as of 1998.This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed:
1. If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998-2002” in a font size of at least 10 point on each slide;
2. You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file);
3. If you modify the presentation, you should clearly state so in the presentation;4. You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation
should not intend to make or make a profit from the activity for which you use or distribute the presentation;5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author.
In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it).“Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes, ...Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer.If you use this presentation, I would appreciate being notified of this by email. I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures.
Prof. dr. ir. W. Philips E-mail: [email protected] of Telecommunications and Information Processing Fax: 32-9-264.42.95University of Gent Tel: 32-9-264.33.85St.-Pietersnieuwstraat 41, B9000 Gent, Belgium
Basisoperaties voor beeldanalyse
09a.4
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Inleiding
Beeldanalyse begint dikwijls met het extraheren van objecten uit beelden
Twee mogelijke aanpakken•Segmentatie: men tracht pixels die tot eenzelfde object behoren te groeperen
•Randdetectie: men zoekt de randen tussen verschillende objectenProblemen
•Een object is niet altijd goed gedefinieerd•Objecten zijn niet altijd gemakkelijk herkenbaar in beelden
Opmerkingen: •We beperken ons weer tot grijswaardenbeelden•Het gebruik van kleur vergemakkelijkt segmentatie/randdetectie aanzienlijk
Een aantal slides in deze presentatie zijn gebaseerd op het werk van Johan De Bock
Basisoperaties voor beeldanalyse
Segmentatie
09a.6
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
SegmentatieDoel: het beeld verdelen in zo groot mogelijke geconnecteerde(aaneenhangende) gebieden van pixels met gelijkaardige eigenschappen
2 gele gebieden1 grijs gebied
•homogeniteitscriterium (gelijkaardigheidscriterium)•grijswaardevariantie binnen het gebied kleiner dan σm,•verschil tussen grootste en kleinste grijswaarde kleiner dan m,...
•maximaal: de unie van twee gebieden voldoet niet aan het homogeniteitscriterium
•oplossing is niet noodzakelijk uniek!
xburen van x
4-geconnecteerdheid
•Een gebied is geconnecteerd als men elke twee pixels binnen het gebied door een pad van naburige pixels binnen het gebied met elkaar kan verbinden
3 gele gebieden2 grijze gebieden
x
8-geconnecteerdheid
buren van x
Het geel en grijs gebied “kruisen” elkaar (enkel mogelijk in 8-geconnecteerde topologie, maar niet realistisch)
09a.7
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Image Segmentation
Het homogeniteitscriterium kan en moet soms heel complex zijn•zwarte strepen op bruine tijger moet hier toch als homogeen beschouwd worden
Het probleem is niet éénduidig gedefinieerd•waar eindigt de zandgrond?•schaduw achter de tijger: apart object of niet?`
Gegeven beeld Gewenste segmentatie
09a.8
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
“Thresholding”Homogeniteitscriterium:
•Verdeel de grijswaardeschaal in een aantal intervallen [Ti,Ti+1[•Homogeen ⇔ alle pixels liggen binnen hetzelfde interval
met•Ni = aantal pixels met grijswaarde in [Ti,Ti+1[•σi = spreiding op de grijswaarde van deze pixels
T1 T2
Keuze van de drempelwaarden Ti•als het histogram uit verschillende “modes” bestaat: manueel gekozen drempels tussen de modes
∑=
=N
iiiw N
1
22 σσ•beter: minimalisatie van de gemiddelde intragroepvariantie
Thresholding kan maar goed werken als de histogrammen van de verschillende objecten niet sterk overlappen
i=0 i=1 i=2
09a.9
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
…“Thresholding”Uitgangspunt minimalisatie intragroepvariantie
•stel dat elke object in het beeld egaal grijs is en ook de achtergrond•en dat alle objecten een verschillende grijswaarde hebben
σ1≈0 σ2≈0 σ3≈0
T1 T2
i=1 i=2 i=3
σ1≈0 σ2 >>0 σ3≈0
T1 T2
i=1 i=2 i=3
Ν1σ1+Ν2σ2+Ν3σ3≈0 Ν1σ1+Ν2σ2+Ν3σ3≈Ν2σ2>>0
⇒histogram bestaat uit smalle pieken, één per object⇒als de grenzen tussen de pieken liggen zijn alle σj heel klein en is de intragroepvariantie laag
Deze veronderstellingen zijn realistisch in sommige toepassingen, b.v. industriële inspectie
niet goed: object 3 wordt maar voor de helft herkend; de andere helft wordt bij object 2 gerekend
09a.10
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Thresholding: voorbeeld
Thresholding is nuttig als men een klein aantal objecten met duidelijk verschillende intensiteit (of kleur) moet detecteren tegen een duidelijk verschillende achtergrond
drempels 38, 120, 196
geconnecteerdegebieden (te bepalen met “flood-fill”techniek)
randpixels (pixels met linker- of bovenburen die tot een ander segment behoren)
Toepassing: industriële kwaliteitscontrole met gecontroleerde belichting (meestal tegenlicht)
09a.11
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Spatiaal-adaptieve thresholding
Principe: spatiaal-variënde drempels Ti(x,y)•bereken optimale drempels Ti,k voor een aantal beeldblokken gecentreerd rond (xk, yk)
•gebruik deze voor de centrale pixels: Ti(xk, yk)= Ti,k
Histogram Optimale drempel
Bilineaireinterpolatie
•bepaal voor de andere pixels (x,y) drempels Ti(x,y) door interpolatie
Zo houdt men rekening met spatiaal-veranderendebeeldeigenschappen 09a.12
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
OpmerkingenBij thresholding
•kan men zeer eenvoudig bepalen of twee naburige pixels tot hetzelfde gebied behoren, n.l. door de klasindices i van de pixels te vergelijken
•bepaalt het criterium éénduidig de resulterende gebieden
1 3 4 71 3 4 71 3 4 71 3 4 7
1 3 4 71 3 4 71 3 4 71 3 4 7
Bij complexere homogeniteitscriteria•is er meestal geen unieke oplossing•is het moeilijk te bepalen of twee naburige pixels tot zelfde gebied behoren
B.v. voor het criterium: “een gebied is homogeen ⇔ het verschil tussen de grootste en kleinste grijswaarde is lager dan of gelijk aan 2
•werkt men via “region growing”: voor een reeds gedeeltelijk gevonden gebied, onderzoekt men één voor één de buurpixels en voegt ze aan het gebied toe zolang het homogeniteitscriterium dat toelaat
Segmentatie niet uniek!
09a.13
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
“Quadtree Split-and-merge” segmentatie
“Splitting” stap:•Verdeel het beeld in4 gelijke vierkanten
•Verdeel ieder “nietvoldoende homogeen”vierkant weer in 4
•Stop als alle vierkanten voldoende “homogeen” zijnHet homogeniteitscriterium kan b.v. opleggen dat de grijswaardevariantiein het gebied kleiner moet zijn dan een bepaalde drempel
“Merging” stap:•Verenig aangrenzende gebieden als hun unie voldoende homogeen is
Nadelen•onnatuurlijke randen (enkel horizontale en vertikale segmenten)•het resultaat van de merging hangt af van de volgorde waarin buurgebieden worden onderzocht op “samenvoegbaarheid”
Basisoperaties voor beeldanalyse
Randdetectie
09a.15
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
De gradiëntoperatorBeeldranden zijn plaatsen waar de grijswaarde b(x,y) sterk varieert als functie van x en/of y ⇒grote partiele afgeleiden ⇒grote gradiënt:
22
∂∂+
∂∂=∇
yb
xbb
Andere benaderingen zijn mogelijk en leiden tot andere filtermaskers
Benadering van de partiële afgeleiden door lineaire benadering:•voor (x,y) rond (x’,y’): b(x,y) ≈ b(x’,y’)+cx(x-x’)+cy(y-y’)•cx wordt bepaald zodanig dat de benadering in de naburige pixelszo goed mogelijk is in de zin van de kleinste kwadraten, in een bepaald venster rond (x’,y’); b.v. in (x’-1, y’), (x’, y’) en (x’+1,y’)
[ ]10121 −
)',')(*( yxhb x=
lineair filter met filtermasker
2)',1'()',1'()','( yxbyxbcyx
xb
x++−−=≈
∂∂
Resultaat voor een 3x1 venster:
09a.16
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Afleiding
Opmerking: we hebben hier op voorhand cy=0 gesteld. Dat mag in de berekening van de optimale cx. Waarom?
b(x-1,y) b(x,y) b(x+1,y)
b(x,y)-cx b(x,y)+cxb(x,y)
Pixels in het masker:
Benadering:
Fout: ( ) ( )22 ),1(),(0),1(),( yxbcyxbyxbcyxb xx +−+++−−−
Afgeleide: ( ) ( )),1(),(2),1(),(2 yxbcyxbyxbcyxb xx +−++−−−−
Afgeleide=0 als2
),1(),1( yxbyxbcx−−+=
b(x,y) ≈ b(x’,y’)+cx(x-x’)
x=x’, y=y’
09a.17
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Gradiëntgebaseerde randdetectie...Men zoekt segmenten van traag variërende grijswaarden
•Extra ruisonderdrukking met biomiaalfilter loodrecht op de richting van de partiële afleiding
De Sobel-operator levert een minder ruisgevoelige gradiëntberekening:
[ ]101121
81 −
↔∂∂xb•Sobeloperator:
⇒ aan de randen tussen deze segmenten is de beeldgradiënt groot
22
∂∂+
∂∂=∇
yb
xbb [ ]101
21 −↔
∂∂
xb
−↔
∂∂
101
21
yb
7.02/2/' ≈=⇒ σσruisversterkingssfactor: 0.7
4.04/3/' ≈=⇒ σσ
ruisversterkingsfactor: 0.4
Methode:•bereken de norm van de gradiënt
•vergelijk de norm met een drempelwaarde
09a.18
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
... Gradiëntgebaseerde randdetectie...Waarom niet uitmiddelen in x- én y-richting?
),( yxb xb
∂∂uitmiddeling
x-richtingxb
∂∂
⇒ om randen niet te verzwakken!
Zowel de gradiënt- als de sobeloperator geven exacte resultaten op allelineair variërende intensiteitsprofielen
aaaaaaaaaaaa
20202020
−−−−
caxyxb +=),(vertikale zachte rand
02302
20320
aaaaaaaaaaaa
−−−−−
−
cyxayxb ++= )(),(diagonale zachte rand
axb ≈
∂∂
0≈∂∂yb
Exact!
Gradiënt en Sobel:
axb ≈
∂∂
ayb ≈
∂∂
09a.19
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
...Gradiëntgebaseerde randdetectie
Voor de discrete benaderingen en in het bijzonder voor de Sobel-operator is dit enkel waar voor lineair variërende intensiteitsprofielen b(x,y)=ax+by+c
De “echte” gradiënt is isotroop, d.w.z. de respons is onafhankelijk van de oriëntatie van de rand:
aaaaaaaa
00000000
00 , yyxxb ==∇⇒
( )θθθθ cossin,sincos),( 00 yxyyxxfyxb ++−+=is onafhankelijk van θ
De sobeloperator is isotroper voor rechte ideale stapranden dan de gradiëntoperator
2/ab =∇Gradiënt:
Sobel: 2/ab =∇
0000000
000
aaaaaa
8/23 ab =∇Sobel:
2/2ab =∇Gradiënt:a53.0=
a70.0=
minder verschil09a.20
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Gradiëntgebaseerde randdetectie: Voorbeeld
Gradientbeeld Sobel-operator
Verschillende gradiëntmethoden geven geen spectaculair verschillende resultaten
09a.21
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Van gradiëntbeeld naar segmenten
Principe•Gradiëntpixels groter dan een drempel worden als randpixels beschouwd•Niet-rand pixels behoren tot zelfde gebied als ze kunnen verbonden worden door een pad dat geen randpixels bevat
b∇Sobel drempel = 36 drempel = 22
Nadelen•de randen zullen typisch breder dan 1 pixel zijn•zwakke contouren worden onderbroken bij een te hoge drempel•ruisgebieden kunnen ontstaan als de drempel te laag is 09a.22
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Sobel-operator: voorbeeld
origineel
b∇SobelTypische situatie: verschillende randen van eenzelfde object hebben een verschillende gradiëntsterkte
⇒ “lekken” tussen objecten
Sobel xb ∂∂ / Sobel yb ∂∂ /
09a.23
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Sobel-operator: voorbeeld
origineel xb ∂∂ /Sobel yb ∂∂ /Sobel
b∇SobelTypische situatie: verschillende randen van eenzelfde object hebben een verschillende gradiëntsterkte
⇒ “lekken” tussen objecten
09a.24
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Template-matching: De Kirch-operator
Principe: met verschillende filters zoekt men randen met een verschillende oriëntaties
maximumabsolutewaarde
−−− 121000121
−−−
101202101
−−−210101
012
−−−
012101210
De maximale respons wordt gebruikt als randplausibiliteit
09a.25
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Contourverdunning
Contourverdunning: meer dan 1 pixel brede randen worden verdund door randpixels toe te voegen aan naburige segmentenEventueel kan men alle randpixels toewijzen aan een naburig gebied
b∇
Mogelijke aanpak: “watershed segmentatie”•Men associeert elke randpixel met het segment dat men bereikt door het steilst dalende pad te volgen in het gradiëntbeeld
Interpretatie: indien men het gradiëntbeeld als berglandschap beschouwt •dan correspondeert ieder segment met een dal en de randpixels•op elke randpixel laat men een waterdruppel vallen en men wijst de randpixel toe aan het dal waarnaar de druppel vloeit
09a.26
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Watershed segmentatie
09a.27
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Contoursluiting
T.g.v. zwakke gradiënten kunnen gaten ontstaan in de contouren
∑=
∇−=N
iii yxbNC
1),(λ
Mogelijk kostcriterium:
Men probeert de eindpunten van een open contour probeert te verbinden met een naburige contour
Hiervoor beschouwt men alle mogelijke paden en men kiest het pad dat een kostcriterium minimaliseert
Het criterium kan ook rekening houden met de gladheid van de verbindingspaden
Hiërarchische segmentatie
09a.29
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Segmentatie door “region splitting”
Hiërarchische segmentatie via “split” technieken•het beeld wordt eerst opgesplitst in een klein aantal grote gebieden met grenzen die zoveel mogelijk samenvallen met sterke objectranden
•de gebieden worden vervolgens zelf opgesplitst enz.⇒er ontstaat een hiërarchie van (potentiële) objecten 09a.30
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Segmentatie door “region merging”
In algemene “merge” technieken•wordt het beeld opgesplitst in een groot aantal kleine gebieden die intern zo homogeen mogelijk zijn
•de gebieden worden vervolgens samengevoegd tot grotere gebieden⇒er ontstaat een hiërarchie van (potentiële) objecten
09a.31
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Nut van hiërarchie van segmentatiesObjectherkenning heeft meestal nood aan kenmerken op verschillende schalen
•detecteer eerst een auto•zoek dan de nummerplaat•herken de letters op de nummerplaat
Veel voorkomende problemen bij segmentatie•oversegmentatie: één object wordt opgesplitst in verschillende segmenten
•ondersegmentatie: verschillende objecten worden verkeerdelijk gegroepeerd in één segment
Bij een optimaal compromis zijn sommige gebieden overgesegmenteerden andere ondergesegmenteerd ⇒ mogelijke oplossing
•bereken een hiërarchische segmentatie•pas de segmentatie interactief aan⇒ voordelen van het hebben van een hiërarchische segmentatie:
•gebruiker hoeft enkel te beslissen: opsplitsen of samenvoegen•en hoeft dus geen contouren, … tekenen ⇒ sneller
09a.32
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Graafgebaseerde voorstellingDe segmentatie op een bepaald niveau van de hiërarchie kan worden beschreven door een “region adjacency graph”
•de knopen zijn de segmenten•de takken verbinden naburige segmenten
•segmenten die aan elkaar grenzen•of die voldoende dicht bij elkaar liggen
Aan de takken worden “kosten” toegekend•de kost is laag als twee naburigesegmenten goed bij elkaar passen
•gelijkaardige kleuren, texturen, …in hun binnengebieden
•en/of in de omgeving van hun gezamenlijke rand•of als het samenvoegen van de betreffende segmenten tot een “betere” segmentatie leidt
•minder heel kleine gebieden•gebieden met een regelmatiger vorm•…
09a.33
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Graafgebaseerde hiërarchische segmentatie…Mogelijkheid 1: Region merging
•vertrekken van “microsegmenten” (heel kleine gebieden die zeker niet meer dan één object bevatten)
•iteratief de twee gebieden die het best samen passen samenvoegen⇔ het verwijderen van een tak met de laagste kost
en het vervangen van de twee knopen aan de uiteinden van die takdoor één knoop
09a.34
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Graafgebaseerde hiërarchische segmentatie…
Mogelijkheid 2: Graaf partitionering•vertrekken van “microsegmenten” (heel kleine gebieden die zeker niet meer dan één gewenst object overlappen)
•graaf verdelen in twee subgrafen door verwijderen van takken•en dit zodanig dat de som van de splitsingskosten van de weggesneden takken zo laag mogelijk is (let op: splitsings- i.p.v. samenvoegingskost)
⇔ bepalen van een optimale snede in de graaf (b.v.b. “normalized cut”)Resultaat: 2 segmenten die in een volgende stap zelf worden opgesplitst
Opmerking: hier corresponderen de macrosegmenten (de verkregen segmenten) in elke faze met een subgraaf en niet met een knoop
•b.v. hiernaast twee macrosegmenten, respectievelijk geassocieerd aan de rode en aan de grijze knopen
microsegmenten
09a.35
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
De methode van de minimum-kost snede…Notaties:
•V is de verzameling van alle knopen•A is een verzameling van knopen en B=V \Ais de verzameling van de andere knopen
•C(X,Y): de som van de kosten van alle takkendie een knoop uit een verzameling X met een knoop uit een verzameling Y verbinden
∑∈∈
=BA,ji
jiwBAC ),(),(
i
j
w(i,j)
A
BMethode van de minimum-kost snede (minimum cut):•Zoek A en B=V \A zodat C(A, B) minimaal wordt
22
),( jisjiI eejiw II xx −−−−= λλ
•Typische gewichtsfactoren, met xi het zwaartepunt en Ii de gemiddelde intentensiteit van segment i:
lage splitsingskost voor microsegmenten met sterk verschillende grijswaarde
lage splitsingskost voor microsegmenten die ver van elkaar liggen
09a.36
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
…Minimum-kost snede Nadeel: de “minimum-kost cut” methode favoriseert het afsplitsen van indivi-duele grote microsegmenten (ongebalanceerde hiërarchische opsplitsing)
2
),( jisejiw xx −−= λ
Segment k ligt ver van alle andere segmenten ⇒ snede A heeft veel lagere kost dan snede BSnede B echter beter vanuit het standpunt van hiërarchische opsplitsing in
•een gebied links met vele kleine microsegmenten•een gebied rechts met enkel grote microsegmenten
snede A
snede B
Voorbeeld:
k
09a.37
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
A
B
Minimum genormaliseerde-kost snede Beter criterium: genormaliseerde kost
),(),(
),(),(),(
VBCBAC
VACBACBACN +=
relatief aandeel van de takken vanuit A naar B in de kost van alle takken met één uiteinde in A
idem, maarvoor B ipv. A
A
B
C(A,V)C(A,B)
Voordeel: indien A slechtsuit één knoop bestaat, isC(A,B)=C(A,V)⇒ CN(A,B)≥1: snede geasso-cieerd aan geïsoleerd segmentheeft automatisch vrij hoge kost
met 0≤CN(A,B)≤2 en V=alle knopen
09a.38
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Voorbeelden: Normalized cut…
Opmerkingen over dit soort “split”-technieken•vrij traag•kunnen gecombineerd worden met “merge”-technieken
Origineel beeld Microsegmenten Eerste snede
09a.39
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
… Voorbeelden: Normalized cut …
09a.40
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
… Voorbeelden: Normalized cut
Origineel beeld Microsegmenten Na enkele cut-stappen
Appendix
niet te kennen in 2010-2011
09a.42
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
02
2<
∂∂xb
02
2≥
∂∂xb
De Laplaciaan-randdetector
,02
2≥
∂∂
xb ,02
2<
∂∂
xb 02
2≥
∂∂
yb02
2<
∂∂
yben zadeloppervlakken:
,02
2≥
∂∂
xb
02
2≥
∂∂
yb,02
2<
∂∂
xb 02
2<
∂∂
yb
Principe: een beeld is een unie van
2
2
2
22
yb
xbb
∂∂+
∂∂=∇Het teken van de Laplaciaan onderscheidt bergen van dalen
bergen: en dalen:
of
09a.43
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Zadeloppervlak
Zadeloppervlak
09a.44
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
De Laplaciaan-randdectector: voorbeeld
Principe: •bereken voor iedere pixel het teken van de laplaciaan•pixels met hetzelfde teken behoren tot hetzelfde segment
Dikwijls filtert men eerst het beeld met een gaussiaans filter om ruis te onderdrukken
09a.45
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Niet-lineaire randdetectors
We detecteren nu randen tussen pixels i.p.v. op pixels
Niet-lineaire detectoren berekenen een statistische test de plausibiliteit dat de (meeste) pixels in a en de (meeste) pixels in b tot verschillend object behoren⇒deze plausibiliteit neemt de rol over van een partiële afgeleide Deze test moet herhaald worden voor verschillende oriëntaties
a b
09a.46
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Randdetectie m.b.v. histogrammen...
Verschillende texturen hebben dikwijls histogrammen met een verschillende vorm
schors textiel 1 textiel 2 bladeren
entropie=4.7
0 128 256
entropie=4.8
0 128 256
entropie=4.2
0 128 256
entropie=4.2
0 128 256
09a.47
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
…Randdetectie m.b.v. histogrammen
We proberen een overgang tussen twee texturen te detecteren door de histogrammen in de gebieden a en b te vergelijken
a b
∑−
=−=
1
0)()(1 n
iab ihih
NG
N =aantal pixels in a=aantal pixels in b
De randplausibiliteit G≈0 als de histogrammen niet (sterk) verschillen
Opmerking: men moet eerst de grijswaarden kwantiseren tot een voldoend klein aantal niveaus n (n<<N, zoniet zal G altijd dicht bij 1 liggen t.g.v. ruis)Nadeel: vrij grote maskers nodig om tot een zinvol histogram te komen 09a.48
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Segmentatie m.b.v. 2D histogrammen...
schors i
j),(0,1 jiP
De tweedimensionale histogrammen (“co-occurrence matrices”) meten de tweede-orde statistiek van een beeld:
( )jtysxbiyxbjiP ts =++== ),(;),(),(,Meestal gebruikt men P1,0(i,j), P0,1(i,j), en P1,1(i,j)
Meestal werkt men niet met de histogrammen maar met een klein aantal parameters die men uit de histogrammen berekent
Met deze parameters definieert men homogeniteitscriteria (bij segmentatie) of randsterktematen (bij randdetectie)
09a.49
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Voorbeelden
De tweedimensionale histogrammen (“co-occurrence matrices) verschillen sterk naargelang de statistische en spatiale eigenschappen van de textuur
schors textiel 1 textiel 2 bladeren
),(0,1 jiP
09a.50
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
... Segmentatie m.b.v. 2D histogrammen
Mogelijke parameters:
),(log),( ,2,
, jiPjiP tsji
ts∑−entropie: Hoe random is de textuur?
),()(,
,2 jiPji
jits∑ −−inertie: Hoe hoogfrequent is de textuur?
(hoe sterk verschillen naastliggende pixels)
),(0,1 jiP
schors textiel 1 textiel 2 bladeren
09a.51
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Segmentatie door textuurclassificatie
Voor iedere pixel berekent men de parameters van het locaal 2D-histogram
Men vergelijkt deze met de parameters van voorbeeldtexturenDe pixel wordt toekegend aan de klasse van de best-passende voorbeeldtextuur
Men kan ook klasseren op basis van andere parameters •(gemiddelde) RGB-waarden in kleurenbeelden•Markov-parameters, ...
09a.52
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Segmentatie m.b.v. Markov-parameters
),(),(),(),(
, yxntysxbyxbts
ts +−−= ∑Ω∈θMarkov textuurmodel:
Een pixel kan gedeeltelijk worden voorspeld uit naburige pixels en is gedeeltelijk random
Voor iedere voorbeeldtextuur v(x,y) schat men de Markov-parameters:
∑ ∑ ∑−
=
−
= Ω∈
−−−
1
0
1
0
2
),(, ),(),(
M
x
N
y tsts tysxvyxv θ
De optimale parameters minimaliseren
Voor iedere pixel in het te segmenteren beeld kiest men het model dat 2
),(, ),(),(
−−− ∑
Ω∈tysxbyxb
tstsθ minimaliseert
09a.53
© W. Philips, Universiteit Gent, 1999-2011versie: 1/12/2010
Bibliografie
Minimum-genormaliseerde-kost snede•J. Shi en J. Malik. Normalized Cuts and Image Segmentation. IEEE Trans. onPattern Analysis and Machine Intelligence, vol. 22, no. 8, augustus 2000, pp. 888-905.
Top Related