Capita Selecta: Mens-Machine CommunicatieDieptestudie TouchLight™

Roeland Schoukens

Ben Verhaegen

Peter Windey

TouchLight Overzicht

Overzicht

Lenscorrectie Perspectiefcorrectie Beeldfusie

Perspectiefcamera Ideale camera: beeld op sensor is

perspectiefprojectie van scene

Vervorming

Echte lenzen niet perfect: vervormingen van beeld

Radiale Vervorming

Verplaatsing van beeldpunt volgens straal vanuit middelpunt

pu

pd

pu

⎥⎦

⎤⎢⎣

⎡+⎥

⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡

d

dd

d

d

u

u

y

xRf

y

x

y

x)( 22

ddd yxR +=

Radiale Vervorming

Functie kan benaderd worden met een reeksontwikkelling:

Waarden voor κl zoeken:

Testpatronen op voorhand fotograferen Afbeelding zelf analyseren

∑=

=L

l

ldld RRf

1

)( κ

Snakes

Alleen afbeelding zelf nodig Gebruiker moet lijnen aanduiden op de foto

die in werkelijkheid recht zijn

Snakes

Lijnen worden opgedeeld in punten Punten worden bewogen naar plaatsen met

randen

Afbeeldingen: “Radial Distortion Snakes” van Sing Bing Kang

Snakes

Bewegen van punten: iteratief proces factoren:

Bewegen naar plaatsen met randen Afstand tussen punten behouden Lijn vloeiend laten verlopen

Radial Distortion Snakes

Extra factor: lijnen laten overeenkomen met een radiale vervorming

Betere convergentie

Afbeeldingen: “Radial Distortion Snakes” van Sing Bing Kang

standaard

Radial distortion snakes

Snakes

Na convergentie: parameters κl zoeken:

lijnen na correctie zo recht mogelijk

Afbeeldingen: “Radial Distortion Snakes” van Sing Bing Kang

Overzicht

Lenscorrectie Perspectiefcorrectie Beeldfusie

Perspectiefcorrectie

Scène in perspectief: perspectiefmatrix

Perspectief opheffen: inverse matrix

Probleem: originele perspectiefmatrix niet gekend

Perspectiefcorrectie

Punten: homogene coördinaten (x, y, z) Selecteer vier punten in perspectiefbeeld die

rechthoek vormen in originele scène Definieer:

€

Σx = P1.x − P2.x + P3.x − P4.x

Σy = P1.y − P2.y + P3.y − P4.y

€

P1€

P2

€

P3

€

P4

Perspectiefcorrectie

Twee gevallen:

€

Σx = Σy = 0 Σx ≠ 0 of Σy ≠ 0

€

P1€

P2

€

P3

€

P4

€

P1€

P2

€

P3

€

P4

Perspectiefcorrectie

Geval 1: Alle vluchtpunten op oneindig

Gewoon skew-operatie

€

x2 − x1 x3 − x2 x1

y2 − y1 y3 − y2 y1

0 0 1

⎡

⎣

⎢ ⎢ ⎢

⎤

⎦

⎥ ⎥ ⎥

Perspectiefcorrectie

Geval 2: 1 of 2 reële vluchtpunten

Perspectiefcorrectie

Algemene perspectiefmatrix:

€

x2 − x1 + A ⋅ x2 x4 − x1 + B ⋅ x4 x1

y2 − y1 + A ⋅ y2 y4 − y1 + B ⋅ y4 y1

A B 1

⎡

⎣

⎢ ⎢ ⎢

⎤

⎦

⎥ ⎥ ⎥

A =x ⋅dy2∑ − y ⋅dx2∑

det

B =y ⋅dx1∑ − x ⋅dy1∑

det

€

dx1 = x2 − x3

dx2 = x4 − x3

dy1 = y2 − y3

dy2 = y4 − y3

det = dx1⋅dy2 − dx2 ⋅dy1

Overzicht

Lenscorrectie Perspectiefcorrectie Beeldfusie

TouchLight: Beeldfusie

Na rectificatie

Geen object als:

Per pixel vermenigvuldiging

),(),( yxfyxf rightleft ≠

TouchLight: Beeldfusie

TouchLight: Beeldfusie

Baseline bepaalt nauwkeurigheid

Objecten op verschillende hoogte

TouchLight: Beeldfusie

Robustere technieken

Edge detection

Motion magnitude

Image differences

TouchLight: Beeldfusie

TouchLight

Vragen?