MOBIELE SENSORENVOOR PANORAMA’S

Maarten Van Lier2e Master Computerwetenschappen

Overzicht Use Case Motivatie FGSIA algoritme Evaluatie Besluit Moeilijkheden Demo

Use Case

Use Case

Use Case

Motivatie Stitching algoritmen

+ Geavanceerd, veel onderzoek + Goede resultaten - Enkel op PC

Panorama apps + Op smartphone - Eenvoudige algoritmen - Sensoren volledig vertrouwd voor alignatie

Motivatie (2) Beste van twee werelden:

Geavanceerde algoritmen Op smartphone

Moeilijk door beperkingen smartphone!

Smartphone beperkingen Rekenkracht & geheugen = beperkt

Efficiënt algoritme = belangrijk! Volledig op smartphone

Binnen redelijke tijd Oplossing: gebruik smartphone sensoren

Oriëntatiebepaling Initiële alignering Rekenwerk reduceren

FGSIA algoritme Neem foto’s met smartphone app

Met 3D preview Sla sensordata op

Vind overlap regio’s Gebruik sensordata

Extraheer features Uit overlap regio’s

Vind gelijke features In overeenkomstige overlap regio’s

Vind een alignatie tussen die foto’s (homografie) Voeg het resultaat samen

1. Neem foto’s

2. Zoek overlap regio’s

2. Zoek overlap regio’s

2. Zoek overlap regio’s

3. Detecteer features (SURF)

3. Detecteer features (SURF)

3. Detecteer features (SURF)

4. Match features

Wrsch. match

Onwrsch. match

Mogelijk foute match

4. Match features

5. Homografie & Compositing

Resultaat

Resultaat (2)Standaard algoritme FGSIA algoritme 7 foto’s inladen

28 ms

5953 features 1244 ms

Feature matching 7412 ms

Compositing 3795 ms

Totaal: 12,451 sec

7 foto’s inladen 28 ms

17 overlap regio’s bepalen 151 ms

4320 features (-27,43%) 1186 ms (-4,66%)

Feature matching 1000 ms (-86,51%)

Compositing 3798 ms

Total: 6,135 sec (-50,73%)

Resultaat (3)Computer Smartphone 8 foto’s inladen

24 ms 28 overlap regio’s bepalen

127 ms Extract 5795 features

3869 ms Match features

4771 ms Compositing (1024x512

pixels) 2706 ms

Total: 11,5 seconds

94 ms (x3,92)

339 ms (x2,67)

24674 ms (x6,38)

68061 ms (x14,27)

131884 ms (x48,74) Total: 225 seconds (x19,57)

Besluit Met FGSIA algoritme: snelheidswinst

Vooral matching fase Gemiddeld 50 à 80% snelheidswinst

Sensoren niet perfect Grotere overlap regio

Enkel nabije features Geen spectaculaire snelheidswinst

Moeilijkheden Sensoren

Niet perfect, kompas drift OpenGL ES visualisatie

Vooraf geen ervaring Coördinaatsystemen

6 verschillende systemen

Moeilijkheden (2) Library keuze

OpenCV vs BoofCV Port naar Android (geheugen)

Ongebruikte data weggooien Max 7 à 10 foto’s

Paper omzetten naar implementatie Meer werk dan verwacht

Demo

Vragen