Post on 04-Jan-2016
description
MOBIELE SENSORENVOOR PANORAMA’S
Maarten Van Lier2e Master Computerwetenschappen
Overzicht Use Case Motivatie FGSIA algoritme Evaluatie Besluit Moeilijkheden Demo
Use Case
Use Case
Use Case
Motivatie Stitching algoritmen
+ Geavanceerd, veel onderzoek + Goede resultaten - Enkel op PC
Panorama apps + Op smartphone - Eenvoudige algoritmen - Sensoren volledig vertrouwd voor alignatie
Motivatie (2) Beste van twee werelden:
Geavanceerde algoritmen Op smartphone
Moeilijk door beperkingen smartphone!
Smartphone beperkingen Rekenkracht & geheugen = beperkt
Efficiënt algoritme = belangrijk! Volledig op smartphone
Binnen redelijke tijd Oplossing: gebruik smartphone sensoren
Oriëntatiebepaling Initiële alignering Rekenwerk reduceren
FGSIA algoritme Neem foto’s met smartphone app
Met 3D preview Sla sensordata op
Vind overlap regio’s Gebruik sensordata
Extraheer features Uit overlap regio’s
Vind gelijke features In overeenkomstige overlap regio’s
Vind een alignatie tussen die foto’s (homografie) Voeg het resultaat samen
1. Neem foto’s
2. Zoek overlap regio’s
2. Zoek overlap regio’s
2. Zoek overlap regio’s
3. Detecteer features (SURF)
3. Detecteer features (SURF)
3. Detecteer features (SURF)
4. Match features
Wrsch. match
Onwrsch. match
Mogelijk foute match
4. Match features
5. Homografie & Compositing
Resultaat
Resultaat (2)Standaard algoritme FGSIA algoritme 7 foto’s inladen
28 ms
5953 features 1244 ms
Feature matching 7412 ms
Compositing 3795 ms
Totaal: 12,451 sec
7 foto’s inladen 28 ms
17 overlap regio’s bepalen 151 ms
4320 features (-27,43%) 1186 ms (-4,66%)
Feature matching 1000 ms (-86,51%)
Compositing 3798 ms
Total: 6,135 sec (-50,73%)
Resultaat (3)Computer Smartphone 8 foto’s inladen
24 ms 28 overlap regio’s bepalen
127 ms Extract 5795 features
3869 ms Match features
4771 ms Compositing (1024x512
pixels) 2706 ms
Total: 11,5 seconds
94 ms (x3,92)
339 ms (x2,67)
24674 ms (x6,38)
68061 ms (x14,27)
131884 ms (x48,74) Total: 225 seconds (x19,57)
Besluit Met FGSIA algoritme: snelheidswinst
Vooral matching fase Gemiddeld 50 à 80% snelheidswinst
Sensoren niet perfect Grotere overlap regio
Enkel nabije features Geen spectaculaire snelheidswinst
Moeilijkheden Sensoren
Niet perfect, kompas drift OpenGL ES visualisatie
Vooraf geen ervaring Coördinaatsystemen
6 verschillende systemen
Moeilijkheden (2) Library keuze
OpenCV vs BoofCV Port naar Android (geheugen)
Ongebruikte data weggooien Max 7 à 10 foto’s
Paper omzetten naar implementatie Meer werk dan verwacht
Demo
Vragen