Segmentation basedMulti-View Stereo
[email protected]@gmail.com
Seminar: 3D RekonstuktionFU-Berlin - SoSe 2011
MVS allgemein vs. Segmentation Based MVS
Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features)
Dieses Paper:o nutzt homogene Flächeno benötigt nur wenig Features pro Flächeo Flächen werden über Farbsegmentierung gefundeno "Nebenprodukt": gute Performance
Annahme:o Flächen, homogen in Intensitaet und Farbe, bilden
Flächen mit einheitlicher Normalen
Pipeline / Inhalt
• Kamera-Kalibrierung • Farbsegmentierung• Initiale 3D-Seeds• 3D-Segmente erstellen aus
1.Farbsegmenten und 3D Seeds• nicht zugeordneten Farbsegmenten
• Oberflächenkonstruktion (PSR)
Farbsegmentierung
Eigenschaften:• Vorverarbeitungsprozess zur Bestimmung von
aussagekräftigen Gruppierungen / Regionen des Bildes • vielseitig einsetzbar, wenn effizient berechenbar
Ziel:• charakteristische homogene Regionen
Probleme:• großflächige Farb- / Intensitätsverläufe• Regionen mit hohen Schwankungen
→ lokale Kriterien reichen nicht aus
Farbsegmentierung
graph-based image segmentation [8]:
Farbsegmentierung - Bild als Graph
Kantengewichte entsprechen Intensitätsdifferenzen
Farbsegmentierung - Hauptkriterium
Schmelzkriterium:
DIFF(C1,C2) < MINT(C1,C2) ,mit MINT(C1,C2) = Min(INT(C1),INT(C2))
Farbsegmentierung - Algorithmus
3D Seeds
3D-Seeds durch guided matching
Gegeben:• Bilder
Ziel:• Initiale 3D-Seeds
Schritte:– Features– Matching– Triangulation– Clustering
3D Seeds - Features
• wähle Reference-Image Ir
• Rest: Target-Image It
• unterteile in Rechtecke• guided matching• Features pro Rechteck
3D Seeds - Features
• wähle Reference-Image Ir
• Rest: Target-Image It
• unterteile in Rechtecke• guided matching• Features pro Rechteck
3D Seeds - Features
• wähle Reference-Image Ir
• Rest: Target-Image It
• unterteile in Rechtecke• guided matching• Features pro Rechteck
3D Seeds - Features
• wähle Reference-Image Ir
• Rest: Target-Image It
• unterteile in Rechtecke• guided matching• Features pro Rechteck
3D Seeds - Matching
Matchende Features finden:• Feature in Ir auf epipolare Linie in It
• NCC für alle Features der Linie• Match, wenn max. Korrelation von Ir
zu It und umgekehrt
3D Seeds - Matching
Matchende Features finden:• Feature in Ir auf epipolare Linie in It
• NCC für alle Features der Linie• Match, wenn max. Korrelation von Ir
zu It und umgekehrt
3D Seeds - Matching
Matchende Features finden:• Feature in Ir auf epipolare Linie in It
• NCC für alle Features der Linie• Match, wenn max. Korrelation von Ir
zu It und umgekehrt
3D Seeds - Triangulation
3D-Seed erzeugen:• klassische StereoVision• Tiefeninformation aus
Disparität
3D Seeds - Clustering
Clustern:• viele 3D-Seeds für
gleichen Punkt• Cluster von Seeds
durch einen 3D-Seed ersetzen
Segmentation Based MVS (SBMVS)
Zusammenspiel der 3D-Seeds und der Farbsegmente Ziel:• 3D Segmente erstellen
Schritte:1. aus Farbsegmente und 3D Seeds– aus nicht zugeordneten Farbsegmenten
SBMVS - Optimale 3D Segmente
Zuordnung zwischen: • 3D Seed X • Farbsegment si
SBMVS - Optimale 3D Segmente
Normalvektor n über durchtesten abschätzen (pro Achsen zwischen 0° und 180° in 18° Schritten)
gegeben:• 3D Koordinate - Fixpunkt• 2D Form (Segment)
gesucht: • Normalvektor n der Fläche
/ des Segments
SBMVS - Optimale 3D Segmente
SBMVS - Optimale 3D Segmente
im Detail:alle Pixel p aus si über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder It abbilden
SBMVS - Optimale 3D Segmente
• Gradientenabstieg von bester Abschätzung aus• Abschätzung und Optimierung über alle Targetbilder It
• genau ein 3D Segment pro Farbsegment
SBMVS - freie Farbsegmente
explored - unexplored - explored
SBMVS - freie Farbsegmente
• Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed
• Abschätzung und Optimierung von n => 3D Segment
Oberflächkonstruktion mit PSR
Poisson Surface Reconstructiongegeben:• Oberflächen-Samples
gesucht:• 3D-Mesh umbauen
Idee:• Indikatorfunktion:
Aussen < 0 < InnenHintergrund:• Poisson Gleichung: elliptische partitielle
Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung.
• Octree als Datenstruktur
Poisson Surface Reconstruction
• Octree erzeugen• Vektor-Feld• Indikator-Funktionen
o Divergenz: Vector -> Scalar
o Poisson-Gleichung lösen
• Extrahiere Isofläche
Poisson Surface Reconstruction
• Octree erzeugen• Vektor-Feld• Indikator-Funktionen
o Divergenz: Vector -> Scalar
o Poisson-Gleichung lösen
• Extrahiere Isofläche
Poisson Surface Reconstruction
• Octree erzeugen• Vektor-Feld• Indikator-Funktionen
o Divergenz: Vector -> Scalar
o Poisson-Gleichung lösen
• Extrahiere Isofläche
Poisson Surface Reconstruction
• Octree erzeugen• Vektor-Feld• Indikator-Funktionen
o Divergenz: Vector -> Scalar
o Poisson-Gleichung lösen
• Extrahiere Isofläche
Poisson Surface Reconstruction
• Octree erzeugen• Vektor-Feld• Indikator-Funktionen
o Divergenz: Vector -> Scalar
o Poisson-Gleichung lösen
• Extrahiere Isofläche
Was bisher geschah ...
• Farbsegmentierung• Initiale 3D-Seeds• 3D-Segmente erstellen aus
1.Farbsegmente und 3D Seeds• nicht zugeordneten Farbsegmenten
• Oberflächenkonstruktion (PSR)
Aussagen der Autoren:• Homogene Farb-Regionen werden gut erkannt• Genauigkeit mit anderen Verfahren vergleichbar• Gute Performance: 35 min vs 3h pro Bild
Unsere Bewertung:• Vergleich der Performance relativ nichtssagend• Genauigkeit nur in einem nicht erklärten Plot erklärt• Algorithmen im Fließtext erklärt
Ergebnisse
Besten Dank!
Fragen?
Resources
Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. http://www.cs.unc.edu/~marc/tutorial/
[1] http://people.cs.uchicago.edu/~pff/segment/[8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher. Efficient graph-based image segmentation. In IJCV, 2004.[9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, 2007.[10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, 1998.[11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, 2003.[16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.