Computer Vision
1_Seite 1
Die Aufgaben der Bildauswertung
● Detektion im Bild
● Lokalisierung in der Welt
● Verfolgung
● Identifikation (Klassifikation)
● Analyse
Auswertungsaufgaben
Berücksichtigung des zeitlichen Zusammenhangs der einzelnen Bilder:
Bildfolgenauswertung
Computer Vision
1_Seite 2
Bildfolgen Informationsgewinnung
Statische KameraZeit Zeit
Bewegte Kamera
Aufgaben:
● Detektion sich bewegender Objekte
● Lokalisierung sich bewegender Objekte
● Verfolgung sich bewegender Objekte
● Objektklassifikation anhand von Bewegungsmustern
Aufgaben:
● Detektion sich bewegender Objekte
● Lokalisierung sich bewegender Objekte
● Verfolgung sich bewegender Objekte
● Objektklassifikation anhand von Bewegungsmustern
● Eigenbewegungsschätzung
Wie kann die Information über Bewegung in ein System eingebracht werden?
Computer Vision
1_Seite 3
Interpretationszyklus für Bildfolgen Szeneninterpretation
Generische räumliche Beschreibung
Modellwelt
Bildsensor
Signal-verarbeitung
Bildauswertung
t0 + n*d
Generische räumliche Beschreibung
Modellwelt
Bildsensor
Signal-verarbeitung
Bildauswertung
t0+d
Generische räumliche Beschreibung
Modellwelt
Bildsensor
Signal-verarbeitung
Bildauswertung
t0
Generische zeitliche Beschreibung
(parametrisierte Modelle für Objekt-, Szenen-,
Beleuchtungs-, Sensordynamik)
. . .
Prädiktion
Prädiktion
Die Nutzung der Mehrinformation (aus Bildfolgen) geht an zwei Stellen ein:
1. Generische zeitliche Beschreibung
2. Signalverarbeitung (genauer: Merkmalsextraktion)
Computer Vision
1_Seite 4
Bildfolgen: Raum-Kanten
Raumkantenbild
Grauwertbild
Flugzeug-
Modell
Raumkanten
Original
Raum-Zeit-Kanten
Raum-Zeit-Kantenbild
Informationsgewinnung
Computer Vision
1_Seite 5
Bildfolgen: Raum-Kanten
Beispiel für Raum-Zeit-Kanten: Infrarotbild (Luftbild) eines Ausschnitts der Meeresoberfläche
Interpretation einer BildfolgeGt1(x,y), Gt2(x,y), ..., GtN(x,y)
als dreidimensionales FeldG(x,y,t)
Raum-Zeit-Kantenz.B. durch3-D Sobel-Operator
Informationsgewinnung
Computer Vision
1_Seite 6
Bildfolgen: Raum-Kanten
Im Bildstapel statischer Kameras ergeben
● statische Objektpunkte: senkrechte Geraden und
● bewegte Bildpunkte mitgleichförmiger Bewegung:
geneigte Geradenbeschleunigter Bewegung:
gekrümmte Geraden
Bildstapel:
Informationsgewinnung
Computer Vision
1_Seite 7
Bildfolgen: Bewegungssegmentierung
Differenzbild
Informationsgewinnung
Differenzbilder für statischen Hintergrund mit
sich bewegenden Fahrzeugen
Empfindlich gegen
● Beleuchtungsänderungen
● Rauschen
● Periodische Vorgänge / Muster
Abhilfe:
● Betrachte mehr als ein Bild aus der Vergangenheit
Computer Vision
1_Seite 8
Betrachtung der Vergangenheit:
● Betrachte die letzten M Bilder für jeden Bildpunkt einzeln (x,y): g(t) = g(x,y,t)
● Eine bewegungsbedingte Änderung im Bildpunkt (x,y) zeigt sich z.B. als „Sprung“.
● Liegt keine Änderung vor, so sind die Grauwerte „konstant“.
Bildfolgen: Bewegungssegmentierung
g(t)
tEinmaliges Ereignis
Informationsgewinnung
g(t)
tKonstant mit Rauschen
Computer Vision
1_Seite 9
Bildfolgen: Bewegungssegmentierung
Betrachtung der Vergangenheit:
Informationsgewinnung
g(t)
t
g(t)
t
g(t)
t
g(t)
t
g(t)
tIdeal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung
h(q)
q
h(q)
q
h(q)
q
h(q)
q
h(q)
qge
Histogrammbildung
Computer Vision
1_Seite 10
Bildfolgen: Bewegungssegmentierung
Betrachtung der Vergangenheit:
● Anpassen einer Summe von N Gaußfunktionen (= Modellierung der Grauwerthistorie):
● Für ein aktuelles Bild: Entscheidung für eine Änderung, wenn für den aktuellen Grauwert g gilt:
Informationsgewinnung
Ideal konstant Konstant mit Rauschen Einmaliges Ereignis Langsame Veränderung Periodische Schwankung
h(q)
q
h(q)
q
h(q)
q
h(q)
q
h(q)
qge
N
i
q
i
iM
iie
Nqh
1
2
1 22
2
11)(
SchwelleM hgh )(
Computer Vision
1_Seite 11
Bildfolgen: Bewegungssegmentierung
Übersicht: Für jeden Bildpunkt:
● Berechnung des Histogramms aus den M letzten Bildern.
● Modellierung des Histogramms durch Summe von Gaußfunktionen
● Gilt für den aktuellen Grauwert g: ?
Nein: Eintrag als Hintergrundbildpunkt (z.B. 0)Ja: Eintrag als (Bewegt-) Objektbildpunkt (z.B. 1)
Informationsgewinnung
...
...
Letzte M Bilder aktuelles Bild
Histogramm für jedes Pixel
Im Modell
Im ModellBewegungssegment-Bild
SchwelleM hgh )(
Computer Vision
1_Seite 12
Bildfolgen: Bewegungsschätzung
Verfolgung von Merkmalen durch Blockmatching (Schablonenanpassung)
Informationsgewinnung
+
Bild zur Zeit t Bild zur Zeit t+t
t
t+ t
Computer Vision
1_Seite 13
Bildfolgen: Bewegungsschätzung
Das Prinzip der Schablonenanpassung
Schablone zur Suche imnächsten Bild ausschneiden.
An welcher Stelle „passt“ die Schablone am besten?Die Suche wird beschränkt auf den Suchbereich um die Schablonenposition im Bild zur Zeit t.
Die Position im Bild zur Zeit t+D, an der die Schablone der Bildstruktur am Ähnlichsten ist.
Bild zur Zeit t+t Bild zur Zeit t+tBild zur Zeit t
Für die Suche nach der optimalen Position wird ein Ähnlichkeitsmaß benötigt!
Computer Vision
1_Seite 14
Bildfolgen: Ähnlichkeitsmaße
Lokale Ähnlichkeitsmaße zwischen einem Bild g der Größe BxH und einer Schablone h:
● Euklidische Distanz:
● City-Block-Distanz:
● Kreuzkorrelation:
Informationsgewinnung
x
x
y
y
K
Kx
K
KyE yxhnymxgnmd 2),(),(),(
x
x
y
y
K
Kx
K
KyCB yxhnymxgnmd ),(),(),(
x
x
y
y
K
Kx
K
Ky
yxhnymxgnmKK ),(),(),(Bild g
Schablone h:12 xK
12 yK
Position (m,n)=(4,3)
Computer Vision
1_Seite 15
Bildfolgen: Normierte Kreuzkorrelation
Die Normierung der Kreuzkorrelation
bezüglich der Bildtransparenzen liefert die normierte Kreuzkorrelation
● Die NKK liegt zwischen 0 (völlig ungleiche Muster) und 1 (identische Muster).
● Erinnerung: Faltung von g mit Kern K
x
x
y
y
x
x
y
y
x
x
y
y
K
Kx
K
Ky
K
Kx
K
Ky
K
Kx
K
Ky
yxhnymxg
yxhnymxg
nmNKK
),(),(
),(),(
),(
22
x
x
y
y
K
Kx
K
Ky
yxhnymxgnmKK ),(),(),(
Informationsgewinnung
x
y
y
y
K
Kx
K
Ky
yxKynxmgnmg ),(),(),(~
Computer Vision
1_Seite 16
Bildfolgen: Normierte Kreuzkorrelation
Beispiel:
Informationsgewinnung
Bild g und Schablone h NKK
Computer Vision
1_Seite 17
Bildfolgen: Bildstabilisierung
Anwendung der Kreuzkorrelation: Bildstabilisierung („Wackelkompensation“) z.B. bei Handycams
Voraussetzungen:
● Nur wenige Objekte in der Szene bewegen sich.
● Translationen der Kamera sind vernachlässigbar.
● Drehungen erfolgen um die Achsen des Bildsensors.
Informationsgewinnung
Keine Rotation um den Sehstrahl(Rollwinkel), nur Gier und Nickwinkel.
Feste Szenengegenstände
Kamera-drehung
Bildsensor
Bild Bild
Verschiebung (Translation) im
Bildbereich!!
Computer Vision
1_Seite 18
Bildfolgen: Bildstabilisierung
Vorgehen
● Schätzung der Verschiebung (x, y) im Bildbereich durch Berechnung des Kreuzkorrelationsmaximums der Bilder, z.B. durch die Fouriertransformation.
● Korrektur der Verschiebung
Informationsgewinnung
*211 )},({)},({),( yxgFyxgFFyxKKF tt
... ...
xmaxymax
Lage des Maximums der Kreuzkorrelationsfunktion:xmax, ymax
Computer Vision
1_Seite 19
Detektionsmechanismen: dynamisch
Videosequenz: Hindernisdetektion mit optischem Fluss
Informationsgewinnung
Lokal geschätzte Flussvektoren1
1) Ein Flussvektor ist ein Vektor, der (in der Bildebene) beschreibt, wie sich die Position eines Szenenpunkts zwischen zwei zeitl. aufeinander folgenden Bildern verschoben hat.
Computer Vision
1_Seite 20
Bildfolgen: Optischer Fluss
Bewegungsschätzung durch optischen Fluss
● Suche für jeden Bildpunkt (x,y) einen Verschiebungsvektor (vx(x,y), vy(x,y)), so dass (x+vx(x,y) y+vy(x,y)) die Position des Szenenpunktes ist, der zuvor auf Bildposition (x,y) abgebildet war.
● Allgemeine optische Flussgleichung:
● Problem: Unterbestimmtheit, so z.B. kommt jeder Grauwert in einem 512x512 Grauwertbild (8 Bit) durchschnittlich 1024 mal vor!
● Dies macht zusätzliche Einschränkungen nötig, z.B.Glattheit des Flussvektorfeldes„Kleine“ Flussvektoren
Informationsgewinnung
)),,(),,(()1,,( tyxvyyxvxgtyxg yx
Computer Vision
1_Seite 21
Bildfolgen: Optischer Fluß
Die Lösung der allgemeinen optischen Flussgleichung
erfolgt durch eine Taylor-Entwicklung von unter Vernachlässigung quadratischer und höherer Glieder
Umgeformt ergibt sich pro Bildpunkt eine Gleichung
Diese Gleichung hat jedoch zwei Unbekannte führt also zu einem unterbestimmten Gleichungssystem. Bestimme den jeweiligen Flussvektor unter Betrachtung einer kleinen Umgebung R von (x,y) (Glattheitsbedingung). Dies führt zu einem überbestimmten Gleichungssystem, daher erfolgt die Bestimmung des Flussvektors durch Minimierung von des Fehlers
Informationsgewinnung
)),,(),,(()1,,( tyxvyyxvxgtyxg yx
),(),(),(),(),( yxy
gyxvyx
x
gyxvyx
t
gyx
0),(),(),(),(),(
yxt
gyx
y
gyxvyx
x
gyxv yx
2
),(
),(),(),(),(),(
Ryx
yx yxt
gyx
y
gyxvyx
x
gyxvE
Computer Vision
1_Seite 22
Skripte
http://www.home.fh-karlsruhe.de/~laas0002/Skripte/