Computer Vision

1_Seite 1

Beispiel Andocksystem (ADS) Komponenten im System

Flugha

feng

ebäu

de

Passagierbrücke

Rollfeld

Einroll-leitlinie

StoppositionVideokamera

B 737-300

Display

Systemleistung: Leitung des Flugzeugpiloten mittels Display auf die für den Flugzeugtyp vorgeschriebene Stoppposition.

Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen.

Computer Vision

1_Seite 2

ADS im Flughafen-Informationssystem Komponenten im System

Leitsystem

Tower

Vorfeld-kontrolle

Gate

Touchdownzeit, Flugzeugtyp, Flugnummer

Gate-Nr, Gateankunft (Soll), Flugzeugtyp, Flugnummer

Gateankunftzeit (ist), Stopposition

ADSRegler:Display

Video-auswertung Flugzeugmodell

Status, Position, Winkel, Zeit

TypLage

Computer Vision

1_Seite 3

ADS: Systemanforderungen Komponenten im System

ADSRegler:Display

Video-auswertung Flugzeugmodell

Status, Position, Winkel, Zeit

TypLage

● Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel)

● Hardware / Platform: Standard-PC-System / Betriebssystem Windows NT

● Messfrequenz: mindestens 12 Hz

● Messgenauigkeit: Bugradposition +/- 0,2 m, Winkel Flugzeugachse/Leitlinie +/- 2°

● Operationelle Anforderungen: Fehltyperkennung, Pushbackerkennung, Multi-Leitlinienfähigkeit

● Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung

Computer Vision

1_Seite 4

Die Messung erfolgt in zwei Schritten:

1. Bestimmung der Position des Flugzeugs im Bild.

2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum):

ADS: Messaufgabe Komponenten im System

z

y

Szenenpunkt

Objektpunkt aufder Bildebene, z.B. Triebwerksmitte

Bildebene

Sehstrahl

Rollfeld(Boden)

Höhe der Triebwerksmitte über

dem Boden

Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung zwischen Kamera und Boden ist bekannt.

Computer Vision

1_Seite 5

Erinnerung: Kameramodell und -kalibrierung

Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert.

Begriffe

Kameramodell

=

Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens des Sensors.

z.B. Lochkamera: Die Transformation P : R³ R² ist durch 5 Parameter gegeben:f Brennweite (Abstand Ursprung Koordinatensystem und Bildebene) (cx, cy) Bildhauptpunkt (Durchstoßpunkt der z-Achse im Bild in Pixeln)dx / dy Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensystems

yc

c

yx

c

c

x

cz

y

d

fjc

z

x

d

fi

Computer Vision

1_Seite 6

Kamerakalibrierung Begriffe

Kalibrierkörper und die IDs undWeltkoordinaten der Marken

z.B. SchachbrettmusterGröße der Quadrate 2 cm

Marke 0(0, 0, 0)T

Marke 1(2, 0, 0)T

Marke 3(4, 0, 0)T

Marke 8(0, 2, 0)T

gemessen (soll)

Bild vom Kalibrierkörperund die Bildkoordinaten der Marken

Was wird für die Kamerakalibrierung benötigt?

projiziert (ist)

Computer Vision

1_Seite 7

Kamerakalibrierung Begriffe

Bemerkungen zu den Kalibriermarken:

● Auch Landmarken kommen als Kalibriermarken in Frage (z.B. Markierungen auf dem Rollfeld von Flughäfen).

● Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden: Dann wird die Lageschätzung um die Kameraparameter erweitert.

gemessen (soll)

projiziert (ist)

Computer Vision

1_Seite 8

Bemerkungen:

● Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasystem plus radiale Verzeichnung)

● Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken.

● Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung.

● Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden Parameter gegeben (eine Marke liefert zwei Gleichungen!)

Kamerakalibrierung Begriffe

Radial verzeichnetesSchachbrettmuster(Fischauge)

Computer Vision

1_Seite 9

ADS: Kameramodell Komponenten im System

Abbildungsmodell nachRoger Tsai (Lochkamera plus radiale Verzeichnung)

Bringe Markierungen auf dem Boden an und ziehe ein Bild mit diesen Markierungen ein.

Projiziere die Markierungen auf das Bild (rote Kreuze)

Optimiere die Abbildungsparameter, so dass projizierte Markierungen und abgebildete Markierungen möglichst gut übereinstimmen.

Computer Vision

1_Seite 10

Die Messung erfolgt in zwei Schritten:

1. Bestimmung der Position des Flugzeugs im Bild.

2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum).

ADS: Messaufgabe Komponenten im System

Lösung hier: Suche bestimmte Objektpunkte im Bild durch Schablonenanpassung.

Computer Vision

1_Seite 11

Kreuzkorrelation Komponenten im System

Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt

Kreuzkorrelation von g und s.

1

0

1

0

21

0

1

0

2

1

0

1

0

),(),(

),(),(

),(B

x

H

y

B

x

H

y

B

x

H

y

yxsyxg

yxsyxg

sgKorr

Computer Vision

1_Seite 12

Schablonenanpassung Komponenten im System

● Gegeben seien ein Bild g und eine Schablone s.

● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die Kreuzkorrelation.

● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist die Kreuzkorrelation am größten.

Bild g

Schablone s

Kreuz-korrelationsbild

Computer Vision

1_Seite 13

ADS: Objektmodell Komponenten im System

Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in Form von Schablonen) und deren geometrischer Zusammenhang (Gitter)

Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.B. Korrelationskoeffizient) gemessen.

Schablonen,starres Gitter

Centerline

Stopposition

Computer Vision

1_Seite 14

ADS: Suchvorgang im Fangbereich Komponenten im System

1

41

81

121

161

201241

281321

361

ce3ce

5

ce24

ce20

ce16

ce12

ce17

ce13

ce10

ce21

ce23

ce26ce

9ce2

- 0.100.10.20.30.40.50.60.7

0.8

0.9

Korrelationsw

ert

Bild-Nr.Sequenz

Korrelationsverlauf beim Vorgang "Searching" für Sequenzen mit folgenden Merkmalen: Flugzeugtyp: 737; Kamera: color; Mittelwert-Template. ce3

ce4

ce5

ce25

ce24

ce19

ce20

ce8

ce16

ce15

ce12

ce6

ce17

ce18

ce13

ce14

ce10

ce11

ce21

ce22

ce23

ce7

ce26

ce27

ce9

ce1

ce2

Sequenz Bild-Nummer

Kor

rela

tions

wer

t

Korrelationsverlauf für verschiedene Sequenzen

3D-Template an Suchpositiontransformieren

Suchposition festlegen

Start

Flugzeugposition über 3D-Fit berechnen

Tracking

Korr. berechnen für Umgebungum Suchposition

Template gefundenKorr>Schwellwert

Nein

Ja

Bild einziehen

Computer Vision

1_Seite 15

ADS: Objektverfolgung Komponenten im System

Schablone an aktuelle Flugzeugposition transformieren

Aktuelle Flugzeugposition aus "Searching"

Start

Stop-Postion

Korrelation für Schabloneberechnen

ja

nein

Stop

Aktuelle Flugzeugposition über 3D-Fit berechnen

Bild einziehen

Schablone mit aktuellemBildinhalt überblenden

Computer Vision

1_Seite 16

ADS: Verfolgungsergebnisse Komponenten im System

1

38

75

112

149

186

223

260

297

334

371

t3d_

3

t3d_

4

t3d_

5

t3d_

25

t3d_

24

t3d_

19

t3d_

20

t3d_

8

t3d_

16

t3d_

15t3

d_12

t3d_

6t3

d_17

t3d_

18t3

d_13

t3d_

14t3

d_10

t3d_

11t3

d_21

t3d_

22t3

d_23

t3d_

7t3

d_26

t3d_

27t3

d_9

t3d_

1t3

d_2

0

0.2

0.4

0.6

0.8

1

Korrelationswert

Bild-Nr.

Sequenz

KKV-Werte für "Tracking" Vorgang; Fluzeugtyp: 737; Kamera: SW; 3D; 5 Pt3d_3

t3d_4

t3d_5

t3d_25

t3d_24

t3d_19

t3d_20

t3d_8

t3d_16

t3d_15

t3d_12

t3d_6

t3d_17

t3d_18

t3d_13

t3d_14

t3d_10

t3d_11

t3d_21

t3d_22

t3d_23

t3d_7

t3d_26

t3d_27

t3d_9

t3d_1

t3d_2

Korrelationsverlauf für verschiedene Sequenzen

Sequenz

Bild-Nummer

Computer Vision

1_Seite 17

ADS: Auswerteergebnisse Komponenten im System

 Andocksequenz 3: f=16mm Stop: x=-0.17, y=1.5

0

5

10

15

20

25

30

-0,5

0 0,5

0

5

10

15

20

25

30

1 33 65 97 129

161

193

225

257

289

321

353

385

417

449

481

 Andocksequenz 10: f=16mm Stop: x=-0.31, y=0.7

0

5

10

15

20

25

-0,5 0

0

5

10

15

20

251 33 65 97 129

161

193

225

257

289

321

353

385

417

449

481

Computer Vision

1_Seite 18

ADS: Auswerteergebnisse Komponenten im System

0

10

20

30

40

50

60

70

80

90

-5 0 5 10 15 20

0

10

20

30

40

50

60

-2 -1,5 -1 -0,5 0

Computer Vision

1_Seite 19

Zusammenfassung

Operationelle Lösungskonzept SystemanforderungenAnforderungen Bildauswertung

Geschwindigkeit SensorenNutzungskonzept

Latenzzeit Aufgabendefinition SzeneDatensätze

Genauigkeit Algorithmen Kommunikations-HW-/SW-Konzept Einbindung

Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware

Testumgebung Zuverlässigkeit Systemintegration

BetriebssystemVerfügbarkeit

Komponenten im System

Computer Vision

1_Seite 20

Korrelationskoeffizient Komponenten im System

Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt

Korrelationskoeffizient von g und s.

g und s heißen korreliert, wenn ist.

1

0

1

0

221

0

1

0

1

0

1

0

),(),(

),(),(

)()(

),(),(

B

x

H

y

B

x

H

y

B

x

H

y

syxsgyxg

syxsgyxg

sVgV

sgKovsg

negativ

un

positiv

0

0

0

Computer Vision

1_Seite 21

Schablonenanpassung Komponenten im System

● Gegeben seien ein Bild g und eine Schablone s.

● Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition den Korrelationskoeffizienten.

● An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist der Betrag des Korrelationskoeffizienten am größten.

Bild g

Schablone s

Korrelations-Koeffizientenbild

(Betrag)