+ All Categories
Home > Documents > Projektive Abbildung Videokamera

Projektive Abbildung Videokamera

Date post: 06-Feb-2016
Category:
Upload: gezana
View: 23 times
Download: 0 times
Share this document with a friend
Description:
Projektive Abbildung Videokamera. Perspektivisches Abbildungsmodell „Lochkamera-Modell“. Z K. Z. Sensor-Koord.- System S: x,y. q. y. H. Hauptpunkt. Bildpunkt. P. x. Weltkoordinaten-Pixelkoordinaten Weltkoordinaten-Kamerakoordinaten Kamerakoordinaten-Sensorkoordinaten - PowerPoint PPT Presentation
58
Projektive Abbildung Videokamera Perspektivisches Abbildungsmodell „Lochkamera-Modell“ Sensor-Koord.- System S: x,y Welt- Koor- dinaten- system W: X, Y, Z Perspektivisches Zentrum: Ursprung des Kamera-Koordinaten- systems K: X K ,Y K ,Z K , parallel zu S Obje kt- punk t y x H P X PZ Y PZ Z PZ Hauptpunkt Z O Y O X O Z K X K Y K PZ X Y Z Bildpunkt Kammerkonst. c O Weltkoordinaten- Pixelkoordinaten 1. Weltkoordinaten- Kamerakoordinaten 2. Kamerakoordinaten- Sensorkoordinaten 3. Sensorkoordinaten- Pixelkoordinaten
Transcript
Page 1: Projektive Abbildung Videokamera

Projektive Abbildung VideokameraPerspektivisches Abbildungsmodell„Lochkamera-Modell“

Sensor-Koord.-System S: x,y

Welt-Koor-dinaten-system W:X, Y, Z

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

xH P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YKPZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O

Weltkoordinaten-Pixelkoordinaten

1. Weltkoordinaten-Kamerakoordinaten

2. Kamerakoordinaten-Sensorkoordinaten

3. Sensorkoordinaten-Pixelkoordinaten

Page 2: Projektive Abbildung Videokamera

Perspektivisches Abbildungsmodell

Pixel-Koordina-tensystem: u,v

Sensor-Koordinatensystem

Objektpunkt O: Weltkoord. [XO,YO,ZO]T Kamerakoord. [XK

O,YKO,ZK

O]T Persp. Zentrum PZ: [XPZ,YPZ,ZPZj]T

Bildpunkt P: [xP,yP]T

Hauptpunkt H: [xH,yH]T

u

v

Sensor-Koord.-System S: x,y

Welt-Koor-dinaten-system W:X, Y, Z

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

xH P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YKPZ

X

Y

Z

Bildpunkt

Kammerkonst. c

x

y

H

O

Projektive AbbildungVideokamera

Page 3: Projektive Abbildung Videokamera

Perspektivisches AbbildungsmodellInterne Koordinatentransformation

Objektpunkt O in Kamerakoord.: [XKO,YK

O,ZKO]T

Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T

1. Projektion Kamera-Koord. in Sensor-Koord.mittels Strahlensatz:

Projektion in homogenen Koordinaten:

Sensor-Koord.-System S: x,y

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

xH PHauptpunkt

ZK

XK

YKPZ

Bildpunkt

Kammerkonst. c

O :d.Kamerakoorin Bildpunkt

//

:Koord. homogene

KO

KO

KO

KO

P

P

KO

KO

KOP

P

ZYX

Zc

cyx

cbca

cba

YX

Zc

yx

Projektive AbbildungVideokamera

KO

KO

KO

KO

P

P

KO

KO

KO

KO

P

P

KO

KO

KO

P

P

ZYc

ZXc

yx

ZYZX

cy

cx

ZYX

cyx

:Koord.homogenen in

Page 4: Projektive Abbildung Videokamera

Perspektivisches AbbildungsmodellInterne Koordinatentransformation

Objektpunkt O in Kamerakoord.: [XKO,YK

O,ZKO]T

Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T

2. Korrektur, wenn Hauptpunkt nicht inBildmitte:

Sensor-Koord.-System S: x,y

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

xH P

ZPZ

Hauptpunkt

ZK

XK

YKPZ

Bildpunkt

Kammerkonst. c

O

HP

HP

yyxx

yx

Projektive AbbildungVideokamera

cyx

cycx

cyx

p

p

H

H

100/10/01

Page 5: Projektive Abbildung Videokamera

Pixel-Koordina-tensystem: u,v

u

v

x

y

H

Perspektivisches AbbildungsmodellSensor-Pixel-Koordinatentransformation

3. Umrechnung Sensor-Koord. xP,yP in Pixel-Koord. u,v

yM

xM

y

xuu

vvvM

uM

x

y

Die Bildmittelpunktskoordinaten uM und vM sowie x und y sind aus den Angaben desSensorherstellers entnehmbar.

Sensor-Koordinatensystem

Projektive Abbildung Videokamera

1000000

100/10/01

v 1

1

y

x

M

M

cvcu

c

u

cyx

cvcu

cyxu

c

u

y

x

M

M

y

x

M

M

1000000

100/10/01

1000000

0vv

1

1

1

1

cyx

vu

P

P

y

x

1000

0

01

01

cyx

cycx

P

P

H

H

100/10/01

Page 6: Projektive Abbildung Videokamera

Pixel-Koordina-tensystem: u,v

u

v

x

y

H

Optische DetektorenPerspektivisches AbbildungsmodellKamera-Pixel-Koordinatentransformation

Umrechnung Sensor-Koord. in Pixel-Koord. (in homogenen Koord.)

vM

uM

x

y

Sensor-Koordinatensystem

Projektive Abbildung Videokamera

cyx

vcucu

cyx

vuu

P

P

y

x

P

P

y

x

1000

0

1v

1000

0

c-v

01

01

01

01

KO

KO

KO

ZYX

1000

0

1v 0

10

1

vcucu

y

x

Sensor-Koord.-System S: x,y

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

xH P

ZPZ

Hauptpunkt

ZK

XK

YKPZ

Bildpunkt

Kammerkonst. c

O

Umrechnung Kamera-Koord. in Sensor-Koord.

:Koord.homogenen in

KO

KO

KO

P

P

ZYX

cyx

Page 7: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell4. Transformation Welt- in Kamera-Koord.

Welt-Koor-dinaten-system W:X, Y, Z

Kamera-Koordinaten-System K: XK,YK,ZK

Objekt-punkt

XPZYPZ

ZPZ

ZO

YO

XO

XK

YK

X

Y

Z

O

ZK

PZO

PZO

PZO

jKO

KO

KO

ZZYYXX

RZYX

),,( 6

Translation und Rotation

PZ: PerspektivischesZentrum

1000cossin0sincos

)(

cos0sin010

sin0cos)(

cossin0sincos0001

)(

)()()(),,(

3

2

1

321

R

R

R

RRRR

6

6

6

6666

333231

232221

131211

RRRRRRRRR

Projektive AbbildungVideokamera

Page 8: Projektive Abbildung Videokamera

1000cossin0sincos

)(cos0sin

010sin0cos

)(cossin0sincos0001

)(

)()()(),,(

321

321

RRR

RRRR

666

6666

333231

232221

131211

RRRRRRRRR

coscossinsincoscossincossincossinsincossinsinsinsincoscoscossinsinsincos

sinsincoscoscosR6

Optische DetektorenPerspektivisches Abbildungsmodell4. Transformation Welt- in Kamera-Koord.Rotationsmatrix

Projektive AbbildungVideokamera

Page 9: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell4. Welt-Kamera-Koordinatentransformation

PZO

PZO

PZO

KO

KO

KO

ZZYYXX

RZYX

),,( 6

Projektive Abbildung Videokamera

11000100010001

1000000

1333231

232221

131211

O

O

O

PZ

PZ

PZ

KO

KO

KO

ZYX

ZYX

RRRRRRRRR

ZYX

In homogenen Koordinaten:

Welt-Koor-dinaten-system W:X, Y, Z

Kamera-Koordinaten-System K: XK,YK,ZK

Objekt-punkt

XPZYPZ

ZPZ

ZO

YO

XO

XK

YK

X

Y

Z

O

ZK

11000

11000

333231

232221

131211

333231333231

232221232221

131211131211

O

O

O

z

y

x

O

O

O

PZPZPZ

PZPZPZ

PZPZPZ

ZYX

tRRRtRRRtRRR

ZYX

ZRYRXRRRRZRYRXRRRRZRYRXRRRR

Page 10: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell5. Zusammensetzung zur Welt-Pixel-Koordinatentransformation Sensor-Koord.-

System S: x,y

Welt-Koor-dinaten-system W:X, Y, Z

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

xH P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YKPZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O

Projektive Abbildung Videokamera

110001333231

232221

131211

O

O

O

z

y

x

KO

KO

KO

ZYX

tRRRtRRRtRRR

ZYX

1000

0

1v 0

10

1

vcucu

y

x

1010000100001

KO

KO

KO

ZYX

1000

0

1v 0

10

1

vcucu

y

x

11000010000100001

333231

232221

131211

O

O

O

z

y

x

ZYX

tRRRtRRRtRRR

134333231

24232221

14131211

ZYX

pppppppppppp

vu

Page 11: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene

Projektive Abbildung Videokamera

1mit 11

oder

1

11000

0

1

zu

Dann wird

3231

01

320221

310211

01

320121

310111

3231

01

320221

310211

01

320121

310111

3231

2221

1211

01

01

int

z

zyyyy

zxxxx

O

O

O

O

z

zyyyy

zxxxx

O

O

z

y

x

y

x

ext

tRRtvtcRvRcRvRctutcRuRcRuRc

HYX

Hvu

YX

tRRtvtcRvRcRvRctutcRuRcRuRc

YX

tRRtRRtRR

vcuc

vu

XKPKp

66

666

1000

0

1v 0

10

1

vcucu

y

x

11000010000100001

333231

232221

131211

O

O

O

z

y

x

ZYX

tRRRtRRRtRRR

Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

XKPKp ext

666 int

oder

Page 12: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene

Projektive Abbildung Videokamera

333231

232221

131211

3231

01

320221

310211

01

320121

310111

hhhhhhhhh

1mit 11

z

zyyyy

zxxxx

O

O

tRRtvtcRvRcRvRctutcRuRcRuRc

HYX

Hvu

66

In homogenen Koordinaten: lineare Darstellung

In kartesischen Koordinaten: nicht-lineare Darstellung

333231

232221

333231

131211

hhhhhh

hhhhhh

OO

OO

OO

OO

YXYXv

YXYXu

Page 13: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Optische DetektorenAllgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien

Allgemeine projektive Transformation zwischen Ebenen:

Nicht-linear, undef. wenn Nenner Null:explizites Hinzufügen einer Linie mit Punkten im Unendlichen Projektive EbeneLGS in homogenen Koordinaten

Nach: Robert T. Collins: Projective Reconstruction of Approximately Planar Scenes, Proc. SPIE 1839, pp. 174-185

333231

232221

333231

131211 ,hhhhhh

hhhhhh

eiche Punktfür unendlEbenePunkte in für endl.

ss

kSkalarshhh

hhhhhh

sk

01

0

333231

232221

131211

x

y

´

´

x‘‘

y‘‘

‘‘

‘‘

HomographieH1

Homographie H2

C1affin

Objektebene

C2affin

Lochkamera1 Lochkamera2

Page 14: Projektive Abbildung Videokamera

Optische DetektorenAllgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien

Einander entsprechende Punkte inirgendwelchen zwei Ebenen der Abbildungsind über eine Homographie verbunden.

Ist die Abweichung der realen Kameravom Lochkameramodell linear, ist dasBild eine affine Transformation der reinenLochkamera-Abbildung.

Gesamtabbildung: H1C1Affine Abb. Untergruppe von Homographie H1C1 ist ebenfalls Homographie.

x

y

´

´

x‘‘

y‘‘

‘‘

‘‘

HomographieH1

Homographie H2

C1affin

Objektebene

C2affin

Lochkamera1 Lochkamera2

v´´

v´´

2

11 :

tt

yx

rqpo

vu

C

Zwei-Ansichten-AbbildungVideokamera

Page 15: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien

Zwei-Ansichten-AbbildungVideokamera

H0w: Homographie bildet Weltebene auf erste Bildebene ab.

Hii-1: Homographien zwischen Bildern

010

121 w

ii

ii

iw HHHHH

66

666

Page 16: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien

Berechnung einer Homographie

Skalierung, so dass h33 1 (h´ij=hij/h33), ausmultiplizieren, umstellen:

Für N Punktepaare i,i und ´i, ´i 1iN ergibt sich LGS in Matrixschreibweise:

232221333231

131211333231

333231

232221

333231

131211 ,hhhhhhhhhhhh

hhhhhh

hhhhhh

3231232221

3231131211

2322213231

1312113231

´´´´´´´´´´

´´´1´´´´´1´´

hhhhhhhhhh

hhhhhhhhhh

SVDmit z.B. Lösung´ˆ

´´´´´´´´

10000001

10000001

1

1

32

31

23

22

21

13

12

11

111111

111111

bhA

hhhhhhhh

N

N

NNNNNN

NNNNNN

6

Zwei-Ansichten-AbbildungVideokamera

Page 17: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien

Berechnung einer Homographie: Vorgehen

1. Vorstufe: Datennormierung

rTrrTryssxss

Tyssxss

T

rTrd

syxd

rTrd

syxd

rrrrrr

r

ii

N

iii

N

ii

N

ii

ii

N

iii

N

ii

N

ii

NN

6666

6

6

~ und ~:100

00

und 100

00

mit

~2N1,

N1y,

N1x

~2N1,

N1y,

N1x

.2ttelwert Abstandsmi auf alierungAbstandssk und gin Ursprun ungtverschiebSchwerpunk

:,,, :Bild2in und ,,, :1 Bildin

Punkteierenden korrespondder Mengefür Normierung

1

22

11

1

22

11

2121

Zwei-Ansichten-AbbildungVideokamera

Page 18: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien

Berechnung einer Homographie: Vorgehen

2. Berechnung der „normierten“ Homographie

3. „Denormierung“ der „normierten“ Homographie

SVDmit z.B. Lösung~~~

ˆ

~

~

~

~

~~~~~~~~

~~~~1~~000

~~~~0001~~

~~~~1~~000

~~~~0001~~

1

1

32

31

23

22

21

13

12

11

111111

111111

bhA

hhhhhhhh

N

N

NNNNNN

NNNNNN

6

Zwei-Ansichten-AbbildungVideokamera

Page 19: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien

Anwendung: Mosaicing

Zwei-Ansichten-AbbildungVideokamera

Page 20: Projektive Abbildung Videokamera

Sensor-Koord.-System S: x, y

Welt-Koor-dinaten-system W:X, Y, Z

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S

Objekt-punkt

y

xH P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YK

PZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O

Ebenen-basierte Bestimmung der Pose einer Kamera

Page 21: Projektive Abbildung Videokamera

1mit 11

oder

1

11000

0

1

zu

Dann wird

3231

01

320221

310211

01

320121

310111

3231

01

320221

310211

01

320121

310111

3231

2221

1211

01

01

int

z

zyyyy

zxxxx

O

O

O

O

z

zyyyy

zxxxx

O

O

z

y

x

y

x

ext

tRRtvtcRvRcRvRctutcRuRcRuRc

HYX

Hvu

YX

tRRtvtcRvRcRvRctutcRuRcRuRc

YX

tRRtRRtRR

vcuc

vu

XKPKp

66

666

1000

0

1v 0

10

1

vcucu

y

x

11000010000100001

333231

232221

131211

O

O

O

z

y

x

ZYX

tRRRtRRRtRRR

Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie

1. Projektive Abbildung einer Ebene: Homographie

Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0

XKPKp ext

666 int

oder

Page 22: Projektive Abbildung Videokamera

3231

22212

12112!

323122212

12112

22

21

32

22

12

2

31

21

11

1

333231

232221

131211

3231

2221

1211

323121

33

23

13

3

32

22

12

2

31

21

11

1

333231

232221

131211

~~~~~~

0~~~~~~1

~

~

~

,~

~

~

~~~~~~~~~

1~

.0,0,0

,,

hhhhyhhxchhhhyhhx

crr

h

hcy

hcx

r

h

hcy

hcx

rhhhhhhhhh

tRR

ty

cRy

cRy

c

tx

cRx

cRx

c

H

rrrrrr

RRR

rRRR

rRRR

rRRRRRRRRR

R

T

z

y

x

TTT

6

6

Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie

2. Bestimmung der Kammerkonstanten aus der Homographie mit xH=yH=u0=v0=0

1000

0

1v 0

10

1

vcucu

y

x

11000010000100001

333231

232221

131211

O

O

O

z

y

x

ZYX

tRRRtRRRtRRR

Für die Spaltenvektoren der in

enthaltenen Rotationsmatrix

gilt wechselseitige Orthogonalität

Bestimmung der Kammerkonstanten mit erster Orthogonalitätsbedingung

Page 23: Projektive Abbildung Videokamera

3212133

21231

2221

2211

22

312

2212

2

2112

21

21

3231

22212

12112

32

22

12

2

31

21

11

1

321

,, :

, ~~~1

~~~11

:1

~~~~~~

~

~

~

,~

~

~

1

rrrRrrrr

rrhchyhx

ch

chy

chx

rr

rr

hhhhyhhxc

h

hc

y

hc

x

r

h

hc

y

hc

x

r

rrr

6

Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie

3. Bestimmung der Rotationsmatrix

Spaltenvektoren der Rotationsmatrix sind Einheitsvektoren des gedrehten Koordinatensystems

wobei aus voriger Orthogonalitätsbedingung

Bestimmung von so, dass

Bestimmung von aus weiterer Orthogonalitätsbedingung

Einsetzen von und c

Page 24: Projektive Abbildung Videokamera

33

23

13

33

23

13

3

~

~

~

1~~~

~

~

hc

yhc

xh

t

t

tyc

txc

hhh

hH

z

y

x

6

z

y

xT

PZ

PZ

PZT

z

y

x

PZ

PZ

PZ

PZ

PZ

PZ

z

y

x

ttt

RRRRRRRRR

ZYX

RRRRRRRRR

RRRRRRRRR

ttt

RRRRRRRRR

ZYX

ZYX

RRRRRRRRR

ttt

333231

232221

131211

333231

232221

1312111

333231

232221

131211

1

333231

232221

131211

333231

232221

131211

mit

Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie

4. Bestimmung der Translation

Die dritte Spalte der Homographiematrix lautet

Mit c und aus vorheriger Rechnung ist Translationsvektor bestimmt.

Mit dem Translationsvektor und der Rotationsmatrix wird die Lage des persp. Zentrums berechnet.

Page 25: Projektive Abbildung Videokamera

H

XPZ

ZPZ

ZK

XK

YK

PZ

X

Y

Z

YPZ

Rechteck in Objektebene

Seitengerade l1

des Rechtecks

Seitengerade l2

des Rechtecks

Ebene E1 aufgespanntdurch l1 und PZ

Ebene E2 aufgespanntdurch l2 und PZ

Schnittgerade zwi-schen E1 und E2

Schnittgerade l´2 zwischen E2 undSensorfläche

Schnittgerade l´1 zwischen E1 undSensorfläche

Normalen-vektor von E2

Normalen-vektor von E1

Seitengeraden des Rechtecks:

Die Abbildung einer Geraden l1 geht durch PZ.Sie bildet damit eine Ebene E1, welche die Sensorfläche in einer Geraden l1´ schneidet.Ebenso ergeben sich E2 und l2´ für die paralleleGerade l2 der gegenüber liegenden Seite des Rechtecks.Die beiden Ebenen E1 und E2 schneiden sichin einer Geraden parallel zu l1 und l2, derenRichtungseinheitsvektor einer der Einheitsvek-toren des Marken-Koordinatensystems ist. steht senkrecht auf und ,bestimmt durchKreuzprodukt. wird durch die anderenSeitengeraden und und deren Ebenen mit und bestimmt:

steht senkrecht auf und :

´:´´;:´:;:

20221011

20221011

xxlxxlxxlxxl

n2

n1

Me1ˆ

Me

Me

Me

Me 2n1n

21

212

ˆnnnneM

Me

1l 2l2n1n

21

211

ˆnnnneM

Me 1ˆ

Me 2ˆ

Me

213ˆˆˆ

MMM eee

Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera

Page 26: Projektive Abbildung Videokamera

H

XPZ

ZPZ

ZK

XK

YK

PZ

X

Y

Z

YPZ

Rechteck in Objektebene

Seitengerade l1

des Rechtecks

Seitengerade l2

des Rechtecks

Ebene E1 aufgespanntdurch l1 und PZ

Ebene E2 aufgespanntdurch l2 und PZ

Schnittgerade zwi-schen E1 und E2

Schnittgerade l´2 zwischen E2 undSensorfläche

Schnittgerade l´1 zwischen E1 undSensorfläche

Normalen-vektor von E2

Normalen-vektor von E1

Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera

Bestimmung der Normalenvektoren:Die Abbildung l1´ der Geraden l1 durch PZliegt ebenfalls in Ebene E1. Somit kann E1

(d.h. ) durch Bestimmung von l1´ aus dem Bildmithilfe der internen KalibrierparameterHauptpunkt H und Kammerkonste c berech-net werden.Ebenso kann aus l2´ berechnet werden.Nach Segmentierung und z.B. Hough-Trans-formation: Geradengleichung für l1´in Bild-koordinaten

n2

n1

Me2ˆ

Me

Me

2n

1n

1101 wrr

Pixel-Koordina-tensystem: u,v

u

v

x

y

H

vM

uM

x

y

Sensor-Koordinatensystem10r

1w

Page 27: Projektive Abbildung Videokamera

Bestimmung der Normalenvektoren:

Transformation der Bildgeraden in das Kamera-Koordinatensystem:

1. Transformation vom Pixel- in das Sensor-Koordinatensystem

2. Transformation in das Kamera-Koordinatensystem:

3. Gleichung für Normalenvektor der Ebene durch l1´ und projektives Zentrum PZals Kreuzprodukt des Richtungsvektors der Geraden und Differenzvektor zwischenAufpunkt der Geraden und PZ:

Pixel-Koordina-tensystem: u,v

u

v

x

y

H

vM

uM

x

y

Sensor-Koordinatensystem10r

1w

MPy

MPx

p

p uuyx

vv

y

xM

PPS rrr0

0,

66

cwrrr

crr

rP

HMPP

HS

K 11011

66

1101101

11011 :nKoordinate-Sensorin iert transform:l´ Gerade

wrrwrrr

wrrP

MPPP

MPPS

PPP

666

1v 1u

,11

cw

vP 6

,10

1

crrr

u HMPP 6

11

111

ˆuvuvn

Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera

Page 28: Projektive Abbildung Videokamera

Bestimmung der Marken-Koordinatensystemachsen:

Normalenvektoren der Ebenen durch parallele Markenberandungen l1 und l2

ergeben Koordinatenachse als Kreuzprodukt:

Analoges Verfahren für zweites, zum ersten senkrechtes Parallelenpaar und der Rechteckmarke.

Die dritte Achse ergibt sich aus dem Kreuzprodukt der beiden ersten

Und damit die Rotationsmatrix der Marke gegenüber der Kamera

Pixel-Koordina-tensystem: u,v

u

v

x

y

H

vM

uM

x

y

Sensor-Koordinatensystem10r

1w

1101101

11011 :nKoordinate-Sensorin iert transform:l´ Gerade

wrrwrrr

wrrP

MPPP

MPPS

PPP

666

,11

cw

vP 6

,10

1

crrr

u HMPP 6

11

111

ˆuvuvn

2202202

22022 :nKoordinate-Sensorin iert transform:l´ Gerade

wrrwrrr

wrrP

MPPP

MPPS

PPP

666

,22

cw

vP 6

,20

2

crrr

u HMPP 6

22

222

ˆuvuvn

212ˆˆˆ nneM

1l 2l

211ˆˆˆ nneM

213ˆˆˆ

MMM eee

321ˆˆˆ

MMM eeeR 6

Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera

Page 29: Projektive Abbildung Videokamera

Optische DetektorenPerspektivisches AbbildungsmodellBestimmung der Modellparameter

Interne Parameter: • Hauptpunkt-Koordinaten xH, yH • Kammerkonstante: c • Skalenfaktoren:x, y.

Externe Parameter:• Weltkoordinaten des Perspektivischen Zentrums: XPZ, YPZ, ZPZ • Drehwinkel zwischen Welt- und Kamera-Koordinatensystem:

Abbildungsmodelle Videokamera

Sensor-Koord.-System S: x, y

Welt-Koor-dinaten-system W:X, Y, Z

PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek

t-punkt

y

xH P

XPZYPZ

ZPZ

Hauptpunkt

ZO

YO

XO

ZK

XK

YKPZ

X

Y

Z

Bildpunkt

Kammerkonst. c

O

Page 30: Projektive Abbildung Videokamera

Bestimmung der Abbildungsparameter: Kalibrierung

Schätzung der Parameter auf Basis genau vermessener Szenenmerkmale (z.B. Kalibrierpunkte) und zugeordneter Bildmerkmale.

• Menge von Modellparametern {p}• Menge der Punkte (Weltkoordinaten) der Szenenmerkmale durch Vermessung

• Menge der Punkte (Bildkoordinaten) der Bildmerkmale durch Bildauswertung (automatisch oder interaktiv oder automatisch mit iterativer Verbesserung)

Damit Menge von Zuordnungen:

Bestimmung des optimalen Parametervektors p: Minimierung der Quadratabweichungen der Positionen der projizierten Szenenmerkmale von den Positionen der Bildmerkmale:

KamerakalibrierungVideokamera

s

s

sModell

p

zyx

Tvu 6

nizyxs Tsisisii ,...,1,],,[

lisbzZii hgi ,...,1],,[

mivub T

iii ,...,1,],[

)(}),...,1{()(},...,1{:},,...,1{, jiijii ghnhggmgjiljimit

min)(1

2

l

ih

Modellpg ii

sTb

Siehe Prof.Dr. Trommer: Praktikum Systemoptimierung,Versuch 7

Page 31: Projektive Abbildung Videokamera

Optische Detektoren

• Modellierung von Abweichungen vom perspektivischen Abbildungsmodell

Korrekturterme zu

Erweiterung:

AbbildungsmodelleVideokamera

dx und dy können Verzeichnungen sein vom Typ

• Radial symmetrisch dxsym• Radial asymmetrisch dxasy so dass dx = dxsym + dxasy + dxtan• Tangential dxtan und dy = dysym + dyasy + dytan

dydx

yx

YX

Zc

yx

H

HK

O

KO

KOP

P

H

HK

O

KO

KOP

P

yx

YX

Zc

yx

Page 32: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Aberration VerzerrungenRadiale Vergrößerungsänderungen.

Positive Verzerrung Negative Verzerrung

Kissenförmige Tonnenförmige Verzeichnung Verzeichnung

Page 33: Projektive Abbildung Videokamera

Optische Detektoren

Modellierung von radial symmetrischen Abweichungen

Modellierung durch ungeradzahliges Polynom:

Wobei r der Bildradius ist: r² = x² + y². r0 ist der Nulldurchgang der Verzeichnungskurve.

Somit erhält man für den radial symmetrischen Korrekturterm:

Bei normalen Objektiven genügt ein Polynom mit zwei Koeffizienten.

Einparametrige Alternative von Lenz:

AbbildungsmodelleVideokamera

)()()( 60

73

40

52

20

31 rrrArrrArrrAdrsym

yr

drdyundx

rdr

dx symsym

symsym

2

2

411

411

Kr

Krrdrsym

Verzeichnungsparameter K

sym

sym

H

HK

O

KO

KOP

P

dydx

yx

YX

Zc

yx

Page 34: Projektive Abbildung Videokamera

Modellierung von radial symmetrischen Abweichungen

Beispiel

AbbildungsmodelleVideokamera

Page 35: Projektive Abbildung Videokamera

Modellierung von radial asymmetrischen und tangentialen Abweichungen

Mehrere Modellierungen

Conrady:

Zusätzliche Berücksichtigung einer nicht-ebenen Bildfläche (Brown):

Für Videokameras genügt meist die Modellierung radial symmetrischer Abweichungen:[Lenz, Tsai]

AbbildungsmodelleVideokamera

E10

Page 36: Projektive Abbildung Videokamera

Effekt radial symmetrischer und tangentialer Abweichungen

AbbildungsmodelleVideokamera

Page 37: Projektive Abbildung Videokamera

Modellierung von Affinität

Unterschiedliche Pixelgröße in x- und y-Richtung

dxaff = Sxy x und dyaff = 0

AbbildungsmodelleVideokamera

Page 38: Projektive Abbildung Videokamera

Abbildung der Bildpunkte auf Elemente der Grauwertmatrix:

AbbildungsmodelleVideokamera

Pixel-Koordina-tensystem

Bildkoordinatensystem

u

v

u = sx(x + N/2)v = sy( y + M/2)

sx = Abtastfrequenz / (Pixeltakt*horiz. Pixelabstand)sy = 1 / vertikaler Pixelabstand

Beispiel Parametervektor:

KSssyxc

ZYX

p

xy

y

x

H

H

O

O

O

j

j

j

Rotationswinkel äußere Orientierung

Translation

KammerkonstanteHauptpunkt

innereSkalierungsfaktoren Orientierung

Verzerrungsfaktoren

Page 39: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Dicke paraxiale Linse

Objektebene Bildebene

TatsächlicherStrahlenpfad Zur Konstruktion

benutzter Pfad

Abbildungskonstruktion: Strahl von P parallel zu opt. Achse bis H´, von H´ über F´Strahl von P über F nach H, von H parallel zu opt. Achse -> Schnittpunkt P´ def. S´.

H H´Hauptebenen

Page 40: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Sphärische Aberrationen

Strahlen mit unterschiedlichem Abstand vom Linsenzentrum haben unterschiedliche Brennweite

Page 41: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Linsensysteme (Abbildungsoptik aus mehreren dicken Linsen)

H11 H12 P1 P2 H21 H22

h

h

H11

H22

Page 42: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Aberration Negatives KomaDie transversale Vergrößerung nimmt mit wachsender Strahlhöhe ab.

Page 43: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Aberration Positives KomaJe größer der Kreisdurchmesser auf der Linse, desto größer der Kreisdurchmesser in der Bildebene.

Bildebene

Objektebene

KomaT

KomaV

Page 44: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Aberration AstigmatismusDie Brennweiten unterscheiden sich für die sagittale und für die meridionale Ebene.

Objekt-punkt

SagittalesBild

MeridionalesBild

KleinsterFehler

Page 45: Projektive Abbildung Videokamera

Optische AbbildungVideokamera

Optische Detektoren

Abbildungsprozess: Zusammenfassung primäre Aberrationen

Aberration Radial (Unschärfe) Axial (fokale Verschiebung)

Sphärische Aberration y³ y²

Coma y²h

Astigmatismus y h² h²

Feldkrümmung y h² h²

Verzerrung h³

h: Strahlhöhe, y: Apertur

Page 46: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

PZ PZ`

p1 p2

R,t – 6 Parameter

Relative Orientierung zweier KamerasP Objektpunkt-Welt

PZ: perspektivisches Zentrum Kamera 1p1: Bildpunkt von P in Kamera 1

PZ`: perspektivisches Zentrum Kamera 1p2: Bildpunkt von P in Kamera 2

Page 47: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

PZ PZ`

p1 p2

3D – Koordinaten des WeltpunktesP Objektpunkt-Welt

PZ: perspektivisches Zentrum Kamera 1p1: Bildpunkt von P in Kamera 1

PZ`: perspektivisches Zentrum Kamera 1p2: Bildpunkt von P in Kamera 2

1133

132

131

124

123

122

121

114

113

112

111

1

1

1

ZYX

ppppppppppp

vu

1133

232

231

224

223

222

221

214

213

212

211

2

2

2

ZYX

ppppppppppp

vu

24

1133

123

1132

122

1131

121

11

141

1331

131

1321

121

1311

111

1

241

231

221

211

331

321

311

1

141

131

121

111

331

321

311

1

11

pZvppYvppXvppvpZuppYuppXuppu

pZpYpXpZpYpXpvpZpYpXpZpYpXpu

24

2233

223

2232

222

2231

221

22

142

2332

132

2322

122

2312

112

2

242

232

222

212

332

322

312

2

142

132

122

112

332

322

312

2

11

pZvppYvppXvppvpZuppYuppXuppu

pZpYpXpZpYpXpvpZpYpXpZpYpXpu

LGS für X,Y,Z

Page 48: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

PZ PZ`

p1 p2

3D – Koordinaten des WeltpunktesP Objektpunkt-Welt

PZ: perspektivisches Zentrum Kamera 1p1: Bildpunkt von P in Kamera 1

PZ`: perspektivisches Zentrum Kamera 1p2: Bildpunkt von P in Kamera 2

24

1133

123

1132

122

1131

121

11

141

1331

131

1321

121

1311

111

1

pZvppYvppXvppvpZuppYuppXuppu

24

2233

223

2232

222

2231

221

22

142

2332

132

2322

122

2312

112

2

pZvppYvppXvppvpZuppYuppXuppu

LGS für X,Y,Z

Voraussetzungen:

•Kameramodelle exakt bekannt•Bildkoordinaten der homologen Punkte bekannt

Page 49: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Epipolargeometrie

PZ PZ`

p p`

Bildebene

Sensorfläche

Bildebene

Sensorfläche

Objektpunkt-Welt

Basislinie

Epipolarlinien

Epipole

e e`

p p`

P

Page 50: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Perspektivisches ZentrumKamera1

Perspektivisches ZentrumKamera2

Ebenen, die sich in Basislinie schneiden

BasislinieIdealeStereo-

Anordnung

Zeilen der idealen Stereo-Anordnung (photogrammetrischer Normalfall):Ebenen, die sich in Basislinie schneiden

Abbildung dieser Ebenen in realen Kameras:Epipolarlinien

Page 51: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

PZ PZ`

p p`

Bildebene

Sensorfläche

Bildebene

Sensorfläche

Objektpunkt-Welt

Basislinie

Epipolarlinien

Epipolargeometrie

Korrespondierende Bildpunkte liegen auf Epipolarlinien

Page 52: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Epipolargeometrie und Homographie:Homographie-induzierte Parallaxe

PZ PZ`

p p`

Objektpunkt-WeltP

e e`

pp`

o o

oo

o o

o

E pE

H

pH`

p` und pH` liegenauf Epipolarlinie

B1 B2

H bezgl. Schrift-tafel

H.B1 überlagertmit B2

Page 53: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Epipolargeometrie und Homographie

PZ PZ`

p p`

Objektpunkte-Welt

e e`

o o

oo

o o

o

E

H

o

o

o

oo

Bestimmung des Epipols als Schnittpunkt zweier Epipolarlinien.

Epipolarlinie jeweils bestimmt durch Bildpunkt des Objektpunkts des einen Bildes und den durch H transformierten Bildpunkt des Objektpunkts des anderen Bildes.

Page 54: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Epipolargeometrie und Homographie

H x'xl

EpipolarlinienBildzeilen

Page 55: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Epipolargeometrie und Homographie

Rektifizierung durch polare Reparameterisierung bezüglich Epipolen

Erhalte Länge der Epipolarlinien.Wähle Winkelinkrement so, dass Pixel nicht komprimiert werden.

Ursprungsbild

Funktioniert für alle relativen Bewegungen.Garantiert minimale Bildgröße.

Epipol

rmax

rmin

x

y

Rektifiziertes Bild

r

Resampling

Page 56: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

BasislinieIdealeStereo-

Anordnung

Ursprungsbild

rmax

rmin

x

y

r

Ursprungsbild

rmax

rmin

x

y

r

Page 57: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

BasislinieIdealeStereo-

Anordnung

o o

PZ1 PZ2

D

cx1 x2

Aus Geradenschnitt:

cyzy

cxzx

xxcBz

PP

PP

P

,

21

B

z

x

PzP

Page 58: Projektive Abbildung Videokamera

Zwei-Ansichten-AbbildungVideokamera

Epipolargeometrie, Homographie und Fundamentalmatrix

Fundamentalmatrix F: Abbildung des Bildpunktes x aus Bildebene B1 auf zugehörige Epipolarlinie l` in Bildebene B2.

Berechnung mittels Homographie

6655 H x'xH x'xe '

x1,x2,x3,x4 in Ebene, x5,x6 außerhalb Ebene

Berechnung von H aus x1,x2,x3,x4

He 'F

l`

B1 B2


Recommended