· 1 Prof. Dr. Detlef Krömker 2 Mixed Reality 8. Image Compositing Prof. Dr. Detlef Krömker SS...

Post on 23-Sep-2019

6 views 0 download

transcript

1

Prof. Dr. Detlef Krömker

�����������

� ������ �������

2Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

��������

1. Grundsätzliches2. Compositing �����Pixel-Tiefeninformation (z-Wert)3. Compositing ����Pixel-Tiefeninformation (z-Wert)

Prinzip

Erzeugung von „range images“

4. Anpassung der BeleuchtungssituationPrinzipienSchatten

5. Zusammenfassung

2

3Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�������������

Wir unterscheiden:� Optische Mischung: „see-through devices“� Elektronische Mischung: „Video see-through devices“

mit immersiven HMDs aber auch Palmtops, Handys, etc.

Oder auch:� Ersetzen des Vordergrunds� Ersetzen des Hintergrunds

4Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

����� ���� ������ !�"

3

5Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

#��������������� !�"

6Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

��� $������������#�����%���

durch Softwarelösbar

inhärent��������

������� ��

Semi-Sichtbardurch Software

lösbar

inhärent ���������������

��

inhärentunmöglich��������������������������������

������ �����������������!�������

�����

���!������ ��������������������

�����

������!�"

������#$%#���

4

7Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�� ������� �����&���� ��'����'�� �����(��)��*

� 2 ½ D Ansatz mit Composite-Layers� Ein Layer kann Input-Video sein

� Ansatz:��������� ���� � ����������� � �������

������ ����� ������� ������ oder��������� ���� � ���������������

������ ����� �������������(video ���Reale Objekte“�

� Funktioniert, wenn die die Szenen aus Sicht des Betrachters tiefenmäßig wohl getrennt sind

8Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�+�� � �������

Die „vorne“ liegende Szene nennt man auch „sprite“.

Eigentlich eine binäre Entscheidung „all or nothing“ durch eine binäre Maske (matte, key)

Scene 1 = Blue-Screen oder Green-Screen Aufnahme � key im Prinzip einfach zu ermitteln, aber es gibt das Matting-Problem!

Diese kann leicht auf z.B. 8 Bit erweitert werden � semi-transparente Überlagerung; z.B. auch zur Lösung des AliasingProblems.

�� �� � ����� ������ ���� �� �� ����!

"#��#���� �� ���$����#�� �� �� ����

"#��#���� �� ���%� ���#����� ��

5

9Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�� ������� ��������,�-�����%�

10Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�+���������� �� �.���

Unterstellt, dass die Pixelfragmente unkorrelliert und gleichverteilt sind.

Bei korrelierten Verteilungen ergeben sich Fehler!

� ggf. A-Buffer benutzen

assoziativ kommutativ nicht

:Beachte

)()(

/)1((

)1(

����������

�����������

%)%%)))%)

%))%)

������������������������

����RYHURYHU

RYHU

��

���

������

�αααα

αααα

6

11Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

"�������� &����

12Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

7

13Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

14Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

8

15Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

16Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

9

17Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

18Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

10

19Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

20Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

11

21Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�+���������� �� �.����������� ������ ��-

Beachte: In obiger Gleichung treten immer die Terme ���� auf: Zur Beschleunigung sogenannte premultiplied RGBs speichern:

(��� ) = ( �� �� �� �

���

������

�%))%)

%))%)

�����������

)1(

)1(

ααααα

RYHU

RYHU����

22Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�� ������� ����&���� ��'����'�� �����(��)��*

�� ���������

Nach Duff: wie zuvor, Farbwerte sind premultiplied(��� �). Wir definieren zwei Funktionen

und

���

������

��%))&

%))&

�����������

)1(

)1(

ααααα

����RYHU

��

��

����

���),min(

%)&

)

%))

&

�� �����

�� ������

�� αα

���

]

12

23Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�� ��������� (/*

Zur besseren Abschätzung der Überlagerungssituation, berechnen oder interpolieren wir die z-Werte an den Pixelecken.

Dann können wir 16 Fälle unterscheiden.

Ziel: Berechnung eines Faktors (Verdeckungsanteil des Vordergrunds F) mit s,t sei Anteil der Eckpunkte, gegeben durch Interpolation der zugehörigen z-Werte:

Anteile : die Fläche F ist im Vordergrund(1-ß): die Fläche B ist im Vordergrund

24Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�� ��������� (0*

�&���'(����'� a: = 1; p: = 0

)���'�(Fälle: b,c,e,h,i,l,n,o)

F ist CornerSurface: = ½ * s * t

B ist CornerSurface: = 1.0 - ½ * s * t

%����' (Fälle: d,g,j,m)= (s + t)/2

= 1.0 –((s + t)/2)

*+� �������� (f und k) wie %����

13

25Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

�� ��������� (1*

��

���

��������

��������

),min())1()(1())1((

))1()(1())1((

%)&

)%%%))&

)%%%))&

���������������

��

αβαβαααβαααβα

��&RPS

26Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

2���������+���3����� � ����4

Range images = Tiefenbilder nennt man auch:����� ������������� �������&' �������#�� � �������Messung entweder

passiv, z.B. aus einem Stereobildpaar gewonnen oderaktiv, durch spezielle Sensoren: Haupt-Ausführungen:

������������: strukturietes Licht, z.B. Streifenmuster, Punktmuster

��������� Auswertung des Echos als Funktion der Laufzeit

���� �������������: ähnlich wie triangulation, Ausgewertet werden die Moiree-Muster

������ ����������������. Active focusing/defocusing sensors usetwo or more images of the same scene, which are acquired under varyingfocus settings. Once the best focused image is determined, a modellinking focus values and distance yields the distance.

14

27Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

$�������������-����������������

28Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

&���������

15

29Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

������

30Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004

5��� ��'������