1
Prof. Dr. Detlef Krömker
�����������
� ������ �������
2Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
��������
1. Grundsätzliches2. Compositing �����Pixel-Tiefeninformation (z-Wert)3. Compositing ����Pixel-Tiefeninformation (z-Wert)
Prinzip
Erzeugung von „range images“
4. Anpassung der BeleuchtungssituationPrinzipienSchatten
5. Zusammenfassung
2
3Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�������������
Wir unterscheiden:� Optische Mischung: „see-through devices“� Elektronische Mischung: „Video see-through devices“
mit immersiven HMDs aber auch Palmtops, Handys, etc.
Oder auch:� Ersetzen des Vordergrunds� Ersetzen des Hintergrunds
4Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
����� ���� ������ !�"
3
5Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
#��������������� !�"
6Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
��� $������������#�����%���
durch Softwarelösbar
inhärent��������
������� ��
Semi-Sichtbardurch Software
lösbar
inhärent ���������������
��
inhärentunmöglich��������������������������������
������ �����������������!�������
�����
���!������ ��������������������
�����
������!�"
������#$%#���
4
7Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ������� �����&���� ��'����'�� �����(��)��*
� 2 ½ D Ansatz mit Composite-Layers� Ein Layer kann Input-Video sein
� Ansatz:��������� ���� � ����������� � �������
������ ����� ������� ������ oder��������� ���� � ���������������
������ ����� �������������(video ���Reale Objekte“�
� Funktioniert, wenn die die Szenen aus Sicht des Betrachters tiefenmäßig wohl getrennt sind
8Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�+�� � �������
Die „vorne“ liegende Szene nennt man auch „sprite“.
Eigentlich eine binäre Entscheidung „all or nothing“ durch eine binäre Maske (matte, key)
Scene 1 = Blue-Screen oder Green-Screen Aufnahme � key im Prinzip einfach zu ermitteln, aber es gibt das Matting-Problem!
Diese kann leicht auf z.B. 8 Bit erweitert werden � semi-transparente Überlagerung; z.B. auch zur Lösung des AliasingProblems.
�� �� � ����� ������ ���� �� �� ����!
"#��#���� �� ���$����#�� �� �� ����
"#��#���� �� ���%� ���#����� ��
5
9Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ������� ��������,�-�����%�
10Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�+���������� �� �.���
Unterstellt, dass die Pixelfragmente unkorrelliert und gleichverteilt sind.
Bei korrelierten Verteilungen ergeben sich Fehler!
� ggf. A-Buffer benutzen
assoziativ kommutativ nicht
:Beachte
)()(
/)1((
)1(
����������
�����������
%)%%)))%)
%))%)
������������������������
����RYHURYHU
RYHU
��
���
������
�αααα
αααα
6
11Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
"�������� &����
12Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
7
13Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
14Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
8
15Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
16Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
9
17Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
18Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
10
19Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
20Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
11
21Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�+���������� �� �.����������� ������ ��-
Beachte: In obiger Gleichung treten immer die Terme ���� auf: Zur Beschleunigung sogenannte premultiplied RGBs speichern:
(��� ) = ( �� �� �� �
���
������
�%))%)
%))%)
�����������
)1(
)1(
ααααα
RYHU
RYHU����
22Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ������� ����&���� ��'����'�� �����(��)��*
�� ���������
Nach Duff: wie zuvor, Farbwerte sind premultiplied(��� �). Wir definieren zwei Funktionen
und
���
������
��%))&
%))&
�����������
)1(
)1(
ααααα
����RYHU
��
��
�
����
���),min(
%)&
)
%))
&
�� �����
�� ������
�� αα
���
]
12
23Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ��������� (/*
Zur besseren Abschätzung der Überlagerungssituation, berechnen oder interpolieren wir die z-Werte an den Pixelecken.
Dann können wir 16 Fälle unterscheiden.
Ziel: Berechnung eines Faktors (Verdeckungsanteil des Vordergrunds F) mit s,t sei Anteil der Eckpunkte, gegeben durch Interpolation der zugehörigen z-Werte:
Anteile : die Fläche F ist im Vordergrund(1-ß): die Fläche B ist im Vordergrund
24Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ��������� (0*
�&���'(����'� a: = 1; p: = 0
)���'�(Fälle: b,c,e,h,i,l,n,o)
F ist CornerSurface: = ½ * s * t
B ist CornerSurface: = 1.0 - ½ * s * t
%����' (Fälle: d,g,j,m)= (s + t)/2
= 1.0 –((s + t)/2)
*+� �������� (f und k) wie %����
13
25Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
�� ��������� (1*
��
���
��������
��������
�
),min())1()(1())1((
))1()(1())1((
%)&
)%%%))&
)%%%))&
���������������
��
αβαβαααβαααβα
��&RPS
26Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
2���������+���3����� � ����4
Range images = Tiefenbilder nennt man auch:����� ������������� �������&' �������#�� � �������Messung entweder
passiv, z.B. aus einem Stereobildpaar gewonnen oderaktiv, durch spezielle Sensoren: Haupt-Ausführungen:
������������: strukturietes Licht, z.B. Streifenmuster, Punktmuster
��������� Auswertung des Echos als Funktion der Laufzeit
���� �������������: ähnlich wie triangulation, Ausgewertet werden die Moiree-Muster
������ ����������������. Active focusing/defocusing sensors usetwo or more images of the same scene, which are acquired under varyingfocus settings. Once the best focused image is determined, a modellinking focus values and distance yields the distance.
14
27Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
$�������������-����������������
28Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
&���������
15
29Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
������
30Mixed Reality8. Image Compositing Prof. Dr. Detlef Krömker SS 2004
5��� ��'������