01-0 Grundlagen des Digitalen Bildes€¦ · Film / Video • t: wenige Abtastungen Bewegtbild eine...

Post on 18-Oct-2020

0 views 0 download

transcript

Prof. Dr.-Ing. Detlef Krömker

Goethe-Universität, FrankfurtGraphische Datenverarbeitung

Graphische Datenverarbeitung

Grundlagen des digitalen Bildesund der Bilderzeugung

SS 20052Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht

1. Die Plenoptische Funktion2. Bildrepräsentationen:

Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion

Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion

� Das Abtasttheorem: Die Theorie � Aliasing� Ideale Abtastung und Rekonstruktion� Reale Abtastung und Rekonstruktion � Charakterisierung und Bewertung der unvermeidbaren Fehler

SS 20053Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht (Fortsetzung)

7. Zusammenfassung 8. Glossar9. Weitere Informationen10. Ausblick – Nächste Schritte

SS 20054Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Die Plenoptische Funktion

“Der Mensch ist ein Augentier.”Die plenoptische Funktion beschreibt die für

einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit.

Idealisierung des potentiell Sichtbaren.

SS 20055Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Die plenoptische Funktion [Adelson, Bergen]

P = f (θ, φ, I(λλλλ), t, Pb)

θ, φ RaumwinkelI (λλλλ) Lichtintensität als

Funktion der Wellenlänget ZeitPb Position und

Blickrichtungdes Beobachters6 Freiheitsgrade!

SS 20056Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Die plenoptische FunktionGrundgrößen der visuellen Wahrnehmnung

Der Mensch wertet dieParameter dieser Funktion simultan aus:� θ, φ durch die flächige Anordnung

von Rezeptoren in der Retina � I(λλλλ) 3 Abtastungen durch

unterschiedliche Rezeptoren

� t Zeit

� Pb 2 Abtastungzusätzlich sukzessiv durch Augen-, Kopf- und Körperbewegung

Wahrnehmungsprimitive

FORMSEHENTEXTURSEHEN

FARBSEHEN

BEWEGTBILDSEHEN

STEREOSEHENTIEFEN- und RAUMSEHEN

SS 20057Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Spezialisierungen der plenoptischen Funktion� technisch realisierbare Bilder

• Pb: eine Abtastung � (Monokulares) Bildzwei Abtastungen � Stereo Bildfreie Bewegung � Virtual Realitygeführte Bewegung � Film / Video

• t: wenige Abtastungen � Bewegtbildeine Abtastung � Festbild

• I(λλλλ):3 Abtastungen � Farbbild1 Abtastung � Grauwertbildextrem quantisiert � schwarz/weiß Bild

Erkenntnis: Reize lassen sich stark reduzieren (diskretisieren und quantisieren)

SS 20058Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Identifikation von Grundproblemen

� Das visuelle System tastet die Plenoptische Funktion in allen Parametern ab, diskretisiert sie:

� Fragen: Was sind die Abtastraten? Sind sie regulär, äquidistant? Welche Quantisierungen erfolgen?

Abtastung:- Zeit- Ort- Spektrum

SS 20059Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Visionen

� Technologie soweit entwickeln, daß künstliche Reize (Szenen) von realen Reizen (Szenen) nicht unterscheidbar sind:

„Photorealismus“

� Ivan Sutherlands Vision (1963)„The screen is a window through which one sees a virtual world. Thechallenge is to make that worldlook real, act real, sound real, feel real. ”

Immersion ���� Virtual Reality

SS 200510Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Ziele

� Optimale Gestaltung der Schnittstelle

Mensch – Computer

� Maximale Kommunikationsqualität� Grad des Erreichens des kommunikativen Ziels� Verhältnis von wahrgenommener Information zu

präsentierter Information

SS 200511Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Folgerungen

� Grundverständnis zur visuellen Wahrnehmung erwerben � Kapitel 2.

� Unterschied Reiz (physikalisch, extern) .... Wahrnehmung (nervös, intern)

� Leistungsfähigkeit des visuellen Systems� Effekte� Täuschungen

SS 200512Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht

1. Die Plenoptische Funktion2. Bildrepräsentationen:

Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion

Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion

SS 200513Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

BildrepräsentationenCharakterisierung und Beispiele

DigitalesBild

Digital-video

Graphik Animation

statischeModelle

dynamischeModelle

Reiz

Analog Video

� Symbolisch

� Geometrie & Merkmal

� Diskret, Quantisiert

� (Elektrisch (optisch))immer weniger bedeutsam, entfällt!

� Optisch (unmittelbar wahrnehmbar)

im C

ompu

ter

SS 200514Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Visualisierung

Rendering

RekonstrukionDas Problem bleibt,

wird in die Anzeige verschoben

Anzeige

Methoden der GDV

Bildverstehen

Merkmalsextraktion

Abtastung

Aufnahme

Digitales Bild Digital-Video

Graphik Animation

Statische Modelle Dynamische Modelle

Reiz

Video

SS 200515Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Methoden der GDV

Digitales Bild Digital-Video

Graphik Animation

Statische Modelle Dynamische Modelle

Reiz

AnalogVideo

Graphikbearbeitung

Bildbearbeitung

Videobearbeitung (Schnitt)

SS 200516Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Visualisierung

Rendering

Rekonstrukion

Anzeige

Schwerpunkte in dieser Veranstaltung

DigitalisierenEntfällt immer häufiger

(Aufnahme/Sensorik)

Digitales Bild Digital-Video

Graphik Animation

Statische Modelle Dynamische Modelle

Reiz

Analog-Video

Graphikbearbeitung

SS 200517Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Bildmodelle

G f x y= ( , ) Graubild

F f x y→

= ( , ) Farbbild

Spezialisierung

partielle Funktionen: ℜ×ℜ⊂×∈ YXyx ),(

P = f (θ, φ, I(λλλλ), t, Pb)

Herleitung aus der plenoptischen Funktionzunächst Festbilder (statische Bilder)

SS 200518Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Exkurs: Sehwinkelh

Sehwinkel α = arctan h/s

s

Abstandcm 60 in mm 10,5 ˆ1keZapfenstär ˆ Retinaderaufm5ˆ'1

Retina der auf mm 3,0ˆ1

===

=

SehwinkelSehwinkelSehwinkel

o

o

µ

αααα

SS 200519Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Digitales Bild

kontinuierliches Bild (Bildfunktionen)kontinuierliches Bild (Bildfunktionen)

�� diskretisierendiskretisieren (abtasten)(abtasten)((OrtskoordinatenOrtskoordinaten))

�� quantisierenquantisieren(Signalamplitude)(Signalamplitude)

� Sonderfall: analoges VideosignalNur vertikal abgetastet; horizontal nur gewandelt

DIGITALESBILD

SS 200520Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiel: kontinuierliche 2D-Bildfunktion

01

23

45

67

89

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

40-4535-4030-3525-3020-2515-2010-155-100-5

SS 200521Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiel: diskretes Bild

0 1 2 3 4 5 6 7 8 9

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

01234

0 1 2 3 40 30 35 40 42 421 25 30 32 38 382 20 25 26 29 363 15 20 22 25 344 10 15 18 22 285 5 10 16 19 256 3 5 12 17 237 2 3 17 16 228 1 2 22 17 229 5 4 15 18 23

SS 200522Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiel: quantisiertes diskretes BildDigitales Bild (Rasterbild)

0 12

34

56

78

9

0

1

2

3

4

0

10

20

30

40

01234

0 1 2 3 40 30 40 40 40 401 30 30 30 40 402 20 30 30 30 403 20 20 20 30 304 10 20 20 20 305 10 10 20 20 306 0 10 10 20 207 0 0 20 20 208 0 0 20 20 209 10 0 20 20 20

SS 200523Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Noch ein Beispiel: Analogvideo

0 1 2 3 4 5 6 7 8 9

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

01234

horizontal: kontinuierlich - analogvertikal: diskret - Zeilen

© D

etle

f Krö

mke

r

SS 200524Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Bildsignale

Ein einkanaliges Bild B (z.B. Grauwertbild) wird als reelle Funktion mit 2-dimensionalen Definitionsbereich

modelliert.x,y i.d.R kartesische Ortskoordinatenmanchmal auch Winkel, dann (x,y) � (θ,φ)(θTheta φ Phi)f(x,y) nennt man (kontinuierliche) Bildfunktion.

ℜ//∈= ByxmityxfB ,,),(

SS 200525Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Bildsignale (2)

Oft haben wir es mit endlichen Bildern zu tun, d.h. es gilt zusätzlich:

Auch der Wertebereich ist oft beschränkt:

Für Grauwertbilder gilt dann i.d.R. folgende Entsprechung:0: schwarz Bmax: weiß

yy

xx

LyLLxL

yxf

≤≤−≤≤−

≠ für nur 0),(

max),(0 ByxfB ≤=≤

SS 200526Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Bildsignale (3)

Multispektrale Bilder Farbbilder als werden als Vektor dreidimensionaler repräsentiert, mit Vektor, z.B. mit

��

��

=

),(...

),(),(

2

1

yxF

yxFyxF

n

M��

��

=),(),(),(

yxByxGyxR

C

SS 200527Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Weitere Bildmodellierungen� funktionales Bildmodell -- lineare Systeme

� kontinuierlich -- diskret -- quantisiert� Ortsbereich -- Frequenzbereich z.B.

� Fouriertransformation� Cosinustransformation

� alternative Beschreibungsformen sind:� fraktale Bildmodelle -- nichtlineare Systeme� statistische Bildmodelle

� Erweiterung: Volumenbilder

),,( zyxfV = Volumenrendering G f x y= ( , )

SS 200528Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Probleme und FragenWie hängen kontinuierliche Bilder und

Digitale Bilder zusammen?

Abtastung (Diskretisierung) <==> Rekonstruktion� Das Abtasttheorem: Die Theorie � Ideale Abtastung und Rekonstruktion� Reale Abtastung und Rekonstruktion � Charakterisierung und Bewertung der unvermeidbaren Fehler� ...

später, noch in dieser Vorlesung

Quantisierung

SS 200529Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beschreibt ein Bild (2D) oder eine Szene (3D) durch� Ensemble von geometrischen Objekten

(Punkte, Linien, Flächen, Körper)� Erscheinungsattribute

(Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen, ... )

� Betrachtungsbedingungen

Geometrie und Merkmalsebene

Wichtige UnterscheidungDefinitionsbereich: 2D oder 3D

2D: ggf Ausschnitt aus Definitionsbereich darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms)Window-Viewport Transformation

3D: Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf 2D abgebildet

Geometrie und Merkmalsebene

y z

x

x

y

-z

SS 200531Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht

1. Die Plenoptische Funktion2. Bildrepräsentationen:

Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion

Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion

SS 200532Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Speicher- und AustauschformateKompression und Kodierung

Prinzipiell auf jeder Ebene möglich:� Daten / Informationen� Graphik/Animation� (Digitale) Bilder/Video� Analog-Video� „Papierausdruck“Speichern Austauschen

Format: Syntax und Semantik einer SpracheKodierung Abbildung auf ein Alphabet, SerialisierungKompression Reduzierung der Datenmenge

(verlustbehaftet oder verlustfrei)

Austauschen: Übertragen eines Speicherinhaltesoder Streaming

SS 200533Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiele für Austauschformate Analogvideo

� Basis des Standardfernsehen (Zeilenzahl/Halbbild-Frequenz)� 625/50 Europa

� 525/60 USA, Japan Zwischenzeilenverfahren /Interlaced

zusätzlich ggf. Angabe der Farbcodierung� Komponenten (RGB, YIQ, YUV, YCRCB, ..YC)

� Composite (FBAS) (NTSC, SECAM, PAL)

� Videosignale� RS 170, RS 170A, ...

� Speziell: Videobandformate für Recorder� VHS, S-VHS

� Betacam, Betacam SP, ... Details in Multimedia und Animation

� Computervideo kein genereller Standard gebräuchlich.Details siehe 4. Graphische Systeme

SS 200534Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiele für Austauschformate Digitale Bilder (Rasterfiles)

� BMP Windows Bitmap Format Microsoft

� Fax Group 3 oder Fax Group 4 CCITT (ITU)

� GIF Graphics Interchange Format� JFIF JPEG File Interchange Format ISO/IEC

� PBM Portable Bitmap

� PNG Portable Network Graphics� TGA Targa File Format

� TIFF Tag Image File format

� u.v.a.m. , insbesondere proprietäre Produktformate

SS 200535Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiele für Austauschformate Digitalvideo

� CCIR 601 Basis des Digitalfernsehen (CCIR) ITU� H.261 Videokonferenzstandard (CCITT) ITU

� M-JPEG Motion JPEG ISO/IEC/ITU� MPEG Motion Picture Expert Group ISO/IEC/ITU

� QT Quicktime Apple� AVI MicrosoftSonderform:� QTVR Quicktime VR

Details in Multimedia und Animation

SS 200536Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiele für Austauschformate Geometrie und Merkmalsebene 2D

Vector Files „Zeichnungen“, CAD� HPGL HP Graphics Language (Plottersprache) Hewlett-Packard

� DXF Drawing eXchange Format Autodesk(original 2D später auf 3D erweitert)

Metafiles (Raster & Vektorgraphik)� CGM Computer Graphic Metafile ISO/IEC

Page Description Language (Seitenbeschreibungssprachen)� PS (EPS) (Encapsulated) PostScript� PDF Portable Document Format Adobe

SS 200537Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Beispiele für Austauschformate Geometrie und Merkmalsebene 3D

CAD Formate� IGES Initial Graphics Exchange Specification� STEP Standard for the Exchange of Product Data

Szenen- und Objektbeschreibungssprachen� VRML Virtual Reality Modeling Language ISO/IEC� RIB Renderman Interface Bytestream � Animation� FLT MultiGen Flight� OBJ Wavefront Object Alias (Wavefront)� MAX 3D Studio Max Kinetix

SS 200538Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht

1. Die Plenoptische Funktion2. Bildrepräsentationen:

Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion

Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion

SS 200539Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

JAVA 3DPerformer (SGI)Open SG

Programmierschnittstellen

API: Application ProgrammersInterface

� Funktionale Spezifikationund

� Spracheinbindung

Beispiel: Geometrie undMerkmalsebene

(Open) GLDirect XDirect 3D

Szenengraph

SS 200540Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Zwischen - Zusammenfassung

� Plenoptische Funktion� Verschiedene Bildrepräsentationen

symbolische EbeneGeometrie + Merkmalediskret + quantisiert

� Bildaustauschformate� Programmierschnittstellen

DigitalesBild

Digital-video

Graphik Animation

statischeModelle

dynamischeModelle

Reiz

Video

SS 200541Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Jetzt wird es theoretisch

1. Die Plenoptische Funktion2. Bildrepräsentationen:

Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion:

Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion

SS 200542Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Eine spezielle Funktion Der Diracsche Deltaimpuls

(Diracfunktion, Deltafunktion, Nadelimpuls nach Paul Dirac 1930)

wird über ihre Haupteigenschaften definiert:

Streng: Es gibt keine klassische Funktion δ mit diesen Eigenschaften. δ ist streng genommen eine Distribution (verallgemeinerte Funktion).

�∞+

∞−

=

≠=

1)(

0 für0:)(

dxx

xx

δ

δ

)()(),(

1),(

0, für0:),(

yxyx

dxdyyx

yxyx

δδδ

δ

δ

=

=

≠=

� �∞+

∞−

∞+

∞−

SS 200543Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Der Diracsche Deltaimpuls

Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.B:

anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung

� Nadelimpuls

��� ≤≤

=

⋅≡

byundaxfüryxrect

mityxrectba

yx

ba

baba

1sonst0),(

),(4

1lim),(

,

,0,

δ

SS 200544Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Die Ausblendeigenschaft (Siebeigenschaft; sifting property)

der Deltalfunktion:

Dieses Integral blendet an der Stelle x0 den Funktionswert f(x0) aus:

)()()( 00 xfdxxxxf�+∞

∞−

=−δ

xx0

)(xf

SS 200545Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Diracfolgeund Diracfeld

x∆x

)(xT

x

y

∆y

∆x

),( yxS

Diracfolge

Diracfeld

� �+∞

−∞=

+∞

−∞=

∆−∆−=m n

ynyxmxyxS ,(),( δ

�+∞

−∞=

∆−=m

xmxxS )()( δ

SS 200546Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht

1. Die Plenoptische Funktion2. Bildrepräsentationen:

Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion:

Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion

SS 200547Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Abtastung -- Rekonstruktion

AbtastungRekonstruktion

kontinuierliche Bildfunktion

diskretes Bild

SS 200548Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Zwischenruf: Fouriertransformationals Integraltransformation

� Operationen nach ihrer Schwierigkeit geordnet:� Addition und Subtraktion� Multiplikation und Division� Differentiation und Integration

� Allgemeine mathematische Strategie: Durch Transformationen lassen sich ggf. Schwierigkeiten reduzieren:� Logarithmieren: Multiplikation � Addition� Integraltransformationen:

Differentiation ���� Multiplikation

Fouriertransformation 2D

F u v f x y e dxdyj ux uy( , ) ( , ) ( )=−∞

∞− +

−∞

� �

f x y F u v e dudvj ux vy( , ) ( , ) ( )=−∞

∞+

−∞

� �1

4 2π

OrtsraumOrtsfunktion f(x,y)i.d.R. reell

FrequenzraumFrequenzspektrum F(u,v)i.d.R. komplexwertig

© D

etle

f Krö

mke

r

SS 200550Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Eigenschaften der 2D-Fourriertransformation

� Es sei f(x, y) die Funktion der Intensität im Punkt (x, y).

� Dann sind die zugehörigen Ortsfrequenzen von f(x, y).

� Zwischen den stetigen Funktion f(x, y) und besteht eine eineindeutigeeineindeutige Beziehung.

21,ξξ

( )21 ,ξξF

© D

etle

f Krö

mke

r

SS 200551Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Transformationstabelle

( )f x y, ( )F ξ ξ1 2,

( )δ x y, 1

( )δ x x y y± ±0 0, ( ) ( )exp exp± ±j x j y2 20 1 0 2π ξ π ξ

( ) ( )exp exp± ±j x j y2 21 2π η π η ( )δ ξ η ξ η1 1 2 2± ±,

( )[ ]exp − +π x y2 2 ( )[ ]exp − +π ξ ξ1

22

2

[ ]rect x y, ( )sinc ξ ξ1 2,

( )tri x y, ( )sinc2 ξ ξ1 2,

( )comb x y, ( )comb ξ ξ1 2,

SS 200552Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Transformationspezieller Funktionen

1∆x

−∆x2

∆x2

1 0.

1∆x

1 0.

1 0.

2∆x

1∆x

1 0.

2 0ξx

∆x∆x

4 0ξx

4 0ξx

( )sinc 1x0

sinc 2y0

ξξ

ξξ

��� �

��

sinc 1x0

sinc 2y0

ξξ

ξξ

��� �

�� �

��

���

��

2

e− +

��

��2 2 2

12

22π σ ξ ξ

( )rect 1x0

rect 2y0

ξξ

ξξ

��� �

��

12 2

2

2 2

πσσex

1∆ ∆x

trixx

���

���

1∆ ∆x

rectxx

���

���

1∆ ∆x

xx

sinc ���

���

SS 200553Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

RechenregelnEigenschaft Funktion ( )f x y, Fourier Transformation

( )F ξ ξ1 2,

Rotation ( )f x y± ±, ( )F ± ±ξ ξ1 2,

Linearität ( ) ( )a f x y a f x y1 1 2 2, ,+ ( ) ( )a F a F1 1 1 2 2 2 1 2ξ ξ ξ ξ, ,+ Konjunktion ( )f x y* , ( )F * ,− −ξ ξ1 2

Unabhängigkeit ( ) ( )f x f y1 2 ( ) ( )F F1 1 2 2 1 2ξ ξ ξ ξ, ,

Skalierung ( )f ax by, ( )F a bab

ξ ξ1 2/ , /

Verschiebung ( )f x x y y± ±0 0, ( )[ ] ( )exp ,± +j x y F2 0 1 0 2 1 2π ξ ξ ξ ξ

Modulation ( )[ ] ( )exp ,± +j x y f x y2 1 2π η η ( )F ξ η ξ η1 1 2 2± ±,

Faltung ( ) ( ) ( )g x y h x y f x y, , ,= ∗ ( ) ( ) ( )212121 ,,, ξξξξξξ FHG =

Multiplikation ( ) ( ) ( )g x y h x y f x y, , ,= ( ) ( ) ( )G H Fξ ξ ξ ξ ξ ξ1 2 1 2 1 2, , * ,=

SS 200554Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

AbtasttheoremShannon (1949) (Originalformulierung):

“If a function f(t) contains no frequencies higher than W cps, it iscompletely determined by giving ist ordinates at a series of points spaced 1/2 W seconds apart.”

The function can be simply reconstructed from the samples byusing a pulse of the type

Vorarbeiten durch H. Nyquist (1924) und J.M. Whittaker (1935).

sin 22

ππ

WtW t

Abtasttheorem (1): Abtastung

Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen sind.

∆ ∆x y,

1 2 1 2∆ ∆x

u byv bs u s v= > = >,

mitF b bu v( , ) , ,ξ η ξ η= > >0

b bu v,

ss vu ,

© D

etle

f Krö

mke

r

Abtasttheorem (2): RekonstruktionEin diskretes Bild läßt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion

rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

H u v x y r e c t u v m i tb u b u n d b v bh x y x y x y

T P

u u v v

T P

( , ) ( , )

( , ) s i n c ( ) s i n c ( )

=

< < − < < −=

∆ ∆

∆ ∆∆ ∆

ξ η

ξ ηξ η

f x yd ( , )

f x y f m x n y

xxm

xxm

yyn

yynnm

( , ) ( , )sin( )

( )

sin( )

( )=

−=−∞

=−∞

�� ∆ ∆ ∆

π

π

π

π

© D

etle

f Krö

mke

r

SS 200557Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Abtastung -- Rekonstruktion

AbtastungRekonstruktion

kontinuierliche Bildfunktion

diskretes Bild

SS 200558Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Ideale Abtastung

Jetzt sind wir in der Lage, die Abtastung formal zu fassen und zu beschreiben:

Gegeben: � kontinuierliche Bildfunktion

� Diracfeld

s x y x m x y n ynm

( , ) ( , )= − −=−∞

=−∞

�� δ ∆ ∆

f x y( , )0 1 2 3 4 5 6 7 8 9

0

2

4

0

10

20

30

40

50

40-5030-4020-3010-200-10

12

34

56

7

R1

R2

R3

R4

R5

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

SS 200559Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Abtaster

f x y( , )

s (x,y) Diracfeld

),( yxfs

Ideale Abtastung

Wir definieren als abgetastetes Bild:

f f x y s x y

f x y x m x y n y

f x y x m x y n y

f m x n y sonstf x y für x m x y n y

s

m n

m n

= ⋅

= ⋅ − −

= ⋅ − −

= = = =���

=−∞

=−∞

��

��

( , ) ( , )

( , ) ( , )

( , ) ( , )

( , ) ( , ) ,

,

,

δ

δ

∆ ∆

∆ ∆

∆ ∆ ∆ ∆0

© D

etle

f Krö

mke

r

Ideale AbtastungUm mehr über die Eigenschaften des abgetasteten Signals zu

erfahren, führen wir eine Fouriertransformation aus:

f f x y s x ys = ⋅( , ) ( , )

F u v F u v S u vu v F u k u v l v

S

k l

wobei u x und v y

( , ) ( , ) ( , )

( , ),

/ /

= ⊗

= − −=−∞

��

= =

∆ ∆ ∆ ∆

∆ ∆ ∆ ∆

4 2

2 2

ππ π

© D

etle

f Krö

mke

r

Veranschaulichung der idealen Abtastung

x

y

∆y

∆x

u

v

bubv

F u v( , )s x y( , )

F u vs ( , )

u

v

∆∆

ux

= 2π

∆∆

vy

= 2π

© D

etle

f Krö

mke

r

SS 200563Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Veranschaulichung der idealen Abtastung

x

y

∆x

∆y

Veranschaulichung der idealen Rekonstruktion

x

y

∆x

∆y

f(x,y) kann durch einen idealen Tiefpaß mit

H u v x yrect u vmit bu u bu und bv v bv

( , ) ( , )=

< < − < < −

∆ ∆

∆ ∆

ξη

ξ η

rekonstruiert werden.

bu∆uv

u

bv∆v

© D

etle

f Krö

mke

r

Abtasttheorem (1)

Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen sind.

∆ ∆x y,

1 2 1 2∆ ∆x

u byv bs u s v= > = >,

mitF b bu v( , ) , ,ξ η ξ η= > >0

b bu v,

ss vu ,

Abtasttheorem (2)Ein diskretes Bild lässt sich mit Hilfe eines (idealen) Tiefpasses

mit der Übertragungsfunktion

rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

H u v x y r e c t u v m i tb u b u n d b v bh x y x y x y

T P

u u v v

T P

( , ) ( , )

( , ) s i n c ( ) s i n c ( )

=

< < − < < −=

∆ ∆

∆ ∆∆ ∆

ξ η

ξ ηξ η

f x yd ( , )

f x y f m x n y

xxm

xxm

yyn

yynnm

( , ) ( , )sin( )

( )

sin( )

( )=

−=−∞

=−∞

�� ∆ ∆ ∆

π

π

π

π

sinc-Funktion-1D

-0,25

0

0,25

0,5

0,75

1

1,25

f x xx

( ) sin=

π 2π 3π 4π−π−2π

© D

etle

f Krö

mke

r

2D-Sinc - Die ideale Rekonstruktionsfunktion

6,283-4,712

-3,142-1,571

0,0001,571

3,1424,712

6,2837,854

9,425 0,000

1,571

3,142

4,712

6,283

7,854

9,425

0,9-10,8-0,90,7-0,80,6-0,70,5-0,60,4-0,50,3-0,40,2-0,30,1-0,20-0,1-0,1-0-0,2--0,1-0,3--0,2

f x y xx

yy

( , ) sin sin= ⋅

© D

etle

f Krö

mke

r

2D-Sinc - Die ideale Rekonstruktionsfunktion

-6,2

83

-4,7

12

-3,1

42

-1,5

71

0,00

0

1,57

1

3,14

2

4,71

2

6,28

3

7,85

4

9,42

5

10,9

96

12,5

66

0,000

1,571

3,142

4,712

6,283

7,854

9,425

-0,3-0,2-0,100,10,20,30,40,50,60,70,80,91

0,9-10,8-0,90,7-0,80,6-0,70,5-0,60,4-0,50,3-0,40,2-0,30,1-0,20-0,1-0,1-0-0,2--0,1-0,3--0,2

f x y xx

yy

( , ) sin sin= ⋅

© D

etle

f Krö

mke

r

Reale Abtastung und Rekonstruktion

Die Forderungen des Abtasttheorems sind in realen Systemen nicht zu erfüllen. Im einzelnen:

� Bandbegrenzung: Reale Bildvorlagen sind nicht bandbegrenzt Aliasing (1.Art)

� ideale Abtastung (mit Diracimpuls): Reale Abtaster haben endliche Apertur Unschärfe

� ideale Rekonstruktion (mit sinc-Funktion): Real nur Approximationen möglich

Aliasing (2.Art)Ursachen - Effekte -Maßnahmen

© D

etle

f Krö

mke

r

Ortsraum

Frequenz-raum

bu Bandgrenze

Nyquistfrequenz

us Abtast-frequenz

Aliasing 1. Art: Veranschaulichung im 1D

-1,25

-1

-0,75

-0,5

-0,25

0

0,25

0,5

0,75

1

1,25

0 15 30 45 60 75 90 105 120 135 150 165 180

© D

etle

f Krö

mke

r

Aliasing 1. Art: Unterabtastung

-1,5

-1

-0,5

0

0,5

1

1,5

0 15 30 45 60 75 90 105 120 135 150 165 180

Ortsraum

Frequenz-raum

bu Bandgrenze

Nyquistfrequenz

us Abtast-frequenz

© D

etle

f Krö

mke

r

Aliasing 1. Art: Veranschaulichung im 1D

-1 ,2 5

-1

-0 ,7 5

-0 ,5

-0 ,2 5

0

0 ,2 5

0 ,5

0 ,7 5

1

1 ,2 5

Ortsraum

ALIASDoppelgänger

© D

etle

f Krö

mke

r

Aliasing 1. Art im 2D

x

y

∆x

∆y

ALIASING

© D

etle

f Krö

mke

r

Aliasing 1. Art - Ursachen und Artefakte

� Ursache: Unterabtastung, Überlappung der Spektren

� Durch nachträgliche Filterung nicht korrigierbar!

� Artefakte:� Moirees� Perlschnüre� Aufblitzen (Szintilation) nur in Bewegtbildern

© D

etle

f Krö

mke

r

SS 200576Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Moiree

SS 200577Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Moiree (Resampling 1:2)

SS 200578Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Moiree (Resampling 1:4)

SS 200579Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

VeranschaulichungSzintilation

Aliasing 1. Art - Maßnahmen

� Bandbegrenzung des abzutastenden Bildes durch z.B.� bei der Aufnahme durch optische Unschärfe

� einfach, adhoc einsetzbar� wenig effektiv, weil Filterflanken nicht steil genug � erfordert Abtastraten deutlich über Nyquistfrequenz� deutlich sichtbare Unschärfe

� endliche Abtastapertur� hat Tiefpaßwirkung

� beim Renderingsehen wir später!

© D

etle

f Krö

mke

r

Reale Bildrekonstruktion - Anzeige

� Ideale Rekonstruktion mit sinc-Funktion ist praktisch nicht realisierbar

� praktische Lösungen:� Rechteckausgaben (zero-order hold)� Artifakte:

� Treppenstufen Aliasing 2. Art� Ameisenkrabbeln (ant crawling) nur im Bewegtbild

� in der Praxis auf CRT teilweise gemildert durch:� horizontal: Tiefpaßwirkung des Videoverstärkers� vertikal: Gaußfunktion des Elektronenstrahls� hochfrequentes “Rauschen” durch Lochrastermaske

� auf LCDs deutlich sichtbar!

SS 200582Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht Rekonstruktion

1∆x

−∆x2

∆x2

1 0.

1∆x

1 0.

1 0.

2∆x

1∆x

1 0.

2 0ξx

∆x∆x

4 0ξx

4 0ξx

( )sinc 1x0

sinc 2y0

ξξ

ξξ

��� �

��

sinc 1x0

sinc 2y0

ξξ

ξξ

��� �

�� �

��

���

��

2

e− +

��

��2 2 2

12

22π σ ξ ξ

( )rect 1x0

rect 2y0

ξξ

ξξ

��� �

��

12 2

2

2 2

πσσex

1∆ ∆x

trixx

���

���

1∆ ∆x

rec txx

���

���

1∆ ∆x

xx

sinc���

���

Ortsfunktion Frequenzfunktion

Das Rekonstruktionsdilemma� Sinc-Funktion als Rekonstruktionsfunktion ist praktisch nicht möglich

(negatives Licht). Fehler sind also unvermeidbar!Rekonstruktionsfunktion Auflösungsfehler Interpolationsfehler

� Sinc 0% 0%� Rechteck (bei LCD-Displays) 26,9% 15,7% � Gauss (bei CRTs) σW=T/2 54,6% 2,0%

variabel! σW=3T/8 38,6% 10,3%

-0,25

0

05

0,5

0,75

1

1,25

Auflösungsfehler

Interpolationsfehler

Im FrequenzraumIdeal

Sync-Funktion im OrtsbereichRechteck im Frequenzbereich

Rechteck im OrtsbereichSync im Frequenzbereich

SS 200584Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Rekonstruktion auf LCD-Displays= Rechteck!

� Auflösungsverlust: minimal !!!� Interpolationsfehler: maximal !!!

� Treppenstufen� Ameisenkrabbeln

� Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe –kein idealer TP!)

� Glücklicherweise ist das Visuelle System auch ein wirksamer Tiefpaß

SS 200585Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Rekonstruktion auf CRT-Displays

� Vergleichsweise gute Annäherung an Sinc-Funktion im Zentralimpuls = Rechteck in der Fouriertransformierten

� � Auflösungsverlust fast so gering wie bei LCD-Display

� � Interpolationsfehler geringer � „friedlich“

� Notwendig: korrekte Strahlfokussierung

SS 200586Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Zusammenfassung

� Abtastung: theoretisch bandbegrenztes Bildsignal erforderlich – in der Praxis nicht realisierbar

� Rekonstruktion auch nicht ideal möglich� � unvermeidbare Fehler – nur Minimierung möglich:

Aliasing 1. Art: Abtastfehler � Moiree, Scintillation,...Aliasing 2. Art: Rekonstruktion � Treppenstufen,...

SS 200587Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Glossar

Plenoptische Funktion Plenoptic FunctionBildrepräsentationen Image RepresentationDigitales Bild digital imageRasterformat-Dateien raster filesVektorformat-Dateien vector filesMetafiles metafilesCAD-Dateien CAD filesSzenenbeschreibung scene descriptionProgrammierschnittstellen application programmers

interface API

SS 200588Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Glossar (2)

Bildbearbeitung image processing(auch Bildverarbeitung)

Abtastung samplingAufnahme recordingAnzeige (Display) displayVideosignal video signalRasterfile (-formate) Beispiele raster formatsSzenen- und Objektbe- scene filesschreibungsformate (-sprachen)

SS 200589Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Glossar (3)

Abtasttheorem sampling theoremBandbegrenztes Bildsignal bandlimited Image signalRekonstruktion reconstructionAliasing aliasingInterpolationsfehler interpolation errorAuflösungsfehler resolution error

SS 200590Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Weitere Informationen

� Übersicht zu Graphics File Formatsftp://rtm.mit.edu/pub/usenet/news.answers/

graphics/fileformats-faq/Mehr als 100 verschiedene Formate werden vorgestellt.

Links zu Format-Spezifikationen.Viele praktische Hinweise zur Formatwandlung und Problemlösungen.

Leider seit 1997 nicht mehr aktualisiert.

SS 200591Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Ausblick – Nächste Schritte

Bilder werden für Menschen erzeugt.

Wir müssen (besser) verstehen, wie Menschen Bilder wahrnehmen.