Desktop Video

Desktop VideoDesktop VideoSPV 2 SWS SS ‘99

Gisbert Dittrich

FBI Unido

[email protected]

27.5.1999

2

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 Formate + deren Eigenschaften

1.4 Quicktime

27.5.1999

3


1.1 Videotechnik

• Das menschliche Auge• Grundlagen zu Signalen• Schwarzweißfernsehen• Farbfernsehen• Videotechnik im Rechner

27.5.1999

4


1.1 Videotechnik - Das menschliche Auge1.1 Videotechnik - Das menschliche Auge

• Menschliches Auge ist Rezeptor für Bilder.• Bildet Randbedingungen für das Folgende.• Auge:

• ortsabhängiges Auflösungsvermögen

• optischer Tiefpaß: nur begrenztes Vermögen, Kanten (fl hohe Frequenz) aufzulösen.

• Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde

• Flimmereffekt: bei ≤ 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung

27.5.1999

5


1.1 Videotechnik - Grundlagen zu Signalen 11.1 Videotechnik - Grundlagen zu Signalen 1

- Darstellung über Wellen - Modulation

- Signale: Amplitude, Frequenz, Phase

27.5.1999

6



• Modulation – Jede Art der Beeinflussung einer charakteristischen Größe

(Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. -schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten ...

27.5.1999

7



• Beispiele: • Amplitudenmodulation

27.5.1999

8



• Frequenzmodulation

27.5.1999

9



• Quadraturmodulation: – Betrachte Trägerfrequenz und eine um 90 Grad

phasenverschobene Variante derselben.

– Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch.

– Summiere diese beiden zu einem neuen Signal auf.

27.5.1999

10



• Beispiel für Diskretisierung einer kontinuierlichen Funktion:

27.5.1999

11



• Lehrsatz der Informationstheorie:• Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon)

– Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt:

• Dt < 1/(2B). Oder: Abtastrate 1/Dt > 2B.

27.5.1999

12


1.1 Videotechnik - Grundlagen zu Signalen 7 1.1 Videotechnik - Grundlagen zu Signalen 7

• Bandbreite: • Differenz zwischen größter und kleinster Frequenz in

einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen.

• In Nachrichtentechnik:

• Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.

27.5.1999

13


1.1 Videotechnik - Schwarzweißfernsehen 11.1 Videotechnik - Schwarzweißfernsehen 1

• Darstellung von Helligkeit : Luminanz • Zeilensprungverfahren (Schema)

27.5.1999

14



• in Europa: 625 Zeilen, Breite:Höhe = 4:3

– also 833 Punkte pro Zeile

27.5.1999

15


1.1 Videotechnik - Schwarzweißfernsehen 3 1.1 Videotechnik - Schwarzweißfernsehen 3

• Extreme Übergänge schwarz-weiß-schwarz:

27.5.1999

16



• BAS-Signal (Schema) [Bild -Austast -Synchronsignal]

27.5.1999

17



• Abschätzungen zum BAS: – Für 25 Bilder/sec:

• Zeilendauer: 64s (= 40ms/625 Zeilen)

• Abtastfrequenz: 13,5 MHz,

• Zeilenfrequenz (1/64s=) 15.625 KHz

• Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz

• zudem: "Schwebungseffekte erzeugen unvernünftige Bilder"

• --> Kell-Faktor: 0,64 (0,67)

– --> Vertikale Auflösung von 400 Zeilen

27.5.1999

18



• Amplitudenmoduliertes Videosignal:

27.5.1999

19


1.1 Videotechnik - Farbfernsehen 11.1 Videotechnik - Farbfernsehen 1

• Erste Grundidee: Zusammensetzen aus z. B. RGB• Komponentenkodierung:

– Betrachtet die Bestandteile der Videoinformation getrennt voneinander.

z. B. Synchronisation extra

• Verschiedene Arten: – RGB Grundfarben werden angegeben

– Oder: Herausziehen der Luminanz Y:

– YUV• Luminanz (Leuchtdichte) [braucht man für SW-Fernseher]

• Chrominanz (Farbinformation)

27.5.1999

20



• Bestimmung von YUV aus RGB: Y = 0.30 R + 0.59 G + 0.11 B

U = (B-Y) * 0.493

V = (R-Y) * 0. 877

• Analoge Behandlung für YIQ - Signal (verwendet für NTSC)

Y = 0.30 R + 0.59 G + 0.11 B

I = 0.60 R - 0.28 G - 0.32 B

Q = 0.21 R - 0.52 G + 0.31 B

- Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal

27.5.1999

21



• FBAS - Signal : Farb - Bild - Austast - Synchronsignal

27.5.1999

22



• Verschiedene Fernsehnormen– NTSC National Television Systems Committee (Amerika)

• Bildwechselfrequenz: 30 Hz• Bild aus 525 Zeilen• verwendet Quadraturamplitudenmodulation

– SECAM Sequential Coleur avec Memoire (Frankreich, ...) • Bildwechselfrequenz: 25 Hz• Bild aus 625 Zeilen• verwendet Frequenzmodulation

– PAL Phase alternating line (Deutschland, Bruch 1963)

• Bildwechselfrequenz: Halbbilder 50 Hz• Bild aus 625 Zeilen• Grundprinzip: Quadraturamplitudenmodulation

27.5.1999

23



• Bandbreite des FS-Signals (auch SW-FS)

27.5.1999

24


1.1 Videotechnik - Farbfernsehen 5a 1.1 Videotechnik - Farbfernsehen 5a

• Ergänzende Literatur:– Conventional Analog Television - An Introduction

www.ee.washington.edu/conselec/CE/kuhn/ntsc/95x4.htm

27.5.1999

25



• Fernsehen der Zukunft: (?) – D2-MAC: Duobinary Multiplexed Analog Components

• Komponentenverfahren! 2 hochwertige Stereo- resp. 8

Kanäle niederer Güte für Audio.

(wohl überholt !!!)– HDTV: High Definition Television

• in Europa: Übertragungsverfahren HD-MAC

(HD = High Definition)• Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!)

absolut: 1,152* 109 bit/s• durch Datenkompression Reduktion auf 34 Mbit/s

(" ohne merklichen Qualitätsverlust")

27.5.1999

26



– HDTV (Fortsetzung) • wird unterschieden in:

– Studiostandard

– Produktionsstandard

– Übertragungsstandard

– Reproduktionsstandard

– übergeordneter Standard HDP (P = Progressiv)

27.5.1999

27


1.1 Videotechnik - Farbfernsehen 7a1.1 Videotechnik - Farbfernsehen 7a

• Ergänzende Literatur: (Stand 14.4.99)– HDTV Television - An Introduction

http://www.ee.washington.edu/conselec/CE/kuhn/hdtv/95x5.htm

– HDTV (High Definition Television)http://www.circuitcity.com/tv2/products-tv-hdtv.htm

– High Definition Televisionhttp://meteor.uscolo.edu/ebersole/handbook/hdtv.html

27.5.1999

28



• HDTV-Entwicklungen: – HD-MAC Europa

• 1250 Zeilen , 50 Halbbilder, Bildwiederholfrequenz: 100

– MUSE Japan • 1125 Zeilen 60 Hz

• (seit ´92 auf Sendung, gar keine Kompatibilität)

– NTSC • 1050 Zeilen, 59,94 Hz

27.5.1999

29



• Digitales Fernsehen (gemäß beschlossener Normen) – Geschlossene Kodierung (denkbar)

• BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec

• FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate

• Probleme: – -Übersprechen, -Norm-abhängig, -Abtastfrequenz

+Datenreduktion nicht komponentenabhängig,– Weitere Störungen

– Komponentenkodierung: 4:2:2 Kodierung• Luminanz wird höher gewichtet:

• Behandlung von Y (Luminanz) mit 13.5 MHz,

• R-Y und B-Y je mit 6.25 MHz.

• Je zu 8 bit pro Abtastwert. --> Multiplexen.

27.5.1999

30



– Komponentenkodierung (Fortsetzung) • Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate.

• Paßt nicht in herkömmliche PCM-Hierarchie.

• Daher Substandards mit niedrigerer Datenrate: – 1:(5/6,5/6)-->180Mbit/sec

– 2:(3/4,1/2)--> 135Mbit/sec

– 3:(2/3,1/3)--> 108Mbit/sec

– Weitere Reduktionen möglich.

27.5.1999

31


1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 1Videotechnik im Rechner 1

• Fast nie mit Zeilensprungverfahren ( Ausnahme: Amiga)• Bildwechselfrequenz ca. ≥ 70 Hz, daher flimmerfrei.• Farben über CLUT (Color LookUp Table)

– Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben.

• Einige "Standards "(v.a. alte):– CGA Color Graphics Adapter

Bildgröße: 320*200 PixelAnzahl der verfügbaren Farben: 4Aufwand zur Darstellung eines Bildschirminhaltes:

320*200 Pixel*(2bit/Pixel)/(8bit/byte) = 16 000 byte

27.5.1999

32



– EGA Enhanced GraphicAdapter

Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16

Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte

– VGA Video Graphics Array

Bildgröße: 640*480 Pixel Anzahl Farben: 256


– 8514/ A Display Adapter Mode


Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

27.5.1999

33



– EGA Enhanced GraphicAdapter

Bildgröße: 640*350 Pixel

Anzahl der verfügbaren Farben: 16


– VGA Video Graphics Array



– 8514/ A Display Adapter Mode


Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

27.5.1999

34



– XGA Extended Graphics Array

Bildgröße: 640*480 Pixel

Anzahl der verfügbaren Farben: 65536

Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = 614400

byte

Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!)

Also: Kompressionsverfahren nötig !

27.5.1999

35


1. Grundlagen

1.1 Videotechnik

1.2 Kompression1.3 Formate + deren Eigenschaften

1.4 Quicktime

27.5.1999

36


1.2 Kompression1.2 Kompression

• Motivation • Kompressionsverfahren• Anforderungen an Kodierungen• Kodierungen• Klassifikation der Kodierungs- und

Kompressionsverfahren• Grundlegende Verfahren• JPEG • H. 261• MPEG

27.5.1999

37


1.2 Kompression - Motivation 11.2 Kompression - Motivation 1

• Zur Motivation von Datenkompression

– Beispielrechnungen für typische Werte:- Abkürzungen: 1kbit = 1.000 bit

1Kbit = 210 bit = 1.024 bit- Analog für Mbyte:

1Mbit = 210 *210 bit = 1.024*1.024 bit

– Speicherplatzbedarf: = Anforderung an Speicherplatz , wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:

27.5.1999

38



• Je ein Bildschirminhalt

– Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2

Byte nötig.Zeichen je Bildschirmseite: 640*480/(8*8) = 4800Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte

– VektorbilderAnnahme: typisches Bild besteht aus 500 Geraden,

Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit,

Attributvektor pro Gerade: 8 bit. Bit je Linie: (9+10+9+10+8) bit = 46 bitSpeicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8 Kbyte

27.5.1999

39



• Je ein Bildschirminhalt (Fortsetzung)

– Pixelbild

• Annahme: 256 Farben, d.h. 1byte pro PixelSpeicherplatzbedarf: 640*480*1 byte = 307200 byte = 300 Kbyte

Von hier ab:

• Platzbedarf für je eine Sekunde

– Sprache in Telefonqualität

• Annahme: Abtastung mit 8kHz, quantisiert mit 8 bitDatenstrom: 64 Kbit/sSpeicherplatzbedarf: 8 Kbyte

27.5.1999

40



• Platzbedarf für je eine Sekunde (Fortsetzung)

– Stereo-Audiosignal in CD-Qualität

• Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bitDatenstrom: 2*44100* 16/8 byte/s = 176400byte/sSpeicherplatzbedarf: 172 Kbyte

– Videosequenz

• Annahme: 25 Vollbilder pro SekundeLuminanz und Chrominanz zusamm. mit 3 byte pro PixelLuminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz.8 bit-gleichförmige Kodierung:(13,5 MHz + 2*6,75 MHz) * 8bit = 216*106 bit/s (entspricht ca. 27 MByte/s)

27.5.1999

41



– Videosequenz (Fortsetzung)

• Datenrate: 640*480*25*3 byte/s = 23 040 000 byte/sSpeicherplatzbedarf: 22500 Kbyte = 21, 97 MbyteDatenübertragungsraten von ungefähr 140 (175,78) Mbit/s.

’ Heute nicht kostengünstig realisierbar.

Kontinierliche Medien erhöhen die Anforderungen an das System erheblich!

Durch Kompressionsverfahren "erheblich" reduzierbar.

27.5.1999

42


1.2 Kompression - Kompressionsverfahren1.2 Kompression - Kompressionsverfahren

Kompressionsverfahren, die immer wieder genannt werden:

– JPEG für Einzelbilder

(Joint Photographic Expert Group)– MJPEG

– [H.261(px64) für Videosequenzen mit geringer Auflösung]

– MPEG für Bewegtbilder als auch Audio

(Motion Picture Expert Group)

– [DVI für Einzelbilder und kontinuierliche Medien

(Digital Video Interactive)]

27.5.1999

43


1.2 Kompression - Anforderungen an Kod. 11.2 Kompression - Anforderungen an Kod. 1

1. Gute Qualität nach Kodierung - Dekodierung

2. Verfahren möglichst einfach

3. Symmetrisch in Aufwand für Kompression-Dekom-pression– z. B. für Dialogsysteme (Bildübertragung,

Videoconferencing, ..) etwa:

Ende-zu-Ende Verzögerung ≤ 150 msec ( z. B. px64)

4. Kompression mit hohem Aufwand - Dekompression schnell

z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme, ...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)

27.5.1999

44



3.+ 4. sollen erfüllen:– Formal unabhängig von Bildschirmgröße/ Bildwiederhol-

frequenz zu definieren

– verschiedene Datenraten für Audio/Video

– Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten

– kostengünstig, möglichst Software

– Kooperation von unterschiedlichen Systemen

’ Standards : de jure - de facto

27.5.1999

45



4. soll insbesondere erfüllen:– schneller Vor- /Rücklauf bei Anzeige der Daten

– wahlfreier Zugriff auf Einzelbilder ≤ 0.5 sec

– Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich.

’ Editieren nach wahlfreiem Zugriff möglich.

27.5.1999

46


1.2 Kompression - Kodierungen 11.2 Kompression - Kodierungen 1

• Grobe Einteilung:– Entropiekodierung: verlustfrei

(Entropie: mittlerer Informationsgehalt einer Zeichenmenge)

– Quellenkodierung:meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium.

– Kanalkodierung (hier weggelassen)

– hybride Kodierung

27.5.1999

47



• Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):

27.5.1999

48



Schritte der Datenkompression (Fortsetzung) 1. Bildaufbereitung

• z. B. Zerlegung in Blöcke von je 8x8 Pixel

• mit n Bit Beschreibungstiefe pro Block/Pixel

2. Bildverarbeitung • erzeugt geeignete digitale Darstellung (verschiedenste

Verfahren)

3. Quantisierung• erzeugt Verlustbehaftung

4. Entropiekodierung • Bearbeitet linearen Datenstrom; verlustfreie Kompression!

(2. und 3. können mehrfach iterativ durchlaufen werden).

Dekompression läuft invers.

27.5.1999

49


1.2 Kompression - Klassifikation K&K1.2 Kompression - Klassifikation K&Kverf 1verf 1

(wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert)

• Entropiekodierung– Lauflängenkodierung Huffman-Kodierung

– Arithmetische Kodierung

• Quellenkodierung– Prädiktion: DPCM DM

– Transformation: FFT DCT

– nach Wichtigkeit, "Layered Coding": • Bitposition • Unterabtastung

• Subband Kodierung

27.5.1999

50


1.2 Kompression - Klassifikation K&K1.2 Kompression - Klassifikation K&Kverf 2verf 2

• Vektor-Quantisierung• Hybride Kodierung

– JPEG

– MPEG

– px64

27.5.1999

51


1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 1 Verfahren 1

VorbemerkungHybride Verfahren verwenden unterschiedliche

grundlegende Verfahren.

Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane: unterschiedliche Gewichtungen für verschiedene Attribute, z. B.

Helligkeit hohes Gewicht,

Farbe niedrigeres Gewicht.

27.5.1999

52



• Lauflängenkodierung– Voraussetzung: Bytestrom wird übertragen.

– Bei häufigen Wiederholungen von Bytes: Angabe des Bytes + Anzahl des Vorkommens. (Unter Verwendung von M(arkierungs)-Bytes, z. B. "!“

– Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit 4 - 259 gleiche in 3 Bytes kodierbar.

– Beispiel ( in vereinfachter Darstellung ) :

Unkomprimierte Daten : a!bbbcccccccccd

Lauflängenkodierung : a! !bbb!c5d

27.5.1999

53



• Nullunterdrückung (Spezialfall der Lauflängenkodierung)

– Nur ein spezielles Zeichen wird potentiell gezählt.

– Ab 3-258 gleiche Bytes so auf 2 Bytes reduzierbar. Variationen möglich.

• Vektorquantisierung– (vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes.

– Verwendet Tabelle mit Mustern als Einträgen. Suche Muster, das gegebenen Block am besten approximiert . Block erhält Index(vektor) des zug. Musters aus dieser Tabelle zugeteilt.

27.5.1999

54



• Beispiel zur Vektorquantisierung:– Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt)

– ´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´

Dimension 1 Dimension 2

1 2 3 4 Aufwand:

1 10 69 110 170 3 Ziffern: 12 bit

2 204 219 250 271 ‚Vektor‘: 3 +2 bit

3 305 328 352 388

4 401 439 455 479

5 501 527 556 597

6 700 726 751 794

7 901 932 955 979

27.5.1999

55



• Weitere Verfahren– (Static) Pattern Substitution

• Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN in Progspr.)

• Häufig durch Approximation (z.B. für Bilder. fl Vektorquantisierung)

• Anmerkungen:– M- Bytes benutzen

– benötigt eine vorher bekannte Codetabelle

– schwierige Musterfindung bei Einzelbildern und Audiodaten

27.5.1999

56



– Diatomic Encoding• Variante von Static Pattern Substitution:

• Zusammenfassung je zweier Datenbytes. Z.B. für englisch: 8 häufigste Paare: 'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE' (Vorsicht: Leerzeichen!)

• Allein Ersetzung dieser durch spezielle Bytes, die sonst nie auftreten ’10% Ersparnis.

27.5.1999

57



• Dynamic Pattern Substitution– Grundidee

• wie Static Pattern Substitution

• Erstellung der Codetabelle aber zur Laufzeit

– Problem• Erkennung der besten Muster

– Beispiel: Unkomprimierte Daten : ABCDEABCEEABCEE Komprimierte Daten : ABCDE11 Tabelleninhalt : 1=ABCEE

• Implementierung – Lempel-Ziv Encoding: in vielen Programmen eingesetzt

27.5.1999

58



• Lempel-Ziv Encoding 1– Grundideen

• Codetabelle wird während der Kompression erzeugt

• jede neue Folge von Bytes in der Codetabelle aufnehmen

– Kompression • sei #i der i-te Index und W der Inhalt von einem Fenster

– Pseudocode 1.) Codetabelle initialisieren mit Alphabet

2.) Fenster = [ W ] mit W = leer

3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ]

Sonst Index von W ausgeben und Programm beenden

4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.)

Sonst füge WK in die Codetabelle ein, Index von

W ausgeben, setze W = K und springe zu Punkt 3.)

27.5.1999

59



• Beispiel für Lempel-Ziv Kodierung :– Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´

– Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´

27.5.1999

60



• Lempel-Ziv Kodierung 3– Anmerkungen

• keine explizite Übertragung der Codetabelle

– Tabellengröße • bestimmt Kompressionsgrad und Geschwindigkeit

• wächst schnell– Speicherplatzprobleme, Index wird zu groß

– erfordert erneute Initialisierung

27.5.1999

61



• Lempel-Ziv Kodierung 4– Dekompression

• inverses Verfahren der Kompression

• Aufbau der Codetabelle – sortiertes Alphabet initialisiert die Codetabelle

– beim ersten dekomprimierten Index passiert nichts

– sonst das vorherige dekodierte Codewort plus erstes Zeichen von dem neuen dekodierten Codewort einfügen

27.5.1999

62



• Lempel-Ziv Kodierung 5– Sonderfall

• Problem : verspäteter Aufbau der Tabelle um einen Schritt

letzter Eintrag aus der Codetabelle wurde benutzt

erster Buchstabe des dekodierten Codewortes wird benötigt

Anfang des zuletzt

dekodierten Codewortes

ist gleich dem Anfang

des neuen

letzter Buchstabe

= erster Buchstabe

27.5.1999

63



• Statistische Kodierung• Zeichen können unterschiedlich lang kodiert werden.

• häufig vorkommende Zeichen werden kurz, selten vorkommende Zeichen werden lang kodiert.

• wichtig: Eindeutige Dekodierung muß möglich sein.

• Beispiele: Huffman, Arithmetische Kodierung (s.u.).

• Huffman Kodierung• Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative)

Häufigkeit ihres Auftretens.

• Darstellung: Kodierung mit minimaler Anzahl benötigter Bits über binären Baum.

• Prefix Code: - variable Symbollänge - kein Codewort ist Prefix eines anderen

27.5.1999

64



• Beispiel (zu Huffman) : – Zahl = Anzahl des (relativen) Auftretens des Zeichens

– p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6’ p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59

27.5.1999

65



Beispiel (zu Huffman, Fortsetzung) : ’ Kode: w(A) = 011, w(B) = 1, w(C) = 000, w(D) = 010,

w(E) = 001

• Ersichtlich eindeutige Kodierung, da alle Zeichen an Blättern stehen.

• Beispiel: ’ABBAC’ wird kodiert durch: 01111011000

• Bei "üblicher" 3bit-Kodierung: 15 Bit nötig.

• Hier nur : 11 Bit nötig.

• In unserem Kontext:– Tabelle für jedes Einzelbild oder für mehrere Einzelbilder

– resp. für eine Sequenz oder Menge von Sequenzen.

– Dieselbe Tabelle braucht man für Kodierung und Dekodierung.

27.5.1999

66



• Arithmetische Kodierung 1 – Motivation

• Huffman- Kodierung liefert keine ausgeglichenen Bäume

– Beispiel• ein Zeichen kommt zu 90% vor

• ein Bit benötigt bereits zuviel Speicherplatz

– Grundidee• eine Zeichenkette entspricht einem Intervall zwischen [0..1]

• eine Zahl aus dem Intervall repräsentiert die Zeichenkette

• die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße

– anfängliche Festlegung • Reihenfolge • Auftrittswahrscheinlichkeiten • Intervalle

27.5.1999

67



• Arithmetische Kodierung 2– auch optimale Kodierung (wie Huffman).

– kodiert Zeichen immer unter Berücksichtigung aller vorangegangenen Zeichen

’ wahlfreier Zugriff nicht möglich.

27.5.1999

68



• Arithmetische Kodierung 3• Kodierung: Beispiel:

– sei • low( i ) = untere Intervall-

grenze des i-ten Zeichens

• high( i ) = obere Intervall- grenze

• L = 0 und H = 1

– für alle Zeichen i = {1..n} berechne : L = L + ( H - L ) ·low( i ) H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen )

– wähle eine Zahl zwischen L und H

27.5.1999

69



• Arithmetische Kodierung 4• Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13

27.5.1999

70



• Arithmetische Kodierung 5Zeichen werden nicht einzeln sondern ganzer String wird

kodiert ’– Anzahl der komprimierten Zeichen

• Länge vorher übergeben

• Endezeichen

– Eigenschaften• kein zufälliger Zugriff möglich

• Kompressionsrate ungefähr wie bei der Huffman Kodierung

27.5.1999

71



• Transformationskodierung– transformiert Daten in anderen mathematischen Raum, in

dem (hoffentlich) besser kodiert werden kann.

z.B.: • Diskrete Kosinustransformation DCT (vgl. später JPEG)

• Wavelets

• Fouriertransformation FFT

27.5.1999

72



• Subbandkodierung– nur selektive Frequenztransformation

– Qualitätskriterium: Anzahl der Bänder

– gut zur Kompression von Sprache

• Prädiktion/relative Kodierung– Grundidee: Kodierung von Differenzen von Bytes resp.

Bytefolgen

– Beispiele:• 1. ein Bild:

– Kanten fl große Differenzwerte für Luminanz/ Chrominanz

– Flächen fl kleine Differenzwerte

– homogene Fläche fl viele Nullen ’ Lauflängenkodierung

27.5.1999

73



• Prädiktion/relative Kodierung (Fortsetzung)

– Beispiele (Fortsetzung)• 2. Bilder über der Zeit:

– Bewegtbilder: beschrieben durch Differenz eines Bildes zum vorherigen.

– z. B. Nachrichtensendung/Bildtelefon: Hintergrund weitgehend gleich.

– Bewegungskompensation über Bewegungsvektor möglich.

• 3. in Audiotechnik: Differential Puls Code Modulation (DPCM)

– Folge von PCM-kodierten Abtastwerten werden dargestellt durch

- erster Abtastwert durch volle Beschreibung

- für die nachfolgenden durch Differenz zum vorherigen Wert.

27.5.1999

74



• Delta Modulation– Variation von DPCM

– Kodierung der Differenzwerte durch genau 1 bit.

– (kleine Differenzen sind dadurch sinnvoll beschreibbar.)

• ! DIFFERENZBILDUNG ist wesentliches Merkmal aller im Multimedia-Bereich eingesetzten Verfahren!

27.5.1999

75



• Adaptive Kompressionsverfahren– Bisherige Verfahren:

• gut in bestimmtem Kontext

• untypische Folgen von Zeichen fl keine Kompression.

– Adaptive Verfahren:• lassen Anpassung des Verfahrens an zu komprimierende

Daten zu.

• Grundidee: – Kodierungstabelle (etwa nach Huffman) durch Zähler je

Eintrag für Vorkommen erweitern.

– Die Zuordnung der Kodewörter durch Anderung gemäß der Häufigkeit der Vorkommen (Zählereinträge!) anpassen!

’ Die häufigst erscheinenden Zeichen werden dann immer am kürzesten kodiert.

27.5.1999

76



Adaptive Verfahren (Fortsetzung)

Beispiel:– Adaptive DPCM (ADPCM, häufig auch nur DPCM).

• wenige Differenzbits beschreiben:– wenige große Differenzen -> hohe Frequenzen

– wenige kleine Differenzen -> niedrige Frequenzen

• Fehler in diesem Kontext: Slope overload - Änderung der Faktoren adaptiv möglich.

• --> nicht geeignet für z.B. Audio mit sich häufig ändernden Anteilen; jedoch:

• CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit pro Abtastwert.

27.5.1999

77



• Weitere grundlegende Verfahren:– Farbtabellen

– Stummschaltung: • Daten werden nur kodiert, wenn der Lautstärkepegel

bestimmten Schwellwert überschreitet.

27.5.1999

78


1.2 Kompression - JPEG 1 (Gliederung)1.2 Kompression - JPEG 1 (Gliederung)

• Anforderungen an JPEG • Übersicht:Schritte im JPEG-Kompressionsverfahren

Bildaufbereitung (für alle Modi)• Bildverarbeitung im 1. Modus (FDCT)• Quantisierung• Entropiekodierung• Erweiterter, verlustbehafteter DCT-basierter Mode• Verlustfreier Mode• Hierarchischer Mode• Zur Qualität

27.5.1999

79


1.2 Kompression - JPEG 2 1.2 Kompression - JPEG 2

• (Joint Photographic Expert Group)• J, da 2 Kommissionen beteiligt waren, wohl 1992

veröffentlicht• für farbige und grauskalierte Standbilder• auch für Bewegtbildsequenzen, dann M(otion)JPEG• als Software oder mit spezieller

Hardwareunterstützung verfügbar.• Vorsicht: z. Teil nur ein Teil von JPEG kommerziell

erhältlich ("Basismode")

27.5.1999

80


1.2 Kompression - JPEG 3 1.2 Kompression - JPEG 3

• Anforderungen an JPEG:– Unabhängigkeit

• von der Bildgröße

• von Höhe zu Breite - eines Bildes - eines Pixels.

• der Farbvielfalt vom verwendeten Farbraum

• von der Komplexität des Bildinhalts

• von den statistischen Eigenschaften des Bildinhalts

– Aktueller Stand bzgl. des Kompressionsgrades und der erreichbaren Bildqualität (nahezu) zu erreichen.

– Softwarelösung sollte auf (möglichst vielen) Standardprozessoren laufen.

27.5.1999

81


1.2 Kompression - JPEG 41.2 Kompression - JPEG 4

• Anforderungen an JPEG (Fortsetzung 1) – Hardwarelösung sollte Komplexität der Verarbeitung

drastisch reduzieren.

– Beim Dekodieren mögliche Alternativen unterstützen:• sequentiellen Bildaufbau

• progressiven Bildaufbau (Bild wird erst nur grob, dann immer feiner gezeigt.)

• verlustfreie Dekodierung

• Kodierung mit unterschiedlichen Auflösungen desselben Bildes.

27.5.1999

82



• Anforderungen an JPEG (Fortsetzung 2)

– ’ obige "Parametrisierbarkeit" läßt Wahl zu unter:• Qualität des reproduzierten Bildes

• Dauer der Kompression

• Größe des komprimierten Bildes

– Möglichkeit: nur Kodierer oder Dekodierer nötig

– Austauschformat nach JPEG:• Parameter + Tabellen des Kodierprozesses

(Manchmal nur als "abbreviated Format", wenn gewisse "Meta"daten aus dem Kontext schon bekannt)

• Bilddaten

27.5.1999

83



• Übersicht:Schritte im JPEG-Kompressionsverfahren

27.5.1999

84



JPEG-Modi:

1. Baseline Process, Basis Mode– verlustbehafteter, sequentieller DCT-basierter Mode (muß

von jedem JPEG-Decoder unterstützt werden.)

2. Erweiterter verlustbehafteter DCT-basierter Mode– stellt Menge von Alternativen zur Verfügung.

3. Verlustfreier Mode--> verlustfreie Reduktion; geringerer Kompressionsfaktor

4. Hierarchischer Mode– liefert mehrere, unterschiedliche Auflösungen pro Bild

– verwendet Algorithmen aus 1.-3.

27.5.1999

85



• Bildaufbereitung (für alle Modi) – Zu beantwortende Frage:

• Wie wird ein (unkomprimiertes) Bild beschrieben und zur Verarbeitung in Teilinformationen zerlegt ?

– Nach obigem: • Viele Parameter offen, jedoch werden folgende

Voraussetzungen an die Beschreibung des unkomprimierten Bildes gestellt:

– Ein Bild besteht aus N Ebenen/Komponenten Ci 1≤i≤N, 1≤N≤255.

27.5.1999

86



• Bildaufbereitung (für alle Modi; Fortsetzung 1)

– Pro Pixel: p bit Beschreibungstiefe• p = 8, 12, falls verlustbehafteter Modus

• 2≤ p ≤ 12 , falls verlustfreier Modus.

• Ansonsten vorweg Transformation in eine solche Darstellung.

27.5.1999

87



• Bildaufbereitung (für alle Modi; Fortsetzung 2) – Für 1≤i≤N: Xi Spaltenzahl, Yi Zeilenzahl.

Beispiel 1: Beispiel 2: Homogene Auflösung Heterogene Auflösung

der Ebenen der Ebenen

27.5.1999

88




Konkrete Notation eines Bildes durch :– (N, p, y, x, Vmax, Hmax, (i, Vi, Hi) 1≤i≤N), wobei:

• x := Min i = 1,.., N Xi , y := Min i = 1,.., N Yi

• (X := Max i = 1,.., N Xi , Y := Max i = 1,.., N Yi)

• Hi := Xi/x; Vi := Yi/y

• (Hmax := Max i = 1,.., N Hi , Vmax := Max i = 1,.., N Vi)

– Dabei Voraussetzung: 1≤Hi ,Vi≤4 für Hi, Vi¿§

– Festlegung: Dateneinheit:• 1 Pixel, falls verlustfreier Modus

• Block aus 8*8 Pixel, falls ein verlustbehafteter Modus

27.5.1999

89




Verarbeitung:– nicht über Ebenen

verschachtelt:

– über Ebenen verschachtelt (Interleaving):• Problem: zusammengehörige Informationen sind zu

verarbeiten, trotz evtl. unterschiedlicher Auflösung der verschiedenen Ebenen.

• führt zum Begriff der MCU: Minimum Coded Units

27.5.1999

90




– Beispiel:

– Vorgehen: • Zerlege jede Komponente/Ebene in Regionen, so daß die

Anzahl der Regionen für jede Ebene gleich groß ist.

• Die jte MCU enthält jeweils die jte Region der Ebene i (für 1≤i≤N).

27.5.1999

91




– Für JPEG gilt:• Jede MCU erfüllt:

– Maximal 4 Komponenten können derart verschachtelt kodiert werden

– maximal 10 Dateneinheiten können enthalten sein.

– (Ende Bildaufbereitung für alle Modi.)

27.5.1999

92



• Bildverarbeitung im 1. Modus (FDCT)– Überblick:

– unkomprimiertes Bild wird in Dateneinheiten zu je 8*8 Pixel zerlegt

– p = 8 [bit]

27.5.1999

93



• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung1)

– Bildverarbeitung für je 8x8 Pixel:

(F)DCT: Diskrete Cosinus Transformation• Beschreibe dazu 8*8 Pixel so:

• Verschiebe Wertebereich von [0,255] nach [-128, 127]

• Dann gilt: Pixelwerte syx aus [-128, 127] für 0≤x,y≤7

• Wende darauf FDCT (Forward DCT) an:

• Svu = (1/4) cu cv x= 0,.., 7 y= 0,.., 7

syx cos((2x+1)u/16) cos((2y+1)v/16)

• mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1 für u,v [0,7].

27.5.1999

94




– Dies ist interessant, da folgende Interpretation:• Svu interpretierbar als "zweidimensionale" Frequenz.

• Beispiele:– S00 DC- Koeffizient

(fl Gleichspannungsanteil; direct current)

bestimmt Grundfarbton für die 64 Pixeldateneinheiten

– andere: AC - Koeffizienten (fl Wechselspannungsanteil)

– S70 = höchste Frequenz, die nur in waagerechter Richtung auftritt, d. h. dichtest mögliches Muster senkrechter Streifen.

– S77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h. 1*1 Karos

27.5.1999

95




– "zweidimen-

sionale"

Frequenzen

27.5.1999

96



• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung 4)

– Rücktransformation durch IDCT (Inverse DCT) :• syx = (1/4) u= 0,.., 7 v= 0,.., 7

cu cv Svu cos((2x+1)u/16) cos((2y+1)v/16)

mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1.

– Anmerkungen:• Cos-Werte in Tabelle erfaßbar.

• Hin- und Rücktransformation nicht exakt.

• Genauigkeit durch JPEG nicht vorgeschrieben.

• Flächen erzeugen viele AC-Koeffizienten zu Null oder fast Null.

27.5.1999

97



• Quantisierung – Erzeugt Verlustbehaftung

– pro Block: 64 Quantisierungseinträge; individuell einstellbar (vom Bildmaterial abhängig)

• Bildqualität <--> Kompressionsgrad einstellbar

– Qvu 8bit ganzzahlige Werte gemäß:

• sqvu = round Svu/Qvu.

• Je größer Tabelleneinträge, desto gröber die Quantisierung.

– Dequantisierung mit derselben Tabelle gemäß

• Rvu = sqvu* Qvu

27.5.1999

98



• Entropiekodierung – Vorbereitung der Verarbeitung in der Kodierung

• i.a. unterschiedliche Behandlung von DC- und AC - Koeffizienten

• DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig von Block zu Block. Daher:

– Differenzbildung benachbarter Werte

27.5.1999

99



• Entropiekodierung (Fortsetzung 1) – AC-Werte: "Zick-Zack"- Verarbeitung

nach steigenden

Frequenzen

(entspricht meist

fallenden Werten

--> 0)

27.5.1999

100



• Entropiekodierung (Fortsetzung 2)

– JPEG-Entropiekodierung• Zunächst Lauflängenkodierung (von Nullwerten)

• dann: Huffman (/z. T. Arithmetische Kodierung)

--> Liefert ISO- Intermediate-Symbol-Sequenz- Format

i. w. folgende alternierende Angaben:• Anzahl der folgenden Koeffizienten mit dem Wert Null

• für die Darstellung des danach folgenden Koeffizienten benutzte Anzahl an Bits

• Wert des Koeffizienten, dargestellt mit der angegebenen Anzahl an Bits

27.5.1999

101



• Entropiekodierung (Fortsetzung 3)

– Zudem:• AC- Werte fi0 sowie DC- Werte werden so dargestellt, daß

Anzahl benötigter Bits von der Größe des Wertes abhängt– AC-Werte: 1-10 bits

– DC-Werte: 1-11 bits (i.a. höhere Auflösung)

• Huffman: – keine Lizenzgebühren für Patente

– schlecht: Anwendung hat Kodierungstabellen bereitzustellen.

• Hier verwendet man: sequentielle Kodierung

27.5.1999

102



• Bildaufbau bei Dekodierung– Beispiel:

27.5.1999

103



• Erweiterter, verlustbehafteter DCT-basierter Mode– Unterschiede zum 1. Mode:

• p = 8 oder 12

• Neben sequentieller Kodierung: progressive Kodierung

(fl Layered Coding)

– Erlaubt folgenden Bildaufbau bei Dekodierung• Beispiel:

27.5.1999

104



• Erweiterter, DCT-basierter Mode (Fortsetzung 1)

– Wird erreicht durch:• Erweiterung der Quantisierung

--> Alle quantisierten Werte kommen in Puffer

--> Selektive Weiterverarbeitung – Spectral Selektion:

» zuerst: nur Koeffizienten der niedrigen Frequenzen

» danach: auch Koeffizienten der höheren Frequenzen

– Successive Approximation:» alle Koeffizienten werden übertragen.

» jedoch nach Wertigkeit weiterverarbeitet

– Neben Huffman: Arithmetischer Kode • Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch.

des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.

27.5.1999

105



• Erweiterter, DCT-basierter Mode (Fortsetzung 2)

Verschiedene alternative Kombinationen in den Teilschritten:

Bildaufbau Bits/ Abtastwert Entropiekodierungsequentiell 8 Huffman - Kodierung

sequentiell 8 Arithmetische Kodierung

sequentiell 12 Huffman-Kodierung

sequentiell 12 Arithmetische Kodierung

progressiv sukzessive 8 Huffman-Kodierung

progressiv spektral 8 Huffman-Kodierung

progressiv sukzessive 8 Arithmetische Kodierung

progressiv spektral 8 Arithmetische Kodierung

progressiv sukzessive 12 Huffman-Kodierung

progressiv spektral 12 Huffman-Kodierung

progressiv sukzessive 12 Arithmetische Kodierung

progressiv spektral 12 Arithmetische Kodierung

27.5.1999

106



• Verlustfreier Mode

– Start: • Dateneinheit: Pixel mit 2- 16 bit Beschreibungstiefe.

Statt Transformationskodierung:

27.5.1999

107



• Verlustfreier Mode (Fortsetzung 1)

– Prädiktionsverfahren • Für Pixel X : 1-8 Prädiktoren

Aufgabe: Möglichst gute

Vorhersage von X aus

den bekannten A,B,C

Selektionswert Prädiktion Selektionswert Prädiktion

0 keine Prädiktion 4 A + B + C

1 A 5 A + (B-C)/2

2 B 6 B + (A-C)/

3 C 7 (A + B)/2

Selektionswert sowie Prä(X) - X werden entropiekodiert.

27.5.1999

108



• Hierarchischer Mode– nach Bedarf: - verlustbehaftet -verlustfrei

– Kodierungen je eines Bildes mit (mehreren) unterschiedlichen Auflösungen

• 1. Digitalisiertes Bild "um den Faktor 2n herabsetzen" --> komprimieren

• 2. Digitalisiertes Bild "um den Faktor 2n-1 herabsetzen"

--> Bild gemäß 1 davon abziehen ("Differenzbild")

--> komprimieren• 3. 2. geeignet iterieren, bis "vollständiges" Bild

komprimiert.

• Damit Skalierung einfach möglich.

27.5.1999

109



• Hierarchischer Mode (Fortsetzung) – Vorteil:

• Anwendung verarbeitet die Auflösung, die ihr angepaßt ist.

--> Berechnung der reduzierten Informationen aus den detailliert beschriebenen Bildern durch die Anwendung nicht nötig.

– Nachteil: • Kodierung ist rechen- und speicherplatzintensiv.

27.5.1999

110



• Zur Qualität– Für DCT-kodierte Einzelbilder:

• 0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige Anwendungen ausreichend.

• 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für viele Anwendungen ausreichend.

• 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die meisten Anwendungen ausreichend.

• 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr zu unterscheiden. Genügt fast allen

Anwendungen, selbst bei höchsten Qualitätsansprüchen.

– Im verlustfreien Modus:• Kompressionsgrad 2:1 im Mittel.

27.5.1999

111


1.2 Kompression - H.261 (px64) 11.2 Kompression - H.261 (px64) 1

• Bewegtbildstandard• Für Einsatz bzgl. ISDN gedacht für z. B.:

– Bildtelefon - Videokonferenzsysteme

--> Kodierung + Dekodierung in Echtzeit

– jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1, 2, . .., 30

• H. 261 Video Codec for Audiovisual Services at p x 64 kbit/s– Coder/Decoder

– 1990 verabschiedet

– Voraussetzung: Kompression + Dekompression ≤ 150 msec Signalverzögerung.

27.5.1999

112



• Bildaufbereitung– Präzise(re) Voraussetzungen:

• Am Eingang anliegende Bildwechselfrequenz: 29,97 = 30000/1001 (wieso?)

• Geringere Bildwechselfrequenzen für Übertragung zugelassen (z.B. 10-15)

• Nicht Zeilensprungverfahren.

• Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß CCIR 601)

• 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)

27.5.1999

113



• Auflösungen: 4:3 Seitenformat– CIF (Common Intermediate Format) : optional

• 288*352 Pixel Luminanz

• 144*176 Chrominanz

– QCIF (Quarter CIF) : vorgeschrieben• 144*176 Pixel Luminanz

– Zur Hilfe: [(2*3*3*8) *(2*11*8)] für unten

• 72* 88 Chrominanz [(3*3*8) *(11*8)]

• Nötiger Kompressionsgrad, um mit QCIF über 1 ISDN-

B-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec)• Heute technisch machbar.

• CIF benötigt 6 ISDN-B-Kanäle

27.5.1999

114



• Verwendete Unterteilung je eines Bildes:– Jede Komponente in Blöcke zu 8*8 Pixel

– Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr

– Gruppe von Blöcken: 3*11 Makroblöcke

– QCIF-Bild: 3 Gruppen

– CIF-Bild: 12 Gruppen

27.5.1999

115



• Kodierungsverfahren– Intraframe. Zur Kodierung werden nur Daten eines Bildes

verwendet

(vgl. Intrapicture bei MPEG; s.u.)

– Interframe: Zur Kodierung werden Daten aus mehreren Bildern verwendet.

(vgl. P-Bilder in MPEG; s.u.).

– Norm schreibt hier keine Parameter fest.

– Zu Intraframe:• 8*8 Pixelblock mit DCT (wie bei JPEG)

• DC und AC Koeffizienten unterschiedlich quantifiziert

• Kodierung mit Kode variabler Länge.

27.5.1999

116



– Zu Interframe:• Für jeden Makroblock mit Prädiktion möglichst ähnlichen

Block im vorangegangenen Bild suchen.

Relative Lage über Bewegungsvektor festlegen. • Bewegungsvektor nicht zwingend vorgeschrieben• Möglich: Differenzen zwischen sequentiell

aufeinanderfolgenden Makroblöcken kodieren.

• Datenstrom – ist in H.261 in Schichten aufgeteilt. Unterste Schicht:

– Eigenschaften: komprimierte Bilder

• Fehlerkorrektur möglich • Jedes Bild hat 5 bit lange Bildnummer • Letztes Bewegtbild kann als Standbild "eingefroren" werden. • ........

27.5.1999

117


1.2 Kompression - MPEG1.2 Kompression - MPEG

• Vorbemerkungen zu MPEG– MPEG: Moving Picture Expert Group

– Derzeitige Fassungen: (eine Klassifikation, zitiert nach: MPEG Video Webpage,

http://bs.hhi.de/mpeg-video/ (5.5.99)

• MPEG-1: Standard zur Speicherung und zum Information Retrieval bewegter Bilder und assoziiertem Audio auf Speichermedien

• MPEG-2: Standard für digitales TV

Noch in Entwicklung:

• MPEG-4: Standard für Multimedia-Anwendungen

• MPEG-7: Standard zur Inhaltsrepräsentation für die Inhaltssuche

27.5.1999

118


1.2 Kompression - MPEG-1 11.2 Kompression - MPEG-1 1

• Vorbemerkungen zu MPEG-1• MPEG-1:

• Zur Bearbeitung von Algorithmen zur Audio- und Bewegtbildkodierung.(s.u.)

• Interntl. Standard seit 92 (MPEG-1 „approved“ Nov. 92).

• berücksichtigt andere Normierungen– JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG

lag früher vor.

– H.261

• MPEG 1: Datenrate ≤ 1856 Kbit/s (lt. Steinmetz ‚93)

• MPEG-1: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s

drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)

27.5.1999

119



– Geeignet für symmetrische und asymmetrische Kompression (incl. Audio)

– MPEG spezifiziert: - Video - Audio - Systemdefinition

• Videokodierung– Bildaufbereitung (ähnlich H.261)

• Bild ist beschrieben durch: – Y Luminanz,

– Cb,Cr Farbdifferenzkomponenten

– Y hat in horizontaler und vertikaler Richtung je doppelte Auflösung (Color Subsampling)

• Es sollte sein: Räumliche Auflösung ≤ 768*576 Pixel

27.5.1999

120



• Bildaufbereitung (Fortsetzung)– p = 8 in jeder Ebene

– Weitere Infos bei MPEG:• 14 unterschiedliche Seitenverhältnisse von Pixeln

• 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30 Hz, 50 Hz, 59,94 Hz, 60 Hz.

– Verwendung von Prädiktoren für Bildbereiche

– Aufbau eines Bildes aus Bereichen:• Block : 8*8 Pixel• Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom.

diese 6 Blöcke werden sequentialisiert

– --> der Anwender hat keine MCUs zu definieren– 3 Komponenten werden gemeinsam komprimiert/ dekompr.

• kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)

27.5.1999

121



• Bildverarbeitung – 4 unterschiedliche

Bildkodierungsarten:

wegen: effiziente

Kodierung <-->

wahlfreier Zugriff

auf Einzelbild/Frame

– Bildarten: I-, P-, B-, D- Bilder

27.5.1999

122



• Bildverarbeitung (Fortsetzung 1)Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93])

– I-Bilder (Intra Coded Pictures)• wird als Standbild (Einzelbild) behandelt.

• wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff, ....)

• Kompression jedoch in Echtzeit nötig --> geringe Kompressionsrate

• bilden Anker für wahlfreien Zugriff

– P-Bilder (Predictive Coded Pictures)• verwenden vorangegangene I- resp. P-Bilder

--> Bewegungsschätzung: (Algorithmus ist nicht vorgeschrieben; nur die Kodierung des Ergebnisses. Bewegungsvektor + Differenzbild)

27.5.1999

123



• Bildverarbeitung (Fortsetzung 2)Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCM-

Kodierung.

--> höhere Kompressionsrate als I-Bilder.

• Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar.

• Im Prinzip gleich, im Detail anders als bei JPEG.

– B-Bilder (Bidirectionally Predictive Coded Pictures)• verwendet vorangegangene und nachfolgende I- und P-

Bilder

--> höchste Kompressionsrate

27.5.1999

124



• Bildverarbeitung (Fortsetzung 3)• Beispiel (zu sinnvollem Einsatz von B-Bildern):

Bewegung eines Balles von links nach rechts vor statischem Hintergrund. Geben sukkzessive Teile des Hintergrundes frei. Daher Ableitung aus nachfolgenden Bildern günstig.

• u.a. Interpolation von Makroblöcken.

• B-Bilder werden nicht im Dekoder als Referenzbilder gespeichert.

– D-Bilder (DC-Coded Picture)• intraframekodiert; nur DC-Parameter (, resp.

niederfrequente AC) • für schnellen Vorlauf

• diese Funktionalität kann auch durch periodisch auftretende I-Bilder erreicht werden

27.5.1999

125



• Bildverarbeitung (Fortsetzung 4)– Weitere Anmerkungen:

• Reihenfolge der Bilder in der Dekodierung und der Präsentation können unterschiedlich sein. (vgl. Beispiel oben + unten)

• Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures vorher zu verarbeiten .

• In praktischen Anwendungen von MPEG:– Bildfolge : I BBPBBPBB I BBPBBPBB I ....

--> Wahlfreier Zugriff auf jedes 9. Bild.

• (Mindestens alle 15 Bilder je ein I Bild gefordert.)

27.5.1999

126



• Quantisierung– wird an Bedarf angepaßt

• Audiokodierung– Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz;

Abtastung mit 16 bit.

– Kompression je Audiosignal: – zu einem von 64, 96, 128, 192 kbit/sec.

– Vorverarbeitung: FF - Transformation (--> also Infos in Spektraldarstellung)

– Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche (Bänder).

• Können unterschiedlich gewichtet quantisiert werden.

27.5.1999

127



• Audiokodierung (Fortsetzung)

– 3 Qualitätsstufen:• Stufe 1+2: PCM-kodiert

• Stufe 3: PCM-kodiert + Huffman

– verarbeitbar: • 1 Kanal,

• 2 unabhängige Kanäle

• Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen

– kompatibel zu:• CD-DA (Compact Disc - Digital Audio)

• DAT (Digital Audio Tape)

27.5.1999

128



• DatenstromMPEG spezifiziert feste Syntax für Audio- und Videodaten-

strom

– Audiostrom • besteht aus Frames, diese aus Audio Access Units, diese

wiederum aus Slots.• Slot: bei niedrigster Komplexität der Kodierung: 4 Byte, sonst

1 Byte• Audio Access Unit: kleinstmögliche Audiosequenz

komprimierter Daten, die unabhängig von allen übrigen Daten vollständig dekodiert werden kann.

– Spieldauern hierfür:- 48kHz: 8ms - 44.1 kHz: 8,7ms - 32

kHz: 12 ms

• Frame: feste Anzahl von Abtastwerten

27.5.1999

129



• Datenstrom (Fortsetzung 1)– Videostrom: 6 Schichten

• Sequence

• Group of

pictures

• Picture

• Slice

• Makroblock

• Block

27.5.1999

130



• Datenstrom (Fortsetzung 1)– Videostrom: (Fortsetzung)

• Sequence Layer: Steuert Zwischenspeicherung der Daten– Angaben enthalten u.a.:

» für Sequenz konstante Bitrate

» für Dekodierung min. Speicherplatz

– Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur Überprüfung der durch die Dekodierung entstehenden Verzögerungszeit verwendet.

– Zwischen Sequenzen können grundlegende Parameter des Dekoders neu gesetzt und Initialisierung durchgeführt werden.

27.5.1999

131



• Datenstrom (Fortsetzung 2)– Videostrom (Fortsetzung 1)

• Group of Pictures Layer: – Enthält mindestens ein I-Bild (und das an erster Stelle)

.

– Folge im Datenstrom und in der Präsentation können unterschiedlich sein

Beispiel:» Reihenfolge bei der Darstellung:

Bildart B B I B B P B B P B B I

Bildnummer 0 1 2 3 4 5 6 7 8 9 10 11» Reihenfolge im Datenstrom:

Bildart I B B P B B P B B I B B

Bildnummer 2 0 1 5 3 4 8 6 7 11 9 10

27.5.1999

132



• Datenstrom (Fortsetzung 3)– Videostrom (Fortsetzung 2)

• Picture Layer: beinhaltet

– je ein gesamtes Einzelbild

– zeitlicher Bezug über Bildnummer

– (noch freie weitere Datenfelder [für Erweiterungen])

• Slice Layer– besteht aus Anzahl von Makroblöcken, die sich von Bild zu

Bild ändern können.

– enthält u.a. Skalierung der DCT-Quantisierung für dieses slice.

• Macro Block Layer

• Block Layer

27.5.1999

133



• Systemdefinition– Zusammenfassung von Audio- und Videostrom.

– Multiplexen incl. • Koordination beim Datentransfer zwischen einkommenden

und ausgehenden Datenströmen

• Justage von Uhren

• Puffermanagement

– Zerlegung des Datenstroms (nach ISO 11172) in Packs. • Erster Pack enthält Infos z.B. über maximal auftretende

Datenrate. (Headerinfos).---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa

späteres Aufschalten!).

– MPEG setzt zur Synchronisation erforderliche Zeitstempel.

27.5.1999

134



• Systemdefinition (Fortsetzung 1)– Prototypischer ISO/IEC 11172 Dekoder:

27.5.1999

135



• Anmerkungen– MPEG verlangt nicht Kompression in Echtzeit.

– MPEG spezifiziert Prozeß der Dekompression, nicht den Dekoder selbst.

– Weitgehend verfügbar: MPEG 1Datenrate: 1.5

Mbit/s

– Wichtig: Qualität, Kompressionsfaktor

– Unwichtig: Kompressionszeit

27.5.1999

136



• MPEG-2 (ISO 13818) Referenzen: (Stand: 14.6.98)

– Startseite zu MPEG-2 (ISO 13818): http://www.mpeg2.de/

– MPEG-2-Dokumentation:

http://www.mpeg2.de/doc/index.htm

– Video-Codierung mit MPEG-2: Breites Spektrum (deutsch) (*)http://www.mpeg2.de/doc/mpuo05/mpuo05.htm

– MPEG-2 FAQ Table of Contentshttp://bmrc.berkeley.edu/projects/mpeg/faq/mpeg2/

27.5.1999

137



• MPEG-2 (ISO 13818) Referenzen: Fortsetzung

– Überblicke zu MPEG (u.a. MPEG-2):• The MPEG Home Page:

– http://drogo.cselt.stet.it/mpeg/ (5.5.99)

• MPEG and multimedia communications (Leonardo Chiariglione) ["Vater" von MPEG]http://drogo.cselt.stet.it/ufv/leonardo/paper/isce96.htm (**)

• Recent advances in video compression http://www.stud.ee.ethz.ch/%7Erggrandi/intro.html

• Anmerkung:– Dieses Material v.a. nach (*) zusammengestellt.

27.5.1999

138



• Entwicklungstufen des Standards ISO 13818 (MPEG-2):– Working Draft 1 November 1992

– Comittee Draft November 1993

– Draft International Standard März 1994

– International Standard November 1994

– "Generische Kodierung von Bewegtbildern und synchronisiertem Audio" (übersetzt)

27.5.1999

139



• Ziele: – MPEG 1:

• Kodierung von Video auf CD-ROMs

• Anwendungen bei: Video-CDs (CD-V/heute: DVD), CD-Interactive (CD-I), Spieleconsolen

27.5.1999

140



• Ziele (Fortsetzung):– Ziele für MPEG 2:

• Für Einsatz im Fernsehfunk (broadcasting):

• Einsatzgebiete: – Video-On-Demand im Consumerbereich (Home Cinema)

– hochqualitative und verlustfreie Übertragung von Video im Studiobereich

» Verringerung der Kosten bei Satellitenübertragungen

» Nicht: Videokonferenzen (dazu: --> H.261)

» (würde: --> synchrones Kodierungsverhältnis, geringe Kodierverzögerung)

– in MPEG-2: – Verzögerung zwischen analogem Eingangsstrom und

digitalem Videodatenstrom: 1/2 bis 3 Sekunden.

27.5.1999

141



• Systemansatz:– Kombination eines oder mehrerer elementarer Video- und

Audioströme mit weiteren Daten in • einen oder mehrfachen Strom zur

– Speicherung

– Übertragung

– Spezifiziert in • Program- und

• Transportstrom

– (Vgl. Bild nächste Seite)

27.5.1999

142



• Systemansatz (Fortsetzung):

27.5.1999

143



• Verwendete Mechanismen (für Videos): – bei MPEG-1 und MPEG-2 ähnlich:

• Einzelbilder kodieren – mit temporären Abhängigkeiten (IPB-frames) und

– zeitlichen Verschiebungen von Bildinhalten (motion vectors).

• Mathematische Verfahren zur Datenreduktion: – Diskrete-Cosinus-Transform-Kodierung,

– Huffman- und Lauflängenkodierung.

– Ungleicher Kodier-/Dekodier-Aufwand: Studio-/Home-Hardware

27.5.1999

144



• MPEG-2 ermöglicht:– Skalierbarkeit:

• schnellere Dekodierhardware ---> erhöhte Bildqualität

• räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu herkömmlichem 4:3.

• Bitrate bis 10 Mbit/s.

– erhebliche Flexibilität des Videoteils:• verschiedene Bildformate

• wahlfreie Bildqualität

• variable Bitraten

27.5.1999

145



• MPEG-2 ermöglicht: (Fortsetzung 1)– erhebliche Flexibilität des Videoteils (Fortsetzung)

• channel hopping: wahlfreier Zugriff auf verschiedene Videokanäle

• nachträgliche und einfache Editierung des kodierten Bitstroms

• trick modes (z.B. für effektreiche Überblendungen)

• Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu weiteren Qualitätsverlusten führen.

27.5.1999

146



• MPEG-2 ermöglicht: (Fortsetzung 2) – Audioteil

der Kodierung muß mehrere Kanäle (--> Multilingualität) und niedrigere Sampling-Frequenzen unterstützen.

– Rückwärtskompatibilität zu MPEG-1 und H.261u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt

rückwärtskompatible Datenströme erzeugen.

z.B.: MP@ML: Video Main Profile + Video Main Level ist MPEG-1 ähnlich.

27.5.1999

147



• Kodierungs"methoden": - Profiles und Levels - Scalability - Security

– Profiles (complexity of compression) und

Levels (sample rate, framedimension, coded bitrates)• schränken die zur Verfügung stehenden Parameter der

Kodierung ein, um dieseEinschränkungen dann in den Kompressionsalgorithmen ausnutzen zu können.

• Standardisieren Kodierungsparameter.

27.5.1999

148



• Kodierungs"methoden":(Fortsetzung 1)– Profile und Level in MPEG-2:

27.5.1999

149


1.2 Kompression - MPEG-2 14 1.2 Kompression - MPEG-2 14

• Kodierungs"methoden":(Fortsetzung 2)– Sampling Größen und Bitraten:

27.5.1999

150



• Scalability:• ist die Möglichkeit des Dekoders, Teile eines Datenstroms

zu ignorieren und doch sinnvolle und angepaßte Video- und Audioausgaben zu erzeugen. --> MPEG-2 weitgehend speicher- und übertragunsmedienunabhängig.

27.5.1999

151



• Kodierungs"methoden":(Fortsetzung 3)– Zeitliche Scalability

• Bildrate kann erhöht werden, indem in den normalen Ablauf des "Base Layers“ zusätzliche B-frames des "Enhancement Layers" dekodiert werden.

27.5.1999

152



• Kodierungs"methoden":(Fortsetzung 4) – Qualitative Scalability

• anstelle der ungenaueren B-frames des "Base Layers"werden P-frames des "Enhancement Layers" dekodiert und angezeigt.

27.5.1999

153



• Kodierungs"methoden":(Fortsetzung 5)– Pan-Scan-Scalability: ermöglicht die Definition von

Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9

HDTV-Bildes.

27.5.1999

154



• Kombinationsmöglichkeiten:

27.5.1999

155



• Weitere Möglichkeiten von MPEG-2:– Sicherheit (Vertraulichkeit + Integrität) wird unterstützt

(nicht ausgeführt.)

– Makroblock-Scalability:einzelne Macroblöcke können mehrfach, in verschiedenen

Qualitätsstufen kodiert werden.

– Block-based Motion Compression Prediction (MCP):• das Erkennen von relativen Bewegungen einzelner Blöcke

im Vergleich von Bild zu Bild wird im MPEG-2 Format viel einfacher realisiert.

– Frame Motion Prediction:• Das Auffinden von ganzen, gleichen Frames innerhalb des

Datenstroms (Frame Motion Prediction) und

27.5.1999

156



• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1)– Field Motion Prediction:

• das Auffinden von gleichen, wie auch immer geformten Teilen in verschiedenen Bildern und auch innerhalb des aktuellen Bildes wird ermöglicht. ---> vgl. JPEG

– variabler Farbraum• für den Studiobereich notwendig, ein Farbverlust ist

während der Produktionsphase von Filmen nicht akzeptabel

• in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.

27.5.1999

157



• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2)– Zu Audio: (kurz)

• für Kodierung von Audiosignalen hoher Qualität (CD,Studio).

• auch für digitale Quellen ausgelegt, z.B. ISDN.

• unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle)

– MPEG-2 ist auf Verwendung von Hardware zugeschnitten--> SetTop Boxen

27.5.1999

158



• Wo bleibt MPEG 3 ?– Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz

mit kodierten Bitraten zwischen 20 und 40 Mbit/sec bearbeiten. Wurde jedoch allein durch MPEG 1+2 beschreibbar. HDTV ist nun Bestandteil von MPEG-2 High Level-1440. MPEG 3 ist damit gecancelt.

– Anmerkung: • Vorsicht. MPEG 3 nicht gleich

• MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)

27.5.1999

159



• (Nur) Einstieg in MPEG-4:– zitiert v.a. nach: Overview of the MPEG-4 Standard

• ISO/IEC JTC1/SC29/WG11 N2725 March 1999/Seoul, South Korea

• www.drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm (Stand 5.5.99)

• Inhaltsverzeichnis– Executive Overview

– Scope and features of the MPEG-4 standard

– Detailed technical description of the MPEG-4

– List of major functionalities provided by MPEG-4 in Vers. 1

– Verification Test: checking MPEG’s Performance standard

– Profiles in MPEG-4 Version 1 - Version 2 of MPEG-4

– Annexes

27.5.1999

160



• Executive Overview– MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC

standard von MPEG entwickelt

– MPEG-4 • begonnen Juli 1993

• Draft Intnl Standard level Oktober 1998.

• Offizieller Standard: 1999

• Aktuell wird gearbeitet an MPEG-4 Version 2 (abwärtskompatibel zu MPEG-4 Version 1)

27.5.1999

161



• Executive Overview (Fortsetzung 1)– MPEG-4 stützt sich auf die nachgewiesenermaßer

erfolgreichen Gebiete: • Digital television

• Interactive graphics applications (synthetic content)

• Interactive multimedia (World Wide Web, distribution of and access to content)

– MPEG-4 liefert standardisierte technologische Elemente für die Integration von

• Produktion

• Verteilung und

• Zugriff auf den Inhalt

aller drei Bereiche von oben. Also: nicht (nur) Kompression !!

27.5.1999

162



• Executive Overview (Fortsetzung 2)

The MPEG-4

standard: a set of

technologies

to support AVOs

"audio-visual

objects"

27.5.1999

163



• Executive Overview (Fortsetzung 3)

Satz von Technologien:– 1. Kodierte Repräsentation von Objekten mit sprachlichem oder

visuellem oder audiovisuellem Inhalt (AVOs)

– 2. Art, wie individuelle AVOs in einer Szene zusammengesetzt werden;

– 3.Art, wie AVOs gemultiplexed und synchronisiert werden, so daß sie über Netzwerke transportiert werden können bei Einhaltung benötigter Qualität.

– 4. Generisches (?) Interface zwischen Anwendung und Transportmechanismus

– 5. Art für die Benutzerinteraktion mit der Szene

– 6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.

27.5.1999

164



27.5.1999

165



• MPEG 4: zielt auf sehr niedrige Bitraten 4800 - 64000 bits/sec. Bis 176x144 und 10 Hz: Für Videophone und analoges Telephon.

• Aktuelle Infos zu MPEG-4:– Overview of the MPEG-4 Standard

• drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm

(Stand 5.5.99)

– MPEG Informations, Questions and Answers• http://www.crs4.it/HTML/LUIGI/MPEG/mpegfaq.html

(Stand 5.5.1999)

27.5.1999

166


1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 DV Formate + deren Eigenschaften

1.4 Quicktime

27.5.1999

167


1.3 DV Formate - Literatur1.3 DV Formate - Literatur

• Bajohr, M.: DV FormateVortrag und Ausarbeitung im Seminar „Digitales Video“

Veranstalter Dittrich, FBI UniDo, SS 99• Roger Jennings: “Video, Audio, and Data Recording

Formats”http://www.adaptec.com/technology/standards/

1394formats1.html [Stand: 09.02.1999]• Wilt, A. J. : “The DV, DVCAM, & DVCPRO

Formats” + weitere Beiträge zu “Video and Data Recording Formats”U.a. http://www.adamwilt.com/DV.html [Stand: 04.02.1999]

27.5.1999

168


1.3 DV Formate - Gliederung1.3 DV Formate - Gliederung

• Formate für Video im Consumerbereich

• DV - Format

– Vorbemerkungen - Eingangsbilddarstellung

– Allgem. DV Format - Digital Interface (DIF) Format

• DV - Format : Technische Aspekte

– DV Kassetten und Aufzeichnungsformat

– 1394/FireWire - LSI Impl. eines DV Systems

• Sichtbare Phänomene

• DV Formate konkret

27.5.1999

169


1.3 DV Formate - 1.3 DV Formate - ... für Video im Consumerbereich

• Analog:– VHS/VHS-C

• VHS weitest verbreitet

• VHS-C durch Adapterkassette in norm. VCRs abspielbar.

– S-VHS• Bessere Qualität; Y/C Kodierung

– Video 8• Erheblich kleinere Kassetten

– Hi 8• Bessere Qualität im Vergleich zu Video 8; Y/C Kodierung

• Digital: – DVC/MiniDV

27.5.1999

170


1.3 DV Formate - Vorbemerkungen 11.3 DV Formate - Vorbemerkungen 1

• DV: Standard für digitales, komprimiertes Video und Audio

• von 10 Firmen gegründet:– Sony Corp– Panasonic– Victor Corporation of Japan (JVC)– Philips Electronics, N.V. – Sanyo Electric Co. Ltd– Hitachi, Ltd.– Sharp Corporation – Thompson Multimedia– Mitsubishi Electric Corporation– Toshiba Corporation

27.5.1999

171


1.3 DV Formate - Vorbemerkungen 21.3 DV Formate - Vorbemerkungen 2

• DV definiert ein eigenes Kassettenformat• MiniDV und DVC• Video wird in einer Rate von 4:1:1 (NTSC) oder

4:2:0 (PAL) gesampled• max. Auflösung: 720 x 480 Pixel• Datenrate bei ca. 3.6 Mbyte/sec• Kompressionsverhältnis: 5.0 - 7.0 : 1

(in der Regel 5.0:1)• Digitale Datenübertragung via FireWire• Vervielfältigung ohne Verluste

27.5.1999

172


1.3 DV Formate -1.3 DV Formate - Eingangsbilddarstellung 1

• Verschiedene Notationen: SQCIF, CIF und SDTV, nach ITU-R BT.601; hier SDTV verwendet.

• YUV-Darstellung:

Helligkeitswerte Y

Farbdifferenz Rot Cr

Farbdifferenz Blau Cb• DV ist eine 4:1:1 YUV Bildfolge (NTSC)• bei einer 4:1:1 Norm ergibt sich:

Ersparnis von 12 (von ursprüngl. 24) Bit pro Pixel!• --> PIX Formate

27.5.1999

173



• Speicherplatzverbrauch pro Pixel

wobei Farbtiefe: Anzahl Bits für die Helligkeit (nach ITU-R BT.601: 8 Bit)

Beispiel:Ein „volles“ RGB Bild mit 720 x 480 Pixel

Hinweis: RGB Bilder sind 4:4:4 (=24 Bit pro Pixel) gecoded

bitsPixel

=Farbtiefe* (1+Wert2Wert1

+Wert3Wert1

)

8 bit* (1+44

+44)* 720* 480 Pixel=1.036.800 byte≈1 MByte

27.5.1999

174



• 4:2:2 Format– Farbe wird in der halben Rate des

Helligkeitssignals gesampled– Bei 720 Pixeln pro Zeile ergeben sich 360

Farbabtastungen pro Farbdifferenz

27.5.1999

175



• 4:1:1 Format– Farbe wird in der viertel Rate des

Helligkeitssignals gesampled– Bei 720 Pixeln pro Zeile ergeben sich 180

Farbabtastungen pro Farbdifferenz

27.5.1999

176



• 4:2:0 Format 1– Wird eine Farbe gar nicht berücksichtigt?

NEIN! – Farbe in der halben Rate des Helligkeitssignals in

horizontaler und vertikaler Richtung abgetastet

27.5.1999

177



• 4:2:0 Format 22 Definitionen:– jeweils 360 Farbinformationen für Rot und Blau

pro ungerader Zeile– jeweils 360 Farbwerte für Rot in den ungeraden

Zeilen und 360 Farbwerte für Blau in den Geraden (co-sited)

27.5.1999

178



• PIX Formate im Vergleich:

Es ergibt sich ein immer noch zu hoher Datenstrom!

– ca. 240 Mbit/s (unkomprimiert, RGB)

– ca. 170 Mbit/s (4:2:2)

– ca. 120 Mbit/s (4:1:1, 4:2:0)

(alle Berechnungen gelten für 720 x 480 Pixel bei 30 frames/sec)

Format 4:2:2 4:1:1 4:2:0

System D-1, D-5, DigiBeta,BetaSX, Digital-S,DVCPRO50

NTSC DV,DVCAM, DVCPRO

PAL DV, DVCAM,DVD, main-profileMPEG-2

Speicherplatz für einBild mit 720 x 480 Pixel

731 kByte 506 kByte 506 kByte

Kompressionsverhältnis ca. 30 % 50 % 50 %

27.5.1999

179


1.3 DV Formate - Allgem. Format: Aufbau 11.3 DV Formate - Allgem. Format: Aufbau 1

• Ein komprimiertes Bild besteht aus 10 tracks

• Bildauflösung: 720 x 485 Pixel!

• 1 Track umfaßt 138 Datablocks (nur Video)

• 1 Datablock enthält 76 Bytes Nutzdaten und 1 Byte Header

• inklusiv Fehlerkorrektur und Synchronisationsdaten ergeben sich 90 Bytes pro Datablock

• die Synchronisations- und die Fehlerkorrektur-daten werden nicht mitübertragen!

27.5.1999

180


1.3 DV Formate 1.3 DV Formate - Allgem. - Allgem. Format: Format: Aufbau 2Aufbau 2

• Video, Audio und Subcode Aufnahme Format

27.5.1999

181


1.3 DV Formate - Allgem. Format: 1.3 DV Formate - Allgem. Format: Datenraten 1Datenraten 1

• Videodatenrate:

Es werden statt 30 frames/sec immer nur 29,97 frames/secberücksichtigt, da bei 1000 frames ein Bild nicht verwendet wird

Mbpsframes

byte

bitsbytesblocks

frame

tracks146,25

sec97,29*8*76*138*10 =

sec97,29

sec30*

1000

999 framesframes

frames

frames=

27.5.1999

182



• Videodatenrate ITU-R BT.601 (4:1:1):

Kompressionsverhältnis:

Kompressionsverhältnis zu 4:2:2 Format:

8bits*(1+14

+14

)* 720* 485Pixel*29,97frames

sec=125,59Mbps

167,525,146

≈6,6:1

125,5925,146

≈5:1

27.5.1999

183



• Audioinformationen werden in 9 blocks zu 76 bytes gespeichert

• max. Audiodatenrate:

entspricht 4 Spuren in 32 kHz zu 12-bit:

oder 2 Spuren in 48 kHz zu 16-bit:

Mbpsframes

byte

bits

block

bytes

track

blocks

frame

tracks64,1

sec97,29*8*76*9*10 =

MbpsbitsMHzchannels 536,112*1000

32*4 =

MbpsbitsMHzchannels 536,116*1000

48*2 =

27.5.1999

184



• Gesamtdatenrate (Audio & Video), inklusiv Parity, aber ohne ITI sector

• Overhead:

• 25 % der aufgezeichneten Daten für subcode data, error detection und error correction!

Mbpsframes

byte

bitsblocks

block

bytesblocks

block

bytes

frame

tracks5,35

sec97,29*8*))12*12()163*90((*10 =+

%25100*5,35

7,8

7,864,115,255,35

=

=−− MbpsMbpsMbpsMbps

27.5.1999

185


1.3 DV Formate - 1.3 DV Formate - Allgem. Format:Allgem. Format: FehlerbehandlgFehlerbehandlg

• DV nutzt den Reed-Solomon (RS) error detection / correction Code

• Daten eines droupouts (burst errors) nur selten rekonstruierbar

• große Menge an Arbeitsspeicher (RAM) erforderlich

• Error concealment arbeitet mit einer Schätzung der verlorenen Daten

• Zur Datenübertragung wird nur ein error detection Code verwandt

27.5.1999

186


1.3 DV Formate - 1.3 DV Formate - Allgem. Format:Allgem. Format: Fehlererkennung mit KreuzparitätFehlererkennung mit Kreuzparität

• Video und Audio Daten mit einer Kreuzparität versehen

• nur „1 Bit Fehler“ korrigierbar

• gerade Parität

Darstellung einer Error Detection mit Parity bits

27.5.1999

187


1.3 DV Formate - DIF (Format) 11.3 DV Formate - DIF (Format) 1

• Aufbau 1– Data in Frame: DIF

– Format zur Datenübertragung via FireWire

– arbeitet nur mit error detection

=> einfachere Implementierung, geringerer Overhead

– DIF Format lehnt sich an das allg. DV Format an

– Bildauflösung: 720 x 480 Pixel

– die Synchronisations- und die Fehlerkorrekturdaten werden nicht mitübertragen!

27.5.1999

188



• Aufbau 2– Ein NTSC Bild mit 720 x 480 Pixel wird in 10 gleichgroße

DIF Sequenzen zu je 12000 Bytes gepackt– Eine DIF Sequenz beinhaltet 5 Superblocks für die

Videodaten– DIF Sequenzen bestehen aus 150 DIF Blocks zu je 80

Bytes (=20 Quadlets) Inhalt

Eine DIF Sequenz besteht aus:– 135 DIF blocks für Video Daten– 9 DIF blocks für Audio Daten – 6 DIF blocks für Header, Subcode und Video Auxiliary

(VAUX)

27.5.1999

189



• DIF Sequenzen im Detail 1

Anordnung von DIF Sequenzen

27.5.1999

190



• DIF Sequenzen im Detail 2– Resultierende Datenrate:

– Übertragung der DIF Blocks:

• 9 Audio DIF Blocks werden interleaved mit 135 Video DIF Blocks in eine 9 x 14 Matrix gemischt

• Zu Beginn wird ein 6 Block langer Header mit Subcode und VAUX übertragen

• Wiedergabe erfolgt in der gleichen Reihenfolge wie die Aufnahme

10Sequenzen

Bild*150

blocksSequenz

* 80bytesblock

*8bitsbyte

* 29,97BilderSekunde

=28,77Mbps≈3,6MbyteSekunde

27.5.1999

191



• DIF Sequenzen im Detail 3

• Übertragungssequenz von Data, Video und

Audio DIF Blocks

27.5.1999

192



• Superblocks & Makroblocks 1– DV frames bestehen aus 270 Videosegmenten => pro DIF

Sequenz ergeben sich 27 Videosegmente– jedes Videosegment beinhaltet 5 komprimierte

Makroblocks zu je 80 Bytes– ein Makroblock entspricht physikalisch einem DIF Block – jeder Makroblock stellt eine 32 x 8 Pixel Region innerhalb

eines Bildes dar => 1350 Makroblocks pro Bild– ein Superblock enthält 27 Makroblocks => pro DIF

Sequenz gibt es 5 Superblocks (5 * 27 = 135 DIF Blocks)– jeweils 5 Superblocks pro Spalte ergeben eine DIF

Sequenz

27.5.1999

193



• Superblocks & Makroblocks 2

Struktur eines Videosegments

27.5.1999

194




Aufbau eines Makroblocks3 bytes für die DIF block ID information

14 bytes jeweils für die Helligkeitsinformationen Y0, Y1, Y2, Y3 (=56 bytes)

10 bytes jweils für die Farbinformation Cr und Cb (= 20 bytes)1 byte als quantization number (QNO) und block status (STA)

27.5.1999

195




Anordnung der Makroblocks– Pro Superblock (Spalten) gibt es 27 Makroblocks– Die letzten Makroblocks (24, 25, 26) ergeben jeweils eine 16 x 8 Pixel

Region pro Zeile => 720 Pixel / 32 Pixel = 22,5– Makroblocks werden nicht zeilenweise angeordnet => error

concealment

27.5.1999

196




Superblocks innerhalb eines NTSC frames

27.5.1999

197



• Superblocks ...

Anordnung der Makro-blocks innerhalb eines NTSC DV frame

27.5.1999

198



• Dekodierung eines Videosegments 1– Dekodierung der AC Koeffizienten erfolgt mit einem 3

schrittigen variable length decoding Algorithmus:Schritt 1:

dekodiere VLC AC Koeffizienten für Y0, Y1, Y2, Y3, Cr und Cb innerhalb eines Makroblocks

Schritt 2:dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Makroblocks

Schritt 3:dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Video Segments

27.5.1999

199



• Dekodierung eines Videosegments 2Dekomprimierung und IDCT:– Inverse quantization– “Zigzag” Koeffizienten Sortierung– Inverse Gewichtung– Inverse diskrete Cosinus Transformation (DCT) nach 8-8 oder 2-4-8

(2-4-8 wird benötigt, wenn sich viele Details im Bild befinden.)– Speichere die Pixeldaten in der richtigen Reihenfolge innerhalb des

Video framesRandbedingungen:– Alle 3 Video Segmente muß der Audio DIF Block übersprungen

werden– Nach jeweils 27 Video Segmenten muß der Header, Subcode und

VAUX übersprungen werden. Dieses sind 6 DIF blocks.– Decodiere die 27 Video Segmente– Dieses wird nun 10 Mal pro Bild durchgeführt. Als Ergebnis erhält

man ein YUV kodiertes 4:1:1 Bild mit einer Auflösung von 720 x 480 Bildpunkten

27.5.1999

200


1.3 DV Formate - 1.3 DV Formate - Techn. Aspekte:Techn. Aspekte: Kassetten 1 Kassetten 1

• Grundlagen– 2 verschiedene Formate: DVC und MiniDV– Band hat eine Breite von 6,35 mm (1/4 inch)– wird mit 18,81 mm/sec im Normal Modus fortbewegt– MiniDV ist mit einem Kassettenadapter zur Standard DV

Kassette kompatibel– interner Festwertspeicher, MIC (Memory in Cassette),

max. 16 MB, aber nicht erforderlich!– MIC Daten werden über FireWire mitübertragen– geringere Probleme gegen Dropouts, als bei Hi8 Bändern– Bandmaterial besteht aus 5 Schichten

27.5.1999

201



• Geometrische Eigenschaften

Standard DV MiniDV

Geom. Abmessungen 125 mm x 78 mm x 14,6 mm 56 mm x 49 mm x 12,2 mm

Bandlänge 250 m 65 m

Kapazität 4,5 h = 58,5 GByte 1 h = 13 GByte

27.5.1999

202



• Anordnung der Spuren 1– min. 2 Köpfe auf einer rotierenden Kopftrommel– Rotationsgeschwindigkeit: 9000 rpm– azimuth recording Verfahren (+/- 10 Grad)– Spurlage um 9 Grad geneigt– Spurlänge: 35 mm, davon genutzt 33 mm– Spurbreite: 10 microns (Millionstel eines Meters)

(Hi8 benötigt 20,5 microns, VHS sogar 58 microns)– keine Kontrollspur zur Bandgeschwindigkeitsanpassung

=> DV mischt Pilottöne in den Datenstrom– 2 horizontale Spuren, die herstellerabhängig genutzt

werden

27.5.1999

203



• Anordnung der Spuren 2

Spuranordnung auf dem DV Band

27.5.1999

204



• Anordnung der Spuren 3

Aufnahme eines

Bildes nach NTSC

Norm

Anzahl an Tracks kann von DV geändert werden:=> NTSC 525/60 nutzt 10 Tracks pro Bild=> PAL 625/50 benötigt 12 Tracks pro Bild

27.5.1999

205



• Verwendung der Spuren– Insert and Track Information (ITI) Sektor:

• Track status• Kontrollspur während des Insert Schnittes => Pilottonspur

– Audio Sektor: • Audio und Audio Auxiliary (AAUX) Daten• 4 x 32 kHz, 12 Bit oder 2 x 48 kHz [44.1 kHz, 32 kHz], 16 Bit

– Video Sektor: • Video und Auxiliary Video (VAUX) Daten• Video Bilder mit DCT und Huffmann Kodierung auf 5:1

komprimiert• VAUX Daten enthalten Datum und Uhrzeit, Zoom und Linsen-

einstellung, shutter speed, Farbbalance, sonstige Kamera Einstellungen

– Subcode Sektor:• Timecode in kleinen Blöcken, packs, gespeichert• sonstige Informationen

27.5.1999

206


1.3 DV Formate 1.3 DV Formate -Techn. Aspekte:-Techn. Aspekte: 1394/FireWire 1 1394/FireWire 1

• Grundlagen– digitale Kommunikation zwischen max. 63 DV Geräten– Hochgeschwindigkeits serieller Bus (bidirektional)– dient der „reinen“ Kommunikation ähnlich TCP/IP, keine

Angaben zur Kodierung/Dekodierung

Vorteile– digitale Kopien zwischen 2 Camcordern oder VTRs mit 1394 I/O

Interface ohne Qualitätsverlust – linear editing ohne Qualitätsverlust möglich, keine Artefakte– Digitale Daten können von einem VTR oder einem Camcorder

mit 1394 I/O Interface direkt in einen Computer übertragen werden. Es ist keine Digitalisierung erforderlich!

– Günstiger Preis. Diese Schnittstelle wird in bereits vielen low-end DV-Kameras eingebaut und kostet wesentlich weniger als die professionelle Lösung, SMPTE 259M SDI (serial digital interface)

27.5.1999

207



• IEEE-1394 Steckernorm

– 2 geschirmte verdrillte Adernpaare (RX und TX)– Stromversorgung (8 - 40 V, 1.5 A)– „Gameboy“ Stecker– Datenraten: 98.304, 196.608, 393.216 Mbps!

27.5.1999

208



• DVC 1394 Paket

27.5.1999

209


1.3 DV Formate - 1.3 DV Formate - Sichtbare Phänomene 1Sichtbare Phänomene 1

• PIX Sampling in der Praxis 1

4:1:1 codiertes Bild

27.5.1999

210



• Aufnahme mit VX1000

• 525/29.97 NTSC Mode

• 2 Pixel gleiche Farbe, da co-sited 4:1:1 Format

4:1:1 codiertes Bild (Detail)

27.5.1999

211



• Aufnahme mit VX1000

• 625/50 PAL Mode

4:2:0 codiertes Bild (Detail)

27.5.1999

212


1.3 DV Formate - 1.3 DV Formate - Phänomene:Phänomene: PIX Artefakte 1 PIX Artefakte 1

• AllgemeinDurch die Farbreduktion ergeben sich 3 Probleme:

• Mosquito Noise• Quilting• Motion Blocking

– diese Effekte sind in der Regel kaum sichtbar– nur von Bedeutung beim Videoschnitt (Vergrößerung,

Zeitlupe, Gamma Korrektur, ...)

27.5.1999

213



• Mosquito Noise 1– Entstehung durch hochfrequente Bildanteile

– Erkennbar durch Pixelrauschen an scharfen Kanten

– nur innerhalb einer 8 x 8 Pixel Region

– tritt in allen DCT orientierten Kompressionsverfahren auf, wie JPEG, DV oder MJPEG

– Minderung dieser Artefakte durch Tiefpaß Filter => Weichzeichnen, Reduktion der Schärfe

27.5.1999

214



• Mosquito Noise 2

Testbild, erzeugt mit Adobe Premiere 4.2

27.5.1999

215



• Mosquito Noise 3

Testbild, erzeugt mit Adobe Premiere 4.2 (Detail)

27.5.1999

216



• Quilting 1– Entstehung durch Diskontinuität benachbarter DCT (8 x 8)

Blöcke

– Sichtbar an leicht diagonalen Linien

– Effekt tritt vor allen bei langsamen Kamera-schwenks auf

– Minderung durch Kontrastveringerung

27.5.1999

217



• Quilting 2

4:1:1 codiertes Bild

27.5.1999

218



• Quilting 3

Detailaufnahme (72 x 48 Pixel, 8 x 8 DCT Pfeile)

27.5.1999

219



• Motion Blocking 1– Entstehung durch getrennte Codierung der beiden

Halbbilder => Codecs

– tritt hauptsächlich bei PAL codierten Videos auf

– Sichtbar bei schnell bewegten Objekten

– Bild verliert in den „ruhigen“ Flächen an Schärfe

– Minderung durch höhere Verschlußzeiten der Blende => High Speed Shutter

27.5.1999

220



• Motion Blocking 2

Aufnahme mit einer PAL DVCAM

27.5.1999

221


1.3 DV Formate - Phänomene: DV Aussetzer 1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 1& Fehler 1

• Ursachen– Fehler werden hauptsächlich durch das Bandmaterial

verursacht– Fehler kann nicht beseitigt werden, da nur error detection=> fehlerhafte Stelle wird ausgelassen = Dropout

FehlerartenDropout

• 32 x 8 Pixel Region defekt• verdrecktes oder verknittertes Band

Bandeffekt• vorheriges Bild bleibt im Puffer stehen und wird angezeigt• verschmutzte oder defekte Videoköpfe (1 Kopf liest falsche

Daten)

27.5.1999

222



• Dropout 1

Dropout, aufgenommen mit einer VX1000 auf Sony MiniDV, 32 x 8 Pixel

27.5.1999

223



• Dropout 2

Dropout, aufgenommen mit einer VX1000 auf Panasonic MiniDV, (32 x 20) - (16 x 4) Pixel

27.5.1999

224



• Dropout 3

Multiple Dropout, bei einem Videokopf

27.5.1999

225



• Bandeffekt

Bandeffekt, NTSC 525/60 Bild mit 10 Streifen

27.5.1999

226


1.3 DV Formate konkret 11.3 DV Formate konkret 1

• Klassifizierung

System Zielgruppe

DV (56 Firmen) Consumer, Amateur

DVCam(Sony) Industriefilm,teilweise Broadcast

DVCPro (Panasonic) Consumer, Broadcast

Betacam SX (Sony) Broadcast

Digital Betacam (Sony) Broadcast

Digital-S (JVC) Broadcast, Studiobereich

27.5.1999

227



System

DV DVCam DVCPro Betacam SX Digital Be-tacam

Digital-S

Entwickler

56 Firmen Sony Panasonic Sony Sony JVC

Bandge-schwindig-keit

18,8 mm/s 28,2 mm/s 33,8 mm/s 59,6 mm/s 96,7 mm/s 57,8 mm/s

Spurbreite

10 m 15m 18m 32m 24m 20m

Quantisie-rung 8Bit 8Bit 8Bit 8Bit 10Bit 8Bit

Kompressi-onsfaktor 5:1 5:1 5:1 10:1 2:1 3,3:1

Signalver-arbeitung 4:2:0 4:2:0 4:1:1(4:2:2) 4:2:2 4:2:2 4:2:2

DatenrateVideo/ges. 25/41,85

Mbps

25/41,85Mbit/s

25/41,85Mbit/s

18/40

Mbit/s

84/125,68

Mbit/s

50/99

Mbit/s

27.5.1999

228



System

DV DVCam DVCPro Betacam SX Digital Be-tacam

Digital-S

DigitaleSchnittstelle IEEE 1394 QSDI,SDI SDI,CSDI SDDi,SDI SDI SDI

Audio Sam-pling 12/16 Bit 16 Bit 16 Bit 16 Bit 16 Bit 16 Bit

Audio

Quantisie-rung

32/48 KHz 32/48 KHz 48 KHz 48 KHz 48 KHz 48 KHz

Audio K a-näle 4/2 4/2 2 4 4 4

Bandmateri-al Mi-

niDV/DV,ME-Band

MiniDV/DV,ME-Band

Mi-niDV/DV,ME-Band

Betacam Betacam VHS

Spielzeiten/

min 60/270 40/184 63/123 60/240 bis 125 105

27.5.1999

229



• DVCPro 4:1:1– Propritäres Format von Panasonic und Television Systems

Co.– Benutzt Metallband mit einer Spurberite von 18 micron

und einer Bandgeschw. Von 33,82 mm/sec– nicht kompatibel zu DV, aber MiniDV Kassetten– Neuere VTRs können beide Formate abspielen– Beide Längsspuren werden für audio cue und control

tracks genutzt– Studioqualität– günstigere Versionen verfügen statt dem SDI über ein

1394/FireWire Anschluß– 4 fache Datenübertragung zwischen VTRs oder

Computern mit FireWire Anschluß– AJ-D200, VTR: AJ-D230

27.5.1999

230



• DVCPro 4:2:2 (DVCPro 50)– Weiterentwicklung der DVCPro– 1/4 inch DV Metallbänder mit einer Bandgeschw. von

67,64 mm/sec– 3,3:1 Kompression bei 4:2:2, gleich mit JVCs 1/2 inch

Digital-S– DV ähnliches Format, jedoch Verdoppelung der Tracks

pro Bild (bei NTSC statt 10 jetzt 20, bei PAL 24)– 2 zusätzliche Videoköpfe erforderlich (4 Köpfe)– Datenrate: 50 Mbps– kompatibel zu dem alten DVCPro Format

27.5.1999

231



• DVCAM– Entwickelt von Sony für die industrielle Videoproduktion– nutzt DV ME Band und weicht nur mit der Trackbreite

von 15 microns und der Bandgeschw. vom DV Format ab– Bandgeschwindigkeit: 28.22 mm/s– durch die breitere Spur verkürzt sich die Aufnahmezeit

einer 4.5 h Kassette auf 3 h– 2 Mbit MIC zur Speicherung von 198 Szenen– 4 fache Übertragungsgeschw. zwischen VTRs oder

Computern mit FireWire– liest normale DV Bänder, aber keine DVCPRO– DSR-130, DSR-200, VTR: DSR-85– DCR-VX800, DCR-VX1000, DCR-VX9000

27.5.1999

232



• Digital-S– Entwickelt von Japan Victor Corp. (JVC)– 1/2 inch VHS Kassetten mit einer Spieldauer von max.

104 min– Kompression: 3.3:1 DCT 4:2:2– 2 Längsspuren für audio cue track und control track– einige Digital-S Recorder können auch SVHS Kassetten

abspielen– Produktionskosten wurden gesenkt, da die Mechanik aus

den VHS Videorekordern übernommen wurde– geringere Dropouts als bei den 1/2 inch Bändern

27.5.1999

233



• Betacam SX– Entwickelt von Sony– 1/2 inch digitales Format– Spurbreite: 32 microns– benutzt MPEG-2 Kompression mit 4:2:2– Auflösung: 720 x 512 (nicht 720 x 480!)– max. Datenrate: 50 Mbps– Standard Datenrate bei 18 Mbps für Satelliten Link– Einsatz für Broadcast ENG/SNG

27.5.1999

234



• Qualität

Bewertung:1 : Normales Video10: Studioqualität(Subjektive Einschätzungvon Adam Wilt et al.)

System

D-5 (10-bit uncompressed digital) 10

D-1 (8-bit uncompressed digital) 9.9

Digital Betacam, Ampex DCT 9.7

Digital-S, DVCPRO50 9.6

DV, DVCAM, DVCPRO 9.2

MII, Betacam SP 9.1

D-3, D-2 (composite digital) 9

1" Type C 8.9

3/4" SP 6.5

3/4", Hi8, SVHS 5

Video 8, Betamax 4

VHS 3

EIAJ Type 1, Fisher-Price Pixelvision 1

27.5.1999

235


DV Formate - LSI Implementierung 1DV Formate - LSI Implementierung 1

• Aufbau– LSI Entwurf von Matsushita Electric Ind. der Schaltkreise

für das consumer DV– Einsatz in DVCPRO– Fähigkeit: einen 4:1:1 DV Datenstrom in einen 4:2:2 DV

Datenstrom zu interpolieren– Audio I/O mit I2C Interface von Philips

=> IC erzeugt ein serial D-1 (SMPTE 259M) video und AES/EBU serial audio Signal zur Versorgung der digitalen Komponenten der DVCPRO

– Integration des 1394 Interfaces– Verzögerung von 2 Bildern bei der Aufnahme und

Wiedergabe des Audio/Videostroms

27.5.1999

236



• Funktionsweise 1– Application Layer

• shuffle/deshuffle• compression/decompression der DV-Daten

– Tape Format Layer • Erzeugung der Reed-Solomon-Codes• die Modulation/Demodulation für die Aufnahme/

Wiedergabeköpfe– DVC-BUS

• proprietären Bus, der die beiden Einheiten verbindet• mit 8 Datenleitungen und 3 Kontrollsignalen• BDEN (data enable)• BDCK (data clock)• BQUIET (data start)

27.5.1999

237



• Funktionsweise 2

LSI Entwurf der DVCPRO

27.5.1999

238


1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 DV Formate + deren Eigenschaften

1.4 Quicktime

27.5.1999

239


1.4 Quicktime - Gliederung1.4 Quicktime - Gliederung

• Was ist QT?• Literatur• Historie• Bestandteile

– Component Manager

– Image Compression Manager

– Movie Toolbox

• Movie• Frontends

– QT Viewer - QT Player (Pro)

– QTVR Player

27.5.1999

240


1.4 Quicktime - Was ist QT?1.4 Quicktime - Was ist QT?

• Ein Herstellerstandard (Apple).• Architektur/Toolkit für multimediale Daten

– unterstützt:

- Standbilder - Graphik - Video - Sound

- Sprites/ Animation - Text - MIDI - 3D

-Tween - Timecode - VR

– schließt ein:

- Benutzerschnittstellen - Mediendienste (z.B. für Kompr.)

- Datenformate - Abstraktionsschicht

– Hardwareunabhängig - Plattformunabhängig - Erweiterbar

• Apple möchte: „Postscript“ für Digitale Medien

• Alternativen anderer Hersteller : - AVI? - Real networks?• Grundlage für MPEG-4 Standardisierung (?)

27.5.1999

241


1.4 Quicktime - Literatur 1.4 Quicktime - Literatur

• Literatur: (Stand 26.5.99)

– QT Home Page; http://www.apple.com/quicktime/

– QT Spezifikationen

http://www.apple.com/quicktime/specifications.html

– QuickTime4 Fact Sheet

http://www.apple.com/quicktime/pdf/QuickTime4_FS-a.pdf

– QuickTime4Pro Data Sheet http://www.apple.com/quicktime/pdf/QuickTime4Pro_DS-a.pdf

– Die QuickTime Media Layer; Broschüre Apple 1996

– Flechtker, B.: QT 3.0/4.0; Vortrag im Kompress.Sem., (Veranstalter Dittrich), FBI, UniDo, SS ‘99

27.5.1999

242


1.4 Quicktime - Historie 1.4 Quicktime - Historie

• 1991 von Apple vorgestelltJPEG, Cinepak, e-mail mit multimedialen Daten

• 1992 QT 1.5doppelte Geschwindigkeit, Kodak Foto Format

• 1994 QT 2.0Videos erstmals Bildschirm-füllend, Videos in mehreren Sprach-versionen,

MPEG I können ohne spezielle Hardware abgespielt werden

• QT 2.5Midi, searchable Text Tracks

• QT 3.0Sorenson Video Codec, Qdesign Music Compressor,

Qualcomm Pure Voice

• 1999 QT 4.0 (final 8.6..99)

27.5.1999

243


1.4 Quicktime -Verfügbarkeit1.4 Quicktime -Verfügbarkeit

• Mac Teil des Betriebssystems

• PC 3.11 95/98 NT4.0

• SGI Irix

27.5.1999

244


1.4 Quicktime - Bestandteile 11.4 Quicktime - Bestandteile 1

• auf Benutzerebene: – QT-Viewer: Standbilder

– QT-Player: Movies, Sounds

– QTVR-Player: Interaktive 3D-Movies

• auf Entwicklerebene:– Bietet:

• „Datenbank“, die Routinen registriert und Applikationen zur Verfügung stellt

• Routinen zum – Anfertigen, Editieren und Abspielen

– Komprimieren und Dekomprimieren

27.5.1999

245



• QuickTime: (als) Systemerweiterung • Bei Installation integriert es sich in das Betriebssystem und

kann von beliebigen Anwendungen ohne extra Aufruf durch den Anwender im Hintergrund benutzt werden.

– Toolbox: liefert „Manager“• Manager sind Routinensammlungen, die vom Programmie-rer

angesprochen werden

• stellen ihre Dienste anderen Managern oder Applikationen zur Verfügung

• erweiterbar durch Hinzufügen von Components

• bieten standardisierte Human Interfaces

• 3 wichtige Manager:

– Component Manager - Image Compression Manager

– Movie Toolbox

27.5.1999

246



• Component Manager– ist für das Verwalten von Geräten und Ressourcen

(Components) zuständig, die jede Anwendung nutzen kann.

• Zudem unterstützt er gleichzeitigen Zugriff mehrerer Programme auf das gleiche Programm oder die Ressource.

• QT 3.0: 175 Components

• QT 4.0: „over 200 media capabilities and components“

27.5.1999

247



• Image Compression Manager (ICM)– ist für das Komprimieren und Dekomprimieren von

Bilddatenmengen zuständig.

– Geräte- und Treiber-unabhängig

– verwaltet verschiedenste Kompressionsmodelle.

(Für künftige Codecs offen!)

27.5.1999

248



– Unterstützte Video Kompressoren (QT 4): – H.261 - H.263 - Animation - Apple BMP

– Apple Video - Cinepak - Component video

– DV NTSC and PAL - Graphics

– Intel Indeo Video 3.2 + 4.4 - Microsoft RLE

– Microsoft Video 1 - Motion JPEG A + B– Photo JPEG - Planar RGB - Sorenson Video 1+2

– Unterstützte Sound Kompressoren (QT 4): – 24-bit integer - 32-bit floating point

– 32-bit integer - 64-bit floating point

– ALaw 2:1 - AU - IMA 4:1 - MACE 3:1

– MACE 6:1 - MS ADPCM

– QDesign Music 1 + 2 - Qualcomm PureVoice

27.5.1999

249



• Movie Toolbox – Routinen für das

• Herstellen,

• Bearbeiten,

• Synchronisieren und

• Abspielen von Daten des

Datentyps „movie“.

27.5.1999

250


1.4 Quicktime - 1.4 Quicktime - Movie 1

• QT spielt ein movie:

27.5.1999

251



• Organi-

sation

eines

movies 1

1

2

3 Video

Video

Audio

Poster PreviewT

rack

s

Zeitachse

• Beliebig viele Tracks

• Individueller Offset

• Alternate Group

• Searchable Text Tracks

27.5.1999

252



• Organi-

sation

eines

movies 2

• Track verweist über Pointer auf das Medium

• Medium enthält Rohmaterial

• Rohmaterial kann sowohl in der Resource Fork als auch in der Data Fork enthalten sein

(nur auf Mac)

2 VideoTrack

Media

27.5.1999

253



• Datenstruktur eines movies:– Movie ist Baumstruktur, die aus Atomen (atoms)

unterschiedlicher Hierachieebenen besteht

– Atome können andere Atome enthalten

– Jedes Atom enthält Informationen über Typ und Länge

27.5.1999

254


• Movie

5Atom eines

movies:

Movie atom

Movie headeratom

Movie clippingatom

User-defined dataatom

Track atom

Clipping regionatom

Movie user data

Track headeratom

Track clippingatom

Clipping regionatom

Track matteatom

Clipping regionatom

Editatom

Edit listatom

Media atom

Media headeratom

Media handlerReference atom

Video media information atom

Data information atom

27.5.1999

255



• Darstellung eines movies 1

27.5.1999

256




27.5.1999

257




27.5.1999

258




27.5.1999

259




27.5.1999

260



• Von QuickTime in Movies unterstützte Medientypen 1– Video:

• MPEG, M-JPEG (jetzt hinreichend kompatibel zwischen verschiedenen Herstellern) und andere digitale Video-Standards, z. B. Cinepak, ...

• DV (neu in QT 3.0)

– Sprites:• Graphikbausteine für Computerspiele

– Sound:• Musik, Geräusche, Töne - eben digitalisierte Schallwellen;

mLAW-, IMA-Codecs.

27.5.1999

261



• Von QuickTime in Movies unterstützte Medientypen 2– Music:

• für MIDI-Daten

– Text:• wird meist zum Untertiteln von Videos eingesetzt.

– Graphiken

– Animation:• gerenderte, also bildweise berechnete Daten aus

Animationsprogrammen

– Quickdraw 3D:• Apples 3dimensionaler Graphikstandard

27.5.1999

262



• Von QuickTime in Movies unterstützte Medientypen 3– Tween:

• Art Steuerspur, um z. B. Quickdraw-Operationen wie Skalieren, Rotieren etc.

auf Daten in anderen Spuren anzuwenden.

– Time Code:• auch nach dem SMPTE - Standard;

(Society of Motion Picture and Television Engineers).

27.5.1999

263



• Anmerkungen 1– Synchronisation

• der verschiedenen zeitbasierten Daten wird erreicht durch Verwendung von Spuren/Tracks in einem Zeitkoordinatensystem.

• ---> Parallelität von Datenströmen.

– Bei Leistungsengpässen • werden Bilder übersprungen.

• Ton wird solange wie möglich vollständig erhalten.

• Zeitbasis wird, wenn irgend möglich, eingehalten.

27.5.1999

264



• Anmerkungen 2 – QuickTime unterstützt Multiprocessing (erste Schritte).

– Text in Textspur (z. B. für Untertitel) ist Text und kein Graphikoverlay.

• --> z.B. durchsuchbar. Gut für etwa Indizierung von Bild- oder Videokatalog.

• Codecs arbeiten asynchron zu QuickTime.

27.5.1999

265


1.4 Quicktime - Frontends 11.4 Quicktime - Frontends 1

• QuickTime Viewer– Für (Stand)bilder

27.5.1999

266



• QuickTime Player (Pro) 1– Easy-to-use controls

– New enhanced interface

– Ability to save effects settings

– Movie controller selection slider

– Bass and treble controls

– Balance control

– Streaming media support

– Ability to save movie favorites

– Info tray

27.5.1999

267



• QuickTime Player (Pro) 2– Import file formats

• 3DMF • AIFF • AU• Audio CD Data (Macintosh) • AVI

• BMP • DV • FlashPix*

• GIF • JPEG/JFIF • Karaoke• MacPaint • Macromedia Flash• MIDI • MPEG 1 • MPEG 1, Layer

3(MP3)• Photoshop* • PICS • PICT• Pictures • PNG • QuickTime Image File• QuickTime Movie • SGI• Sound • Targa • Text• TIFF* • Virtual Reality (VR) • Wave

27.5.1999

268



• QuickTime Player (Pro) 3– Export file formats

• AIFF • AU • AVI

• BMP • DV Stream • FLC

• Image Sequence movie exporters • JPEG/JFIF

• MacPaint • MIDI • Photoshop

• PICT • Picture • PNG

• QuickTime Image • QuickTime Movie

• SGI • System 7 Sound • Targa

• Text • TIFF • WAV

27.5.1999

269



• QuickTime Player (Pro) 4– Video effects

• Alpha gain • Blur

• Color balance • Color style

• Color tint • Edge detection

• Emboss • Film noise

• General convolution • Lens flare

• HSL balance • RGB balance

• Sharpen • Zoom

27.5.1999

270



• QuickTime VR (Teil vom QT Player)– Softwarelösung zur Erstellung und Erkundung virtueller

Welten.

– Unterschied zum Videofilm: Benutzer steuert seinen Blick (via Maus) selbst.

– 2 Techniken:• Panoramavideotechnik:

– 360 Grad Rundumblick wird durch "Vernähen" von Fotos erzeugt.

• Object-Video-Technologie:– Erlaubt interaktive Untersuchung von Objekten.

– Läßt das Objekt sich vor den Augen des Benutzers um 360 Grad drehen.

– Personen und Objekte anklickbar (Hot Spots).

Date post:	30-Dec-2015
Category:	Documents
Upload:	kaseem-watts
View:	24 times
Download:	1 times

Desktop Video

Documents