Post on 05-Apr-2015
transcript
MPEG-4 MPEG-4 OverviewOverview
Michael Hübner 706771Semantic Media Showcase – Universität Potsdam
November 2003
Semantic Media Showcase - MPEG 42
starkes Zusammenwachsen von Computer, Fernsehen und Telekommunikation in den letzten Jahren
Informationen aus dem Internet sollen überall, jederzeit und egal womit abrufbereit sein
Interaktivere Gestaltung von Fernsehen (Video On Demand - VoD, Änderungen von Handlungsabläufen durch Nutzer)
Qualität der Information durch unterschiedliche Übertragungs-geschwindigkeiten bestimmt:
- Fernsehen durch Kabel bzw. Satelliten mehrere MBit/s (unidirektional)
- Computer durch ISDN-Kanal maximal 64 kBit/s bzw. DSL maximal 768 kBit/s
- Mobilfunk durch Handys nur noch 9,6 KBit/s
Warum MPEG-4Warum MPEG-4
Semantic Media Showcase - MPEG 43
Standard für Multimediaanwendungen (derzeit viele verschiedene, z.T. inkompatible Standards
Einheitliches Format zum Austausch von Audio- und Videoinformationen in den Bereichen:
- gute Skalierbarkeit auf En- und Decoder Seite
- Inhaltsbasierter Datenzugriff
- Hohes Maß an Interaktivität
- Darstellungsmöglichkeit von natürlichen und synthetischen Audio- und Videoinformationen
MPEG - 4 soll dies alles erfüllen
Warum MPEG-4 (Fort.)Warum MPEG-4 (Fort.)
Semantic Media Showcase - MPEG 44
Geschichte von MPEG-4Geschichte von MPEG-4
MPEG-4 ist ein ISO/IEC Standard (ISO/IEC 14496), entwickelt von MPEG (Moving Picture Experts Group)
Als Version 1 1998 verabschiedet, 2000 folgt Version 2 (geringe Erweiterungen, abwärtskompatibel)
Vorgänger waren MPEG-1 und MPEG-2 erfüllen nur unzureichend oben genannte Erwartungen
3 Felder: Digitales Fernsehen, interaktive grafische Applikationen und interaktives Multimedia (im World Wide Web, für Verteilung von Inhalten und Zugang zu Inhalten)
ISO/IEC 14496-1 (Systems): Tools (z.B. File Format, Descriptors, etc.)
ISO/IEC 14496-2 (Visual): nat. & syn.Coding, Animations
ISO/IEC 14496-3 (Audio): Sprach Coding, General Audio Coding
Semantic Media Showcase - MPEG 45
Was ist MPEG-4Was ist MPEG-4
ist keine Ersetzung von MPEG-1 & MPEG-2
ist Ergänzung der bisherigen MPEG-Standards
kein einheitliches Kompressionsverfahren festgelegt, Tools vonverschiedenen Audio- und Videokompressionsverfahren
Einheiten aus akustischem, visuellem oder audiovisuellem Inhalt, sog.„media objects“ (natürliche & synthetische Objekte)
MPEG-1Tools
MPEG-2Tools
MPEG- 4Tools
beschreibt durch Komposition derObjekte eine audiovisuelle Szene
Multiplexen und Synchronisieren derDaten der Objekte zum Transportüber geeignete Netzwerke (QoSanhand der Art der Objekte)
Interaktion Endnutzer audio-visuellen Szene
Semantic Media Showcase - MPEG 46
MPEG-4 StrukturMPEG-4 Struktur
Kodieren & Decodieren einer Szene bzw. Szeneninhalts,bisherige Codecs arbeiten mit einer Pixelmatrix
Szenen (audio-visuell), werden aus mehreren einfachen (primitiven)media objects (natürliche und synthetische)
Primitive media objects:
- unbewegte Bilder (still images), z.B. fester Hintergrund
- Videoobjekte (video objects), z.B. sprechende Personohne den Hintergrund, ohne Ton
- Audioobjekte (audio objects), z.B. Stimme zu einer Person,Hintergrundgeräusche, Musik
- Text, Grafiken, animierte künstliche Gesichter & Personen,synthetische Klänge
Semantic Media Showcase - MPEG 47
MPEG-4 Struktur (Fort.)MPEG-4 Struktur (Fort.)
Szenengraph beschreibt Szene (ist auch primitives media object)
- platzieren von media objects in einem Koordinatensystem
- Verändern der geometrischen oder akustischen Erscheinung eines media objects
- Kompositionvon einfachen media objects zu gemischten media objects wichtig beim Decoding
- interaktives Ändern an beliebigen Stellen innerhalb der Szene durch den Endnutzer
Konzept für Interaktion bzw. Szenenbeschreibung und Komposition beruhen auf der Virtual Reality Modeling language (VRML)
Semantic Media Showcase - MPEG 48
MPEG-4 BeispielMPEG-4 Beispiel
2D-Video-Objekt
3D-Video-Objekt
Audio (Hintergrund- musik) (syn.)
Audio (Geräusche) (natt.)
2D Hintergrund Video oder Bild
Semantic Media Showcase - MPEG 49
MPEG-4 EncodingMPEG-4 Encoding
S cene
Ocean-Sound
Ocean-Object
Person-Object
Person-Sound
Person-Video
Ocean-Video
Ball-3D-ObjectM usic
Szenegraph enthält Information über die Komposition der media objects
Objekte (inkl. Szenengraph) werden separat komprimiert und zu einem Datenstrom (mp4-Datei) zusammengefasst
Semantic Media Showcase - MPEG 410
MPEG-4 DecodingMPEG-4 Decoding
D elive ryLayer
O 1xx :xx
xx :xx
xx :xx
O 2
D M IF
O n
S ynchron isa tionLayer
D ecom pressionLayer
N e tw ork, C D ,H ard D isk
S ce ne
O ce a n -S o u n d
O ce a n -O b je ct
P e rso n -O b je ct
P e rso n -S o u n d
P e rso n -V id e o
O ce a n -V id e o
B a ll-3 D -O b je ctM u s ic
Semantic Media Showcase - MPEG 411
Audio-visuelle SzeneAudio-visuelle Szene
Semantic Media Showcase - MPEG 412
Tools zur KomprimierungTools zur Komprimierung
Natürliches Audio
- Sprachkodierung für Mobilfunk & InternettelephonieHVXC (Harmonic Vector eXcitation Code) &CELP (Code Excitat Linear Prediction)
- reine Musikkodierung MPEG - 2 AAC (Advanced AudioCoding) & TwinVQ (Transform-domain Weighted Interleave Vector Quantization)
Synthetisches Audio
- Text zu Sprache (Text to Speech - TTS)
- Integration des MIDI-Standard (Musical Digital Interface)
- Structured Audio Orchestra Language (SAOL) Sprache zurBeschreibung synthetischer Musik
Semantic Media Showcase - MPEG 413
Tools zur Komprimierung (Fort.)Tools zur Komprimierung (Fort.)
Natürliches Video
- Shape CodingBinary und Gray Scale Shape Coding
- Motion estimation und compensationin aufeinanderfolgenden Bildern einer Szene ändert sich der Inhalt wenig Speicherung aufeinanderfolgender Bilder nicht nötig
- Texture Codingdiskrete Kosinustransformation (DCT) & Quantisierungsprozess
- Sprite Codingstatisches Hintergrundbild, Verlust geringer Bewegungen
Synthetisches Video - Erweiterung der VRML
- facial animation Darstellung und Animation von Gesichtern
- body animation Darstellung und Animation von Körpern
- 2D-meshes Darstellung und Animation von 2D-Gittermodellen
Semantic Media Showcase - MPEG 414
Und noch mehr ToolsUnd noch mehr Tools
Profiles
- Profile: Simple , Advanced... Bitraten , Tools, Max. der Objekte etc.
MPEG-J
- Ansteuerung von Decodern mit Java-Code
- Szenengraph API, Ressourcen Manager API, Media Decoder API,Network API
Digitale Wasserzeichen
- Objekte mit digitalem Wasserzeichen versehen
- Qualitätsverlust beim Kopieren
- Soll freigiebiges Tauschen einschränken
Semantic Media Showcase - MPEG 415
AusblickAusblick
MPEG 7 - Multimedia Content Description Interface
- Toolset um MM-Inhalte zu beschreiben (Metadaten, Strukturen, Beziehungen...)
- Einfachere Suche nach MMI im Netz und Datenbanken
- Ergänzt MPEG 4
- Beinhaltet keine Kompression
MPEG 21
- umfassende Lösung für Zugriff auf Digitale Medien
- beinhaltet anbieten, suchen, kaufen
Semantic Media Showcase - MPEG 416
Quellennachweis & LinksQuellennachweis & Links
Quellennachweis
- Michael Repplinger: Seminar Computergraphik "Digitale Medien" Thema „Überblick über den neuen MPEG-4 Standard“ Fachbereich Informatik, Universität des Saarlandes Januar 2000 unter michael@repplix.de http://graphics.cs.uni-sb.de/Courses/ws9900/cg-seminar/Ausarbeitung/Michael.Repplinger/index.html
- Rob Koenen: MPEG-4 Overview - (Seoul Version); Seoul, March 1999 unterhttp://drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm
Bildnachweis
- Beispielbilder aus Corel Draw 8 Objects & Photos
Links
- http://www.research.ibm.com/mpeg4 Authoring-Tools + Demos
- http://www.m4if.org/mpeg4 MPEG-4 Industry Forum
Semantic Media Showcase - MPEG 417
Links (Fort.)Links (Fort.)
CELPhttp://www.causalproductions.com/TEMP/INDEX/IC97S202.HTM
Sprachkodierunghttp://rice.ecs.soton.ac.uk/jason/speech_codecs/index.html
MIDIhttp://midi.org/ und Complete MIDI 1.0 Detailed Specification
MPEG-2 AAChttp://www.tnt.uni-hannover.de/project/mpeg/audio/
SAOLhttp://sound.media.mit.edu/mpeg4/
TwinVQ http://sound.splab.ecl.ntt.co.jp/twinvq-e/