Post on 05-Apr-2015
transcript
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
1
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Dirk AlbrechtDirk Albrecht
Arbeitsberatung der ITG Fachgruppe 3.1.2Arbeitsberatung der ITG Fachgruppe 3.1.2““Digitale Bildcodierung”Digitale Bildcodierung”
Ilmenau, 30.06.2000Ilmenau, 30.06.2000
3D-Objektmodellierung 3D-Objektmodellierung für Facial Animationfür Facial Animation
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
2
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
1. Objektorientierte Bildcodierung
2. 3D parametrisches Gesichtsmodell
3. Objekterkennung / Objektverfolgung
4. Auswertung der Mimikparameter
5. Zusammenfassung und Ausblick
GliederungGliederung
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
3
1. Objektorientierte Bildcodierung
2. 3D parametrisches Gesichtsmodell
3. Objekterkennung / Objektverfolgung
4. Auswertung der Mimikparameter
5. Zusammenfassung und Ausblick
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
GliederungGliederung
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
4
Synthetic Natural Hybrid Coding (SNHC)Synthetic Natural Hybrid Coding (SNHC)
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
5
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Objektbasierte VideocodierungObjektbasierte Videocodierung
Object based Analysis-Synthesis
Coding
Knowledge based Object Coding
Semantic based Object Coding
2D- und 3D-Source Models,Wireframes
Face Model, Candide
Gesichtsausdruck etc.
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
6
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Einschränkung auf Head and Shoulder SzenarioEinschränkung auf Head and Shoulder Szenario
Gesicht frontal zur Kamera
Gemäßigte Kopfbewegung
Trennung von Kopf- und Schulterbereich
Lokale Gesichtsbewegung
Video VideoAnalyse SyntheseKanal
FAP-, FDP-Encoder
FAP-, FDP-Decoder
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
7
Head and Shoulder Szenario - BedingungenHead and Shoulder Szenario - Bedingungen
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
8
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
1. Objektorientierte Bildcodierung
2. 3D parametrisches Gesichtsmodell
3. Objekterkennung / Objektverfolgung
4. Auswertung der Mimikparameter
5. Zusammenfassung und Ausblick
GliederungGliederung
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
9
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
3D-Kopfmodell nach Rydfalk3D-Kopfmodell nach Rydfalk
Parametrisches Gesichts-Parametrisches Gesichts-
modell Candidemodell Candide
lokales KO-System• 79 Knoten• 108 Dreiecke
im Bildsystem
P = [R] • P* + PU
MPEG-4 definiert mindestens 50 Knotenpunkte - für eine gute Abbildung werden 500 erwartet
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
10
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Animation über Action Units (AU)Animation über Action Units (AU)
Ausgangspunkt: Neutrales Gesicht Blick in Richtung z-Achse alle Muskeln entspannt Augenlider tangential zur Iris Pupillen haben 1/3 des Iris-Durchmessers Mund geschlossen, Linie zwischen Lippen ist horizontal Zähne aufeinander liegend Zunge berührt die Linie zwischen den Zähnen
Facial Action Coding System (FACS)46 AU für Gesichtsausdrücke
12 AU für Blickrichtung u. Kopforientierung
basierend auf Gesichtsanatomie
korreliert mit Muskelbewegungen
Onset Apex End of
ApexOffset
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
11
Klassifikation von FAPsKlassifikation von FAPs
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
FAP Groups Primary facial expressions as defined for FAP 2
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
12
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
1. Objektorientierte Bildcodierung
2. 3D parametrisches Gesichtsmodell
3. Objekterkennung / Objektverfolgung
4. Auswertung der Mimikparameter
5. Zusammenfassung und Ausblick
GliederungGliederung
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
13
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Finden der Gesichtsform (Farbansatz)Finden der Gesichtsform (Farbansatz)
Textur Rg
By
Median
–
Textur-Amplitude
RGB IRgBy Median
Median IRgBy HSI
Farbton Sättigung
Schwellwert-operator
Binäres Hautbild
Ausgangs-bild
Probleme:Beleuchtungsverhältnisseunterschiedliche Hautfarben
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
14
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Gesichtserkennung über BewegungGesichtserkennung über Bewegung
1. Differenzbildberechnung2. Schwellwertoperator3. Rauschreduktion4. Histogramm der bewegten Pixel
Typisches Bewegungsbild Histogramm
Problem: statischer Hintergrund
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
15
Elastic Bunch Graph MatchingElastic Bunch Graph Matching
Zuordnung eines Gitternetzes ("Labeled Graph“) zu einem Gesicht
Knoten des Graphen beinhalten bestimmte Merkmale des Gesichts
Aufbringen diese Graphen auf das zu findende Gesicht über Matching Algorithmus
Extraktion der Merkmale über Jets (bestehend aus mehreren Gabor Wavelets)
Jet, bestehend aus 12 Gabor-Wavelets (4 Orientierungen bei 3 unterschiedlichen Größen)
Labeled Graph
3D Gabor-Wavelets
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
16
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Gesichtserkennung über EigenfacesGesichtserkennung über Eigenfaces
Gesichter bilden einen
Untervektorraum des
Originalbildes
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
17
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
2D Template Matching2D Template Matching
Suchbild mit eingeschränktem Suchraum
Normiertes Template
Drehung und Skalierungentsprechend Kopfgröße u. -drehung
Kreuzkorrelation
parametrisch
deformierbar
Ausnutzung symmetrischer
Charakteristiken
Evolutionäre
Navigationsroutinen
Problem: Training Set
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
18
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Optischer FlußOptischer Fluß
Bewegung eines Pattern in der Bildebene
Exu + Eyv + Et =0
Fluß Bewegung des Modells
Ergebnis ist Vektorfeld
Annahme: Helligkeit der
Objektpunkte gleich
über Zeit
für lokale Bewegung
hinreichend
Probleme mit starken
Texturen, bewegenden
Kanten etc.
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
19
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
1. Objektorientierte Bildcodierung
2. 3D parametrisches Gesichtsmodell
3. Objekterkennung / Objektverfolgung
4. Auswertung der Mimikparameter
5. Zusammenfassung und Ausblick
GliederungGliederung
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
20
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
GesichtsmerkmaleGesichtsmerkmale
Primäre Merkmale Augen
Mund
Nase
Augenbrauen
Zähne
Ohren
Zunge
Kinn
Wangen
Haar
Sekundäre Merkmale Textur der Haut, Adern
physische Verletzungen / Krankheiten
Geschlecht
Rasse
Größe / Alter
Feature SelectionUntersuchung der Wichtung der
Parameter
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
21
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Parametrische 2D-ModelleParametrische 2D-Modelle
W
VV1
V2
V3
V4
hr hl
L2D
do
du
oo
ou
W
VV1
V2
V3
L2D
do
du
t
hr hl
L2D
oo
ou
hchr hl
V1
V2
V3
V
Wr
Schätzverfahren
für Augen-und Mundwinkelpositionen
Augenöffnungsgrad
Auswahl des Mundmodells
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
22
Skalierungs- und MimikparameterSkalierungs- und Mimikparameter
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Gesichtsgröße Ausgangspunkt Dreieck der Augen und Mundmittelpunkt Verifikation der Ergebnisse anhand der äußeren Gesichtsform Schätzung der Tiefeninformation Normalenvektor des Dreiecks bestimmt Blickrichtung Projektion in Bildebene
Augengröße Bestimmung der Skalierungs- parameter Projektion in das 3D-Modell
Mundgröße Bestimmung der Lippengöße Projektion in das 3D-Modell
Projektion auf Action Units
Erkenntnisse: Solide Vorverarbeitung Robuste Schätzung der Augen-und Mundwinkel- positionen
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
23
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
1. Objektorientierte Bildcodierung
2. 3D parametrisches Gesichtsmodell
3. Objekterkennung / Objektverfolgung
4. Auswertung der Mimikparameter
5. Zusammenfassung und Ausblick
GliederungGliederung
Arbeitsberatung der ITG Fachgruppe 3.1.2Dirk Albrecht
Ilmenau, 30.06.2000
24
Fakultät für Elektrotechnik und InformationstechnikFachbereich Elektronische Schaltungen und Systeme
Technische Universität Ilmenau
Ausblick und ZusammenfassungAusblick und Zusammenfassung
Arbeitsbereich mit zahlreichen weltweiten Aktivitäten
beachtliche Ergebnisse
Standard für Übertragung gegeben (MPEG-4/SNHC)
Problem der Robustheit ist zu lösen, um eine Umsetzung in
kommerziellen Systemen zu erreichen