Automatische Erkennung der Frustration von Autofahrern
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 1
Ergebnisse und Anwendungsmöglichkeiten
Klas Ihme, Meng Zhang & Meike Jipp
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 2
Links: http://fox59.com/2017/02/03/police-case-of-road-rage-led-to-crash-that-flipped-over-car/Oben: http://www.cbs8.com/story/34169218/possible-road-rage-incident-in-mira-mesa-under-investigation
Rechts: http://www.focus.de/auto/ratgeber/sicherheit/wut-am-steuer-fordert-hohen-blutzoll-aggressive-fahrer-toeten-jedes-jahr-1200-menschen_aid_902625.html
• 80 % der Fahrer erleben Wut, benehmen sich aggressiv oder neigen gar zu Road Rage (AAA, 2007)
• Bei 50 % der tödlichen Unfälle in den USA mindestens ein aggressiver Fahrer beteiligt (AAA, 2007)
• Aggressive Fahrweise ist die Ursache für rund ein Drittel der Verkehrsunfälle mit Todesopfern in Deutschland (GDV, 2013)
DLR.de • Folie 3
Aggressionen im Straßenverkehr
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Wie kann man Aggressionen im Straßenverkehr verhindern?
Ziel: Aufbau eines Systems zur verlässlichen Erkennung von Frustration
• Datenbasiert ohne Befragung von Nutzern • Echtzeitfähig
Motivation: Frustration – Aggression im Straßenverkehr
DLR.de • Folie 4 Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Frustration
Aggression
Sicherheits-kritisches
Fahrverhalten
Blockierung von
Zielerreichung
Intelligente Assistenz
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 5
Komponenten von Emotionen
Appraisal/kognitive Bewertung des Ereignisses
Physiologische Veränderung
Action tendencies: Motivational, Verhaltensänderung
Gesichtsausdruck und Stimme: Kommunikation von Emotion und geplantem Verhalten
Subjective Feeling: Subjektive Komponente durch Beobachtung der eigenen Zustandsveränderung
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 6
Indikatoren von Frustration im Auto
Appraisal/kognitive Bewertung des Ereignisses
Physiologische Veränderung
Action tendencies: Motivational, Verhaltensänderung
Gesichtsausdruck und Stimme: Kommunikation von Emotion und geplantem Verhalten
Subjective Feeling: Subjektive Komponente durch Beobachtung der eigenen Zustandsveränderung
Welche spezifischen Gesichtsausdrücke sind indikativ für Frustration beim Autofahren?
Objektive Klassifikation von Gesichtsausdrücken: Facial Action Coding System
DLR.de • Folie 7 Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Ekman et al. (2002),Bilder: http://www.cs.cmu.edu/~face/facs.htm, https://www.researchgate.net/publication/220716822_Data_Mining_Spontaneous_Facial_Behavior_with_Automatic_Expression_Coding
https://de.pinterest.com/explore/facial-muscles/
1) Welche spezifischen Gesichtsausdrücke sind indikativ für Frustration?
2) Können wir aus Videoaufnahmen des Gesichts automatisiert erkennen, ob jemand frustriert ist?
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 8
Fragestellungen
DLR.de • Folie 9
Methode
1) Manuelle Kodierung nach Facial Action Coding System (FACS)
2) Untersuchung auf Basis automatischer Kodierung
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Induktion von Frustration
DLR.de • Chart 10 • Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
DLR.de • Folie 11
Versuchsablauf
baseline70 – 120 s
subjective rating drive withtime pressure
6 x
noFrustFrust
subjective rating
SAM
NASA-TLX
SAM
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
DLR.de • Folie 12 > Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Manipulationsprüfung
]*
]*]*
Ihme, Dömeland, Freese & Jipp, submitted
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 13
Spezifischer Gesichtsausdruck von Frustration:Ergebnisse der manuellen Kodierung
Ihme, Dömeland, Freese & Jipp, submitted
DLR.de • Folie 14
Spezifischer Gesichtsausdruck von Frustration:Automatische Analyse
Evidenz von 18 AUsPitch, Roll, Yaw Normalisierung am
MW der 1. min.
30 VP x 2 Bed. x ~ 6 min. x 3
+
< -10° v > 20°
< -10° v > 10°
< -10° v > 10°
Vorverarbeitung
Clustering Test
noFrust
Frust
%
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Zhang, Jipp & Ihme, in prep.
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 15
Spezifischer Gesichtsausdruck von Frustration:Ergebnisse automatische Analyse
neutral
neutral
Wut / Konzentration
Frustration
Lächeln
Zhang, Jipp & Ihme, in prep.
DLR.de • Folie 16
Spezifischer Gesichtsausdruck von Frustration:Ergebnisse der automatisierten Analyse
Extrahierter Gesichtsausdruck scheint guter Prädiktor für Frustration zu sein
In frustrierter Fahrt werden auch andere Gesichtsausdrücke gezeigt, deshalb genauere Modellierung sinnvoll
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Zhang, Jipp & Ihme, in prep.
Neutral Lächeln Wut/Konz. Frustration Neutral in NoFrust 22.6 10.1 22.8 10.9 33.7in Frust 20.6 10.3 19.2 27.3 22.7
** *
F+W
neutral
Lächeln
neutral
Frust
Wut/ Kon-zentration
DLR.de • Folie 17
Gesichtsausdruck von Frustration: zeitlicher Verlauf
Zhang, Jipp & Ihme, in prep.
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
• Gesichtsausdruck von Frustration: Aktivierung von Muskeln im Mundbereich
• Maschinelle Erkennung des Gesichtsausdrucks über Clusteringverfahren scheint möglich
• Clusteringverfahren zur Modellierung des Verlaufs von Frustration hilfreich
DLR.de • Folie 18
Zusammenfassung der Ergebnisse
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
• Gesichtsausdruck vielversprechender Indikator für Frustration von Autofahrern
• Erweiterung der Ergebnisse auf andere Emotionen
• Aufbau eines Echtzeitsystems zur Emotionserkennung
• Entwicklung von Strategien zur Reduktion von Frustration
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 19
Fazit und Ausblick
• Erkennung von Frustration zur Prävention von Unfällen
• Optimierung der User Experience während (Rapid) Prototyping im Human-Centred Design-Prozess (z.B. für Assistenzsysteme)
• Integration digitaler Assistenten mit Emotionserkennung ins Auto
DLR.de • Folie 20
Anwendungsfelder
Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Bilder: https://www.confused.com/on-the-road/safety/too-close-for-comfort-how-to-deal-with-tailgatershttps://raheelhcc.wordpress.com/2015/02/19/reimagining-hci-stuck-in-technological-tunnel-vision/
https://www.futurum.xyz/digital-assistants-become-key-differentiator-automotive-brands/
Vielen Dank für die Aufmerksamkeit!
Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)Institut für Verkehrssystemtechnik | Human Factors | Lilienthalplatz 7 | 38108 Braunschweig
Dr. Klas Ihme Telefon 0531 295-3497 | Telefax 0531 295-3402 | [email protected] | Institut für Verkehrssystemtechnik
DLR.de • Folie 21 Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
Fragen?
DLR.de • Folie 22 Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017
AAA, 2007: http://exchange.aaa.com/safety/roadway-safety/aggressive-driving/#.WKR5TuQ3lzIGDV, 2013: http://www.gdv.de/2013/03/kampfmaschine-auto/Ekman, P., Friesen, W. V., & Hager, J. (2002). The Investigator´s Guide for the Facial Action CodingSystem. Salt Lake City: A Human face.Ihme, K., Dömeland, C., Freese, M., & Jipp, M. Frustration in the face of the driver: A simulator study onfacial muscle activity during frustrated driving. (eingereichter Beitrag)Zhang, M., Jipp, M. & Ihme, K. Automatic Detection of Frustrated Facial Expressions of Car Drivers (inVorbereitung)
Vorarbeiten:Zhang M, Ihme K, & Jipp M. Maschinelle Erkennung der Frustration von Autofahrern ausVideoaufnahmen des Gesichts: Vorläufige Ergebnisse. 5. Interdisziplinärer Workshop KognitiveSysteme, Bochum, Germany, 14-16 March, 2016.Dömeland C, Ihme K, & Jipp M. Autofahren im (An-)Gesicht der Frustration: Eine Fahrsimulatorstudiezur Untersuchung der Gesichtsmuskelbewegung von Autofahrern während frustrierenderVerkehrssituationen. 57. Tagung experimentell arbeitender Psychologen, Hildesheim, Germany, 8-11March, 2015.
> Identifikation und Prädiktion relevanter Nutzerzustände im Automobil > Uwe Drewitz & Klas Ihme > 02.11.2016DLR.de • Folie 23
Referenzen