24
K3.1 Phonetik und Phonologie II 7. Sitzung Kategoriale Wahrnehmung, McGurk-Effekt
K3.1 Phonetik und Phonologie II
7. Sitzung
Kategoriale Wahrnehmung,
McGurk-Effekt
2
Hörfläche
3
Der stillste Raum der Welt – Orfield Laboratories, USA
4
Wahrnehmung von Lautstärke
Lautstärke wird in dB (DeziBel) gemessen, was ein perzeptives
Korrelat von Druck (akustische Schallintensität) ist: Pascal, oder Pa
Dezibel ist eine relative Messeinheit: der jeweilige Luftdruck (in Pa)
wird immer durch einen Referenzdruck (in Pa) geteilt. Wenn man vom
menschlichen Gehör spricht, werden oft 20 μPa (der minimale
wahrnembare Schalldruck) als Referenzdruck gemessen: dBSPL (Sound
Pressure Level)
20 * log (X μPa / 20 μPa) = dBSPL
So sind auch negative Werte möglich, wie z.B. im stillsten Raum der
Welt: -9 dB
Laustärkeunterschiede werden vom auditorischen System
logarithmisch wahrgenommen
5
Tonhöhenwahrnehmung
Perzeptives Korrelat der akustischen Frequenz (Schwingungen pro
Sekunde, Hertz, Hz) ist die Tonhöhe (engl. Pitch)
Die Perzeption von Tonhöhe ist logarithmisch: der Unterschied
zwischen 100 Hz und 200 Hz ist perzeptuell anders als der zwischen
1000 Hz und 1100 Hz (obwohl der absolute Unterschied in beiden
Fällen 100 Hz ist)
Lautere Segmente werden mit einem höheren Pitch assoziiert
Das auditorische System ist gegenüber Frequenzunterschieden im
tiefen Frequenzbereich empfindlicher als im hohen, siehe Abbildung
zur Hörfläche
Tonhöhenwahrnehmung funktioniert schlecht, wenn die Dauer eines
Signals unter 25 ms ist – pitch loss
6
Auditorische Frequenzskalain Mel – Werte bis 1000 Hz annähernd linear, danach nichtlinear
7
Dauerwahrnehmung
Dauer (lang/kurz) ist das perzeptive Korrelat der physikalischen
Eigenschaft Zeit (Länge z.B. in ms)
Schnelle spektrale Änderungen unterhalb 30 ms werden nicht
analysiert
10-20 ms von einem CV Signal sind genug, damit Sprecher C als
Plosive identifizieren
8
/da/ vs /ta/ Unterscheidung als Funktion der voice onset time (VOT) Länge
9
/da/ vs /ba/ Unterscheidung als Funktion der voice onset time (VOT) Länge
10
Kategoriale Wahrnehmung /ba/ vs. /da/ vs /ga/
11
Kategoriale Wahrnehmung
12
/ba/
/da/ /ɡa/
Ideale Verläufe
der Formant-
transitionen für
/ba/, /da/ und
/ɡa/ sind
markiert.
13
Kategoriale Wahrnehmung
Es werden (fast) kontinuierliche Stimuli synthetisiert
Loci der Formanttransitionen für Artikulationsort: /ba/, /da/, /ga/
Stimmhaft (= kurze voice onset time (VOT) vs. Stimmlos (= lange voice
onset time), engl. /pa/ [pʰa] vs. /ba/ [pa]
Hörer ordnen jeden Stimulus einer der verfügbaren Kategorien zu.
Der Kategorienwechsel bei Plosiven verläuft nichtlinear, ist abrupt.
Vokale, aber, werden meistens linear wahrgenommen.
Die Voraussetzung von kategorialer Wahrnehmung ist, dass
Identifizierung gleich gut wie Diskrimination funktioniert
Kategoriengrenzen sind sprachspezifisch
14
Exkurs - Perzeption von Ton im Serbokroatischen
Pavle Ivić & Ilse Lehiste, 1972
44 synthetisierte zweisilbige Wörter „radi“ mit jeweils
unterschiedlichen f0-Verläufe
Zwei leksikalische Möglichkeiten: /râːdiː/ (fallender Akzent)- „er macht“
und /rǎːdiː/ (steigender Akzent) „mach!“
Der erste Vokal war immer 260 ms lang, der zweite immer 120 ms
25 Versuchspersonen mussten bei jedem Stimulus entscheiden, ob es
ein fallender Akzent ist oder nicht
15
Exkurs - Perzeption von Ton im Serbokroatischen
4 f0-Muster nach V1: steil fallend, fallend, flach, steigend
V1a jeweils mit V2Aa oder V2Ba kombiniert; V1b, V1c und V1d jeweils mit
V2Abcd oder V2Bcd kombiniert
16
Exkurs - Perzeption von Ton im Serbokroatischen
Anzahl fallend
wahrgenommen
Erste Silbe
fallend 183-122
Hz
Zweite Silbe flach Zweite Silbe fallend
17
Exkurs - Perzeption von Ton im Serbokroatischen
Anzahl fallend
wahrgenommen
Erste Silbe
fallend 163-141
Hz
Zweite Silbe flach Zweite Silbe fallend
18
Multimodale Wahrnehmung – McGurk effect
https://www.youtube.com/watch?v=aFPtc8BVdJk
https://www.youtube.com/watch?v=yJ81LLxfHY8
19
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ??? ]
Akustischer Stimulus: [ ??? ]
Perzeption: [ ??? ]
20
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ??? ]
Akustischer Stimulus: [ ??? ]
Perzeption: [ da ]
21
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ga ]
Akustischer Stimulus: [ ??? ]
Perzeption: [ da ]
22
Multimodale Wahrnehmung
McGurk Effekt perzeptuelle Fusion multimodaler Stimuli
Visueller Stimulus: [ ga ]
Akustischer Stimulus: [ ba ]
Perzeption: [ da ]
Welche Erklärungsmöglichkeiten sehen Sie für den McGurk-Effekt?
Visueller Stimulus: [ ga ]
Akustischer Stimulus: [ ba ]
Perzeption: [ da ]
D.h. es wird etwas wahrgenommen, was weder akustisch noch visuell
präsentiert wurde.
Akustische Erklärung:
Betrachten wir die Formanttransitionen so kann man sehen, dass die
Transitionen für [ba] und [ga] am stärksten voneinander abweichen.
Da visuell der im Prinzip gut sichtbare cue „bilabial“ nicht zu sehen
ist, der visuelle Stimulus aber zu weiten Abstand zum akustischen cue
„velar“ hat, bleibt „alveolar“ als Kompromiss.
23
24
/ba/
/da/ /ɡa/
Ideale Verläufe
der Formant-
transitionen für
/ba/, /da/ und
/ɡa/ sind
markiert.
