Zur funktionalen Architektur des Willens: Integration ... · Vorlesung im WS 2013/14 Lernen und...

Post on 09-Aug-2019

215 views 0 download

transcript

Vorlesung im WS 2013/14

Lernen und Gedächtnis

Klassisches Konditionieren Teil 2

Prof. Dr. Thomas Goschke

Professur für

Allgemeine Psychologie

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

2

Zeitliche Relation zwischen CS und US

1. Effekt der zeitlichen Relation zwischen CS und US

2. Merkmale des CS: Generalisierung und Diskrimination

3. Merkmale der CR

4

Zeitliche Relation zwischen CS und US

CS-US Intervall und Lidschlagkonditionierung

McAllister, W. R. (1953). Eyelid conditioning as a function of the CS--

UCS interval. Journal of Experimental Psychology, 45, 417-422.

Optimales CS-US-Interval variiert je nach Stimuli, Reaktionen und Lebewesen zwischen 0,5 bis > 30 sec

5

Zeitliche Relationen zwischen CS und US

CS

US

Verzögerte

Kond.

CS

US

Spuren-

kond.

CS

US

Simultane

Kond.

CS

US

Rückwärts-

kond.

Starke

Konditionierung

schwache oder

keine Konditionierung

schwächere

Konditionierung

6

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

7

Generalisierung und Diskrimination

Reizgeneralisierung

• Auch ein dem CS ähnlicher Reiz löst die CR aus

• Bsp.: Summton statt Glockenton als CS

• Stärke der CR hängt von Ähnlichkeit der Reize ab

Reizdiskrimination

• Nur ganz bestimmter CS wird von US gefolgt

• Ähnliche CS kein US

• Lebewesen lernt, immer feiner zwischen Reizen zu unterscheiden

8

Reizgeneralisierung

Lidschlussreaktion beim Kaninchen wurde auf Ton einer bestimmten Frequenz konditioniert

Wird CR auch durch Töne einer anderen Frequenz ausgelöst?

Ergebnis: Generalisierungsgradienten

Siegel et al. (1968). Generalization gradients obtaine from individual subjects

following classical conditioning. Journal of Experimental Psychology, 78, 171-174. 9

Generalisierungsgradienten

© Zimbardo & Gerrig (2004) 11

Reizdiskrimination

CR wird nur durch ganz spezifischen CS ausgelöst (Bsp. Kreis vs. Ellipse)

Grenzen der Diskriminationsfähigkeit: Experimentelle Neurose

12

Vorlesung im WS 2012/13

Lernen und Gedächtnis

Klassisches Konditionieren Teil 2

Prof. Dr. Thomas Goschke

Professur für

Allgemeine Psychologie

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

14

Was ist die konditionierte Reaktion?

Hypothese 1: Reizsubstitution

Reiz-Substitutions-Hypothese (Pawlow)

• auf den CS wird so reagiert, als ob er der US wäre

• CS aktiviert eine neuronale Repräsentation des US, die reflexhaft die UR (=CR) auslöst

CS-

Zentrum

US-

Zentrum

Reaktions-

zentrum US (Futter)

CS (Ton)

Reaktion

(Speicheln)

16

Was ist die konditionierte Reaktion? Probleme der Reiz-Substitutions-Theorie

CR und UR sind oft unterschiedlich (Stärke, zeitliches Muster)

• Z.B. konditionierte Lidschlussreaktion oft schwächer und langsamer als UR

CR umfasst nicht alle Komponenten der UR

• Z.B. reagiert Hund auf Futter (US) nicht nur mit Speichelfluss, sondern Kauen und Schlucken ist nicht Bestandteil der CR

CR kann Komponenten beinhalten, die nicht Teil der UR sind

• Z.B. reagieren Hunde auf Glocke oft mit Kopfdrehung und Hinschauen ist nicht Bestandteil der UR auf das Futter

CR ist manchmal sogar das Gegenteil der UR

• Z.B. steigt bei Meerschweinchen Herzfrequenz als Reaktion auf Elektroschock, aber sinkt in Reaktion auf den CS (Black, 1965)

„konditionierte kompensatorische Reaktion“

17

Was ist die konditionierte Reaktion?

Alternative Hypothese: Vorbereitende Reaktion

Hypothese: Die CR ist eine Vorbereitung auf den US

• CS liefert Information über den US und ermöglicht dem Organismus, das Auftreten des US zu antizipieren (Rescorla, 1988)

• CR ist eine Vorbereitung auf den US, nicht eine Reaktion auf ihn

• Z.B. ist konditionierte Speichelreaktion eine Vorbereitung auf das Fressen und die Lidschluss-CR eine Vorbereitung auf den Luftstoß

21

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

22

Was wird beim klassischen Konditionieren gelernt?

CS

(Ton)

US

(Futter)

UR

(Speicheln) S-R-Lernen

CS

(Ton)

US

(Futter)

UR

(Speicheln) S-S-Lernen

23

Was wird beim Klassischen Konditionieren gelernt?

1. S-R-Lernen: Assoziation zwischen CS und CR

Glocke Speicheln

oder

2. S-S-Lernen: Assoziation zwischen CS und US

Glocke „Antizipation“ von

Futter Speicheln

24

Was wird beim Klass. Kond. gelernt? Empirische Untersuchungen

1. Response-Prevention Paradigm

2. US Devaluationsparadigma

3. Sensorische Präkonditionierung

4. Konditionierung zweiter Ordnung

25

Was wird beim Klassischen Konditionieren gelernt?

1. Response-Prevention Paradigm

1. Lernphase: Paarung des CS mit US, Verhinderung der UR

(z.B. durch Drogen; temporäre Curare-Lähmung)

2. Testphase: Absetzen der Droge, Präsentation des CS

Ton Vermeidungsverhalten

• Spricht für S-S Lernen, da CS nie mit UR gemeinsam auftrat

• Aber: vielleicht wurde zwar die motorische Reaktion blockiert, aber der CS

nach wie vor mit einer zentralnervösen Repräsentation der Reaktion

assoziiert

Fitzgerald et al., 1973; Leaf, 1964

Ton Schock Reaktion nicht

möglich

26

Was wird beim Klassischen Konditionieren gelernt?

2. US Devaluation Paradigm

1. Lernphase: Klassische Konditionierung von CS mit US bis der CS die

CR auslöst.

Licht Futter Erhöhte Aktivität

2. Sättigungsphase: Ratten werden so lange gefüttert, bis Futter (US)

keine UR mehr auslöst.

3. Testphase: Löst Präsentation von CS die CR aus?

Wird der US „entwertet“, löst auch der CS keine Reaktion mehr aus.

Spricht für S-S Lernen.

Licht Keine erhöhte

Aktivität

Holland & Rescorla, 1975 27

Was wird beim Klassischen Konditionieren gelernt?

3. Sensorische Präkonditionierung

1. Präkonditionierungsphase: Paarung zweier neutraler Reize CS1 + CS2

Licht (CS2)

3. Testphase: Löst CS2 die CR aus?

Licht Vermeidungsverhalten

2. Konditionierungsphase: Paarung von CS1 (Ton) mit US (Schock) bis

CS1 die CR (Vermeidungsverhalten) auslöst.

Vermeidungsverhalten Ton Schock

• Spricht für S-S Lernen (da CS2 nie mit UR gepaart wurde)

• CS2 löst Antizipation des CS1 aus, der Antizipation des US auslöst

Rizley & Rescorla, 1972

Vermeidungsverhalten Ton

Ton (CS1)

28

Was wird beim Klassischen Konditionieren gelernt?

4. Konditionierung zweiter Ordnung

1. Lernphase: Paarung von CS1 mit US bis CS1 die CR auslöst

Licht Futter CR

2. Lernphase: Paarung von CS2 mit CS1

Licht Ton

3. Testphase: CS2 löst die CR aus

Ton CR

Spricht für S-S-Lernen (CS2-CS1-> Erwartung des US)

(Mögliche alternative Interpretation: S-R-Lernen (CS1 wird zum neuen US für die UR; in

Phase 2 führt dann CS2-CS1-Paarung dazu, dass CS2-CR-Assoziation gelernt wird)

Licht CR

Holland & Rescorla, 1975 29

Was wird beim Klassischen Konditionieren gelernt?

4. Konditionierung zweiter Ordnung und US-Entwertung

Nach Konditionierung zweiter Ordnung wurde US entwertet, indem

Ratten gesättigt wurden, so dass CS1 nicht länger UR auslöst

Licht Keine CR

Löst CS2 die CR aus?

Ton CR

Spricht dafür, dass Assoziation zwischen CS2 und CR gelernt wurde

Holland & Rescorla, 1975 30

Was wird beim Klassischen Konditionieren gelernt?

Drei Paradigmen und die erworbenen Assoziationen

2

31

Was wird beim Klassischen Konditionieren gelernt?

Schlussfolgerungen

Reiz- und reaktionsbezogene Aspekte von Ereignissen konkurrieren darum, mit dem neutralen Reiz assoziiert zu werden

Verschiedene Paradigmen führen zu S-S oder S-R-Assoziationen, je nachdem welcher Aspekt (S oder R) salienter ist

Sensorische Vorkonditionierung:

• S-S-Lernen, weil keine salienten Reaktionen mit dem CS1 assoziiert werden

Konditionierung 1. Ordnung

• Führt meist zu S-S-Lernen, weil der US meist sehr salient ist

Konditionierung 2. Ordnung

• S-R-Lernen, weil die vorhergehende Konditionierung 1. Ordnung dem CS1 reaktionsbezogene Merkmale verleiht, die salienter sind als seine reizbezogenen Merkmale

Holland, 1985 32

Was wird beim Klassischen Konditionieren gelernt?

Bedeutung der Konditionierung höherer Ordnung

Durch Kond. höherer Ordnung werden neutrale Reize zu konditionierten Reizen, ohne direkt mit einem US gepaart werden zu müssen

Beispiel: Evaluative Konditionierung

• CS 1.Ordnung: z.B. positive oder negative Wörter

• CS 2.Ordnung: z.B. Gesichter, die mit den Wörtern gepaart werden

• CR: Gesichter werden nach Kond. Positiver bzw. negativer bewertet (selbst wenn sich die Versuchspersonen nicht daran erinnern, welche Wörter mit welchen Gesichtern gepaart wurden)

Findet häufig Anwendung in der Werbung

33

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Basisphänomene: Akquisition, Extinktion, Spontanerholung

Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

35

Was ist entscheidend für die Verknüpfung von CS und US?

Kontiguität

Ereignisse werden assoziiert, wenn sie in raum-zeitlicher Nähe auftreten

Pro: oft ist Konditionierung bei kurzem CS-US-Intervall optimal

Contra: mitunter erfolgt Konditionierung auch bei sehr langen CS-US-Intervallen!

Kontingenz

Zwei Ereignisse werden assoziiert, wenn das eine das andere Ereignis vorhersagt

Raum-zeitliche Nähe ist nicht hinreichend für Konditionierung

Entscheidend ist, ob der CS ein valider Prädiktor des US ist

Kontiguität (raum-zeitliche Nähe von CS und US)

oder

Kontingenz (Vorhersagekraft des CS)?

37

Kontiguität oder Kontingenz?

Das Experiment von Rescorla (1968)

Ratten lernten, Hebel zu drücken, um Futter zu bekommen

Danach wurde ab und zu ein Ton für 2 Minuten dargeboten (CS)

Während des Tons erhielten Ratten mit einer bestimmten Wahrscheinlichkeit einen Elektroschock (US)

Mit einer bestimmten Wahrscheinlichkeit trat ein Elektroschock auch in Phasen ohne Ton auf

Abhängige Variable: Ausmaß der Unterdrückung des Hebeldrückens während des Tons (= konditionierte emotionale Reaktion)

(Stärkere Konditionierung stärkere Unterdrückung)

Rescorla, R. A. (1968). Probability of shock in the presence and absence of CS in fear conditioning. Journal of Comparative and Physiological Psychology, 66, 1-5.

38

Kontiguität oder Kontingenz?

Das Experiment von Rescorla (1968)

Variiert wurde:

1. Die Wahrscheinlichkeit, mit der der Stromschlag während des Tons auftrat: P(US|CS) = CS-US-Kontiguität

2. Wahrscheinlichkeit, mit der der Stromschlag in Abwesenheit des Tons auftrat: P(US|¬CS) = Basisrate des US

Kontingenz zwischen CS und US = P(US|CS) - P(US|¬CS)

Rescorla, R. A. (1968). Probability of shock in the presence and absence of CS in fear conditioning. Journal of Comparative and Physiological Psychology, 66, 1-5.

39

Kontiguität oder Kontingenz?

Das Experiment von Rescorla (1968)

P(US|CS) = 1 und P(US|¬CS) = 0 (perfekte Kontingenz)

P(US|CS) = 1 und P(US|¬CS) > 0 (d.h. CS liefert weniger Information über

das Auftreten des US, da der US häufig auch ohne CS auftritt)

40

Gruppe A: P(US|CS) = 1 aber P(US|¬CS) > 0

Gruppe B: P(US|CS) = 1 und P(US|¬CS) = 0

Kontiguität oder Kontingenz?

Das Experiment von Rescorla (1968)

41

Kontiguität oder Kontingenz?

Das Experiment von Rescorla (1968)

Bedingte Wahrscheinlichkeiten im Experiment von Rescorla

p(US|CS)

0 .1 .2 .4

p(US|¬CS)

0 0 .1 .2 .4

.1 0 .1 .3

.2 0 .2

.4 0

In den Zellen steht jeweils die Kontingenz = p(US|CS) - p(US|¬CS)

43

Kontiguität oder Kontingenz?

Ergebnisse von Rescorla (1968)

p(US|¬CS) = 0

p(US|¬CS) = .1

p(US|¬CS) =.2

p(US|¬CS) = .4

p(US|CS)

0.5 = Reaktions-häufigkeit wird nicht durch CS beeinflusst

0 = Verhalten wird während des CS vollständig unterdrückt

44

Kontiguität oder Kontingenz?

Ergebnisse von Rescorla (1968)

Erhöhung der Kontiguität hatte keinen Einfluss auf das Lernen, wenn die US-Basisrate im gleichen Maß erhöht wurde ( CS

vermittelte keine Information über das Auftreten des US)

Bei gegebener Kontiguität führt jede Verringerung der Basisrate zu einer Erhöhung der Kontingenz Verbesserung der

Konditionierung

Das Ausmaß der Konditionierung hängt davon ab, wie gut der CS den US vorhersagt

Klass. Kond. kann als eine Art statistischer Inferenz betrachtet werden

47

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Basisphänomene: Akquisition, Extinktion, Spontanerholung

Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

49

Konditionierte Inhibition

Was passiert, wenn der US nie zusammen mit dem CS auftritt (Kontiguität = 0), aber die US-Basisrate hoch ist?

Schock ¬Schock

Ton 0 8 8

¬Ton 6 2 8

6 10

Kontiguität:

p(US|CS) = 0/8= .0

Kontingenz:

p(US|CS) - p(US|¬CS) = 0 – 6/8 = -.8

Negative CS-US Relation wird gelernt

CR wird seltener oder schwächer gezeigt als es ansonsten der Fall wäre

CS wird zum Signal dafür, dass kein US folgt: CS = „conditioned inhibitor“

50

Konditionierte Inhibition, „Compound CS“ und Summationstest

Klick Schock CER

Pawlow, 1927; Zimmer-Hart & Rescorla, 1974

Klick

Licht

Keine CER

1. Training

2. Summationstest

Ton Schock CER

reduzierte CER Ton

Licht

51

Konditionierte Inhibition: Verzögerungstest

Klick Schock CER

Klick

Licht

Keine CER

1. Training

2. Verzögerungstest

Licht Schock Verzögerter Erwerb

der CER

Pearce, Nicholas und Dickinson (1982) 52

Konditionierte Inhibition: Schlussfolgerungen

Ein CS, der die Abwesenheit des US vorhersagt, führt zu einer Inhibition der CR

Kontingenz (in diesem Fall negative Korrelation) ist entscheidend

für klassisches Konditionieren

53

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Basisphänomene: Akquisition, Extinktion, Spontanerholung

Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

55

Blocking (Kamin, 1969)

Kontrollgruppe

Ton

Licht

16 Durchgänge 8 Durchgänge Test

Schock

Ton

Schock Ton

Licht Schock Keine CR

Das Licht erhöht in der Exp-Gruppe nicht die Vorhersagbarkeit des US und wird auch nicht gelernt

Experimental- gruppe

Licht

Licht CER

CER CER

CER

57

Blocking (Kamin, 1969)

58

Blocking und relativer Informationsgehalt (Wagner, 1969)

Ton

Licht Schock Gruppe 1

(200 x)

Ton

Licht Schock

Gruppe 2

Licht Schock

(200 x)

(200 x)

gemischt mit

Gruppe 3 Ton

Licht Schock (200 x)

Licht

gemischt mit

Kein Schock (200 x)

Ton CR

Ton Stärkere

CR

Ton Keine

CR

Licht ist besserer Prädiktor

Licht ist kein guter Prädiktor 59

Schlussfolgerung

Wenn CS1 ein besserer Prädiktor des US ist als ein CS2, dann blockiert der CS1 die Konditionierung des CS2

Ausmaß der Konditionierung hängt vom relativen Vorhersagewert des CS ab

60

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Basisphänomene: Akquisition, Extinktion, Spontanerholung

Disinhibition und Rekonditionierung

Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Biologische Einschränkungen und angeborene Lerndispositionen

61

Die Rescorla-Wagner-Theorie

Ziel: möglichst viele Phänomene beim Klassischen Konditionieren durch einen einheitlichen Lernmechanismus zu erklären

Mathematische Formalisierung

Die von Rescorla & Wagner angenommene Lernregel entspricht der sog. Delta-Regel in Lernmodellen auf der Basis neuronaler Netze

Rescorla, R. A. & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations on the effectiveness of reinforcement and nonreinforcement. In A. H. Black & W. F. Prokasy (Eds.), Classical conditioning: II. Current research and theory (pp. 64-99). New York: Appleton-Century-Crofts.

62

Die Rescorla-Wagner-Theorie Grundannahmen

1. Ist die Intensität des US größer als erwartet, werden alle CS, die mit dem US gepaart werden, exzitatorisch konditioniert

2. Ist die Intensität des US geringer als erwartet, werden alle CS, die mit dem US gepaart werden, inhibitorisch konditioniert

3. Ist die Intensität des US so wie erwartet, findet keine Konditionierung statt

4. Je größer die Diskrepanz zwischen erwarteter und tatsächlicher Intensität des US (der Vorhersagefehler), desto stärker ist die Konditionierung

5. Je auffälliger (salienter) ein Reiz ist, desto schneller wird er konditioniert

6. Werden zwei oder mehr CS präsentiert, werden die mit diesen verbundenen Erwartungen des US zu einer Gesamterwartung summiert

63

Die Rescorla-Wagner-Theorie Mathematische Fomulierung

V = ( - V)

V =Veränderung der CS-US-Assoziationsstärke im aktuellen Lerndurchgang

V = erwartete Stärke des US (spiegelt die aktuelle Stärke der CS-US-Assoziation, die bestimmt wie stark der CS die Repräsentation des US aktiviert)

= tatsächliche Stärke/Intensität des US

-V = Vorhersagefehler (prediction error)

= konstante Lernrate (Funktion der Salienz des CS; 0 ≤ K ≤ 1)

Die Änderung der Assoziationsstärke als Folge einer einzelnen CS-US-Paarung ist proportional zur (mit der Lernrate gewichteten) Differenz zwischen erwarteter und tatsächlicher US-Intensität

Lernen findet statt, wenn die erwartete und tatsächliche Stärke des US voneinander abweichen: |( - V)| > 0

64

V = ( - V)

= 100, = .2

Stärke der CS-US-Assoziation = 0

Nach 1. Lerndurchgang:

V = .2 x (100 - 0) = 20

Assoziationsstärke: V = 0 + 20 = 20

Nach 2. Lerndurchgang:

V = .2 x (100 - 20) = 16

Assoziationsstärke: V = 20 + 16 = 36

Die Rescorla-Wagner-Theorie Ein Beispiel

65

0

10

20

30

40

50

60

70

80

90

100

1 3 5 7 9 11 13 15 17 19

Asso

zia

tion

sstä

rke

Lerndurchgänge

Die Rescorla-Wagner-Theorie

[Gluck, Mercado & Myers: Learning and Memory, 1st ed.] Copyright © 2008 by Worth Publishers

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Basisphänomene: Akquisition, Extinktion, Spontanerholung

Disinhibition und Rekonditionierung

Lidschlusskonditionierung u. konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung

Das Rescorla-Wagner-Modell

Anwendungen des Rescorla-Wagner-Modells

Occasion setting und Kontextkonditionierung

Biologische Einschränkungen und angeborene Lerndispositionen

Neurobiologische Gundlagen

Klassisches Konditionieren im Alltag 70

Vorhersagen des R-W-Modells für mehrere CS

US: Futter, CSA: Ton, CSB: Licht

Die Gesamtassoziationsstärke beider CS ist gleich der Summe der einzelnen Assoziationsstärken des CSA und CSB mit dem US

Bei gleicher Lernrate (Salienz) für CSA und CSB ergibt sich:

VAB = VA + VB

VA = ( - VAB)

VB = ( - VAB)

für beliebig viele CSN gilt: V = ( - VN)

72

Vorhersagen des R-W-Modells für mehrere CS

Compound conditioning und kompetitives Lernen

Trial 1:

VA = VB = .20(100 – 0) = 20

VAB = 40

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8 9 10

CS allein

CS zusammen

mit zweitem CS

Lerndurchgänge

Asso

zia

tio

nsstä

rke

Trial 2:

VA = VB = .20(100 – 40) = 12

(statt: VA = .20(100 – 20) = 16 bei einem CS)

73

V = ( - VN)

Vorhersagen des R-W-Modells für mehrere CS

Compound conditioning und kompetitives Lernen

Copyright © 2008 by Worth Publishers

Einfache Konditionierung Compound-Konditionierung

Vorhersagen des R-W-Modells für mehrere CS

Compound conditioning und kompetitives Lernen

Die einzelnen CS müssen sich die maximale Assoziationsstärke teilen (d.h. sie „konkurrieren“ darum, mit dem US assoziiert zu werden)

Ein CS, der zusammen mit einem weiteren CS dargeboten wird, kann daher nur noch einen Teil der maximalen Stärke erreichen

Das Modell sagt eine Reihe von Effekten vorher:

• Überschattung

• Blocking

• Konditionierte Inhibition

75

Anwendungen des Rescorla-Wagner-Modells Überschattung

Trial 1:

VA = .40(100 – 0) = 40

VB = .10(100 – 0) = 10

VAB = 50

0

10

20

30

40

50

60

70

80

90

100

1 2 3 4 5 6 7 8

salient

wenig salient

Lerndurchgang

Trial 2: VA = .40(100 – 50) = 20

VB = .10(100 – 50) = 5

Zwei CS mit unterschiedlicher Salienz:

76

Anwendungen des Rescorla-Wagner-Modells Blocking

Kontrollgruppe

Ton

Licht

16 Durchgänge 8 Durchgänge Test

Schock

Ton

Schock Ton

Licht Schock Keine CR Experimental-

gruppe

Licht

Licht CER

CER CER

CER

Nach ersten 16 Durchgängen hat Ton (CSA) nahezu maximale Assoziationsstärke erreicht (VA = = 100), daher wird Licht (CSB) nicht mehr konditioniert

VA = 100

VB = 0

VAB = VA + VB = 100

VB = ( - VAB) = (100 - 100) = 0

77

Copyright © 2008 by Worth Publishers

Anwendungen des Rescorla-Wagner-Modells Blocking

78

Blockierungseffekte bei Menschen

Kategorien-Lern-Experiment (Bower & Trabasso, 1964)

79

Konditionierte Inhibition: Verzögerungstest

Klick Schock CER

Klick

Licht

Keine CER

1. Training

2. Verzögerungstest

Licht Schock Verzögerter Erwerb

der CER

Pearce, Nicholas und Dickinson (1982) 81

Konditionierte Inhibition im Rescorla-Wagner-Modell

83

Zusammenfassung des Rescorla-Wagner-Modells

Lernzuwachs ist proportional zur Differenz der aktuellen Assoziationsstärke und der erwarteten Assoziationsstärke

Lernen findet nur statt, wenn es eine Diskrepanz zwischen erwarteter und tatsächlicher US-Intensität gibt (entspricht der sog. Delta-Regel in neuronalen Netzwerkmodellen)

Mehrere CS konkurrieren darum, mit dem US assoziiert zu werden

R-W-Regel sagt viele Befunde zum klass. Kond. korrekt vorher (Überschattung, Blockierung, kond. Inhibition)

85

Probleme des Rescorla-Wagner-Modells

1. Latente Inhibition

Wiederholte Darbietung des CS vor der Lernphase („pre-exposure“) führt zu langsamerer Konditionierung

86 Gluck, Mercado and Myers: Learning and Memory, First Edition Copyright © 2008 by Worth Publishers

Lidschlagkonditionierung bei Kaninchen

Probleme des Rescorla-Wagner-Modells

1. Latente Inhibition

Wiederholte Darbietung des CS vor der Lernphase („preexposure“) führt zu langsamerer Konditionierung

Wird nicht durch Rescorla-Wagner vorhergesagt

Kann durch Zusatzannahme erklärt werden, dass vorherige

Darbietung die Salienz des CS und damit die Lernrate reduziert

87

= .2

Vor der Darbietung des CS:

VA = 0

Trial 1: Klick allein, d.h. = 0

VA = .20(0 – 0) = 0

VA = 0

V = ( - V)

Eine alternative Theorie: Aufmerksamkeitstheoretischet Ansatz von Mackintosh

Hypothese von Mackintosh (1975): Salienz () ändert sich mit dem Informationswert des CS

Je besser CS den US vorhersagt, umso größer wird seine Salienz umso mehr Aufmerksamkeit wird ihm zugewendet

Erklärt latente Inhibition: Während Präexposition lernt Lebewesen, dass der CS keinen Informationsgehalt hat und beachtet ihn daher nicht mehr

Erklärt Blocking-Effekt:

• Phase 1: CS1 gewinnt an Informationswert (sagt US vorher) Salienz steigt wird stärker beachtet

• Phase 2: CS2 hat keinen zusätzlichen Informationswert geringe Salienz wird nicht beachtet keine Konditionierung

Mackintosh, N.J. (1975). A theory of attention: Variations in the associability of

stimuli with reinforcement. Psychological Review, 82, 276-298. 88

Probleme des Rescorla-Wagner-Modells

2. Lernen von Reizkonfigurationen (Patterning)

Rescorla-Wagner: bei zusammengesetzten Reizen (compound stimuli) ist die Assoziationsstärke für die Kombination (CS1+CS2) gleich der Summe der Assoziationsstärken der einzelnen CS

Aber: viele Befunde sprechen dafür, dass bei zusammengesetzten Reizen die einzelnen CS nicht isoliert voneinander konditioniert werden (z.B. Pearce, 1994)

Z.B. positives und negatives Patterning

[CS1+CS2 US] aber [CS1 ¬US] und [CS2 ¬US]

[CS1 US] or [CS2 US] aber [CS1+CS2 ¬US]

89

Probleme des Rescorla-Wagner-Modells

2. Lernen von Reizkonfigurationen (Patterning)

Kein Schock

Licht

Schock Ton

Licht

Schock Ton

Schock Licht

Kein Schock Ton

Licht

Ton Kein

Schock

CR wenn Licht+Ton Keine CR, wenn Licht oder Ton allein

CR wenn Licht oder Ton allein Keine CR, wenn Licht+Ton

Ist nicht durch Bildung isolierter CS-US-Assoziationen zu erklären! Gelernt werden Assoziationen auf Reizkonfigurationen!

Positive patterning Negative patterning

Aber:

Aber:

90

Probleme des Rescorla-Wagner-Modells

2. Lernen von Reizkonfigurationen (Patterning)

Negatives Patterning bei der Lidschlag-Konditionierung von Kaninchen (Kehoe, 1988)

91

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Basisphänomene: Akquisition, Extinktion, Spontanerholung

Disinhibition und Rekonditionierung

Lidschlusskonditionierung u. konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Anwendungen des Rescorla-Wagner-Modells

Occasion setting und Kontextkonditionierung

Biologische Einschränkungen und angeborene Lerndispositionen

Neurobiologische Gundlagen

Klassisches Konditionieren im Alltag 93

Occasion setting

• Reize können beeinflussen, ob ein Lebewesen auf einen CS reagiert

• Ross & Holland (1981):

Futter Licht Ton 50% Durchgänge:

Kein Futter Ton 50% Durchgänge:

Ton- spezifische

CR

Licht Ton

Keine CR Ton

Lernphase

Testphase

• Das Licht wird zu einem „occasion setter“, anzeigt, ob der Ton von Futter gefolgt wird oder nicht

• Reize können auch negative occasion setter werden, wenn sie anzeigen, dass auf einen CS kein US folgt

94

Occasion setting

Futter

Licht

Ton CR

Modell von Holland (1983)

Vorhersage: Occasion setter (OS) sollte nur CR auf den Ton beeinflussen, nicht aber CR auf andere CS, die mit dem US gepaart wurden

Alternative These (Rescorla, 1985): OS fördert auch die Aktivierung der US-Repräsentation durch beliebige andere CS

Davidson & Rescorla (1986):

• Ton als OS für Lichtblitz

• Dauerhaftes Licht als OS für Klicken

• In Testphase wurden die OS vertauscht: Der Ton kontrollierte nun die Reaktion auf das Klicken und das dauerhafte Licht die Reaktion auf den Lichtblitz

95

Kontextkonditionierung

CS als auch US können mit Kontextreizen assoziiert werden (z.B. Käfigumgebung, Gerüche, Hintergrundgeräusche)

Evidenz für Kontext-CS-Assoziation

• CS löst stärkere CR aus, wenn er im gleichen Kontext dargeboten wird wie bei der Konditionierung (Bouton & Bolles, 1985)

Evidenz für Kontext-US-Assoziation

• Ortspräferenz: Wenn Ratten in einem bestimmten Teil eines Labyrinths Futter erhalten, halten sie sich länger dort auf

• US-Präexpositionseffekt: Konditionierung eines CS ist langsamer, wenn der US wiederholt vor der Konditionierung allein im Kontext präsentiert wurde US wird bereits aufgrund des Kontexts erwartet nach R-W geringes Lernen

(Domjan & Best, 1980)

97

99

Überblick zum Klassischen Konditionieren

Standardparadigma des Klassischen Konditionierens

Basisphänomene: Akquisition, Extinktion, Spontanerholung

Disinhibition und Rekonditionierung

Lidschlusskonditionierung u. konditionierte emotionale Reaktionen

Effekte der zeitlichen Relation zwischen CS und US

Generalisierung und Diskrimination

Was ist die konditionierte Reaktion?

S-R Lernen oder S-S Lernen?

Kontiguität oder Kontingenz?

Konditionierte Inhibition

Blockierung und konfigurale Cues

Das Rescorla-Wagner-Modell

Anwendungen des Rescorla-Wagner-Modells

Occasion setting und Kontextkonditionierung

Biologische Einschränkungen und angeborene Lerndispositionen

Neurobiologische Gundlagen

Klassisches Konditionieren im Alltag 100

Angeborene Lerndispositionen

Kontiguität und Geschmacks-Aversions-Lernen

Um 1960: Annahme, dass Lernen nicht möglich, wenn zwischen CS und US mehr als einige Sekunden liegen (Kimble, 1961)

Aber: Garcia, Ervin & Koelling (1966)

• Ratten erhielten Wasser mit Saccharingeschmack (CS)

• Danach Injektion, die Übelkeit verursacht (US)

• CS-US-Intervall: zwischen 5 – 22 Minuten (über 100 mal so lang wie üblicherweise beim K.K.)

• Ratten lernten dennoch, Wasser nicht mehr zu trinken

• Spätere Experimente: Ratten lernen selbst bei 24 Std. CS-US-Intervall

Ist evolutionär betrachtet adaptiv:

• vergiftete Nahrung führt oft erst nach längerer Zeit zu Übelkeit etc.

• Lebewesen, die Übelkeit auch über längere Zeitintervalle mit Nahrung assoziieren, haben höhere Überlebenschance

101

Angeborene Lerndispositionen

Preparedness

Dogma der klassischen Lerntheorie: Beliebige CS können mit beliebigen US assoziiert werden

• Pawlow (1928): „Jedes natürliche… Phänomen kann zu einem konditioniertem Stimulus werden… jeder optische Reiz, jedes beliebige Geräusch, jeder Geruch und die Stimulation beliebiger Hautregionen“

Aber: Leichtigkeit, mit der verschiedene CS mit einem bestimmten US assoziiert werden können, kann stark variieren

Ist Hinweis auf angeborene Lernbereitschaften

102

Angeborene Lerndispositionen Experiment von Garcia & Koelling, 1966

Geschmack (Zuckerwasser)

+ Lichtblitz

+ Klick

Gift Übelkeit

Zucker- Wasser

Neutral schmeckendes

Wasser +

Lichtblitz +

Klick

Geschmack (Zuckerwasser)

+ Lichtblitz

+ Klick

Elektroschock

Gruppe 1 Gruppe 2

Zucker- Wasser

Neutral schmeckendes

Wasser +

Lichtblitz +

Klick

CR = konsumierte Wassermenge

CS

US

104

Angeborene Lerndispositionen Experiment von Garcia & Koelling, 1966

Geschmacksreiz ist ein besseres Signal für Übelkeit

Geräusch+Lichtreiz ist ein besseres Signal für Schmerz

105

Angeborene Lerndispositionen

Schlussfolgerung

• Wie leicht ein CS mit einem US assoziiert wird, hängt von angeborenen Lernbereitschaften ab, die durch natürliche Selektion entstanden sind

• „the organism brings an associative apparatus, which has a long and specialized evolutionary history… The organism may be more or less prepared by the evolution of the species to associate a given CS and US or a given response with an outcome.“ (Seligman, 1970, p. 407)

Erklärt Befunde von Garcia & Koelling

• Übelkeit wird meist durch schlechtes Essen verursacht, aber praktisch nie durch akustische Reize

• Schmerz und Verletzungen sind häufig mit audio-visuellen Reizen assoziiert

• Weitere Beispiele

• Spinnen oder Schlangen sind häufiger Objekte von Phobien als z.B. Steckdosen oder Autos (Öhman, Dimberg & Öst, 1985)

• Affen lernen schneller, auf Schlangen als auf Blumen mit konditionierter Furcht zu reagieren (Cook & Mineka, 1990)

107

Angeborene Lerndispositionen Experimente von Öhman et al. Zur Furchtkonditionierung

leichte

Elektroschocks

CS ohne US: CER bleibt lange

Zeit erhalten

(hohe Löschungsresistenz)

CS US

+

CER (elektrodermale Reaktion)

CS ohne US: CER wird schnell

reduziert

(geringe Löschungsresistenz)

leichte

Elektroschocks +

108

Angeborene Lerndispositionen

Präattentive Verarbeitung und unbewusste Furchtkonditionierung

Annahme angeborener Überwachungs- und Abwehrfunktionen für furchtrelevante Reize

Ermöglichen schnelle und präattentive Identifikation gefährlicher Reize

Läuft unbewusst ab und kann zu Schreckreaktion führen, ohne dass Reiz bewusst erkannt wird

Reize, die aufgrund dieses präattentiven Mechanismen als bedrohlich eingestuft wurden, werden danach bevorzugt weiter verarbeitet / ziehen Aufmerksamkeit auf sich

Experimentelle Evidenz: Furchtkonditionierung auf unterschwellig (maskiert) dargebotene Reize (z.B. Bilder von Schlangen)

Öhman, A., & Soares, J. J. F. (1998). Emotional conditioning to masked stimuli: Expectancies for aversive

outcomes following nonrecognized fear-relevant stimuli. Journal of Experimental Psychology: General, 127, 69-82 109

Angeborene Lernbereitschaften vs. allgemeine Lernprinzipien

Ratten lernten, Hebel zu drücken um Futter zu erhalten

Schocks sollten Verhalten unterdrücken

U.V. Zeitabstand zwischen Verhalten und Schock

a) nach Baron, Kaufman & Fazzini, 1969 b) nach Andrews & Braveman, 1975

Verzögerung des Elektroschocks

(Sekunden)

Verzögerung der Giftgabe

(Stunden)

0 20 40 60 0 5 10 15 20 25

100

50

0

10

5

0

Geschmacks-Aversions-Lernen bei Ratten

Saccharinlösung -> Übelkeit

U.V. Zeitabstand zwischen Verhalten und Schock

113

Klassisches Konditionieren außerhalb des Labors

K.K. spielt wichtige Rolle beim Erwerb emotionaler Reaktionen (

Phobien)

K.K. liegt bestimmten verhaltenstherapeutischen Interventionen zugrunde

• systematische Desensibilisierung:

- durch allmähliche Annäherung an eine furchtauslösende Situation bei gleichzeitiger Entspannung soll Furcht gelöscht werden

- Angsthierarchie – Entspannungstraining - allmähliche Annäherung

• Aversive Gegenkonditionierung:

- unerwünschtes Verhalten (z.B. übermäßiger Alkoholkonsum) soll durch Assoziation mit einer unvereinbaren aversiven Reaktion unterdrückt werden

- CS(Alkohol) + US(Übelkeit) CR(Ekel)

• Exposition:

- Konfrontation mit einer furchtauslösenden Situation (z.B. hoher Turm, Fahrstuhl, belebter Platz) ohne dass negative Konsequenz eintritt Löschung

Klass. Konditionierung des Immunsystem

114