Memory is a mud trapMemory is a mud trap
Über den Verlauf des VergessensÜber den Verlauf des Vergessens
Christian KaernbachUniversität Leipzig
Wie zerfallen Gedächtnisinhalte?Wie zerfallen Gedächtnisinhalte?
• Zerfall oder Interferenz?
– Untrennbar miteinander verbunden:Es gibt keine Retentionsdauer, in der keine Interferenz stattfände, und sei es durch interne Zustände.
– Ob man Zerfall oder Interferenz mißt, hängt von der eingesetzten Methode ab.
– Im folgenden wird nur betrachtetder Zerfall als Funktion der Zeit.
• Zerfall oder Interferenz?
– Untrennbar miteinander verbunden:Es gibt keine Retentionsdauer, in der keine Interferenz stattfände, und sei es durch interne Zustände.
– Ob man Zerfall oder Interferenz mißt, hängt von der eingesetzten Methode ab.
– Im folgenden wird nur betrachtetder Zerfall als Funktion der Zeit.
Wie zerfällt Uran?Wie zerfällt Uran?
• Radioaktiver Zerfall ...Ausschwingen einer GitarrensaiteBremsvorgänge in Flüssigkeit oder Gas
allgemein: Relaxation in linearen Systemen ... verläuft exponentiell
• generiert durch „negative Verzinsung“– Pro Zeiteinheit zerfällt
ein gleicher Prozentsatz.
• Radioaktiver Zerfall ...Ausschwingen einer GitarrensaiteBremsvorgänge in Flüssigkeit oder Gas
allgemein: Relaxation in linearen Systemen ... verläuft exponentiell
• generiert durch „negative Verzinsung“– Pro Zeiteinheit zerfällt
ein gleicher Prozentsatz.)()( txtx
dt
d )()( txtx
dt
d
textx 0)( textx 0)(
EbbinghausEbbinghaus
0
10
20
30
40
50
60
0 5 10 15 20 25 30
Retentionsintervall [Tage]
Ers
parn
is [
%]
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
0
10
20
30
40
50
60
0 5 10 15 20 25 30
Retentionsintervall [Tage]
Ers
parn
is [
%]
EbbinghausEbbinghaus
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
kt
ktx
c
)(log
100)(
10 kt
ktx
c
)(log
100)(
10
tadtx log)( tadtx log)(
Woodworth & Schlosberg (1954):
Woodworth & Schlosberg (1954):
Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(
EbbinghausEbbinghaus
10
100
10 100 1000 10000 100000
log10 (Retentionsintervall [Minuten])
log1
0 (E
rspa
rnis
[%
])
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
kt
ktx
c
)(log
100)(
10 kt
ktx
c
)(log
100)(
10
tadtx log)( tadtx log)(
Woodworth & Schlosberg (1954):
Woodworth & Schlosberg (1954):
Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(
EbbinghausEbbinghaus
10
100
10 100 1000 10000 100000
log10 (Retentionsintervall [Minuten])
log1
0 (E
rspa
rnis
[%
])
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
kt
ktx
c
)(log
100)(
10 kt
ktx
c
)(log
100)(
10
tadtx log)( tadtx log)(
Woodworth & Schlosberg (1954):
Woodworth & Schlosberg (1954):
Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(
EbbinghausEbbinghaus
10
100
10 100 1000 10000 100000
log10 (Retentionsintervall [Minuten])
log1
0 (E
rspa
rnis
[%
])
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
Ebbinghaus, H. (1885). Über das Gedächtnis. Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.
kt
ktx
c
)(log
100)(
10 kt
ktx
c
)(log
100)(
10
tadtx log)( tadtx log)(
Woodworth & Schlosberg (1954):
Woodworth & Schlosberg (1954):
Anderson (1983):Anderson (1983): txtx 0)( txtx 0)(
KurvenanpassungKurvenanpassung
• Rubin, D.C. & Wenzel, A.E. (1996) One hundred years of forgetting: a quantitative description of retention.Psychol. Rev. 103, 734-760.
– 210 Datensätze– 105 zweiparametrige Formeln (theoriefrei)– kein Sieger
• Rubin, D.C. & Wenzel, A.E. (1996) One hundred years of forgetting: a quantitative description of retention.Psychol. Rev. 103, 734-760.
– 210 Datensätze– 105 zweiparametrige Formeln (theoriefrei)– kein Sieger
Gültigkeit des „Potenzgesetzes“Gültigkeit des „Potenzgesetzes“
• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten
• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche
– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre
• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen
• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten
• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche
– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre
• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen
• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten
• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche
– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre
• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen
• Material– Sinnlose Silben, Wörter– Alltagswissen– Fertigkeiten
• Explizites und implizites Gedächtnis• Lernen und Vergessen• Zeitbereiche
– Wixted & Ebbesen (1991): 2.5-40 s– Squire (1989): 1 - 15 Jahre
• Spezies– Menschen– Hunde, Ratten, Katzen, ...– Bienen
Gültigkeit des „Potenzgesetzes“Gültigkeit des „Potenzgesetzes“
Baddeley, A. (1997)Human memory: Theory andpractice. Hove: Psychology Press. “We know surprisingly little about this most fundamental aspect of human memory.”
GedächtnismodelleGedächtnismodelle
• Jede Spur ist ein getrennter Knoten im Netzwerk.– Suche unter parallel aktivierten Spuren
• SAM (Raaijmakers & Shiffrin, 1980)
– Aktivierungsausbreitung zwischen den Spuren• ACT (Anderson, 1983)
• Die Spur ist auf alle beteiligten Knoten verteilt.Parallel Distributed Processing(Rumelhart McClelland 1986)
– Hopfield Netz (Hopfield & Tank, 1986)
• Jede Spur ist ein getrennter Knoten im Netzwerk.– Suche unter parallel aktivierten Spuren
• SAM (Raaijmakers & Shiffrin, 1980)
– Aktivierungsausbreitung zwischen den Spuren• ACT (Anderson, 1983)
• Die Spur ist auf alle beteiligten Knoten verteilt.Parallel Distributed Processing(Rumelhart McClelland 1986)
– Hopfield Netz (Hopfield & Tank, 1986)
Das Hopfield-Netz Das Hopfield-Netz
• N Neurone, symmetrisch all-to-all verbunden.cj Zustand des Neurons jwij Gewicht der Synapse zwischen Neuron j und Neuron i
• N Neurone, symmetrisch all-to-all verbunden.cj Zustand des Neurons jwij Gewicht der Synapse zwischen Neuron j und Neuron i
N
jjiji tcwtV
1
)1()(
N
jjiji tcwtV
1
)1()(
• Feuern probabilistisch.• Feuern probabilistisch.
• internes Potential = Summe der Aktivität Synapsengewichte.
• internes Potential = Summe der Aktivität Synapsengewichte.
kTVi iecp /1
1)feuert ( kTVi ie
cp /1
1)feuert (
internes Potentialp(
Feu
ern)
1k 1k
Hebbsches LernenHebbsches Lernen
• wij wird vergrößert, „wenn es mit den Geschehnissen kompatibel ist“.cj(t1) = +1, ci(t) = +1, oder cj(t1) = –1, ci(t) = –1.
• wij wird vergrößert, „wenn es mit den Geschehnissen kompatibel ist“.cj(t1) = +1, ci(t) = +1, oder cj(t1) = –1, ci(t) = –1.
• wij wird verkleinert, „wenn es mit den Geschehnissen inkompatibel ist“.cj(t1) = +1, ci(t) = –1, oder cj(t1) = –1, ci(t) = +1.
• wij wird verkleinert, „wenn es mit den Geschehnissen inkompatibel ist“.cj(t1) = +1, ci(t) = –1, oder cj(t1) = –1, ci(t) = +1.
• Größe der Veränderung: Lernrate • Größe der Veränderung: Lernrate
1ijw 1ijw
0iiw 0iiw
Vergessen im Hopfield-NetzVergessen im Hopfield-Netz• Start mit Idealgewichten für zu erinnerndes Muster.
• Hebbsches Lernen bei hoher Temperatur bewirkt allmähliches Vergessen.
• Start mit Idealgewichten für zu erinnerndes Muster.
• Hebbsches Lernen bei hoher Temperatur bewirkt allmähliches Vergessen.
txtx 0ln)(ln
textx 0)(
Diffusion mit HindernissenDiffusion mit Hindernissen
textx 0)( textx 0)(
E
x
ln kT E kTEe / kTEe /xx
dt
d xx
dt
d
txtx 0ln)(lnSystematisch durchvariieren:Neuronenzahl N = 8, 16, 32, 64Temperatur T = 0.1...0.5Lernrate = 0.1...0.4
Systematisch durchvariieren:Neuronenzahl N = 8, 16, 32, 64Temperatur T = 0.1...0.5Lernrate = 0.1...0.4
Mit steigendem sinkt E:
E 0.58
Mit steigendem sinkt E:
E 0.58
E
x
Diffusion mit HindernissenDiffusion mit Hindernissen
xxdt
d
xxdt
d
))(()( 0
tMLxtx ))(()( 0
tMLxtx
Häufigkeit
E
1,0 1,0
Nicht-exponentielle DiffusionNicht-exponentielle Diffusion
textx 0)( textx 0)(
kTEe / kTEe /E
x
xxdt
d xx
dt
d
log (Zeit)
log
(Sp
ur)
log (Zeit)
log
(Sp
ur)
Zeit
Sp
ur
Zeit
Sp
ur
Mittag-Leffler-FunktionMittag-Leffler-Funktion• Beispiel für = 0.5:• Beispiel für = 0.5:
• ML-Funktionen passen zu den Gedächtnis-Daten.
• ML-Funktionen haben keine Singularität bei t = 0.
• Es gibt eine erzeugende Differentialgleichung,die von einem mikromechanischen Modell motiviert ist.
• ML-Funktionen passen zu den Gedächtnis-Daten.
• ML-Funktionen haben keine Singularität bei t = 0.
• Es gibt eine erzeugende Differentialgleichung,die von einem mikromechanischen Modell motiviert ist.
?
Anwendbarkeit in derGedächtnispsychologie?
Fallen verschiedener TiefeFallen verschiedener Tiefe
• Bei einer Exponentialverteilung der Fallentiefe ergibt sich eine Wartezeitverteilung mit nicht-finitem Mittelwert:
• Bei einer Exponentialverteilung der Fallentiefe ergibt sich eine Wartezeitverteilung mit nicht-finitem Mittelwert:
• Einwand: Im Hopfieldnetz liegen bei konstantem Fallen gleicher Tiefe vor.
• Einwand: Im Hopfieldnetz liegen bei konstantem Fallen gleicher Tiefe vor.
E
1,0 ,1
)( :1
ttWt 1,0 ,
1)( :
1 t
tWt
EEEE
Dynamische FallenDynamische Fallen
• In der Neuroinformatik üblich: T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.
• äquivalent: E vergrößern.
• In der Neuroinformatik üblich: T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.
• äquivalent: E vergrößern.– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema
• inadäquat für kontinuierlichen Input
– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema
• inadäquat für kontinuierlichen Input
E
Dynamische FallenDynamische Fallen
• alternativer Ansatz: „adaptive Fallen“Je länger ein item in einer Falle ist,desto tiefer wird sie.
• alternativer Ansatz: „adaptive Fallen“Je länger ein item in einer Falle ist,desto tiefer wird sie.
mud trapmud trap• In der Neuroinformatik üblich:
T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.
• äquivalent: E vergrößern.
• In der Neuroinformatik üblich: T oder mit der Zeit verkleinern.– simulated annealing: T nimmt ab.– Kohonen-Karten: nimmt ab.
• äquivalent: E vergrößern.– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema
• inadäquat für kontinuierlichen Input
– setzt globalen Effektor voraus (Hormon?)– festes Zeitschema
• inadäquat für kontinuierlichen Input
1
1)( t
tW 1
1)( t
tW
kTEkTE tt ee //1 kTEkTE tt ee //1
Wartezeitverteilung mit nicht-finitem Mittelwert:Wartezeitverteilung mit nicht-finitem Mittelwert:
Hopfield mit dynamischen FallenHopfield mit dynamischen Fallen• Bei unverändertem Muster sinkt die Temperatur:
• Wenn sich das Muster ändert, wird die Temperatur wieder hochgesetzt.
• Bei unverändertem Muster sinkt die Temperatur:
• Wenn sich das Muster ändert, wird die Temperatur wieder hochgesetzt. tt TT ee /1/1 1 tt TT ee /1/1 1
Hopfield mit dynamischen FallenHopfield mit dynamischen Fallen• Bei unverändertem Muster sinkt die Lernrate:
• Wenn sich das Muster ändert, wird die Lernrate wieder hochgesetzt.
• Bei unverändertem Muster sinkt die Lernrate:
• Wenn sich das Muster ändert, wird die Lernrate wieder hochgesetzt.
tt ee
6.01
6.0
tt ee6.0
16.0
Steuerung pro NeuronSteuerung pro Neuron• Bei unverändertem Einzelverhalten des Neurons sinkt dessen Temperatur.
• Wenn sich das Einzelverhalten ändert, wird die Temperatur wieder hochgesetzt.
• Bei unverändertem Einzelverhalten des Neurons sinkt dessen Temperatur.
• Wenn sich das Einzelverhalten ändert, wird die Temperatur wieder hochgesetzt.
Lernen im Hopfield-NetzLernen im Hopfield-Netz
„Potenzgesetz“des Lernens
set effect
• Start mit zufälligen Gewichten. Hebbsches Lernen bei verrauschtem Muster.
• Bei unverändertem Muster sinkt die Lernrate. Wenn sich das Muster ändert, wird sie wieder hochgesetzt.
• Start mit zufälligen Gewichten. Hebbsches Lernen bei verrauschtem Muster.
• Bei unverändertem Muster sinkt die Lernrate. Wenn sich das Muster ändert, wird sie wieder hochgesetzt.
Bringt die mudtrap einen Vorteil?Bringt die mudtrap einen Vorteil?• Hebbsches Lernen bei verrauschtem Muster bewirkt allmähliches Lernen.
• Ab Zeitschritt 1000 wird unkorreliertes Rauschen eingesetzt: Vergessen.
• Hebbsches Lernen bei verrauschtem Muster bewirkt allmähliches Lernen.
• Ab Zeitschritt 1000 wird unkorreliertes Rauschen eingesetzt: Vergessen.
ohne mudtrap
mit mudtrap
Das Jostsche GesetzDas Jostsche Gesetz• Sind zwei Spuren jetzt unter einer bestimmten Operationalisierung gleich stark,
dann wird später diejenige stärker sein, die früher gesetzt wurde.• Sind zwei Spuren jetzt unter einer bestimmten Operationalisierung gleich stark,
dann wird später diejenige stärker sein, die früher gesetzt wurde.
Jost, A. (1897). Die Assoziationsfestigkeit in ihrer Abhängigkeit von der Verteilung der Wiederholungen. Zeitschrift für Psychologie und Physiologie der Sinnesorgane, 14, 436-472.
Jost, A. (1897). Die Assoziationsfestigkeit in ihrer Abhängigkeit von der Verteilung der Wiederholungen. Zeitschrift für Psychologie und Physiologie der Sinnesorgane, 14, 436-472.
Das NetzwerkDas Netzwerk
Sikström, S. (2002). Forgetting curves: implications for connectionist models. Cognitive Psychology 45, 95–152.
– verteilte Lerngeschwindigkeiten– primacy, recency-Effekte
Sikström, S. (2002). Forgetting curves: implications for connectionist models. Cognitive Psychology 45, 95–152.
– verteilte Lerngeschwindigkeiten– primacy, recency-Effekte
Sverker SikströmSverker SikströmIgor SokolovIgor Sokolov
Sokolov, I., Klafter, J., Blumen, A. (2002). Fractional Kinetics. Physics Today 55, 48-54.
– fraktale Kinetik
Sokolov, I., Klafter, J., Blumen, A. (2002). Fractional Kinetics. Physics Today 55, 48-54.
– fraktale Kinetik
FazitFazit• Das Lernen und Vergessen in einem Hopfield-Netz
mit verteilten oder adaptiven Fallen wird durch eine fraktale Differentialgleichung beschrieben und verläuft wie eine Mittag-Leffler-Funktion.– Wichtig ist nicht die genaue Implementierung.
• Wird menschliches Lernen/Vergessen durch eine fraktale DG beschrieben? Es könnte schon so sein...– Die Daten werden zwar nicht besser beschrieben, aber der Verlauf wird zum
ersten Mal von theoretischen Modellvorstellungen abgeleitet.
• Experimentelle Überprüfung– „Potenzgesetz“ zum x-ten Mal bestätigen: wenig hilfreich
• Das Lernen und Vergessen in einem Hopfield-Netz mit verteilten oder adaptiven Fallen wird durch eine fraktale Differentialgleichung beschrieben und verläuft wie eine Mittag-Leffler-Funktion.– Wichtig ist nicht die genaue Implementierung.
• Wird menschliches Lernen/Vergessen durch eine fraktale DG beschrieben? Es könnte schon so sein...– Die Daten werden zwar nicht besser beschrieben, aber der Verlauf wird zum
ersten Mal von theoretischen Modellvorstellungen abgeleitet.
• Experimentelle Überprüfung– „Potenzgesetz“ zum x-ten Mal bestätigen: wenig hilfreich
Memory is the thing you forget with. Alexander Chase, Perspectives (1966)Memory is the thing you forget with. Alexander Chase, Perspectives (1966)
log (Zeit)
log
(S
pu
r)
log (Zeit)
log
(S
pu
r)
– Abweichungen vom „Potenzgesetz“ findenVorhersage: für kleine t (Wixted & Ebbesen, 1991: 2.5 - 40 s)
Test: sensorisches Gedächtnis
– Abweichungen vom „Potenzgesetz“ findenVorhersage: für kleine t (Wixted & Ebbesen, 1991: 2.5 - 40 s)
Test: sensorisches Gedächtnis
learn andlearn and
AusblickAusblick
• Lebensdauer des auditiv sensorischen Gedächtnisses• Lebensdauer des auditiv sensorischen Gedächtnisses
2. Intervall1. Intervall
SOA Inhalt
Inhalt
log (Zeit)
log
(S
pu
r)
log (Zeit)
log
(S
pu
r)