Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Sitzung 10:
Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Quasiexperimentelle Ansätze der Ergebnisevaluation
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
nÜberblick über heutige Sitzung
1) Quasiexperimentelle Ergebnisevaluationen (QE-EEv)
2) Methoden der Erhöhung der internen Validität von QE-EEv
• 1. Beobachtungen zu mehreren Zeitpunkten
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
• 1. Beobachtungen zu mehreren Zeitpunkten- Zeitreihendesigns
• 2. Beobachtung anderer Gruppen- nicht-äquivalente Kontrollgruppen-Designs- Regressions-Diskontinuitäts-Designs
• 3. Beobachtung anderer abhängiger Variablen
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
• 3. Beobachtung anderer abhängiger Variablen
• 4. Kombinierte Designs- Zeitreihen und nicht-äquivalente Kontrollgruppen- selektive Kontroll-Designs
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1) Quasiexperimentelle Ergebnisevaluationen
Definition quasiexperimentell =
Teilnehmer eines Programms/Vpn können nicht randomisiertauf die Versuchsbedingungen aufgeteilt werden
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
auf die Versuchsbedingungen aufgeteilt werden
nicht jede Vpn hat gleiche Chance auf jede Bedingung
⇒ Problem:
interne Validität (eindeutige Rückführung der beobachteten
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
interne Validität (eindeutige Rückführung der beobachteten Veränderungen in den AV auf die Variationen der UV = Kausalinterpretation) bedroht
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1) Quasiexperimentelle Ergebnisevaluationen
Demonstration eines kausalen Zusammenhangs in quasiexperimen-tellen Settings: 3 Bedingungen müssen erfüllt sein
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 1. Ursache geht angenommenem Effekt zeitlich voraus
2. Ursache kovariiert mit dem Effekt (z.B. je mehr der Ursache, desto mehr des Effektes)
3. außer der angenommenen Ursache gibt es keine weitere Erklärungfür den gefundenen Effekt
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1) Quasiexperimentelle Ergebnisevaluationen
Methoden der Erhöhung der internen Validität in quasi-experimentellen Untersuchungen (Ergebnisevaluationen):
1. Beobachtungen zu mehreren Zeitpunkten
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 1. Beobachtungen zu mehreren Zeitpunkten
2. Beobachtung von zusätzlichen Gruppen
3. Beobachtung anderer abhängiger Variablen
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
3. Beobachtung anderer abhängiger Variablen
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Erhöhung der Menge an Beobachtungen (außer prä-post-Tests)
⇒ 2 Funktionen:
- Erkennen von zufälligen Veränderungen zwischen Zeiträumen
- Kausalität(srichtung) => 1. Kriterium kann überprüft werden
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 - Kausalität(srichtung) => 1. Kriterium kann überprüft werden
ProgrammAV
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Zeitt1 t2 t3 t4 t5 t6 t7
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Erhöhung der Menge an Beobachtungen (außer prä-post-Tests)
Beispiel: Verkehrstote 1955 in Connecticut und Einführung von Geschwindigkeitsbegrenzungen (Campbell, 1969)
Kann der Rückgang an Verkehrstoten auf
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Kann der Rückgang an Verkehrstoten auf die Geschwindigkeitsbegrenzung zurück-geführt werden?
Alternative Erklärungen:- Erhöhung des Verkehrsaufkommens
(# Autos) bis 1955- 1955 war ungewöhnliches Jahr (Wetter,
viele Massenkarambolagen, etc.)
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Erhöhung der Menge an Beobachtungen (außer prä-post-Tests)
Beispiel: Verkehrstote 1955 in Connecticut und Einführung von Geschwindigkeitsbegrenzungen (Campbell, 1969)
Kann der Rückgang an Verkehrstoten auf
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Kann der Rückgang an Verkehrstoten auf die Geschwindigkeitsbegrenzung zurück-geführt werden?
Alternative Erklärungen:- Erhöhung des Verkehrsaufkommens
(# Autos) bis 1955- 1955 war ungewöhnliches Jahr (Wetter,
viele Massenkarambolagen, etc.)
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Erhöhung der Anzahl der Beobach-tungen erlaubt eine sehr viel informiertere Schlussfolgerung
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Zeitreihendesigns
= Nutzung von Informationen über eine Reihe von Zeitintervallen hinweg
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
⇒ Strategie: Erhalt von Base-Line Messungen vor einer Interven-tion und Dokumentation von sowohl einer Veränderung als auch der Aufrechterhaltung einer Veränderung
⇒ kann einige Bedrohungen der internen Validität minimieren(z.B. Reifung, Geschichte)
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
(z.B. Reifung, Geschichte)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Zeitreihendesigns (Minimalcharakteristika):
1. Definition/Festlegung eines Kriteriums,
2. Messungen des Kriteriums,
3. wiederholt und über einen gewissen Zeitraum hinweg ,
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 3. wiederholt und über einen gewissen Zeitraum hinweg ,
4. Messungen gehen kontrollierten oder natürlichen Interventionen voraus und folgen ihnen
Nutzung des Zeitreihendesigns vor allem, wenn eine defini-tive Intervention zu einer bestimmten Zeit erfolgt ist
⇒ „unterbrochene Zeitreihe “ (interrupted time series)
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
⇒ „unterbrochene Zeitreihe “ (interrupted time series)
⇒ Versuch herauszufinden, ob das Programm eine Wirkunghatte
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Zeitreihendesigns
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Analyse von Zeitreihendesigns
I) ABAB-Design: wenn die Intervention eingesetzt und wieder aus- bzw. abgesetzt werden kann (kurzfristige Effekte)
a) nach Etablierung einer Baseline (A)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 b) Einführung einer Intervention (B) (z.B. zur Reduktion schädlichen Verhaltens)Annahme, dass Intervention erfolgreich ist => das schädliche Verhal-ten reduziert sich
c) Absetzen der Intervention nach einigen Beobachtu ngen (A)bei Wiederzunahme des schädlichen Verhaltens = mögliche Interpretation als Vorliegen eines Programmeffekts und nicht als bloße Reifung oder Geschichte
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
bloße Reifung oder Geschichte
d) Wiedereinsetzen der Intervention nach einigen Be obachtungszeit-räumen (B)bei nochmaliger Reduktion des schädlichen Verhaltens, vergleichs-weise sicherer Schluss auf einen (intendierten) Effekt des Programms
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
ABAB-Design:
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
IM: an IM: aus IM: an
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
ABAB-Design:Programm zeigt Effekt
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 Programm zeigt keinen Effekt
kein eindeutiger Rückschluss auf Programmeffekt möglich (poten-zielle Konfundierung mit Stör-
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
zielle Konfundierung mit Stör-variablen)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Analyse von Zeitreihendesigns
II. Wenn die Intervention nicht abgesetzt werden kann, der Effekt aber groß ist
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
aber groß ist
Identifikation bzw. Analyse des Effektes durch separate Betrach-tung der Messungen vor und nach Einführung der Intervention
=> Glättung (von Plots) durch Konstruktion von Lowess Lines(geglättete Linien)
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
(geglättete Linien)
Möglichkeit der Glättung: Ersetzen von Datenpunkten durch den Median von drei aufeinander folgenden Datenpunkten
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Analyse von Zeitreihendesigns
sinnvolle Technik:
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
- wenn erwartet wird, dass der Interventionseffekt dauerhaft ist
- oder, wenn eine Veränderung (Intervention) permanent ist
- ABER: die Messung der Ergebnisvariable große zufällige Fluktuationen zwischen den Beobachtungszeiträumen aufweist
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Fluktuationen zwischen den Beobachtungszeiträumen aufweist
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n1. Beobachtungen zu mehreren Zeitpunkten
Analyse von Zeitreihendesigns
II. Wenn die Intervention nicht abgesetzt werden kann, der Effekt aber groß ist
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Lowess-Lines
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Nicht-äquivalente Kontrollgruppen-Design
⇒ Einsatz von Vergleichsgruppen , (die der UG ausreichend ähnlichsind, und somit z.B. ähnliche Ausgangsniveaus haben)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
sind, und somit z.B. ähnliche Ausgangsniveaus haben)
⇒ Erlaubt die Isolierung von Effekten des Programms von denen verschiedener plausibler anderer Interpretationen einer Veränderung
⇒ alternative andere Interpretationen:
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
⇒ alternative andere Interpretationen:
z.B. gleichzeitiges prä- und post-Testen der Vergleichsgruppen => gleiche Reifung , gleicher Einfluss geschichtlicher Ereignisse , gleiche Testerfahrung
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Nicht-äquivalente Kontrollgruppen-Design
Einsatz von Vergleichsgruppen dann besonders nützlich, wenn ein Teil einer potenziell betroffenen Population der Intervention ausgesetzt
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
einer potenziell betroffenen Population der Intervention ausgesetztwird und der andere Teil nicht
UND
die Teilnehmer sich nicht selbst in ein Programm selektieren können
+
der Bedarf der Teilnehmer ihre Eignung für ein Programm nicht bestimmt
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
bestimmt
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Nicht-äquivalente Kontrollgruppen-Design
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Nicht-äquivalente Kontrollgruppen-Design
Wahl der Vergleichsgruppen = abhängig von Evaluationsfragestellung
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Hauptproblem des nicht-äquivalente Kontrollgruppen-Designs:
⇒ Finden einer Vergleichsgruppe, die der Untersuchungsgruppe ausreichend ähnlich ist
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer GruppenNicht-äquivalente Kontrollgruppen-Design
Gründe (Gefährdungen der internen Validität):
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
- Selbstselektion von Teilnehmern (systematische Unterschiede)
- Auswahl von Programmteilnehmern aufgrund extremer Werte im Prätest und Auswahl von Teilnehmern mit weniger extremen Werten in die Vergleichsgruppe (Regression zur Mitte)
Bsp. Head Start Programm in 70er Jahren (USA) zur Verbesserung der schulischen Fähigkeiten benachteiligter Kinder
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
der schulischen Fähigkeiten benachteiligter Kinder
- Versuchsleitereffekte
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Nicht-äquivalente Kontrollgruppen-Design
Fazit:
Obwohl Unterschiede zwischen Vergleichsgruppen im Prätest zu
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 Obwohl Unterschiede zwischen Vergleichsgruppen im Prätest zu
Über- oder Unterschätzung der Programmeffekte führen können,
ist das Vergleichsgruppendesign in quasiexperimentellen Ergebnis-
evaluationen nützlich und aussagekräftig , wenn ausreichend
ähnliche Gruppen für die Behandlungs- und Vergleichsgruppe zur
Verfügung stehen.
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Verfügung stehen.
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Regressions-Diskontinuitäts-Design
Wenn Teilnehmer-Selektionskriterium - „Eignung“ für ein bestimmtes Programm - auf kontinuierlicher Variable basiert:
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Programm - auf kontinuierlicher Variable basiert:
⇒ Verwendung eines Regressions-Diskontinuitäts-Designs (Spezialfall des nicht-äquivalente Kontrollgruppen- bzw. Vergleichsgruppen-Designs)
→ quantitatives Maß zu Bestimmung der Vergleichsgruppen
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
→ quantitatives Maß zu Bestimmung der Vergleichsgruppen
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Regressions-Diskontinuitäts-Design
Beispiel: Untersuchung der Wirksamkeit eines Sprachtrainings bei Abiturienten
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Erfassen der Sprachkenntnisse (Prätest) an gesamter Stichprobe (n = 300); Teilnehmer, die weniger als 60% Testleistung zeigen, sind für Sprachtraining (Intervention) geeignet (n = 100);
Vergleich der Sprachkenntnisse beider Gruppen nach Sprachtraining für die schwächere Gruppe (Posttest) anhand separater Berechnungen der
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
die schwächere Gruppe (Posttest) anhand separater Berechnungen der Regressionsgeraden
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Regressions-Diskontinuitäts-Design
Gesamtergebnis: Prä- und Posttest
separate Berechnung der Regressionsgeraden für
VergleichsgruppenDiskontinuität
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Pos
ttest
Pos
ttest
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
PrätestPrätest
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n2. Beobachtung anderer Gruppen
Regressions-Diskontinuitäts-DesignAnalyse der Berechnungen der Regressionsgeraden:
1. Ergeben beide Regressionsgeraden zusammen eine durchgehende Line (bzw. eine Gerade) = Kontinuität , dann
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
durchgehende Line (bzw. eine Gerade) = Kontinuität , dann liegt kein Programmeffekt vor.
2. Unterscheiden sich die beiden Geraden jedoch – gibt es eine Diskontinuität - so dass sie z.B. parallel liegen, dann kann auf einen Effekt des Programms geschlossen werden.
3. Die Steigung der Geraden (im Bereich der Behandlungs- oder Untersuchungsgruppe) gibt außerdem einen Hinweis auf die
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Untersuchungsgruppe) gibt außerdem einen Hinweis auf die Richtung und die Größe des Effekts.
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n3. Beobachtung anderer abhängiger Variablen
Kontroll-Konstrukt-Design
weitere Möglichkeit der Erhöhung der internen Validität :
⇒ Erhebung zusätzlicher abhängiger Variablen , die nicht oder nur
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
⇒ Erhebung zusätzlicher abhängiger Variablen , die nicht oder nur marginal durch das Programm beeinflusst werden (sollten)
- zusätzliche AV muss der Haupt-AV ähnlich sein, ohne durch das Programm beeinflusst zu werden
- Vorgehen: Prä- und Postmessungen mit beiden AV, bei Veränderung „nur“ der interessierenden AV → Hinweis auf
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Veränderung „nur“ der interessierenden AV → Hinweis auf Programmeffekt
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n3. Beobachtung anderer abhängiger Variablen
Kontroll-Konstrukt-Design
Kontroll-Konstrukt-Design ist ein potenziell starkes Design, wenn zusätzliche AV gefunden werden können, die
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
zusätzliche AV gefunden werden können, die
1) denselben Bedrohungen der internen Validität unterliegen, wie die Haupt-AV und
2) durch das Programm selbst aber nicht beeinflusst werden.
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n4. Kombinierte Designs
Zeitreihen und nicht-äquivalente Kontrollgruppen
Kombination des unterbrochenen Zeitreihen-Designs mit einer der Untersu-chungsgruppe ausreichend ähnlicher Vergleichsgruppe = starkes Design
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 Beispiel der Unfalltoten in Connecticut 1955 und Einführung von Geschwin-digkeitsbegrenzungen
Vergleichsgruppe : Raten der Unfall-toten über die Jahre hinweg in vier umliegenden Nachbarstaaten
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n4. Kombinierte Designs
Zeitreihen und nicht-äquivalente Kontrollgruppen
eine der wichtigsten Möglichkeiten, valide Schlussfolgerungen ziehen zu können = Replikation von Befunden ⇒ wird ein Zeitreihendesign mit einer Vergleichsgruppe kombiniert,
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3 die das Programm zu einem späteren Zeitpunkt erhält → zusätzliche Erhöhung der internen Validität
„ interrupted time series with switching replications“
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n4. Kombinierte Designs
Selektives Kontroll-Design
Analyse des Programmkontexts zur Identifikation der wahrscheinlichsten Bedrohungen der internen Validit ät
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
⇒ Auswahl von Vergleichsgruppen , die spezifische Bedrohungen der internen Validität kontrollieren, so dass die plausibelsten Alternativinterpretationen eliminiert werden (= selektives Kontroll-Design )
Beispiel:
Dekan eines Colleges forderte eine Evaluation eines StudentInnen-
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Dekan eines Colleges forderte eine Evaluation eines StudentInnen-Auslands-Austauschprogramms binnen sechs Wochen in Hinblick auf internationales Verständnis/interkulturelle Kompetenz
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n4. Kombinierte Designs
Selektives Kontroll-Design
⇒ keine Möglichkeit für ein Zeitreihendesign
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Planung der Evaluation um den offensichtlichen Vergleich herum:
College-StudentInnen (seniors ), die das vergangene Jahr im Ausland studiert hatten,
vs.
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
College-StudentInnen (seniors ), die zuhause studiert hatten.
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n4. Kombinierte Designs
Selektives Kontroll-Design
⇒ erste Bedrohung der internen Validität: Selbst-Selektion(Prätest-Posttest-Design jetzt unmöglich)
Da die Entscheidung im Ausland zu studieren viel Planung und
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Da die Entscheidung im Ausland zu studieren viel Planung und Vorbereitung bedarf, schreiben sich die StudentInnen (selbst! ) frühzeitig dafür ein
→ Erster Vergleich :
StudentInnen (seniors ), die im Ausland waren,
vs.
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
StudentInnen (sophomores ), die planen ins Ausland zu gehen (= Kontrolle der Selbstselektion , da beide Gruppen sich selbst (!) ins Programm gewählt haben)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n4. Kombinierte Designs
Selektives Kontroll-Design
⇒ Zweite Bedrohung der internen Validität (Folge aus Umgang mit der ersten): Reifegrad der StudentInnen; die Grundstudiums-studentInnen (sophomores ) sind jünger, unerfahrener = weniger gereift
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
gereift
Hinzufügen noch einer weiteren Vergleichsgruppe: GrundstudiumsstudentInnen (sophomores ), die nicht planen ins Ausland zu gehen
→ Zweiter Vergleich :
StudentInnen (sophomores ), die planen ins Ausland zu gehen,
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
vs.
StudentInnen (sophomores ), die nicht planen ins Ausland zu gehen (= Kontrolle der Reife , da beide Gruppen gleich alt/reif sind)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n4. Kombinierte Designs
Selektives Kontroll-Design
Beispiel:
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
nZusammenfassung
- häufige Nutzung von Quasiexperimentellen Designs
- quasiexperimentelle Designs können Bedrohungen der internen Validität minimieren
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
ABER:
Es besteht immer die Notwendigkeit zu überlegen, welchespezfischen Bedrohungen der internen Validität vorliegen, um ihnen begegnen zu können.
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
Ziel: möglichst eindeutige Schlussfolgerung von den beobachteten Veränderungen in den AVs auf die Variationen der UVs (hier: das Programm)
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
nRelevante Begriffe
- quasiexperimentelle Designs
- interne Validität (+ Bedrohungen)
- Zeitreihendesigns (interrupted time series)
- ABAB-Design
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
- ABAB-Design
- Glättung von Plots/Lowess-Lines
- nicht-äquivalente Kontrollgruppen Design (Vergleichsgruppendesign)
- Regression zur Mitte
- Regressions-Diskontinuitäts-Design
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
- Kontroll-Konstrukt-Design
- interrupted time series with switching replications
- selektives Kontroll-Design
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
nQ
ua
sie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n
11
. Ju
ni 2
01
3
Vielen Dank für die Aufmerksamkeit!
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Qu
asie
xp
eri
me
nte
lle
An
sä
tze
de
r E
rge
bn
ise
va
lua
tio
n