1

Vorlesung:Multivariate Statistik für Psychologen

12. Vorlesung: 22.05.2003

2

Agenda

4. Multivariate Varianzanalysei. Einführung in die multivariate Variananalyseii. Statistisches Modell, Hypothesentestungiii. Varianzzerlegung, Multivariate Prüfgrößeniv. Beispielanalyse v. Post-hoc Tests bei der MANOVAvi. Annahmen und Voraussetzungen der MANOVA

5. Kovarianzanalyse (ANCOVA, MANCOVA)i. Einführung in die Kovarianzanalyseii. Anwendunsbeispieleiii. Statistisches Modell und Hypothesentestungiv. Interpretation der Ergebnisse der Kovarianzanalyse v. Beispielanalysen in SPSS

2

3

Zusammenfassung der letzten Vorlesung: MANOVA I

n Grundidee der multivariaten Varianzanalyse¡ gleichzeitige Testung von Mittelwertsunterschieden verschiedener Gruppen auf

mehreren abhängigen Variablen

n Statistisches Modell¡ Verrechnung der Zwischengruppeneffekte ("erklärt" durch Faktor/en) mit den

Innergruppeneffekten (nicht "erklärt" durch Faktor/en)

¡ Berücksichtigung der Zusammenhänge zwischen den abhängigen Variablen (à Betrachtung der Varianz-Kovarianz-Matrizen)

n Hypothesen der multivariaten Varianzanalyse¡ Nullhypothese

n inhaltlich: keine Gruppenunterschiede auf irgendeiner abhängigen Variablen und auf allen Linearkombinationen der abhängigen Variablen

n statistisch: keine Unterschiede der Mittelwertsvektoren der abhängigen Variablen zwischen den Gruppen

4

Zusammenfassung der letzten Vorlesung: MANOVA II

n Hypothesen der multivariaten Varianzanalyse (Fortsetzung)¡ Alternativhypothese

n statistisch: Gruppenunterschiede auf Mittelwertsvektoren der abhängigen Variablen

n inhaltlich: Unterschiede auf mindestens einer abhängigen Variable (oder einer Linearkombination der abhängigen Variablen) zwischen mindest. zwei Gruppen

n Multivariate Prüfgrößen¡ 4 verschiedene Prüfgrößen bei MANOVA

¡ Anwendung abhängig von inhaltlicher Fragestellung (Dimensionalität der abhängigen Variablen) und Erfüllung der Annahmen und Voraussetzungen (unterschiedliche Robustheit hinsichtlich statistischer Power)

3

5

Zusammenfassung der letzten Vorlesung: MANOVA II

n Post-hoc Tests¡ Ziel

n Ermittlung der abhängigen Variablen (bzw. Linearkombination der abhängigen Variablen) auf der Gruppenunterschiede bestehen

n Ermittlung der Gruppen, zwischen denen Unterschiede bestehen¡ Voraussetzung: Verwerfung der Nullhypothese bei MANOVA-Gesamttest

¡ verschiedene Post-hoc Verfahren für verschiedene Fragestellungen

6

Annahmen und Voraussetzungen der MANOVA I

n Grund für Annahmen und Voraussetzungen des Testverfahrens¡ Grundlage für Gültigkeit des Testmodells und der Prüfgröße¡ Konsequenzen der Verletzungen der Annahmen und Voraussetzungen

n potentiell fehlerhafte Parameterschätzungn potentiell unbekannte Verteilung der Prüfgröße

n Annahmen und Voraussetzungen¡ Multivariate Normalverteilung

n Annahme¡ univariate Normalverteilung aller abhängigen Variablen¡ univariate Normalverteilung aller Linearkombinationen der abh. Variablen¡ multivariate Normalverteilung aller Teilmengen der abhängigen Variablen

n Prüfung¡ kein direkter Test für multivariate Normalverteilung¡ indirekt über univariate NV (als notwendige, nicht hinreichende Bedingung)

4

7

Annahmen und Voraussetzungen der MANOVA II

¡ Multivariate Normalverteilung (Fortsetzung)n Veranschaulichung einer bivariaten Normalverteilung bei

-3 -2 -1 1 2 3

-3

-2

-1

1

2

3

-2

0

2-2

0

2

0

0.05

0.1

0.15

-2

0

2

1 2( , ) 0Kor Y Y =Streudiagramm Dichtefunktion

8

-2

0

2-2

0

2

0

0.1

0.2

0.3

-2

0

2

-3 -2 -1 1 2 3

-3

-2

-1

1

2

3

Annahmen und Voraussetzungen der MANOVA III

¡ Multivariate Normalverteilung (Fortsetzung)n Veranschaulichung einer bivariaten Normalverteilung bei 1 2( , ) 0,9Kor Y Y =

Streudiagramm Dichtefunktion

5

9

-3 -2 -1 1 2 3

-3

-2

-1

1

2

3

Annahmen und Voraussetzungen der MANOVA IV

¡ Multivariate Normalverteilung (Fortsetzung)n Veranschaulichung einer bivariaten Normalverteilung bei 1 2( , ) 0,6Kor Y Y = −

Streudiagramm Dichtefunktion

-2

0

2

-2

0

2

00.05

0.10.15

0.2

-2

0

2

10

Annahmen und Voraussetzungen der MANOVA V

¡ Multivariate Normalverteilung (Fortsetzung)n Robustheit gegen Verletzung der Annahme

¡ relative Robustheit hinsichtlich des Alpha-Fehlers¡ Einfluss auf statistische Power verschieden für Prüfgrößen (siehe vorne)¡ geringerer Einfluss bei größerernStichproben

¡ Varianzgleichheit/Homoskedastizitätn Annahme

¡ Homogenität der Varianz-Kovarianz-Matrizen aller abhängigen Variablen für alle Faktorstufen/Gruppen (bzw. Kombinationen von Faktorstufen)

n Prüfung¡ Box M-Test

n Nullhypothese: gleiche Varianz-Kovarianz-Matrizen (Homoskedastizität)n anwendbar bis 5 Gruppen und 5 abhängige Variablenn Voraussetzung: multivariate Normalverteilung

¡ Bartlett's Chi-Quadrat Test

6

11

Annahmen und Voraussetzungen der MANOVA VI

¡ Varianzgleichheit/Homoskedastizität (Fortsetzung)n Beispiel

¡ 2 abhängige Variablen (motorische Intelligenz, sprachliche Intelligenz)¡ 3 Faktorstufen/Gruppen (Hauptschule, Realschule, Gymnasium)¡ Homoskedastizität (gleiche Varianzen und Kovarianzen über alle Gruppen)

¡ Heteroskedastizität (ungleiche Varianz-Kovarianz-Matrizen in Gruppen)4.00 1.50

1.50 3.00HSCov

=

4.10 1.60

1.60 3.50RSCov

=

4.00 1.50

1.50 3.10HSCov

=

3.80 1.40

1.40 3.40GymCov

=

3.00 2.00

2.00 3.50RSCov−

= − 3.00 0.50

0.50 4.00GymCov

=

12

Annahmen und Voraussetzungen der MANOVA VII

¡ Varianzgleichheit/Homoskedastizität (Fortsetzung)n Robustheit

¡ Homogenitätstest selber anfällig für Verletzung der Normalverteilungsannahme

¡ Auswirkungen von Heteroskedastizität unerheblich bei gleicher Stichproben-größe in allen Gruppen

¡ bei ungleichem Stichprobenumfang (kleinste vs. größte Zellbesetzung > Faktor 1,5) zu progressive oder zu konservative Testung (abhängig von Korrelation der Varianzen und Mittelwerte)

¡ Unabhängigkeit der Beobachtungenn Annahme

¡ Messwert einer Person unabhängig von Wert der anderen Personen in der eigenen Gruppe und in fremden Gruppen

n Prüfung¡ kaum möglich¡ Kontrolle über (experimentelles) Untersuchungsdesign

7

13

Annahmen und Voraussetzungen der MANOVA VIII

¡ Unabhängigkeit der Beobachtungen (Fortsetzung)n Robustheit

¡ schwerwiegende Auswirkungen auf Teststatistik und Schätzungen der Innergruppenvarianz

¡ Maßnahmen:n Wechsel der Beobachtungseinheit für Untersuchung (Gruppen statt

einzelne Personen)n Herauspartialisieren systematischer Störeffekte / Berücksichtigung von

Kovariaten in der MANOVA

¡ Linearitätn linearer Zusammenhang (Korrelation) zwischen abhängigen Variablen

¡ wichtig für Bildung der Linearkombinationen¡ keine Abbildung nicht-linearer Zusammenhänge möglich

n evtl. durch Datentransformation der abhängigen Variablen

14

Annahmen und Voraussetzungen der MANOVA IX

¡ Multikollinearitätn Multikollinearität = zu hohe Korrelation der abhängigen Variablen, d.h.

n Auswirkungen¡ Verzerrung der Teststatistik¡ evtl. keine Berechnung der Prüfgrößen möglich

n Maßnahme¡ Entfernen redundanter abhängiger Variablen

¡ Ausreißern Teststatistik der MANOVA sensitiv gegenüber extremen Ausreißernn Maßnahmen

¡ vorheriges Datenscreening¡ evtl. Umkodierung der abhängigen Variablen¡ evtl. Löschen der Ausreißer

1 2( , ) 0,7Kor Y Y >

8

15

Annahmen und Voraussetzungen der MANOVA X

¡ Stichproben Repräsentativität der Stichprobe für die Populationn Empfehlungen zur Stichprobengröße

¡ pro Zelle (alle Kombinationen von Faktorstufen) mindestens 20 Personen¡ Anzahl der Personen pro Kombination von Faktorstufen m u s s größer

sein als Anzahl der abhängigen Variablen¡ möglichst gleich große Stichproben pro Zelle (Kombination der

Faktorstufen)

¡ Anzahl und Struktur der abhängigen Variablenn Effekte zu vieler abhängiger Variablen

¡ Fehlervarianzen verdecken u.U. Effekte¡ niedrigere statistische Power (größere Wahrscheinlichkeit für Beta-Fehler)

16

Ende der MANOVA

n FRAGEN?

9

17

Einführung in die Kovarianzanalyse I

n Grundidee¡ Berücksichtigung des ("störenden") Einflusses von Drittvariablen bei der

Überprüfung von Mittelwertsunterschieden bei mehreren Gruppen

¡ Verbindung der Verfahren Regression und Varianzanalyse

n Hauptanwendungen der Kovarianzanalyse¡ Kontrolle des Einflusses von Störvariablen auf die abhängige(n) Variable(n)

n Reduzierung der nicht vorhergesagten Varianz der abhängigen Variablen (Fehler- bzw. Innergruppenvarianz)

n Erhöhung der Sensitivität (d.h. Wahrscheinlichkeit der Entdeckung) für systematische Effekte der Faktoren

¡ Berücksichtigung anfänglicher Gruppenunterschiede n (statistische) Vergleichbarkeit von Gruppen herstellenn Analyse von Gruppenunterschieden ohne konfundierende Variablen

18

Einführung in die Kovarianzanalyse II

n Beispiel 1: Kontrolle des Einflusses von Störvariablen¡ Untersuchung der Auswirkungen verschiedener Therapien auf die

Befindlichkeit der Patienten

¡ Randomisierung (zufällige Zuordnung) der Patienten zu Therapien à keine Anfangunterschiede zwischen Gruppen erwartet

¡ Problem: Befindlichkeit vor allem beeinflusst durch Schwere der Krankheit (in beiden Gruppen unterschiedliche Schweregrade)

¡ Kovarianzanalysen Herausrechnen des Effekts des Schwergrads der Störung bei Patienten auf

Befindlichkeit nach Therapie (keine Korrelation mit Therapiegruppe àVerminderung nur der nicht-erklärten / Innergruppenvarianz)

n Betrachtung der Gruppenunterschiede verschiedener Therapiegruppen auf "korrigierte" Befindlichkeit

10

19

Einführung in die Kovarianzanalyse III

n Beispiel 2: Berücksichtigung anfänglicher Gruppenunterschiede ¡ Untersuchung des Effekts der Teilnahme an Statistik-Tutorium auf Punktzahl in

Statistikklausur

¡ Zuordnung der Studierenden zu Gruppen (keine Teilnahme vs. Teilnahme) auf Freiwilligkeitsprinzip n keine zufällige Zuordnung (quasi-experimentelles Design)

¡ Berücksichtigung des Einflusses der Motivation auf Klausurpunktzahln Problem: Gruppenunterschiede bei Motivation (Korrelation der Gruppenzuge-

hörigkeit und Ausprägung der Motivation)n Interpretation der Effekte (bessere Punktzahlen "aufgrund" der höheren

Motivation der Teilnehmer oder aufgrund der Teilnahme an Tutorien)?

¡ Kovarianzanalysen Ermittlung des Effekts der Teilnahme an Tutorien nach "Bereinigung"

anfänglicher Motivationsunterschiede der Gruppen

20

Statistisches Modell der Kovarianzanalyse I

n Grundlegendes Vorgehen¡ Herauspartialisieren des Einflusses der Kovariaten auf die abhängige(n)

Variable(n) mittels Regression n Vorhersage der abhängigen Variablen mit Kovariaten Speichern der Residuen (nicht-vorhergesagten) Teile der abhängigen Variablen

pro Person

¡ Vergleich der Gruppenmittelwerte auf der – um den Einfluss der Kovariaten bereinigten – abhängigen Variablen (Residuum der Regression) n mittels ANOVA bzw. MANOVA (oder Regression mit Dummy-Kodierung)

( ) ( )i Kov i KovY a b X= + ⋅( )i i Kov iY a b X e= + ⋅ +

( )ˆ

i i Kov iY Y e= +

( )*ˆ

i i i Kov ie Y Y Y= − =

( )*i i TreatmentY a b X= + ⋅

11

21

Statistisches Modell der Kovarianzanalyse II

n Statistische Grundlagen des Verfahrens¡ statistisches Vorgehen entspricht einer hierarchischen (schrittweisen) Regression

n 1. Schritt: Regression der abhängigen Variable(n) an der/n Kovariatenn 2. Schritt: Regression des Residuums des ersten Regressionsschritts an der/n

(dummy-kodierten) Gruppierungsvariablen¡ alternativ: Testung der Gruppenunterschiede auf "bereinigter" abhängiger

Variable mittels Varianzanalyse (nominale/kategorisierte Prädiktoren)

¡ Varianzzerlegung bei der Kovarianzanalysen siehe hierarchische Regressionn Beispiel für eine abhängige Variable, einen Faktor und eine Kovariate

¡ Gesamtvarianz = erklärte Varianz (Kovariate) + Fehlervarianz (Kovariate)¡ Fehlervarianz (Kovariate) = erklärte Varianz (Faktor) + Fehlervarianz (Faktor)¡ à

Gesamt Kov Faktor FehlerSS SS SS SS= + +

( )TO R Kov BG WGSS SS SS SS= + +

22

Statistisches Modell der Kovarianzanalyse III

n Statistische Grundlagen des Verfahrens¡ Interpretation des Ergebnisse abhängig von Korrelationsstruktur der abhängigen

Variablen und des/r Faktors/en mit Kovariaten n Zusammenhang der abhängigen Variablen mit Kovariaten

¡ kein Zusammenhang: kein Einfluss der Kovariaten auf abhängige Variable(n) à Ergebnis der ANCOVA gleich ANOVA

¡ sign. Zusammenhang: Einfluss der Kovariaten auf abhängige Variable(n)à potentielle Unterschiede zwischen ANCOVA und ANOVA

n Zusammenhang des/r Faktors/en mit Kovariaten¡ kein Zusammenhang (Fall 1): Interpretation der Gruppenunterschiede

hinsichtlich der (um Einfluss der Kovariaten bereinigten) abhängigen Variable/n möglich

¡ Zusammenhang: eingeschränkte Interpretation der Gruppenunterschiede möglich

12

23

Statistisches Modell der Kovarianzanalyse IV

n Hypothesentestung¡ äquivalent zur Beurteilung von Regressionskoeffizienten bei Regression

(Kovariate) bzw. Faktoren bei Varianzanalyse

¡ Details:n 1. Schritt: Regression mit Kovariate

¡ Einfluss der Kovariaten auf abhängige(n) Variable(n)¡ Beurteilung des Anteils der erklärten Varianz der Kovariaten an der

Gesamtvarianz der abhängigen Variable(n)¡ Nullhypothese: keine Zusammenhang Kovariate – abhängige Variable(n)

n 2. Schritt: Varianzanalyse mit Faktoren¡ Einfluss der Gruppenzugehörigkeit auf nicht-erklärten Teil der abhängigen

Variablen aus Schritt 1¡ Beurteilung der Zwischengruppenvarianz im Verhältnis zur Innergruppen-

varianz (Gesamtvarianz = Residualvarianz aus Schritt 1)¡ Nullhypothese: kein Zusammenhang Faktor(en) – abhängige Variable(n)

24

Statistisches Modell der Kovarianzanalyse V

n Hypothesentestung (Fortsetzung)¡ Interpretation signifikanter Ergebnisse

¡ Fall 1: keine Korrelation Kovariate – Faktor(en), z.B. experimentelles Designn keine Unterschiede hinsichtlich der mittleren Ausprägung der Kovariaten bei

Gruppen des Faktorsn Bereinigung des Einflusses der Kovariaten i n n e r h a l b der Gruppenn keine Verzerrung des Treatmenteffekts (Faktorausprägung) durch Kovariateà uneingeschränkte Interpretation der Varianzanalyse möglich

¡ Fall 2: Korrelation Kovariate – Faktor(en)n unterschiedliche Ausprägung der Gruppen auf Kovariate n Bereinigung des Einflusses der Kovariaten bei allen Personen i n n e r h a l b

und z w i s c h e n Gruppen n Verzerrung der Analyse im Sinne des Treatmenteinflusses à keine uneingeschränkte Interpretation der Varianzanalyse möglich (siehe Interpretation partieller Regressionskoeffizienten)

13

25

Ausblick

n Kovarianzanalyse¡ Interpretation der Ergebnisse der Kovarianzanalyse

¡ Beispielanalysen in SPSS

¡ Annahmen und Voraussetzungen der Kovarianzanalyse

n Varianzanalyse abhängiger Daten / Messwiederholungsdesign