Vorlesung: Multivariate Statistik für Psychologen 9. Vorlesung: 12.05.2003 2 Agenda 2. Univariate Varianzanalyse iv. Varianzanalyse als Spezialfall der Regression § Zusammenhang Regression und Varianzanalyse § Exkurs: Dummy-Kodierung § Berechnung einer Varianzanalyse mittels Regression § Vergleich der Varianzzerlegung bei Regression und Varianzanalyse v. Verallgemeinerungen mehrfaktorielle Varianzanalyse vi. Annahmen und Voraussetzungen der univariaten Varianzanalyse Exkurs: Matrizenrechnung
Transcript
1
Vorlesung:Multivariate Statistik für Psychologen
9. Vorlesung: 12.05.2003
2
Agenda
2. Univariate Varianzanalyseiv. Varianzanalyse als Spezialfall der Regression§ Zusammenhang Regression und Varianzanalyse§ Exkurs: Dummy-Kodierung§ Berechnung einer Varianzanalyse mittels Regression§ Vergleich der Varianzzerlegung bei Regression und Varianzanalyse
v. Verallgemeinerungen mehrfaktorielle Varianzanalysevi. Annahmen und Voraussetzungen der univariaten Varianzanalyse
Exkurs: Matrizenrechnung
2
3
Zusammenfassung letzte Sitzung
n Univariate Varianzanalyse¡ Grundlagen und Ziele der univariaten Varianzanalyse
¡ Vergleich varianzanalytischer Verfahren
¡ Statistisches Modell der ANOVA
¡ Varianzzerlegung und Hypothesentestung
¡ Interpretation der Ergebnisse und Folgetests
¡ Güte des ANOVA-Modells, Determinationskoeffizient
4
Varianzanalyse als Spezialfall der Regression I
n Prädiktoren in der Regression vs. Varianzanalyse¡ unterschiedliches Skalenniveau
¡ à keine Anwendung der Regression für nominale, ordinale Prädiktorenn keine lineare Restriktion der Erwartungswerte/Mittelwerte für einzelne Gruppen
n Anwendung der Dummy-Kodierung¡ künstliche Benennung und Gegenüberstellung bestimmter Gruppen(mittelwerte)
¡ Referenzgruppenkodierung
¡ Effektkodierung
¡ Kontrastkodierung
3
5
Varianzanalyse als Spezialfall der Regression II
n Dummy-Kodierung (Fortsetzung)¡ minimale Dekomposition der Gruppen/Kategorien
n Anzahl der Dummy-Variablen = Gruppen-/Kategorienzahl minus Eins
¡ Möglichkeit 1: Kodierung mit Referenzgruppe/-kategorien
n Kodierungsprinzip¡ Referenzgruppe/-kategorie auf allen Variablen gleich Null¡ alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null
0
1
0
X1
3 Gruppen
1Gruppe 3
01Gruppe 2
00Gruppe 1
X2X1Dummy-Variable
2 Gruppen
6
Varianzanalyse als Spezialfall der Regression III
¡ Möglichkeit 1: Kodierung mit Referenzgruppe/-kategorie (Fortsetzung)n Regressionsgleichungen
¡ 2 Gruppen Modellgleichung:eingesetzte Gleichungen:
¡ 3 Gruppen Modellgleichung:eingesetzte Gleichungen:
n Interpretation der Regressionsparameter¡ Intercept a entspricht Gruppenmittelwert der Referenzgruppe/-kategorie¡ Regressionskoeffizienten bk entsprechen Mittelwertsunterschied der Gruppe k
zur Referenzgruppe/-kategorie¡ Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz
der Unterschiede der Gruppenmittelwert
1 1i iY a b X= + ⋅
1Y a=
2 1Y a b= +
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
1Y a=
2 1Y a b= +
3 2Y a b= +
4
7
Varianzanalyse als Spezialfall der Regression IV
n Dummy-Kodierung (Fortsetzung)¡ Möglichkeit 2: Effektkodierung
n
n Kodierungsprinzip¡ erste Gruppe/Kategorie auf allen Variablen gleich -1¡ alle anderen Gruppen je auf einer Variable Eins, auf allen anderen Null
¡ 2 Gruppen Modellgleichung:eingesetzte Gleichungen:
¡ 3 Gruppen Modellgleichung:eingesetzte Gleichungen:
n Interpretation der Regressionsparameter¡ Intercept a entspricht Gesamtmittelwert aller Gruppen¡ Regressionskoeffizienten bk entsprechen Mittelwertsunterschieden der
Gruppen zum Gesamtmittelwert (für Gruppe 1 Summe aller Koeffizienten)¡ Signifikanztests der Regressionskoeffizienten entsprechen Test auf Signifikanz
der Unterschiede der Gruppenmittelwert
1 1 2Y a b b= − −
Varianzanalyse als Spezialfall der Regression V
1 1i iY a b X= + ⋅
1 1Y a b= −
2 1Y a b= +
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
2 1Y a b= +
3 2Y a b= +
5
9
Varianzanalyse als Spezialfall der Regression VI
n Dummy-Kodierung (Fortsetzung)¡ Möglichkeit 3: Kontrastkodierung
n Test spezifischer Hypothesen möglich¡ Beispiel 1: Gleichheit der Gruppen 2 und 3¡ Beispiel 2: Gleichheit der Gruppe 1 mit Mittelwert der Gruppen 2 und 3
n Kodierungsprinzip¡ abhängig von Hypothese¡ nur Test orthogonaler Kontraste möglich (d.h. nicht redundante Hypothesen)
¡ Beispiel 1 Modellgleichung:eingesetzte Gleichungen:
¡ Beispiel 2 Modellgleichung:eingesetzte Gleichungen:
n Interpretation der Regressionsparameter¡ Bedeutung des Intercept und der Regressionskoeffizienten bk abhängig von
Kodierung¡ Signifikanztests der Regressionskoeffizienten entsprechen Test auf Gültigkeit
der Hypothesen (z.B. Verhältnisse der Mittelwerte)
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
1 1ˆ 2Y a b= −
Varianzanalyse als Spezialfall der Regression VII
1Y a=
2 1Y a b= −
1 1 2 2i i iY a b X b X= + ⋅ + ⋅
2 1Y a b= +
3 1Y a b= +
3 1Y a b= +
6
11
Varianzanalyse als Spezialfall der Regression VIII
n Berechnung einer Varianzanalyse mittels Regression¡ Durchführbarkeit
n Varianzanalyse ist als Regression berechenbar (Spezialfall)n Restriktion der Linearität der Erwartungswerte für Personen mit unterschiedlicher
Ausprägung auf Prädiktor(en) muss aufgehoben werdenn à Anwendung der Dummy-Kodierung
¡ Berechnung der Dummy-Variablen für einzelne Prädiktoren (in SPSS: Transformieren > Umkodieren in neue Variable)
¡ Kontrastkodierung (Test von orthogonalen Kontrasten) auch in einfaktoriellerVarianzanalyse verfügbar (in SPSS: Analysieren > Mittelwertsvergleich > einfaktorielle Varianzanalyse > Kontraste)
¡ Ergebnissen Interpretation der Regressionskoeffizienten abhängig von Dummy-Kodierungn Äquivalenz der Tests
der Regression¡ Abweichung der vorhergesagten Werte von Gesamtmittelwert¡ Kodierung in Regression à keine Restriktion der Erwartungswerte (=ANOVA)
n Fehler-/nicht erklärte Varianz: Innergruppenvarianz (ANOVA) gleich Fehlervarianz in Regression¡ Abweichung der beobachteten Werte von vorhergesagten Werten
(Gruppenmittelwerte)
¡ Freiheitsgrade gleich bei ANOVA und Regression mit Referenzgruppen- oder Effektkodierungn Freiheitsgrade des Effekts
¡ Regression: Anzahl der Prädiktoren (= Anzahl der Gruppen -1)¡ ANOVA: Anzahl der Gruppen - 1
7
13
Verallgemeinerungen mehrfaktorielle Varianzanalyse I
n Grundprinzip¡ siehe multiple Regression
n Effekte bei der mehrfaktoriellen Varianzanalyse¡ Haupteffekte der Faktoren
n Mittelwertsunterschiede zwischen verschiedenen Gruppen dieses Faktors, gemittelt über die Faktorstufen der anderen Faktoren
¡ Interaktionseffekte der Faktorenn Einfluss eines Faktors verschiedenen für verschiedene Faktorstufen eines
anderen Faktorsn automatisch berücksichtigt in ANOVA (nicht in Regression)
n Beispiel¡ Unterschiede bei der Punktzahl der Statistikklausur in Abhängigkeit vom
Geschlecht (Faktor 1, zweistufig) und Teilnahme an den Lehrveranstaltungen (Faktor 2, zweistufig)
14
Verallgemeinerungen mehrfaktorielle Varianzanalyse II
n Veranschaulichung der Effekte am Beispiel¡ Fall 1: nur Haupteffekt Geschlecht (kein Effekt VB, kein Effekt Interaktion)
Mittelwert
nein
ja
Mittelwertmännlichweiblich
403050
403050
403050Vorlesungs-besuch
Geschlecht
Faktor 2
Faktor 1
Mittelwert aller Frauen über alle Faktorstufen des Faktors 2
Mittelwert aller Vorlesungs-besucher über alle Stufen des Faktors 2
Gesamt-mittelwert
8
15
Verallgemeinerungen mehrfaktorielle Varianzanalyse III
n Veranschaulichung der Effekte am Beispiel¡ Fall 2: nur Interaktionseffekt (keine direkten Effekte Geschlecht, VB)
¡ Fall 3: Haupteffekt VB und Interaktionseffekt (kein Effekt Geschlecht)
Mittelwert
nein
ja
Mittelwertmännlichweiblich
404040
404535
403545Vorlesungs-besuch
Geschlecht
Mittelwert
nein
ja
Mittelwertmännlichweiblich
404040
303723
504357Vorlesungs-besuch
Geschlecht
16
Annahmen und Voraussetzungen der univariaten Varianzanalyse I
n Grundprinzip: siehe einfache und multiple Regression
n zentrale Annahmen und Voraussetzungen¡ Annahmen über Fehlerterme/Residuen
n Normalverteilung der Residuen innerhalb jeder (Kombination) der Faktorstufen¡ Folgen der Nicht-Normalverteilung: potentiell unbekannte Verteilung der
Prüfgrößen Gleichheit der Varianz der Residuen in jeder (Kombination) der Faktorstufen
¡ Folgen der Heteroskedastizität: potentielle Fehlinterpretation der (nicht-)vorhandenen Effekte
n Unabhängige Fehlerkomponenten ¡ Unabhängigkeit der Beobachtungen/Personen innerhalb einer Gruppe¡ Unabhängigkeit der Teilstichproben/Gruppen
¡ Annahmen über das Stichprobenmodelln Folgen der Verletzung: keine Verallgemeinerung der Effekte auf Populations-
ebene; Verlust an Teststärke
9
17
Annahmen und Voraussetzungen der univariaten Varianzanalyse II
n Test der zentralen Annahmen und Voraussetzungen¡ Normalverteilung der Residuen
n Kolmogorov-Smirnov-Test für jede Faktorstufe/Gruppe n mehrfaktoriell: K-S-Test für jede Kombination der Faktorstufen/Gruppen
¡ Varianzhomogenität (Homoskedastizität)n Levene-Test auf Gleichheit der Varianzen in jeder (Kombination von)
Faktorstufenn in SPSS: im ANOVA-Menü Optionen > Homogenitätstest
¡ Unabhängige Fehlerkomponenten n kontrolliert über das Erhebungsdesign
¡ Annahmen über das Stichprobenmodelln kontrolliert über das Erhebungsdesign
18
Annahmen und Voraussetzungen der univariaten Varianzanalyse III
n Robustheit bei Verletzungen der Annahmen und Voraussetzungen¡ Beurteilung der Robustheit
n Frage, unter welchen Bedingungen Voraussetzungsverletzungen zu welchen Verzerrungen führen (ermittelbar über Datensimulationen)
¡ Nicht-Normalverteilung der Residuen n Schiefverteilung mit vernachlässigbarem Einfluss auf Verteilung der Prüfgrößen schmalgipflige Verteilungen (positive Kurtosis): eher konservative Testung
(Verlust an Teststärke)n breitgipflige Verteilungen (negative Kurtosis): eher progressive Testung (Alpha-
Fehler größer als 5%)¡ Varianzheterogenität
n gleiche Stichprobengröße in Gruppen à vernachlässigbarer Einflussn erhebliche Verzerrungen bei kleinen Stichproben und ungleicher Gruppengröße
¡ keine Unabhängigkeit der Beobachtungen innerhalb der Gruppenn Unterschätzung der Innergruppenvarianz à zu progressive Testung
10
19
Annahmen und Voraussetzungen der univariaten Varianzanalyse IV
n Fixierte vs. stochastische Faktoren¡ Frage nach Verallgemeinerung der Effekte der Faktoren
¡ fixierte Faktorenn "vollständige" Faktoren à keine Verallgemeinerung der Effekte der Faktorstufen
auf andere Faktorstufen (nur auf die Population innerhalb der Faktorstufen)n Beispiel
¡ Vergleich der Abiturnoten der Schüler von 10 verschiedenen Schulen¡ Verallgemeinerung der Ergebnisse auf die Population innerhalb dieser 10
Schulen¡ stochastische Faktoren
n Faktorstufen als (zufällige) Stichprobe aus einer größeren Population von Faktor-stufenà Verallgemeinerung der Ergebnisse auf Population aller Faktorstufen
n Berücksichtigung des Stichprobenfehlersn Beispiel (siehe oben)
¡ Verallgemeinerung der Ergebnisse der 10 Schulen auf mehr Schulen
20
Univariate Varianzanalyse
n FRAGEN ?
11
21
Exkurs: MatrizenrechnungDefinition und Typ einer Matrix
n Definition einer Matrix¡ Matrix ist geordnete Menge von Komponenten
mit und , die in n Zeilen und m Spalten angeordnet sind
¡ Indizierung: zuerst Zeile, dann Spalte
n Beispiel einer Matrix¡ (2 x 3)-Matrix, d.h. n=2 Zeilen und m=3 Spalten
n Typ einer Matrix¡ definiert durch Anzahl der Zeilen und Spalten: (n x m)-Matrix
¡ Datenmatrizen beschreiben Daten mehrerer Personen auf mehreren Variablenn Zeilen = n Personen; m Spalten = m Variablen
A
11 12 13
21 22 23
a a aa a a
=
A ( )ija=A
i 1, ,n= … j 1, ,m= … ija
22
Exkurs: MatrizenrechnungSpezielle Matrizen I
n Vektoren¡ Matrix mit nur einer Zeile oder Matrix mit nur einer Spalte
¡ Zeilenvektor: Variablen in einer Zeile
¡ Spaltenvektor: Variablen in einer Spalte
n Einsen Vektor¡ Vektor, dessen Elemente alle gleich Eins
¡ Beispiel: Einsen-Zeilenvektor
Einsen-Spaltenvektor
( )11 12 13a a a
11
21
31
aa
a
( )1 1 1
111
12
23
Exkurs: MatrizenrechnungSpezielle Matrizen II
n Quadratische Matrizen¡ Matrix mit gleicher Anzahl Zeilen und Spalten: Typ (n x n)
¡ Beispiel: quadratische (3 x 3)-Matrix
¡ Hauptdiagonale der quadratischen Matrixn Elemente der Diagonale von links oben nach rechts unten ( )
n Symmetrische Matrizen¡ quadratische Matrix, bei der alle Elemente
¡ Beispiel: symmetrische (3 x 3)-Matrix
3 5 92 7 65 3 8
=
A
3 5 95 7 69 6 8
=
A
11 22 33, ,a a a
ij jia a=
24
Exkurs: MatrizenrechnungSpezielle Matrizen III
n Diagonalmatrizen¡ quadratische Matrix, bei der alle Elemente außerhalb der Hauptdiagonalen
gleich Null
¡ Beispiel: (4 x 4)-Diagonalmatrix
n Skalarmatrizen¡ Diagonalmatrix, bei der alle Diagonalelemente gleich sind
¡ Beispiel: (4 x 4)-Skalarmatrix
2 0 0 00 8 0 00 0 4 0
0 0 0 2
=
A
6 0 0 00 6 0 00 0 6 0
0 0 0 6
=
A
13
25
Exkurs: MatrizenrechnungSpezielle Matrizen IV
n Einheitsmatrizen¡ Skalarmatrix mit allen Elementen der Hauptdiagonale gleich Eins
