Universität Regensburg Methoden der Ökonometrie Handout Prof. Dr. Rolf Tschernig Wintersemester 2015/2016 Version vom 20. Oktober 2015 Hinweis: Dieses Handout ist aus einem umfangreichen Foliensatz hervorgegangen. Ein substantieller Teil der Folien ist in Zusammenarbeit mit Harry Haupt, Universität Passau entstanden. Ich danke Kathrin Kagerer und Stefan Rameseder für ihre hervorragenden Zuarbeiten, wichtigen Korrekturen und substantiellen Verbesserungsvorschläge sehr herzlich. Ich danke auch Andreas Kelbel sehr herzlich für die Übertragung des Handouts in das Beamer-Paket. Ich bitte etwaige Fehler an [email protected] zu schicken. c • Die Folien dürfen für den individuellen Gebrauch und für Unterrichtszwecke, jedoch nicht für den kommerziellen Gebrauch gedruckt und reproduziert werden. Bitte zitieren als: Rolf Tschernig, Methoden der Ökonometrie - Handout, Universität Regensburg, Oktober 2015. Downloaded am [Tag Monat Jahr].
Transcript
Universität Regensburg
Methoden der ÖkonometrieHandout
Prof. Dr. Rolf Tschernig
Wintersemester 2015/2016
Version vom 20. Oktober 2015
Hinweis: Dieses Handout ist aus einem umfangreichen Foliensatz hervorgegangen. Ein substantieller Teilder Folien ist in Zusammenarbeit mit Harry Haupt, Universität Passau entstanden. Ich danke KathrinKagerer und Stefan Rameseder für ihre hervorragenden Zuarbeiten, wichtigen Korrekturen und substantiellenVerbesserungsvorschläge sehr herzlich. Ich danke auch Andreas Kelbel sehr herzlich für die Übertragung desHandouts in das Beamer-Paket. Ich bitte etwaige Fehler an [email protected] zu schicken.c• Die Folien dürfen für den individuellen Gebrauch und für Unterrichtszwecke, jedoch nicht für denkommerziellen Gebrauch gedruckt und reproduziert werden.Bitte zitieren als: Rolf Tschernig, Methoden der Ökonometrie - Handout, Universität Regensburg, Oktober2015. Downloaded am [Tag Monat Jahr].
• Kenntnis der Inhalte des Mathematik-Vorkurses Teil 1 und 2.
• Hilfreich, aber nicht erforderlich: Kenntnisse eines einführenden Ökonometriekurses,z. B. des Bachelor-Kurses Einführung in die Ökonometrie (neue Bezeichnung) bzw.Ökonometrie I (alte Bezeichnung).
Ziele dieses Kurses
(Grund-)Kenntnisse zur Beantwortung folgender Fragen
• Wie mache ich eine sorgfältige empirische/ökonometrische Analyse?
• Welche ökonometrischen Methoden gibt es?
• Wie kann ich die Qualität einer empirischen Analyse beurteilen?
• Warum und unter welchen Annahmen funktioniert eine ökonometrische Methode?
• Wie kann ich empirische Analysen mit der freien Software R durchführen?
Alternative Software für ökonometrische Analysen — Übersicht
Graphische Benutzeroberfläche
• EViews (EViews-Kurse (Christoph Knoppik), programmierbar, im CIP-Pool vorhanden,Einzellizenz über Lehrstuhl für ca. Euro 80, BA-Veranstaltungen: Einführung in dieÖkonometrie, Zeitreihen Ökonometrie, Weiterführende Fragen der Ökonometrie)
• Stata (Stata-Kurs (LS Möller, Sommersemester), im CIP-Pool vorhanden)
• JMulTi (freie Software: http://www.jmulti.de/)
Statistische Programmiersprachen mit fertigen Programmmodulen
• R, siehe oben.
• Gauss (einige Lizenzen vorhanden, Quantitative Wirtschaftsforschung II (MA))
• Ox (Batch-Version frei)
• Matlab (Dynamische Makro (MA))
Computer-Algebra-Sprachen
• Maple (UR-Lizenz)
• Maxima (freie Software)
• Mathematica
Pflichtliteratur
Davidson, R. & MacKinnon, J.G. (2004). Econometric Theory and Methods, Oxford UniversityPress (http://econ.queensu.ca/ETM/)
Literatur für Mathematikvorkurs für lineare Algebra
• Schmidt, K. & Trenkler, G. (2006). Einführung in die Moderne Matrix-Algebra. Mit Anwen-dungen in der Statistik, Springer. Kompaktes leicht lesbares deutsches Lehrbuch mit sehrvielen Beispielen zum Rechnen mit Matrizen (aus dem Uninetz Volltext verfügbar)
• Gentle, J.E. (2007) Matrix Algebra Theory, Computations, and Applications in Statistics,Springer. Chapter 2 interessant für Ökonometriker: detaillierte Einführung in Vektorräume(aus dem Uninetz Volltext verfügbar)
• Fischer, G. (2014) Lineare Algebar, 18. Auflage, Vieweg & Teubner. Abschnitt 1.4 grundle-gende Einführung für Mathematiker, Physiker, Ingenieure, usw.(aus dem Uninetz Volltextverfügbar)
• Lütkepohl, H. (1996) Handbook of Matrices, John Wiley & Sons, Chichester. HervorragendesNachschlagewerk zur linearen Algebra und deren verschiedenen Matrizen und dazugehörigenRechenregeln und Umformungsmöglichkeiten.
Literatur für Mathematikvorkurs zur Wahrscheinlichkeitstheorie
• Casella, G. & Berger, R.L. (2002). Statistical Inference, Duxbury - Thomson. sehr ausführli-che, formale Einführung in die Wahrscheinlichkeitstheorie.
• Fahrmeier, L., Künstler, R. & Tutz, G. (2004). Statistik, Springer. einfache Einführung indie Statistik
• Steland, A. (2013). Basiswissen Statistik: Kompaktkurs für Anwender aus Wirtschaft, Infor-matik und Technik, 3. Auflage, Spinger. gut geschriebene, kurz gehaltene, technisch präziseEinführung in die Statistik (aus dem Uninetz Volltext verfügbar)
Literatur zum Wiederholen und Ergänzen
• Kleiber, C. & Zeileis, A. (2008). Applied Econometrics with R Springer, Springer. sehr guteEinführung in R (aus dem Uninetz Volltext verfügbar)
• Steland, A. (2013). Basiswissen Statistik: Kompaktkurs für Anwender aus Wirtschaft, Infor-matik und Technik, 3. Auflage, Springer. (aus dem Uninetz hier)
• Wooldridge, J.M. (2013). Introductory Econometrics. A Modern Approach, 5. Ed., ThomsonSouth-Western. Website für Studenten mit Daten, Glossar, Lernkarten (für 4. Ed.): http://international.cengage.com/AISE/int/searchBook.do?keyword_isbn=0324788908
Vertiefende Literatur (in alphabetischer Reihenfolge)
• Angrist, J. & Pischke, J. (2009). Mostly Harmless Econometrics. An Empiricist’s Companion,Princeton University Press.(Gut lesbare Einführung in die empirische Evaluationsliteratur)http://press.princeton.edu/titles/8769.html
• Cameron, A.C. and Trivedi, P.K. (2005). Microeconometrics, Cambridge University Press.(Methodik für mikroökonometrische Probleme)http://cameron.econ.ucdavis.edu/mmabook/mma.html
• Davidson, R. & MacKinnon, J.G. (1993). Estimation and Inference in Econometrics. OxfordUniversity Press.Viele Details zur Methodik für nichtlineare Regressionsmodelle,http://qed.econ.queensu.ca/dm-book/
Vertiefende Literatur (in alphabetischer Reihenfolge)
• Greene, W. (2012). Econometric Analysis. 7e, Prentice Hall.Umfassendes Nachschlagewerk mit moderater methodischer Tiefe,http://pages.stern.nyu.edu/~wgreene/Text/econometricanalysis.htm
• Hayashi, F. (2000). Econometrics, Princeton University Press.Formal sehr klar aufgebaut.http://fhayashi.fc2web.com/hayashi_econometrics.htm
• Hansen, B. (2015). Econometrics http://www.ssc.wisc.edu/~bhansen/econometrics/
Vertiefende Literatur (in alphabetischer Reihenfolge)
• Peracchi, F. (2001). Econometrics, John Wiley & Sons.Der statistische Ansatz zur Regression mit methodischer Tiefe,http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0471987646,descCd-tableOfContents.html
• Ruud, P.A. (2000). An Introduction to Classical Econometric Theory. Oxford UniversityPress.Der geometrische Ansatz mit methodischer Tiefe
• Verbeek, M. (2012). A Guide to Modern Econometrics, 4th. ed., Wiley.
• Wooldridge, J. M. (2010). Econometric Analysis of Cross Section and Panel Data, 2nd. ed.,MIT Press.Viel Intuition und methodische Tiefehttp://mitpress.mit.edu/books/econometric-analysis-cross-section-and-panel-data
Noch Organisatorisches
• Erste Übung: PC-Übung zur Computersprache R im CIP-Pool, siehe die Kurshomepageunter “Aktuelles”
• Infoveranstaltungen zum Auslandsstudium immer Anfang des Wintersemesters. GenaueDaten auf der Homepage des Akademischen Auslandsamtes.
A.11.R-Programm für Monte-Carlo-Simulation im Abschnitt 12.2 zu linearen sto-chastischen Prozessen und MA-Prozessen . . . . . . . . . . . . . . . . . . . . . 350
A.12.R-Programm für Monte-Carlo-Simulation im Abschnitt 12.3.1 zu AR(1)-Prozessen350A.13.R-Programm für Monte-Carlo-Simulation im Abschnitt 12.3.3 zu AR(p)-Prozessen
und mehr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351A.14.R-Programm für Schätzung der Autokorrelationsfunktion im Abschnitt 12.4
zur Schätzung erster und zweiter Momente im Fall stationärer Prozesse . . . . 352A.15.R-Programm für die Simulation und Schätzung von AR(1)-Prozessen im Ab-
schnitt 13.5 zur KQ-Schätzung von dynamischen linearen Regressionsmodellen 352
• Lütkepohl (1996) Hervorragendes Nachschlagewerk zur linearen Algebra und derenverschiedenen Matrizen und dazugehörigen Rechenregeln und Umformungsmöglichkeiten.Oft hilfreich beim Lesen von Fachartikeln.
3
1. Lineare Algebra
1.1. Vektoren
Übersicht• Raum
• Euklidischer Raum
• Vektoren
• Dimension, Länge eines Vektors
Euklidischer Raum und Vektoren
RaumEin Raum ist in der Mathematik eine Menge mathematischer Objekte mit einer zu-sätzlichen Struktur. D.h. es sind Operationen bzgl. der Elemente der Menge möglich.(http://de.wikipedia.org/wiki/Raum_{Mathematik})
Beispiele:
• Vektorraum
• Euklidischer Raum (= Vektorraum mit Skalarprodukt)
• Wahrscheinlichkeitsraum (=“Menge mit Mengensystem und Wahrscheinlich-keitsabbildung”)
Euklidischer Raum, n-dimensionaler Raum
• Die einem Euklidischen Raum zugrunde liegende Menge ist die Menge der geordnetenn-Tupel x reeller Zahlen:
Rn = {x = (x1, . . . , xn) : x1, . . . , xn œ R}.
Die geordneten n-Tupel x = (x1, . . . , xn) werden auch als n-Vektoren oder kurzVektoren bezeichnet. Jeder geordnete n-Vektor stellt einen Punkt im n-dimensionalenEuklidischen Raum Rn dar, kurz: x œ Rn.
• Die damit verbundene Struktur umfasst als Operationen zwischen den Elementen
– die Addition,
4
1.2. Vektorräume
– die Skalarmultipliation sowie
– das Skalarprodukt.
Beispiele:
• n = 1: x œ R1 Menge entspricht Zahlengerade, Elemente sind Skalare.
• n = 2: x œ R2 Menge entspricht der Ebene, Elemente sind zweidimensionaleVektoren.
• n = 3: x œ R3 Menge entspricht Raum mit Länge, Breite und Höhe.
Weitere Begri�e
• n: Dimension von x. n wird in der linearen Algebra auch als Länge bezeichnet (soauch in R!) Achtung: Die Länge eines Vektor bezeichnet häufig auch die EuklidischeNorm eines Vektors. Siehe Abschnitt 1.2.
• xi: Element oder Komponente von x.
1.2. Vektorräume
Übersicht• Vektorraum
• Addition und Subtraktion
• Nullvektor
• Inverser Vektor
• Linearkombination
• Geraden
• Skalarprodukt bzw. inneres Produkt
DefinitionEine Menge V mit den Operationen
• Addition V ◊ V æ V
5
1. Lineare Algebra
• Multiplikation mit einem Skalar (Skalarmultipliation) R ◊ V æ V
wird linearer Vektorraum genannt, wenn darüber hinaus
1. für die Addition ein Nullvektor und ein inverses Element existieren und
2. für die Multiplikation mit einer Zahl Distributivität und Assoziativität gelten, sowieMultiplikation mit Eins wieder das gleiche Element ergibt, d. h. Multiplikation undAddition sinnvoll verträglich sind.
(adaptiert von Fischer (2010, S. 76))
Bemerkungen
• Linearkombination: Verknüpfung der Operationen von Addition und Multiplikationmit Skalaren:
–, — skalar, x, y œ V : –x + —y œ V .
Jede Linearkombination der Vektoren ist in V enthalten.
Deshalb ist ein Vektorraum ein linearer Raum.
Reellwertige Vektoren und linearer Vektorraum
Die Menge der reellwertigen n-Vektoren x œ Rn bildet einen Vektorraum.
• Nullvektor: Es existiert ein Nullvektor 0 := (0, . . . , 0), so dass gilt:
0 + x = x, 0 · x = 0
6
1.2. Vektorräume
• Inverser Vektor: zu jedem Vektor x œ Rn gibt es ein inverses Element z œ Rn, das ihnmit der Verknüpfung auf den Nullvektor abbildet. Der inverse Vektor ist der negativeVektor ≠x = ≠(x1, . . . , xn) := (≠x1, . . . , ≠xn). Überprüfen!
Überprüfung – Bedingungen für Skalarmultiplikation
• Distributivität für die Skalarmultiplikation: Für –, — œ R gilt:
–(x + y) = –x + –y, (– + —)x = –x + —x
• Assoziatitivät der Skalarmultiplikation
(–—) · x = – · (— · x)
Weitere Eigenschaften
• Assoziativität der Addition:
(x + y) + z = x + (y + z)
• Subtraktion ergibt sich aus Addition und Multiplikation mit einer Zahl:
z ≠ y = z + (≠y) = x
• Zwei Vektoren x und y der Länge n sind genau dann gleich, wenn x1 = y1, . . . , xn = yn
gilt.
Beachte: Die Menge der reellen Zahlen R mit den genannten Operationen bildet aucheinen Vektorraum (= Spezialfall für n = 1).
Geraden im Rn
Definition• Zwei verschiedene Punkte v, vÕ œ Rn bestimmen eine Gerade
• Im Rn: Seien v, vÕ œ Rn fest. Alle Punkte auf der durch v und vÕ definierten Geradensind gegeben durch
L = {x œ Rn : x = v + ⁄w, ⁄ œ R}.
wobei w = vÕ≠v. Die Menge L ist das Bild der Abbildung � : R æ L µ Rn : ⁄ æ v+⁄wund wird Parametrisierung der Geraden genannt.
7
1. Lineare Algebra
Geraden im R2 (in der Ebene)
• Spezialfall für n = 2
• Alle Punkte x einer Gerade im R2 lassen sich als eine Gleichung mit zwei Unbekanntenx = (x1, x2) und drei festen Ko�zienten a1, a2, b darstellen
a1x1 + a2x2 = b.
Die drei Koe�zienten a1, a2, b bestimmen die Lage der Geraden und können aus zweigegebenen Punkten der Gerade v, vÕ bestimmt werden und vice versa.
• Bestimmung zweier Punkte auf der Gerade für gegebene Koe�zienten: Für gegebenes x1lässt sich x2 eindeutig bestimmen und umgekehrt, sofern a1 ”= 0, a2 ”= 0. Beispiel:
x1 = 0 :x2 = b
a2ein Punkt der Gerade
x2 = 0 :x1 = b
a1zweiter Punkt der Gerade
• Zwei Geraden schneiden sich genau in einem Punkt, außer sie sind gleich oder parallel… zweidimensionales lineares Gleichungssystem hat eine, unendlich viele oder keine Lösung.
• Schnittpunkt zweier Geraden: Lösung x des linearen Gleichungssystems
a1x1 + a2x2 = b
c1x1 + c2x2 = d
Auflösen nach x1, x2 durch Einsetzen oder mithilfe von Matrixalgebra. Siehe Abschnitt1.4.
Vektorraum: Skalarprodukt
Skalarprodukt oder inneres Produkt (scalar product, dot product)
Die Abbildung V ◊ V æ R ergibt als Ergebnis einen Skalar.
Die zusätzliche Existenz des Skalarprodukts für einen Vektorraum ermöglicht
1. eine eindeutige Charakterisierung der Beziehung zwischen den Elementen,
2. die Charakterisierung der einzelnen Elemente durch Bestimmung ihrer Länge.
Hinweis: Das Skalarprodukt ist ein spezieller Typ eines inneren Produkts. Innere Produktekönnen beispielsweise auch für Funktionen definiert sein. Allgemein gilt, dass ein inneresProdukt < ·, · > als Ergebnis immer eine reelle oder komplexe Größe liefert (Gentle 2007,Sections 2.1.4, 3.2.6).
Generell gilt: Eine
8
1.3. Euklidischer Raum
• eindeutige Charakterisierung der Beziehung zwischen den Elementen eines Vektorraums istgegeben, wenn eine Metrik für den Vektorraum existiert,
• eindeutige Charakterisierung der Beziehung einzelner Elemente eines Vektorraums istgegeben, wenn eine Norm für den Vektorraum existiert.
1.3. Euklidischer Raum
Übersicht• Vektorraum im Rn
• Euklidischer Raum
• Norm
• Normierter Vektorraum
• Euklidische Norm
• Metrik
• Metrischer Raum
• Orthogonale Vektoren
• Lineare Unabhängigkeit
Skalarprodukt im Vektorraum x, y œ Rn
Rn ◊ Rn æ R : < x, y >:=nÿ
i=1xiyi (1.1)
Definition Euklidischer RaumDer Vektorraum aller reellwertiger n-Vektoren x, y œ Rn, in dem zusätzlich das Skalar-produkt Rn ◊ Rn æ R :< x, y >= qn
i=1 xiyi definiert ist, wird als Euklidischer Raumbezeichnet.
Durch die Existenz des Skalarprodukts ist eine anschauliche geometrische Charakterisierungdes Euklidischen Raums möglich.
9
1. Lineare Algebra
Norm und normierter Vektorraum
Eine Norm erlaubt, allgemein formuliert, die quantitative Bewertung einzelner Elemente einerMenge und wie sich zeigen lässt, ihrer Beziehungen zueinander.
Norm für einen VektorraumDie Abbildung || · || : V æ [0, Œ): ordnet jedem Element x des Vektorraums einenichtnegative reelle Zahl ||x|| zu und genügt folgenden Eigenschaften:
1. Wenn x ”= 0, dann gilt ||x|| > 0 und wenn ||x|| = 0 … x = 0.
Normierter Vektorraumein Vektorraum, dessen Elemente mit einer Norm bewertet/gemessen werden können.
Verschiedene Vektornormen
• L2-Norm oder Euklidische Norm:
||x||2 :=ııÙ
nÿ
t=1x2
t
Die Euklidische Norm misst die Länge eines n-dimensionalen Vektors:
||x||2 :=A
nÿ
t=1x2
t
B1/2
Der Betrag einer reellen Zahl |x|, x œ R ist die Euklidische Norm in R.
• ˘ LŒ-Norm oder Tschebysche�-Norm: ||x||Œ := maxtœn |xt|. Z. B. relevant beim Be-laden von Fahrzeugen, wenn keine Kante eines zu transportierenden Gegenstandes einemaximale Länge überschreiten darf.
• ˘ Lp-Norm:
||x||P :=A
nÿ
t=1|xt|p
B1/p
,
enthält beide bereits genannten Fälle als Spezialfälle.
10
1.3. Euklidischer Raum
Metrik und metrischer Raum
MetrikEine Metrik ist eine Abstandsfunktion d : V ◊ V æ [0, Œ), die folgende Bedingungenerfüllt, wobei V einen Vektorraum bezeichnet. Für zwei Objekte x und y in V gilt:
1. d(y, x) > 0, wenn x ”= y und d(y, x) = 0, falls x = y,
2. d(x, y) = d(y, x),
3. d(x, z) Æ d(x, y) + d(y, z).
(Gentle 2007, Section 2.1.7)
Metrischer RaumEin normierter Vektorraum ist automatisch ein metrischer Raum, da die induzierteMetrik d(x, y) := ||x ≠ y|| allen Anforderungen genügt.
Skalarprodukt, Norm, Metrik
Generell gilt (nicht nur für Euklidischen Raum):Skalarprodukt =∆ Norm =∆ Metrik
< x, y >=qn
i=1 xiyi =∆ < x, x >=qn
i=1 x
2i = ||x||22 =∆ d(x, y) = ||x ≠ y||2
Geometrie von Vektoren im zweidimensionalen Euklidischen Vektorraum
• Notation: Im Folgenden schreiben wir: ||x|| = ||x||2.
• Geometrie der Addition von Vektoren: Ergebnis ist Diagonale im Parallelogramm.
• Geometrie der Multiplikation mit einem Skalar –: –x ist Vektor parallel zu x mitunterschiedlicher Länge und möglicherweise mit entgegengesetzter Richtung.
• Geometrie des Skalarprodukts bzw. innere Produkts zweier Vektoren:Produkt der Längen der beiden Vektoren und dem Kosinus des Winkels ◊ zwischen beiden(ohne Beweis)
< x, y >=nÿ
i=1xiyi = ||x|| ||y|| cos ◊. (1.2)
für Gültigkeit: Gegeben seien zwei spezielle Vektoren im E2:
w =11 0
2,
z =1cos ◊ sin ◊
2.
11
1. Lineare Algebra
Skalarmultiplikation ergibt zwei weitere Vektoren:
x = –w, – > 0,
y = “z, “ > 0.
Dann ergeben sich die inneren Prdukte bzw. Skalarprodukte
||w|| = 1,
||z|| =1cos2 ◊ + sin2 ◊
21/2= 1,
< w, z > = w1z1 + w2z2 = cos ◊
und
||x|| = |–|||w|| = –,
||y|| = |“|||z|| = “,
< x, y > =< –w, “z >= –w1“z1 + –w2“z2 = –“ < w, z >
= –“ cos ◊
= ||x|| ||y|| cos ◊.
Orthogonale Vektoren
• Stehen zwei Vektoren orthogonal aufeinander (senkrecht aufeinander), dann und nurdann ist deren inneres Produkt Null, da cos 90o = 0 =∆Wenn < x, y >= 0 ≈∆ die Vektoren x und y stehen orthogonal zueinander.
• Cauchy-Schwartz Ungleichung
| < x, y > | Æ ||x|| ||y|| bzw. < x, y >2 Æ < x, x > < y, y > .
Diese folgt aus (1.2) und ≠1 Æ cos ◊ Æ 1.
Lineare Unabhängigkeit
• Lineare Unabhängigkeit: k Vektoren xi, i = 1, . . . , k, (mit positiver Länge) sind linearunabhängig, falls es keine k ≠ 1 Skalare ci gibt, so dass gilt:
xj =kÿ
i=1i”=j
cixi, 1 Æ j Æ k.
Beispiel: Seien die Spalten der n◊k Matrix X linear unabhängig. Dann existiertnur ein Nullvektor “, also kein “ mit positiver Länge, so dass
kÿ
i=1xji“i = 0, j = 1, . . . , n.
12
1.4. Matrizen
1.4. Matrizen
Übersicht• Definition
• Addition von Matrizen
• Nullmatrix
• Skalarmultiplikation
• Subtraktion von Matrizen
Matrizen
Definition• Eine Matrix A ist ein rechteckiges Schema von nm Zahlen, n, m œ N,
A :=
Q
cccca
a11 · · · a1n
a21 · · · a2n... . . . ...
am1 · · · amn
R
ddddb= (aij)i=1,...,m,j=1,...,n = (aij)
• Dimension einer Matrix: Zahl der Zeilen m und Zahl der Spalten n.Kurznotation: (m ◊ n)-Matrix oder m ◊ n-Matrix.
• Die Einträge aij, i = 1, . . . , m, j = 1, . . . , n werden Elemente oder Koe�zienteneiner Matrix genannt.
Bemerkungen
• Beachte: Häufig, so in der Matrixalgebra, wird zusätzlich zur Dimension n ein Vektorals Spalten- oder Zeilenvektor definiert.
x =
Q
cca
x1...
xn
R
ddb
¸ ˚˙ ˝Spaltenvektor
oder x =1x1 · · · xn
2
¸ ˚˙ ˝Zeilenvektor
In R wird den Klasse der Vektoren jedoch keine Spalten- oder Zeileneigenschaft
13
1. Lineare Algebra
zugewiesen. Dies geschieht nur bei der Klasse der Matrizen. Daran denken!
• In R existiert die Klasse matrix. Sie wird benötigt, um Spalten- oder Zeilenvektoren zudefinieren.
• Eine (m◊n)-Matrix besteht aus n Spaltenvektoren der Länge m, bzw. m Zeilenvektorender Länge n. Im Fall reeller Zahlen als Elemente schreibt man
A œ Rm◊n.
Denn es liegen n Vektoren der Dimension m vor.
Bemerkungen – Fortsetzung
• Zwei Matrizen der gleichen Dimension sind identisch, wenn alle Koe�zienten überein-stimmen.
• Die Elemente können aus verschiedenen Mengen stammen: z. B. N, R, den komplexenZahlen C oder auch Polynome.
• Jede Tabelle entspricht einer Matrix.
• Ein Spaltenvektor der Länge m entspricht einer (m ◊ 1)-Matrix. Ein Zeilenvektor derLänge n entspricht einer (1 ◊ m)-Matrix.
Grundlegende Operationen mit Matrizen
• Die grundlegenden Operationen Addition und Multiplikation mit einer Zahl ausAbschnitt 1.1 lassen sich auch auf Matrizen anwenden.
• Alle weiteren Eigenschaften bzgl. dieser Operationen aus Abschnitt 1.1 gelten entsprechendfür Matrizen wie im Folgenden zu sehen ist.
1.4.1. Addition von Matrizen
Die Addition von zwei Matrizen A, B mit gleicher Dimension m und n ergibt wieder eine(m ◊ n)-Matrix.
Das (i, j)-te Element ist gerade die Summe der (i, j)-ten Elemente der zu addierenden Matrizen.Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb +
Q
cca
b11 · · · b1n... bij
...bk1 · · · bkn
R
ddb =
Q
cca
a11 + b11 · · · a1n + b1n... aij + bij
...ak1 + bk1 · · · akn + bkn
R
ddb
14
1.4. Matrizen
Beispiel: Q
ca3 4 16 7 0
≠1 3 8
R
db +
Q
ca≠1 0 76 5 1
≠1 7 0
R
db =
Q
ca2 4 812 12 1≠2 10 8
R
db
Beispiel: Vorsicht:A
1 2 30 2 ≠2
B
+A
3 61 4
B
ist nicht definiert!
Nullmatrix
DefinitionEine (m ◊ n)-Matrix 0 heißt Nullmatrix, wenn alle Einträge 0 sind.
Daraus folgt: Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb +
Q
cca
011 · · · 01n... 0ij
...0k1 · · · 0kn
R
ddb =
Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb
bzw.A + 0 = A ’A
1.4.2. Skalarmultiplikation
Die Multiplikation einer Matrix A mit einer Zahl ⁄ ergibt wieder eine Matrix. Dabei wirdjedes Element aij mit ⁄ multipliziert.
⁄
Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb =
Q
cca
⁄a11 · · · ⁄a1n... ⁄aij
...⁄ak1 · · · ⁄akn
R
ddb .
1.4.3. Subtraktion von MatrizenDefinition eine negativen Matrix
Die Matrix ≠A ergibt sich aus der Multiplikation einer Matrix mit einem Skalar oder ausder Matrix, die zu A addiert werden muss, um die Nullmatrix zu erhalten.
≠A = ≠
Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb =
Q
cca
≠a11 · · · ≠a1n... ≠aij
...≠ak1 · · · ≠akn
R
ddb .
15
1. Lineare Algebra
SubtraktionA ≠ B = A + (≠B).
Daraus folgt:Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb ≠
Q
cca
b11 · · · b1n... bij
...bk1 · · · bkn
R
ddb =
Q
cca
a11 ≠ b11 · · · a1n ≠ b1n... aij ≠ bij
...ak1 ≠ bk1 · · · akn ≠ bkn
R
ddb
1.5. Weitere Operationen mit Matrizen
Übersicht• Matrixmultiplikation
• Elementweise Multiplikation bzw. Hadamardprodukt
• Transponierte einer Matrix
• Rechenregeln
• Multiplikation von Vektoren: Inneres und äußeres Produkt
1.5.1. Matrixmultiplikation
• Voraussetzung für die Matrixmultiplikation AB von zwei Matrizen: einer (k ◊ r)-Matrix A und einer (m ◊ n)-Matrix B:
– Die Zahl der Spalten r von A entspricht der Zahl der Zeilen m von B,d.h. A muss Dimension (k ◊ m) und B Dimension (m ◊ n) aufweisen.
– Diese Voraussetzung ist notwendig und hinreichend.
• Die Reihenfolge der Multiplikation:
– kann nicht vertauscht werden, wenn k ”= n,
– kann vertauscht werden, wenn k = n, jedoch im Allgemeinen mit unterschiedlichemErgebnis.
• Die Matrixmultiplikation basiert auf dem Skalarprodukt
16
1.5. Weitere Operationen mit Matrizen
• Notation: (AB)ij bezeichnet das (i, j)-te Element der Matrix AB.
Berechnung des Matrixprodukts
Der (i, j)-te Eintrag des Matrixprodukts AB ist definiert als das Skalarprodukt der i-ten Zeilevon A (einem Zeilenvektor) mit der j-ten Spalte von B (einem Spaltenvektor):
(AB)ij =1ai1 ai2 · · · aim
2·
Q
cccca
b1j
b2j...
bmj
R
ddddb
= ai1b1j + ai2b2j · · · aimbmj
=mÿ
h=1aihbhj
Beispiel: Q
caa bc de f
R
db
AA BC D
B
=
Q
caaA + bC aB + bDcA + dC cB + dDeA + fC eB + fD
R
db .
Beachte: Das Produkt in umgekehrter Reihenfolge ist nicht definiert!
AA BC D
B Q
caa bc de f
R
db
Dimension eines Matrixprodukts
Das Matrixprodukt AB erbt die Zahl der Zeilen r von A und die Zahl der Spalten n vonB:
A · B = C(k ◊ m) · (m ◊ n) = (k ◊ n).
• Gute Praxis: Vor jeder Matrixmultiplikation die Dimensionen der Matrizen überprüfen!Besonders beim Programmieren!
• Beachte in R: Das Matrixprodukt wird mit A %*% B angegeben. In anderen Sprachendagegen häufig mit A*B.
Kein Kommutativgesetz für die Matrixmultiplikation
17
1. Lineare Algebra
• Gegeben sei eine (n ◊ m)-Matrix A und eine (m ◊ n)-Matrix B
A · B = C(n ◊ m) · (m ◊ n) = (n ◊ n).
B · A = D(m ◊ n) · (n ◊ m) = (m ◊ m).
• Selbst wenn A und B quadratisch sind, d.h. Zeilen- und Spaltenzahl gleich sind, m = n,kann AB ”= BA auftreten.
Kein Kommutativgesetz für die Matrixmultiplikation
mit aii = 1, ’i and aij = 0, ’i ”= j, wird als Einheitsmatrix bezeichnet.
Eigenschaften der Einheitsmatrix I:
• Multiplikative Identität für Matrixmultiplikation:
– für jede (m ◊ n)-Matrix A giltAI = A, (1.3)
– für jede (n ◊ m)-Matrix B giltIB = B. (1.4)
• I entspricht der 1 bei den reellen Zahlen.
18
1.5. Weitere Operationen mit Matrizen
Elementweise Multiplikation (Hadamardprodukt)
Für zwei (m ◊ n)-Matrizen A und B liefert die elementweise Multiplikation für den(i, j)-then Eintrag des Hadamardprodukts A § B
(A § B)ij = aijbij
Die resultierende Matrix hat wieder Dimension (m ◊ n) wie A und B.
Beispiel: Aa11 a12a21 a22
B
§A
b11 b12b21 b22
B
=A
a11b11 a12b12a21b21 a22b22
B
Bemerkungen:
• In R wird für das elementweise Produkt A*B verwendet! In anderen Sprachen notiert diesdas Matrixprodukt!
1.5.2. Rechenregeln für Matrizen
• Assoziativität für Addition und Matrixmultiplikation:
(A + B) + C = A + (B + C),(AB)C = A(BC)
• Kommutativgesetz für die Addition
A + B = B + A
• Distributivität für die Matrixmultiplikation
A(B + C) = AB + AC,(A + B)C = AC + BC
Zur Erinnerung: I.A.: AB ”= BA: Matrixmultiplikation nicht kommutativ!
Transponierte einer Matrix
19
1. Lineare Algebra
Definition: Transponierte einer Matrix A
Notation: AT oder AÕ.Die Transponierte einer (k ◊ n)- Matrix A ist eine (n ◊ k)-Matrix, die sich durch dasTransponieren der einzelnen Zeilen ergibt, so dass (i, j)-te Element von A zum (j, i)-tenElement von AT wird.
Die Berechnung kann auch durch Vertauschen von Zeilen und Spalten erfolgen:
Erste Spalte von A wird erste Zeile von AT ,
Zweite Spalte von A wird zweite Zeile von AT ,
Beispiel:A
a11 a12 a13a21 a22 a23
BT
=
Q
caa11 a21a12 a22a13 a23
R
db ,
Aa11a21
BT
=1a11 a21
2.
Rechenregeln mit transponierten Matrizen
Addition und Multiplikation mit einer Zahl
Gegeben sind zwei (m ◊ n)-Matrizen A und B, sowie ein Skalar –
(A + B)T = AT + BT
(A ≠ B)T = AT ≠ BT
(AT )T = A(–A)T = –AT
Es ist eine gute Übung, diese Regeln zu beweisen!
Matrixmultiplikation
Gegeben sind eine (k ◊ m)-Matrix A und eine (m ◊ n)-Matrix B. Es gilt
(AB)T = BT AT (1.5)
• Beachte das Vertauschen der Reihenfolge!
• Notation:1(AB)T
2
ijbezeichnet das (i, j)-te Element von (AB)T . Analog zu bisheriger
Notation.
20
1.5. Weitere Operationen mit Matrizen
Beweis von (1.5):1(AB)T
2
ij= (AB)ji (Definition der Transponierten)= q
h Ajh · Bhi (Definition der Matrixmultiplikation)= q
h(AT )hj · (BT )ih (Definition der Transponierten, zweimal)= q
h(BT )ih · (AT )hj (a · b = b · a) für Skalare= (BT AT )ij (Definition der Matrixmultiplikation.)
Deshalb gilt (AB)T = BT AT . QED
Multiplikation von Vektoren
Spezialfall der Transposition einer Matrix
• Ist ein Vektor x œ Rn als Spaltenvektor definiert, ergibt die Transposition von x einenZeilenvektor mit demselben n-Tupel
xT =
Q
cca
x1...
xn
R
ddb
T
:=1x1 · · · xn
2
• Häufig wird auch die Schreibweise xÕ anstelle von xT verwendet.Inneres ProduktDas Skalarprodukt < x, y >= qn
• Eine weitere Möglichkeit ist das äußere Produkt.
Äußeres Produkt (outer product)
xyT ergibt als Ergebnis eine (n ◊ n)-Matrix (siehe Abschnitt 1.5.1)
xyT =
Q
cca
x1...
xn
R
ddb1y1 · · · yn
2=
Q
cca
x1y1 · · · x1yn... . . . ...
xny1 · · · xnyn
R
ddb .
Vorsicht:
• In beiden Fällen können nur Vektoren mit der gleichen Länge miteinander multipli-ziert werden.
• Vektoren unterschiedlicher Länge können nicht miteinander multipliziert werden.
21
1. Lineare Algebra
1.6. Wichtige spezielle Matrizen
Übersicht• Quadratische Matrix
• Diagonalmatrix
• Symmetrische Matrix
• Obere/untere Dreiecksmatrix
• Idempotente Matrix
Quadratische Matrix
Eine (n ◊ n)-Matrix ist eine quadratische Matrix. Die Zahl der Spalten und Zeilen istgleich.
Diagonalmatrix
Eine quadratische (n ◊ n)-Matrix A ist eine Diagonalmatrix, wenn alle Nichtdiagonalele-mente aij, i ”= j, i, j = 1, . . . , n Null sind.
Symmetrische Matrix
Eine quadratische (n◊n)-Matrix A ist symmetrisch, wenn für alle i, j = 1, . . . , n aij = aji,bzw.
A = AT
gilt.
Obere DreiecksmatrixEine quadratische Matrix A ist eine obere Dreiecksmatrix, wenn für alle i > j, i, j =1, . . . , n gilt: aij = 0.
Untere DreiecksmatrixEine quadratische Matrix A ist eine untere Dreiecksmatrix, wenn für alle i < j, i, j =1, . . . , n gilt: aij = 0.
22
1.6. Wichtige spezielle Matrizen
Idempotente Matrix
Eine quadratische Matrix A heißt idempotent, wenn gilt
AA = A.
Beispiele:
Diagonalmatrizen
Aa 00 b
B
oder
Q
ca1 0 00 2 00 0 3
R
db
Symmetrische Matrizen
Aa bb d
B
oder
Q
ca1 2 32 4 53 5 6
R
db
Obere Dreiecksmatrizen
Aa c0 b
B
oder
Q
ca1 2 90 2 00 0 3
R
db
Untere Dreieicsmatrizen
Aa 0c d
B
oder
Q
ca1 0 02 4 03 5 6
R
db
23
1. Lineare Algebra
1.7. Maßzahlen von Matrizen
Übersicht• Spur
• Rang
• Determinante
1.7.1. Spur einer Matrix
DefinitionDie Spur (trace) einer quadratischen Matrix A ist die Summe der Elemente aii auf derDiagonale
tr(A) =nÿ
i=1aii
Die Spur ist eine Abbildung von Rn◊n nach R.
Beispiel:
tr(I) = n, trA
1 3a b
B
= 1 + b
Rechenregeln
Gegeben sind (n ◊ n)-Matrizen A, B und ein Skalar – œ R:
• tr(A) = tr1AT
2
• tr(–A) = – tr(A)
• tr(A + B) = tr(A) + tr(B)
• weitere Regeln in Schmidt & Trenkler (2006, Abschnitt 3.1).
Nachprüfen!
24
1.7. Maßzahlen von Matrizen
1.7.2. Rang einer Matrix
DefinitionDer Rang (rank) rk(X) einer (m ◊ n)-Matrix A gibt die maximale Zahl an Vektoren(entweder Zeilen- oder Spaltenvektoren) an, die linear unabhängig sind. Der Rang ist eineAbbildung von Rm◊n æ N.
• Eine (m ◊ n)-Matrix A hat vollen Rang (full rank), wenn der Rang der Matrixgleich der kleineren Dimension ist, also
rk(A) =Y]
[m, falls m Æ n und alle m Zeilen linear unabhängig sind,
n, falls m Ø n und alle n Spalten linear unabhängig sind.
• Eine (m ◊ n)-Matrix A hat vollen Spaltenrang, wenn rk(A) = n ist.
• Eine (m ◊ n)-Matrix A hat vollen Zeilenrang, wenn rk(A) = m ist.
Bemerkungen
• Eine Matrix, die nicht vollen Rang hat, weist ein Rangdefizit auf.
• Der Rang ist kleiner als die Spaltenzahl k von X, falls Spalten von X linear abhängig sind.Dann
– lässt sich eine Matrix XÕ bilden, die aus kÕ linear unabhängigen Spalten von X besteht,so dass rk(X) = kÕ < k und
– ”(X) = ”(XÕ) gilt,
– weist auch XT X ein Rangdefizit auf, da rk(X) = rk(XT X) = kÕ, und ist singulär. (Vgl.MLR.3 in Ökonometrie I).
Rechenregeln
Gegeben seien (m ◊ n)-Matrizen A, B:
• 0 Æ rk(A) Æ min(m, n)
• rk(A) = rk(AT ) = rk(AT A) = rk(AAT )
• rk(A + B) Æ rk(A) + rk(B)
• rk(AC) Æ min(rk(A), rk(C))
• weitere Regeln in Schmidt & Trenkler (2006, Abschnitt 3.2).
25
1. Lineare Algebra
1.7.3. DeterminantenDeterminante• Eine Determinante (determinant) einer quadratischen Matrix A ist eine AbbildungRn◊n æ R, die eine wichtige Funktion bei der Bestimmung der Lösungen linearerGleichungssysteme hat aber auch in der Geometrie. Fischer (2010, Abschnitt 3.1.1)
• Die Determinante wird mit |A| oder mit det(A) notiert.
• Die Berechnung einer Determinante kann rekursiv erfolgen. Gentle (2007, Abschnitt3.1.5) oder Schmidt & Trenkler (2006, Abschnitt 3.3).
• Für n Æ 3 gibt es einfache Berechnungsformeln.
˘ Geometrische Interpretation: Der (n ◊ 1)-Vektor definiert im n-dimensionalen Euklidi-schen Raum En ein n-dimensionales Parallelepiped (= Parallelogramm für n = 2), für dassich ein Volumen (für n = 2 eine Fläche) berechnen lässt.
Wird ein (n ◊ 1)-Vektor x von links mit der Matrix A multipliziert, entspricht dies einerAbbildung von
En ≠æ En : x ≠æ z = Ax.
Die Determinante |A| gibt an, um wie viel sich die Volumina, die jeweils durch x und zbestimmt werden, unterscheiden (Ein Beispiel für n = 2 findet sich in Davidson & MacKinnon2004, Section 12.2, pp. 511-512).
Berechnung der Determinante für n = 2, 3
• (2 ◊ 2)-Matrix
A =A
a bc d
B
, det A = |A| = ad ≠ bc.
• (3 ◊ 3)-Matrix (Sarrus’ Regel)
A =
Q
caa b cd e fg h i
R
db
det A = |A| = aei + bfg + cdh ≠ gec ≠ hfa ≠ idbQ
caa b cd e fg h i
R
dba bd eg h
26
1.8. Matrixinversion
1.8. Matrixinversion
Übersicht• Definition einer inversen Matrix
• Berechnung für (2 ◊ 2)-Matrix
• Existenz
• Rechenregeln
Die Inverse einer Matrix
• ist nur für quadratische Matrizen definiert.
• ergibt sich bei der Lösung eines linearen Gleichungssystems.
• spielt eine zentrale Rolle in der Matrixalgebra.
Inverse einer MatrixEine quadratische Matrix A heißt invertierbar, wenn eine quadratische Matrix B existiert,so dass gilt:
AB = BA = I.
Die Matrix B wird als Inverse A≠1 bezeichnet.
• Die Inverse ist eine Abbildung Rn◊n æ Rn◊n.
• Eine nichtinvertierbare Matrix A wird als singulär bezeichnet.
• Eine invertierbare Matrix A wird als regulär oder als nicht singulär bezeichnet.
Berechnung der Inversen für n = 2, 3
• (2 ◊ 2)-Matrix
A≠1 =A
a bc d
B≠1
= 1|A|
Ad ≠b
≠c a
B
• (3 ◊ 3)-Matrix
A≠1 =
Q
caa b cd e fg h i
R
db
≠1
= 1|A|
Q
caei ≠ fh ch ≠ bi bf ≠ cefg ≠ di ai ≠ cg cd ≠ afdh ≠ eg bg ≠ ah ae ≠ bd
R
db
27
1. Lineare Algebra
• Für n > 3 sind komplizierte Verfahren notwendig, die man am Bestem dem Computerüberlässt.
Existenz der Inversen
• Existenz der Inversen: Die Inverse A≠1 existiert dann und nur dann, wenn die Determi-nante von A von Null verschieden ist, |A| ”= 0. Dies gilt für alle n!
• Wichtig: Ist bei Berechnungen die Determinante nahe Null, kann es zu großen numerischenUngenauigkeiten kommen. Deshalb wird beim Programmieren die Verwendung der Inversenvermieden, wenn das möglich ist.
• Existiert die Inverse, ist ein lineares Gleichungssystem
Ax = b
eindeutig lösbar:x = A≠1b
• Für nichtquadratische und nichtinvertierbare Matrizen gibt es verallgemeinerte Inverse.
Rechenregeln für Inverse
A sei regulär.
• (A≠1)≠1 = A
•1AT
2≠1= (A≠1)T
• B sei regulär. Dann ist AB regulär und (AB)≠1 = B≠1A≠1.
• Ist A eine Diagonalmatrix, dann gilt: A≠1 = (1/aii).
Rechenregeln für Determinanten
Gegeben sind (n ◊ n)-Matrizen A, B und ein Skalar ⁄ œ R:
• |A| = 0 ≈∆ rk(A) < n ≈∆ A ist singulär
• |A| ”= 0 ≈∆ rk(A) = n ≈∆ A ist regulär
• |⁄A| = ⁄n|A|
• |AB| = |A||B|
• |AT | = |A|
28
1.9. Euklidische Unterräume
• |A| = rni=1 aii, wenn A Diagonal- oder Dreiecksmatrix ist.
• weitere Regeln z. B. in Schmidt & Trenkler (2006, Abschnitt 3.3).
1.9. Euklidische Unterräume
Übersicht• Basisvektoren im En
• Euklidische Unterräume
• Spaltenraum einer Matrix
• Orthogonales Komplement
Basisvektoren im En
Definitionn verschiedene (n ◊ 1)-Vektoren sind Basisvektoren, wenn kein Basisvektor sich als Line-arkombination der anderen (n ≠ 1) Basisvektoren darstellen lässt. D. h., die Basisvektorensind linear unabhängig.
Bemerkungen
• Jedes Element im Euklidischen Raum En kann als Linearkombination von n Basis-vektoren dargestellt werden.
• Man sagt dann: Die n Basisvektoren spannen En auf, d. h. bilden einen EuklidischenRaum En. Bezeichnet man die n Basisvektoren mit xi, dann ist die Menge aller Vektorenin En gegeben durch
I
z œ En
-----z =nÿ
i=1bixi, bi œ R, i = 1, . . . , n
J
.
Euklidische Unterräume
29
1. Lineare Algebra
DefinitionReduziert man die Zahl der Basisvektoren auf k < n, kann nur noch eine Teilmenge derVektoren in En dargestellt werden. Eine solche Teilmenge bildet einen EuklidischenUnterraum.
Notation und Sprechweisen
• Den Unterraum, der von k Basisvektoren {x1, x2, . . . , xk} aufgespannt wird, bezeich-nen wir mit ”(x1, x2, . . . , xk), bzw. ”(X), falls alle Basisvektoren in der Matrix X =(x1, x2, . . . , xk) zusammengefasst werden.
Spaltenraum einer Matrix
• Die Menge der im Unterraum enthaltenen Vektoren z, d. h. alle Linearkombinationender Spalten der (n ◊ k)-Matrix X, lässt sich beschreiben als
”(X) = ”(x1, x2, . . . , xk) :=I
z œ En
-----z =kÿ
i=1bixi, bi œ R
J
. (1.6)
• Man sagt, dass der Unterraum ”(X) dem Spaltenraum der Matrix X entspricht.
Orthogonales Komplement
• Das orthogonale Komplement zu dem Unterraum ”(X) ist ein weiterer Unterraumin En, für den gilt:
”‹(X) = ”‹(x1, x2, . . . , xk) (1.7):=
Ów œ En
---< w, z >= wT z = 0 für alle z œ ”(X)Ô
.
Frage: Sei dim ”(X) = k die Dimension von ”(X). Wie groß ist dann dim ”‹(X)?
30
1.10. Matrizen und lineare Abbildungen
1.10. Matrizen und lineare Abbildungen
Übersicht• Abbildung zwischen zwei Vektorräumen
• Lineare Abbildung zwischen zwei Vektorräumen
• Kern und Bild einer linearen Abbildung
Gegeben seien zwei Euklidische Vektorräume, die unterschiedliche Dimensionen n und maufweisen können. Es sei x œ Rn und y œ Rm. Die Abbildung
F : Rn æ Rm,
Q
cca
y1...
ym
R
ddb =
Q
cca
a11 · · · a1n... . . . ...
am1 · · · amn
R
ddb ·
Q
cca
x1...
xn
R
ddb ,
kurzF(x) = y = Ax
weist jedem Punkt x im n-dimensionalen Euklidischen Raum Rn einen Punkt y im m-dimensionalen Euklidischen Raum Rm zu.
Lineare Abbildung
Eine AbbildungF : Rn æ Rm, F(x) = y = Ax
heißt linear, wenn folgende Eigenschaften gelten:
1. F(x + z) = F(x) + F(z)
2. F(⁄x) = ⁄F(x)
für alle x, z œ Rn, ⁄ œ R.
Kern und Bild einer linearen Abbildung
Es sei V œ Rn und W œ Rm. Für die Abbildung F : V æ W bezeichnet
• Im F := F(V) das Bild (image) dieser Abbildung,
31
1. Lineare Algebra
• Ker F := F≠1(0) den Kern (kernel) dieser Abbildung.
• Der Kern kann bei Existenz der Inversen durch F≠1(y) = A≠1y mit y = 0 bestimmtwerden.
• Der Kern bestimmt die Menge aller x œ V , deren Bild gerade der Ursprung in W ist.
Betrachte ein typisches System linearer Gleichungen:
a11x1+ · · · +a1nxn = b1a21x1+ · · · +a2nxn = b2
... ... ...ak1x1+ · · · +aknxn = bk.
Das lineare Gleichungssystem kann kompakter mit Matrizen dargestellt werden.
Definition geeigneter Matrizen: (m◊n)-Koe�zientenmatrix A, (n◊1)-Variablenvektorx und (m ◊ 1)-Parametervektor b
A =
Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb , x =
Q
cca
x1...
xn
R
ddb und b =
Q
cca
b1...
bk
R
ddb .
Gleichungssystem in Matrixform
32
1.12. (Semi-)definite Matrizen
Das Gleichungssystem lautet nun:Q
cca
a11 · · · a1n... aij
...ak1 · · · akn
R
ddb ·
Q
cca
x1...
xn
R
ddb =
Q
cca
b1...
bk
R
ddb .
In kompakter FormAx = b.
Das Matrixprodukt Ax liefert einen (k ◊ 1)-Vektor, der dem (k ◊ 1)-Parametervektor bentspricht, wenn x eine Lösung des Gleichungssystems darstellt.
Eindeutige Lösung
Ist A regulär, d. h. invertierbar, dann existiert eine eindeutige Lösung
x = A≠1b.
1.12. (Semi-)definite Matrizen
Übersicht• Quadratische Form
• Positiv definite und positiv semidefinite Matrizen
• Negativ definite und negativ semidefinite Matrizen
• Indefinite Matrizen
Quadratische Form
xT Ax = qki=1
qkj=1 xixjAij ist eine quadratische Form. Das Ergebnis ist ein Skalar.
Positiv definite und semidefinite Matrizen• Eine (k ◊ k)-Matrix A heißt positiv definit, wenn für beliebige (k ◊ 1)-Vektoren x
mit positiver Norm gilt:xT Ax > 0.
• Eine (k ◊ k)-Matrix A heißt positiv semidefinit, wenn für beliebige (k ◊ 1)-Vektoren
33
1. Lineare Algebra
x mit positiver Norm gilt:xT Ax Ø 0.
Negativ definite und semidefinite Matrizen
• Eine (k ◊ k)-Matrix A heißt negativ definit, wenn für beliebige (k ◊ 1)-Vektoren xmit positiver Norm gilt:
xT Ax < 0.
• Eine (k ◊ k)-Matrix A heißt negativ semidefinit, wenn für beliebige (k ◊ 1)-Vektorenx mit positiver Norm gilt:
xT Ax Æ 0.
Indefinite MatrizenMatrizen, die weder positiv, noch negativ (semi-)definit sind, heißen indefinit.
• Ist A = BT B, dann ist A immer positiv semidefinit, da
xT BT Bx = (Bx)T (Bx) = ||Bx||2 Ø 0. (1.8)
Wenn B vollen Rang hat, ist A positiv definit. Warum?
• Die Diagonalelemente einer positiv definiten Matrix sind positiv. Außerdem existiert fürjede positiv definite Matrix A eine Matrix B, so dass gilt A = BT B. Dabei ist B nichteindeutig.
• Eine Matrix A heißt negativ (semi-)definit, wenn ≠A positiv (semi-)definit ist.
Beispiel:
I =A
1 00 1
B
ist positiv definit. Denn für jeden Vektor z =A
z0z1
B
mit ||z|| > 0 gilt
1z0 z1
2 A1 00 1
B Az0z1
B
= z20 + z2
1 > 0.
Beispiel: Die Matrix M =A
0 11 0
B
ist indefinit, da sie weder positiv, noch negativ
semidefinit ist. Denn für z =A
z1z2
B
erhält man
1z1 z2
2 A0 11 0
B Az1z2
B
=1z2 z1
2 Az1z2
B
= 2z1z2.
Je nach Wahl von z1 und z2 ist das Ergebnis positiv, null oder negativ.
34
1.13. Rechenregeln zum Ableiten von vektorwertigen Funktionen
1.13. Rechenregeln zum Ableiten von vektorwertigen Funktionen
Übersicht• Erste partielle Ableitungen von Skalarprodukten
• Erste partielle Ableitungen von Linearkombinationen
• Erste partielle Ableitungen für quadratische Formen
• ˘ Jacobi-Matrix
Erste partielle Ableitungen von Skalarprodukten
Gegeben sind die (n ◊ 1)-Spaltenvektoren v und w. Für die erste partielle Ableitung desSkalarprodukts z =< v, w >= vT w = wT v = qn
i=1 viwi nach wi gilt dann ˆz/ˆwi = vi.Sammelt man alle ersten partiellen Ableitungen nach w in einem Spaltenvektor
ˆz
ˆw =
Q
ccccca
ˆzˆw1ˆz
ˆw2...ˆz
ˆwn
R
dddddb,
ergibt sichˆz
ˆw = v.
Erste partielle Ableitungen von Linearkombinantion
der partiellen Ableitungen erster Ordnung wird als Jacobi-Matrix bezeichnet. Ist dieJacobi-Matrix quadratisch, existiert die Determinante der Jacobi-Matrix (häufig als Jacobi-Determinante bezeichnet):
|J(x)| =-----ˆg(x)ˆxT
----- . (1.10)
36
1.14. Partitionierte Matrizen
1.14. Partitionierte Matrizen
Übersicht• Addition, Subtraktion und Matrixmultiplikation
• Inversion einer partitionierten Matrix
Partitionierte Matrix
A =A
A11 A12A21 A22
B
,
wobei die Teilmatrizen Aij Dimension (mi ◊ nj) haben und m1 + m2 = m, n1 + n2 = ngilt.
Rechenregeln
Auf korrekte Dimensionen der Matrizen und Teilmatrizen achten!
• AT =A
AT11 AT
21AT
12 A22
B
• Addition: ersetze in Standardaddition Elemente durch Teilmatrizen.
• Matrixmultiplikation: ersetze in Elemente durch entsprechende Teilmatrizen
Definition: Grundgesamtheit bzw. Population (population)
“Menge aller statistischen Einheiten, über die man Aussagen gewinnen will”.
Die Grundgesamtheit (Fahrmeier et al. 2004, Abschnitt 1.3.1, S. 14)
• hängt von der interessierenden Fragestellung ab,
• kann endlich (Anteile einer Produktion mit Qualitätsmängel), unendlich (Menge allermöglichen Verspätungen bei der Bahn) oder hypothetisch (Menge alle potentiellen Käufer)sein.
Die Grundgesamtheit
• kann prinzipiell beobachtbar (alle Studierende der UR, Menge an biologisch produziertemGetreide in einer Region innerhalb eines Jahres) oder
• unbeobachtbar sein (z. B. Auswirkung einer Maßnahme für ein einzelnes Individuum)
Definition: Stichprobe
Eine Stichprobe ist typischerweise eine Teilmenge der Grundgesamtheit, die beobachtetwerden kann oder bereits wurde und zur Analyse der Grundgesamtheit dienen kann.
Beispiele:
• Teilnehmer einer Vorlesung
• 1 kg Getreide pro 100 zufällig ausgewählten Feldern innerhalb einer Region
• Teilnehmer am sozio-ökonomischen Panel
39
2. Grundlagen der Wahrscheinlichkeitstheorie
2.2. Wozu brauchen wir Wahrscheinlichkeitstheorie?
Übersicht• Illustrierende Aufgabe
• Induktive, deskriptive, explorative Statistik
• Induktive Statistik und Wahrscheinlichkeitstheorie
Wozu brauchen wir Wahrscheinlichkeitstheorie?
Aufgabe zur Geschlechterverteilung
Wie ist die Geschlechterverteilung der Studierenden zu Beginn des VWL/IVWL-Master-studiums an der Universität Regensburg?
• Grundgesamtheit: Alle Studierenden, die dieses Semester einen VWL/IVWL-Masterbeginnen.
• Stichprobe: Alle Studierenden, die dieses Semester den VWL oder IVWL-Masterbeginnen und in diesem Hörsaal sitzen.
Induktive versus deskriptive versus explorative Statistik
Aussagen über
• Stichprobe/Daten:
– Beschreibung der wichtigsten Kennzahlen der Daten: deskriptive Statistik
– Suche nachdem, was die Daten über formale Modelle oder Hypothesentests nochpreisgeben könnten: explorative Statistik
• Grundgesamtheit: induktive Statistik
Welche Aussagen sind über Grundgesamtheit möglich?
Inwieweit lassen sich auf Basis der Information in dieser Stichprobe Aussagen über dieGeschlechteranteile in der Grundgesamtheit machen?
40
2.2. Wozu brauchen wir Wahrscheinlichkeitstheorie?
Mögliche Antworten ohne Wahrscheinlichkeitstheorie
Auf Basis der Stichprobe sind Intervallaussagen über den Anteil von Studentinnen möglich.Diese werden jedoch umso ungenauer, je größer die Grundgesamtheit im Vergleich zurStichprobe ist.
Mögliche Antworten mit Wahrscheinlichkeitstheorie
• Punktprognosen
• Intervallprognosen mit kürzeren Intervallen und Überdeckungswahrscheinlichkeiten
• erfordern immer zusätzliche Annahmen. Detailliertere Aussagen als Aussagen überden möglichen Bereich des Geschlechtsanteils in der Grundgesamtheit erfordern zu-sätzliche Annahmen!
Beispiele:
– Das Geschlechterverhältnis in der Grundgesamtheit entspricht dem in der Stichprobe.
– Es liegt eine Zufallsstichprobe vor.
Fortsetzung der Aufgabe zur Geschlechterverteilung
Antworten ohne WahrscheinlichkeitstheorieFolgende Tabelle ermöglicht Intervallaussagen ohne Wahrscheinlichkeitstheorie, nachdemdie aktuellen Stichprobendaten ergänzt worden sind.
• zukünftiges Monatseinkommen eines Haushalts: � = [0, Œ)
Anmerkungen
• Sind die Ergebnisse endlich viele, dann bezeichnet man die einzelnen Ergebnisse häufigmit Êi. Für S Ergebnisse, ist � dann
� = {Ê1, Ê2, . . . , ÊS}.
43
2. Grundlagen der Wahrscheinlichkeitstheorie
• Liegen unendlich viele Ergebnis vor, dann bezeichnet man ein einzelnes davon häufigmit Ê.
Ereignis
Definitionen• Tritt ein bestimmtes Ergebnis ein, wird dies als Ereignis (event) bezeichnet.
• Enthält das Ereignis genau ein Element der Ergebnismenge, wird es als Elementarer-eignis bezeichnet.
• Ein Ereignis ist eine Teilmenge der Ergebnismenge �, also jede Menge von mögli-chen Elementarereignissen = jede Teilmenge der Menge � einschließlich � selbst.
• Die Ergebnismenge � ist ein sicheres Ereignis.
• Das komplementäre Ereignis Ac zu Ereignis A enthält alle Ereignisse, die in derErgebnismenge �, aber nicht in A sind.
Beispiele:
• Urne: Mögliche Ereignisse sind z. B. {gelb, rot} oder {rot, blau, grün}. Komple-mentärereignis zu Ereignis A = {gelb, rot} ist Ac = {blau, grün}.
• Haushaltseinkommen: Mögliche Ereignisse sind alle möglichen Teilintervalle undVerknüpfungen davon, z. B. (0, 5000], [1000, 1001), (400, Œ), 4000, etc.
Anmerkungen
Verwendet man die allgemeine Schreibweise mit den Ê’s, dann ergibt sich
• im Fall von S Elementarereignissen: {Ê1, Ê2}, {ÊS}, {Ê3, . . . , ÊS}, etc.
• im Fall von unendlich vielen Elementarereignissen innerhalb eines Intervalls � =(≠Œ, Œ): (a1, b1], [a2, b2), (0, Œ), etc., wobei immer die untere Grenze kleiner odergleich der oberen Grenze ist, also (ai Æ bi).
Sigma-Algebra
Vorbemerkungen: Betrachten wir unser Beispiel mit den 4 Kugeln in verschiedenen Farben.Um das Beispiel noch allgemeiner zu machen, bezeichnen wir Ê1 = gelb, Ê2 = rot, Ê3 = blau,Ê4 = grün: � = {Ê1, Ê2, Ê3, Ê4}. Nehmen wir nun an, dass wir insbesondere daran interessiertsind, ob bei einem Zug folgende Ereignisse eintreten:
C = {{Ê1}, {Ê1, Ê3, Ê4}} ,
44
2.3. Wahrscheinlichkeitsraum
die in der Menge von Teilmengen C zusammengefasst werden. Wenn wir nun diese Kollektionvon Teilmengen C genauer betrachten, fällt auf, dass zwar das Elementarereignis {Ê1} eintretenkann, aber was machen wir, wenn es nicht eintritt. Dann muss ja zwangsläufig das Ereignis{Ê2, Ê3, Ê4} eintreten, das aber nicht in der Sammlung C enthalten ist. Das bedeutet, dasswir diesem Ereignis dann auch keine Wahrscheinlichkeit zuordnen können. Da dies keinenSinn macht, müssen wir die Menge C mindestens um das Ereignis {Ê2, Ê3, Ê4} erweitern.Daraus folgt, dass eine Kollektion von Teilmengen, für die wir jeweils Wahrscheinlichkeitendefinieren möchten, bestimmte Eigenschaften aufweisen muss. So muss zumindest immer dasKomplement eines Ereignisses in der Kollektion von Teilmengen enthalten sein. Man kann sichauch überlegen, dass beliebige Vereinigungsmengen von Teilmengen ebenfalls in der Kollektionenthalten sein müssen. Erfüllt eine Kollektion von Teilmengen diese Anforderungen, dannwird sie als Sigma-Algebra bezeichnet.
Anmerkung: Eine ‡-Algebra ist eine Menge von Ereignissen (Teilmengen), die bezüglichaller enthaltenen Ereignisse die Zuweisung von Wahrscheinlichkeiten zulässt. Für Interessiertedie Definition:
˘ Definition einer Sigma-Algebra
Eine Menge von Teilmengen von � wird als Sigma-Algebra bzw. als ‡-Algebra (‡-algebra, ‡-field) bezeichnet, wenn für diese Menge von Teilmengen folgende Eigenschaftengelten. Dabei wird eine ‡-Algebra häufig mit F bezeichnet:
1. ÿ œ F
2. Wenn A œ F , dann Ac œ F
3. Wenn A1, A2, . . . œ F , dann tŒi=1 Ai œ F
Anmerkung: Im Fall endlich vieler Elementarereignisse ist die ‡-Algebra mit der Potenzmengeidentisch. Im Fall unendlich vieler Elementarereignisse, beispielsweise im Fall der möglichenIntervalle reeller Zahlen ist die ‡-Algebra kleiner als die Potenzmenge. Genau für diesen Fallhat man dieses Konzept entwickelt, da die Potenzmenge ”zu groß” sein würde.
Sigma-Algebra und Wahrscheinlichkeitsfunktion
WahrscheinlichkeitsfunktionEs sei eine Menge � und eine ‡-Algebra F gegeben. Dann ist eine Wahrscheinlichkeits-funktion P eine Funktion mit Definitionsmenge F , die folgende Bedingungen erfüllt:
1. P (A) Ø 0 für alle A œ F
2. P (�) = 1, P (ÿ) = 0.
3. Wenn A1, A2, . . . paarweise disjunkt sind, dann P (tŒi=1 Ai) = qŒ
i=1 P (Ai)
45
2. Grundlagen der Wahrscheinlichkeitstheorie
Die Wahrscheinlichkeitsfunktion weist jedem möglichen Ereignis in der ‡-Algebra eine Wahr-scheinlichkeit zu.
Mehr zur ‡-Algebra findet sich in z. B. Steland (2010, Abschnitt 2.1.3) oder Eine etwaskomprimierte Einführung in die Wahrscheinlichkeitstheorie.
Man sieht, dass die Definition einer Wahrscheinlichkeitsfunktion nur bezüglich eines Ergebnis-raumes � und einer dazu passenden ‡-Algebra möglich ist. Streng genommen müsste man alsozu einer Wahrscheinlichkeitsfunktion P immer dazu sagen, zu welchem � und F sie gehört.Dann erhält man einen
WahrscheinlichkeitsraumDas Tripel (�, F , P) wird Wahrscheinlichkeitsraum genannt.
Wenn keine Unklarheiten entstehen, wird häufig auf die Angabe des Wahrscheinlichkeitsraumesverzichtet. Das machen wir hier auch so.
Rechenregel für Wahrscheinlichkeiten
Es seien A, B œ F . Dann gilt
P (A€
B) = P (A) + P (B) ≠ P (A‹
B) (2.1)
2.4. Zufallsvariablen
Übersicht• Definition und Beispiele einer Zufallsvariablen
• Realisation einer Zufallsvariablen
• Schreibweisen
• Diskrete und stetige Zufallsvariablen
• Wahrscheinlichkeitsraum von Zufallsvariablen
Zufallsvariablen
DefinitionEine reelle Zufallsvariable X ist eine Funktion von einer Ergebnismenge � nach R,
Realisation einer ZufallsvariableAusprägung x einer Zufallsvariable X(Ê), die in einer Stichprobe beobachtet wurde, sodass x = X(Ê).
Wichtig: Eine Zufallsvariable als solches kann nicht beobachtet werden, da sie eine Funktionaller möglichen Ergebnisse ist.
Schreibweisen von Zufallsvariablen• In diesem Abschnitt schreiben wir im Folgenden X anstelle von X(Ê). Realisationen
oder mögliche Ausprägungen werden mit x bezeichnet.
• In der ökonometrischen Literatur wird mangels genügend Symbolen im Allgemeinennicht zwischen einer Zufallsvariable X und einer möglichen Realisation x unterschieden,sondern beides mit dem gleichen Symbol bezeichnet (Beispiele: abhängige Variable yt,Fehlerterm ut im linearen Regressionsmodell)
(??) HINWEIS auf Notation ab Kap 4, aber auch schon in 2.9 bei wichtigen Wahrschein-lichkeitsverteilungen!! GGf. Notationsverzeichnis machen
Arten von Zufallsvariablen• Diskrete Zufallsvariablen: Sie können endlich viele (z. B. binäre Zufallsvariablen)
oder unendlich, aber abzählbar viele Werte (z. B. Zähldaten � = N) annehmenŒÿ
i=1P (X(Ê) = xi) =
Œÿ
i=1P (X = xi) = 1
• Stetige Zufallsvariablen:
– Beispiele: X œ R, X œ [0, Œ).
– Beachte: P (X = x) = 0. Wieso?
47
2. Grundlagen der Wahrscheinlichkeitstheorie
– Stattdessen betrachtet man Wahrscheinlichkeiten für Intervalle, z. B. P (X Æ x),P (a < X Æ b), P (0 < X) ∆ kumulative Wahrscheinlichkeitsverteilung.
Wahrscheinlichkeitsraum von Zufallsvariablen
Eine Wahrscheinlichkeitsfunktion für die Zufallsvariable X(Ê) auf � kann nur bestimmtwerden, wenn
1. eine neue Menge an Elementarereignissen �Õ, die der Bildmenge der Zufallsvariablen fürdie Elementarereignisse entspricht, vorliegt und
2. eine neue ‡-Algebra F Õ, die sich aus F gewinnen lässt.
˘ Details
Die Wahrscheinlichkeitsfunktion für die Zufallsvariable hat als Argument A œ F Õ
im Fall
• diskreter Zufallsvariablen Zahlen,
P (X = x) = P (X(Ê) = x) = P ({Ê œ �|X(Ê) = x}).
• stetiger Zufallsvariablen Intervalle von (reellen) Zahlen mit
• P (X = 0) = 1/4, P (X = 3) = 1/8, P (X = 17) = 1/8, P (X = 20) = 1/2.
Dann ergibt sich ein neuer Wahrscheinlichkeitsraum. Für X œ R schreibt man (R, B, PX).Die ‡-Algebra B ist eine geeignete Menge aller reellen Intervalle, die als Borel-Algebrabezeichnet wird.
Zur Vereinfachung der Notation schreiben wir jedoch weiter häufig {�, F , P}.
48
2.5. Verteilungs- und Dichtefunktionen
2.5. Verteilungs- und Dichtefunktionen
Übersicht• Univariate Wahrscheinlichkeitsverteilung (cumulative distribution function (CDF))
• Multivariate Verteilungs- und Dichtefunktionen
2.5.1. Univariate Verteilungs- und Dichtefunktionen
Übersicht• Univariate Wahrscheinlichkeitsverteilung (cumulative distribution function (CDF))
Motivation von WahrscheinlichkeitsdichtenFür eine stetige Zufallsvariable Y gilt, dass die Wahrscheinlichkeit ’Y nimmt den Wert yan’ gerade Null ist, d.h. P (Y = y) = 0. Intuition: Fläche unter einem Integral an einemPunkt ist Null.
Stattdessen muss man für Y ein Intervall betrachten, z.B. [a, b] oder häufig (≠Œ, y]. Fürdas letztere erhält man die Wahrscheinlichkeitsverteilung
F (y) = P (Y Æ y) Y stetig= P (Y < y),
die monoton in y wächst. Man kann also auch die Veränderung der Wahrscheinlichkeitbetrachten, wenn die Intervalllänge um einen marginalen Betrag ” > 0 zunimmt. Diesergibt die absolute Veränderung in der Wahrscheinlichkeit
P (Y Æ y + ”) ≠ P (Y Æ y)
und die relative Veränderung
P (Y Æ y + ”) ≠ P (Y Æ y)”
.
Indem man nun die marginale Veränderung ” der Intervalllänge gegen 0 gehen lässt, erhältman die Wahrscheinlichkeitsdichtefunktion
f(y) = limӾ0
P (Y Æ y + ”) ≠ P (Y Æ y)”
,
die an einigen y positiv sein muss, denn ansonsten würde sich bei einer Änderung derIntervalllänge keine Veränderung der Wahrscheinlichkeit ergeben. Die Wahrscheinlich-keitsdichte gibt also die Rate an, mit der sich die Wahrscheinlichkeit ändert, wenn dasIntervall marginal verändert wird.
DaP (y < Y Æ y + ”) = P (Y Æ y + ”) ≠ P (Y Æ y),
50
2.5. Verteilungs- und Dichtefunktionen
erhält man, salopp gesprochen,
P (y < Y Æ y + ”) ¥ f(y)”.
Man kann deshalb die Wahrscheinlichkeit, dass eine Realisation von Y in einem be-stimmten Intervall (y, y + ”] beobachtet wird, mit dem Produkt aus der Dichte und derIntervalllänge approximieren. Diese Approximation ist umso besser, je kleiner ” ist. DieDichte ist approximativ proportional zur Wahrscheinlichkeit, dass Y in einemsehr kleinen Intervall um y herum beobachtet wird.
Wahrscheinlichkeitsdichtefunktion (probability density function) (PDF)
Für eine stetige Zufallsvariable mit di�erenzierbarer Wahrscheinlichkeitsverteilung F (x)wird die Ableitung erster Ordnung Wahrscheinlichkeitsdichtefunktion genannt
Abbildung 2.1.: PDF und CDF der Standardnormalverteilung (R-Programm siehe Abschnitt A.1, Seite 323)
51
2. Grundlagen der Wahrscheinlichkeitstheorie
Normalverteilung
x ≥ N(µ, ‡2) mit Dichte
f(x) = 1Ô2fi‡2
expA
≠12
(x ≠ µ)2
‡2
B
= 1‡
„3
x ≠ µ
‡
4. (2.6)
Beachte: (2.6) kann mit Hilfe des eindimensionalen Transformationssatzes (2.39) abgeleitetwerden.
CDF einer binären Zufallsvariable
F (x) =
Y__]
__[
0 für x < 0p für 0 Æ x < 11 für x Ø 1.
(2.7)
Weitere Bemerkungen
• CDFs können Sprünge (=Diskontinuitäten) aufweisen, es können auch CDFs für Zufallsva-riablen, die teils stetig, teils diskret sind definiert werden (z. B. bei zensierten Variablen).
• Träger (support): Gegeben sei eine Zufallsvariable X. Der Bereich, auf dem eine Dich-tefunktion fX(x) positiv ist, wird als Träger (support) X µ R einer Dichtefunktionbezeichnet:
X = {x : fX(x) > 0}.
• Siehe Abschnitt 2.9 zu Details wichtiger Wahrscheinlichkeitsverteilungen.
Eine tabellarische Übersicht über viele Wahrscheinlichkeitsverteilungen und findet sich aufder Kurshomepage.
Quantile
Quantil
Das –-Quantil q– einer Verteilung für eine Zufallsvariable X ist definiert durch
F (q–) = P (X Æ q–) = –. (2.8)
Die Quantilsfunktion lautet:q– = F ≠1(–). (2.9)
52
2.5. Verteilungs- und Dichtefunktionen
R-BefehleBerechnen eines Quantils der Standardnormalverteilung: mit qnorm().
Beispiel: Das P (X Æ q0.85) = 0.85-Quantil der Standardnormalverteilung istq0.85 = 1.036433. Man erhält es mit dem R-Befehl qnorm(0.85)= 1.036433. Es istin den Graphiken senkrecht und in Rot eingezeichnet. Die blau schra�erte Flächeunter der Dichte ist gerade – = 0.85.
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
Standardnormalverteilung
x
Dic
hte
−4 −2 0 2 4
0.0
0.4
0.8
Standardnormalverteilung
x
Wa
hrs
ch
ein
lich
ke
itsfu
nktio
n
Abbildung 2.2.: 0.85-Quantil der Standardnormalverteilung (R-Programm siehe Abschnitt A.1, Seite 325)
Zusammenhang zwischen marginalen und gemeinsamen Dichten
Es gilt, z. B. im Fall von drei Zufallsvariablen
fXi(x1) =
⁄ Œ
≠Œ
⁄ Œ
≠ŒfX1,X2,X3(x1, z2, z3) dz2dz3. (2.14)
Notation: Davidson & MacKinnon (2004) verzichten auf die Indexierung von F und f . MitAusnahme dieses Abschnittes erfolgt dies zur Vereinfachung der Notation auch in diesenUnterlagen, falls die Indexierung aus dem Zusammenhang leicht erschlossen werden kann.
Bivariate Normalverteilung
fX1,X2(x1, x2) = 12fi‡1‡2
Ô1 ≠ fl2 exp
I
≠ 12(1 ≠ fl2)
C3x1 ≠ µ1
‡1
42
≠2flx1 ≠ µ1
‡1
x2 ≠ µ2
‡2+
3x2 ≠ µ2
‡2
42DJ (2.15)
Multivariate Normalverteilung: siehe (2.31) in Abschnitt 2.9.1
.
55
2. Grundlagen der Wahrscheinlichkeitstheorie
x2
−3−2
−10
12
3
x1
−3
−2
−1
0
1
2
3
Density
0.05
0.10
0.15
Density of Bivariate Normal Distribution for (x1,x2)
Density of Bivariate Normal Distribution for (x1,x2)
0.005
0.01
0.015
0.02
0.025
0.03
0.035
0.04
0.045
0.05
0.055
0.06
0.065
0.07 0.075
0.08 0.085
0.09
0.095
0.1
0.1
05
0.11 0.115
0.12
0.1
25
0.1
3
0.135
0.14
0.145
0.1
55
−3 −2 −1 0 1 2 3
−3
−2
−1
01
23
Abbildung 2.3.: PDF der bivariaten Normalverteilung (R-Programm siehe Abschnitt A.1, Seite 326)
56
2.6. Bedingte Wahrscheinlichkeiten
2.6. Bedingte Wahrscheinlichkeiten
Übersicht• Motivation
• Zusammenhang mit gemeinsamer Wahrscheinlichkeit
• Grundregel für bedingte Wahrscheinlichkeiten
• Zusammenhang mit unbedingten Wahrscheinlichkeiten
• Bedingung auf Zufallsvariablen
• Bedingte Wahrscheinlichkeitsdichte
• Bedingte Normalverteilung
• Zusammenhang zwischen marginaler und bedingter Dichte
• Stochastische Unabhängigkeit und bedingte Dichte / Verteilung
• Beispiel zur Motivation: Es bezeichne die Zufallsvariable X œ [0, Œ) den Auszahlungs-betrag in einem Gewinnspiel. Die Wahrscheinlichkeitsfunktion bzw. VerteilungsfunktionP (X Æ x) = FX(x) gibt die Wahrscheinlichkeit für einen maximalen Gewinnbetrag vonx an. Es ist weiter bekannt, dass zur Ermittlung des Auszahlungsbetrags 2 Maschinenbereitstehen, Maschine A und Maschine B.
Frage: Wie groß ist die Wahrscheinlichkeit für einen maximalen Gewinnbetrag von x, wennMaschine A zum Einsatz kommt?
Anders formuliert, wie groß ist die gesuchte Wahrscheinlichkeit, wenn die Bedingung ”Maschi-ne A im Einsatz” gilt? Man nennt deshalb die gesuchte Wahrscheinlichkeit auch bedingteWahrscheinlichkeit und man schreibt
P (X Æ x|A).
Entsprechend notiert man, falls die Bedingung ”Maschine B im Einsatz” gilt, P (X Æ x|B).
• Zusammenhang mit gemeinsamer Wahrscheinlichkeit Sei E das Ereignis (X Æ x).Wenn jemand nur glücklich ist, wenn er eine Auszahlung in Höhe von maximal x vonMaschine B bekommt, dann möchte er die Wahrscheinlichkeit P (E fl B) bestimmen. DieseWahrscheinlichkeit ergibt sich durch den
57
2. Grundlagen der Wahrscheinlichkeitstheorie
Multiplikationssatz
Für zwei Ereignisse E, B aus der Kollektion aller möglichen Ereignisse F gilt:
P (E fl B) = P (B)P (E|B), P (B) > 0.
Die Kenntnis über Realisation von B kann helfen, genauere Aussagen über die möglicheRealisation von E zu machen.
Der Multiplikationssatz ergibt sich aus der
Definition einer bedingten Wahrscheinlichkeit
Für zwei Ereignisse E, B aus der Kollektion aller möglichen Ereignisse F gilt:
P (E|B) = P (E fl B)P (B) , P (B) > 0.
Beispiele:
– B œ E: P (E|B) = 1; Z. B. Maschine B zahlt immer einen Minimumbetraggrößer Null, aber ein Maximum kleiner x.
– E und B disjunkt: P (E|B) = 0.
Satz von Bayes
Für zwei Ereignisse E, B aus der Kollektion aller möglichen Ereignisse F gilt:
P (E|B) = P (B|E)P (E)P (B) , P (B), P (E) > 0.
• Zusammenhang zwischen der unbedingten Wahrscheinlichkeit P (X Æ x) und denbeiden bedingten Wahrscheinlichkeiten P (X Æ x|A) und P (X Æ x|B)?
Zur Beantwortung muss man wissen, mit welcher Wahrscheinlichkeit Maschine A bzw.Maschine B zum Einsatz kommt. Wenn wir diese Wahrscheinlichkeiten mit P (A) und P (B)bezeichnen, dann können wir die obige Frage beantworten:
Zusammenhang zwischen unbedingten und bedingten Wahrscheinlichkeiten
P (E) = P (E fl A) + P (E fl B)P (X Æ x) = P (X Æ x|A)P (A) + P (X Æ x|B)P (B)
(Die Ergebnismenge mit den Elementarereignissen für die Maschinenwahl ist � = {A, B}.)
Ersetzt man das Ereignis B durch das zu A komplementäre Ereignis Ac, erhält man dasallgemein gültige
58
2.6. Bedingte Wahrscheinlichkeiten
Gesetz der totalen Wahrscheinlichkeit
P (E) = P (E fl A) + P (E fl Ac)P (E) = P (E|A)P (A) + P (E|Ac)P (Ac)
• Bedingung auf Zufallsvariablen: Bisher haben wir die Bedingung in Form von Ereig-nissen und nicht in Form von Zufallsvariablen definiert. Ein Beispiel für letzteres wäre,wenn zur Ermittlung des Auszahlungsbetrags nur eine Maschine zur Verfügung steht, derenFunktionsweise aber von dem vorherigen Auszahlungsbetrag Z abhängt. Dann lautet diebedingte Verteilungsfunktion FX|Z(x|Z = z), wobei Z = z bedeutet, dass die Bedingunglautet, dass Zufallsvariable Z genau die Realisation z annimmt. Ist Z stetig und Z œ [0, Œ),müssen wir, um wieder den Zusammenhang zwischen der unbedingten und den bedingtenWahrscheinlichkeiten zu erhalten, die Summe durch ein Integral ersetzen und die Wahr-scheinlichkeit der Bedingung durch die entsprechende Dichtefunktion, da Z ja unendlichviele Werte annehmen kann. Für unser Beispiel ergibt sich dann:
FX(x) =⁄ Œ
0FX|Z(x|Z = z)fZ(z)dz =
⁄ Œ
0FX|Z(x|z)fZ(z)dz
bzw. allgemein:
Zusammenhang zwischen unbedingter und bedingten Verteilungsfunktionen
FX(x) =⁄
FX|Z(x|Z = z)fZ(z)dz =⁄
FX|Z(x|z)fZ(z)dz (2.16)
Bedingte Wahrscheinlichkeitsdichte (conditional probability distribution func-tion)
für Zufallsvariable X1 gegeben eine Zufallsvariable X2 oder mehrere ZufallsvariablenX2, . . . , Xm:
Es sei µ(X) = E[Y |X] und ‡2(X) = V ar(Y |X). Dann sind folgende Schreibweisen
59
2. Grundlagen der Wahrscheinlichkeitstheorie
äquivalent:
Y |X ≥ N(µ(x), ‡2(x))
fY |X(y|x) = 1Ò
2fi‡2(x)exp
A
≠12
(y ≠ µ(x))2
‡2(x)
B(2.19)
Wichtige Eigenschaften:
Berechnen der marginalen Dichte aus der bedingten Dichte
fX(x) =⁄
fX|Z(x|Z = z)fZ(z)dz =⁄
fX|Z(x|z)fZ(z)dz. (2.20)
Stochastische Unabhängigkeit
Gilt
FX1,X2(x1, x2) = FX1,X2(x1, Œ)FX1,X2(Œ, x2) = P (X1 Æ x1) P (X2 Æ x2), (2.21)
werden die Zufallsvariablen X1 und X2 als stochastisch unabhängig oder unabhängigbezeichnet und es gilt
fX1,X2(x1, x2) = fX1(x1) fX2(x2). (2.22)Entsprechende Faktorisierungen gelten für mehr als zwei ZV. Wenn die Zufallszahlen X1und X2 stochastisch unabhängig sind, dann gilt:
• Höhere Momente: unzentrierte und zentrierte Momente
60
2.7. Erwartungswerte und Momente
• Schiefe, Wölbung
Erwartungswerte, bzw. erste Momente
• Erwartungswert einer diskrete Zufallsvariable X mit endlich vielen möglichenAusprägungen xi, m < Œ,
E[X] =mÿ
i=1xiP (X = xi)
• Erwartungswert einer diskrete Zufallsvariable X mit unendlich vielen Ausprägun-gen xi
E[X] =Œÿ
i=1xiP (X = xi)
Beachte: Dieser Erwartungswert existiert nur, wennŒÿ
i=1|xi|P (X = xi) < Œ.
• Erwartungswert einer stetigen Zufallsvariable X œ R
E[X] =⁄ Œ
≠Œxf(x)dx
Beachte: Dieser Erwartungswert existiert nur, wenn⁄ Œ
≠Œ|x| f(x)dx < Œ.
• Erwartungswert einer stetigen Zufallsvariable X auf Träger X = (a, b) µ R
E[X] =⁄ b
axf(x)dx
Beachte: Dieser Erwartungswert existiert immer, sofern f(x) < Œ für x œ X .
Regeln für den Erwartungswert
z. B. Wooldridge (2009, Appendix B)
1. Für jede Konstante c giltE[c] = c.
2. Für alle Konstanten a und b und Zufallsvariablen X und Y gilt
E[aX + bY ] = aE[X] + bE[Y ].
61
2. Grundlagen der Wahrscheinlichkeitstheorie
3. • Sind die Zufallsvariablen X und Y stochastisch unabhängig, gilt
E[XY ] = E[X]E[Y ].
• bzw. allgemeiner: Sind die Zufallsvariablen X und Y stochastisch unabhängig und giltfür alle Funktionen f(x) und g(y), dass E [|f(X)|] < Œ und E [|g(Y )|] < Œ, dann gilt
E[f(X)g(Y )] = E[f(X)]E[g(Y )].
Ungleichungen für Erwartungswerte
1. E [|X + Y |] Æ E [|X|] + E [|Y |]
2. Jensen-Ungleichung: Ist g(x) konvex, dann gilt: E[g(X)] Ø g (E[X]). Das Ungleich-heitszeichen gilt strikt, wenn g(x) strikt konvex ist. Ist g(x) konkav, kehrt sich dasUngleichheitszeichen um.
• Cov(X, Y ) = E[(X ≠ E[X])(Y ≠ E[Y ])] = E[X Y ] ≠ E[X] E[Y ]
• Cov(aX, bY ) = ab Cov(X, Y ),
Höhere Momente
• zweites (unzentriertes) Moment: m2(X) =s Œ
≠Œ x2f(x)dx
62
2.8. Bedingte Erwartungswerte und Momente
• Es sei µ = E[X] = m1(X) und ‡ =Ò
V ar(X) =Ò
m2(X).
• k-tes (unzentriertes) Moment:
mk(X) = EËXk
È=
⁄ Œ
≠Œxkf(x)dx
• k-tes zentriertes Moment:
mk(X) = EË(X ≠ E(X))k
È=
⁄ Œ
≠Œ(x ≠ m1(X))k f(x)dx
• Schiefe (Skewness) (drittes zentriertes Moment)
EË(X ≠ E[X])3
È
‡3 =s Œ
≠Œ (x ≠ µ)3 f(x)dx
‡3 .
• Wölbung (Kurtosis)
EË(X ≠ E[X])4
È
‡4 =s Œ
≠Œ (x ≠ µ)4 f(x)dx
‡4 .
Beispiele:
• Die Schiefe von symmetrischen Dichten ist 0.
• Die Wölbung einer standardnormalverteilten Zufallsvariablen ist 3.
2.8. Bedingte Erwartungswerte und Momente
Übersicht• Definitionen und Regeln
• Gesetz der iterierten Erwartungen
• Regeln für bedingte Erwartungen
• Regeln
• Regeln für bedingte Varianzen und Kovarianzen
63
2. Grundlagen der Wahrscheinlichkeitstheorie
Bedingter Erwartungswert
• Definition: Bisher haben wir nicht darauf geachtet, welche Maschine bei der Auszahlungs-ermittlung zum Einsatz kommt. Interessieren wir uns hingegen für die erwartete Auszahlung,wenn Maschine A im Einsatz ist, dann müssen wir den bedingten Erwartungswertberechnen
E[X|A] =⁄ Œ
0xf(x|A)dx.
Dies geschieht einfach, indem man die unbedingte Dichte f(x) durch die bedingte Dichtef(x|A) ersetzt und die Bedingung in der Notation des Erwartungswertes angibt. Entspre-chend lässt sich die erwartete Auszahlung für Maschine B berechnen als
E[X|B] =⁄ Œ
0xf(x|B)dx.
Ist noch nicht “realisiert”, welche M = A, B im Einsatz ist, ist der bedingte Erwartungs-wert
E[X|M ] =⁄ Œ
0xf(x|M)dx = g(M)
eine Funktion mit Argument M . Damit ist der bedingte Erwartungswert eine Zufallsva-riable. Dies gilt allgemein.
Abhängig davon, ob die Bedingung bzw. X stetig oder diskret sind, unterscheidet sich dieBerechnung des bedingten Erwartungswertes etwas
X = stetig diskret BedingungE[X|A] =
sxf(x|A)dx
qxiP (X = xi|A) diskret
E[X|Z = z] =s
xf(x|Z = z)dxq
xiP (X = xi|z) stetig
Beachte: Häufig verwendet man auch die Kurzformen, so auch in Wooldridge (2009), z. B.
E[X|z] =⁄
xf(x|z)dx.
• Gesetz der iterierten Erwartungen (Law of iterated expectations (LIE)): Ent-sprechend dem Zusammenhang zwischen unbedingten und bedingten Wahrscheinlichkeiten,existiert ein ähnlicher Zusammenhang auch zwischen dem unbedingten und den bedingtenErwartungswerten. Er lautet
E[X] = E [E(X|Z)] = E [g(Z)] , g(Z) = E(X|Z)
und wird als Gesetz der iterierten Erwartungen bezeichnet.
64
2.8. Bedingte Erwartungswerte und Momente
Beweisskizze:
E[X] =⁄
xf(x)dx
=⁄
x5⁄
f(x|z)f(z)dz6
dx (Einsetzen von (2.20))
=⁄ ⁄
xf(x|z)f(z)dzdx
=⁄ ⁄
xf(x|z)dx¸ ˚˙ ˝
E[X|z]
f(z)dz (Vertauschen von dx und dz)
=⁄
E[X|z]f(z)dz
=E [E(X|Z)] .
In unserem Beispiel mit den 2 Maschinen ergibt das Gesetz der iterierten Erwartungen
Dieses Beispiel macht nochmals deutlich, dass die bedingten Erwartungswerte E[X|A] undE[X|B] Zufallszahlen sind, die gewichtet mit ihren Eintrittswahrscheinlichkeiten P (A) undP (B) den Erwartungswert E[X] ergeben. Man stelle sich vor, man kennt vor Beginn desSpiels nur die beiden bedingten Erwartungswerte, aber nicht welche Maschine zum Einsatzkommen wird. Dann ist der erwartete Auszahlungsbetrag gerade E[X] und wir müssen diebeiden bedingten Erwartungswerte als Zufallsvariablen ansehen. Sobald man weiß, welcheMaschine zum Einsatz gekommen ist, ist der dazugehörige bedingte Erwartungswert dieRealisation der Zufallsvariablen.
Regeln für bedingte Erwartungen
(z. B. Wooldridge (2009, Appendix B))
1. Für jede Funktion c(·) giltE[c(X)|X] = c(X).
2. Für alle Funktionen a(·) und b(·) gilt
E[a(X)Y + b(X)|X] = a(X)E[Y |X] + b(X).
3. Sind die Zufallsvariablen X und Y unabhängig, gilt
E[Y |X] = E[Y ].
65
2. Grundlagen der Wahrscheinlichkeitstheorie
4. Gesetz der iterierten Erwartungen (LIE)
E[Y ] = E[E(Y |X)]E[Y |X] = E[E(Y |X, Z)|X]
5. Falls E[Y 2] < Œ, E[g(X)2] < Œ für eine beliebige Funktion g(·), dann:
• Standardnormalverteilung: x ≥ N(0, 1) mit Dichtefunktion (2.5)
„(z) = 1Ô2fi
exp3
≠12z2
4. (2.5)
• Normalverteilung: x ≥ N(µ, ‡2) mit Dichte
f(x) = 1Ô‡22fi
expA
≠12
(x ≠ µ)2
‡2
B
= 1‡
„3
x ≠ µ
‡
4. (2.6)
67
2. Grundlagen der Wahrscheinlichkeitstheorie
Beachte: (2.6) kann mit Hilfe des eindimensionalen Transformationssatzes (2.39) abgeleitetwerden.
• Multivariate Standardnormalverteilung: z ≥ N(0, In) mit Dichte
„(z) = 1(2fi)n/2 exp
3≠1
2zT z4
. (2.30)
Man beachte, dass diese Darstellung äquivalent ist zu (vgl. hierzu (2.22))
„(z) = „(z1)„(z2) · · · „(zn).
Ein multivariat standardnormalverteilter Zufallsvektor z setzt sich also aus unabhängig undidentisch verteilten (genauer standardnormalverteilten) Zufallsvariablen z1, . . . , zn zusam-men. Umgekehrt: n i.i.d. standardnormalverteilte Zufallszahlen lassen sich als multivariatstandardnormalverteilter Zufallsvektor schreiben. Beachte: Ohne die i.i.d. Voraussetzunggeht das nicht!
• Multivariate Normalverteilung:
x = Az + µ ≥ N(µ, �), wobei � = AAT (2.31)
und für die (r ◊ n)-Matrix A, r Æ n, rk(A) = r gilt. Dichtefunktion:
– Die Zufallsvariablen vt, t = 1, . . . , n sind unabhängig und identisch verteilt bzw.independently and identically distributed (IID):
vt ≥ IID(E[vt], V ar(vt)).
68
2.9. Wichtige Wahrscheinlichkeitsverteilungen
– Die Zufallsvariablen vt, t = 1, . . . , n sind unabhängig und identisch normalverteiltbzw. independently and identically normally distributed (NID):
vt ≥ NID(E(vt), V ar(vt)).
In Matrixnotation entspricht dies mit µv = E[vt], ‡2v = V ar(vt)
Q
cccca
v1v2...
vn
R
ddddb≥ N
Q
cccca
Q
cccca
µv
µv...
µv
R
ddddb,
Q
cccca
‡2v 0 · · · 0
0 ‡2v · · · 0
... ... . . . ...0 0 · · · ‡2
v
R
ddddb
R
ddddb,
v ≥ N(µvÿ, ‡2vI).
Vgl. zur Definition von ÿ (7.8).
2.9.2. ‰2-, t-, F -Verteilung
Übersicht• ‰2-Verteilung
• Student t-Verteilung
• F -Verteilung
‰2-Verteilung
• Sind z1, . . . , zm i.i.d. standardnormalverteilt, z ≥ N(0, Im), so ist die Summe der quadriertenZufallsvariablen
y =mÿ
i=1z2
i = zT z = ||z||2
‰2-verteilt mit m Freiheitsgraden. In Kurzschreibweise:
y ≥ ‰2(m).
• Erwartungswert: E(y) = m,
da E
Amÿ
i=1z2
i
B
=mÿ
i=1E(z2
i ) = m.
69
2. Grundlagen der Wahrscheinlichkeitstheorie
• Varianz: V ar(y) = 2m. , da
EË(y ≠ m)2
È Unabhängigkeit= mV ar(z2i )
= mE51
z2i ≠ 1
226
= m1E[z4
i ] ≠ 2 + 12
= 2m.
• Wenn y1 = qm1i=1 z2
i ≥ ‰2(m1) und y2 = qmi=m1+1 z2
i ≥ ‰2(m2), m = m1 + m2, unabhängigsind, dann gilt
y = y1 + y2 ≥ ‰2(m).
• Ist x ein multivariat normalverteilter (m ◊ 1)-Vektor mit nichtsingulärer Kovarianzmatrix�, x ≥ N(0, �), dann ist
y = xT �≠1x ≥ ‰2(m). (2.34)
Beweis: Da � regulär ist, existiert eine Zerlegung � = AAT , so dass z = A≠1x dieKovarianzmatrix I aufweist. Dann gilt z ≥ N(0, I) und
E5A≠1xxT
1A≠1
2T6
= A≠1�1A≠1
2T= A≠1AAT
1AT
2≠1= I.
• Ist P eine Projektionsmatrix mit rk P = r < m und z ≥ N(0, I), gilt
zT Pz ≥ ‰2(r). (2.35)
Beweis: Man nehme an, dass P auf die r linear unabhängigen Spalten der (m ◊ r)-MatrixZ projeziert. Dann ist P = Z(ZT Z)≠1ZT und man erhält
zT Pz = zT Z¸ ˚˙ ˝wT
1ZT Z
2≠1
¸ ˚˙ ˝inverse Kovarianzmatrix mit Rang r
ZT z¸ ˚˙ ˝w
.
Da für den (r ◊ 1)-Vektor w ≥ N10, ZT Z
2gilt, gilt wegen (2.34)
wT1ZT Z
2≠1w ≥ ‰2(r).
• Für m æ Œ gilt, dass eine ‰2(m)-verteilte Zufallsgröße in Verteilung gegen eine normalver-teilte Zufallsgröße N(m, 2m) konvergiert.
Student t-Verteilung
70
2.9. Wichtige Wahrscheinlichkeitsverteilungen
• Gegeben sei eine standardnormalverteilte Zufallsvariable z ≥ N(0, 1) und eine davonstochastisch unabhängige ‰2-verteilte Zufallsgröße y ≥ ‰2(m) mit m Freiheitsgraden. Dannist die Zufallsvariable
t = z
(y/m)1/2 ≥ t(m) (2.36)
t-verteilt mit m Freiheitsgraden.
• Die Dichte der t-Verteilung ist symmetrisch und glockenförmig.
• Es existieren alle Momente der t-Verteilung bis zum m ≠ 1 Moment. Die t-Verteilung mitm = 1 heißt auch Cauchy-Verteilung. Man beachte, dass weder Erwartungswert nochVarianz existieren, da die Verteilung zu viel Masse in den Flanken aufweist.
• Erwartungswert: Für m > 1: E(t) = 0, Varianz: Für m > 2: V ar(t) = m/(m ≠ 2).
• Die t-Verteilung nähert sich mit zunehmender Zahl an Freiheitsgraden der Standard-normalverteilung an. Man kann hier asymptotisch argumentieren: Mit m æ Œ giltplim m æ Œy/m = 1, da y eine Summe von m quadrierten unabhängigen standardnormal-verteilten Zufallsvariablen ist. Mit Slutsky’s Theorem gilt damit auch plimmæŒ(y/m)1/2 = 1und somit
plimmæŒz
(y/m)1/2 = z ≥ N(0, 1).
F -Verteilung
• Gegeben seien zwei stochastisch unabhängige ‰2-verteilte Zufallsvariablen y1 ≥ ‰2(m1) undy2 ≥ ‰2(m2). Dann folgt die Zufallsvariable
F = y1/m1
y2/m2≥ F (m1, m2) (2.37)
einer F -Verteilung mit m1 und m2 Freiheitsgraden.
• Für m2 æ Œ nähert sich die Zufallsvariable m1F einer ‰2(m1)-Verteilung an, da plim m2 æ Œy2/m2 =1. Falls t ≥ t(m2), dann gilt t2 ≥ F (1, m2).
2.9.3. Ergänzung: Transformationssätze
Transformationssätze
• ˘ Eindimensionaler Transformationssatz (change of variable): Gegeben sei einestetige Zufallsvariable X œ R mit Dichtefunktion fX(x) > 0.
Gegeben sei weiter eine Zufallsvariable Y = g(X), wobei die Funktion g(·) stetig undumkehrbar sei, so dass
x = g≠1(y). (2.38)
71
2. Grundlagen der Wahrscheinlichkeitstheorie
Außerdem seien g(·) und g≠1(·) einmal di�erenzierbar.
Dann lässt sich für die Zufallsvariable Y die Dichtefunktion fY (y) durch
fY (y) =-----
d
dyg≠1(y)
----- fX
1g≠1(y)
2(2.39)
berechnen (Casella & Berger 2002, Theorem 2.1.5).
• ˘ Mehrdimensionaler Transformationssatz: Gegeben sei ein stetiger (m◊1)-Zufallsvektorx œ X µ Rm mit Dichtefunktion fx(x) > 0. Weiter sei ein (m ◊ 1)-Zufallsvektor
y = g(x) = a + Ax (2.40)
gegeben.
Ist A invertierbar (siehe Casella & Berger (2002, Section 4.6, p. 185) für Bedingungen fürden Fall, dass g(x) in (2.40) nichtlinear ist), gilt
x = h(y) = A≠1(y ≠ a)
und (siehe Abschnitt 6.2.2)
ˆxˆyT
= ˆh(y)ˆyT
= A≠1.
Dann lässt sich für den Zufallsvektor y die Dichtefunktion fy(y) durch
fy(y) =-----ˆh(y)ˆyT
----- fx (h(y)) =---A≠1
--- fx1A≠1(y ≠ a)
2(2.41)
berechnen, wobei---ˆh(y)
ˆyT
--- die Determinante der Jacobi-Matrix ˆh(y)ˆyT bezeichnet, siehe (1.10)
für weitere Details. (Davidson 2000, Theorem B.9.2)
72
3. Konvergenz und Grenzwerte
In vielen Bereichen der Mathematik treten Konvergenzen auf, ohne dass bei der angewandtenBenutzung klar wird, dass es sich bei den Konstrukten um Grenzwertprozesse handelt. Mannehme sich die Funktion f(x) = x2. Die Ableitungsfunktion ist f Õ(x) = 2x, einfach durch alge-braische Formeln „abgeleitet“. Der tatsächliche Ableitungsvorgang würde aber folgendermaßenaussehen:
Beispiel: Ableitung einer einfachen Funktion f(x) = x2:
f Õ(x) : = limhæ0
f(x + h) ≠ f(x)h
= limhæ0
(x + h)2 ≠ x2
h
= limhæ0
2xh + h2
h= lim
hæ0
2xh
h+ lim
hæ0
h2
h= 2x + 0 = 2x
Egal, ob nun Ableitung, Integral, Stetigkeit oder Funktionenfolgen, Grenzwerte kommen inganz unterschiedlicher Form vor. Um nun die „neuen“, für die Ökonometrie wichtigen Formenvon Konvergenz zu verstehen, werden die Standardfälle kurz wiederholt.In der Mathematik und Wahrscheinlichkeitstheorie gibt es verschiedene Arten von Konvergenz,von denen wir die folgenden behandeln:
Übersicht: Arten von Konvergenz
1. Konvergenz von Zahlenfolgen - Grundgerüst aller Konvergenztheorien
2. Konvergenz von Funktionenfolgen
3. Konvergenz von Zufallsvariablenfolgen
• Fast sichere Konvergenz
• Konvergenz in Wahrscheinlichkeit
• Konvergenz in Verteilung
Für die Ökonometrie ist insbesondere 3) mit deren Formen relevant. Zu deren Verständnismuss man 1) und 2) verstehen.
3. Konvergenz und Grenzwerte
3.1. Konvergenz von Folgen
Sei (an) eine Folge reeller Zahlen, d. h., eine Abbildung f : N æ R mit n ‘æ an œ R (manstelle sich an := 1
nvor). Man schreibt statt f(n) = an auch oft (an) = (an)nœN = {a1, a2, a3, ...}
für die Menge der Folgenglieder.
Beispiele:
f(n) = (an)nœN = ( 1n)nœN = {1, 1
2 , 13 , 1
4 , . . .}.
f(n) = (an)nœN = (n2)nœN = {1, 4, 9, 16, . . .}.
f(n) = an = f(x+1/n)≠f(x)1/n
h:=1/n= f(x+h)≠f(x)h
für festes x.
Konvergente Folge
Eine Folge (an) heißt konvergent in R, falls es eine Zahl a œ R, mit folgender Eigenschaftgibt:
• Für alle ‘ > 0 gibt es ein Folgenglied indiziert mit N œ N (genauer N(‘), da es von ‘abhängt), so dass
| an ≠ a |< ‘ für alle späteren Folgenglieder n > N gilt.
Die Zahl a heißt Grenzwert oder Limes der Folge und man schreibt
limnæŒ
an = a oder an æ a für n æ Œ
Beachte: Im Konvergenzfall ist der Grenzwert der Folge eindeutig bestimmt!
Beispiel: f(n) := (an) := 50n
· | sin(0.1 · n) |. Die Folgenglieder sind in Abbildung3.1 als Kreise eingezeichnet. Man vermutet nun, dass der Grenzwert a = aŒ = 0ist.Um dies zu zeigen, muss man für alle ‘ > 0 beweisen, dass es ein Folgenglied N(‘)gibt, ab dem alle weiteren Folgenglieder im ‘-Abstand von a liegen.Gibt man sich nun ein ‘1 = 1 vor, so sieht man, dass die Folgenglieder 26 bis43 bereits Abstand kleiner 1 von aŒ haben, jedoch die Folgenglieder 44 bis 50außerhalb dieses Bereichs liegen. Man wählt sich nun ein N(‘1) = 51 (oder einhöheres Folgenglied) und ho�t, dass alle weiteren in diesem Abstand zum Grenzwertliegen und könnte dies mit weiteren, kleineren ‘i fortsetzen. Dies zeigt jedoch nichtdie Konvergenz der Folge! Die Definition sagt deutlich „für alle“ ‘ > 0!Ein Beweis würde folgendermaßen aussehen:
74
3.1. Konvergenz von Folgen
Abbildung 3.1.: Die ersten 100 Folgenglieder von 50n · | sin(0.1 · n) |
Da man zeigen muss, dass es für alle ‘ gilt, gibt man sich ein kleines ‘ > 0 vor, dasbeliebig klein werden kann, aber für einen Moment fest vorgegeben ist. Nun mussman zeigen, dass es ein Folgenglied N(‘) in Abhängigkeit des gerade vorgegebenen‘ gibt, ab dem alle weiteren Folgenglieder an mit n > N(‘) im ‘-Abstand vonaŒ = 0 liegen. Die Aufgabe besteht also im Finden dieses N(‘), so dass gilt:
| aN(‘) ≠ 0 |< ‘
Umstellen der Bedingung liefert das gewünschte Ergebnis:
| aN |< ‘ ≈∆ 50N
· | sin(0.1 · N) |¸ ˚˙ ˝
Æ1
< ‘ ≈∆ 50N
< ‘ ≈∆ N >50‘
Gibt man sich nun ein ‘ vor, so weiß man, dass alle Folgenglieder mit Index größerals 50
‘im ‘-Bereich um den Grenzwert liegen.
Ein Beweis würde nun folgendermaßen aussehen:Sei ‘ > 0 beliebig klein, aber fest vorgegeben.Wähle dann den Folgenindex N(‘), so dass einerseits N(‘) > 50
‘und N(‘) œ N.
Damit gilt für die nachfolgenden Folgenglieder mit Index n Ø N(‘):
| an ≠ a | a=0= | an ≠ 0 | Def.= | 50n
· sin(0.1 · n) | = | 50n
| · | sin(0.1 · n) ||sin(0.1·n)|Æ1
Æ | 50n
|nØN(‘)
Æ | 50N(‘) |
N(‘)> 50‘
< | 5050‘
| = | ‘ | ‘>0= ‘
75
3. Konvergenz und Grenzwerte
Insgesamt hat man damit gezeigt:Für beliebiges ‘ > 0 gibt es ein N(‘) œ N, so dass für alle späteren Folgengliedermit Index n Ø N(‘) gilt:
| an ≠ a |< ‘
Rechenregeln von konvergenten Zahlenfolgen xn, yn:
• Falls limnæŒ xn = x und limnæŒ yn = y, dann folgt auch:limnæŒ xn + limnæŒ yn = limnæŒ (xn + yn).
• Falls limnæŒ xn = x und limnæŒ yn = y, dann folgt auch:limnæŒ xn · limnæŒ yn = limnæŒ (xn · yn).
• Falls limnæŒ xn = x und limnæŒ yn = y und y ”= 0, dann:limnæŒ xn/ limnæŒ yn = limnæŒ (xn/yn).
Bemerkung: Die Umkehrungen gelten im Allgemeinen nicht : Da 0 = (≠1)n + (≠1)n+1 folgtaus limnæŒ 0 = 0 nicht, dass die Grenzwerte limnæŒ (≠1)n und limnæŒ (≠1)n+1 existieren,was klarerweise nicht der Fall ist
3.2. Konvergenz von Funktionen
Während vorher eine skalare Folge definiert wurde, geht man nun einen Schritt weiter undbetrachtet Funktionenfolgen bzw. -scharen fn(x) (man stelle sich fn(x) = x + 1
nvor).
Für jedes feste n œ N ist der Ausdruck fn(x) eine Funktion fn(x) : D æ R, wobei D derDefinitionsbereich der Funktion ist, und für jedes feste x0 œ D ist der Ausdruck fn(x0) eineFolge N æ R. Man definiert nun die (punktweise - im Gegensatz zur gleichmäßigen -)Konvergenz einer Funktionenfolge als den Grenzwert der Folge fn(x0) für festes x0:
Punktweise Konvergenz
Eine Funktionenfolge (fn(x)) heißt punktweise konvergent, falls für jeden festen Punktx0 œ D die Zahlenfolge (fn(x0))nœN konvergiert.
Durchf(x) := lim
næŒfn(x)
ist dann eine Funktion f : D æ R definiert. Eigenschaften der fn wie Stetigkeit, Integrierbarkeit,Di�erenzierbarkeit, also Eigenschaften die auch Grenzwerte verlangen, übertragen sich imAllgemeinen nicht! (deswegen der Begri� der gleichmäßigen Konvergenz).
76
3.2. Konvergenz von Funktionen
Beispiel: fn(x) := xn mit Definitionsbereich D = [0, 1]. Einige Elemente derFolgenschar sind in Abbildung 3.2 zu sehen. Da für alle n œ N und eine Zahlx œ (0, 1) gerade xn < x gilt, aber 1n = 1 ist, ist klar, dass der rot eingezeichneteGrenzwert der Funktionenfolge fn(x) folgendermaßen aussieht
f(x) =Y]
[0 falls x < 11 falls x = 1
Bewiesen wird dies wieder mit der ‘ ≠ N -Definition für Zahlenfolgen von oben,wobei man dies für „jedes“ x œ D = [0, 1] einzeln macht. Hier reduziert es sich aberauf eine Fallunterscheidung von x œ [0, 1) und x = 1. Au�allend hierbei ist, dassjedes Folgenglied fn(x) eine stetige Funktion darstellt, während der Grenzwerteine Unstetigkeitsstelle an der Stelle 1 besitzt.
Abbildung 3.2.: Drei Folgenglieder der Funktionenschar fn(x) = x
n
77
3. Konvergenz und Grenzwerte
3.3. Fast sichere Konvergenz
Betrachtet man Zufallsvariablen als Funktionen nach R, für die es eine Wahrscheinlichkeitsfunk-tion zur Bewertung gibt, so kann man eine spezielle punktweise Konvergenz für Zufallsvariablenbilden, die Fast sichere Konvergenz. Sei Xn(Ê) eine Zufallsvariablenfolge. Xn(Ê) konvergiertfast sicher gegen X(w), in Zeichen Xn
a.s.≠æ X (almost surely), falls die Wahrscheinlichkeit derMenge der Ergebnisse Ê, an denen sich limnæŒ Xn und X unterscheiden, 0 ist. In formalerSchreibweise:
Xna.s.≠æ X ≈∆ P
3lim
næŒXn = X
4= P
3{Ê œ � | lim
næŒXn(Ê) = X(Ê)}
4= 1
≈∆ P3
{Ê œ � | limnæŒ
Xn(Ê) ”= X(Ê)}4
= 0
Abbildung 3.3.: Drei Zufallsvariablenfolgenglieder mit n1 < n2 < n3
Während bei der punktweisen Konvergenz gefordert wurde, dass für jedes x œ R limnæŒ fn(x) =f(x) gelten muss, hat man mit der Wahrscheinlichkeit die Möglichkeit zu fordern, dass sichder Limes der Folge und der Grenzwert „um Wahrscheinlichkeit 0“ unterscheiden. Man lässtalso zuerst die Folge gegen unendlich laufen und betrachtet danach die Wahrscheinlichkeit, andenen sich beide unterscheiden.Betrachtet man im Bild rechts das Folgenglied Xn1(Ê), so unterscheidet es sich in jedem Ê von
78
3.4. Konvergenz in Wahrscheinlichkeit
X(Ê), und da P (�) = 1 ist dies noch keine Annäherung. Nimmt man ein späteres FolgengliedXn2(Ê), so unterscheiden sich Xn2(Ê) und X(Ê) nur noch in A fi B mit WahrschienlichkeitP (A fi B) = p < 1 und Xn3(Ê) und X(Ê) nur noch in {Ê1, Ê2}.Geht man davon aus, dass X eine stetige Zufallsvariable ist, � also überabzählbar vieleElemente hat, so ist die Wahrscheinlichkeit P ({Ê1, Ê2}) = P ({Ê1}) + P ({Ê2}) = 0 und (derGrenzwert) Xn3(Ê) und X(Ê) unterscheiden sich in einer Menge {Ê œ � | Xn3(Ê) ”= X(Ê)}mit Wahrscheinlichkeit 0. Man sagt, sie sind fast überall gleich bzw. die so skizzierte FolgeXn(Ê) konvergiert fast sicher gegen X(Ê).
Rechenregeln von fast sicher konvergenten Zufallsvariablenfolgen Xn, Yn:
• Falls Xna.s.≠æ X und Yn
a.s.≠æ Y , dann folgt auch: Xn + Yna.s.≠æ X + Y .
• Falls Xna.s.≠æ X und Yn
a.s.≠æ Y , dann folgt auch: Xn · Yna.s.≠æ X · Y .
Bemerkung: Addition und Multiplikation erhalten die fast sichere Konvergenz.
3.4. Konvergenz in Wahrscheinlichkeit
2. Idee: Betrachte nicht mehr die Wahrscheinlichkeit des Limes, sondern den Limes derWahrscheinlichkeit der Di�erenzmengen.
Konvergenz in Wahrscheinlichkeit (convergence in probability)
Sei Xn(Ê) eine Folge von Zufallsvariablen. Xn konvergiert in Wahrscheinlichkeit gegen X,in Zeichen Xn
P≠æ X (in probability), falls für alle ‘ > 0 gilt, dass
limnæŒ
pn := limnæŒ
P (|Xn ≠ X|R > ‘) = 0≈∆ lim
næŒP ({Ê œ � | |Xn(Ê) ≠ X(Ê)|R > ‘) = 0
Während man vorher zuerst den Limes der Zufallsvariablenfolge bildete und dann die Un-terschiede zum Grenzwert mit der Wahrscheinlichkeit bewertete, geht man nun andersvor. Für jedes Folgenglied Xn(Ê) und für jedes ‘ kann man die Wahrscheinlichkeit pn :=P ({Ê œ � | |Xn(Ê) ≠ X(Ê)| > ‘}) berechnen und bekommt somit eine Zahlenfolge pn auf[0, 1]. Geht diese Zahlenfolge gegen 0, so liegt Xn mit Wahrscheinlichkeit 1 in einem ‘-Band umX und man sagt, dass Xn in Wahrscheinlichkeit gegen X konvergiert, in Zeichen Xn
P≠æ Xoder plimnæŒ Xn = X. Formal ausgedrückt:Eine Zufallsvariablenfolge Xn konvergiert in Wahrscheinlichkeit gegen X, falls für alle ‘ > 0gilt, dass
limnæŒ
pn := limnæŒ
P (|Xn ≠ X|R > ‘) = limnæŒ
P ({Ê œ � | |Xn(Ê) ≠ X(Ê)|R > ‘) = 0
79
3. Konvergenz und Grenzwerte
Abbildung 3.4.: Zwei Zufallsvariablenfolgenglieder mit n1 < n2
Betrachtet man Abbildung 3.4 mit zwei Folgengliedern und zwei verschiedenen ‘, so machtdies keine Aussage mehr über die Identität zweier Zufallsvariablen. Es macht nur noch eineAussage darüber, dass wenn man es genauer wissen will (‘ kleiner macht), man ein Folgengliedfinden wird, so dass die Wahrscheinlichkeit der Ergebnisse Ê, bei denen der Abstand größerals ‘ ist, 0 ist.Im Beispiel Xn1(Ê) und ‘1 ist es gerade die Menge A fi B, in denen sich Xn1(Ê) von X(Ê) ummehr als ‘1 unterschieden. Man könnte nun Xn2(Ê) mit dem gleichen ‘1 benutzen; da Xn2(Ê)im ‘1-Band liegt, ist die Wahrscheinlichkeit für Ergebnisse außerhalb 0.Verengt man nun das Band auf ‘2, so unterschieden sich Xn2(Ê) und X(Ê) nur noch in C.Hat die Menge C Wahrscheinlichkeit 0, so müsste man keinen neuen Index finden, ist dieWahrscheinlichkeit ungleich 0, so findet man wieder ein späteres Folgenglied, ab dem dieMenge der „Ausreißer“ Wahrscheinlichkeit 0 hat.
Rechenregeln von in Wahrscheinlichkeit konvergenten ZufallsvariablenfolgenXn, Yn:
• Falls XnP≠æ X und Yn
P≠æ Y , dann folgt auch: Xn + YnP≠æ X + Y .
• Falls XnP≠æ X und Yn
P≠æ Y , dann folgt auch: Xn · YnP≠æ X · Y .
Bemerkung: Addition und Multiplikation erhalten die Konvergenz in Wahrscheinlichkeit.
80
3.5. Konvergenz in Verteilung
Konvergenz in Wahrscheinlichkeit für Zufallsvektoren
Es bezeichne yn einen (n ◊ 1)-Zufallsvektor, dessen Dimension mit n variiert.
Eine Vektorfunktion an : Rn æ Rm : an := a(yn) konvergiert in Wahrscheinlichkeit gegena0 œ Rm, falls
limnæŒ
P (||a(yn) ≠ a0||Rm < ‘) = 1.
Bemerkung: || · ||Rm : Rm æ R (vgl. Definition von oben).
Beispiel: µ : Rn æ R : µ(yn) = 1n
qnt=1 yt. Hier ist also m = 1. Bei —, dem
KQ-Schätzer mit k Regressoren ist m = k.
Rechenregeln für in Wahrscheinlichkeit konverigerende Zufallsvektoren
Seien {xn} und {yn} Folgen von Zufallsvektoren. Falls plimnæŒ xn, und plimnæŒ yn,dann gilt:
plimnæŒ
(xn ± yn) = plimnæŒ
xn ± plimnæŒ
yn, (3.1a)
plimnæŒ
(xTn yn) = (plim
næŒxn)T (plim
næŒyn), (3.1b)
Diese Regeln gelten auch, wenn die Zufallsvektoren durch Matrizen mit Zufallsvariablenmit entsprechenden Eigenschaften ersetzt werden.
3.5. Konvergenz in Verteilung
3. Idee: Betrachte nicht mehr die Zufallsvariablen als Funktionen, sondern betrachte nur nochdie Verteilungsfunktionen der Zufallsvariablen.
Konvergenz in Verteilung (convergence in distribution)
Sei Xn(Ê) eine Folge von Zufallsvariablen. Xn konvergiert in Verteilung gegen X, inZeichen Xn
d≠æ X (in distribution), falls für die Funktionenfolge der Verteilungen Fn vonXn und der Verteilung F von X gilt, dass
limnæŒ
Fn = F punktweise
Beispiel: Es sei {Xn} die weiter oben definierte Folge von Zufallsvariablen. Manerinnere sich: Xn
P≠æ X, wobei X ≥ N(µ, ‡2) ist. Sei nun Z eine normalverteilteZufallsvariable mit Erwartungswert µ und Varianz ‡2. Dann gilt Xn
d≠æ Z. Damithaben X und Z die gleiche Verteilung, sind aber verschiedene Zufallsvariablen!
81
3. Konvergenz und Grenzwerte
Zusammenhang zwischen den Konvergenzkonzepten
Xnptw.≠æ X =∆ Xn
a.s≠æ X =∆ XnP≠æ X =∆ Xn
d≠æ X. (3.2)(Ein Beispiel, weshalb die Umkehrung des dritten Folgepfeils nicht gilt, findet sich imBA-Kurs Ökonometrie II, Abschnitt 5.1.4., ein Beispiel für die Umkehrung des zweitenFolgepfeils im Beispiel der gleitenden Hügel.)
Theorem über stetige Abbildungen (Continuous Mapping Theorem) (CMT)
• Sei h(·) eine stetige Funktion.
Falls Xna.s.≠æ X, dann gilt h(Xn) a.s.≠æ h(X).
Falls Xnp≠æ X, dann gilt h(Xn) p≠æ h(X).
Falls Xnd≠æ X, dann gilt h(Xn) d≠æ h(X).
Bemerkung: Stetige Transformationen erhalten die Konvergenzkonzepte.
• Für Folgen von (k ◊ 1)-Zufallsvektoren xn gilt entsprechend:Gegeben sei eine stetige vektorwertige Funktion h : Rk æ Rm, dann gilt für ı œ{a.s., p, d}
Falls xnı≠æ x, dann gilt h(xn) ı≠æ h(x). (3.3)
(Vgl. z. B. Vaart (1998, Theorem 3.2).)
Betrachten Sie zur Verdeutlichung die Funktion
f(x) =Y]
[0 x < 21 x Ø 2
und die Zahlenfolge an = 2 ≠ 1n. Dann ist o�ensichtlich limnæŒ an = 2 monoton von links.
Man sieht nun schnell, dass der Grenzwert der Funktionswerte ungleich dem Funktionswertdes Grenzwerts ist:
limnæŒ
f(an) an<2’n= limnæŒ
0 = 0 ”= 1 = f(2) = f( limnæŒ
an)
Bisher wurde noch nicht untersucht, auf welche Art und Weise Konvergenz in Verteilungbeibehalten wird, sehr berühmt ist dabei folgendes Theorem:
Slutzky’s Theorem
Sei xnd≠æ x und yn
p≠æ c mit c œ Rp konstant. Dann gilt
ynxnd≠æ cx. (3.4)
82
3.6. Beispiel der gleitenden Hügel: Konvergenz in Wahrscheinlichkeit ”∆ Fast sichereKonvergenz
Vgl. Vaart (1998, Theorem 3.6).
Das Theorem gilt auch, falls y und c durch entsprechend dimensionierte Matrizen ersetztwerden.
Hinweis: Der Term Slutzky’s Theorem wird in der statistischen und ökonometrischen Literaturnicht einheitlich verwendet. So bezeichnet Davidson (2000) in seinem Theorem 3.1.3 alsSlutzky’s Theorem die Aussage (3.3) für Skalare und Konvergenz in Wahrscheinlichkeit.
Fazit:• Konvergenzbegri�e, die unterschiedliche „Abstände“ Eigenschaften von (Zufalls-)Variablen
messen (und deren Zusammenhänge in und unter ihnen).
• Für ökonometrische Aussagen sind im Allgemeinen nur die beiden „letzten“, Konvergenzin Wahrscheinlichkeit und in Verteilung, interessant.
• Für ein besseres Verständnis der ökonometrischen Theorie benötigt man auch dieKenntnis der anderen Konvergenzbegri�e.
3.6. Beispiel der gleitenden Hügel: Konvergenz in Wahrscheinlichkeit ”∆Fast sichere Konvergenz
Betrachtet man anfangs der Einfachheit halber die doppelt indizierte Zufallsvariablenfolge
Xnk auf � = [0, 1], wobei n, k œ N , k Æ n und I[a,b](Ê) :=Y]
[1 falls Ê œ [a, b]0 falls Ê ”œ [a, b]
,
X11 = I[0,1]
X21 = I[0,1/2] X22 = I[1/2,1]
X31 = I[0,1/3] X32 = I[1/3,2/3] X33 = I[2/3,1]
...
so erkennt man schnell deren Struktur. Die Graphen dieser Zufallsvariable sind „gleitendeHügel“, die mit wachsendem n immer schmaler werden (n ist die Anzahl der Intervalle, indenen man das Einheitsintervall unterteilt, k das Intervall, in dem man sich befindet). Gemäßder lexikographischen Ordnung kann man aus Xnk eine Zufallsvariable Yn erzeugen:
denn für beliebiges ‘ œ (0, 1) gilt P (|Xnk ≠ 0| > ‘) = P (Xnk > ‘)n gleichgroße Intervalle
˙˝¸˚= 1n
næŒ≠æ 0(in Worten: die Wahrscheinlichkeit sich auf einem Hügel zu befinden geht gegen 0)
83
3. Konvergenz und Grenzwerte
• Yn konvergiert nicht fast sicher gegen 0, denn die Zufallsvariablenfolge Yn konvergiert ankeinem Punkt punktweise (konvergiert sie nirgends punktweise, so trivialerweise auch nichtfast sicher, da dabei die Menge aller Ausreißer Wahrscheinlichkeit 0 haben):Zu zeigen: für alle Ê œ � existiert ‘ > 0, so dass für alle N œ N ein n > N existiert mit|Yn ≠ 0| = Yn > ‘.Sei Ê œ � fest, aber beliebig, ‘ = 0.5, N œ N fest, aber beliebig und ohne Einschränkunggilt YN(Ê) = 0. Sei YN = XnÕkÕ und ohne Einschränkung Ê = kı
nı ”œ [kÕ/nÕ, (kÕ + 1)/nÕ](falls irrational, nutze eine rationale Annäherung; falls kı = 1 oder kı = nı, trivial).Dann liegt Ê in jedem Intervall [Ê ≠ 1/r, Ê + 1/r] = [ rkı≠nı
rnı , rkı+nı
rnı ] für beliebiges r œ N.Wähle nun r mit dem Archimedischen Axiom, so dass einerseits rnı > nÕ und andererseits[Ê ≠ 1/r, Ê + 1/r] µ [0, 1]. Definiere k = rkı ≠ nı œ N (wegen „andererseits“), dann istYn(Ê) := Xrnı,k(Ê) = 1 > ‘ = 0.5 für n > N .
Siehe z. B. Casella & Berger (2002, Example 5.5.8, p. 234-5).
84
Teil II.
Ökonometrische Methoden
4. Einführung
Ziel dieses Kurses:Erlernen der ökonometrischen Grundlagen in Theorie und Praxis, die für eine sorgfältigeempirische Analyse ökonomischer Fragestellungen relevant sind.
Beispiele ökonomischer Fragen, die eine empirische Analyse erfordern:
• Führt eine Reduktion der Klassengröße(Schule, Universität) zu besseren Lerner-gebnissen? (Vgl. Stock & Watson 2007,Section 1.1.)
• Wirkung von Fortbildungsmaßnahmen derBundesanstalt für Arbeit (BA): Erhöhtsich hierdurch das verbleibende Lebens-einkommen, reduziert sich die Arbeitslo-sigkeitsdauer?
• Kommt es in den kommenden Jahren zu
einer höheren Inflation?
• Welche Faktoren beeinflussen die länder-spezifischen Importe nach Deutschland?
• Verstehen dynamischer Prozesse
• Welche Faktoren beeinflussen die Längeund Intensität von Konjunkturzyklen?
• Welche Faktoren beeinflussen das Wirt-schaftswachstum, die Einkommens- undVermögensverteilung?
In den genannten Beispielen geht es häufig um das Bestimmen von kausalen Variablen.
4.1. Aussagen über kausale Zusammenhänge
Die Kenntnis kausaler Zusammenhänge ist Voraussetzung für die Evaluation von geplan-ten oder durchgeführten (wirtschaftspolitischen, betrieblichen, etc.) Maßnahmen.
Kausalität• Gängiges Verständnis: “causality means that a specific action leads to a specific, measu-
rable consequence (Stock & Watson 2007, p. 8)
• Genau betrachtet: Die Wirkung einer Aktion ist im Einzelfall immer unbekannt, denn
– ist Individuum/Einheit/Variable i von einer Aktion / Maßnahme betro�en, kannman für i nur das Ergebnis mit der Aktion beobachten, nicht jedoch das Ergebnis,wenn die Aktion nicht durchgeführt worden wäre.
– Ist alternativ Individuum/Einheit/Variable i von dieser Aktion nicht betro�en, kennt
4.1. Aussagen über kausale Zusammenhänge
man nur das Ergebnis ohne Aktion, aber nicht das Ergebnis für dieses i, wenn es vonder Aktion betro�en gewesen wäre.
Der jeweils nicht eingetretene Fall ist der kontrafaktische Zustand und würde dieAntwort auf eine “Was wäre wenn? “-Frage liefern.
In der Sprache der Ökonometrie: Der individuelle Erfolg einer Maßnahme ist immerunbeobachtbar, da es er immer eine kontrafaktische Größe enthält.
• Messbar ist jedoch unter bestimmten Voraussetzungen die durchschnittliche Wir-kung einer Aktion auf eine Gruppe von Individuen.
• Definition von Kausalität: Im Folgenden bezeichnen wir eine Aktion oder Maß-nahme als kausal, wenn eine durchschnittliche Wirkung einer Aktion messbarist.
A “causal e�ect is defined to be an e�ect on an outcome of a given action or treatment,as measured in an ideal randomized controlled experiment (Stock & Watson 2007, p. 9)”.
• Ceteris paribus: Werden alle anderen kausalen Variablen außer die interessierendeVariable konstant gehalten und nur die interessierende Aktion durchgeführt, betrachtetman das Ergebnis der Aktion ceteris paribus (c. p.).
• Beachte: Für die Existenz eines kausalen E�ekts ist Voraussetzung, dass eine Aktionauch auf einzelne Individuen einen E�ekt hat.
Messbarkeit von kausalen Zusammenhänge
Eine Quantifizierung der durchschnittlichen Wirkung einer Aktion, also dieQuantifizierung eines kausalen Zusammenhangs auf Basis eines ökonometrischen Mo-dells ist nur möglich, wenn
1. ein ideales kontrolliertes Zufallsexperiment durchgeführt werden kann oder wenn
2. eine Stichprobe von einem Quasi-Experiment vorliegt und spezifische Identifikati-onsannahmen getro�en werden oder wenn
3. das ökonometrische Modell aus einem kausal interpretierbaren (ökonomischen) Mo-dell abgeleitet wurde, das eine für die Fragestellung hilfreiche Approximation derRealität darstellt.
In diesem Kurs betrachten wir nur Fall 3.
Die Fälle 1. und 2. sind genauer in den Abschnitten 2.2 und 2.3 in WeiterführendeFragen der Ökonometrie (bisheriger Name: Ökonometrie III) beschrieben undwerden in der MA-Veranstaltung Methoden der Politikevaluation detailliert behandelt.Sie spielen in der Evaluationsforschung eine große Rolle.
87
4. Einführung
Kontrolliertes Zufallsexperiment
Eine Gesamtgruppe von Individuen wird in eine Maßnahmengruppe / Teilnehmer-gruppe (treatment group) und eine Kontrollgruppe unterteilt. Letztere enthält alleIndividuen, die an einer Maßname nicht teilnehmen. Das zentrale Merkmal eines kon-trollierten Zufallsexperiments ist, dass die Teilnehmer der Maßnahmengruppe zufälligausgewählt werden.
Beispiel: Klassengröße Zu Beginn eines Schuljahres werden Schüler (undLehrer, etc.) einer Schule zufällig auf kleine und große Klassen aufgeteilt. Aufdiese Weise wird vermieden, dass SchülerInnenn mit bestimmten Eigenschaftenvornehmlich in einer Klassengröße zu finden sind.
Quasi-Experiment / Natürliches Experiment
Häufig ist es aus rechtlichen, ethischen, ökonomischen oder anderen Gründen nicht möglich,ein kontrolliertes Zufallsexperiment durchzuführen.
Unter bestimmten zusätzlichen Annahmen an die Grundgesamtheit können darausgewonnene Stichprobenbeobachtungen behandelt werden, als ob ein kontrolliertes Zufalls-experiment vorliegen würde.
Beachte: Für viele ökonomische Fragestellungen, z. B. makroökonomischer Art, sind wederkontrollierte Zufallsexperimente durchführbar, noch können natürliche Experimente beobachtetwerden. Dann kann die kausale Interpretation eines ökonometrischen Modells nur auf Grundlageeines ökonomischen Modells, das dem ökonometrischen Modell zugrundeliegt, erfolgen.
Simultanität und KausalitätBeobachtet man zwei Variablen y und x in der gleichen Zeitperiode, bspw. für das Jahr2014, dann ist es möglich, dass
1. beide Variable eine simultane Beziehung ausweisen, sich also gegenseitig und gleich-zeitig, beeinflussen
x Ωæ y
oder
2. eine Variable für die andere kausal ist, bspw. x für y,
x ≠æ y.
Beachte:
• Prinzipiell muss man bei einer empirischen Analyse mit mehreren potentiellen Variablen ineiner Zeitperiode davon ausgehen, dass Simultanität, also Fall 1, vorliegt. Erst ein theoretischbegründeter Ausschluss einer Wirkungsrichtung ermöglicht Simultanität auszuschließen undFall 2, genau eine kausale Beziehung, zu erhalten.
88
4.1. Aussagen über kausale Zusammenhänge
• Ob Fall 2. vorliegt, kann unter bestimmten Voraussetzungen statistisch getestet werden(siehe Veranstaltung Fortgeschrittene Ökonometrie).
89
4. Einführung
Beispiel: Einflussfaktoren von Importen
Ziel/Wissenschaftliche Fragestellung:
Ermittle die Faktoren, die die Importe nach Deutschland beeinflussen, und quanti-fiziere ihren Einfluss.
Erste Überlegungen: Welche Variablen einer Zeitperiode könnten relevant seinund welche Wirkungsrichtungen könnten zwischen diesen existieren?
Der (m ◊ 1)-Vektor st œ Rm enthält alle Variablen, die für die Analyse relevantsein könnten. Im Folgenden sind beispielhaft und unvollständig (!) aufgeführt:
• Humankapital des Exportlandes (s1)
• Koloniale Vergangenheit beider Länder (s2)
• Bruttoinlandsprodukt des Importlandes (s3)
• BIP des Exportlandes (s4)
• Entfernung zu Exportland (s5)
• Fläche des Exportlandes (s6)
• O�enheit in einem Land (s7)
• Importe (s8)
• unspezifiziert (s9)
Abbildung 4.1 zeigt diese Variablen und unterstellt für alle Variablenpaare zunächstSimultanität.
Um die Zahl der simultanen Beziehungen zu reduzieren, erscheint folgende Annahmeauf jeden Fall gerechtfertigt:
Annahme: Fläche und Entfernung werden nicht durch andere Variablen beein-flusst.
Man erhält Abbildung 4.2.
Eine weitere Reduktion simultaner Beziehungen erfolgt am Besten durch ein öko-nomisches Modell, das allerdings weitere Annahmen erfordert. In Abschnitt 6.3wird ein ökonomisches Modell dargestellt, das es ermöglicht, alle verbleibendensimultanen Beziehungen zwischen Importen (s8) und den anderen Variablen ent-weder ganz zu eliminieren oder in eine kausale Wirkungsrichtung umzuwandeln.Man erhält Abbildung 4.3, in der im Vergleich zur Abbildung 4.2 sich die Zahl undArt der Beziehungen zwischen den Importen und den anderen Variablen veränderthat, nicht jedoch die Zahl und Art der Beziehungen zwischen den potenziellenEinflussvariablen.
90
4.1. Aussagen über kausale Zusammenhänge
𝒔𝟏 HUM
𝒔𝟐 KOL
𝒔𝟑 BIP_I
𝒔𝟒 BIP_E
𝒔𝟓 ENT
𝒔𝟗 …
𝒔𝟕 OFF
𝒔𝟔 FLA
𝒔𝟖 IMP
Abbildung 4.1.: Einflussfaktoren auf Handelsströme: mögliche simultane Beziehungen
𝒔𝟏 HUM
𝒔𝟐 KOL
𝒔𝟑 BIP_I
𝒔𝟒 BIP_E
𝒔𝟓 ENT
𝒔𝟗 …
𝒔𝟕 OFF
𝒔𝟔 FLA
𝒔𝟖 IMP
Abbildung 4.2.: Einflussfaktoren auf Handelsströme: erste Reduktion an simultanen Beziehungen: blaue Pfeilezeigen kausale Beziehungen an
91
4. Einführung
Abbildung 4.3.: Einflussfaktoren auf Handelsströme: kausale und simultane Beziehungen auf Basis einesökonomischen Modells plus weitere relevante Einflussfaktoren; gestrichelte Pfeile stellen dierelevanten kausalen Beziehungen dar (später Modell 2).
Abbildung 4.4.: Einflussfaktoren auf Handelsströme: kausale und simultane Beziehungen auf Basis einesökonomischen Modells plus weitere relevante Einflussfaktoren; gestrichelte Pfeile stellen dierelevanten kausalen Beziehungen dar (später Modell 4).
92
4.1. Aussagen über kausale Zusammenhänge
Um die Ausgangsfrage zu beantworten, müssen die verbleibenden kausalen Bezie-hungen in Abbildung 4.3 quantifiziert werden. Dies erfolgt im einfachsten Fall miteinem multiplen linearen Regressionsmodell.
In der Realität stellt das unterstellte ökonomische Modell vermutlich eine zu starkeVereinfachung dar, so dass weitere Einflussfaktoren geeignet berücksichtigt werdenmüssen. Ein Beispiel zeigt Abbildung 4.4. Wie dies e�zient geschieht, ist ebenfallsGegenstand dieses Kurses.
Multiples lineares Regressionsmodell
• Um die (durchschnittliche) Wirkung einer Aktion, in obigem Beispiel eine Änderungder Wirtschaftskraft im Exportland auf die Importe quantifizieren zu können, ist esi. Allg. nicht ausreichend, nur diese beiden Variablen in einem Modell zu betrachten.Stattdessen müssen i. Allg. alle relevanten kausalen Variablen im Modell berücksichtigtwerden.
• Hat man gut begründet, dass die Variablen z1, . . . , zk≠1 die Variable y kausal beeinflussenund ist man an der Quantifizierung des kausalen E�ekts der Variable z1 auf die Variable yinteressiert und unterstellt einen linearen Zusammenhang (in den Parametern —1, . . . , —k),dann ergibt sich ein Beispiel eines multiplen linearen Regressionsmodells
y = —1 + —2z1 + · · · + —kzk≠1 + u. (4.1)
– Die Variable u wird als Fehlerterm bezeichnet, der alle nicht modellierbaren / nichtmodellierten Einflüsse enthält. Eine Möglichkeit, u genauer zu interpretieren, ist mit(5.19) gegeben.
– Die Variable y wird als endogene Variable bezeichnet, da sie durch das Modellerklärt wird / werden soll.
– Die für y als kausal postulierten Variablen zj werden als exogene Variablen be-zeichnet.
In den folgenden Kapiteln werden die Eigenschaften und Annahmen bzgl. dieser Varia-blen genauer spezifiziert werden.
• Eine Quantifizierung des kausalen E�ekts von z1 auf y erfolgt, indem —2 bestimmt wird.Hierfür ist eine
1. Stichprobe mit geeigneten Daten und
2. ein geeiggnetes ökonometrisches Schätzverfahren notwendig.
Einflussfaktoren von Importen Aus Abbildung 4.3 folgt das Modell mit
93
4. Einführung
y = s8, z1 = s4, z2 = s5
Importe = —1 + —2BIP + —3Entfernung + u (4.2)
• In Kapitel 12 und 13 werden auch dynamische Modelle betrachtet. Hierbei wird immerunterstellt, dass verzögerte endogene Variablen, also Variablen, die in Vorperioden derbetrachteten Periode liegen, kausal sind. Um eine allgemeine Notation zu ermöglichen,werden die Variablen auf der rechten Seite typischerweise mit xj bezeichnet.
y = —1 + —2x2 + · · · + —kxk + u (4.3)
Das multiple lineare Regressionsmodell (4.3) ist ein zentrales Werkzeug für alleim Folgenden genannten Ziele empirischer Analysen und steht deshalb im Mittelpunktdieses Kurses.
• Die Variablen y und x haben in der Literatur verschiedene Bezeichnungen.
• In manchen Analysen besteht zwischen dem interessierenden y und anderen Variablensi eine simultane Beziehung. Dann liegen mehrere endogene Variablen vor, die explizitoder indirekt gemeinsam modelliert werden müssen, siehe Kurs FortgeschritteneÖkonometrie.
• Eine explizite Modellierung erfolgt mit einem simultanen Gleichungsmodell. EinBeispiel für zwei endogene Variablen ist
4. Analyse und Evaluation von erfolgten/geplanten Maßnahmen (wirtschaftspolitisch,betrieblich, etc.)
5. Bewertung von Unsicherheit
4.2. Was ist Ökonometrie?
Ökonometrie
• bietet Lösungen an, mit unbeobachteten Faktoren in ökonomischen Modellen umzugehen,
• bietet “both a numerical answer to the question and a measure how precise the answer is(Stock & Watson 2007, p. 7)”,
• bietet Werkzeuge zur Widerlegung ökonomischer Hypothesen an, indem mittels statistischerMethoden Theorien mit empirisch erhobenen Daten konfrontiert werden, und bietet Werk-zeuge zur Quantifizierung der Wahrscheinlichkeiten an, mit denen solche Entscheidungenfalsch sind, (siehe u. a. Kapitel 11)
• erlaubt die Quantifizierung der Risiken von Vorhersagen, Entscheidungen und sogarihrer eigenen Analyse, (siehe u. a. Abschnitt 9.3 und folgende)
• erlaubt die Quantifizierung von kausalen Zusammenhängen, die sich aus einem öko-nomischem Modell ergeben.
Grundsätzlich:
• Quantitative Antworten beinhalten immer Unsicherheit. Unsicherheit besteht bezüglich:
– des “wahren” (datengenerierenden) Mechanismus,
– der Auswahl der Variablen in der empirischen Analyse,
– der Messung der Variablen,
– der Wahl des ökonometrischen Modells,
– der statistischen Qualität des Schätz- oder Prognoseverfahrens.
• Zur Quantifizierung von Unsicherheit ist der Werkzeugkasten der Wahrscheinlichkeits-theorie sehr nützlich, aber nicht nur dafür ....
95
4. Einführung
4.3. Bestandteile einer empirischen Analyse
Eine empirische Analyse sollte einer strukturierten Vorgehensweise folgen, die im Verlauf desKurses begründet werden wird. Sie ist wie folgt gegliedert:
I. Ökonomischer Analyseteil
1. Wissenschaftliche Fragestellung
• Sorgfältige Formulierung der interessierenden Fragestellung bzw. des Problems.
2. Ökonomisches Modell
• Spezifizierung eines ökonomischen Modells.
• Identifizieren von kausalen und simultanen Beziehungen.
• Gewinnen von Hypothesen, die empirisch überprüft werden sollen.
• Interpretation von Modellparametern.
3. Datenverfügbarkeit
• Welche Daten sind hinsichtlich des ökonomischen Modells erforderlich und liegenbereits vor, bzw. lassen sich bescha�en?
II. Ökonometrischer Modellierungsprozess
1. Auswahl einer Klasse ökonometrischer Modelle
• Berücksichtigen der Variablen aus dem ökonomischen Modell und deren Verfügbarkeit.
• Berücksichtigen der funktionalen Zusammenhänge aus dem ökonomischen Modellbzw. Approximation derselben.
• Überlegen, ob datengenerierender Mechanismus (DGP) in Modellklasse enthaltensein könnte.
• Ggf. formulieren statistisch überprüfbarer Hypothesen bezüglich des DGPs.
• Wahl von Schätzmethoden mit günstigen Schätzeigenschaften: Welches Schätzver-fahren ist geeignet und möglichst e�zient, d. h. nutzt die Stichprobeninformationmöglichst gut aus? Welche Eigenschaften hat das gewählte Schätzverfahren?
2. Bescha�en von Daten: Erheben einer Stichprobe
• Charakterisierung der Stichprobenerhebung.
3. Spezifizieren, Schätzen und Auswählen von einem oder mehreren ökonome-trischen Modellen:
96
4.3. Bestandteile einer empirischen Analyse
• Verwenden geeigneter Schätzmethoden.
• Verwenden geeigneter Modellwahlmethoden.
4. Überprüfen der gewählten Modelle
• Ist das gewählte Modell korrekt spezifiziert? Falls ja, so fehlen keine relevantenerklärenden Variablen, die funktionale Form ist korrekt gewählt und die Annahmenbezüglich der Fehler sind erfüllt.
• Sind die Annahmen für das gewählte Schätzverfahren erfüllt, so dass die statistichenEigenschaften des Schätzverfahrens gelten und die Inferenz zulässig ist?
• Falls Annahmen verletzt, Spezifikation und Schätzen alternativer Modelle mit ggf.anderen Variablen und/oder Wahl alternativer Schätzverfahren ≠æ Gehe wieder zuSchritt 1 oder Schritt 3.
5. Verwenden der geprüften Modelle:
• Testen der statistischen Hypothesen: Werden die postulierten (ökonomischen) Hypo-thesen durch die Daten statistisch widerlegt?
• Prognosen
• Interpretation interessierender Parameter
Die für die einzelnen Schritte relevanten ökonometrischen Verfahren werden in den folgendenKapiteln besprochen.
97
5. Grundlagen der Schätz- und Testtheorie
5.1. Stichproben und datengenerierende Prozesse
Es bezeichne st einen m ◊ 1-Vektor von Zufallsvariablen.
Stichproben
• Eine Stichprobe ist eine Teilmenge der Grundgesamtheit, die erhoben werden kann (=Zu-fallsvektor) oder bereits erhoben wurde (Realisation eines Zufallsvektors). Eine Stichprobeder Stichprobengröße n ist gegeben durch
{s} = {(st), t = 1, . . . , n}.
• Die stochastischen Eigenschaften einer Stichprobe sind vollständig durch die gemeinsameDichte aller n Stichprobenbeobachtungen beschrieben:
fS1,S2,...,Sn(s1, s2, . . . , sn).
Bzgl. dieser gemeinsamen Dichte ist eine Stichprobe eine mögliche zukünftige oderbereits erfolgte Realisation mit n Beobachtungen st.
• Arten von Stichproben:
– Zufallsstichprobe: Die n Stichprobenbeobachtungen st, t = 1, . . . , n werden zufälliggezogen, d. h. sie sind identisch und unabhängig verteilt (identically and inde-pendently (IID) distributed), d. h. es gilt (vgl. (2.22))
Der große Vorteil von Zufallsstichproben ist, dass ausschließlich die gemeinsame / margi-nale Dichte fS(st) bestimmt werden muss und nicht die gemeinsame Dichte aller Stich-probenbeobachtungen. Alle Stichprobenbeobachtungen sind Ziehungen aus der gleichenDichte.
– Es bestehen stochastische Abhängigkeiten zwischen den einzelnen Stichprobenbeob-
5.1. Stichproben und datengenerierende Prozesse
achtungen st, d. h. die Zerlegung (5.1) gilt nicht. Dann gilt
indem das Theorem von Bayes mehrfach angewendet wird. Die gemeinsame Dichte lässtsich bei abhängigen Beobachtungen als ein Produkt von bedingten Dichten darstellen.
– Notiert der Index t die Beobachtungen die Zeit, sind die Beobachtungen eindeutigsortiert. Dann wird die zeitlich geordnete Kollektion von Zufallsvariablen {s1, . . . , sn} alsstochastischer Prozess bezeichnet und eine beobachtete Stichprobe als Zeitreihe. Zuderen Modellierung werden Zeitreihenmodelle verwendet. Ist m = 1 und st ein Skalar,so liegt eine univariate Zeitreihe vor. Ist m > 1 und st ein Vektor, untersucht maneine multivariate Zeitreihe. Eine Einführung in univariate Zeitreihenmodelle findetsich in Abschnitt 12.3.1.
Es ist möglich, dass die bedingten Dichten fSt|St≠1,...,S1(st|st≠1, . . . , s1) von der Zeit t ab-hängen. Sie können beispielsweise von Saisonkomponenten oder einem Zeittrend abhängen.Dies wird entweder durch geeignete Indizes an den bedingten Dichten oder entsprechendeVariablen in der Bedingung der Dichten kenntlich gemacht. Mehr dazu in Kapitel 13.
– Liegen für alle Einheiten im Querschnitt Zeitreihendaten vor, spricht man von Panelda-ten, siehe MA-Veranstaltung Angewandte Mikroökonometrie.
• In der Ökonometrie/Statistik wird anstelle des Begri�s Grundgesamtheit häufig dasKonzept datengenerierender Mechanismus oder datengenerierender Prozess (datagenerating process (DGP)) verwendet. Damit wird der stochastische Mechanismusbezeichnet, der die beobachteten Stichprobendaten {s1, s2, . . . , sn} in der realen Welt erzeugthaben kann (Davidson & MacKinnon 2004, Sections 1.5, 3.1).
• Der DGP, der einer Zufallsstichprobe von n Beobachtungen {s1, s2, . . . , sn} zugrundeliegt,wird vollständig durch die gemeinsame / marginale (m = 1) Dichte fS(s) bestimmt.
• Im Fall abhängiger Stichprobenbeobachtungen, typischerweise bei Zeitreihen, diedurch einen stochastischen Prozess erzeugt werden, müssen aufgrund (5.2) die bedingtenDichten fSt≠1|St≠2,...,S1(st≠1|st≠2, . . . , s1) betrachtet werden.
Beispiel: DGP für tägliche Renditen des DAX:
Annahme bzgl. DGP: Die täglichen DAX-Renditen sind unabhängig und identischnormalverteilt
yt ≥ NID(µ0, ‡20). (5.3)
99
5. Grundlagen der Schätz- und Testtheorie
Der Erwartungswert µ0 und die Varianz ‡20 sind fest, aber unbekannt. Alternative
Schreibweise, vgl. (2.6):
f(yt; µ0, ‡20) = 1
‡20„
3yt ≠ µ0
‡0
4(5.4)
• Wie im vorherigen DAX-Beispiel werden in diesem Text Parameter eines DGP immer mitIndex 0 notiert.
Ist man nur am Teil des DGPs für die endogenen Variablen gegeben die kausalen Variableninteressiert, so zerlegt man die Dichte f(st) geeignet in bedingte Dichten.
Es bezeichne
st =
Q
cawt
yt
zt
R
db =
Y__]
__[
Variablen ohne direkten Einfluss auf yt
zu erklärende/endogene Variablenerklärende/exogene Variablen
(5.5)
Einflussfaktoren von Importen wt =1s1 s2 s3 s9
2T, yt = s8, zt =
1s4 s5 s6 s6
2, s3 ist irrelevant, wenn nur ein Importland und eine Periode
betrachtet wird.
Dann ist (allgemein) folgende Faktorisierung
fS(st) = fW|Y,Z(w|y, z) fY|Z(yt|zt) fZ(zt) (5.6)
sinnvoll.
Zur Erklärung von yt gegeben die erklärenden Variablen zt ist ausschließlich die bedingteDichte
fY|Z(yt|zt)
notwendig. Weder die bedingte Dichte fW|Y,Z(w|y, z), noch die gemeinsame Dichte fZ(zt)müssen betrachtet werden, was den Modellierungsprozess wesentlich vereinfacht!
5.2. Ökonometrische Modelle
Zur Vereinfachung der Notation betrachten wir in diesem Abschnitt ausschließlich Modelle fürZufallsstichproben.
Modelle für Stichproben mit stochastisch abhängigen Beobachtungen werden in Abschnitt13.2 behandelt und stellen eine Erweiterung der Modelle aus diesem Abschnitt dar.
• Ein ökonometrisches Modell M ist eine Familie von Funktionen M(·) in Abhängigkeitvon den Daten und einem p ◊ 1 Parametervektor Â. Die Funktionen beschreiben dengesamten DGP oder Teile davon, bzw. approximieren diesen zumindest (Davidson 2000,
100
5.2. Ökonometrische Modelle
Section 4.1.1). Die Menge an möglichen und erlaubten Parametern ist der Parameterraum�
• Strukturelle Form eines Modells: Wesentliche Parameter des Modells können (ökonomisch)interpretiert werden.
Es ist möglich, wie im Fall eines simultanen Gleichungsmodellen (4.4), dass die Elementevon strukturellen Modellen keine Menge von bedingten Dichten oder Teile davon (wiez. B. bedingte Erwartungswerte) enthalten. In solchen Fällen muss das strukturelle Modellumgeformt werden, damit die Elemente des abgeleiteten Modells bedingte Dichten oderTeile davon sind.
• Werden gemeinsame Dichten für st betrachtet, die von einem Parametervektor  abhängen,schreibt man
fS(st; Â).Damit lässt sich die Menge aller Dichten, die durch ein strukturelles Modell M impliziertwerden, schreiben als
Das simultane Gleichungsmodell (4.4) mit st =1y1t y2t z1t z2t
2That den
Parametervektor =
1–12 —11 —12 –21 —21 —23
2(5.9)
und ist ein Beispiel für ein strukturelles Modell für y1t und y2t. Um ein Modellder Art MD zu erhalten, muss zusätzlich
1. eine Annahme bzgl. der gemeinsamen Verteilung der Fehler u1t und u2t getro�enwerden,
2. eine Annahme bzgl. der gemeinsamen Verteilung der exogenen Variablen z1t
und z2t und deren stochastisches Verhältnis zu den Fehlern und
3. die Gleichungen so umgeformt werden, dass auf der rechten Seite keine endoge-nen Variablen mehr stehen. Wie dies erfolgt, wird in Abschnitt 13.2 ausführlichim allgemeineren Rahmen von Zeitreihenmodellen dargestellt.
Beispiel: DAX-Renditen – Fortsetzung: Das Modell mit st = yt umfasstalle möglichen DGPs der Art
yt ≥ NID(µ, ‡2), Â =A
µ‡
B
œ Œ œ1R ◊ R+
2. (5.10)
101
5. Grundlagen der Schätz- und Testtheorie
Bzw.:
M = MD =;
f(yt; µ, ‡2) := 1‡2 „
3yt ≠ µ
‡
4, µ œ R, ‡ œ R+
<.
Das strukturelle Modell ist ein Menge von Dichten MD.
• Modelle MD werden auch als Modelle in reduzierter Form bezeichnet. Die interessierendenParameter eines Modells in reduzierter Form sind nur interpretierbar, wenn die strukturelleForm und reduzierte Form eines Modells identisch sind. Mehr dazu in Abschnitt 13.3.
• Korrekt spezifiziertes ökonometrisches Modell: Ein Modell ist
– korrekt spezifiziert, falls DGP œ MD,
– fehlspezifiziert, falls DGP ”œ MD.
Beispiel: DAX-Renditen – Fortsetzung: Ist Â0 = (µ0, ‡0)T œ �, dannenthält das Modell (5.10) auch den tatsächlichen DGP (5.3) mit µ0 und ‡2
0 unddas Modell ist korrekt spezifiziert.
Ist der DGP der DAX-Renditen jedoch durch eine t-Verteilung
yt/‡0 IID t(m0), m0 = 5
gegeben, ist das Modell (5.10) fehlspezifiziert.
Beispiel: DAX-Renditen – Fortsetzung: Das Modell (5.10) ist vollständigspezifiziert. Ein Modell yt ≥ IID(µ, ‡2) ist unvollständig spezifiziert, da eineVerteilungsannahme fehlt.
• Lässt sich aus dem Modell M in struktureller Form ein Modell in der reduzierten Form MD
ableiten, so sagen wir, dass das Modell M vollständig spezifiziert ist.
• Ist ein strukturelles Modell M vollständig und darüber hinaus korrekt spezifiziert,existiert ein Parametervektor Â0, für den die Dichte in MD dem DGP entspricht:
– Univariate Modelle: st = yt, ist ein Skalar, m = 1.
– Multivariate Modelle: st ist ein Vektor, m > 1.
• Ökonometrische Modelle, in denen die implizierten DGPs durch Funktionen in Abhängigkeitvon den möglichen Variablen und (endlich vielen) Parametern unterschieden werden, werdenals parametrische ökonometrische Modelle bezeichnet.
102
5.2. Ökonometrische Modelle
• In der ökonometrischen Theorie und Praxis spielen jedoch auch semiparametrischeModelle und nichtparametrische Modelle eine Rolle. Eine kurze Einführung bietetDavidson & MacKinnon (2004, Section 15.5). Eine ausführliche Darstellung liefert dieMonographie von Li & Racine (2007).
Bedingte Modelle (conditional models)
• Ist man ausschließlich an der Erklärung der endogenen Variablen y gegeben die kausalenVariablen z interessiert, ist es ausreichend, bedingte Modelle zu betrachten. Auf Basis derFaktorisierung des DGPs in (5.6) ergibt sich ein bedingtes ökonometrisches Modell(für bedingte Dichten)
Die Variablen z werden außerhalb des Modells bestimmt.
– Endogene(n) Variable(n): Variable(n) wird/werden durch den im Modell beschriebe-nen Mechanismus generiert.
– Exogene Variablen: Variablen, die außerhalb des Modells bestimmt werden können(da sie keine simultane Beziehung zu den endogenen Variablen aufweisen).
• Davidson & MacKinnon (2004, Section 1.3) nennen ein parametrisches Modell vollständigspezifiziert, wenn es möglich ist, nach Zuweisung von Zahlenwerten zu allen im Modellvorhandenen Parametern Realisationen der abhängigen Variable yt zu generieren. Ansonstenist es partiell spezifiziert.
Beispiel: Simultanes Gleichungsmodell
Ist für das simultane Gleichungsmodell (4.4) mit Parametervektor (5.9) keinegemeinsame Verteilung der kausalen Variablen z1 und z2 gegeben, sondern aus-schließlich eine gemeinsame Verteilung der Fehler, dann kann “nur” ein Modellfür bedingte Dichten abgeleitet werden.
• Wichtig: Häufig ist nicht klar, ob eine Variable sj mit y eine simultane Beziehung aufweistoder für y kausal ist. Dann muss dies im Rahmen des Modellierungsprozesses bestimmtwerden (was allerdings nur unter bestimmten Voraussetzungen möglich ist). Das erfordert,dass im Modell zunächst sj als simultan zugelassen wird und gleichzeitig Parameterwerte imModell existieren, für die sj kausal wird. Ein Beispiel hierfür findet sich in den Abschnitten13.2 und 13.3.
• Im Folgenden bis zu Kapitel 13 unterstellen wir, dass nur eine endogene Va-riable zu erklären ist und alle erklärenden Variablen kausal sind. Unter dieserVoraussetzung sind die strukturelle und reduzierte Form identisch.
Beispiel: Einflussfaktoren von Importen
Um für Importe auf Basis der Regressiongleichung (4.2) eine auf BIP undEntfernung bedingte Dichte zu erhalten, muss noch eine Annahme für die Ver-teilung der Fehler und deren Verhältnis zu den bedingenden Zufallsvariablen BIP
103
5. Grundlagen der Schätz- und Testtheorie
und Entfernung gemacht werden. Häufig wird eine bedingte Normalverteilung
u|BIP, Entfernung ≥ NID(0, ‡2)
unterstellt. Unter dieser Annahme ergibt sich unmittelbar, dass die Importebedingt normalverteilt sind:
• Für eine empirische Analyse werden häufig verschiedene Modelle Mi, i = 1, 2, . . . , I betrach-tet. Mit Hilfe von Methoden zur Modellselektion wird dann versucht, ein korrektesModell zu wählen. Dazu später mehr.
• In der Praxis sind ökonometrische Modelle Mi (fast) immer fehlspezifiziert,
ft(xt|Xt≠1) ”™ Mi, , i = 1, 2, . . . , I,
aber ho�entlich eine gute Approximation für den Verwendungszweck. Die sich hierausergebenden Konsequenzen ignorieren wir aber in diesem Kurs.
Informationsmengen
• Die Menge aller potentiellen Variablen, die für ein vorliegendes Modell zur Erklärung derendogenen Variablen yt als kausale Variablen in Frage kommen können, wird häufig alsInformationsmenge bezeichnet und mit �t abgekürzt.
• Die Menge aller Variablen, die in einem vorliegenden Modell zur Erklärung der endogenen Va-riablen yt als kausale Variablen verwendet werden, ist ebenfalls eine Informationsmengeund wird im Folgenden It µ �t abgekürzt.
5.3. Regressionsmodelle
Für viele (ökonomischen) Fragestellungen ist es nicht notwendig, den DGP oder die bedingteDichte vollständig zu modellieren.
Notation: Alle erklärenden Variablen und eine Konstante, falls notwendig, werden in dem(1 ◊ k)-Zeilenvektor
yt = —1xt1 + —2xt2 + · · · + —kxtk + ut (5.15)yt = Xt— + ut. (5.16)
Die Zufallsvariable ut, die den unsystematischen Teil charakterisiert, wird als Fehlertermoder als Störterm bezeichnet.
• Notation: Im Unterschied zu Wooldridge (2009) beginnen Davidson & MacKinnon (2004)den Index der Parameter bei 1 und zählen bis k. Der Kurs folgt i. Allg. Davidson &MacKinnon (2004), auch in anderen Notationsfragen.
• Ist die Funktion des bedingten Erwartungswertes korrekt spezifiziert, dann gilt(5.14) für — = —0. Einsetzen von —0 in das multiple lineare Regressionsmodell (5.16) undBestimmen des bedingten Erwartungswertes zeigt, dass dann
E [ut|Xt] = 0 (5.17)
105
5. Grundlagen der Schätz- und Testtheorie
gilt. Deshalb liegt es nahe, dass man zur Schäzung von —0 die Anforderung (5.17) verwendet.Dies führt direkt zum Kleinst-Quadrate-Schätzer (6.5), der in den folgenden Kapitelnbehandelt wird.
• Mögliche Interpretation des Fehlerterms Die Bedingung (5.17) kann folgendermaßeninterpretiert werden. Es gibt für yt weitere kausale Faktoren vt, die von den explizitberücksichtigten kausalen Faktoren z1t, . . . , zk≠1,t stochastisch unabhängig sind. Beeinflussendiese als Linearkombination yt, enthält die Gleichung alle kausalen Variablen
bestimmt werden. Das zweite Gleichheitszeichen folgt wegen der stochastischen Unabhän-gigkeit von vt und den zjt, j = 1, . . . , k ≠ 1. Damit entspricht die Konstante —1 geradeder Linearkombination aus den unbedingten Erwartungswerten aller nicht berücksichtigtenFaktoren vt und dem Parametervektor “0.
Der Fehlerterm ut ergibt sich dann
ut = vt“0 ≠ E[vt]T “0 (5.19)
aus den individuellen Abweichungen von diesem Mittelwert. Außerdem gilt (5.17).
Deshalb wird dieser Teil des Modells als unsystematischer Teil bezeichnet.
Zur Erinnerung: In der empirischen Analyse kann Kausalität nur in der durchschnittlichenWirkung einer Aktion bestimmt werden.
Wichtig: Könnte man Elemente von vt in die Regression aufnehmen, würde dies zu einerReduktion der Varianz des Fehlerterms führen.
• Regressionsmodelle gehören zu den bedingten Modellen, da die Regressoren nicht imModell erklärt werden.
• Einfaches lineares Regressionsmodell:
yt = —1 + —2xt + ut. (5.20)
• Regressionsmodelle sind entweder
– korrekt spezifiziert (DGP im Modell enthalten). oder
– fehlspezifiziert (DGP im Modell nicht enthalten).
106
5.3. Regressionsmodelle
Ist der DGP im multiplen linearen Regressionsmodell enthalten, wird der wahre Parame-tervektor, der den DGP charakterisiert (wie bisher) mit dem Index 0 versehen, z. B. —0.Für den wahren Parametervektor —0 gilt dann
Modell: das einfache lineare Regressionsmodell (5.20).
Der bedingte Erwartungswert gegeben den DGP lautet:
yt = —10 + —20xt + —30x2t + vt¸ ˚˙ ˝ut
E [yt|xt] = —10 + —20xt + E [ut|xt]¸ ˚˙ ˝=—30x2
t ”=0
,
so dass Bedingung E[ut|xt] = 0 in (5.20) verletzt ist und der DGP nicht im Modell(5.20) enthalten ist.
Hinweis: Zur Analyse einer spezifischen Fragestellung ist es unter bestimmten Bedingun-gen möglich, fehlspezifizierte Modelle zu verwenden. Dazu gehört die Auswahl eines ad-äquaten Schätzverfahrens, z. B. die Verwendung des Instrumentvariablenschätzers(IV-Schätzers) oder des GMM-Schätzers jeweils mit geeigneten Instrumenten, sieheMA-Kurs Fortgeschrittene Ökonometrie oder Davidson & MacKinnon (2004, Chapter8 and 9).
• Regressionsmodelle sind vollständig spezifiziert, wenn alle Parameter der bedingtenDichte in der Modellierung berücksichtigt werden. D. h. insbesondere, dass die Verteilungdes Störterms modelliert wird.
Beispiele zu vollständig und partiell spezifizierten Regressionsmodel-len:
– Das Regressionsmodell
ln(Importet) = —1 + —2 ln(BIPt) + ut,
ut| ln(BIPt) ≥ NID(0, ‡2)(5.22)
ist vollständig spezifiziert.
– Wird dagegen in (5.22) nur ut| ln(BIPt) ≥ IID(0, ‡2) im Modell spezifiziert,bleibt die Verteilung des Störterms o�en, und das Modell ist partiell spezifi-ziert. Ist der DGP im Modell enthalten, ist das Modell partiell, aber korrektspezifiziert.
• Eigenschaft des wahren Parametervektors —0 im multiplen linearen Regressionsmodellder Grundgesamtheit:
107
5. Grundlagen der Schätz- und Testtheorie
– Im korrekt spezifizierten Modell gilt E[yt|Xt] = Xt—0 und damit (5.17) E[ut|Xt] = 0.Daraus ergibt sich
Èinvertierbar ist. Da (5.23) nur für den wahren Parametervektor gilt, kann
diese Bedingung zur Ableitung eines Schätzers verwendet werden. Da die Bedingungen(5.23) zweite Momente des DGPs enthält, werden sie als Momentenbedingungenbezeichnet. Ändern sich die Momente, ändert sich auch der Parametervektor.
– Mit Hilfe der Momentenbedingungen lassen sich in vielen Fällen Schätzer ableiten.In Abschnitt 6.2.1 wird gezeigt, dass die Momentenbedingungen (5.23) den KQ-Schätzerimplizieren.
• Das Modell enthalte p Parameter, die in dem (p ◊ 1)-Parametervektor ◊ zusammengefasstsind. Ein Schätzer ◊(y1, . . . , yn) für den Parametervektor ◊ ist eine (vektorwertige)Funktion, die als Argument ausschließlich Stichprobenbeobachtungen (y1, . . . , yn) enthältund dazu dient, Schätzwerte von ◊ zu bestimmen, die in einem noch näher zu spezifizieren-den Sinne möglichst nahe an ◊ liegen. Ein Schätzer ◊(y1, . . . , yn) ist eine Funktion vonZufallsvariablen, da die Stichprobenbeobachtungen vor ihrer Erhebung Zufallsvariablensind.
• Wird ein Schätzer auf Basis einer erhobenen Stichprobe berechnet, erhält man eine Schät-zung von ◊0.
• Im Allgemeinen weicht die Schätzung von den Parameterwerten ◊0 des tatsächlichen vorlie-genden DGP ab. Diese Abweichungen werden als Schätzfehler ◊(y) ≠ ◊0 bezeichnet. Der
108
5.4. Relevante Eigenschaften von Schätzern
Parametervektor des tatsächlich vorliegenden DGPs wird häufig als wahrer Parameter-vektor bezeichnet.
Auswahlkriterien für Schätzer
• Die Wahl der Schätzmethode hängt von der gewählten Bewertung der Schätzfehler ab,die wiederum von der Fragestellung abhängt. Eine Bewertung des Schätzfehlers für einenParameter i ist mit Hilfe der Verlustfunktion (loss function) L
1◊i(y), ◊i
2möglich.
Typische Verlustfunktionen für skalare Parameter ◊ sind:
– Quadratische Verlustfunktion:
Lsq
1◊(y), ◊0
2:=
1◊(y) ≠ ◊0
22(5.26)
Die quadratische Verlustfunktion misst das Quadrat des Euklidischen Abstands (Länge)zwischen dem geschätzten ◊ und dem wahren Parameter ◊0.
– Absolutbetrag des Schätzfehlers:
Labs(1◊(y), ◊0
2:=
---◊(y) ≠ ◊0--- . (5.27)
– Asymmetrische Verlustfunktion: Beispiel:
Labs(1◊(y), ◊0
2:= a
---◊(y) ≠ ◊0--- 1
1◊(y) ≠ ◊0 > 0
2
+ b---◊(y) ≠ ◊0
--- 11◊(y) ≠ ◊0 < 0
2, a, b > 0,
(5.28)
wobei 1(·) die Indikatorfunktion bezeichnet.
• Der Wert der Verlustfunktion hängt von der Stichprobe ab. Um einen stichprobenunabhängigenWert zu bekommen, betrachtet man den Erwartungswert der Verlustfunktion
EËL
1◊(y), ◊0
2È, (5.29)
wobei der Erwartungswert bzgl. der Stichprobenbeobachtungen y bestimmt wird, die durchden DGP generiert werden können. Dieser Erwartungswert misst den erwarteten Verlust einesSchätzers und wird in der Statistik als Risiko eines Schätzers für Parameter ◊ bezeichnet.
Interpretation: Wird die Verlustfunktion für eine große Anzahl verschiedener Stichprobenvon demselben DGP berechnet, liegt der Durchschnitt nahe dem Risiko.
• Das Risiko bzgl. der quadratischen Verlustfunktion für einen skalaren Parameter wird auchals mittlerer quadratischer Fehler (mean squared error (MSE)
MSE1◊(y
2:= E
51◊(y) ≠ ◊0
226
(5.30)
bezeichnet.
Werden alle p Parameter zusammen betrachtet, erhält man die Matrix der mittlerenquadratischen Fehler:
MSE1◊(y
2:= E
51◊(y) ≠ ◊0
2 1◊(y) ≠ ◊0
2T6
. (5.31)
109
5. Grundlagen der Schätz- und Testtheorie
Die MSE-Matrix lässt sich in zwei wichtige Bestandteile zerlegen, die im Folgenden definiertwerden.
• Erwartungswert minimiert MSE
• Verzerrung (bias) eines Schätzers ◊(vy):
B1◊(y)
2:= E
Ë◊(y)
È≠ ◊0 (5.32)
• Varianz-Kovarianzmatrix / Kovarianzmatrix / Varianzmatrix eines Schätzers ◊(y):
V ar1◊(y)
2:= E
51◊(y) ≠ E
Ë◊(y)
È2 1◊(y) ≠ E
Ë◊(y)
È2T6
(5.33)
Die Varianz-Kovarianzmatrix lautet im Detail (zur besseren Lesbarkeit wird wie i. Allg.üblich die Abhängigkeit von der Stichprobe nicht angegeben):
V ar1◊
2:= E
51◊ ≠ E
Ë◊
È2 1◊ ≠ E
Ë◊
È2T6
=
Q
cccca
V ar(◊1) Cov(◊1, ◊2) · · · Cov(◊1, ◊p)Cov(◊2, ◊1) V ar(◊2) · · · Cov(◊2, ◊p)
• Zerlegung der MSE-Matrix: Generell lässt sich die MSE-Matrix in die Varianz-Kovarian-zmatrix des Schätzers und das äußere Produkt der Verzerrungen zerlegen:
MSE(◊(y)) = V ar1◊(y)
2+ B
1◊(y)
2B
1◊(y)
2T, (5.35)
• Ein unverzerrter Schätzer wird auch als erwartungstreu bezeichnet. Im Erwartungs-wert über alle möglichen Stichproben entspricht der Schätzer dem Parametervektor destatsächlichen DGP.
EË◊(y)
È= ◊0. (5.36)
Interpretation: Erwartungstreue impliziert, dass bei einer großen Anzahl an Stichprobender Durchschnittswert aller Schätzungen sehr nahe am wahren Wert liegt.
• Ist ein Schätzer erwartungstreu, d. h.Ë◊(y)
È= ◊0, entspricht der MSE gerade der Varianz
des Schätzers.
• Eigenschaften von Varianz-Kovarianzmatrizen
– Varianz-Kovarianzmatrizen sind symmetrisch und immer positiv semidefinit, meistjedoch positiv definit, da aufgrund ihrer Definition (1.8) gilt.
– Die Inverse einer Varianz-Kovarianzmatrix
V ar1◊
2≠1
wird als Präzisionsmatrix (precision matrix) bezeichnet.
110
5.4. Relevante Eigenschaften von Schätzern
– Vergleich von Varianz-Kovarianzmatrizen zwei Schätzer ◊ und ◊
Sind zwei Schätzer erwartungstreu und verwendet man als Auswahlkriterium den MSE,wählt man den Schätzer, der von beiden die kleinere Varianz aufweist.
Im skalaren Fall (p = 1) ist dies einfach, da sich beide Varianzen leicht vergleichenlassen. Ist p > 1, muss man zwei Varianz-Kovarianzmatrizen vergleichen. Der Schätzer ◊weist eine “kleinere” Varianz-Kovarianz-Matrix als der Schätzer ◊ auf, wenn die folgendeDi�erenz der Präzisionsmatrizen
V ar(◊)≠1 ≠ V ar(◊)≠1
positiv semidefinit und nicht Null ist. Sind beide Varianz-Kovarianzmatrizen positivdefinit, gilt äquivalent, dass die Di�erenz
V ar(◊) ≠ V ar(◊)
positiv semidefinit und nicht Null ist (Davidson & MacKinnon 2004, Section 3.5, Seite105 und Exercise 3.8).
Interpretation: Die Eigenschaft einer positiv semidefiniten Di�erenz der Varianz-Kovarianzmatrizen bedeutet, dass jede Linearkombination der Di�erenz nicht negativ ist.Insbesondere gilt
V ar(◊j) Ø V ar(◊j), j = 1, . . . , p. (5.37)
• Korrelationsmatrix eines Schätzers ◊:
Vgl. zur Definition einer Korrelation (2.24)
Corr1◊
2:=
Q
caCov(◊i, ◊j)
1V ar(◊i)V ar(◊j)
21/2
R
db
i=1,...,p,j=1,...,p
(5.38)
Die Korrelationmatrix lässt sich ebenfalls in Matrixschreibweise darstellen als
Corr1◊
2=
1diag(V ar(◊))
2≠1/2V ar(◊)
1diag(V ar(◊))
2≠1/2, (5.39)
wobei diag(A) eine Diagonalmatrix bezeichnet, die auf der Diagonale die Diagonalelementeder Matrix A enthält.
Wesentlich bei der Korrelationsmatrix ist, dass alle Elemente auf der Diagonale 1 sindund alle Nichtdiagonalelemente im Intervall [≠1, 1] liegen.
R-BefehleBerechnen der Korrelationmatrix aus einer Kovarianzmatrix mit cov2cor().
• Wünschenswerte Anforderungen an einen Schätzer:
1. minimales Risiko oder
111
5. Grundlagen der Schätz- und Testtheorie
2. minimales Risiko bei Erwartungstreue, d. h. minimale Varianz
• E�zienz eines Schätzers: Wird der MSE als Auswahlkriterium für das Risiko gewählt undbetrachtet man Schätzer aus einer Klasse, die ausschließlich unverzerrte Schätzer enthält,wird ein Schätzer der betrachteten Klasse als e�zient bezeichnet, wenn er in dem obenbestimmten Sinne die kleinstmögliche Varianz aufweist.
Konkret: Ein Schätzer — ist der e�ziente Schätzer in einer Klasse von unverzerrtenSchätzern —, wenn gilt, dass die Matrix der Di�erenz der Varianz-KovarianzmatrizenV ar(—) ≠ V ar(—) positiv semidefinit ist.
• Kenntnis der Wahrscheinlichkeitsverteilung des Schätzers für jede Stichprobengröße n. Manbezeichnet diese Verteilung als exakte Wahrscheinlichkeitsverteilung eines Schätzers.
Wichtige Eigenschaften eines Schätzers für endliche Stichproben
• Erwartungstreue
• Varianz-Kovarianzmatrix und Korrelationsmatrix
• E�zienz bzw. allgemeiner Risiko
• Exakte Wahrscheinlichkeitsverteilung
Beispiel: der Schätzer des Erwartungswertes µ:
• Ein möglicher Schätzer des Erwartungswertes ist gegeben durch das arithmeti-sche Mittel aller Stichprobenbeobachtungen
µ(y) := 1n
nÿ
t=1yt. (5.40)
µ(y) ist ein Spezialfall des Kleinst-Quadrate-Schätzers (6.5).
– Berechnen der Verzerrung:
E [µ(y)] ≠ µ0 = E
C1n
nÿ
t=1yt
D
≠ µ0 = 1n
nÿ
t=1E [yt] ≠ µ0
IID= 1n
nÿ
t=1µ0 ≠ µ0 = µ0 ≠ µ0 = 0.
Der Schätzer des Erwartungswertes ist im Fall einer Zufallsstichprobe erwar-tungstreu.
– Berechnen der Varianz des Schätzers:
V ar (µ(y)) = V ar
A1n
nÿ
t=1yt
BIID= 1
n2
nÿ
t=1V ar(yt) = ‡2
0n
(5.41)
– MSE des Schätzers: entspricht der Varianz, da der Schätzer erwartungs-treu ist. Der MSE entspricht hier auch dem Risiko bzgl. der quadratischenVerlustfunktion.
112
5.4. Relevante Eigenschaften von Schätzern
Beachte: Das Risiko des Erwartungswertschätzers nimmt mit zunehmenderStichprobengröße n mit der Rate n ab.
– Verteilung der Schätzers: Aufgrund der Modellannahme (5.10) ist der Schät-zer µ(y) = 1
n
qnt=1 yt ist eine Linearkombination von unabhängig und identisch
normalverteilter yt. Deswegen gilt
y ≥ N (µ, �) mit µ = µÿ, � = ‡2I,
wobei ÿ ein (n◊1)-Vektor mit Einsen ist. Die Summe ÿT y = qnt=1 yt ist wegen
(2.33) ebenso normalverteilt mit
ÿT y ≥ N1ÿT µ, ÿT �ÿ
2.
Wegen ÿT µÿ = nµ und ÿT �ÿ = n‡2 erhält man
ÿT y ≥ N(nµ, n‡2) und
µ(y) ≥ N
A
µ,‡2
n
B
. (5.42)
Der Schätzer des Erwartungswertes µ(y) ist also ebenso normalverteilt.
• Ein anderer möglicher Schätzer ist
µ(y) = 12(y1 + yn). (5.43)
Bestimmen Sie wieder alle Eigenschaften und vergleichen Sie diese. Zeigen Sie,dass im Vergleich des arithmetischen Mittels (5.40) und (5.43) der erstgenanntee�zient ist.
Asymptotische Eigenschaften
Prinzipiell hängen die bisher betrachteten Kenngrößen Verzerrung, Varianz, Risiko, MSE vonder Stichprobengröße und dem DGP ab. Dabei kann die Abhängigkeit von Parametern desDGP sehr unpraktisch sein, da diese ja gerade unbekannt sind und so eine Auswahl einesgeeigneten Schätzers nicht gut möglich ist. Deshalb werden auch Kenngrößen betrachtet,die in solchen Fällen in einem geeigneten Sinne unabhängig vom DGP sind und zumindestgarantieren, dass sich die Eigenschaften eines betrachteten Schätzers mit wachsendem Stichpro-benumfang „wünschenswerten“ Eigenschaften, z. B. Erwartungstreue, nähern. Man „betreibt“dann Asymptotik oder asymptotische Theorie: man indiziert die Schätzfunktion mit derStichprobengröße n und untersucht die Eigenschaften von ◊n für n æ Œ. Man untersucht alsodie Konvergenzeigenschaften einer Funktionenfolge, siehe Mathematikvorkurs Kapitel 3.
Wichtige asymptotische Eigenschaften eines Schätzers
• Konsistenz
• Asymptotische Varianz
• Asymptotische E�zienz
113
5. Grundlagen der Schätz- und Testtheorie
• Asymptotische Verteilung
Die Eigenschaften im Einzelnen:
• Konsistenz: ist ein Schätzer verzerrt, kann man fragen, ob das Ausmaß der Verzerrungmit zunehmender Stichprobengröße geringer wird und der Schätzer gegen den wahrenParametervektor ◊0 konvergiert, wenn der Stichprobenumfang gegen unendlich strebt.“Konvergenz” bedeutet hier Konvergenz des Schätzers in Wahrscheinlichkeit
plimnæŒ
◊n = ◊0 (5.44)
oder fast sichere Konvergenz◊n
a.s.≠æ ◊0. (5.45)Konsistenz impliziert, dass
1. der Schätzer asymptotisch erwartungstreu (unverzerrt) ist
limnæŒ
EË◊n
È= ◊0.
2. die Varianz des Schätzers für n æ Œ gegen Null geht.
• Ist ein Schätzer nicht konsistent, wird er als inkonsistent bezeichnet.
Beispiel: Das arithmetisches Mittel als Schätzer des Erwartungswertes:(5.40) ist konsistent, da es für beliebiges n erwartungstreu ist und die Varianzmit n æ Œ gegen Null geht, siehe (5.41).
• Asymptotische Varianz-Kovarianzmatrix: Im Allg. hängt die Varianz-Kovarianzmatrixvon der Stichprobengröße n ab. Wenn, wie für Konsistenz notwendig, die Varianzen undKovarianzen des Schätzers für n æ Œ gegen Null gehen, lassen sich für den Grenzfall n æ Œdie Varianz-Kovarianzmatrizen von verschiedenen Schätzern nicht vergleichen. Auch kanndeshalb für den Grenzfall keine nicht-degenerierte Wahrscheinlichkeitsverteilung existieren.Beides setzt voraus, dass die Abhängigkeit der Varianz-Kovarianzmatrix V ar(◊n) von derStichprobengröße für n æ Œ eliminiert werden kann.
Um diese Abhängigkeit der Varianz von ◊ zu verhindern, muss man ◊n mit einem vom Stich-probenumfang abhängigen Faktor r(n) multiplizieren, der verhindert, dass V ar(r(n)·◊n)gegen Null konvergiert oder gegen Unendlich divergiert. Es kann auch erforderlichsein, dass für jeden Parameterschätzer ◊in ein spezifischer Faktor ri(n) notwendig ist. DieseFaktoren werden als Konvergenzraten bezeichnet. Als Ergebnis erhält man die asym-ptotische Varianz-Kovarianzmatrix, die häufig mit asyVar(◊n) notiert wird.
Beispiel: das arithmetische Mittel als Schätzer des Erwartungswertes:Das Kollabieren oder Divergieren der Varianz von µn ≠ µ0 wird verhindert, indemman µn ≠ µ0 mit dem vom Stichprobenumfang abhängigen Faktor r(n) =
Ôn
multipliziert. Denn aus V ar(µn) = n≠1‡20 folgt
V ar1Ô
n (µn ≠ µ0)2
= nV ar (µn ≠ µ0) = n‡2
0n
= ‡20 = asyVar(µn). (5.46)
114
5.4. Relevante Eigenschaften von Schätzern
Damit ist ‡20 die asymptotische Varianz des arithmetischen Mittels und die
Konvergenzrate beträgtÔ
n.
Beispiel: der ine�ziente Erwartungswertschätzer (5.43)
Zeigen Sie, dass für diesen Erwartungswertschätzer r(n) = 1 gilt. Damit ist dessenKonvergenzate kleiner als die Rate des arithmetischen Mittels, weshalb letzterervorzuziehen ist.
• Asymptotische Verteilung:
– Die asymptotische Verteilung ist die Grenzverteilung, die sich für n æ Œ ergibt. Späterwird dies noch genauer definiert werden.
Beispiel: Schätzer des Erwartungswertes: Die Verteilung bzw. Dichtef(µ; µ0, ‡2
0/n) des Schätzers des Erwartungswertes µ hängt von der Stichproben-größe ab, da dessen Varianz von der Stichprobengröße abhängt, siehe (5.42).
Die Normalverteilung wird von der Stichprobengröße n unabhängig, wenn dieasymptotische Varianz eingesetzt werden kann. Das erreicht man, indem mananstelle die mit der Konvergenzrate multiplizierte Folge von ZufallsvariablenÔ
n (µn ≠ µ0) betrachtet:Ô
n (µn ≠ µ0) ≥ N(0, ‡20). (5.47)
Da die Verteilung N(0, ‡20) von der Stichprobengröße unabhängig ist, ist diese
auch für n æ Œ gültig und damit die GrenzverteilungÔ
n(µn ≠ µ0) d≠æ N(0, ‡20). (5.48)
– Wann ist die Kenntnis der asymptotischen Verteilung nützlich?
Falls die Normalverteilungsannahme nicht getro�en werden kann, funktioniert die Ablei-tung in (5.47) nicht mehr. Kann man also nur
yt ≥ IID(µ0, ‡20), t = 1, 2, . . . , n, (5.49)
voraussetzen, ist es nicht möglich, die exakte Wahrscheinlichkeitsverteilung desSchätzers
Fn(z) := P (µn Æ z)zu bestimmen. Ist jedoch in so einem Fall die asymptotische Verteilung bekannt, kanndiese approximativ statt der unbekannten exakten Verteilung verwendet werden. Für denvorliegenden Fall existiert die asymptotische Verteilung, siehe Abschnitt 5.5.2.
• Asymptotische E�zienz eines Schätzers
Für zwei asymptotisch normalverteilte Schätzer ◊n und ◊n, beide mit Konvergenzrater(n) =
Ò(n), ist ◊n asymptotisch relativ e�zienter als ◊n, wenn die Di�erenz von deren
115
5. Grundlagen der Schätz- und Testtheorie
asymptotischen Varianz-Kovarianzmatrizen asyV ar(◊n) ≠ asyV ar(◊)n positiv semidefinitist (Wooldridge 2010, Definition 3.11). Asymptotische E�zienz spielt in Kapitel 14 eineRolle.
5.5. Werkzeuge für die asymptotische Analyse
5.5.1. Gesetz der großen Zahlen — Law of Large Numbers (LLN)
Ein Gesetz der großen Zahlen nennt Voraussetzungen, unter denen das arithmetische Mittelin Wahrscheinlichkeit oder sogar fast sicher gegen den wahren Mittelwert konvergiert.
• Schwaches Gesetz der großen Zahlen von Chintschin (Khinchine’s Weak Lawof Large Numbers (WLLN)) Sei zt, t = 1, 2, . . . , n, eine IID-Folge von Zufallsvariablenmit endlichem Erwartungswert µ. Dann gilt für das arithmetische Mittel µn = n≠1 qn
t=1 zt
µP≠æ µ, (5.50a)
bzw. plim(µ) = µ. (5.50b)
(Siehe z. B. Davidson (1994, Theorem 23.5) — Beweis zu schwierig.)
• Zwei Versionen des LLN
– Schwaches LLN (WLLN):µ
P≠æ µ.
– Starkes LLN (SLLN):µ
a.s.≠æ µ.
• Es gibt auch LLN für verschiedene nicht-IID-Fälle, siehe z. B. Davidson (2000, Section 3.2).
• Beachte, dass zt auch eine Funktion einer anderen Zufallsvariable sein kann, beispielsweiseeine Potenz einer Zufallsvariablen oder das Produkt von zwei verschiedenen Zufallsvariablen.
Beispiel: Schätzer des Erwartungswertes: Sind die Voraussetzungen einesder Gesetze der großen Zahlen erfüllt, ist das arithmetische Mittel ein konsistenterSchätzer des Erwartungswertes.
Liegt eine Zufallsstichprobe vor und weist der DGP einen endlichen Erwartungswertauf, dann gilt beispielsweise das schwache Gesetz der großen Zahlen von Chintschin
µn = 1n
nÿ
t=1yt
P≠æ µ0 bzw. plimnæŒ µn = µ0.
Beispiel: Vergleich von zwei Schätzern des Erwartungswertes mittelsMonte-Carlo-Simulation
116
5.5. Werkzeuge für die asymptotische Analyse
In einer Monte-Carlo-Simulation werden die Schätzeigenschaften des arithmetischenMittels (5.40) und des ine�zienten Mittelwertschätzers (5.43) verglichen.
Aufbau:
• DGP
yt = µ0 + ‡0ut, ut = (Át ≠ m)/Ô
2m, Át ≥ i.i.d.‰2(m) (5.51)µ0 = 1, ‡0 = 2, m = 1 (5.52)
Die Dichte der Fehler ut ist asymmetrisch, da die Át aus einer ‰2-Verteilung mitm Freiheitsgraden gezogen werden und anschließend standardisiert werden.
• R = 10000 Realisationen von Stichproben mit jeweils Stichprobengrößen n =10, 50, 100, 500. Beachte: Die Voraussetzungen des schwachen Gesetzes der großenZahlen (LLN) sind erfüllt.
• Berechnung des arithmetischen Mittels und der Standardabweichung für jedeStichprobengröße und jeden Schätzer
Man sieht, dass beide Schätzer erwartungstreu sind. Die Standardabweichung desalternativen Schätzers mu_tilde (5.43) bei jeder Stichprobengröße größer ist alsdie Standardabweichung des arithmetischen Mittels mu_hat. Darüber hinaus wirddie Standardabweichung des arithmetischen Mittels mit zunehmender Stichproben-größe kleiner. Das erste Ergebnis illustriert die E�zienz des arithmetischen Mittels,das zweite Ergebnis, dass das arithmetische Mittel ein konsistenter Schätzer ist.
Die Verteilungen der Schätzer sind in den Abbildungen 5.1 und 5.2 zu sehen.
Es fällt auf, dass
• der ine�ziente Schätzer unabhängig von der Stichprobengröße eine schiefeVerteilung (wie die Fehler) hat, die Dichte des arithmetischen Mittels jedoch mitzunehmender Stichprobengröße symmetrischer wird — und wie sich im nächstenAbschnitt zeigen wird, gegen die Dichte der Normalverteilung konvergiert.
5.5.2. Zentrale Grenzwertsätze
Vorbemerkung: Prinzipiell ist ein zentraler Grenzwertsatz von zentraler Bedeutung um insehr allgemeinen Fällen eine Grenzverteilung für einen Schätzer bestimmen zu können. Dabei
117
5. Grundlagen der Schätz- und Testtheorie
Histogramm für n= 10
µ
Frequency
0.5 1.0 1.5 2.0 2.5
0100
200
300
Histogramm für n= 50
µ
Frequency
0.6 0.8 1.0 1.2 1.4 1.6
0100
200
300
Histogramm für n= 100
µ
Frequency
0.8 1.0 1.2 1.4
0100
300
Histogramm für n= 500
µ
Frequency
0.85 0.95 1.05 1.15
0100
300
Abbildung 5.1.: Histogramme des arithmetischen Mittels (R-Programm siehe Abschnitt A.2, Seite 328) DGPsiehe Gleichung (5.51)
gibt es verschiedene Versionen von zentralen Grenzwertsätzen, die sich in ihren Voraussetzungenunterscheiden.
Beispiel: Schätzer des Erwartungswertes:
• Liegt eine Zufallsstichprobe vor, aber es nicht bekannt, welche Verteilung derDGP hat, also welche Verteilung z. B. die Rendite des DAX hat, dann funktioniertdie Ableitung der Grenzverteilung via (5.47) nicht.
• Da die Existenz asymptotische Varianz die Konvergenzrate r(n) =Ò
(n) er-fordert, ist zu fragen gegen welche asymptotische Verteilung die Folge derZufallsvariablen
Ôn(µn ≠ µ0) konvergiert, wenn yt beispielsweise IID, aber nicht
normalverteilt ist?
Die Antwort liefert für diesen Fall der Zentrale Grenzwertsatz (centrallimit theorem (CLT)) von Lindeberg und Lévy.
0), t = 1, 2, . . ., |µ0| < Œ, 0 < ‡20 < Œ. Dann gilt für den Schätzer des
118
5.5. Werkzeuge für die asymptotische Analyse
Histogramm für n= 10
µ~
Frequency
1 2 3 4 5 6
0200
400
600
Histogramm für n= 50
µ~
Frequency
0 1 2 3 4 5 6 7
0200
400
600
Histogramm für n= 100
µ~
Frequency
0 2 4 6 8
0400
800
1200
Histogramm für n= 500
µ~
Frequency
0 1 2 3 4 5 6
0200
400
600
Abbildung 5.2.: Histogramme des ine�zienten Erwartungswertschätzers (5.43) (R-Programm siehe AbschnittA.2, Seite 328) DGP siehe Gleichung (5.51)
Erwartungswertes µn = 1n
qnt=1 yt:
Ôn(µn ≠ µ0) d≠æ N(0, ‡2
0).
Beweis: (Für eine Beweisidee siehe z.B. Hendry (1995, Section A.5)) ⇤
Bemerkungen:
– Man kann alternativ auchÔ
n(µn ≠ µ0) d≠æ z, z ≥ N(0, ‡20)
schreiben, aber nicht (wie irrtümlich in Davidson & MacKinnon (2004, Section 4.5, p.149))
plimnæŒÔ
n(µn ≠ µ0) = z ≥ N(0, ‡20),
weil dieser Wahrscheinlichkeitslimes nicht existiert; siehe für einen Beweis hierfür z. B.Davidson (1994, Section 23.1).
– Unabhängig von der Art der marginalen Verteilung von yt konvergiert der mitÔ
nskalierte Schätzer des Erwartungswertes in Verteilung gegen eine Normalver-
119
5. Grundlagen der Schätz- und Testtheorie
teilung, solange yt eine endliche Varianz aufweist. Man sagt, dass der Schätzer desErwartungswertes asymptotisch normalverteilt ist.
– Alternative Schreibweise des zentralen Grenzwertsatzes: Es bezeichne die Zu-fallsvariable Xn = µn. Dann ist die exakte Wahrscheinlichkeitsverteilung des arith-metischen Mittels für die Stichprobengröße n gegeben durch
Fn(z) := P (µn Æ z).
Der zentrale Grenzwertsatz sagt, dass die Folge der Verteilungsfunktionen Fn(z) gegendie Verteilungsfunktion F (z) = �(z) punktweise konvergiert
limnæŒ
Fn(z) = �(z).
– Der zentrale Grenzwertsatz sagt nichts darüber aus, wie gut die asymptotische Verteilungdie exakte Verteilung Fn(z) für eine gegebene Stichprobengröße n approximiert. Umhierüber Aussagen zu gewinnen, sind i. Allg. Computersimulationen notwendig.
Beispiel: Vergleich von zwei Schätzern des Erwartungswertes mittelsMonte-Carlo-Simulationen (Fortsetzung aus Abschnitt 5.5.1) Die Histo-gramme des arithmetischen Mittels in Abbildung 5.1 illustrieren gut den zentralenGrenzwertsatz. Die Histogramme für den ine�zienten Schätzer in Abbildung 5.2deuten darauf hin, dass kein zentraler Grenzwertsatz gilt. Der Grund hierfür ist,dass unabhängig von der Stichprobengröße immer genau zwei Beobachtungen indie Schätzung eingehen und damit kein CLT gelten kann.
• Zentraler Grenzwertsatz für heterogene, aber stochastisch unabhängige Zufalls-variablen Häufig sind die yt nicht IID, sondern sind nur unabhängig, aber nicht identischverteilt, zum Beispiel, wenn sie eine unterschiedliche Varianz aufweisen, yt ≥ (µ0, ‡2
t ),t = 1, 2 . . .. Dann gilt für die Varianz von
Ônµn
V ar(Ô
nµn) = V ar
A1Ôn
nÿ
t=1yt
B
= 1n
nÿ
t=1V ar(yt) = 1
n
nÿ
t=1‡2
t .
Sofern die V ar(yt) einige Bedingungen erfüllen, z. B. 0 < V ar(yt) < c < Œ, für allet = 1, 2, . . ., gilt ein zentraler Grenzwertsatz
Ôn(µn ≠ µ0) d≠æ N
A
0, limnæŒ
1n
nÿ
t=1V ar(yt)
B
. (5.53)
Bedingungen an die Folge der Varianzen sind notwendig, um folgende Fälle auszuschließen:
– Würde z. B. für ein festes 0 < a < 1 gelten, dass V ar(yt) = ‡20at æ 0 mit t æ Œ, dann
ist qŒt=1 V ar(yt) = ‡2
01
1≠aund somit ergibt sich für
V ar(Ô
nµn) = 1n
‡20
11 ≠ a
æ 0 für n æ Œ,
die Varianz vonÔ
nµn verschwindet also asymptotisch. Damit ist natürlich keine (sinnvolle)Grenzverteilung möglich.
120
5.6. Grundlagen von Tests
– Würde entsprechend gelten V ar(yt) = ‡20t æ Œ, dann erhält man
V ar(Ô
nµn) = 1n
‡20n(n + 1)
2 æ Œ mit n æ Œ.
Bedingungen, die sicherstellen, dass eine Grenzverteilung existiert, werden häufig als Regu-laritätsbedingungen bezeichnet.
Beispiel: Schätzer des Erwartungswertes: Dieser zentrale Grenzwertsatzist hilfreich, wenn die unbedingte Varianz der DAX-Renditen von der Zeit abhängt,also beispielsweise vom Wochentag.
• Zentrale Grenzwertsätze für Vektoren
– ˘ Cramér-Wold Device: Für eine Folge von Zufallsvektoren xn gilt
xnd≠æ x
dann und nur dann, wenn für alle zulässigen Vektoren ⁄ gilt:
⁄T xnd≠æ ⁄T x.
– Multivariater Grenzwertsatz: Gegeben seien die unabhängig verteilten (r ◊ 1)-Zufallsvektoren vt mit Erwartungswert µ0 und Varianz-Kovarianzmatrix V ar(vt). Danngilt unter geeigneten Regularitätsbedingungen für den Schätzer des multivariaten Erwar-tungswertes µn = 1
n
qnt=1 vt
Ôn (µn ≠ µ0) d≠æ N
A
0, limnæŒ
1n
nÿ
t=1V ar(vt)
B
. (5.54)
5.6. Grundlagen von Tests
Statistische Tests werden angewendet, um
• ökonomische Hypothesen zu überprüfen,
• bei der Modellspezifikation und Modellüberprüfung ökonometrischer Modelle (relevante Re-gressorvariablen, funktionale Form der Regressionsfunktion, Verletzung von Annahmen,...).
Statistischer Test:
• Stichprobenbasiertes Entscheidungsverfahren um zu entscheiden, ob eine Hypothese abge-lehnt werden muss.
• Die Hypothese muss sich auf Eigenschaften von Wahrscheinlichkeitsverteilungen beziehen,die in dem betrachteten Modell enthalten sind.
• Zur Entscheidung stehen genau zwei Alternativen: die Hypothese nicht abzulehnen oderabzulehnen.
121
5. Grundlagen der Schätz- und Testtheorie
Bestandteile eines statistischen Tests:
1. Hypothesenpaar
2. Teststatistik
3. Entscheidungsregel
4. Entscheidung und Interpretation
Zu 1.: Zwei disjunkte Hypothesen über ein oder mehrere Elemente des Parametervektors◊ œ �, wobei ◊ die Parameter der in Betracht gezogenen Wahrscheinlichkeitsverteilungenbezeichnet.
– Nullhypothese H0 : ◊ œ �H0 .
– Alternativhypothese H1 : ◊ œ �H1 .
Dabei deckt die Vereinigung der beiden Hypothesen �H0 fi �H1 = � den gesamten Para-meterraum � ab. (Vgl. zu Parameterraum Abschnitt 5.1.)
Beispiel: Test bzgl. des Erwartungswertes der DAX-Renditen:
– Ökonomische Frage: Ist die durchschnittliche tägliche Rendite des DAX Null?
– Statistischer Test soll im Rahmen des bisher betrachteten Modells
yt ≥ NID(µ, ‡2), µ œ R, ‡ œ R+. (5.10)
durchgeführt werden. Diese Annahme legt die Menge der möglichen Wahr-scheinlichkeitsverteilungen fest: Normalverteilungen mit Varianz ‡2 > 0 undErwartungswert µ.
– Allgemeine Formulierung des Hypothesenpaars bezüglich des Erwartungswertesµ:
H0 : µ = µH0 versus H1 : µ ”= µH0 .
Im vorliegenden Fall ist µH0 = 0 und damit
H0 : µ = 0 versus H1 : µ ”= 0.
– Wir haben noch nichts über den anderen Modellparameter, die Varianz ‡2
gesagt. Die vollständige Formulierung des Hypothesenpaares umfasst den ge-
samten Parametervektor ◊ =A
µ‡
B
œ � = (R ◊ R+):
H0 : ◊ =A
µ‡
B
œ �H0 =1{µH0} ◊ R+
2versus
H1 : ◊ œ �H1 =1(R\{µH0}) ◊ R+
2
122
5.6. Grundlagen von Tests
– Wäre der Erwartungswert µ bekannt, könnte sofort entschieden werden, ob dieNullhypothese korrekt ist.
– In der Praxis kann eine Entscheidung nur auf Basis einer Stichprobe undeiner Schätzung µ(y1, y2, . . . , yn) des Erwartungswertes getro�en werden. Einstatistischer Test liefert diese Entscheidung. Dabei sollte er gewisse Optimali-tätskriterien erfüllen. Dazu später mehr.
Zu 2.: Eine Teststatistik ⁄ ist eine Funktion, die aus den Stichprobenwerten y berechnet wird:⁄ = ⁄(y). Hinweis: Vor Beobachten einer Stichprobe ist eine Teststatistik eine Zufallsvariable,nach Beobachten einer Stichprobe eine Realisation einer Zufallsvariable, also eine Zahl.
Zu 3.: Eine Entscheidungsregel, die festlegt, für welche Werte von ⁄ die NullhypotheseH0 abgelehnt und für welche Werte die Nullhypothese nicht abgelehnt wird. Genauer:Der Wertebereich von ⁄ wird in zwei disjunkte Teilbereiche unterteilt:
– Ablehnungsbereich (rejection region), kritischer Bereich C Liegt die Teststatistik⁄ innerhalb des kritischen Bereichs, wird H0 abgelehnt:
Lehne H0 ab, falls ⁄ œ C.
– Nicht-Ablehnungsbereich Liegt die Teststatistik ⁄ innerhalb des Nicht-Ablehnungs-bereichs, wird H0 nicht abgelehnt:
Lehne H0 nicht ab, falls ⁄ ”œ C.
– Kritische Werte: Eine oder mehrere Grenze(n) c zwischen Ablehnungs- und Nicht-Ablehnungsbereich.
Hinweis: Statt dem Symbol ⁄ wird bei t-Tests typischerweise das Symbol t oder bei F -Testshäufig das Symbol F verwendet.
Beispiel: Test bzgl. des Erwartungswertes (mean) der DAX-Renditen— Fortsetzung:
Die Nullhypothese kann mit einem t-test wie folgt durchgeführt werden. Dieeinzelnen Elemente werden anschließend abgeleitet und begründet:
– Stichprobe: Tägliche Renditen des DAX vom 25.03.1993 bis 30.09.2015, ins-gesamt 5652 Beobachtungen (R-Programm siehe Abschnitt A.3, Seite 329,Daten dax19930325_20150930.xlsx):
– Für H0 : µH0 = 0 und µ = 0.00004130056 und ‡µ = 0.00002342752 ergibt sichdie Teststatistik
t(y) = 0.00004130056 ≠ 00.00002342752 = 1.762908
– t(y) œ C ∆ Lehne H0 nicht ab.
Wie groß ist die Wahrscheinlichkeit einer Fehlentscheidung?
Eigenschaften eines Tests:
• Fehler 1. Art (Type I error): Der Fehler erster Art eines Tests gibt an, mit welcherWahrscheinlichkeit die Nullhypothese H0 für eine noch nicht erhobene Stichprobe verworfenwird, obwohl H0 in der Grundgesamtheit korrekt ist:
Intuitive (schlampige) Schreibweise: P (Lehne H0 ab|H0 ist wahr)Exakte Schreibweise: –(◊) = P (⁄ œ C; ◊) , ◊ œ �H0 . (5.56)
Beachte: Der Fehler 1. Art hängt möglicherweise von ◊ ab!
Beispiel: Einseitiger t-Test, siehe später.
• Fehler 2. Art (Type II error bzw. —-Fehler): Der Fehler zweiter Art gibt an, mitwelcher Wahrscheinlichkeit H0 nicht abgelehnt wird, obwohl H0 falsch ist:
Intuitive (...) Schreibweise: P (Lehne H0 nicht ab|H1 ist wahr)Exakte Schreibweise: —(◊) = P (⁄ ”œ C; ◊) , ◊ œ �H1 . (5.57)
• Gütefunktion (power function) eines Tests: Die Gütefunktion eines Tests gibt dieAblehnungswahrscheinlichkeit für einen bestimmten Parametervektor ◊ œ � an
fi(◊) = P (Lehne H0 ab; ◊)= 1 ≠ P (⁄ ”œ C; ◊) , ◊ œ �.
(5.58)
Beachte: Die Gütefunktion ist für den gesamten Parameterraum « definiert.
• Güte, Macht (power) fi eines Tests: Die Güte eines Tests gibt an, mit welcher Wahr-scheinlichkeit fi(◊) die Nullhypothese für ein bestimmtes ◊ abgelehnt wird, wenn ◊ œ �H1
ist:fi(◊) = 1 ≠ —(◊), ◊ œ �H1 .
124
5.6. Grundlagen von Tests
• Größe (size) eines Tests: In vielen Fällen hängt der Fehler 1. Art von ◊ œ �H0 ab. DasSupremum der Fehler 1. Art über alle möglichen ◊ œ �H0 wird als Größe (size) einesTests bezeichnet:
sup◊œ�H0
P (⁄ œ C; ◊) (5.59)
Bestimmen des kritischen Bereichs C
• Testverteilung: P (⁄ Æ x; ◊) — notwendig für die Bestimmung der Gütefunktion fi(◊)(5.58) eines Tests.
– unter H0 : P (⁄ Æ x; ◊), ◊ œ �H0 — notwendig für die Bestimmung des kritischen BereichsC.
– unter H1 : P (⁄ Æ x; ◊), ◊ œ �H1 — notwendig für die Bestimmung der Güte eines Tests.
• Optimal wäre, den Fehler 1. Art so klein wie möglich zu machen und gleichzeitig dieGütefunktion eines Tests so groß wie möglich zu machen. Das geht leider nicht. Deshalbbegrenzt man den Fehler 1. Art und möchte dann die Güte fi(◊) für alle ◊ œ �H1 maximieren.
• Signifikanzniveau (level of significance, level): Deshalb wird ein Signifikanzniveau– vorgegeben, das den Fehler 1. Art beschränkt:
P (Lehne H0 ab; ◊) = P (⁄ œ C; ◊) Æ – für alle ◊ œ �H0 . (5.60)
Aus dieser Bedingung lässt sich der Ablehnungsbereich C = C(–) bestimmen.
• Falls mehrere Tests zur Auswahl stehen, die das Signifikanzniveau – einhalten, dannwählt man den Test, der die Powerfunktion fi(◊) für ◊ œ �H1 maximiert.
• Siehe folgendes Beispiel zur Ableitung der t-Statistik und des relevanten kritischen Bereichs.Tests zum Überprüfen von Hypothesen mit mehreren Parametern werden im Abschnitt11.3.2 abgeleitet.
Beispiel: Test bzgl. des Erwartungswertes — Fortsetzung: Ableiten derTeststatistik zum Testen einer Nullhypothese bzgl. des Erwartungswertes beibekannter Standardabweichung und Bestimmen des kritischen Bereichs
1. Unter den getro�enen Annahmen ist der Schätzer des Erwartungswertes nor-malverteilt, siehe (5.42)
µ(y) ≥ N
A
µ,‡2
n
B
. (5.42)
2. Allerdings hängt die Verteilung von unbekannten Parametern ab. Dies wirddurch Standardisieren vermieden:
µ ≠ µ
‡/Ô
n≥ N(0, 1) (5.61)
125
5. Grundlagen der Schätz- und Testtheorie
Fall A: ‡ = ‡0 bekannt: Unter H0 : µ = µH0 kann µ≠µ‡0/
Ôn
berechnet werdenund man erhält eine standardnormalverteilte Teststatistik
z(y) = µ ≠ µH0
‡0/Ô
n≥ N(0, 1). (5.62)
Fall B: ‡ unbekannt: siehe allgemeine Ableitung von (5.55) im Rahmen desKQ-Regressionsmodells in Abschnitt 11.3.1.
3. Bestimmen des kritischen Bereichs C für Fall A (Fall B geht analog):
a) Festlegen des Signifikanzniveaus –.
b) Graphik der Wahrscheinlichkeitsdichte von z(y) unter H0:
0 z
f(z)
kritischer Wert ckritischer Wert −c
Irrtumswahrschein−lichkeit α 2
Irrtumswahrschein−lichkeit α 2
Nicht−Ablehnungsbereich von H0Ablehnungsbereich von H0 Ablehnungsbereich von H0
Wann sollte man H0 ablehnen?
Intuition: Falls z sehr groß (oder sehr klein) ist, dann ist
i. der geschätzte Erwartungswert µ weit weg von µH0 (unter H0). Daskönnte Evidenz für H1 : µ ”= µH0 sein. Man sollte dann H0 ablehnen.
ii. Oder die Standardabweichung ‡µ = ‡0/Ô
n der geschätzten Abwei-chung ist klein im Vergleich zur Di�erenz µ ≠ µH0 .
D. h., man sollte H0 ablehnen, wenn z sehr groß oder sehr klein ist.
Der kritische Bereich ist demnach
C = (≠Œ, cl) fi (cr, Œ).
Bestimmen der kritischen Werte cl, cr mit Hilfe des vorgegebenen Signifikanz-niveaus (5.60). Üblicherweise teilt man das vorgegebene Signifikanzniveau– auf beide Flanken symmetrisch auf. Der Fehler 1. Art ist dann kleiner
126
5.6. Grundlagen von Tests
oder gleich dem Signifikanzniveau –, wenn gilt
P (z < cl; µH0 , ‡0) Æ –/2 und P (z > cr; µH0 , ‡0) Æ –/2,(5.63)
F (z; µH0 , ‡0) Æ –/2 und 1 ≠ F (z; µH0 , ‡0) Æ –/2.(5.64)
Unter H0 ist z standardnormalverteilt (2.5), so dass gilt
�(cl) Æ –/2 und (1 ≠ �(cr)) Æ –/2, (5.65)
Idealerweise soll das Gleichheitszeichen gelten, weil dann das Signifikanzni-veau den Fehler 1. Art genau kontrolliert. Der kritische Wert cl entsprichtgerade dem –/2-Quantil (2.9) der Standardnormalverteilung
cl = q–/2 = �≠1(–/2), cr = q1≠–/2 = �≠1(1 ≠ –/2).
Aufgrund der Symmetrie der Normalverteilungsdichte ergibt sich cl = ≠cr =≠c. Somit erhält man für – = 0.05 die kritischen Werte ≠c = ≠1.96 bzw. c =1.96. Siehe z. B. Table G.1 in Wooldridge (2009)) oder berechne c mit demR-Befehl c <- qnorm(p=1-alpha/2), wobei alpha das Signifikanzniveauangibt.
Berechnen der Macht (Güte)
• Allgemeines Vorgehen: Bestimme zunächst Gütefunktion, d. h. Dichtefunktion der Teststa-tistik für ein beliebiges ◊ œ «. Da die Güte des Tests im Allg. von ◊ abhängt, berechnetman die Güte des Tests für alle oder ausgewählte ◊ œ «H1 . Die Güte wird berechnet, indemdie Fläche unter der Dichtefunktion im kritischen Bereich bestimmt wird.
Beispiel: Test bzgl. des Erwartungswertes — Fortsetzung: Im Folgendenwird weiterhin ‡0 als bekannt vorausgesetzt:
– Sowohl unter H0 als auch H1 gilt gegeben den Erwartungswert µ0 und dieStandardabweichung ‡0 des DGP gemäß (5.61), also
µ ≠ µ0
‡0/Ô
n≥ N(0, 1).
Durch Erweitern erhält manµ + µH0 ≠ µH0 ≠ µ0
‡0/Ô
n= µ ≠ µH0
‡0/Ô
n+ µH0 ≠ µ0
‡0/Ô
n= µ ≠ µH0
‡0/Ô
n¸ ˚˙ ˝
z(y)
≠ µ0 ≠ µH0
‡0/Ô
n¸ ˚˙ ˝
m
und somit erhält man
z(y) = µ ≠ µH0
‡0/Ô
n≥ N
Aµ0 ≠ µH0
‡0/Ô
n, 1
B
,
da X ≥ N(m, 1) äquivalent zu X ≠ m ≥ N(0, 1) ist.
127
5. Grundlagen der Schätz- und Testtheorie
– Fazit: Gilt H1, so ist die Dichte und auch die Verteilung der Teststatistik z(y)um (µ0 ≠ µH0)/(‡0/
Ôn) verschoben.
– In der Abbildung der Dichte unter H1 (für ein konkretes µ0 ”= µH0) ergibtsich die Güte bzw. power aus der Summe der beiden schra�erten Flächen:fi(◊) = P (z < ≠c; ◊) + P (z > c; ◊), ◊ œ �H1 .
0 z
f(z)
µ0 − µH0
σµ
kritischer Wert ckritischer Wert −c
Ablehnungswahr−scheinlichkeit
Güte = Summe der Ablehnungs−wahrscheinlichkeiten
Ablehnungswahr−scheinlichkeit
Nicht−Ablehnungsbereich von H0Ablehnungsbereich von H0 Ablehnungsbereich von H0
– Für ein gegebenes ‡µ steigt die Güte des Tests mit steigender Di�erenz zwischendem Nullhypothesenwert µH0 und dem wahren Wert µ0. Es ist dann “einfacher”,eine falsche Nullhypothese abzulehnen.
– Für gegebene Parameterwerte ◊ œ � lässt die Powerfunktion berechnen undgraphisch darstellen.
• Eigenschaften der Güte: Güte eines Tests steigt mit
128
5.6. Grundlagen von Tests
mu[0] − mu[H[0]] −1.0−0.5
0.00.5
1.0
sigm
a/sq
rt(n)
0.05
0.10
0.15
0.20
Gütefunktion
0.2
0.4
0.6
0.8
1.0
Abbildung 5.4.: Darstellung der Gütefunktion für z gegeben – = 0.05 auf einem Gitter (R-Programm siehe Ab-schnitt A.3, Seite 331) Parameterbereich µ0 ≠ µH0 œ [≠1, 1], ‡µ = ‡0/
Ôn œ [1/
Ô20, 1/
Ô1000]
– größerem Abstand zwischen korrektem Wert und Nullhypothese und/oder
– sinkender Standardabweichung ‡ und/oder
– mit Stichprobengröße n.
Fazit: Statistische Tests erfordern mindestens die Kenntnis der Wahrscheinlichkeitsverteilungder Teststatistik unter H0, aber um die Power zu bestimmen auch unter H1.
Test bzgl. Erwartungswert bei unbekannter Varianz: t-Statistik (5.55) (Fall B,Seite 126)
In der Praxis ist die Varianz ‡2 unbekannt. Das generelle Vorgehen wird anhand des Testsbzgl. des Erwartungswertes illustriert.
Beispiel: Test bzgl. des Erwartungswertes — Fortsetzung:
Lösung: Die Varianz ‡2 wird mittels
s2 = 1n ≠ 1
nÿ
t=1(yt ≠ y)2
geschätzt (vgl. (9.20)). Einsetzen von s in (5.61) ergibt
‡µ = sÔn
129
5. Grundlagen der Schätz- und Testtheorie
und die bereits für den Test des Erwartungswertes verwendete sogenannte t-Statistik (5.55)
t(y) = µ ≠ µH0
‡µ
=
11n
qnt=1 yt
2≠ µH0
1n≠1
qnt=1(yt ≠ y)2 1
n
.
Diese t-Statistik ist nicht mehr normalverteilt. In Abschnitt 11.3.1 wird gezeigt,dass diese t-Statistik einer t-Verteilung mit n ≠ 1 Freiheitsgraden (kurz tn≠1) folgt.
Damit giltt(y) = µ ≠ µH0
‡µ
≥ tn≠1.
Zu den Eigenschaften der (symmetrischen) t-Verteilung (2.36) siehe Teil I. Mathe-matischer Vorkurs. Um die kritischen Werte
P (t < ≠c|H0) = –
2 und P (t > c|H0) = –
2 ,
zu erhalten, kann man z. B. in Table G.2 in Wooldridge (2009)) nachschauenoder diese mit dem R-Befehl c <- qt(p=1-alpha/2,df=n-k) berechnen, wobeialpha das Signifikanzniveau und k die Zahl der geschätzten Parameter, hier k = 1,angeben.
Ein- und zweiseitige Hypothesentests mit dem t-Test
Die Möglichkeit von einseitigen Tests besteht, wenn ein Element ◊j des Parametervektors◊, wie z. B. der Erwartungswert µ, getestet werden soll. Sowohl für die ein- als auch denzweiseitigen Test lautet die t-Statistik allgemein
Beachte: Häufig, so auch in Wooldridge (2009), liest man H0 : ◊j = ◊j,H0 versus H1 :◊j > ◊j,H0 . Diese Schreibweise ist nicht ganz präzise, da ja jeder mögliche Parameterwertentweder zu H0 oder zu H1 gehören muss. Das wird bei dieser Schreibweise aber nichtdeutlich.
ú Kritischer Wert:
Dichte der t-Teststatistik für ◊j,0 = ◊j,H0 , wobei ◊j,0 den Parameterwert des DGPbezeichnet:
130
5.6. Grundlagen von Tests
0 t
f(t)
kritischer Wert c
Irrtumswahrschein−lichkeit α
Ablehnungsbereich von H0Nicht−Ablehnungsbereich von H0
Es wird kein Ablehnungsbereich auf der linken Seite benötigt, da alle ◊j < ◊j,H0
Elemente von H0 sind und somit in den Nicht-Ablehnungsbereich fallen.
Fehler 1. Art und Größe eines einseitigen Tests: Angenommen, für ◊j,0 desDGP gilt ◊j,0 < ◊j,H0 , so dass H0 vorliegt. Da die Lage der Dichte der Teststatistikt(y) von ◊j,0≠◊j,H0
‡◊j
abhängt (vgl. Graphik auf Seite 128 für ◊j = µ) befindet sich dieDichte für ◊j,0 ≠ ◊j,H0 < 0 links von der Dichte für ◊j = ◊j,H0 . Entsprechend ist derschra�erte Bereich, also der Fehler 1. Art, im ersten Fall kleiner als im zweiten Fall.Damit entspricht der Fehler 1. Art für ◊j = ◊j,H0 gerade der Größe (5.59) des Tests. Dadas gewählte Signifikanzniveau – die Größe eines Tests vorgibt, wird also der kritischeWert für ◊j = ◊j,H0 bestimmt.
ú Entscheidungsregel:t > c ∆ Lehne H0 ab.
Beispiel: Test bzgl. des Erwartungswertes (mean) der DAX-Renditen— Fortsetzung: Sind die DAX-Renditen positiv?
ú Hypothesenpaar:H0 : µ Æ 0 versus H1 : µ > 0
ú Bestimmung des kritischen Wertes: Für – = 0.05 erhält man aus der t-Verteilung mit 1151 Freiheitsgraden c <- qt(p=0.95,df=1151) den kritischenWert 1.646179.
ú Berechnung der Teststatistik: Wie im Fall des zweiseitigen Tests (5.55):
t(y) = 0.00004130056 ≠ 00.00002342752 = 1.762908
ú Testentscheidung: Dat = 1.763 > c = 1.645,
131
5. Grundlagen der Schätz- und Testtheorie
wird die Nullhypothese abgelehnt. Es liegt statistische Evidenz für einenpositiven Erwartungswert der täglichen DAX-Renditen vor.
ú Welches Testergebnis erhalten Sie für ein Signifikanzniveau von 1%?
– Test mit linksseitiger Alternativhypothese
H0 : ◊j Ø ◊j,H0 versus H1 : ◊j < ◊j,H0 .
Dichte der t-Teststatistik für ◊j,0 = ◊j,H0 :
0 t
f(t)
kritischer Wert c
Irrtumswahrschein−lichkeit α
Ablehnungsbereich von H0 Nicht−Ablehnungsbereich von H0
Vorgehen wie bei rechtsseitiger Alternativhypothese, nur spiegelverkehrt.
• Fazit: Unterschied einseitiger und zweiseitiger Tests: Fläche des gegebenen Signifikanznive-aus ist einseitig konzentriert oder zweiseitig halbiert.
• Vorteil einseitiger Tests
– Da man mittels statistischer Tests Hypothesen nicht bestätigen, sondern nurablehnen kann, wählt man üblicherweise die Alternativhypothese so, dass sie dieVermutung widerspiegelt, die statistisch “gestützt” werden soll.
Betri�t die Vermutung also nur eine Seite, da die andere Seite nicht interessiert oder ausökonomischen Gründen ausgeschlossen werden kann, ist ein einseitiger Test möglich.
– Beim einseitigen Test kann das vorgegebene Signifikanzniveau auf einer Seite konzentriertwerden, so dass der kritische Wert im Vergleich zum zweiseitigen Test im Absolutbetragkleiner und eine Ablehnung der Nullhypothese wahrscheinlicher wird und damit die Powersteigt, wenn die Nullhypothese in der Grundgesamtheit falsch ist.
Beispiel: Test bzgl. des Erwartungswertes (mean) der DAX-Renditen— Fortsetzung: Ist man ausschließlich daran interessiert, ob die DAX-Renditenpositiv sind, ist ein einseitiger Test wie oben möglich. Während H0 : µ = 0 beimzweiseitigen Test gegeben ein Signifikanzniveau von 0.05 nicht abgelehnt werdenkann, ist dies beim rechtsseitigen Test möglich.
– Wichtig: Ein einseitiger Test ist jedoch nur gerechtfertigt, wenn die Seite, die in der Null-
132
5.6. Grundlagen von Tests
hypothese enthalten ist, nicht interessiert oder aus ökonomischen Gründen ausgeschlossenwerden kann.
p-Werte (p-values)
• Für eine gegebene Stichprobe lässt sich für jede Teststatistik das größte Signifikanzniveauberechnen, bei dem die berechnete Teststatistik gerade noch nicht zu einer Ablehnung derNullhypothese geführt hätte. Würde man das Signifikanzniveau weiter erhöhen, würde dieNullhypothese abgelehnt werden. Diese Wahrscheinlichkeit nennt man p-value (probabilityvalue).
• Man sagt auch, dass der p-value das kleinste Signifikanzniveau angibt, bei dem die Nullhy-pothese gerade noch abgelehnt werden kann. Siehe Davidson & MacKinnon (2004, Section4.2, pages 126-127) oder Wooldridge (2009, Abschnitt 4.2, p. 133).
• Im Falle eines einseitigen t-Tests mit rechsseitiger Alternative erhält man
P (X > t(y)|y, ◊j,H0) := p, (5.66a)bzw. P (X Æ t(y)|y, ◊j,H0) = 1 ≠ p, . (5.66b)
da P (X > t(y)|y, ◊j,H0) = 1 ≠ P (X Æ t(y)|y, ◊j,H0).
0 t
f(t)
p−value
t
α
• Entscheidungsregel mit p-Werten: Anstelle zu prüfen, ob die Teststatistik im kritischenBereich liegt, kann man den p-Wert mit dem Signifikanzniveau vergleichen:
Lehne H0 ab, falls der p-value kleiner als das Signifikanzniveau – ist.
Linksseitiger Test: p = P (t < t(y)|y, ◊j,H0),Rechtsseitiger Test: p = P (t > t(y)|y, ◊j,H0),Zweiseitiger Test: p = P (t < ≠|t(y)||y, ◊j,H0) + P (t > |t(y)||y, ◊j,H0)
133
5. Grundlagen der Schätz- und Testtheorie
• Viele Computerprogramme (so auch R) geben routinemäßig den p-value an für
H0 : ◊j = 0 versus H1◊j ”= 0.
Literatur: Davidson & MacKinnon (2004, Section 4.2) oder als Einstieg Wooldridge (2009,Appendix C.6).
134
6. Der Kleinst-Quadrate-Schätzer: Ableitung und eineAnwendung
Je nach DGP und Eigenschaften der Stichprobendaten kommen zur Schätzung der Parameterdes multiplen linearen Regressionsmodells
yt = —1xt1 + —2xt2 + · · · + —kxtk + ut. (5.15)
unterschiedliche Schätzer zum Einsatz.
Wiederholung von Abschnitt 5.4: Ein Schätzer für den Parametervektor — ist eine vektor-wertige Funktion —(X1, y1, . . . , Xn, yn) der Stichprobe {(Xt, yt), t = 1, . . . , n}.
Wichtige Schätzer für das mulitple lineare Regressionsmodell
• Kleinst-Quadrate-Schätzer (KQ-Schätzer) — ordinary least squares estimator (OLSestimator)∆ alle Kapitel bis einschließlich Kapitel 11
6. Der Kleinst-Quadrate-Schätzer: Ableitung und eine Anwendung
– KQ-Schätzwerte/angepasste Werte/Prognosewerte (fitted values): y
– Residuen: u(—) = y ≠ X—
– KQ-Residuen (OLS residuals): u = y ≠ X—
Im Weiteren werden die KQ-Residuen u häufig einfach als Residuen bezeichnet.
• Eigenschaften des KQ-Schätzers für das einfache multiple Regressionsmodell
– Die statistischen Schätzeigenschaften sind abhängig von der Art der Datengenerierung,bzw. von der Eigenschaften der Grundgesamtheit. Sie können niemals verifiziert werden,da die Datengenerierung unbeobachtbar ist. Ihre Analyse erfordert die Methoden derWahrscheinlichkeitstheorie =∆ Kapitel 9 und folgende.
– Die numerischen Eigenschaften gelten immer und sind unabhängig von der Datengene-rierung. Sie können mit algebraischen oder geometrischen Methoden untersucht werden=∆ Kapitel 7.
6.2.1. Ableitung des KQ-Schätzers als Momentenschätzer
• Basis des Momentenschätzers: Gesetz der Großen Zahlen (law of large numbers (LLN)),vgl. Abschnitt 5.5.1.
• Einfachster Fall von (5.24):
yt = —1 + ut, E[ut] = 0, (6.7a)
so dass—1 = E[yt] (6.7b)
gerade dem Erwartungswert (dem ersten Moment) von yt entspricht.
• Unter bestimmten Voraussetzungen (z. B. Vorliegen einer Zufallsstichprobe, vgl. (5.50))rechtfertigt das Gesetz der Großen Zahlen, einen Erwartungswert E[yt] mit dem arith-metischen Mittel 1
n
qnt=1 yt einer Stichprobe y1, . . . , yn zu schätzen,
‚E[yt] = 1n
nÿ
t=1yt,
so dass die Genauigkeit des Schätzers mit der Stichprobengröße zunimmt. Mehr dazu inAbschnitt 5.5.1.
• —1 kann also geschätzt werden, indem der Erwartungswert E[yt] mit dem arithmetischenMittel geschätzt wird
—1 = 1n
nÿ
t=1yt.
138
6.2. Der KQ-Schätzer für multiple lineare Regressionsmodelle
• Dieses Prinzip funktioniert wegen (5.24) auch für den KQ-Schätzer des multiplen linearenRegressionsmodell, da die Erwartungswerte E
ËXT
t Xt
Èund E
ËXT
t yt
Èin (5.24) wieder durch
Berechnen der Mittelwerte der Matrizen XTt Xt bzw. der Vektoren XT
t yt geschätzt werdenkönnen. Man erhält:
‚EËXT
t Xt
È= 1
n
nÿ
t=1XT
t Xt
‚EËXT
t yt
È= 1
n
nÿ
t=1XT
t yt
— =A
nÿ
t=1XT
t Xt
B≠1 nÿ
t=1XT
t yt (6.5a)
=1XT X
2≠1XT y. (6.5b)
Dabei wurde in der vorletzten Zeile 1/n gekürzt. Die Matrixdarstellung (6.5) des KQ-Schätzers in der letzten Zeile folgt aus der Anwendung der Matrixregeln.
In der Ableitung von (6.5) verwendete Annahmen:
1. Das multiple lineare Regressionsmodell ist korrekt spezifiziert, d. h. der DGP ist in (5.16)enthalten.
2. Die Fehler sind gegeben die Regressoren im Erwartungswert Null, d. h. E[ut|Xt] = 0, sodass (5.23) gilt.
3. Es liegt eine Zufallsstichprobe vor.
4. Die Matrix XT X ist invertierbar — dies erfordert rk(X) = k.
Überlegen Sie, wo welche Annahmen verwendet wurden.
• Der KQ-Schätzer (6.5) kann auch ohne Annahmen über den DGP abgeleitet werden, d. h.es wird nur Invertierbarkeit von XT X benötigt. Siehe folgenden Abschnitt.
• Was schätzt der KQ-Schätzer, wenn das Modell fehlspezifiziert ist?
Die Frage stellt sich, weil der KQ-Schätzer (6.5b) unabhängig von einer korrekten Mo-dellspezifikation ein Schätzer von (5.24) ist. Welche Interpretation hat also bei einemfehlspezifizierten Regressionsmodell der Parametervektor?
Der KQ-Schätzer liefert immer die beste lineare Prognose im Sinne eines minimalenmittleren quadratischen Fehlers (MSE)des Regressionsmodells.
Kurze Ableitung: Vor Erhebung einer Stichprobe sind die Stichprobenbeobachtungen (Xt, yt)Zufallsvektoren, die von einem unbekannten DGP generiert werden. Im Folgenden wird derErwartungswert bzgl. der Dichten des unbekannten DGPs berechnet.
Der MSE für ein multiples lineares Regressionsmodell ist für einen gegebenen DGP abhängig
139
6. Der Kleinst-Quadrate-Schätzer: Ableitung und eine Anwendung
Ableiten des MSE(yt, Xt; —) bzgl. — und Nullsetzen liefert den Parametervektor, der denMSE minimiert. Aus
ˆ(yt, Xt; —)ˆ—
= ≠2E[XTt yt] + 2E[XT
t Xt]— != 0
folgt—00 = E
ËXT
t Xt
È≠1E
ËXT
t yt
È. (6.9)
Der Parametervektor —00 liefert die beste lineare Prognose und wird häufig als pseudo-wahrer Wert des vorliegenden Modells bezeichnet. O�ensichtlich gilt —00 = —0, wenn dasRegressionsmodell korrekt spezifiziert ist.
Die Gleichung (6.9) motiviert darüber hinaus die alternative Ableitung des KQ-Schätzersim nächsten Abschnitt.
6.2.2. Kleinst-Quadrate-Ableitung des KQ-Schätzers
• Gegeben ist das multiple lineare Regressionsmodell (6.1)
y = X— + u.
• Idee des Kleinst-Quadrate-Schätzers: Minimiere die Summe der Quadrate der Resi-duen (Sum of Squared Residuals (SSR)), also die Zielfunktion
S(—) =nÿ
t=1ut(—)2 =
nÿ
t=1(yt ≠ Xt—)2 . (6.10)
Diese Zielfunktion ergibt sich, indem das statistsche Risiko (5.29) auf Basis der quadratischenVerlustfunktion (5.27) mit dem arithmetischen Mittel geschätzt wird.
• Eine mögliche Alternative zur KQ-Zielfunktion (6.10): Minimierung der Summe derAbsolutbeträge
SM(—) =nÿ
t=1|ut(—)| =
nÿ
t=1|yt ≠ Xt—| (6.11)
liefert Schätzung des bedingten Medians, also des bedingten 50%-Quantils. Diese Ziel-funktion ergibt sich, indem das statistsche Risiko (5.29) auf Basis des Absolutbetrages desSchätzfehlers (5.27) mit dem arithmetischen Mittel geschätzt wird.
140
6.3. Empirische Analyse von Handelsströmen: Teil 1 — ein kurzer Überblick
6. Der Kleinst-Quadrate-Schätzer: Ableitung und eine Anwendung
• Ein erster, grober (empirischer) Versuch:
Daten: Importe nach Deutschland aus 54 Herkunftsländern im Jahr 2004 (in laufendenUS-Dollars)
Datenbeschreibung Einheit Abkürzung QuelleImporte von Deutschland laufende
US-Dollars
trade_0_d_o UN COMTRADE
Herkunftsland BIP-Daten laufendeUS-Dollars
wdi_gdpusdcr_o Weltbank - World Deve-lopment Indicators
(Siehe Appendix C für genaue Datenbeschreibungen. )
R-Code zur Erzeugung des Streudiagramms in Abbildung 6.1:
Der folgende R-Code sind ein Teil des R-Programms in Abschnitt A.4, Seite 330. Bemerkung:Die eingerückten Befehle sind nur nötig, wenn PDF-Datei erzeugt werden soll.################################################################################# Beginn Hauptprogramm################################################################################save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst
# Folgende Libraries werden im Verlauf geladen: car,lmtest
# Falls diese nicht installiert sind, werden diese zunächst installiert:if (!require(car)){
install.packages("car")}if (!require(lmtest)){
install.packages("lmtest")}
# Festlegung des Arbeitsverzeichnisses (working directory)# in welchem sich das R-Program und die Daten befindenWD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory
# Einlesen der Daten als data framedaten_all <-read.table("importe_ger_2004_ebrd.txt", header = TRUE)# Zuweisung der Variablennamen und# Eliminieren der Beobachtung Exportland: GER, Importland: GERattach(daten_all[-20,])
# Zum Ausprobieren, falls importe_ger_2004_ebrd.txt schon eingelesen worden iststats(trade_0_d_o)
############# Scatterplot mit (linearer) Regressionsgerade ###################### I.1 Ziel/Wissenschaftliche Fragestellung: erster empirischer Versuch
# Für Ausgabe im PDF Format Dateiname definierenif (save.pdf) pdf("plot_wdi_vs_trade.pdf", height=6, width=6)
# KQ-Schätzung eines einfachen linearen Regressionsmodells, abgespeichert in olsols <- lm(trade_0_d_o ~ wdi_gdpusdcr_o)
142
6.3. Empirische Analyse von Handelsströmen: Teil 1 — ein kurzer Überblick
# Scatterplot der beiden Variablenplot(wdi_gdpusdcr_o, trade_0_d_o, col = "blue", pch = 16)# Einzeichnen der linearen Regressionsgeraden mittels ablineabline(ols, col = "red")# Hinzufügen einer Legendelegend("bottomright", "Lineare Regression", col = "red", lty = 1, bty = "n")
Abbildung 6.1.: Scatterplot (Streudiagramm) zu Handelsstomdaten versus GDP
– Einige Fragen:
– Was sieht man?
– Gibt es einen Zusammenhang?
– Wenn ja, wie ist dieser zu quantifizieren?
– Existiert eine Kausalbeziehung - WelcheVariable bestimmt welche?
– Wie verändern sich die Importe aus denUSA, wenn sich das BIP der USA um1% verändert?
– Gibt es andere relevante Faktoren, diedie Importe bestimmen, z. B. die Entfer-nung?
– Ist es möglich, zukünftige Handelsströmezu prognostizieren?
– Wie legen wir die Gerade durch die Punk-tewolke?
– Welche Eigenschaften hat die so ange-passte Gerade?
– Was macht man mit den anderen relevan-
143
6. Der Kleinst-Quadrate-Schätzer: Ableitung und eine Anwendung
ten Faktoren, die in der aktuellen Analy-se vernachlässigt wurden?
– Welche Kriterien wählt man, um einenmöglichen Zusammenhang zu ermitteln?
– Ist der mögliche Zusammenhang tatsäch-lich linear?
– Und: wie sehr dürfen die Ergebnisse füreine andere Stichprobe abweichen, z. B.für 2003?
I.2 Ökonomisches Modell: Einfachste Form einer Gravitationsgleichung:
• Kurze Einführung zu Gravitationsgleichungen: z. B. in Fratianni (2007). Eine theoretischeFundierung der Gravitationsgleichung findet sich in Anderson & Wincoop (2003).
• Unter idealisierten Annahmen wie vollständige Spezialisierung der Produktion, identischenKonsumpräferenzen in den Ländern, keinen Transport- und Handelskosten, werden Handelss-tröme zwischen Länderpaaren in Abhängigkeit vom jeweiligen Einkommen der gepaartenLänder und ihrer Entfernung zueinander erklärt:
Mijt = A0Y–1
it Y –2jt d–3
ij (6.13)Mijt :Export von Land i nach Land j in Periode t
Yit :Realeinkommen in Land i in Periode t
dij :Entfernung zwischen Land i und Land j (verschiedene Maßemöglich)
• Aus der ökonomischen Theorie der Gravitationsgleichungen, siehe Fratianni (2007), ergebensich die Hypothesen,
– dass –1, –2 > 0, –3 < 0 und
– unter bestimmten Voraussetzungen die Hypothese, dass die BIP-Elastizitätengleich 1 sind
–1 = –2 = 1.
Diese Hypothesen lassen sich bei Vorliegen geeigneter Daten statistisch testen.
• Doppelindex ij kann in einen Index l umgewandelt werden.
• Vereinfachung: Betrachtung nur einer Zeitperiode und einer Richtung, nämlichder Importe von Deutschland im Jahr 2004. Eine so vereinfachte Gravitationsgleichunglautet
Importei = e—1Y —2i d—3
i . (6.14)
Durch Logarithmieren erhält man
ln(Importei) = —1 + —2 ln(Yi) + —3 ln(di). (6.15)
Interpretation der Parameter, vgl. (8.2):
144
6.3. Empirische Analyse von Handelsströmen: Teil 1 — ein kurzer Überblick
– —2: BIP-Elastizität der Importe.
– —3: Entfernungselastizität der Importe
Eine ökonomische Hypothese:
Die BIP-Elastizität der Importe ist 1: —2 = 1.
I.3 Datenverfügbarkeit
Für unser Beispiel sind alle verfügbaren Daten in Appendix C inklusive genauer Datenbe-schreibungen aufgelistet.
II. Ökonometrisches Modell:
1. Auswahl einer Klasse ökonometrischer Modelle
• Wahl der Klasse multipler linearer Regressionsmodelle: Es wird angenommen,dass das logarithmierte theoretische Modell (6.15) nach Erweiterung um länderspezifischeMerkmale und einen stochastischen Fehlerterm den systematischen Teil, vgl. Abschnitt5.3, korrekt spezifiziert. Zusammen mit dem unsystematischen Teil (Störterm) erhältman ein multiples lineares Regressionsmodell
ln(Mijt) = —1 + —2 ln Yit + —3 ln Yjt + —4 ln dij + Fijt—5 + uij, (6.16)Fij : spezifische Merkmale für Exporte von i nach j.
• Die Berücksichtigung verschiedener Perioden erfordert Paneldatenmodelle, siehe z. B.Davidson & MacKinnon (2004, Chapter 7.8).
• Die Beschränkung auf Importe (6.14) nach Deutschland und Querschnittsdaten ergibt
• Beachte: Da die Variablen in Fi noch nicht gewählt sind, sind viele Regressionsmodelle mitjeweils unterschiedlichen Variablen denkbar, die (6.17) erfüllen. Da zumindest alle Modellemultiple lineare Regressionsmodelle sind, spricht man von der Wahl einer Modellklassse.
2. Bescha�en von Daten: Erheben einer Stichprobe
• Welche Güter sollen in Importen enthalten sein?
• Wie Messung der Entfernung zwischen Ländern?
• Welche Variablen sollen in Fi enthalten sein? Mögliche (und verfügbare) Variablen:O�enheit, Bevölkerung, Fläche, Koloniale Vergangenheit.
• Wie Messung von O�enheit?, etc.
145
6. Der Kleinst-Quadrate-Schätzer: Ableitung und eine Anwendung
Für die folgenden Schätzungen ist eine Stichprobe mit einer großen Zahl alternativerVariablen verfügbar. Siehe Appendix C für genaue Datenbeschreibungen.
Wichtig: Auswahl und Messung der Variablen kann empirische Ergebnisse sub-stantiell beeinflussen.
3. Spezifizieren, Schätzen und Auswählen eines ökonometrischen Modells
• Zunächst vernachlässigen wir alle Variablen in Fi und lineares Regressionsmodell mitBIP und Entfernung als erklärenden Variablen:
(Das Modell 1 enthält nur das BIP als Regressor und wird im Abschnitt 10.3 betrachtet.)
• Schätzen von Modell 2 mit dem Kleinst-Quadrate-Schätzer (KQ-Schätzer):
R-Code (Ausschnitt aus dem R-Programm in Abschnitt A.4)# Die Nummerierung der Regressionsmodelle orientiert sich an# den Modellen im Skript, Abschnitt 10.3
# Ausführen einer linearen Regression und Speichern der Ergebnisse als Objektmod_2_kq <- lm(log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist))
# Anzeige der Regressionsergebnissesummary(mod_2_kq)
Residual standard error: 0.9284 on 46 degrees of freedom(1 observation deleted due to missingness)Multiple R-squared: 0.8838, Adjusted R-squared: 0.8787F-statistic: 174.9 on 2 and 46 DF, p-value: < 2.2e-16
4. Überprüfen des geschätzten Modells
Ist das Modell korrekt spezifiziert?
146
6.3. Empirische Analyse von Handelsströmen: Teil 1 — ein kurzer Überblick
a) Fehlen Variablen?
b) Ist der Zusammenhang tatsächlich linear in den Logarithmen?
c) Sind die Voraussetzungen zur Anwendung des KQ-Schätzers erfüllt? Ist der KQ-Schätzerzum Schätzen von (6.18) überhaupt geeignet?
Zu a): Allererster Check: Verändern sich die Parameterschätzungen, wenn weitere Variablenim Regressionsmodell berücksichtigt werden, z. B. O�enheit
R-Code (Ausschnitt aus dem R-Programm in Abschnitt A.4)# Verwenden des formula-Befehlsmod_3a_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist) +
ebrd_tfes_omod_3a_kq <- lm(mod_3a_formula)# Anzeige der Regressionsergebnisse des zweiten linearen Regressionsmodellssummary(mod_3a_kq)
Residual standard error: 0.8731 on 45 degrees of freedom(1 observation deleted due to missingness)Multiple R-squared: 0.8995, Adjusted R-squared: 0.8928F-statistic: 134.2 on 3 and 45 DF, p-value: < 2.2e-16
Ist der Unterschied in den Schätzungen zwischen beiden Modellspezifikationen relevant?Zum Überprüfen kann ein t-Test verwendet werden, siehe Kapitel 11.
Statt der Variablen O�enheit oder auch als zusätzliche Variable könnte die Variable Flächeverwendet werden. Die Auswahl eines Modells kann mit Modellselektionsverfahren erfolgen,siehe Abschnitt 10.1.
147
6. Der Kleinst-Quadrate-Schätzer: Ableitung und eine Anwendung
Zu b) und c): Testverfahren zur Modelldiagnose werden in Kapitel 15 besprochen.
5. Verwenden des überprüften Modells
Ergibt die Modellüberprüfung keine Probleme mehr, dann können wir das Modell verwenden:
• Interpretation der Parameter des Modells. Siehe Abschnitte 8.1 und 8.4 zur Interpretationder Parameter in unterschiedlich spezifizierten Modellen.
• Durchführen von Hypothesentests:
– Gibt es einen kausalen Zusammenhang zwischen Importen und Wirtschaftsleistungdes Exportlandes? Voraussetzung ist, dass —2 ”= 0.
– Überprüfen der bereits gestellten Hypothese: Ist die BIP-Elastizität der Importe Eins?
– Entsprechende Tests werden im Kapitel zur Asymptotik und zum Testen in Teil 3 inAbschnitt 11.7 durchgeführt.
• Prognosen
Systematische Fortsetzung der Empirische Analyse von Handelsströmen: Teil 1 imKapitel zur Modellspezifikation mit Teil 2 in Abschnitt 10.3.
148
7. Der Kleinst-Quadrate-Schätzer und dessen geometrischeInterpretation
Multiples lineares Regressionsmodell in der Matrixdarstellung für die gesamte Stichprobe
y = X— + u. (6.1)
KQ-Schätzer
— =1XT X
2≠1XT y. (6.5)
Sehr hilfreich für das Verständnis des KQ-Schätzers ist die Geometrie des KQ-Schätzers zubetrachten. Dies erfolgt in zwei Schritten:
1. Interpretation der Normalgleichungen (6.12) als Orthogonalitätsbedingungen =∆ Abschnitt7.1.1.
2. Interpretation der so genannten Projektionsmatrizen PX und MX =∆ Abschnitt 7.1.2
Die Projektionsmatrizen PX und MX ergeben sich bei der Prognose der abhängigenVariable y und bei der Berechnung der KQ-Residuen:
y = X— = X (XT X)≠1XT y¸ ˚˙ ˝
—
:= PXy, (7.1)
u = y ≠ y= y ≠ X(XT X)≠1XT y = (In ≠ X(XT X)≠1XT )y := MXy. (7.2)
Definition der Projektionsmatrizen:
PX := X1XT X
2≠1XT , (7.3)
MX := I ≠ PX. (7.4)
Anwendungsbeispiele der Projektionsmatrizen PX und MX in diesem Kapitel:
• Zerlegung (7.15) der Total Sum of Squares: yT y = yT y + uT u
• Skalierung von Xt für gefittete Werte unerheblich.
• Frisch-Waugh-Lovell-Theorem und partialling-out
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
• Bestimmtheitsmaße
• Analyse des Einflusses von möglichen Ausreißern auf den KQ-Schätzer (6.5)
— = (XT X)≠1XT y
Anwendungen der Projektionsmatrizen in folgenden Kapiteln:
• Berechnung der Varianz eines Schätzers eines einzelnen Parameters —j (9.10) in Abschnitt9.3
• ‰2-Verteilung in Abschnitt 2.9.2.
• Ableitung der Verteilung der t-Statistik (11.14) in Abschnitt 11.3.1
• Ableitung der Verteilung der F -Statistik (11.28) in Abschnitt 11.3.2
• Ableitung Fixed-E�ects-Schätzer für Paneldaten
7.1. Die Geometrie des KQ-Schätzers
Zur Erinnerung: Vektordarstellung des multiplen linearen Regressionsmodells:
• Das Regressionsmodell (6.1) entspricht einer Vektoraddition
y = x1—1 + x2—2 + · · · + xk—k + u (6.2)
• Entsprechend gilt für das Regressionsmodell der Stichprobe
Beachte: Im Gegensatz hierzu gilt für die Störterme u allgemein (vgl. (1.2))
xTi u = ||xi|| ||u|| cos(◊), i = 1, 2, . . . , k,
wobei || · || die Länge (Euklidische Norm) eines Vektors und ◊ den Winkel zwischen den beidenVektoren xi und u misst. Letzterer ist im Allgemeinen nicht 90 Grad, so dass das Produkt imAllgemeinen nicht Null ist.
Welche Größen liegen in welchen Räumen?
• Jede Linearkombination der Regressoren Xd mit einem (k ◊ 1)-Vektor d liegt imUnterraum der Regressoren ”(X), also auch der Vektor der Prognosewerte X—bei bekanntem — und der Vektor der geschätzten Prognosewerte X—.
– Zur Erinnerung:Jede Linearkombination der Spalten einer Matrix X liegt im Unterraum ”(X), der vonden Spalten der Matrix X aufgespannt wird, vgl. (1.6).
– Dies gilt auch für die Regressormatrix X, so dass
X— =kÿ
i=1xi—i œ ”(X) µ En
für beliebige — im Unterraum der Regressoren ”(X) enthalten ist.
– Dies gilt auch für die Prognosewerte (fitted values) y
y = X— œ ”(X).
• Der Vektor der KQ-Residuen u liegt aufgrund (7.6a) im orthogonalen Komplementzum Unterraum der Regressoren ”‹(X), vgl. (1.7),
u œ ”‹(X) µ En.
Die Gleichungen (7.6a) bzw. (7.6b) werden deshalb als Orthogonalitätsbedingungenbezeichnet.
151
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
– Der KQ-Residuenvektor u steht senkrecht auf den erklärten/ prognostizierten Wer-ten X— œ ”(X). (xT
i u = 0 impliziert, dass in (1.2) cos(◊) = 0).
– u entspricht dem Lot von y auf X—, das durch Minimierung der Euklidischen Norm vonu(—) = y ≠ X— bezüglich — bestimmt ist:
min—
||u(—)||.
Der KQ-Schätzer minimiert also die Euklidische Norm des Residuenvektors!
– Beachte: Die Minimierung einer anderen Norm (was eine andere Verlustfunktion impli-zieren würde) würde zu einem anderen Schätzer führen und der Residuenvektor nichtmehr senkrecht auf X stehen!
steht. Alle n Einheitsbasisvektoren et, t = 1, . . . , n bilden eine Basis für En, wobei jederBasisvektor Norm ||et|| = 1 hat.
• Zusätzliche Eigenschaft, falls Konstante im Modell:Die Regressionsgerade, bzw. im Fall von k > 2 Regressoren die Regressionshyperebene,verläuft durch den Schwerpunkt, d. h. durch y und die Mittelwerte der Regressoren xi,i = 1, . . . , k
y = —1 + —2x2 + · · · + —kxk. (7.7)
Enthält die Regression eine Konstante, entspricht x1 einem Vektor ÿ mit Einsen
ÿ :=
Q
cccca
11...1
R
ddddb. (7.8)
Beweis: Ersetzen von x1 in (7.6b) durch ÿ liefert
ÿT u = 0 bzw. ÿT u =nÿ
t=1ut = 0, (7.9)
d. h. die Abweichungen von der Regressionsgerade heben sich im Mittel auf.
3 des KQ-Schätzers,n = 3 (R-Programm (erlaubt Drehen und Kippen der Graphik) und Berechnungshinweisesiehe Abschnitt A.5, Seite 339
7.1.2. Orthogonale Projektionen und ihre Eigenschaften
Projektion in der Alltagssprache:
• Durch Lichteinwirkung wird von einem dreidimensionalen Gegenstand ein zweidimensionalesBild auf einer Wand erzeugt: Der dreidimensionale Gegenstand wird auf eine Fläche, alsoeinem zweidimensionalen Gegenstand projiziert.
• Bei der Projektion aus dem dreidimensionalen Raum in den zweidimensionalen ’Raum’ gehtInformation verloren.
• Je nach Standpunkt der Lichtquelle verändert sich die Projektion auf der Wand.
Definitionen
153
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
1.0 1.5 2.0 2.5 3.0 3.5 4.0
12
34
56
7
x2
y
u2
u2
(x22, y2)
Abbildung 7.2.: Scatterplot ((xt2, yt) in Rot, (xt2, Xt—) in Schwarz, (xt2, yt) in Blau) (R-Programm sieheAbschnitt A.5, Seite 339)
• Eine Projektion ist ein Mapping von einem n-dimensionalen Raum in einen k-dimensionalenUnterraum, k < n. Innerhalb des Unterraums ist die Projektion invariant, da die Punktesich durch das Mapping innerhalb des Unterraumes nicht verändern. (Vgl. Eigenschaft derIdempotenz bei Projektionsmatrizen.)
• Eine orthogonale Projektion ist ein Mapping, bei dem die Abstände zwischen denPunkten in En und den Projektionen im Unterraum minimiert werden. Also: Die Vektoren,die die Punkte in En und dem orthogonalen Unterraum verbinden, stehen senkrecht aufdem Unterraum.
Projektion in der Ökonometrie: Die n Stichprobenbeobachtungen y legen einen Punkt ineinem n-dimensionalen Euklidischen Raum fest. Ein Euklidischer Unterraum wird durch diek Æ n Regressorvariablen festgelegt. Die Prognosewerte y = X— liegen in dem genanntenUnterraum, da, wie im folgenden gezeigt wird, der KQ-Schätzer eine Projektion von y indiesen Unterraum darstellt. Siehe hierzu Abschnitt 7.1.
154
7.1. Die Geometrie des KQ-Schätzers
Wiederholung: Die Projektionsmatrizen für die KQ-Schätzer lauten
PX := X1XT X
2≠1XT , (7.3)
MX := I ≠ PX (7.4)
Die Projektionen in einen k-dimensionalen Unterraum erfordern, dass alle Regressoren linearunabhängig sind, also die Dimension von ”(X) gerade k ist. Dies begründet Annahme (B3)in Abs. 9.1.1).
KQ-Projektionen:Der KQ-Schätzer umfasst zwei Projektionen:
• Der KQ-Schätzer der gefitteten Werte y
y = PXy (7.1)entspricht einer Projektion von y œ En auf y œ ”(X),
also vom n-dimensionalen Raum in den k-dimensionalen Unterraum ”(X), der von denRegressoren X aufgespannt wird.
• Der KQ-Schätzer der Residuen u
u = MXy (7.2)entspricht einer Projektion von y œ En auf u œ ”‹(X),
also vom n-dimensionalen Raum in das orthogonale Komplement zu dem Unterraum, dervon den Regressoren aufgespannt wird. Die Dimension des Unterraums ”‹(X) ist geraden ≠ k.
Eigenschaften der KQ-Projektionen und der dazugehörigen ProjektionsmatrizenPX und MX, (vgl. Abschnitt 1.6):
• Die Projektionsmatrizen PX und MX sind idempotent:
• Die Projektionsmatrizen PX und MX sind symmetrisch, d. h. PTX = PX und MT
X = MX.
• PXMX = 0.
Geometrische Interpretation: die erste Projektion (d. h. einmalige Vormultiplikation mitPX bzw. MX) liefert einen Vektor im invarianten Unterraum, den eine weitere Projektionnicht mehr verändern kann.
155
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
• PX und MX implizieren komplementäre Projektionen.
Denn wegen MX = I ≠ PX ergibt ihre Summe den Ausgangsvektor:PXy + MXy = y. (7.10)
• Die KQ-Methode entspricht orthogonalen Projektionen.
Beweis: Für zwei komplementäre Projektionen giltPXMX = PX (I ≠ PX) = PX ≠ PX = O. (7.11)
Für beliebige Vektoren in den beiden Unterräumen z œ ”(X) und w œ ”‹(X)gilt, dass z = PXz und w = MXw. Da PX symmetrisch ist, stehen z und worthogonal zueinander, da
zT w = zT PTXMXw = 0 bzw. < z, w > = < PXz, MXw > = 0.
⇤
Allgemein gilt: Falls zwei Projektionen komplementär und die entsprechenden Projekti-onsmatrizen symmetrisch sind, so definieren sie eine orthogonale Zerlegung.
Geometrische Interpretation: PX und MX definieren eine orthogonale Zerlegungvon En, also liegen die beiden Vektoren PXy und MXy in zwei orthogonalen Unterräumen.
Möchte man einen Vektor in ”(X) auf ”‹(X) projizieren, so muss das Lot in den Unterraum”‹(X) gebildet werden. Das führt genau auf den Ursprung. Die beiden Projektionen löschensich also gegenseitig aus. MX eliminiert alle Vektoren in ”(X) auf den Ursprung undentsprechend eliminiert PX alle Vektoren in ”‹(X).
Konsequenzen (der Orthogonalität) der KQ-Projektionen
• Notation:
Total Sum of Squares
TSS := ||y||2 ”=nÿ
t=1(yt ≠ y)2 := SST, (7.12)
Explained Sum of Squares
ESS := ||y||2= ||PXy||2 ”=nÿ
t=1(yt ≠ y)2 := SSE, (7.13)
Sum of Squared Residuals
SSR := ||u||2= ||MXy||2. (7.14)SST, SSE wurden in Wooldridge (2009, Section 2.3) oder Kursmaterial zu IntensivkursÖkonometrie, Ökonometrie I definiert.
PX,W projiziert in den invarianten Unterraum ”(X, W).
156
7.1. Die Geometrie des KQ-Schätzers
• Zerlegung der Total Sum of Squares (TSS)
||y||2 = ||X—||2 + ||u||2 (7.15)TSS = ESS + SSR
Der Zerlegung der TSS (7.15) entspricht dem Satz von Pythagoras.
Beweis:
||y||2 = ||PXy + MXy||2 = < y, y > (7.16)= < PXy + MXy, PXy + MXy >
= yT PTXPXy + yT PT
XMXy + yT MTXPXy
+ yT MTXMXy.
Man erhält||y||2 = yT PXy + yT MXy
= ||PXy||2 + ||MXy||2,
und damit (7.15). ⇤
Aber:
||PXy||2 Æ ||y||2 sowie||y||2 Æ ||X—||2 + ||u||2.
• Gefittete Werte und Residuen sind unabhängig von Skalierung der Regressorenund unabhängigen Linearkombinationen der Regressoren mittels einer nicht singulären(k ◊ k)-Matrix A, denn ”(X) = ”(XA), da
Zu Lesen: Davidson & MacKinnon (2004, Section 2.3)
157
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
7.1.3. Partitionierte Regression und Frisch-Waugh-Lovell Theorem
• Ausgangspunkt ist wieder das multiple lineare Regressionsmodell (6.1)
y = X— + u.
• Ist man insbesondere an —k interessiert, lässt sich (6.1) wie folgt schreiben:
y = X1—1 + xk—k + u =1X1 xk
2 A—1—k
B
+ u, (7.17)
wobei
– X1 eine (n ◊ (k ≠ 1))-Matrix und xk ein (n ◊ 1)-Vektor ist,
– —1 ein ((k ≠ 1) ◊ 1)-Vektor und —k ein Skalar ist.
In Abschnitt 9.6 wird gezeigt, dass der KQ-Schätzer von —k mittels
y = xk—k + Á, Á = X1—1 + u
verzerrt ist, außer die empirische Korrelation zwischen xk und allen anderen Regressorenx1, . . . , xk≠1 ist Null oder — = 0, vgl. (9.27). Die empirische Korrelation ist Null, wenn inder Regression
xk = X1” + ÷
gilt:
” =1XT
1 X12≠1
XT1 xk = 0 … XT
1 xk = 0… xT
1 xk = xT2 xk = · · · = xT
k≠1xk = 0. (7.18)
Geometrische Interpretation von (7.18): xk steht orthogonal auf x1, . . . , xk≠1.
• Was tun, wenn (7.18) nicht gilt? Orthogonalisieren!Gleich Betrachtung des allgemeinen Falls: Das Regressionsmodell lautet dann
y = X1—1 + X2—2 + u (7.19)
mit Partitionierung der Regressormatrix
X =1X1 X2
2
in die (n ◊ k1)-Matrix X1 und die (n ◊ k2)-Matrix X2 (k = k1 + k2).
• Wie Orthogonalisieren? Verwendung von orthogonalen Projektionen.Orthogonalisieren durch
Z = MX1X2.
Test mit MX1 := M1:
XT1 Z = XT
1 (M1X2) = XT1 (I ≠ P1)X2 = XT
1 X2 ≠ XT1 X2 = 0.
158
7.1. Die Geometrie des KQ-Schätzers
• Zur Schätzung von —2 kann man also folgende Regressionen durchführen:
– eine KQ-Regression für y = X1—1 + X2—2 + u oder
– eine KQ-Regression für y = M1X2—2 + v.
Mögliches Problem: Die Residuenvektoren sind nicht gleich (verifizieren!).Ausweg: Multiplikation aller Variablen mit M1. Man erhält
1. Die KQ-Schätzer für —2 für die Regressionsmodelle
y = X1—1 + X2—2 + u (7.19)
und
M1y = M1X2—2 + Á (7.21)
sind numerisch identisch.
2. Die KQ-Residuen der Regressionen für (7.19) und (7.21) sind numerisch identisch.
Regeln zum Rechnen mit Projektionsmatrizen bei partitionierten Regressionen (7.19):
PXP1 = P1PX = P1 (7.22)MXM1 = M1MX = MX (7.23)
Die Multiplikation von zwei unterschiedlichen Projektionsmatrizen, wobei der Unterraum dereinen Projektionsmatrix im Unterraum der anderen Projektionsmatrix enthalten ist, entsprichtder Projektionsmatrix, die in den kleineren Unterraum projiziert.
Beweis des FWL-Theorems: Vgl. Davidson & MacKinnon (2004, Section 2.5,p. 68-69). Aussage 1.: Der KQ-Schätzer für (7.21) lautet
—2 =1XT
2 M1X22≠1
XT2 M1y. (7.24)
Einsetzen der KQ-Schätzer für die vollständige Regression (7.19) ergibt
y = X1—1 + X2—2 + u (7.25)
Multiplikation von links mit XT2 M1 liefert
XT2 M1y = XT
2 M1X2—2, (7.26)
159
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
da XT2 M1X1 = 0 und XT
2 M1u = XT2 M1MXy = XT
2 MX¸ ˚˙ ˝=0
y = 0. Auflösen von
(7.26) liefert gerade (7.24).
Aussage 2.: Multiplikation von (7.25) mit M1 liefert
M1y = M1X2—2 + M1u¸ ˚˙ ˝=M1MXy
= M1X2—2 + MXy¸ ˚˙ ˝u
= M1X2—2 + u.
Damit entsprechen die KQ-Residuen Á für (7.21) gerade den KQ-Residuen u fürdie volle Regression (7.19). ⇤
Interpretation des Frisch-Waugh-Lovell Theorems: Der KQ-Schätzer für —2 kann auchsequentiell durch verschiedene KQ-Regressionen mit weniger Variablen ausgeführt werden. DieRegression
M1y = M1X2—2 + Á (7.21)
entspricht dabei einer Regression von Residuen auf Residuen folgender KQ-Schätzungen:
• M1y entspricht gerade den Residuen einer Regression von y auf X1.
• X2 enthält gerade die Regressoren xk1+1, . . . , xk1+k2 . Damit entspricht für jedes j = k1 +1, . . . , k1 + k2 der Vektor M1xj gerade den Residuen einer Regression von xj auf X1.
Durch Vormultiplizieren von M1 in (7.21) werden von der jeweiligen Variable Residuen erzeugt,die senkrecht auf dem Unterraum stehen, der von den Regressoren in X1 aufgespannt wird, sodass für die KQ-Schätzung von (7.21) die Einflüsse der Regressoren in X1 keine Rolle spielen,da sie jeweils orthogonal zu den Variablen in (7.21) sind.
Zu Lesen: Davidson & MacKinnon (2004, Section 2.4)
7.2. Anwendungen des Frisch-Waugh-Lovell Theorems
1. Bereinigung von nicht interessierenden Regressoren
Beispiele:
• Konstante: Sei o.B.d.A. x1 = ÿ = (1, 1, ..., 1)T und damit Mÿ := In ≠ 1nÿÿT .
Mÿ heißt zentrierende Matrix, da
Mÿ = In≠ 1n
ÿÿT =
Q
cccca
1 0 · · · 00 1... . . .0 1
R
ddddb≠ 1
n
Q
cccca
1 1 · · · 11 1... . . .1 1
R
ddddb=
S
WWWWU
1 ≠ 1n
≠ 1n
1 ≠ 1n . . .
≠ 1n
1 ≠ 1n
T
XXXXV.
Vormultiplikation eines Vektors mit Mÿ berechnet die Abweichungen vomMittelwert des Vektors. MÿX liefert zentrierte Regressoren. Der Vektor
160
7.2. Anwendungen des Frisch-Waugh-Lovell Theorems
der Steigungsparameter —2 lässt sich mit dem Frisch-Waugh-Lovell-Theoremschätzen:
Mÿy = MÿX2—2 + Mÿu,
—2 =1XT
2 MÿX22≠1
XT2 Mÿy.
Interpretation: Die Punktewolke in einem Scatterdiagramm wird durchZentrierung von x bzw. y verschoben, die Steigung der Regressionsgeradeändert sich nicht.
• ˘ Saisondummies: Bei Zeitreihen können regelmäßig wiederkehrende Schwan-kungen häufig durch Saisondummies modelliert werden. Fasst man Saisondum-mies und Konstante, sofern vorhanden, in der Matrix S zusammen und istman lediglich am Parametervektor — interessiert, kann man
y = S– + X— + u oderMSy = MSX— + MSu
schätzen, wobei MS = I ≠ S(ST S)≠1ST . Bei Quartalsdaten, die mit dem erstenQuartal eines Jahres beginnen und mit dem letzten Quartal eines Jahresaufhören, kann man S folgendermaßen wählen:
2. ˘ Darstellung des unzentrierten Bestimmtheitsmaßes
• Beachte Definitionen von SSE, SST, TSS, ESS in (7.12) und (7.13), SSR in (7.14)sowie
||y||2 = ||y||2 + ||u||2 (7.15)
• Unzentriertes R2:
R2u := ESS
TSS= ||y||2
||y||2 = ||PXy||2
||y||2 = cos2 ◊ ∆ 0 Æ R2u Æ 1. (7.27)
Beweisskizze: Das letzte Gleichheitszeichen in (7.27) folgt aus der Definitiondes Kosinus: cos ◊ = Ankathete/Hypotenuse = ||PXy||/||y||. ⇤
161
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
Aus (7.15) folgt auch
R2u = 1 ≠ SSR
TSS= 1 ≠ ||u||2
||y||2 = 1 ≠ ||MXy||2
||y||2 . (7.28)
Nachteil von R2u: Ist eine Konstante im Regressionsmodell, x1 = ÿ, und sind die Daten
nicht zentriert, hängt R2u von der Größe der Konstante ab (Davidson & MacKinnon
2004, Section 2.5), da bei einer Erhöhung von —1 der Nenner sich verändert, während derZähler konstant bleibt.
3. Darstellung des (zentrierten) Bestimmtheitsmaßes (Coe�cient of Determina-tion)
(Zentriertes) Bestimmtheitsmaß R2: Wird vom Bestimmtheitsmaß gesprochen, wirddarunter im Allgemeinen das zentrierte R2 verstanden. In der Literatur gebräuchlicheDefinitionen:
• Alle Definitionen sind identisch, falls Konstante im Modell.
• Warnung: Wenn keine Konstante im Modell enthalten, garantieren nicht alle Defini-tionen, dass R2 œ [0, 1], siehe folgende Tabelle. Software liefert je nach verwendeterDefinition unterschiedliche Ergebnisse.
• Eigenschaften verschiedener Definitionen bei KQ:
162
7.2. Anwendungen des Frisch-Waugh-Lovell Theorems
Definition verwendet z. B. von Wertebereichohne Konstante in X
Beweisskizze: Anwenden der Regeln zum Rechnen mit Projektionsmatri-zen (7.22) und (7.23) für x1 = ÿ. (7.34c) gilt da yT Mıu = yT MÿMXu =yT PT
XMXu = 0. ⇤
Allgemeine Anmerkungen
• Alle Definitionen von R2 (alle außer (7.33)) , die auf dem Satz von Pythagoras basieren,sind nur bei Verwendung des KQ-Schätzers aussagekräftig. Ansonsten können Wertekleiner Null oder größer Eins auftreten.
• Da für (7.33) 0 Æ [Corr (y, y)2 Æ 1 gilt, aber der Satz des Pythagoras nicht verwendet wur-de, kann das Quadrat des empirischen Korrelationskoe�zienten als Goodness-of-Fit-Maß immer verwendet werden. Es wird dann häufig als Pseudo-R2 bezeichnet.
Zu Lesen: Davidson & MacKinnon (2004, Section 2.5)
4. ˘ Leverage-E�ekt
• PX wird manchmal als Hat-Matrix (hat matrix) und ihr t-tes Diagonalelementdeswegen als ht bezeichnet. Letzteres entspricht
7. Der Kleinst-Quadrate-Schätzer und dessen geometrische Interpretation
• Um den E�ekt einer möglicherweise einflussreichen Stichprobenbeobachtung (yt, Xt)abzuschätzen, werden die KQ-Schätzer für die komplette Stichprobe mit dem KQ-Schätzer für die Stichprobe ohne Beobachtung t verglichen. Letztere erhält man durchAufnahme einer Impulsdummy et in (6.1)
y = X— + et– + u, (7.37)
da Mety = MetX— + Residuen (Frisch-Waugh-Lovell Theorem) gilt und wegen Met =I ≠ eteT
t die t-te Beobachtung wegfällt.
• Wird der KQ-Schätzer für — auf Basis von (7.37) (ohne die t-te Beobachtung) mit —(t)
bezeichnet, lässt sich die Di�erenz der KQ-Schätzer angeben als
— ≠ —(t) = –
1XT X
2≠1XT PXet = 1
1 ≠ ht
1XT X
2≠1XT
t ut. (7.38)
Die t-te Beobachtung ist möglicherweise einflussreich (influential) und damit einLeverage-Punkt, falls
– ht groß (nahe 1) ist (bezieht sich auf x-Koordinaten),
– ut groß ist (bezieht sich auf y-Koordinate).
Beweis: Nachweis von (7.38) über mehrmalige Anwendungen der Eigenschaf-ten von Projektionsmatrizen etc. (Details in Davidson & MacKinnon (2004,Section 2.6)):
y = PX,ety + MX,ety,
y = X—(t) + –et + MX,ety,
PXy = X—(t) + –PXet + 0
X3
— ≠ —(t)
4= –PXet,
— ≠ —(t) = –
1XT X
2≠1XT PXet¸ ˚˙ ˝
XTt
= 11 ≠ ht
1XT X
2≠1XT
t ut,
wobei mit dem FWL-Theorem – = eTt MXy
eTt MXet
= ut
1≠ht. ⇤
•
R-Befehle
In R erhält man die ht’s und — ≠ —(t), t = 1, . . . , n gegeben durch (7.35) und (7.38)
mit influence(...).
Zu lesen: Davidson & MacKinnon (2004, Section 2.6)
Noch mehr zur Geometrie des KQ-Schätzers findet sich z. B. in Ruud (2000).
164
8. Multiple Regression: Interpretation
8.1. Parameterinterpretation, funktionale Form undDatentransformation
• Die Bezeichnung linear im linearen Regressionsmodell bedeutet nicht, dass eine lineareBeziehung zwischen den Variablen vorliegen muss, sondern dass die Parameter linear in dasModell eingehen.
• Beispiele für Modelle, die linear in den Parametern sind:yt = —1 + —2xt2 + —3xt3 + ut,
yt = —1 + —2 ln xt2 + ut,
ln yt = —1 + —2 ln xt2 + —3x2t3 + ut,
ln yt = —1 + —2xt + ut,
yt = —1 + —2x2t + ut.
• Beispiele für Modelle, die nichtlinear in den Parametern sind:yt = —1 + —2x
“t2 + ut mit Parametern —1, —2, “,
y“t = —1 + —2 ln xt2 + ut mit Parametern “, —1, —2,
• Das letzte Beispiel ermöglicht das sanfte Umschalten zwischen zwei linearen Systemen/Regi-men. Es sind natürlich nahezu unendlich viele beliebige Formen von Nichtlinearität denkbar.Die Schätzung erfordert z. B. den nichtlinearen KQ-Schätzer, der in dem MA-KursFortgeschrittene Ökonometrie behandelt wird.
Mit linearen Regressionsmodellen können jedoch nichtlineare Zusammenhänge zwischenabhängiger und unabhängiger Variable gut approximiert werden, wenn erstere durch Varia-blentransformation und/oder Berücksichtigung von Termen mit Potenzen höherer Ordnungeine gute (Taylor)approximation des nichtlinearen Zusammenhangs liefern.
mit folgender Notation der partiellen Ableitungen:
gx(x0, z0) = ˆg(x, z)ˆx
-----x=x0,z=z0
,
gxz(x0, z0) = ˆ2g(x, z)ˆxˆz
-----x=x0,z=z0
.
• Der natürliche Logarithmus in der Ökonometrie
Die wohl in der empirischen Ökonomie am weitesten verbreitete Transformation ist der natür-liche Logarithmus, kurz ln. Die Interpretation des Steigungsparameters muss entsprechendangepasst werden.
Taylor-Approximation der logarithmischen Funktion: ln(1 + z) ¥ z, falls z nahe 0.
Daraus lässt sich eine für die Berechnung von Wachstumsraten oder Renditen wichtigeApproximation ableiten:
(�xt)/xt≠1 := (xt ≠ xt≠1)/xt≠1
¥ ln (1 + (xt ≠ xt≠1)/xt≠1) ,
(�xt)/xt≠1 ¥ ln(xt) ≠ ln(xt≠1).
Für relative Veränderungen �xt/xt≠1 nahe Null ist dies eine gute Näherung. Prozentwerteerhält man durch Multiplikation mit 100:
100� ln(xt) ¥ %�xt = 100(xt ≠ xt≠1)/xt≠1.
Für kleine �xt/xt≠1 können demnach prozentuale Veränderungen gut über 100[ln(xt) ≠ln(xt≠1)] approximiert werden.
Ökonomische Interpretation der KQ-Parameter
• Betrachten Sie das Verhältnis der relativen Veränderungen zweier nicht-stochastischerVariablen y und x
�yy
�xx
= %-Veränderung von y
%-Veränderung von x= %�y
%�x.
Wenn �y æ 0 und �x æ 0, dann gilt �y�x
æ dydx
.
• Dieses Ergebnis auf das obige Verhältnis angewendet, ergibt die Elastizität
÷(x) = dy
dx
x
y. (8.2)
166
8.1. Parameterinterpretation und funktionale Form
• Interpretation: Wenn die relative Veränderung von x 0,01 beträgt, dann ist die relativeVeränderung von y genau 0, 01÷(x).
Bzw.: Wenn x sich um 1% ändert, dann ändert sich y um ÷(x)%.
• Falls y, x Zufallsvariablen sind, wird die Elastizität auf Basis des bedingten Erwartungs-wertes von y gegeben x definiert:
÷(x) = dE[y|x]dx
x
E[y|x] .
Dies lässt sich ableiten, indem manE[y|x1=x0+�x]≠E[y|x0]
E[y|x0]�xx0
=
E[y|x1 = x0 + �x] ≠ E[y|x0]�x
x0
E[y|x0]betrachtet und dann �x gegen 0 gehen lässt.
Für jedes Modell wird im Folgenden angenommen, dass es korrekt spezifiziert ist und derbedingte Erwartungswert der Fehler gegeben die Regressoren Null ist.
• In Folgenden erscheint der Index t nicht, da das Modell der Grundgesamtheit betrachtetwird.
• Modelle, die linear in den Variablen sind (level-level oder Niveau)
und somit näherungsweise�E[y|x1, . . . , xk] = —j�xj.
In Worten: Der Steigungsparameter gibt die absolute Veränderung des bedingten Erwar-tungswertes der abhängigen Variable y an, wenn sich die unabhängige Variable ceterisparibus xj um eine Einheit ändert.
In Worten: Der bedingte Erwartungswert von y verändert sich um 100 —j%, wenn sich xj
um eine Einheit verändert.
• Log-log Modelle werden oft als loglineare oder constant-elasticity Modelle bezeichnetund sind in der empirischen Praxis sehr populär
ln y = —1 ln x1 + . . . + —2 ln xk + u.
Ähnlich wie oben lässt sich zeigen, dass gilt:ˆE[y|x1, . . . , xk]
ˆxj
= —jE[y|x1, . . . , xk]
xj
, und somit —j = ÷(x1, . . . , xk),
falls E[eu|x1, . . . , xk] konstant ist.
In diesem Modell entspricht der Steigungsparameter des log-log-Modells gerade der Elastizi-tät für die ursprünglichen Niveauvariablen E[y|x1, . . . , xk] und xj. In Worten: Der bedingteErwartungswert von y verändert sich um —j%, wenn sich xj um 1% verändert.
168
8.1. Parameterinterpretation und funktionale Form
• Die Transformationen von Regressoren können für verschiedene Regressoren unterschiedlichsein.
Beispiel: y = —1 + —2 ln xt2 + —3x2t3 + u
Handelsströme: (Fortsetzung der empirischen Analyse von Abschnitt 6.3)
Residual standard error: 2.505 on 47 degrees of freedom(1 observation deleted due to missingness)
Multiple R-squared: 0.1359, Adjusted R-squared: 0.1175F-statistic: 7.392 on 1 and 47 DF, p-value: 0.009148
Interpretation: Eine Erhöhung des BIP im Exportland um 1 Mrd. US-Dollar(= 109 US-Dollar) führt zu einem durchschnittlichen Anstieg der Importe in Höhevon 100 —2 109% = 5.466·10≠13·1011% = 0.055%. Entsprechend führt ein Anstieg um100 Mrd., der ungefähr einem 1%-Anstieg entspricht, um einen durchschnittlichenAnstieg um 5.5%.
R-Output für log-log ModellCall:lm(formula = log(trade_0_d_o) ~ log(wdi_gdpusdcr_o))
– Variablentransformation: Xú = XA, wobei A quadratisch und bei Variablenskalierungdiagonal ist. A muss invertierbar sein, vgl. Abschnitt 7.1.2. Neue Regressionsgleichung:
y = XAA≠1— + u = Xú—ú + u. (8.4)
170
8.3. Qualitative Daten als Regressoren
– KQ-Schätzer für —ú aus (8.4):
—ú =1XúT Xú
2≠1XúT y =
1AT XT XA
2≠1AT XT y
= A≠1 (XÕX)≠1 XÕy = A≠1—.
– Ergebnis: Die bloße Größe von —j zeigt nicht an wie relevant der Einfluss des jtenRegressors ist. Man muss immer auch die Skalierung der Variable berücksichtigen.
Beispiel: In (8.1) wurde ein einfaches log-level-Modell für den Einfluss desBIPs auf die Importe geschätzt. Die Parameterschätzung —BIP = 5.466 · 10≠13
scheint ziemlich klein zu sein. Wenn man jedoch berücksichtigt, dass das BIPin Dollar gemessen wird, ist dieser Parameterwert keineswegs klein. Wenn wirdas BIP in Milliarden Dollar reskalieren (mittels A =
11 00 10≠9
2) erhalten wir
—úBIP = 5.466 · 10≠4.
• Skalierung von Variablen in logarithmischer Form verändert lediglich die Konstante—1, da ln yú = ln ay = ln a + ln y.
Der Koe�zient ” einer Dummyvariablen gibt somit an, um wie viel sich der Achsenabschnittverschiebt, wenn D = 1 statt D = 0 vorliegt. Alle Steigungsparameter —i bleiben unverändert,wobei i = 1, . . . , k ≠ 1 (ohne Konstante ) bzw. i = 2, . . . , k ≠ 1 (mit Konstante).
Beachte: Um den Koe�zienten einer Dummyvariablen interpretieren zu können, muss mandie Referenzgruppe kennen. Die Referenzgruppe ist diejenige Gruppe für die der Dummyden Wert Null annimmt.
171
8. Multiple Regression: Interpretation
Beispiel: Lohnregression:
– Ausgangsfrage: Ist das Einkommen von Frauen signifikant niedriger als das vonMännern?
– Daten: Stichprobe von n = 526 ArbeitnehmerInnen in den U.S.A. aus demJahre 1976. (Quelle: Examples 2.4, 7.1 in Wooldridge (2009)).
Daten:
– wage: Stundenlohn in US-$,
– educ: Dauer der Ausbildung,
– exper: Berufserfahrung in Jahren,
– tenure: Beschäftigungsdauer bei aktueller Firma,
R-Code (Ausschnitt aus R-Programm in Abschnitt A.6)# Festlegung des Arbeitsverzeichnisses (working directory)# in welchem sich das R-Program und die Daten befinden
WD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory
# Einlesen der Daten# Die Datendatei "wage1.txt" muss in demselben Verzeichnis wie die# R-Datei liegenwage_data <- read.table("wage1.txt", header = TRUE)attach(wage_data)
Residual standard error: 0.3998 on 519 degrees of freedomMultiple R-squared: 0.4408, Adjusted R-squared: 0.4343F-statistic: 68.18 on 6 and 519 DF, p-value: < 2.2e-16
Der Parameter ” entspricht der Di�erenz des logarithmierten Einkommens zwi-schen weiblichen und männlichen Arbeitnehmern, wobei alles andere konstantgehalten wird (z. B. Ausbildungsdauer, Erfahrung, etc.).
Zur Interpretation der Parameter von Regressoren, die auch quadratisch eingehen,siehe Abschnitt 8.4.
• Approximativer Partiale�ekt bei log-level-Modellen Der Parameter ” entsprichteiner approximativen Prognose der Di�erenz in y, wenn ln y modelliert wird und sichdie Dummyvariable ceteris paribus ändert.
Beispiel: Lohnregression: Der approximative durchschnittliche Einkom-mensunterschied zwischen weiblichen und männlichen Arbeitnehmern ist 1976-29.65%.
Wie groß ist der exakte durchschnittliche Einkommensunterschied?
• Erwartungswert einer log-normalverteilten Zufallsvariable: Gilt ln z ≥ N(µ, ‡2),dann ist z log-normalverteilt mit
E[z] = EËeln z
È= eµ+‡2/2. (8.5)
Liegt eine bedingt log-normalverteilte Zufallsvariable
ln z|x ≥ N(g(x), ‡2(x))
vor, dann giltE[z|x] = E
Ëeln z|x
È= eg(x)+‡2(x)/2. (8.6)
• Exakter Partiale�ekt bei log-level-Modellen
ln y = —1x1 + —2x2 + · · · + —k≠1xk≠1 + ”D + u,
Voraussetzung für Berechnung: u|x1, . . . , xk≠1, D ≥ N(0, ‡2)
Dann gilt E [eu|x1, . . . , xk≠1, D] = e‡2/2 und
E[y|x1, . . . , xk≠1, D = 1] ≠ E[y|x1, . . . , xk≠1, D = 0]E[y|x1, . . . , xk≠1, D = 0] =
1e” ≠ 1
2(8.7)
173
8. Multiple Regression: Interpretation
Beweis:
E[y|x1, . . . , xk≠1, D = 1] ≠ E[y|x1, . . . , xk≠1, D = 0]= e—1x1+—2x2+···+—k≠1xk≠1+”E [eu|x1, . . . , xk≠1, D = 1]≠ e—1x1+—2x2+···+—k≠1xk≠1E [eu|x1, . . . , xk≠1, D = 0]= e—1x1+—2x2+···+—k≠1xk≠1e”e‡2/2
≠ e—1x1+—2x2+···+—k≠1xk≠1e‡2/2
= E[y|x1, . . . , xk≠1, D = 0]1e” ≠ 1
2.
Dividieren der Di�erenz durch E[y|x1, . . . , xk≠1, D = 0] liefert (8.7). ⇤
Beispiel: Lohnregression: Frage: Wie groß ist der exakte Lohnunterschied?Antwort: 100(e≠0.2965 ≠ 1) = ≠25.66%, wenn man normalverteilte Fehler annimmt.
• Beachte: Wenn �xj nicht nahe Null ist, sollte immer der exakte Partiale�ekt
berechnet werden, da dann die Taylorapproximation die Logarithmusfunktion nicht gutapproximiert und damit der Wert des approximativen Partiale�ekts wenig verlässlich ist.
• Wichtig: Bei Vergleichen zwischen Gruppen ist der Vergleich bedingter Mit-telwerte viel aussagekräftiger als der Vergleich unbedingter Mittelwerte.
Beispiel: Lohnregression: Vergleich der Löhne von Männern und Frauen:Nimmt man normalverteilte Fehler an, ist der exakte Partiale�ekt -25.66%. Frauenverdienen durchschnittlich nach Berücksichtigung der Ausbildung, Berufserfahrungund Zeit in einem Unternehmen um ca. 26% weniger als Männer.
Vergleicht man hingegen die unbedingten Mittelwerte, z. B. mit dem
R-Code (Ausschnitt aus R-Programm in Abschnitt A.6)# Relative Differenz der unbedingten Lohnmittelwerte von Frauen und Männern(mean(wage[female==1])-mean(wage[female==0]))/mean(wage[female==0])
# alternative Berechnungsmöglichkeitwage_mean <- lm(wage~0+female+I(1-female))(wage_mean$coef[1]-wage_mean$coef[2])/wage_mean$coef[2]
Listing 8.3: ./R_code/8_4_Interpretationen_Wage.R
dann beträgt der Unterschied 35.38%, ist also wesentlich größer, weil sich Männerund Frauen o�ensichtlich auch in der Ausbildung, Berufserfahrung und Zeit ineinem Unternehmen unterscheiden.
Es ist also essentiell, relevante Einflussfaktoren zu berücksichtigen!
174
8.3. Qualitative Daten als Regressoren
• Exakte und approximative Prognose bei log-level-Modell: Erwartungswert von ygegeben die Regressoren x1, . . . , xk ist gegeben durch
Der wahre Wert von E[eu|x1, . . . , xk] hängt von der Wahrscheinlichkeitsverteilung von u ab.
Gilt u|x1, . . . , xk ≥ N(0, ‡2), dann ist E[eu|x1, . . . , xk] = eE[u|x1,...,xk]+‡2/2. Die exaktePrognose ist somit
E[y|x1, . . . , xk] = e—1x1+...+—kxk+‡2/2.
Beispiel: Lohnregression — exakte Prognose: Wie viel verdient ein Fraumit 12 Jahren Ausbildung, 10 Jahren Erfahrung und einem Jahr Beschäftigungs-dauer? Die exakte Vorhersage des Stundenlohns ist
Residual standard error: 0.3933 on 517 degrees of freedomMultiple R-squared: 0.4609, Adjusted R-squared: 0.4525F-statistic: 55.25 on 8 and 517 DF, p-value: < 2.2e-16
Interpretationsbeispiele:
176
8.3. Qualitative Daten als Regressoren
• Ceteris paribus verdienen verheiratete Frauen im Durchschnitt approximativum 8.8% weniger als ledige Frauen. Dieser E�ekt ist jedoch nur auf dem 10%Niveau signifikant (bei einem zweiseitigen Test).
• Der erwartete Lohnunterschied zwischen verheirateten Männern und Frauenbeträgt ceteris paribus ungefähr 32.3 ≠ (≠8.8) = 41.1%. Hierfür kann keinet-Statistik direkt berechnet werden, jedoch eine F -Statistik. (Um einen t-Testdurchführen zu können, führe die Schätzung nochmal durch mit einer der beidenUntergruppen als Referenzgruppe.)
Bemerkungen:
• Es ist nicht empfehlenswert für alle Untergruppen eine Dummyvariable zu erstellen, weildann die Unterschiede bezüglich der Referenzgruppe nicht direkt getestet werden können.
• Falls man für alle Untergruppen eine Dummyvariable verwendet, darf keine Konstante mehrim Modell enthalten sein, sonst hat X reduzierten Spaltenrang. Warum?
Ordinale Daten in der Regression
Universitäten-Ranking:
Die Qualitätsunterschiede zwischen Rang 1 und 2 bzw. den Rängen 11 und 12,können gewaltig voneinander abweichen. Deshalb sind Rangfolgen nicht als Re-gressoren geeignet. Stattdessen weisen wir jeder Universität außer einer (der“Referenzkategorie”) eine Dummyvariable Dj zu, was zur Folge hat, dass wir einigeneue Parameter zu schätzen haben (Deshalb sollten wir im Außenhandelsbeispielevtl. die Variable Offenheit in mehrere Dummys aufspalten...).
Beachte: Der Koe�zient einer Dummyvariablen Dj gibt nun die Verschiebung desAchsenabschnitts zwischen Universität j und der Referenzuni an.
Gelegentlich ist die Rangliste zu lang, sodass zu viele Parameter zu schätzen wären.Es ist dann meist hilfreich, die Daten in Gruppen zusammenzufassen, z. B. Ränge1-10, 11-20, etc..
8.3.3. Interaktionen und Dummyvariablen
• Interaktionen zwischen Dummyvariablen:
– z. B. zum Definieren von Untergruppen (z. B. verheiratete Männer).
– Beachte, dass eine sinnvolle Interpretation und ein Vergleich der Einflüsse der Untergrup-pen entscheidend von einer korrekten Verwendung der Dummys abhängt. Wir fügen z. B.die Dummys male und married und deren Interaktion einer Lohngleichung
y = —1 + ”1male + ”2married + ”3male · married + . . .
177
8. Multiple Regression: Interpretation
hinzu. Ein Vergleich zwischen verheirateten und ledigen Männern ist somit gegeben durch
Residual standard error: 0.4001 on 518 degrees of freedomMultiple R-squared: 0.441, Adjusted R-squared: 0.4334F-statistic: 58.37 on 7 and 518 DF, p-value: < 2.2e-16
178
8.4. Modelle mit quadratischen Regressoren
Die Rendite der Ausbildung, also die durchschnittliche Stundenlohndi�erenz fürein zusätzliches Ausbildungsjahr, ist nicht geschlechtsspezifisch, da der p-Wert desentsprechenden Interaktionsterms über jedem gebräuchlichen Signifikanzniveauliegt.
• Fazit: Kommt eine Regressionsvariable in mehreren Termen (Interaktionen, quadratischeTerme) im Modell vor, sind im Allgemeinen mehr Parameter zur Interpretation einesZusammenhangs zu berücksichtigen.
• Tests auf Gruppenunterschiede
– werden mittels F -Tests durchgeführt.
– Chow Test: Ermöglicht es zu testen, ob Gruppenunterschiede im Sinne gruppenspezifi-scher Achsenabschnitte und/oder (mindestens einem) gruppenspezifischen Steigungspara-meter vorliegen.
Beispiel:
y = —1 + —2D + —3x1 + —4(x1 · D) + —5x2 + —6(x2 · D) + u. (8.9)
– Als Beispiel sei folgendes multiples Regressionsmodell
y = —1x1 + —2x2 + —3x3 + —4x23 + u
angenommen. Der marginale Einfluss einer Veränderung von x3 auf den bedingtenErwartungswert y ist
ˆE[y|x1, . . . , x3]ˆx3
= —3 + 2—4x3.
Somit beeinflusst eine Veränderung von x3 um �x3 ceteris paribus die unabhängigeVariable y im Durchschnitt um
�E[y|x1, . . . , x3] = (—3 + 2—4x3)�x3.
Der Einfluss hängt also o�ensichtlich vom Niveau von x3 ab (und somit ist eine Interpre-tation von —3 allein nicht sinnvoll!).
– In einigen empirischen Anwendungen verwendet man quadratische oder logarithmierteRegressoren, um eine nicht-lineare Regressionsfunktion zu approximieren.
179
8. Multiple Regression: Interpretation
Beispiel: Nicht-konstante Elastizitäten lassen sich folgendermaßen approximie-ren
ln y = —1 + —2x2 + —3 ln x3 + —4(ln x3)2 + u.
Die Elastizität von y bezüglich x3 ist demnach
—3 + 2—4 ln x3
und ist dann und nur dann konstant, wenn —4 = 0.
– Beispiel: Handelsströme: Bisher haben wir nur multiple Regressionsmodellebetrachtet, die in den Ausgangsvariablen log-log- oder log-level-spezifiziert waren.
Nun wollen wir eine weitere Spezifikation für die Modellierung von Importenbetrachten, in der ein logarithmierter Regressor auch quadratisch in die Gleichungeingeht.
Modell 5: (Die Modelle 2 und 3a wurden in Abschnitt 6.3 geschätzt. DieModelle 1, 3b und 4 werden erst in Abschnitt 10.3 eingeführt.)
Eben wurde gezeigt, dass dann für die Elastizität der Importe bezüglich BIPgilt:
—2 + 2—3 ln(BIP ). (8.10)
Die Schätzung des Modells 5 mit folgendem
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Modell 5: Verwende auch log(BIP)^2 als Regressormod_5_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) +
Residual standard error: 0.8191 on 43 degrees of freedom(1 observation deleted due to missingness)
Multiple R-squared: 0.9155, Adjusted R-squared: 0.9056F-statistic: 93.12 on 5 and 43 DF, p-value: < 2.2e-16
Wer bereits mit Signifikanztests vertraut ist, sieht, dass der quadratische Termauf dem 5% Niveau signifikant ist. Damit ist der statistische Nachweis für einenicht-lineare Elastizität erbracht. Setzt man die Parameterschätzungen in (8.10)ein, erhält man
÷(BIP ) = 3.908811 ≠ 0.057108 ln(BIP ).
In Abbildung 8.1 ist die Elastizität von ÷(BIP ) für jeden beobachteten Wertvon BIP gegen BIP dargestellt (mit folgendem R-Code erzeugt).
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Generiere Plot der Elastizitäten für verschiedene BIPselast_gdp <- mod_5_kq$coef[2] + 2* mod_5_kq$coef[3]*log(wdi_gdpusdcr_o)# Erstelle Scatterplotif (save.pdf) pdf("plot_modell5_elast.pdf.pdf", height=6, width=6)
Die BIP-Elastizität der Importe ist für kleine Volkswirtschaften (gemessen amBIP) viel größer als für große Volkswirtschaften. Mit anderen Worten: Bei kleinenVolkswirtschaften wirkt sich eine Steigerung des BIPs viel stärker auf die Importeaus, als bei großen Volkswirtschaften.
Vorsicht: Nichtlinearitäten ergeben sich manchmal daraus, dass relevante Variablenfehlen. Können Sie sich denken, welche Kontrollvariable zu Modell 5 hinzugefügt werdensollte?
• Interaktionen: Beispiel:
y = —1 + —2x2 + —3x3 + —4x3x2 + u.
Der marginale E�ekt einer Veränderung von x3 ist gegeben durch
�E[y|x2, x3] = (—3 + —4x2)�x3.
Somit hängt der marginale E�ekt auch vom Niveau von x2 ab!
Zu Lesen: Kapitel 6 (ohne Abschnitt 6.4) und Kapitel 7 (ohne die Abschnitte 7.5 und 7.6) inWooldridge (2009).
Abbildung 8.1.: Elastizität von ÷(BIP ) (R-Code siehe Beispiel zu Handelsströmen)
182
9. Statistische Eigenschaften des KQ-Schätzers:Erwartungswert und Kovarianz
• Die algebraischen und geometrischen Eigenschaften des KQ-Schätzers
— = (XT X)≠1XT y. (6.5)
für das multiple lineare Regressionsmodell
yt = —1xt1 + —2xt2 + · · · + —kxtk + ut, t = 1, . . . , n, (5.15)yt = Xt— + ut, t = 1, . . . , n, (5.16)y = X— + u. (6.1)
wurden in Kapitel 7 analysiert.
• Zur Beantwortung vieler Fragen ist die Kenntnis der algebraischen und geometrischen Ei-genschaften des KQ-Schätzers nicht ausreichend, sondern die Kenntnis der statistischenEigenschaften des KQ-Schätzers notwendig.
Beispiele:
– Beispiel auf Basis von Handelsströmen
– Was lässt sich auf Basis des geschätzten Parametervektors — über die Wertedes Parametervektors — für den DGP (für die Grundgesamtheit) aussagen?
– Inwieweit lässt sich überprüfen, ob das gewählte ökonometrische Modell denDGP enthält?
– Angenommen, Ihnen liegt eine weitere Stichprobe mit k Regressoren zu dersel-ben Fragestellung vor.
ú Warum unterscheiden sich die beiden KQ-Schätzungen vermutlich?
ú Welche der beiden KQ-Schätzungen wählen Sie?
ú Sollen Sie die KQ-Ergebnisse beider Stichproben zusammenfügen?
Sollen auf Basis der Stichprobe Aussagen über den DGP getro�en werden, sindinduktive statistische Methoden notwendig. Um etwas über die Eigenschaftensolcher Aussagen sagen zu können, sind Annahmen über den DGP und dasökonometrische Modell notwendig.
Welche Annahmen zu welchen (statistischen) Eigenschaften des KQ-Schätzers führen, istGegenstand dieses Kapitels.
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
Würde die Grundgesamtheit der Stichprobe entsprechen und wären wir nur an Kennzahlenwie Stichprobenkorrelation oder Bestimmtheitsmaß interessiert, wären wir bereits fertig.
• Die Verzerrung (bias) eines Parameterschätzers ◊ für ◊ ist definiert als
E[◊] ≠ ◊0,
wobei ◊0 der wahre Parameterwert, d. h. der Parameterwert des DGPs ist (vgl. (5.32)).
• Ein Schätzer ◊ heißt erwartungstreu oder unverzerrt, wenn er für alle zulässigen Wertevon ◊0 keine Verzerrung aufweist.
• Interpretation: Erwartungstreue impliziert, dass bei einer großen Anzahl an Stichprobender Durchschnittswert aller Schätzungen sehr nahe am wahren Wert liegt.
184
9.1. Erwartungstreue des KQ-Schätzers
• Sind zwei Schätzer in allen Eigenschaften gleich bis auf die Unverzerrtheit, ist der unverzerrteSchätzer vorzuziehen. Warum?
9.1.1. Bedingungen für die Erwartungstreue des KQ-Schätzers
Ableitung: Es gilt, sofern X vollen Rang hat und das multiple lineare Regressionsmodellkorrekt spezifiziert ist,
— = (XT X)≠1XT y= —0 + (XT X)≠1XT u
und so
E[—] ≠ —0 = EË(XT X)≠1XT u
È.
Unverzerrtheit des KQ-Schätzers gilt, wenn mindestens eine der folgenden Annahmenbezüglich der Regressoren und Fehler erfüllt ist:
• alle Regressoren sind nicht-stochastisch und E[u] = 0:
EË(XT X)≠1XT u
È= (XT X)≠1XT E[u] = 0.
• Regressoren X sind stochastisch, aber stochastisch unabhängig von dem Fehlervektor umit E[u] = 0. Dann gilt
EË(XT X)≠1XT u
È= E
Ë(XT X)≠1XT
ÈE[u] = 0.
• Eine schwächere Annahme als stochastische Unabhängigkeit ist
E[u|X] = 0. (9.1a)
Damit gilt
EË(XT X)≠1XT u
--- XÈ
= (XT X)≠1XT E[u| X] = 0.
Alternativ lässt sich Annahme (9.1a) schreiben als
Erklärende Variablen, die (9.1) erfüllen, werden als exogen bezeichnet. Sehr häufig werdenVariablen, die Annahme (9.1) erfüllen, als streng exogen (strictly exogenous) bezeichnet(z. B. Wooldridge (2009, Chapter 10)), siehe auch BA-Veranstaltung Ökonometrie II, Kapitel2.
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
• Beachte: Aus (9.1) folgt durch Anwendung des iterierten Erwartungswertes
E [E[ut|X1, . . . , Xt, . . . , Xn]|xsj] = E[ut|xsj] = 0 =∆ Cov(ut, xsj) = 0für alle s = 1, . . . , n und alle j = 1, . . . , k. (9.2)
Strenge Exogenität impliziert also, dass der Fehler ut mit vergangenen, gegenwär-tigen oder zukünftigen Regressoren unkorreliert ist.
• Beachte: Die Annahme (9.1) ist ohne Spezifikation eines Modells für die Fehler u, wiebeispielsweise u = y ≠ X—, ohne Aussage und gewinnt erst durch einen Bezug aufein (parametrisches) Modell Bedeutung. Somit bezieht die Bedingung (strenger)Exogenität implizit immer ein (parametrisches) Modell mit ein.
Beispiel: Für das einfache (normale) lineare Regressionsmodell, das sich aus(5.22) ergibt, ist (9.1) erfüllt, da für das Paar —1, —2 œ R des DGP gilt:
• Zusammenfassung der Annahmen bzw. Voraussetzungen für die Unverzerrtheitdes KQ-Schätzers — für den Parametervektor —:
– (B1) Korrekt spezifiziertes Modell Der DGP ist für — = —0 im multiplen linearenRegressionsmodell (6.1)
y = X— + uenthalten (MLR.1 in Wooldridge (2009)).
– (B2a) Exogenität bzw. Strenge Exogenität (9.1): (folgt aus MLR.2 und MLR.4 inWooldridge (2009)).
E[u|X] = 0.
– Annahme (B2b) wird erst später benötigt.
– (B3) Keine perfekte Kollinearität X (bzw. XT X) hat vollen Rang (MLR.3 in Woold-ridge (2009)).
• Erwartungstreue kann mit Monte-Carlo-Simulation „überprüft“ werden
Beispiel: Generieren von 1000 Stichproben mit n = 50 und Schätzen eineskorrekt spezifizierten einfachen linearen Regressionsmodell. Der DGP lautet
yt = 1 + 0.9xt + ut, ut ≥ NID(0, 4), t = 1, 2, . . . , n. (9.3)
Siehe Abschnitt 2.9.1 zu Definition von NID. Die xt werden aus der Menge1, 2, . . . , 20 mit Zurücklegen zufällig gezogen. Mit dem R-Programm, sieheAbschnitt A.7, Seite 344 ergeben sich über die 1000 Replikationen für —1 derMittelwert 0.9973185 und für —2 der Mittelwert 0.9004453. D. h. die Mittelwerteals Schätzer des Erwartungswertes liegen sehr nahe an den wahren Werten. DieHistogramme für —1 und —2 in Abbildung 9.1 zeigen, dass die KQ-Schätzungenum die wahren Parameter herum streuen.
186
9.1. Erwartungstreue des KQ-Schätzers
Histogram of beta_hat_store[, 1]
beta_hat_store[, 1]
Freq
uenc
y
−0.5 0.5 1.5 2.5
020
4060
80Histogram of beta_hat_store[, 2]
beta_hat_store[, 2]
Freq
uenc
y
0.75 0.85 0.95 1.05
020
4060
80
Abbildung 9.1.: Histogramme von KQ-Schätzungen für —1 und —1 auf Basis von 1000 Replikationen (R-
Programm, siehe Abschnitt A.7, Seite 344)
9.1.2. Vorherbestimmte Regressoren
• Eine schwächere Annahme als strenge Exogenität (9.1) ist
E[ut|Xt] = 0 für t = 1, . . . , n, (9.4)
weil der Fehler ut lediglich nicht von den Regressoren Xt der t-ten Stichprobenbeobachtungabhängen darf.
– Regressoren Xt, die die Bedingung (9.4) erfüllen, werden als vorherbestimmt bezüglich
187
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
des Fehlerterms ut bezeichnet.
– Bei Regressionsmodellen für Zeitreihendaten werden die Fehler ut auch als Innovationenoder Schocks bezeichnet.
– Wooldridge (2009, Chapter 10) bezeichnet die Annahme (9.4) auch als contemporaneousexogeneity,
• Strenge Exogenität (9.1) folgt aus der Voraussetzung vorherbestimmter Regressoren (9.4)(entspricht Wooldridge 2009, MLR.4) und der Annahme einer Zufallsstichprobe (Wooldridge2009, MLR.2), da dann
E[ut|X1, X2, . . . , Xt, . . . , Xn] = E[ut|Xt].
• Modelle, deren Regressoren die Annahme strenger Exogenität verletzen, abervorherbestimmt bezüglich ut sind:
Beide Modelle enthalten verzögert abhängige Variablen als Regressoren.
• Ist die Annahme strenger Exogenität (9.1) verletzt, ist der KQ-Schätzer verzerrt. Um einenunverzerrten Schätzer zu erhalten, reicht es nicht aus, wenn Regressoren vorherbestimmt(9.4) sind.
• Wiederhole Zusammenhang zwischen bedingtem Erwartungswert und Kovarianz(2.29b), (2.29c), (2.29f)
9.2. Konsistenz des KQ-Schätzers
• Siehe Abschnitt 5.4 zur Definition und Bedeutung der Konsistenz eines Schätzers.
• Konsistenz des KQ-Schätzers: Es gelten zusätzlich zu (B1) die Annahmen:
– (A1) Es gilt ein LLN für XT X/n
plimnæŒ
AXT X
n
B
= plimnæŒ
1n
nÿ
t=1XT
t Xt
= limnæŒ
1n
nÿ
t=1E
ËXT
t Xt
È= SXT X
und SXT X hat vollen Rang.
(entspricht Davidson & MacKinnon 2004, Gleichungen (3.17) bzw. (4.49))
188
9.2. Konsistenz des KQ-Schätzers
– (A2) Es gilt ein LLN für XT u/n
plimnæŒ
1n
nÿ
t=1XT
t ut = 0.
Dann ist plimnæŒ —n = —0 und der KQ-Schätzer ist konsistent.
• Typische Vorgehensweise zur theoretischen Ableitung von Konsistenzbedingun-gen am Beispiel des KQ-Schätzers:
—n = (XT X)≠1XT y= —0 + (XT X)≠1XT u
= —0 +A
XT Xn
B≠1
¸ ˚˙ ˝:=An
XT un¸ ˚˙ ˝
:=an
.
Anwenden der Rechenregeln für plim’s (3.1) in Abschnitt 3.4 ergibt unter der Annahme(B1) eines korrekt spezifizierten Modells
plimnæŒ
—n = —0 + plimnæŒ
AXT X
n
B≠1
plimnæŒ
XT un
= —0 +
Q
ccccccaplimnæŒ
AXT X
n
B
¸ ˚˙ ˝existiert und nichtsingulär wegen (A1)
R
ddddddb
≠1
plimnæŒ
XT un¸ ˚˙ ˝
=0, da wegen (A2) ein LLN gilt= —0
• Diskussion der Annahmen
– Einfachster Fall für Gültigkeit der Annahmen (A1) und (A2): X = ı, eine Konstanteist einziger Regressor, und ut ≥ IID(0, ‡2). Dann gilt das WLLN von Chintschin (sieheAbschnitt 5.5.1), so dass (A2) gilt. (A1) ist leicht zu zeigen.
Beispiel: arithmetisches Mittel bei IID-Zufallsvariablen
DGP: yt = µ0 + ut, ut ≥ IID(0, ‡2). Dann ist SXT X = µ2 + ‡2.
– Liegt eine Zufallsstichprobe vor und gilt (9.4), dann gilt Annahme (B2a)) und essind (A1) und (A2) erfüllt.
Beweis: Da die Stichprobenelemente unabhängig und identisch verteilt sind,gilt E
ËXT
t Xt
È= M, t = 1, 2, . . . , n, so dass automatisch M = SXT X und damit
(A1) folgt. Weiter gilt wegen (9.4) und dem Gesetz der iterierten Erwartungen
189
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
E [Xtut] = 0. Aufgrund der Zufallsstichprobe lässt sich für jedes Vektorelementzt = Xtjut Chintschin’s schwaches Gesetz der großen Zahlen anwenden, woraus(A2) folgt. ⇤
– Auch wenn keine Zufallsstichprobe vorliegt, z. B. weil eine Stichprobe mit Zeitreihendatenvorliegt, existieren Annahmen, die sich leichter als (A2) überprüfen lassen. Diese findensich in Abschnitt 13.4.
– Es gibt einfache Fälle, für die (A1) verletzt ist.
Beispiel: xt = t.
– In Abschnitt 13.4 wird auch deutlich, dass Annahme (A2) schwächer als die Annahme(B2a) ist.
– Die Annahme (B3) ist nicht genannt, weil erlaubt ist, dass diese für einzelne Realisationenvon Stichproben verletzt sein kann. Lediglich im Limit wird gefordert, dass keine lineareAbhängigkeit zwischen den Regressoren vorliegt, daSXT X in (A1) vollen Rang habenmuss.
Beispiel: Monte-Carlo-Simulation zu Schätzeigenschaften des KQ-Schätzersbei einer Zufallsstichprobe
• DGP (wie in der Monte-Carlo-Simulation im vorherigen Abschnitt):
yt = 1 + 0.9xt + ut, ut ≥ NID(0, 4), t = 1, 2, . . . , n. (9.3)
Siehe Abschnitt 2.9.1 zu Definition von NID. Die xt werden aus der Menge1, 2, . . . , 20 mit Zurücklegen zufällig gezogen.
• Stichprobengrößen: n = 50, 100, 500, 1000, 10000, 100000.
Man sieht deutlich die Erwartungstreue des KQ-Schätzers und den Rückgangder Standardabweichung des KQ-Schätzers mit zunehmender Stichprobengröße.Die Histogramme für in den Abbildungen 9.2 und 9.3 für die Parameterschät-zer und Stichprobengrößen n = 500, 100, 500, 1000deuten auf die Gültigkeit deszentralen Grenzwertsatzes hin. Dazu mehr in Abschnitt 11.2. Histogramme fürn = 10000, 100000 werden mit dem R-Code erzeugt, aber nicht hier abgebildet.
190
9.3. Die Kovarianzmatrix der Parameterschätzer
Histogramm für n= 50
β1
Frequency
−1 0 1 2 3
0100
200
300
Histogramm für n= 50
β2
Frequency
0.8 0.9 1.0 1.1
0100
300
Histogramm für n= 100
β1
Frequency
−0.5 0.5 1.5 2.5
0200
400
Histogramm für n= 100
β2
Frequency
0.80 0.90 1.00
050
150
250
Abbildung 9.2.: Histogramme des KQ-Schätzers für — für n = 50, 100 (R-Programm siehe Abschnitt A.8, Seite346) DGP siehe Gleichung (9.3)
Beispiel: Monte-Carlo-Simulation zu Schätzeigenschaften des KQ-Schätzersbei AR-Prozessen In Abschnitt 13.5 wird der KQ-Schätzer zur Schätzung vonZeitreihendaten verwendet. Erhöhen Sie in der MC-Studie zur Bestimmung derVerzerrung des KQ-Schätzers im AR(1)-Modell, Abschnitt 12.3.1, die Stichpro-bengröße N und notieren Sie Ihre Ergebnisse. Berechnen Sie auch die Varianz derSchätzungen über alle Replikationen.
• Bedingte Varianz-Kovarianzmatrix: Die bedingte Varianz-Kovarianzmatrix gibt die
191
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
Histogramm für n= 500
β1
Frequency
0.5 1.0 1.5
0100
300
Histogramm für n= 500
β2
Frequency
0.84 0.88 0.92 0.96
050
150
250
Histogramm für n= 1000
β1
Frequency
0.6 0.8 1.0 1.2 1.4
0100
200
300
Histogramm für n= 1000
β2
Frequency
0.86 0.88 0.90 0.92 0.94
0100
200
300
Abbildung 9.3.: Histogramme des KQ-Schätzers für — für n = 500, 1000 (R-Programm siehe Abschnitt A.8,Seite 346) DGP siehe Gleichung (9.3)
Varianz von ◊ an, die mit der bedingten Verteilung von ◊ gegeben X assoziiert ist:
V ar(◊|X) = E51
◊ ≠ EË◊|X
È2 1◊ ≠ E
Ë◊|X
È2T---- X
6(9.5a)
= E5◊◊
T |X6
≠ EË◊|X
ÈE
Ë◊|X
ÈT. (9.5b)
• Zusammenhang zwischen unbedingten und bedingten Varianzen (siehe (2.28) fürskalaren Fall)
V ar(◊) = EËV ar(◊|X)
È+ V ar
1E(◊|X)
2. (9.6)
192
9.3. Die Kovarianzmatrix der Parameterschätzer
Beweis: ˘ Ableitung:
E51
◊ ≠ E(◊)2 1
◊ ≠ E(◊)2T
6
= E5◊◊
T6
≠ E(◊)E(◊T )
= E5E
3◊◊
T |X46
≠ EËE(◊|X)
ÈE
5E(◊T |X)
6
= E5E
3◊◊
T |X4
≠ E(◊|X)E(◊T |X) + E(◊|X)E(◊T |X)6
≠ EËE(◊|X)
ÈE
5E(◊T |X)
6
= E5E
3◊◊
T |X4
≠ E(◊|X)E(◊T |X)6
¸ ˚˙ ˝E
ËV ar(◊|X)
È
+
E5E(◊|X)E(◊T |X)
6≠ E
ËE(◊|X)
ÈE
5E(◊T |X)
6
¸ ˚˙ ˝V ar
1E
1◊|X
22
⇤
• Varianz-Kovarianzmatrix des unverzerrten KQ-Schätzers — (Annahmen (B1),(B2a), (B3) erfüllt):
V ar(—|X) = EË(— ≠ —0)(— ≠ —0)T |X
È
= (XT X)≠1XT E(uuT |X) X(XT X)≠1
= (XT X)≠1XT V ar(u|X) X(XT X)≠1. (9.7)
Dies ist die allgemeine Varianz-Kovarianzmatrix des KQ-Schätzers, bei der auch Heteros-kedastie und Korrelation zwischen den Fehlern gegeben X zugelassen ist, da die bedingteVarianz-Kovarianzmatrix der Fehler V ar(u|X) nicht weiter spezifiziert ist. Dieser allgemeineFall wird in Kapitel 14 behandelt.
• Varianz-Kovarianzmatrix des KQ-Schätzers bei homoskedastischen und unkor-relierten Fehlern:
Es gilt zusätzlich die Annahme
(B2b) Homoskedastie und Unkorreliertheit der Fehler
V ar(u|X) = ‡2I,
wobei für die Fehlervarianz des DGPs ‡2 = ‡20 gilt.
– Dann vereinfacht sich die Varianz-Kovarianzmatrix des KQ-Schätzers (9.7) zurbekannten Form
V ar(—|X) = ‡20(XT X)≠1. (9.8)
193
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
– Die unbedingte Varianz-Kovarianzmatrix ergibt sich mit Hilfe von (9.6):
V ar(—) = ‡20E
Ë(XT X)≠1
È(9.9)
wegen V ar1E[—|X]
2= V ar(—) = 0.
˘ Zur Existenz von EË(XT X)≠1
Èsiehe technische Ergänzung am Ende des Abschnitts
9.4.
– Verhalten der Varianz-Kovarianzmatrix für ansteigende Stichprobengröße: Ei-ne äquivalente Darstellung zu (9.8) ist:
V ar(—|X) =3 1
n‡2
0
4 3 1n
XT X4≠1
.
Ist außerdem die Bedingung (A1)3 1
nXT X
4≠1P≠æ S≠1
XT X
erfüllt, verringern sich im Allgemeinen die bedingten Varianzen V ar(—j|X) bzw. Kovari-anzen Cov(—j, —i|X), wenn
ú die Stichprobengröße n ansteigt,
ú die Fehlervarianz ‡20 kleiner wird.
– Varianz eines Schätzers eines einzelnen Parameters —j: Es gilt, wenn die Regres-sion eine Konstante enthält,
V ar(—j|X) = ‡20
SSTj(1 ≠ R2j ) , (9.10)
wobei R2j das Bestimmtheitsmaß einer Regression von xj auf alle übrigen Regressoren
bezeichnet.
Interpretation: Die Varianz von —j ist umso größer,
ú je besser xj durch die verbleibenden Regressoren in X erklärt wird, d. h. je größer dasBestimmtheitsmaß der Regression von xj auf die verbleibenden Regressoren in X ist,
ú je kleiner die Streuung des Regressors xj ist,
ú je größer die Fehlervarianz ‡20 ist.
Beweis: Ableitung von (9.10) (wobei zur Vereinfachung o.E.d.A. j = 1gewählt wird): Damit ist folgende Partitionierung
y = x1—1 + X2—2 + u
194
9.3. Die Kovarianzmatrix der Parameterschätzer
möglich und —1 kann mit dem Frisch-Waugh-Lovell-Theorem (vgl. Abschnitt 7.1)auf Basis der Regression
M2y = M2x1—1 + Residuen
geschätzt werden, wobei M2 = I ≠ X2(XT2 X2)≠1XT
2 ist. Man erhält den KQ-Schätzer:
—1 =1xT
1 M2x12≠1
xT1 M2y.
Es lässt sich (leicht) zeigen, dass
V ar(—1|X) = ‡20(xT
1 M2x1)≠1 = ‡20
xT1 M2x1
.
Beachte, dass der Ausdruck xT1 M2x1 = ||M2x1||2 = SSR1 (vgl. (7.14)) der
quadrierten Länge des Residuenvektors der Regression von x1 auf X2 entspricht,bzw. der Residuenquadratsumme der Regression von x1 auf X2. Da R2
1 =SSE1/SST1 und, falls X2 eine Konstante enthält, SST1 = SSE1 + SSR1 gilt,erhält man SSE1 = R2
1 SST1 und damit via SST1 ≠ R21 SST1 = SSR1 auch
||M2x1||2 = SST1(1 ≠ R21)
und somit (9.10) für j = 1. ⇤
• Multikollinearität oder kurz Kollinearität:
Wie gerade festgestellt, folgt aus (9.10): Ist der Vektor xj ’nahezu’ von mindestens eineranderen Spalte in X linear abhängig, ist die Länge des Residuenvektors kurz und dieVarianz für —j groß. In diesem Fall sagt man, dass die Variable j mit einer oder mehrerenVariablen multikollinear ist. Es liegt dann Multikollinearität oder kurz Kollinearitätvor.
Das Problem von Multikollinearität kann nur gelöst werden, indem die Stichprobengröße nerhöht wird. Weglassen der Variable j wird dagegen im Allgemeinen zu einem fehlspezifi-zierten Modell führen, siehe Abschnitt 9.6. Allerdings ist es möglich, den Gesamte�ekt zubetrachten, indem der mittlere quadratische Fehler (5.31) bzw. (9.31) betrachtet wird.
In der Praxis ist es nicht notwendig, für jede Variable R2j zu berechnen. Stattdessen
betrachtet man die Korrelationsmatrix Corr(—|X). Ist die Korrelation zwischen —i und—j im Absolutbetrag recht nahe 1, weist dies auf Multikollinearität hin.
• Varianz von linearen Funktionen von Parameterschätzern
Ist die zu schätzende Größe “ eine lineare Funktion der geschätzten Parameter
“ = wT —,
wobei w ein geeignet dimensionierter Spaltenvektor ist, dann lässt sich die Varianz von “
195
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
sehr einfach bestimmen durch
V ar(“|X) = V ar(wT —|X)= E
ËwT (— ≠ E
Ë—|X
È)(— ≠ E
Ë—|X
È)T w|X
È
= wT EË(— ≠ E
Ë—|X
È)(— ≠ E
Ë—|X
È)T |X
Èw
= wT V ar(—|X)w. (9.11)
Und bei homoskedastischen und unkorrelierten Fehlern (Annahme (B2b)):
V ar(“|X) = ‡20wT (XT X)≠1w. (9.12)
Beispiel Skalenelastizität: “ = –1+–2 in Cobb-Douglas-Produktionsfunktion:
Y = AL–1K–2eu
ln Y = —1 + –1 ln L + –2 ln K + u (9.13)
• Varianz des Vorhersagefehlers bei unverzerrter Prognose (Anwendung von (9.12))
Sind die Annahmen (B1), (B2a), (B3) erfüllt und damit auch das Modell korrekt spezifi-ziert, ist die Prognose ys = Xs— für (ys, Xs) aus der Grundgesamtheit unverzerrt, da
E[ys|X, Xs] = Xs—0. (9.14)
Daraus ergibt sich der Prognosefehler
ys ≠ Xs— = Xs
1—0 ≠ —
2+ us,
dessen Erwartungswert Null ist. Die Varianz des Prognosefehlers lautet deshalb
V ar(ys ≠ Xs—|Xs, X) = E5Ó
Xs
1—0 ≠ —
2+ us
Ô ;1—0 ≠ —
2TXT
s + us
<---- Xs, X6
= XsV ar(—|X) XTs + E[u2
s|Xs] ≠ 2Xs Cov(—, us|Xs, X)¸ ˚˙ ˝
=0, bei Unkorreliertheit= ‡2
0Xs(XT X)≠1XTs + ‡2
0 (gegeben Annahme (B2b))
≠æ Prognosefehlervarianz = Varianz des Schätzers der abhängigen Variablen + Varianzvon us.
• Zusammenfassung der Annahmen des multiplen linearen Regressionsmodellsmit streng exogenen Regressoren
– (B1) Korrekt spezifiziertes Modell: Der DGP ist für — = —0 im multiplen linearenRegressionsmodell enthalten.
– (B2): u|X ≥ (0, ‡2I) ≈∆
Y_______]
_______[
(B2a): E[u|X] = 0 (X ist (streng) exogen) &(B2b): V ar(u|X) = ‡2I (Fehler sind auf X bedingthomoskedastisch und unkorreliert).
196
9.4. Die E�zienz unverzerrter KQ-Schätzer
– (B3) X hat vollen Spaltenrang
9.4. Die E�zienz unverzerrter KQ-Schätzer
• Vgl. zur Definition der E�zienz eines Schätzers Abschnitt 5.4 und (5.37). Im Folgendenwird die Klasse der linearen Schätzer betrachtet.
• Linearer Schätzer: Ein Schätzer — für den Parametervektor — in einem multiplen linearenRegressionsmodell heißt linear, wenn — = Ay gilt, wobei die (k ◊ n)-Matrix A := A(X)ausschließlich von den Regressoren X abhängen darf, nicht jedoch von y, alsoE[A|X] = A gilt.
• Der KQ-Schätzer ist ein linearer Schätzer, da A = (XT X)≠1XT gilt.
• Ein linearer Schätzer — = Ay ist unverzerrt, wenn die Annahmen (B1), (B2a) gelten,sowie
AX = I, da E[—|X] = AX—0 + AE[u|X]. (9.15)
• Vergleich des KQ-Schätzers — = (XT X)≠1XT y mit beliebigen linearen und erwar-tungstreuen Schätzern — = Ay mit AX = I
– Gauss-Markov-Theorem: Unter den Annahmen (B1), (B2), (B3) ist der KQ-Schätzer — unter allen linearen und unverzerrten Schätzern — der e�ziente Schätzer (bestlinear unbiased estimator (BLUE)). Das bedeutet, dass die Matrix der Di�erenz derVarianz-Kovarianzmatrizen V ar(—) ≠ V ar(—) positiv semidefinit ist.
ú Schätzer des Erwartungswertes (mean) (y1 + yn)/2.
ú Jeder KQ-Schätzer, der auf ein Regressionsmodell mit redundanten unabhän-gigen Variablen angewendet wird, siehe Abschnitt 9.6.
ú Instrumentvariablenschätzer, siehe z. B. Ökonometrie III.
Beweisskizze: Da — ≠ — =1A ≠ (XT X)≠1XT
2
¸ ˚˙ ˝C
y = CX— + Cu = Cu, gilt,
dassV ar(—) = V ar(— + Cu) = V ar(—) + V ar(Cu),
da unter Berücksichtigung von (9.15) und (B2b) EË(— ≠ —0)(Cu)T
È= 0 gezeigt
werden kann. Da jede Varianz-Kovarianzmatrix positiv semidefinit ist, gilt diesauch für V ar(Cu). ⇤
– Ursprünglich wurde das Gauss-Markov-Theorem für nicht-stochastische Regressoren Xbewiesen.
197
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
• ˘ Technische Ergänzung: Ist X stochastisch, ist es prinzipiell möglich, dass z. B. Annahme(B3) bzw. (9.15) für eine spezifische Realisation von X verletzt ist, also X nicht vollenRang hat und damit (XT X) nicht invertierbar ist. Sind die Regressoren stetig verteilt, dannist die Wahrscheinlichkeit hierfür 0.
– Gilt für ein Ereignis C, dass P (C) = 1, dann gilt für das Komplement Cc, dass P (Cc) = 0.Man sagt dann, dass das Ereignis C fast sicher (almost surely (a.s.)) eintritt.
– Beispiel für ein fast sicheres Ereignis: Gegeben sei eine stetige Zufallsvariable X œ R. DasEreignis C = {X œ (≠Œ, a) fi (a, Œ)} hat das komplementäre Ereignis Cc = {X = a}.Da P (X = a) = P (Cc) = 0, gilt für C, dass P (C) = 1.
– Enthält X nur diskrete Regressoren, beispielsweise eine Konstante und eine Dummyvaria-ble, dann besteht eine positive Wahrscheinlichkeit, dass eine Stichprobe gezogen wird,in der die Dummyvariable für alle Beobachtungen den Wert 1 annimmt und damit Xreduzierten Rang hat und XT X nicht invertierbar ist. Die Annahme (B3) ist also fürdieses Beispiel nicht fast sicher erfüllt. In diesem Fall existiert auch E
51XT X
2≠16
nicht,da eine positive Wahrscheinlichkeit vorliegt, dass die Matrix XT X nicht invertierbar ist.
– Die Existenz des unbedingten Erwartungswertes und der unbedingten Varianz des KQ-Schätzers setzt also voraus, dass die Annahmen (B1) bis (B3) fast sicher gelten.
– Für die Praxis ist es im Allgemeinen ausreichend, die Verteilungseigenschaften gegebendie Regressoren zu kennen. Dann braucht man sich über diese Problematik keineGedanken zu machen.
– Möchte man jedoch Monte-Carlo-Simulationen durchführen, in denen auch X bei jederRealisation neu gezogen wird, aber mit positiver Wahrscheinlichkeit X reduzierten Ranghat, wird immer wieder der Fall einer singulären XT X Matrix auftreten und der KQ-Schätzer nicht berechenbar sein.
9.5. Schätzen der Fehlervarianz
• In diesem Abschnitt werden die Annahmen (B1) bis (B3) vorausgesetzt.
• Im korrekt spezifizierten KQ-Modell gilt
u = MXy= MXX—0 + MXu= MXu, (9.16)
da MXX = 0.
Das Residuum ut entspricht einer Linearkombination des Fehlervektors u.
198
9.5. Schätzen der Fehlervarianz
• Varianz des Residuenvektors:V ar(u|X) = V ar(MXu|X)
= EËMXuuT MT
X|XÈ
= MX(‡20I)MT
X
= ‡20MX. (9.17)
• Eigenschaften der Residuen ut: Diese ergeben sich aus der Varianz-Kovarianzmatrixder Residuen V ar(u|X).
Die Residuen sind im Allgemeinen
– korreliert und
– heteroskedastisch mit V ar(ut|X) Æ V ar(ut) = ‡20.
Beweis: Wie in Abschnitt 7.2 bezeichnet et einen Einheitsbasisvektor. Dannist
ut = eTt u
undV ar(ut|X) = V ar(eT
t u|X) = eTt V ar(u|X)et = ‡2
0eTt MXet = ‡2
0||MXet||2.
Aufgrund der orthogonalen Zerlegung gilt||et||2 = ||PXet||2¸ ˚˙ ˝
ht
+ ||MXet||2¸ ˚˙ ˝1≠ht
,
so dass ||MXet||2 Æ ||et||2 = 1. ⇤
• Maximum-Likelihood-Schätzer für die Fehlervarianz:
– Der Schätzer‡2 = 1
n
nÿ
t=1u2
t (9.18)
wird als Maximum-Likelihood-Schätzer für die Fehlervarianz ‡2 bezeichnet, da er sichaus dem Maximum-Likelihood-Ansatz ergibt, siehe MA-Veranstaltung FortgeschritteneÖkonometrie.
– Eigenschaft: ‡2 ist verzerrt.
Beweis:
E[‡2|X] = 1n
nÿ
t=1E[u2
t |X]
= 1n
nÿ
t=1V ar(ut|X)
= ‡20
1n
nÿ
t=1||MXet||2.
199
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
Aus ||PXet||2 = ht folgt schließlich
E[‡2|X] = ‡20
1n
nÿ
t=1(1 ≠ ht¸ ˚˙ ˝
Æ1
) Æ ‡20.
Mit Hilfe des Spur-Operators kann man zeigen, dass
nÿ
t=1(1 ≠ ht) = n ≠ k.
Daraus folgt
E[‡2|X] = n ≠ k
n‡2
0. (9.19)
⇤
• Unverzerrter Schätzer für die Fehlervarianz: Berücksichtigen von (9.19) in (9.18)liefert den unverzerrten Schätzer
s2 = 1n ≠ k
nÿ
t=1u2
t . (9.20)
(Beachte die Notation: in vielen anderen Ökonometriebüchern, z. B. Wooldridge (2009),wird dieser Schätzer mit ‡2 bezeichnet.)
• Die Wurzel von s2 wird als Standardfehler einer Regression (standard error ofregression) bezeichnet.
• Ein unverzerrter Schätzer der Kovarianzmatrix des KQ-Schätzers ist dann
\V ar(—|X) = s2(XT X)≠1. (9.21)
Beispiel: Handelsströme Für die KQ-Schätzungen von Modell 3 (6.19) sindim folgenden R-Output die Varianz-Kovarianzmatrix und Korrelationsmatrix derParameterschätzer angegeben
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Schätze Varianz-Kovarianzmatrix der KQ-Schätzer für Modell 3asummary(mod_3a_kq)$cov
# Schätze Korrelationsmatrix der KQ-Schätzer für Modell 3acov2cor(summary(mod_3a_kq)$cov)
# Schätze Kovarianzmatrix der Stichprobenbeobachtungen für Modell 3acor(data.frame(log_wdi_gdpusdcr_o = log(wdi_gdpusdcr_o),
Beachte, dass die Korrelationen zwischen den Variablen im Absolutbetrag nichtgrößer als 0.26, also relativ gering sind, und keine Anzeichen für Multikollinearitätvorliegen.
9.6. Über- oder fehlspezifizierte lineare Regressionsmodelle
Zur Definition der Informationsmenge siehe Abschnitt 5.3.
Überspezifizierung (overspecification)
• Ein Modell M ist überspezifiziert, wenn es Variablen enthält, die zur Informationsmenge�t gehören, aber nicht im DGP enthalten sind. (Beachte: Überspezifizierte Modelle sindnicht fehlspezifiert.)
Beispiel: Der DGP sei in
y = X—0 + u, u|X ≥ (0, ‡20I), (9.22)
enthalten ((B1),(B2) gelten), geschätzt wird aber
y = X— + Z“ + u, u|X, Z ≥ (0, ‡2I). (9.23)
Das ‘unrestringierte’ Modell (9.23) enthält ebenfalls den DGP (DGP œ M), daja die Parameter — = —0, “ = 0 und ‡2 = ‡2
0 möglich sind.
• Eigenschaften des KQ-Schätzers — des überspezifizierten Modells (9.23):
(i) unverzerrt, da nach dem Frisch-Waugh-Lovell-Theorem, siehe Seite 7.1.3, der KQ-Schätzer — der Regression
MZy = MZX— + Residuen
201
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
mit MZ = I ≠ Z(ZT Z)≠1ZT mit dem KQ-Schätzer für — in dem überspezifizierten Modell(9.23) identisch ist. Deshalb gilt
— = —0 + (XT MZX)≠1XT MZu ∆ E(—) = —0.
(ii) im Allgemeinen im Vergleich zum KQ-Schätzer — des ‘kleinsten’ korrekt spezifiziertenModells (9.22) nicht e�zient. Dies gilt aufgrund des Gauss-Markov-Theorems, vgl.Abschnitt 9.4. Daraus folgt u.a., vgl. (5.37),
V ar(—j|X, Z) Ø V ar(—j|X), j = 1, . . . , k.
Diese Ungleichung ergibt sich, vgl. (9.10), auch direkt aus
‡20
SSTj(1 ≠ R2j,X,Z) Ø ‡2
0SSTj(1 ≠ R2
j,X) , j = 1, . . . , k.
Auch wird durch zusätzliche, nicht benötigte Variablen die Gefahr von Multikollineari-tät erhöht.
– Diese Ergebnisse gelten unabhängig von der Stichprobengröße. Es lässt sich deshalbzeigen, dass der Schätzer eines überspezifizierten Modells asymptotisch ine�zient ist.
9.6. Über- oder fehlspezifizierte lineare Regressionsmodelle
Die l-te Spalte von (XT X)≠1XT Z enthält also gerade den KQ-Schätzer ”l = (XT X)≠1XT zl
der (Hilfs-)Regressionzl = X”l + Fehler. (9.26)
Damit lässt sich der KQ-Schätzer — schreiben als
— = —0 +1”1 ”2 · · · ”k2
2“0 + (XT X)≠1XT u. (9.27)
Je nach Wahl der Bedingung im (bedingten) Erwartungswert erhält man unterschiedlicheVerzerrungen:
– Somit ist der KQ-Schätzer für gegebene Stichprobenwerte aller im DGP relevan-ter Regressoren verzerrt, wenn
E[—|X, Z] = —0 +1”1 ”2 · · · ”k2
2“0 ”= —0, (9.28)
also die Regressoren X und Z in einer gegebenen Stichprobe nicht orthogonal sind.
– Somit ist der KQ-Schätzer für gegebene Stichprobenwerte aller Regressoren inX verzerrt, falls
E[—|X] = EËE[—|X, Z]|X
È= —0 + E
Ë1”1 ”2 · · · ”k2
2|X
È“0 ”= —0, (9.29)
also EË1
”1 ”2 · · · ”k2
2|X
È”= 0 ist.
– Somit ist der KQ-Schätzer verzerrt, falls
E[—] = EËE[—|X, Z]
È= —0 + E
Ë1”1 ”2 · · · ”k2
2È“0 ”= —0, (9.30)
also der unbedingte Erwartungswert EË1
”1 ”2 · · · ”k2
2È”= 0 ist. Mit anderen Worten,
mindestens ein zti und xtj sind miteinander korreliert.
– Wichtig: Gilt für den Erwartungswert EË1
”1 ”2 · · · ”k2
2È”= 0 unabhängig von
der Stichprobengröße n, also eben auch für n æ Œ, dann ist der KQ-Schätzer für —0inkonsistent!
Fazit:
Fehlspezifiziertes Modell Überspezifiziertes ModellKQ-Schätzer ist
endliche Stichprobe i. Allg. verzerrt ine�zientasymptotisch i. Allg. inkonsistent asymptotisch ine�zient
O�ensichtlich ist die Wahl eines korrekt, aber nicht überspezifierten Modells sehr wichtig. Diesist die Aufgabe von Verfahren zur Modellselektion, die im nächsten Kapitel dargestellt werden.
Mittlerer quadratischer Fehler:
203
9. Statistische Eigenschaften des KQ-Schätzers: Erwartungswert und Kovarianz
• Die Matrix des mittleren quadratischen Fehlers (MSE), vgl. (5.31), lautet gegebenalle Regressoren X, Z:
MSE(—|X, Z) = E51
— ≠ —02 1
— ≠ —02T
---- X, Z6
. (9.31)
Wie bei der Verzerrung kann man hier hinsichtlich der Bedingungen unterscheiden (washier aber nicht weiter gemacht wird).
• Beachte: nur für unverzerrte Schätzer ist die Matrix des mittleren quadratischen Fehlersgleich der Varianz-Kovarianzmatrix.
• Man kann zeigen (ggf. Übungsaufgabe), dass gilt
MSE(—|X, Z) = ‡20(XT X)≠1
¸ ˚˙ ˝Varianz
+ (XT X)≠1XT Z“0“T0 ZT X(XT X)≠1
¸ ˚˙ ˝Verzerrung quadriert
. (9.32)
Eine eindeutige Aussage zum Vergleich dieser MSE-Matrix mit der des unverzerrten KQ-Schätzer in (9.24), d. h. MSE(—|X, Z) = ‡2
0(XT MZX)≠1, ist nicht möglich, sondern hängtvon der Größe der Verzerrung ab.
• Der MSE (9.31) ist damit geeignet, als Beurteilungskriterium zwischen verschiedenenModellen zu dienen, da
– im Fall fehlspezifierter Modelle, die quadrierte Verzerrung berücksichtigt wird und
– im Fall überspezifizierter die zu große KQ-Schätzvarianz
gegeneinander abgewogen werden.
• Um die Genauigkeit des KQ-Schätzers des fehlspezifizierten Modells zu bestimmen, ist esaufgrund der Verzerrung des Schätzers nicht mehr sinnvoll, die Kovarianzmatrix heranzuzie-hen.
1. Suche nach dem Modell, das den DGP enthält, der die Stichprobenbeobachtungengeneriert hat.
2. Vermeiden zu großer Modelle.
3. Suche nach einem e�zienten Schätzverfahren.
Mit anderen Worten: Verfahren zur Modellspezifikation dienen dazu, die Wahrschein-lichkeiten bei der Wahl des Modells
– für ein fehlspezifiziertes Modell und
– für ein überspezifiziertes Modell
geeignet zu begrenzen bzw. asymptotisch, wenn möglich, gegen Null gehen zu lassen.
Die asymptotischen Anforderungen implizieren:
1. Konsistente Schätzung interessierender Größen.
2. E�ziente Schätzung interessierender Größen.
3. Vorhandensein (asymptotischer) Testverteilungen zum Durchführen von Hypothe-sentests.
• Praktisch: In der Praxis wird es selten ein korrekt spezifiziertes Modell geben. StattdessenSuche nach dem „besten“ Modell für die beabsichtigte Untersuchung, z. B. zum Ermittelnder BIP-Elastizität der Exporte oder von E[yt|�t]. Was heißt „bestes“ Modell? Die Qualitätdes Modells hängt davon ab, wie ein darin enthaltenes Element den DGP approximierenkann. Die Bewertung der Approximation hängt von der Verlustfunktion, beispielsweise(5.26), ab, die für die Fragestellung gewählt wurde.
• Allerdings ist die ökonometrische Theorie für approximierende Modelle für diesen Kurs zukompliziert. Deshalb unterstellen wir in diesem Kurs, dass es ein korrekt spezifiziertesModell gibt.
Anmerkungen:
10. Modellspezifikation
Die C-Annahmen sind Voraussetzung für die üblichen asymptotischen Schätzeigenschaften desKQ-Schätzers. Sie schließen Zeitreihendaten mit ein und werden in Abschnitt 13.4 detailliertbesprochen.
Zu 1. Konsistenz erfordert unter anderem, dass das Modell korrekt spezifiziert ist, d. h. esmüssen die
– Annahmen (B1) und (B2a)
– bzw. allgemeiner bei Zeitreihen die Annahmen (C1) und (C2a)
erfüllt sein. Dann gilt
E[yt|�t] = Xt—. (10.1)
Zu 2. E�zienz erfordert unter anderem, dass
– ein e�zientes Schätzverfahren gewählt wird und
– vermieden wird, dass im Modell überflüssige Variablen enthalten sind.
Z. B. ist der KQ-Schätzer nur
– e�zient, wenn unter anderem Annahmen (B2b) gilt, bzw.
– asymptotisch e�zient, wenn unter anderem die Annahme (C2b)
gilt, also die Fehler homoskedastisch sind.
Zu 3. Das Ableiten von Testverteilungen erfordert zusätzliche Annahmen, z. B. (B4) für exakteTests oder (C4a) oder (C4b) für asymptotische Tests. (Vgl. Kapitel 11.)
• Die Verwendung von Modellselektionskriterien soll sicherstellen, dass
a) keine überflüssige Variablen im Modell enthalten sind und damit die E�zienz des Schätzersreduziert wird,
b) alle relevanten Variablen im Modell enthalten sind, also (10.1) gilt und damit eineVoraussetzung für Konsistenz vorliegt.
In kleineren Stichproben kann es sein, dass es nicht möglich ist, alle relevanten Variablen indas Modell aufzunehmen ohne dass die Schätzvarianz zu groß wird. Modellselektionskriterienerlauben hier einen „Trade-o�“ zwischen a) und b).
• Geschachtelte Modelle (nested models): M1 und M2 sind geschachtelt, wenn entwederM1 µ M2 oder M2 µ M1 gilt.
206
10.1. Modellselektionskriterien
10.1. Modellselektionskriterien
• Grundidee von Modellselektionskritieren:
Selektionskriterium = Fitmaß + Zahl der Parameter · Stra�unktion(n) (10.2)
– Erster Term: Fitmaß: Misst, wie gut sich das geschätzte Modell an die Daten an-passt. Dabei werden Fitmaße ausgewählt, die mit einem zusätzlichen Parameter imAllgemeinen zu einer Fitverbesserung führen, niemals jedoch zu einer Fitverschlechterung.Typischerweise werden hier entweder der Maximum-Likelihood-Schätzer ‡2 = uT u/n derFehlervarianz (9.18) oder Minus zweimal die Log-Likelihood-Funktion gewählt, wobei letz-tere sich für eine gegebene Stichprobengröße nur um eine Konstante von ‡2 unterscheidet,siehe (10.3).
Es lässt sich zeigen, dass das Fitmaß von einem Modell, in dem relevante Regressorenfehlen, asymptotisch größer ist, als ein korrekt spezifiziertes Modell. Dies legt nahe, dasModell zu wählen, dessen Fitmaß am kleinsten ist. Ist allerdings das Modell überspezi-fiziert und benutzt man ‡2, wird die wahre Fehlervarianz typischerweise unterschätzt.Deshalb besteht die Gefahr, ein überspezifiziertes Modell zu wählen. Um die Wahrschein-lichkeit hierfür zu reduzieren, verwerndet man einen Strafterm, der die Hinzunahme vonzusätzlichen irrelevanten Regressoren erschweren soll.
– Zweiter Term: Strafterm: Produkt aus Zahl der geschätzten Parameter k in — undStra�unktion:
ú Der Strafterm bestraft die Anzahl der Parameter, um zu vermeiden, dass überflüssigeVariablen mit ins Modell aufgenommen werden und somit das Schätzverfahren ine�zientist.
ú Der Strafterm steigt mit steigendem k und die Stra�unktion muss so gewählt werden,dass sie mit steigendem n fällt. In letzterem Fall bedeutet dies, dass zusätzlicheParameter in größeren Stichproben relativ weniger bestraft werden, allerdings darfdiese Strafe nicht zu schnell gegen Null gehen!
– Dies impliziert einen Trade-o� : Regressoren werden dann in das Modell aufgenommen,wenn die Strafe geringer ausfällt als die Verbesserung des Fits.
Durch die Wahl der Stra�unktion (und damit des Kriteriums) legt man fest, wie dieserTrade-o� quantitativ vorgenommen wird. Gängig sind drei verschiedene Kriterien: AIC,HQ und SC/BIC, siehe unten.
– Regel: Unter allen in Erwägung gezogenen Kandidaten wird die Spezifikation gewählt,für die das Kriterium den kleinsten Wert annimmt.
– Es ist ratsam, jeweils AIC, HQ und SC/BIC zu prüfen. In günstigen Fällen liefern alleKriterien dasselbe Resultat. Beachte, dass SC für Stichprobengrößen (n > 8) zusätzlicheParameter stärker bestraft als HQ, und HQ wiederum stärker als AIC.
– Es ist möglich, mit Hilfe von Selektionskriterien auch aus nicht-geschachtelten Modellen
207
10. Modellspezifikation
auszuwählen, solange die abhängige Variable identisch ist, siehe empirisches Beispiel inAbschnitt 10.3.
• Zur Information: Log-Likelihood-Funktion, genauer konzentrierte Log-Likelihood-Funktion
l(—, ‡|y, X) = ≠n
2 (1 + ln(2fi)) ≠ n
2 ln ‡2 (10.3)
vgl. zur Erklärung und Ableitung Davidson & MacKinnon (2004, Equation (10.12)) oderVeranstaltung Fortgeschrittene Ökonometrie, Abschnitt 5.5
• Alternative Definitionen von Modellselektionskriterien:
Kritierium Fitmaß Zahl Par. Stra�unktion(n)
AIC = ln ‡2 + k · 2n
, (10.4)
HQ = ln ‡2 + k · ln(ln(n))n
, (10.5)
SC = ln ‡2 + k · ln(n)n
, (10.6)
AIC = ≠ 2n
Q
ccca≠n
2 (1 + ln(2fi)) ≠ n
2 ln ‡2
¸ ˚˙ ˝=Log-Likelihood-Funktion
R
dddb + k · 2n
(10.7)
HQ = ≠ 2n
3≠n
2 (1 + ln(2fi)) ≠ n
2 ln ‡24
+ k · ln(ln(n))n
(10.8)
SC = ≠ 2n
3≠n
2 (1 + ln(2fi)) ≠ n
2 ln ‡24
+ k · ln(n)n
(10.9)
In R berechnet der Befehl AIC() Modellselektionskriterien, die sich in zweifacher Hinsichtvon obigen Berechnungen unterscheiden:
– Es wird nicht durch n dividiert.
– Es wird zusätzlich zu den geschätzten Parametern in — auch die Varianz als geschätzterParameter hinzugenommen.
Für einen Vergleich verschiedener Modelle für gegebenes n spielt dies keine Rolle.
Fitmaß Zahl Par. Stra�unktion(n)
AIC = ≠23
≠n
2 (1 + ln(2fi)) ≠ n
2 ln ‡24
+ (k + 1) · 2 (10.10)
HQ = ≠23
≠n
2 (1 + ln(2fi)) ≠ n
2 ln ‡24
+ (k + 1) · ln(ln(n)) (10.11)
SC = ≠23
≠n
2 (1 + ln(2fi)) ≠ n
2 ln ‡24
+ (k + 1) · ln(n) (10.12)
208
10.2. Tests für nichtgeschachtelte Modelle
Es gibt auch Definitionen, in denen die Modellselektionskriterien maximiert werden, z. B.in Davidson & MacKinnon (2004, Section 15.4). Also immer die genauen Definitionen inder verwendeten Software beachten!
Formel Software - BefehlAkaike Information Criterion (AIC)
Bayesian Information Criterion (BIC)/Schwarz Kriterium (SC)(10.6) R: extractAIC(,k = log(n))(10.9) EViews, R: eigenes Programm SelectCritEViews(), siehe Abschnitt B.2
(10.12) R: AIC(,k = log(n)))
• Alternative zur Verwendung von Modellselektionskriterien: Sequentielles Testen. Hierzusind t-Tests oder F -Tests notwendig, die in Kapitel 11 behandelt werden.
• ˘ Der Vergleich zweier Modelle mittels eines Modellselektionskriteriums kann auch als Testinterpretiert werden, wobei das Signifikanzniveau durch den Strafterm bestimmt wird.
10.2. Tests für nichtgeschachtelte Modelle
Siehe Abschnitt 9.3.1 in Folien Ökonometrie I oder Wooldridge (2009, Chapter 9) oderDavidson & MacKinnon (2004, Section 15.3).
10.3. Empirische Analyse von Handelsströmen: Teil 2
Fortsetzung der Empirische Analyse von Handelsströmen: Teil 1 in Abschnitt 6.3.
Zu Schritt II.3: Spezifizieren, Schätzen und Auswählen eines ökonometrischen Mo-dells
• Spezifizieren und Schätzen verschiedener Modelle:Es werden jetzt fünf verschiedene Modelle spezifiziert und geschätzt:Gleich in R-Formeln:
Model 1mod_1_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o)
Model 2mod_2_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist)
Model 3amod_3a_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist)
+ ebrd_tfes_o
Model 3bmod_3b_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist)
+ log(cepii_area_o)
Model 4mod_4_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist)
+ ebrd_tfes_o + log(cepii_area_o)
Berechnen der Modelle via
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Berechnen der Werte der Tabelle.# Anwenden der Funktion "SelectCritEviews" auf vier verschiedene Modelle
• Modellwahl: Aus der Tabelle ist ersichtlich, dass Modell 4 zu wählen ist, wenn das Akaike-Kriterium (AIC) oder das Hannan-Quinn (HQ) gewählt werden, jedoch Modell 3b, wenndas Schwarz (SC)-Kriterium gewählt wird.
Fortsetzung der Empirische Analyse von Handelsströmen: Teil 3 in Abschnitt 11.7.
211
11. (Asymptotische) Verteilung des KQ-Schätzers undTesten im multiplen linearen Regressionsmodell
11.1. Exakte Verteilung des KQ-Schätzers
• Mit bisherigen Annahmen gilt für den KQ-Schätzer
—n(B3)= (XT X)≠1XT y (B1)= —0 + (XT X)≠1XT u.
• Ohne eine Verteilungsannahme für den Fehlervektor u lässt sich o�ensichtlich nichts weiterüber die Verteilung von —n sagen, selbst wenn die X gegeben sind.
Wir tre�en die Annahme (vgl. zur Schreibweise Davidson (2000, Section 2.4.1))
(B4) Multivariat normalverteilte Fehler gegeben X
u|X ≥ N(0, ‡2I),wobei für die Fehlervarianz des DGPs ‡2 = ‡2
0 gilt.
Die gemeinsame (auf X bedingte) Dichte lautet (vgl. (2.32))
• Beachte, dass eine einfache exakte Verteilung wie (11.2) nur unter der multivariaten Nor-malverteilungsannahme möglich ist. Wieso?
11.2. Asymptotische Verteilung des KQ-Schätzers
• Zusammenfassung der Annahmen des normalen multiplen linearen Regressions-modells
– (B1) Korrekt spezifiziertes Modell: Der DGP ist für — = —0 im multiplen linearenRegressionsmodell enthalten.
– (B3) X hat vollen Spaltenrang und
– (B4) u|X ≥ N(0, ‡2I).
Beachte, dass die Annahme (B4) die Annahme (B2) enthält.
• Liegt eine von der Normalverteilung verschiedene bedingte Verteilung für den Fehlervektoru vor, lässt sich die exakte Verteilung des KQ-Schätzers im Allgemeinen nur mit Hilfe vonSimulationsmethoden bestimmen.
• Weiß man nichts über die Art der bedingten Verteilung der Fehler, dann ist die exakteVerteilung für endliche n unbekannt, also —n|X ≥ unbekannte V erteilung. Wie im folgendengezeigt wird, ist es unter bestimmten Voraussetzungen jedoch möglich, die asymptotischeVerteilung zu bestimmen.
11.2. Asymptotische Verteilung des KQ-Schätzers
• Ableitung
– Wie im Fall des Schätzers des Erwartungswertes muss man auch den KQ-Schätzer mitÔn multiplizieren, um eine nicht singuläre asymptotische Varianz-Kovarianzmatrix zu
erhalten. Man erhält unter den Annahmen (B1) und (B3)
Ôn
1—n ≠ —0
2=
Ôn(XT X)≠1XT u =
AXT X
n
B≠1
¸ ˚˙ ˝:=An
XT uÔn
¸ ˚˙ ˝:=an
.
– Jetzt muss man Slutzky’s Theorem (3.4) aus Abschnitt 3.5 anwenden: Falls
i) AnP≠æ A und
ii) and≠æ a gilt,
dann gilt Anand≠æ Aa.
– Damit i) gilt, muss weiterhin (A1) gelten, so dass
plimnæŒ
1XT X/n
2≠1= S≠1
XT X
gilt.
213
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
– Damit ii) gilt, muss Annahme (A2) “verstärkt"werden. Nunmehr muss ein ZentralerGrenzwertsatz für XT u/
Ôn gelten:
(A3) 1ÔnXT u d≠æ wŒ ≥ N (0, ‡2
0SXT X)
• Asymptotische Verteilung des KQ-SchätzersEs gelten für das multiple lineare Regressionsmodell die Annahmen (B1),(B3), sowie dieAnnahmen (A1) und (A3). Dann gilt
Ôn
1—n ≠ —0
2=
AXT X
n
B≠1 1Ôn
XT u
d≠æ S≠1XT XwŒ ≥ N
10, ‡2
0S≠1XT X
2. (11.5)
• In der Praxis können die Annahmen (A1) und (A3) (high level assumptions) nicht direktüberprüft werden. Deshalb werden diese Annahmen im Allgemeinen durch Annahmenersetzt, die anschaulicher und leichter überprüfbar sind. Dazu in Kürze mehr.
• Anwendung der asymptotischen Verteilung in der Praxis:
– In heuristischer Schreibweise lässt sich die asymptotische Verteilung auch schreiben als
—napproximativ≥ N
A
—0,‡2
0n
S≠1XT X
B
,
da sich für gegebene Stichprobengröße n herauskürzt.
– Da SXT X und ‡20 unbekannt sind, ist die asymptotische Verteilung so nicht anwendbar.
Die Fehlervarianz ‡20 kann mit s2 geschätzt werden und SXT X durch
1n
XT X = 1n
nÿ
t=1XT
t Xt. (11.6)
Damit erhält man in heuristischer Schreibweise
—napproximativ≥ N
1—0, s2(XT X)≠1
2.
Der zentrale Unterschied zur exakten Verteilung ist, dass die Normalverteilung nurapproximativ gilt, jedoch die Approximation mit zunehmender Stichprobengröße n immergenauer wird.
– Möchte man analysieren, wie gut die Approximation der asymptotischen Normalverteilungist, muss man dies im Allgemeinen mit Hilfe von Computersimulationen, sogenanntenMonte-Carlo-Simulationen machen.
• Wann ist Annahme (A3) erfüllt?
Zum Beispiel, wenn eine Zufallsstichprobe vorliegt und Annahme (B2) gilt. Diese An-nahmen können abgeschwächt werden, siehe Abschnitt 13.4.
214
11.2. Asymptotische Verteilung des KQ-Schätzers
Beweisskizze:
– Es gilt XT u = qnt=1 XT
t ut¸ ˚˙ ˝:=vt
. Zunächst werden E[vt] und V ar(vt) bestimmt.
– Aus Annahme (B2a) E[u|X] = 0 (strenge Exogenität) folgt, dass
E[ut|X] = 0 für alle t = 1, 2, . . . , n.
E [E[ut|X]|Xt] = E [ut|Xt] = 0.
E[XTt ut] = E
ËE[XT
t ut|Xt]È
= 0.
Somit ist der Erwartungswert von vt = XTt ut ein Nullvektor.
– Wegen Annahme (B2b) gilt V ar(u|X) = ‡20I, sowie
V ar(ut|X) = EËu2
t |XÈ
= ‡20 für alle t = 1, 2, . . . , n.
EËE[u2
t |X]|Xt
È= E
Ëu2
t |Xt
È= V ar(ut|Xt) = ‡2
0.
V ar(vt) = V ar1XT
t ut
2= E
ËXT
t u2t Xt
È= E
ËE[u2
t XTt Xt|Xt]
È= ‡2
0EËXT
t Xt
È.
Da vt ≥ (0, V ar(vt)) und damit XTt ut ≥ (0, V ar(XT
t ut)) gilt, sowie eine Zufalls-stichprobe angenommen wurde, kann auf den Schätzer des Erwartungswert
µv,n = 1n
XT u = 1n
nÿ
t=1XT
t ut
der Multivariate Zentrale Grenzwertsatz (5.54) angewendet werden. Man erhält
Ônµv,n
d≠æ N
A
0, ‡20 lim
næŒ
1n
nÿ
t=1E
ËXT
t Xt
ÈB
.
Es lässt sich zeigen, dass aufgrund von Annahme (A1) gilt:
SXT X = limnæŒ
1n
nÿ
t=1E
ËXT
t Xt
È.
Damit erhält man
1Ôn
nÿ
n=1XT
t utd≠æ N
10, ‡2
0SXT X2
. (11.7)
– ˘ Verwendung des Cramér-Wold Devices: Wähle beliebigen (k ◊ 1)-Vektor ⁄.Mit den bisherigen Ergebnissen gilt
⁄T XTt ut ≥
10, ‡2
0⁄T EËXT
t Xt
È⁄
2.
215
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
Man betrachtet dann die asymptotischen Eigenschaften des Schätzers desErwartungswertes
‹n = 1n
nÿ
t=1⁄T XT
t ut
(= (skalare) Zufallsfolge). Unter der zusätzlichen Voraussetzung, dass dieStichprobenbeobachtungen stochastisch unabhängig sind und den üb-lichen Regularitätsbedinungen, lässt sich der Zentrale Grenzwertsatz für hete-rogene, aber unabhängige Zufallsvariable (5.53) anwenden und es gilt
Ôn‹n
d≠æ N
A
0, limnæŒ
1n
nÿ
t=1‡2
0⁄T EËXT
t Xt
È⁄
B
.
Da dies für alle ⁄ mit ||⁄|| > 0 gilt, kann man aufgrund des Cramér-WoldDevices ⁄ weglassen und man erhält
1Ôn
nÿ
t=1XT
t utd≠æ N
A
0, ‡20 lim
tæŒ
1n
nÿ
t=1E
ËXT
t Xt
ÈB
bzw. wieder1Ôn
nÿ
n=1XT
t utd≠æ N
10, ‡2
0SXT X2
. (11.7)
⇤
R-BefehleBerechnen der Varianz-Kovarianzmatrix von zwei Variablen mit cov(). Umrechnender Varianz-Kovarianzmatrix in eine Korrelationsmatrix mit cov2cor().
11.3. Exakte Tests
Anwendungen von exakten Tests:
• Spezifikation des normalen linearen Regressionsmodells und Überprüfen derAnnahmen, vgl. Abschnitt 11.1
– (B1) und E[u|X] = 0 ((B2a)): y = X— + u enthält DGP
ú t-Tests, siehe Abschnitt 11.3.1; F -Tests, siehe Abschnitt 11.3.2.
ú Testen der korrekten funktionalen Form, z. B. mit RESET-Test, siehe Abschnitt 15.3.
ú Testen auf Parameterstabilität, z. B. mit Chow-Test, siehe (11.34) in Abschnitte11.3.2.
– (B3): XT X hat Rang k: Verletzung führt zu Fehlermeldung „singuläre Matrix“.
216
11.3. Exakte Tests
– (B4): u|X ≥ N(0, ‡2I):
ú Setzt E[u|X] = 0 voraus, siehe oben.
ú Setzt voraus: V ar(u|Xt) = ‡2 (Homoskedastie): Tests auf Heteroskedastie, sieheAbschnitt 15.2.
– Exakte Verteilung: Unter den Annahmen (B1), (B3), (B4) und bekannter Fehlerva-rianz gilt unter H0:
z—2 |X ≥ N(0, 1). (11.10)
Die Testverteilung ist unter H0 vollständig bekannt.
Beweis:
Überblick über Vorgehensweise (Die Vorgehensweise ist analog zur Ableitungdes Tests bzgl. des Erwartungswertes (5.61))
1. Mit Hilfe des Frisch-Waugh-Lovell Theorems, Seite 159, lässt sich die Teststa-tistik z—2 als Linearkombination normalverteilter Fehler schreiben.
2. Da eine Linearkombination multivariat normalverteilter Zufallsvariablen wiedernormalverteilt ist, ist die Teststatistik z—2 normalverteilt.
3. Die Standardisierung in (11.9) wurde so gewählt, dass unter H0 (11.10) gilt
Die Schritte im Einzelnen
217
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
1. Berechnung der Teststatistik: Anwenden des FWL-Theorems auf —2 inM1y = M1x2—2 + M1u ergibt
—2 = xT2 M1y
xT2 M1x2
, ‡2—2
= ‡20(xT
2 M1x2)≠1
Einsetzen in (11.9) ergibt
z—2 =xT
2 M1yxT
2 M1x2≠ —2,H0
‡0(xT2 M1x2)≠1/2 .
Einsetzen von (11.8) mit —2 = —2,H0 , da H0 vorausgesetzt wird, liefert für z—2eine
Linearkombination von u
z—2 = xT2 M1u
‡0(xT2 M1x2)1/2 = Bu.
2. und 3. Ableitung der Verteilung: Aufgrund von (2.33) erhält man
z—2|X ≥ N(0, 1)
da E[z—2|X] = E[Bu|X] = 0 und
V ar(z—2|X) = V ar1B V ar(u|X)BT |X
2= E(xT
2 M1uuT M1x2|X1, x2)‡2
0(xT2 M1x2)
= ‡20(xT
2 M1x2)‡2
0(xT2 M1x2)
= 1.
⇤
– Gilt H1, so ist die Teststatistik ebenfalls normalverteilt, aber mit einem Mittelwert, dervon Null verschieden ist. Vgl. Berechnung der Powerfunktion in Abschnitt 5.6.
• t-Test bei geschätzter Fehlervarianz ‡2:
– Idee: (Vgl. Ableitung von (5.55) in Abschnitt 5.6) Man ersetzt in Teststatistik (11.9) ‡durch s. Damit ergibt sich für ‡—2
der Schätzer
s2—2
= s2(xT2 M1x2)≠1 = yT MXy
n ≠ k(xT
2 M1x2)≠1.
– Teststatistik:t—2 = —2 ≠ —2,H0
s—2
. (11.11)
– Exakte Verteilung: Unter den Annahmen (B1), (B3), (B4) und bekannter Fehlerva-rianz gilt unter H0:
t—2|X ≥ tn≠k. (11.12)Die Testverteilung ist unter H0 vollständig bekannt.
218
11.3. Exakte Tests
Beweis:
Überblick über Vorgehensweise
1. Umformulieren der Teststatistik als Quotient (11.13) der Teststatistik z—2 undeiner Zufallsvariable, für die in Schritt 2 die ‰2-Verteilung gezeigt wird.
2. Zeigen, dass Nenner in (11.13) ‰2-verteilt ist.
3. Zeigen, dass in (11.13) die normalverteilte Zufallsvariable im Zähler und die‰2-verteilte Zufallsvariable im Nenner stochastisch unabhängig sind
4. Gemäß (2.36) gilt dann die t-Verteilung.
Die Schritte im Einzelnen:
1. Berechnung: —2 bleibt gleich und die Varianz des Parameterschätzers ‡2—2
wird durch s2—2
geschätzt, so dass sich unter H0 ergibt:
t—2 =
Q
cccca
yT MXy(n ≠ k)
¸ ˚˙ ˝s2
R
ddddb
≠1/2
xT2 M1u
(xT2 M1x2)1/2
=A
yT MXy‡2
0(n ≠ k)
B≠1/2 xT2 M1u
(‡20xT
2 M1x2)1/2 = z—21s2
‡20
21/2 . (11.13)
2. Ableitung der Verteilung der Zufallsvariablen im Nenner:
Es gilt yT
‡0MX
y‡0
= uT
‡0MX
u‡0
= (n≠k)s2
‡20
≥ ‰2(n ≠ k), da u/‡0 ≥ N(0, I) und indem Ausdruck uT
‡0MX
u‡0
die Projektionsmatrix MX gerade Rang n≠k hat. Damitergibt sich aufgrund von (2.35) eine ‰2-Verteilung mit n ≠ k Freiheitsgraden.
3. Stochastische Unabhängigkeit von Zähler und Nenner
– Zähler:xT
2 M1y = xT2 PXM1y = xT
2 M1PXy
da x2 bereits im Unterraum von PX liegt und
PX (I ≠ P1)¸ ˚˙ ˝M1
= PX ≠ PXP1 = PX ≠ P1PX = M1PX
gilt. Zusammen mit PXy = X— + PXu ergibt sich für den Zähler
xT2 M1y = xT
2 M1X— + xT2 M1PXu,
dass dieser gegeben X ausschließlich vom Zufallsvektor PXu abhängt.
219
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
– Nenner: basiert auf der Wurzel aus der quadratischen Form von MXu/‡0
– Gegeben X sind die Zufallsvektoren im Zähler PXu und im Nenner MXu.Deren Kovarianz ist Null, da
E1PXuuT MX|X1, x2
2= PX‡2
0IMX = ‡20PXMX = 0,
da die jeweiligen Unterräume orthogonal zueinander stehen.
– Da PXu und MXu beide auf Basis desselben Vektors u multivariat normalver-teilt sind, ergibt sich aus der Unkorreliertheit Unabhängigkeit (vgl. Davidson(2000, Theorem C.4.1, S. 466)).
4. Gültigkeit der t-Verteilung:
Damit ist die t-Statistik (11.11) gemäß (2.36) unter H0 exakt t-verteiltmit n ≠ k Freiheitsgraden, da Zähler und Nenner stochastisch unabhängigsind, der Zähler standardnormalverteilt ist, sowie im Nenner yT
‡0MX
y‡0
gerade‰2(n≠k) verteilt ist und nach Division durch die Zahl der Freiheitsgrade gerades2/‡2
0 ergibt:
t—2|X = —2 ≠ —2,H0
s—2
|X ≥ tn≠k. (11.14)
⇤
• Mit dem t-Test können auch kompliziertere einzelne Restriktionen getestet werden.
Skalenelastizität einer Cobb-Douglas Produktionsfunktion:
log Y = —1 + —2 log K + —3 log L + u
wobei Y , K und L jeweils Output, Kapital und Arbeit bezeichnen. Die Null- bzw.Alternativhypothese einer linearen Skalenelastizität
H0 : —2 + —3 = 1 versus H1 : —2 + —3 ”= 1
lassen sich mit ◊ = —2 + —3 schreiben als
H0 : ◊ = 1 versus H1 : ◊ ”= 1,
wobei dann mit —3 = ◊ ≠ —2
log Y = —1 + —2(log K ≠ log L) + ◊ log L + u
geschätzt wird. Alternativ kann auch ein F -Test durchgeführt werden.
220
11.3. Exakte Tests
11.3.2. F -Tests: Testen mehrerer Restriktionen
Häufig impliziert eine (ökonomische) Theorie mehrere Restriktionen bezüglich der Parametereines Regressionsmodells.
• Beispiele möglicher linearer Restriktionen:
1. H0 : —2 = —k
2. H0 : —1 = 1, —k = 0
3. H0 : —1 = —3, —2 = —3
4. H0 : —j = 0, j = 2, . . . , k
5. H0 : —j + 2—j+1 = 1, —k = 2.
• Alle q Æ k linearen Restriktionen können in folgender Form dargestellt werden:
H0 : R— = r vs. H1 : R— ”= r (11.15)
wobei die (q ◊k)-Matrix R und der (q ◊1)-Vektor r gegeben und fest sind. Bei der Formulie-rung muss natürlich sichergestellt werden, dass alle Restriktionen in (11.15) widerspruchsfreiund nicht redundant sind.
Darstellungen der Beispiele:
1. H0 : —2 = —k … —2 ≠ —k = 0:
10 1 0 · · · 0 ≠1
2
Q
ccccccccca
—1—2—3...
—k≠1—k
R
dddddddddb
= 0.
2. H0 : —1 = 1, —k = 0:
A1 0 · · · 00 0 · · · 1
BQ
cccca
—1—2...
—k
R
ddddb=
A10
B
.
3. H0 : —1 = —3, —2 = —3:A
1 0 ≠10 1 ≠1
B Q
ca—1—2—3
R
db =A
00
B
.
221
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
Frage: Spielen die Variablen Offenheit und Fläche gemeinsam eine Rolle? Mitanderen Worten: Sind beide Parameter gemeinsam statistisch signifikant? DasHypothesenpaar lautet:
Schreiben der Nullhypothese in Matrixform H0 : R— = r
H0 :A
0 0 0 1 00 0 0 0 1
B
¸ ˚˙ ˝R
Q
cccccca
—1—2—3—4—5
R
ddddddb=
A00
B
¸ ˚˙ ˝r
. (11.16)
F -Test: Überblick und Zusammenfassung: (vgl. Abschnitt 5.6):
1. Hypothesenpaar mit disjunkter Null- und Alternativhypothese: Es können q Æ klineare Restriktionen überprüft werden, die in folgender Form dargestellt werden können:
H0 : R— = r vs. H1 : R— ”= r (11.15)
wobei die (q ◊ k)-Matrix R und der (q ◊ 1)-Vektor r gegeben und fest sind.
222
11.3. Exakte Tests
2. Teststatistik: Die F -Teststatistik lautet:
F =
1R— ≠ r
2T5R
1XT X
2≠1RT
6≠1 1R— ≠ r
2/q
s2 ≥ Fq,n≠k (11.17)
Die F -Statistik (11.28) ist F -verteilt mit q und n ≠ k Freiheitsgraden.
3. Entscheidungsregel für F -Test: Verwerfe H0 : R— = r, falls
F > Fq,n≠k,1≠–.
Alternativ: Lehne H0 ab, falls p-Wert kleiner Signifikanzniveau ist. (Falls ‡20 bekannt
ist, wird in F s2 durch ‡20 ersetzt und das 1 ≠ –-Quantil der ‰2-Verteilung mit n ≠ k
Freiheitsgraden verwendet, siehe (11.21).)
Ableitung der F -Teststatistik (11.17):
• Wie kann man eine skalare Teststatistik für mehrere Hypothesen bilden?
Grundidee: Durch Summieren der quadrierten Abweichungen1R— ≠ r
2T 1R— ≠ r
2> kritischer Wert.
Ist es möglich, für die quadrierten Abweichungen die Wahrscheinlichkeitsverteilung zubestimmen?
• Verteilung von R— ≠ r:
– Sind die Annahmen (B1) und (B3) erfüllt, gilt
R— = R—0 + R1XT X
2≠1XT u
bzw.
R1— ≠ —0
2= R
1XT X
2≠1XT u,
– Sind die Fehler außerdem multivariat normalverteilt gegeben X, d. h. gilt Annahme(B4) ist R
1— ≠ —0
2wegen (2.33) ebenfalls multivariat normalverteilt:
R1— ≠ —0
2|X ≥ N
30, ‡2
0 R1XT X
2≠1RT
4, (11.18)
wobei R1XT X
2≠1RT Rang q hat, da rk(AB) = rk(A), wenn B nicht singulär ist (vgl.
Schmidt & Trenkler 2006, Regel 3.2.7).
Beweis: Ableiten der Varianz:
V ar1R— ≠ R—0|X
2= V ar
1R—|X
2= RV ar
1—|X
2RT
= ‡20R
1XT X
2≠1RT
⇤223
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
– Addieren und Subtrahieren von r in R— ≠ R—0 = R— ≠ r + r ≠ R—0 liefert:
R— ≠ r|X ≥ N3
R—0 ≠ r, ‡20 R
1XT X
2≠1RT
4, (11.19)
– Unter H0 : R— = r, wobei — = —0 enthalten ist, vereinfacht sich (11.19) zu
R— ≠ r|X ≥ N3
0, ‡20 R
1XT X
2≠1RT
4, (11.20)
• Verteilung der gewichteten Quadratsumme:
– Fehlervarianz ‡20 bekannt: Aufgrund der Eigenschaften der ‰2-Verteilung (2.34) gilt
unter H0 für die gewichtete Summe der Quadrate des (q ◊ 1)-normalverteilten VektorsR— ≠ r (11.20) , dass
1R— ≠ r
2T5‡2
0R1XT X
2≠1RT
6≠1 1R— ≠ r
2≥ ‰2
q. (11.21)
Als Teststatistik sollte also eine gewichtete anstatt einer ungewichteten Summe derquadrierten Abweichungen von R— ≠ r verwendet werden, da hierfür die Verteilung unterH0 bei Kenntnis der Fehlervarianz ‡2
0 bekannt ist.
– Fehlervarianz ‡20 unbekannt: In der Teststatistik (11.21) steht die Fehlervarianz
‡20 im Nenner. Ersetzt man ‡2
0 durch den Schätzer s2, steht im Nenner nun auch eineZufallsvariable. Damit ist folgende Statistik ein Kandidat für die F -Verteilung
1R— ≠ r
2T5R
1XT X
2≠1RT
6≠1 1R— ≠ r
2
s2 . (11.22)
Überprüfen der Voraussetzungen für die F -Verteilung, vgl. (2.37): Damit eine Zufallsva-riable F -verteilt ist, müssen u. a. Zähler und Nenner ‰2-verteilt sein.
1. Zähler: Da (11.21) ‰2-verteilt ist, dividiert man Zähler und Nenner von (11.22) durch‡2
0, damit der neue Zähler wieder genau (11.21) entspricht und somit ‰2-verteilt ist:1R— ≠ r
2T5‡2
0R1XT X
2≠1RT
6≠1 1R— ≠ r
2
s2/‡20
. (11.23)
2. Nenner: Der Nenner s2/‡20 muss noch mit n ≠ k multipliziert werden, denn gemäß
vorherigen Abschnitt 11.3.1 zum t-Test gilt
(n ≠ k)s2/‡20 = yT MXy/‡2
0 = uT MTXMXu/‡2
0 ≥ ‰2n≠k. (11.24)
Man erhält:1R— ≠ r
2T5‡2
0R1XT X
2≠1RT
6≠1 1R— ≠ r
2
(n ≠ k)s2/‡20
. (11.25)
224
11.3. Exakte Tests
3. Zähler und Nenner in (11.25) stochastisch unabhängig? Ja.
Beweis:
ú Zähler und Nenner lassen sich jeweils als eine quadratische Form (vgl. Abschnitt9.3) xT
i Aixi, i = Z, N , schreiben:
ú Zähler:
xZ = R— ≠ r = R1XT X
2≠1XT u,
AZ =5‡2
0R1XT X
2≠1RT
6≠1
ú Nenner: Der Ausdruck in (11.24) ist auch eine quadratische Form mit
xN = MXu, (11.26)AN = I. (11.27)
ú Da AZ und AN gegeben X bekannt sind, sind die Verteilungseigenschaften vonxZ und xN entscheidend. Wegen Annahme (B4) ist u gegeben X multivariatnormalverteilt mit Erwartungswert Null. Deshalb sind auch xZ und xN gegebenX multivariat normalverteilt mit Erwartungswert Null. Da xZ und xN vondemselben multivariat normalverteilten Fehlervektor u abhängen, sind siestochastisch unabhängig, wenn sie unkorreliert sind, d. h. Cov(xZ , xN |X) =E
ËxZxT
N |XÈ
= 0 gilt. Einsetzen ergibt:
EËxZxT
N |XÈ
= E5R
1XT X
2≠1XT u(MXu)T |X
6
= R1XT X
2≠1XT E
ËuuT |X
ÈMX = ‡2
0R1XT X
2≠1XT MX¸ ˚˙ ˝
=0
= 0
Zähler und Nenner sind ‰2-verteilt, weil xZ und xN multivariat normalverteiltsind. Sind letztere stochastisch unabhängig, müssen dies auch davon abhängigeFunktionen, wie die hier vorliegenden quadratischen Formen sein. Deshalbsind Zähler und Nenner in (11.25) stochastisch unabhängig.
⇤
4. Division durch korrekte Zahl an Freiheitsgraden? Muss noch erfolgen. D. h. der Zählerin (11.25) muss durch die Anzahl der Restriktionen q dividiert werden. Der Nennerin (11.25) muss durch die korrekte Anzahl an Freiheitsgraden n ≠ k dividiert werden.Man erhält:
F =
1R— ≠ r
2T5‡2
0R1XT X
2≠1RT
6≠1 1R— ≠ r
2/q
[(n ≠ k)s2/‡20] /(n ≠ k) .
225
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
Beachte: ‡20 und n ≠ k kürzen sich heraus, so dass man (11.17) erhält. Damit ist F
unter H0 eine F -verteilte Teststatistik
F ≥ Fq,n≠k. (11.28)
Die F -Statistik (11.28) ist also F -verteilt mit q und n ≠ k Freiheitsgraden.
Die Teststatistik F wird als F -Statistik bezeichnet.
Alternative Schreibweisen der F -Statistik:
F =
1R— ≠ r
2T5R
1XT X
2≠1RT
6≠1 1R— ≠ r
2/q
s2 (11.17)
=
1— ≠ —0
2TRT
5R
1XT X
2≠1RT
6≠1R
1— ≠ —0
2/q
yT MXy/(n ≠ k) (11.29)
Güte von F -Tests:
• Es lässt sich zeigen, dass unter der Alternativhypothese alle Quantile der Verteilung derF -Statistik rechts von denen der F -Verteilung unter H0 liegen. Je weiter rechts die Quantileunter H1 im Vergleich zu den Quantilen unter H0 liegen (beispielsweise durch eine steigendeStichprobengröße n), desto größer ist auch die Güte des F -Tests.
Gemeinsame Ausschluss/Nullrestriktionen (joint exclusion restrictions): weitereBerechnungsmöglichkeiten der F -Statistik
• Man kann immer die Variablen in einem multiplen Regressionsmodell so umordnen, dassalle Ausschluss-/Nullrestriktionen bezüglich — in dem Modell
In diesem Fall existieren weitere Berechnungsmöglichkeiten der F -Statistik (vgl. auchÖkonometrie I), indem man das restringierte und das unrestringierte Modell getrenntschätzt:
1. Restringierte Regression: Regressiere y ausschließlich auf X1 und speichere die Resi-duenquadratsumme SSR1 = uT u oder im Fall einer in X1 enthaltenen Konstanten auchR2
1.
2. Unrestringierte Regression: Regressiere y auf X =1X1 X2
2und speichere SSR =
uT u bzw. R2.
Die weiteren Berechnungsmöglichkeiten sind (beachte q = k2):
F = (SSR1 ≠ SSR)/k2
SSR/(n ≠ k) (11.30)
=
1uT u ≠ uT u
2/k2
uT u/(n ≠ k)
= (R2 ≠ R21)/k2
(1 ≠ R2)/(n ≠ k) (11.31)
≥ Fk2,n≠k.
Fortsetzung Handelsströme: Überprüfen der Nullhypothese (11.16):
– Festlegen des kritischen Wertes c: Berechne 1 ≠ –-Quantil der F2,44-Verteilungmit R-Befehl qf(1-alpha,2,44). Für – = 0.05 erhält man 3.209278.
– Berechnen der F -Statistik und des p-Werts erfolgt am einfachsten mitdem R-Befehl linearHypothesis (erfordert R-Paket car):
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)alpha <- 0.05 # Signifikanznveau# Schätzen von Modell 4mod_4_kq <- lm(log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) +
227
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
log(cepii_dist) + ebrd_tfes_o + log(cepii_area_o))summary(mod_4_kq)qf(1-alpha,2,44) # Kritischer Wertlibrary(car) # Library car laden für F-Test
Res.Df RSS Df Sum of Sq F Pr(>F)1 46 39.6452 44 32.018 2 7.6272 5.2408 0.009088 **---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
– Die Nullhypothese wird abgelehnt. Mindestens eine der beiden Variablen O�en-heit bzw. log(Flaeche) ist auf dem 5%-Niveau signifikant von Null verschieden.
Beweis: ˘ Beweismöglichkeiten für (11.30) und (11.31)
– 1. Beweismöglichkeit: mit Hilfe der Formel zur Inversion partitionierterMatrizen
– 2. Beweismöglichkeit: mit Hilfe des Frisch-Waugh-Lovell Theorems:
1. Man beachte, dass die Residuenquadratsumme des unrestringierten Modells
SSR = yT MXy
mit Hilfe der Zerlegung der Residuenquadratsumme und des Frisch-Waugh-Lovell Theorems, siehe Abschnitt 7.1, auf Basis der Regression
M1y = M1X2—2 + Residuen
auch geschrieben werden kann als
SSR = TSS ≠ ESS
= yT M1y ≠ yT M1PM1X2M1y
= yT M1y ≠ yT M1 M1X21XT
2 M1M1X22≠1
XT2 M1
¸ ˚˙ ˝PM1X2
M1y
= yT M1y ≠ yT M1X21XT
2 M1X22≠1
XT2 M1y.
228
11.3. Exakte Tests
2. Der Zähler in der F -Statistik (11.30) ist dann
SSR1 ≠ SSR = yT M1y ≠5yT M1y ≠ yT M1X2
1XT
2 M1X22≠1
XT2 M1y
6
= yT M1X21XT
2 M1X22≠1
XT2 M1y (11.32)
= uT PM1X2u.
Das letzte Gleichheitszeichen gilt, da unter H0 M1y = M1u (verifizieren!).
3. Da PM1X2 eine Projektionsmatrix mit Rang k2 ist, folgt aus der Eigenschaft(2.35) der ‰2-Verteilung, dass bei normalverteilten Fehlern unter H0
SSR1 ≠ SSR = u‡
T
PM1X2u‡
≥ ‰2(k2).
Für den Nenner gilt
SSR = u‡
T
MXu‡
≥ ‰2(n ≠ k).
Zähler und Nenner sind also jeweils ‰2-verteilt.
Die Zufallsvektoren im Zähler PM1X2u und Nenner MXu haben KovarianzNull, da
MXM1 = M1MX
und folglichMXM1X2 = M1MXX2 = 0
(die Spalten von X2 sind im orthogonalen Raum zu MX enthalten) undsomit E
ËPM1X2uuT MX
È= 0. Aufgrund der multivariaten Normalvertei-
lungsannahme sind die Zufallsvektoren damit auch stochastisch unabhängig.
Damit gilt aufgrund der Definition der F -Verteilung
F = (SSR1 ≠ SSR)/k2
SSR/(n ≠ k) ≥ Fk2,n≠k
⇤
• Durch (11.32) ergibt sich noch eine weitere Schreibweise der F -Statistik (11.30)
F =yT M1X2
1XT
2 M1X22≠1
XT2 M1y/k2
yT MXy/(n ≠ k) (11.33)
• Die F -Statistik (11.30) kann auch für allgemeine lineare Restriktionen verwendet werden.Dazu muss jedoch das Modell unter H0 geeignet umgeformt werden, siehe Ökonometrie I.
Weitere bekannte F -Tests:
229
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
• Einzelne Hypothese: F -Statistik ist Quadrat der t-Statistik und entspricht einem zwei-seitigem t-Test.
• Chow-Strukturbruchtest: Test auf Konstanz aller/einiger Parameter über 2 Teilstich-proben, jeweils mit I und II indiziert, hinweg. Sind diese nicht konstant, muss man für jedeTeilstichprobe eine eigene Schätzung durchführen
Die Nullhypothese (Parameterkonstanz) lautetH0 : —I = —II .
Unter H0 ist also das Modelly = X— + u
zu schätzen.
Unter H1 hingegen können sich Elemente von —II und —I unterscheiden und man schätzt inMatrixschreibweise mit
y =A
yI
yII
B
, X =A
XI
XII
B
das Modelly = X— +
AO
XII
B
“ + u.
Das Hypothesenpaar lautet:H0 : “ = 0 versus H1 : “j ”= 0 für mindestens ein j.
Sind zusätzlich zu (B1), (B3), (B4) die Teilstichproben stochastisch unabhängig, ist derChow-Test exakt.
Pivote Tests
• Definition: Eine Zufallsvariable, z. B. eine Teststatistik unter H0, mit der Eigenschaft, dassihre Verteilung für alle DGPs in einem Modell M gleich ist, heißt pivot für das Modell M.
• Die Nullhypothese spezifiziert selten den kompletten DGP. Ist dies der Fall, spricht manvon einer einfachen Hypothese (simple hypothesis).
• I. Allg. enthält das Modell unter der Nullhypothese mehrere verschiedene DGPs: zusam-mengesetzte Hypothese (compound hypothesis). Hängt die exakte Verteilung einesTests einer zusammengesetzten Nullhypothese vom DGP ab, der die Stichprobendaten ge-neriert hat, ist die Teststatistik nicht pivot, da sich je nach spezifischen DGP bei gleicherNullhypothese die Testverteilung ändert. Eine Ausnahme bilden hierzu exakte Tests.
• Mögliche Auswege für alle anderen Fälle:– Ohne Kenntnis des DGP: asymptotisch pivote Tests, siehe nächsten Abschnitt 11.4,
d. h. die asymptotische Verteilung der Teststatistik ist pivot.– Bei Kenntnis des DGP: Monte-Carlo-Tests, siehe Abschnitt 11.5.1.– Ohne Kenntnis des DGP: Bootstraptests, siehe Abschnitt 11.5.2.
230
11.4. Asymptotische Tests
11.4. Asymptotische Tests
Das normale multiple lineare Regressionsmodell ist gegeben durch
y = X— + u, u|X ≥ N(0, ‡2I).
Ist die Annahme (B2) (streng) exogener Regressoren beispielsweise durch verzögerte endogeneVariable als Regressoren oder die Annahme (B4) normalverteilter Fehler nicht erfüllt, dannist die exakte Verteilung der t- und F -Statistiken aus Abschnitt 11.3 im Allgemeinen nichtanalytisch bestimmbar. Selbst wenn dies möglich wäre, wäre die Verteilung der t-Statistiki. Allg. nicht pivot.
• Unter den Annahmen (B1), (B2), (B3), (A1) und (A3) gilt, dass die eingeführten t-Testsund F -Tests asymptotisch gültig sind, da der KQ-Schätzer asymptotisch normalverteiltist.
• Die Ergebnisse bleiben auch unter den Annahmen des dynamisch linearen Regressionsmodells(C1), (C2), (C3) und (C4a) oder (C4b), siehe Abschnitt 13.4, gültig.
11.4.1. Asymptotischer t-Test
Hier: Der im linearen Regressionsmodell
y = X1—1 + x2—2 + u, ut|Xt ≥ (0, ‡2), t = 1, . . . , n.
zu testende Parameter ist —2.
Asymptotischer t-Test: Überblick
1. Das Hypothesenpaar lautet: H0 : —2 = —2,H0 versus H1 : —2 ”= —2,H0 .
2. Teststatistik und Testverteilung: Unter H0 gilt:
t—2 = —2 ≠ —2,H0
s—2
= z—2
(s2/‡20)1/2
d≠æ N(0, 1).
3. Entscheidungsregel: analog zu Entscheidungsregel bei zwei- oder einseitigenTests.
Hinweis: In der Praxis wird überlicherweise die t-Verteilung mit n≠k Freiheitsgradenverwendet, da diese häufig eine bessere Approximation der (unbekannten) exakten Verteilungals die Standardnormalverteilung liefert.
Ableitung der asymptotischen Verteilung
1. Nenner: Unter H0 giltplimnæŒ
1s2/‡2
0
21/2= 1.
231
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
2. Zähler: Der Zähler in (11.13) wird mit n≠1/2 erweitert zu
z—2 = n≠1/2xT2 M1u
‡0(n≠1xT2 M1x2)1/2
und hat o�ensichtlich Erwartungswert 0 und die Varianz 1, da die Varianz des Zählersgerade dem Quadrat des Nenners entspricht (beides verifizieren!).
3. Unter der Annahme, dass die Regularitätsbedingungen für einen multivariaten ZentralenGrenzwertsatz für n≠1/2xT
2 M1u (also für (A1), (A3)) erfüllt sind, resultiert
z—2d≠æ N(0, 1).
4. Mit der Regel, siehe Abschnitt 3.4 „Falls and≠æ a und plim An = A, dann gilt Anan
d≠æAa“ folgt
t—2 =1s2/‡2
0
2≠1/2
¸ ˚˙ ˝P≠æ1
z—2¸˚˙˝d≠æN(0,1)
d≠æ N(0, 1) (11.35)
Dann erhält man unter H0 asymptotisch wieder die Standardnormalverteilung und alleEigenschaften des t-Tests bleiben asymptotisch gültig.
11.4.2. Asymptotischer F -Test
Asymptotischer F -Test: Überblick
1. Hypothesenpaar mit disjunkter Null- und Alternativhypothese: wie bei exaktemF -Test.
2. Teststatistik und Testverteilung: Unter H0 gilt:
qFn =1R(— ≠ —0)
2T Ës2R(XT X)≠1RT
È≠1 1R(— ≠ —0)
2d≠æ ‰2(q) (11.36)
In kleinen Stichproben wird stattdessen häufig direkt die F -Statistik zusammen mit einer(approximativen) F -Verteilung mit q und n ≠ k Freiheitsgraden verwendet, da diese häufigeine bessere Approximation der (unbekannten) exakten Verteilung als die ‰2-Verteilungliefert.
3. Entscheidungsregel:
qF > ‰2q,1≠– (11.37)
F > Fq,n≠k,1≠– (11.38)
Alternativ: Lehne H0 ab, falls p-Wert (auf Basis der asymptotischen Verteilung) kleinerSignifikanzniveau ist.
Ableitung asymptotischer F -Test
232
11.4. Asymptotische Tests
• Wenn die relevanten Annahmen, vgl. Beginn des Abschnitts, erfüllt sind, so dassÔ
n1— ≠ —0
2d≠æ N
10, ‡2
0S≠1XT X
2
gilt, folgt aus dem Theorem über stetige Abbildungen (3.3) und den Eigenschaften der‰2-Verteilung (2.34) eine asymptotische ‰2-Verteilung:
n1— ≠ —0
2T ˇ2
0S≠1XT X
È≠1 1— ≠ —0
2d≠æ ‰2(k). (11.39)
• Asymptotische Verteilung der F -Statistik (11.28): Unter Anwendung von Anand≠æ Aa,
vgl. Abschnitt 3.4, erhält man aus (11.28) zusammen mit plimnæŒ s2 = ‡20 und (A1) (bzw.
(C3)) wieder (11.39) nachdem mit q multipliziert wurde. Damit gilt unter H0
qFn =1R— ≠ r
2T Ës2R(XT X)≠1RT
È≠1 1R— ≠ r
2d≠æ ‰2(q). (11.36)
• Für den Fall von Ausschlussrestriktionen lässt sich unter H0 die F -Statistik (11.28) alternativschreiben als (11.33). In diesem Fall gilt natürlich auch
qFn = qyT M1X2
1XT
2 M1X22≠1
XT2 M1y/q
yT MXy/(n ≠ k)d≠æ ‰2(q). (11.40)
• Da gilt (vgl. Abschnitt 2.9), dass für n æ Œ eine Folge von F -verteilten ZufallsvariablenXn ≥ F (q, n ≠ k) gegen eine ‰2-Verteilung konvergiert,
qXnd≠æ ‰2(q), (11.41)
kann Fn auch durch eine F (q, n ≠ k)-Verteilung approximiert werden, die in kleinen Stich-proben sogar häufig eine bessere Approximation liefert als die ‰2-Verteilung.
Güte: Es kann gezeigt werden, dass unter H1 gilt
qFnæŒ≠æ Œ. (11.42)
Damit geht für n æ Œ die Güte asymptotisch gegen 1, da limnæŒ P (qF > c) = 1. In endlichenStichproben ist die Güte typischerweise kleiner als 1.
Tatsächliche versus nominale Größe
• Tatsächliche Größe: Größe eines Tests (5.59), die sich auf Basis der exakten, aber mögli-cherweise unbekannten Verteilung ergibt.
• Nominale Größe: Größe eines Tests, die sich auf Basis der asymptotischen Verteilungergibt.
• Da bei exakten Tests die exakte Verteilung für jeden DGP und Stichprobengröße bekanntist, stimmen nominales und tatsächliches Signifikanzniveau überein.
• Bei asymptotischen Tests ist die Übereinstimmung von nominalem und tatsächlichemSignifikanzniveau umso besser, je genauer die asymptotische Verteilung die tatsächlicheVerteilung (die im Allgemeinen vom DGP und der Beobachtungszahl abhängt) approximiert.Für vorbestimmte DGPs lässt sich der Grad der Übereinstimmung mit Monte-Carlo-Simulationen feststellen. 233
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
• Bei asymptotischen Tests ist die tatsächliche Größe unbekannt. Deshalb wird der kritischeWert so gewählt, dass die nominale Größe dem gewählten Signifikanzniveau entspricht.
• Ein Test heißt “oversized”, wenn die tatsächliche Größe (z. B. durch Simulationen bestimmt)größer als das Signifikanzniveau ist.
11.5. Monte-Carlo-Tests und Bootstraptests
11.5.1. Monte-Carlo-Tests
• Empirische Verteilungsfunktion (empirical distribution function) der beobachte-ten Stichprobenelemente xt, t = 1, . . . , n:
F (x) = 1n
nÿ
t=11(xt Æ x), (11.43)
wobei 1(·) die Indikatorfunktion
1(A) =Y]
[1 falls A wahr0 falls A falsch
(11.44)
bezeichnet.
Fundamental Theorem of Statistics Die empirische Verteilungsfunktion ist im Falli.i.d.-verteilter Zufallsvariablen konsistent
plim F (x) = F (x). (11.45)
Die i.i.d.-Annahme kann abgeschwächt werden.
• Notation in diesem Abschnitt: · bezeichnet eine beliebige Teststatistik und · = ·(X, y)einen auf Basis von Stichprobenbeobachtungen berechneten Wert der Teststatistik · .
• Der exakte p-Wert einer berechneten Teststatistik · mit rechtsseitigem kritischenWert ergibt sich (vgl. (5.66)) aus
p(·) := P (· > · |◊H0) = 1 ≠ P (· Æ · |◊H0) = 1 ≠ F (· |◊H0), (11.46)
wobei hier F (·|◊H0) die exakte Verteilung der berechneten Teststatistik · unter H0 bezeich-net.
Zur Erinnerung: Lehne H0 ab, falls p(·) < – bzw. · > c–.
Ist F (·|◊H0) unbekannt, lässt sich die Testverteilung durch die empirische Verteilungsfunktionbeliebig genau approximieren, sofern der DGP vollständig bekannt ist oder der Testpivot ist. Je größer die Zahl der Replikationen (Monte-Carlo-Simulationen) B, desto genauerdie Approximation. Der computer-simulierte p-Wert ist
p(·) = 1 ≠ F (· |◊H0) = 1 ≠ 1B
Bÿ
j=11(· ú
j Æ ·), (11.47)
wobei · új der Wert der Teststatistik in der j-ten Simulation unter H0 ist.
234
11.5. Monte-Carlo-Tests und Bootstraptests
• Die Durchführung eines Monte-Carlo-Tests erfordert die Generierung von Zufallszahlen mitHilfe eines Zufallszahlengenerators, siehe hierzu z. B. Davidson & MacKinnon (2004, S.157-159).
11.5.2. Bootstraptests
• Die Idee eines Bootstraptests ist, den unbekannten DGP zu schätzen und dann die Technikdes Monte-Carlo-Tests anzuwenden.
• Notwendige Voraussetzung: Alle notwendigen Eigenschaften des DGPs können konsistentmit geeigneter Konvergenzrate geschätzt werden.
1. Unter H0 sind die KQ-Parameterschätzer konsistent und damit auch die geschätztenFehler
plimnæŒ
ut = plimnæŒ
1yt ≠ —n1xt1 ≠ · · · ≠ —n,k≠1xt,k≠1
2
= yt ≠ xt1 plimnæŒ
—n1 ≠ · · · ≠ xt,k≠1 plimnæŒ
—n,k≠1
= yt ≠ —1xt1 ≠ · · · ≠ —k≠1xt,k≠1 = ut.
2. ’Asymptotisch’ kann man also auch aus den Fehlern mit Zurücklegen ziehen (resampling),denn aufgrund des Fundamental Theorems of Statistics approximiert die empirischeVerteilung der ut’s die wahre Fehlerverteilung.
3. Statt der unbekannten Fehler lassen aufgrund der Konsistenz des Residuenschätzers auchdie Residuen verwenden.
4. Verfeinerungen:
– reskalierte Residuen (rescaled residuals)
u+t = ut
An
n ≠ kH0
B1/2
.
Damit wird die Varianz der Residuen, die ja kleiner ist als die Varianz der Fehler (vgl.Abschnitt 9.5), so korrigiert, dass sie der geschätzten Varianz der Fehler s2 entspricht.
– zentrierte und reskalierte Residuen (centered residuals)
u+t =
1ut ≠ ¯u
2 An
n ≠ kH0
B1/2
.
Dies ist notwendig, wenn z. B. das Regressionsmodell keine Konstante enthält, denndann ist der Mittelwert der Residuen ungleich Null und damit wird der Bootstraptestverzerrt.
• Wild Bootstrap und Block Bootstrap: Im Fall heteroskedastischer und autokorrelier-ter Fehler funktionieren die obigen Verfahren nicht. Hier sind kompliziertere Verfahrennotwendig.
236
11.5. Monte-Carlo-Tests und Bootstraptests
• Zahl der Bootstrapreplikationen: Wähle B so, dass das Quantil, vgl. (2.8) in Abschnitt2.5.1, für Fehler 1. Art exakt zu bestimmen ist:
– Insgesamt gibt es B + 1 Rangpositionen r für die Teststatistik · . Beispiel: B = 2, wobeidie Ränge absteigend angeordnet werden (vgl. Davidson & MacKinnon (2004), S. 164):
r = 2 : · < minj
(· új ), r = 1 : min
j(· ú
j ) < · < maxj
(· új ), r = 0 : max
j(· ú
j ) < ·
– Dividiert man die Rangposition r durch die Anzahl der Bootstrapreplikationen B erhältman den p-Wert für · , denn 0 = 0
BÆ r
BÆ B
B= 1.
– Damit lehnt der Bootstraptest unter H0 ab, wenn r/B < –, wobei – das gewählteSignifikanzniveau bezeichnet. Es gilt also r < B–.
– Es bezeichne ÂxÊ die größte ganzzahlige Zahl, die kleiner x ist. Dann lässt sich fürgegebenes B– die Anzahl an Rängen, für die H0 abgelehnt wird, ausdrücken als ÂB–Ê + 1.Beispiel: B = 9 und – = 0.5. Damit wird für r = 0, 1, 2, 3, 4 die Nullhypothese abgelehnt.Es gibt ÂB–Ê + 1 = Â4.5Ê + 1 = 5 Rangpositionen mit Ablehnung.
– Da es insgesamt B + 1 Rangpositionen gibt, mussÂB–Ê + 1
B + 1gleich – sein. Gegeben – bestimmt man B also aus
–(B + 1) = –BÊ + 1.
Für – = 0.05 ist beispielsweise B = 99 sinnvoll.
Bemerkungen
• Bootstraptest statt asymptotischem Test?
Wenn
– die Verteilung der Teststatistik asymptotisch pivot ist und
– die Fehler des Modells i.i.d. sind (andernfalls müssen kompliziertere Bootstrapmethodenherangezogen werden, z. B. Block Bootstrap bei korrelierten Fehlern),
dann konvergiert die Verteilung des Bootstraptests mit wachsendem Stichprobenumfangschneller gegen die (unbekannte) exakte Verteilung der Teststatistik als die asymptotischeVerteilung, genauer gesagt mit n≠1 anstatt mit n≠1/2. Dies erklärt die weite Verbreitungvon Bootstrap.
• Achtung: Ist die Teststatistik nicht asymptotisch pivot, dann haben der Bootstraptest undder asymptotische Test die gleiche Konvergenzrate, Bootstrap bringt dann also nichts.
• Bootstrapverfahren lassen sich auch unter bestimmten Bedingungen bei dynamischen Re-gressionsmodellen anwenden. Dann wird für die j-te Stichprobe (yú
j , Xúj) auch Xú
j generiert.Zur Durchführung in einem einfachen Beispiel siehe Davidson & MacKinnon (2004, p. 160).
237
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
• Weiterführende Literatur: z. B. Horowitz (2001), Horowitz (2003).
11.6. Konfidenzintervalle und -ellipsoide
11.6.1. Konfidenzintervalle
• Definition: Konfidenzintervall:
– Ein Zufallsintervall, das auf Basis von Stichprobeninformation (y, X) berechnet werdenkann und mit Wahrscheinlichkeit 1 ≠ – den wahren Parameterwert ◊0 enthält, heißtKonfidenzintervall. (Daraus folgt, dass bei einer großen Anzahl von Stichproben, die allevon demselben DGP erzeugt wurden, der wahre Parameterwert ungefähr in 1 ≠ – allerberechneten Konfidenzintervalle enthalten sein sollte.)
– Davidson & MacKinnon (2004, Chapter 5) wählen eine alternative Definition: Fasst manalle Nullhypothesen (bzgl. eines Parameters)
H0 : ◊ = ◊H0 ,
die zu einem gegebenen Signifikanzniveau von – nicht abgelehnt werden, in einem Intervallzusammen, erhält man ein Konfidenzintervall mit Konfidenzniveau
1 ≠ –.
– Formal: Gegeben eine nichtnegative Teststatistik ·(y, X, ◊H0) und ein Signifikanzniveau–, enthält ein Konfidenzintervall alle ◊H0 , für die gilt
KI =Ó◊H0|P◊H0
(·(y, X, ◊H0) Æ c–) = 1 ≠ –Ô
, (11.48)
wobei P◊H0(·) bedeutet, dass die Wahrscheinlichkeit unter der jeweiligen Nullhypothese
H0 berechnet wird und c– der kritische Wert zum Signifikanzniveau – ist.
– Die Grenzen [◊l, ◊u] des Konfidenzintervalls ergeben sich durch Lösung von
·(y, X, ◊) = c–
nach ◊ und ergeben sich sozusagen durch „Invertierung“ der Teststatistik ·(y, X, ◊H0).
• Die Länge und Grenzen von Konfidenzintervallen sind zufällig, da sie von der Stichprobey, X abhängen.
• Die Überdeckungswahrscheinlichkeit (coverage probability) gibt die Wahrschein-lichkeit an, dass man eine Stichprobe zieht und auf deren Basis ein Konfidenzintervallberechnet, das den wahren Parameter ◊0 enthält.
• Liegt bereits eine Stichprobe vor, dann ist der wahre Parameter ◊0 entweder in dem aufBasis der beobachteten Stichprobe berechneten Konfidenzintervall enthalten oder nicht. Mitanderen Worten, es macht keinen Sinn, bei einer bereits vorliegenden Stichprobe voneiner Überdeckungswahrscheinlichkeit bezüglich der vorliegenden Stichprobe zu sprechen.
238
11.6. Konfidenzintervalle und -ellipsoide
• Exakte Konfidenzintervalle überdecken den wahren Parameter ◊0 mit einer Überde-ckungswahrscheinlichkeit von 1 ≠ –. Dies ist dann der Fall, wenn die Teststatistik in (11.48)pivot ist.
• Ist die Teststatistik in (11.48) nicht pivot, aber asymptotisch pivot, d. h. deren asym-ptotische Verteilung ist für alle DGPs unter der Nullhypothese bekannt und unabhängigvom jeweiligen DGP im betrachteten Modell M, dann erhält man ein asymptotischesKonfidenzintervall.
• Bei asymptotischen Konfidenzintervallen stimmen die tatsächliche und die nominal (ge-wählte) Überdeckungswahrscheinlichkeit im Allgemeinen nicht überein. Stehen mehrereVerfahren zur Berechnung von approximativen Konfidenzintervallen zur Verfügung, soll-te man dasjenige wählen, für das der Unterschied zwischen tatsächlicher und nominalerÜberdeckungswahrscheinlichkeit möglichst klein ist.
• Wird anstelle eines Parameters ein Parametervektor betrachtet, erhält man mehrdimen-sionale Konfidenzellipsoide, siehe Abschnitt 11.6.2.
• Asymptotisches Konfidenzintervall für —j im multiplen linearen Regressionsmo-dell auf Basis der ‰2-Statistik
·(y, X, —j,H0) =Q
a —j ≠ —j,H0
s—j
R
b2
mits—j
= s(xTj M≠jxj)≠1/2,
wobei M≠j = I ≠ X≠j
1XT
≠jX≠j
2≠1XT
≠j und X≠j enthält alle Regressoren außer den j-tenRegressor.
– Die Grenzen des Konfidenzintervalls ergeben sich ausQ
a —j ≠ —j,H0
s—j
R
b2
= c– = q1≠–
(wie oben durch Auflösen nach —j,H0) als
[—j ≠ s—jc1/2
– , —j + s—jc1/2
– ].
– Für – = 0.05 ergibt sich für das (1 ≠ –)-Quantil c– = q1≠– der ‰2-Verteilung c1/2– =Ô
3.84 = 1.96 = z1≠–/2, wobei z— das —-Quantil der Standardnormalverteilung bezeichnet.
– Dieses Intervall ist identisch mit dem Intervall, das man auf Basis der t-Statistik erhält,wenn man deren asymptotische Standardnormalverteilung zugrunde legt.
– Asymmetrische Konfidenzintervalle sind z. B. auf Basis der t-Statistik möglich. Wannwill man ein asymmetrisches Konfidenzintervall?
239
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
• Ein exaktes Konfidenzintervall für —j im normalen linearen Modell wird auf Basisder t-Statistik und t-Verteilung mit n ≠ k Freiheitsgraden bestimmt:
P
Q
at–/2(n ≠ k) Æ —j ≠ —j,H0
s—j
Æ t1≠–/2(n ≠ k)R
b = 1 ≠ –
liefert[—j ≠ s—j
t1≠–/2(n ≠ k), —j ≠ s—jt–/2(n ≠ k)]
bzw.[—j ≠ s—j
t1≠–/2(n ≠ k), —j + s—jt1≠–/2(n ≠ k)].
• Zusammenhang t-Test und Konfidenzintervall: Da ein zweiseitiger t-Test einem F -Test entspricht, wenn die t-Statistik quadriert wird, folgt aus der hier durchgeführtenKonstruktion von Konfidenzintervallen, dass die Nullhypothese eines zweiseitigen t-Testsmit Signifikanzniveau – genau dann nicht abgelehnt werden kann, wenn die Nullhypotheseinnerhalb des Konfidenzintervalls mit Konfidenzniveau 1 ≠ – liegt.
• Bootstrapkonfidenzintervalle
– Berechnung der kritischen Werte durch Bootstrap, siehe Abschnitt 11.5.2.
– Wichtig: Ein Bootstrapkonfidenzintervall kann im Vergleich zu einem asymptotischenKonfidenzintervall nur dann schneller gegen das exakte Konfidenzintervall konvergieren,wenn die damit assoziierte asymptotische Verteilung der Teststatistik pivot ist!
– Es existieren verschiedene Methoden zum Durchführen des Bootstrap
Unterschiede ergeben sich hinsichtlich
ú der Schätzmethode für die Parameter (—, ‡0) des DGP,
ú des Bootstrapverfahrens zum Ziehen der Fehler,
ú der Wahl der t-Statistik oder der F -Statistik als Grundlage.
– Wird die t-Statistik verwendet, ist die Boostrapverteilung häufig asymmetrisch undman muss die Grenzen des Konfidenzintervalls sorgfältig bestimmen, siehe Davidson &MacKinnon (2004, Section 5.3).
– Konfidenzintervalle auf Basis der t-Statistik werden häufig als studentized bootstrapconfidence interval oder als percentile-t oder bootstrap-t confidence interval bezeichnet.
11.6.2. Konfidenzellipsoide
• Wenn (11.39) gilt und R = Ik gewählt wird, ergibt sich die Begrenzung des approximativenKonfidenzellipsoids aus
·(y, X, —0) = kFn = c– = q1≠–.
240
11.7. Empirische Analyse von Handelsströmen: Teil 3
• Gilt die Normalverteilung für die KQ-Schätzer exakt, dann lassen sich auch exakte Konfi-denzellipsoide auf Basis der F -Statistik und dem dazugehörigen kritischen Wert aus derF -Verteilung mit q und n ≠ k Freiheitsgraden bestimmen.
• Es kann passieren, dass ein Parametervektor — in einem Konfidenzellipsoid liegt, aber nichtin den einzelnen Konfidenzintervallen für die einzelnen Elemente von — und umgekehrt(bitte graphisch verifizieren!). Ursache hierfür ist i. Allg. eine starke Kollinearität zwischenden einzelnen Parameterschätzern. Vgl. Diskussion in Ökonometrie I.
• Konfidenzellipse: zweidimensionales Konfidenzellipsoid, Beispiel in Abs. 11.7.
• Es lassen sich wie im eindimensionalen Fall Konfidenzellipsoide mit Bootstrapverfahrenberechnen.
11.7. Empirische Analyse von Handelsströmen: Teil 3
Fortsetzung der Empirische Analyse von Handelsströmen: Teil 2 in Abschnitt 10.3.
Wiederholen der Schätzung des im Schritt II.3 gewählten Modell 4 (auf Basis des AIC)
Residual standard error: 0.853 on 44 degrees of freedom(1 observation deleted due to missingness)Multiple R-squared: 0.9062, Adjusted R-squared: 0.8976F-statistic: 106.2 on 4 and 44 DF, p-value: < 2.2e-16
4. Überprüfen des gewählten Modells (Teil 1):
• Testen der zugrundegelegten Modellannahmen: Entweder
241
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
– (B1), (B3), (B4) (vgl. Abschnitt 11.3), so dass exakte Tests durchgeführt werdenkönnen, oder
– (B1), (B2), (B3), (A1) und (A3), so dass asymptotische Tests durchgeführtwerden können.
• Beispiel einer Annahmeüberprüfung: Gilt die Annahme von homoskedastisch verteil-ten Fehlern (B2b), auch Voraussetzung für (B4)?
Plot der Residuen gegen die gefitteten Werte y = X— mit
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Modell 4 wurde in Abschnitt 10.3 berechnetresid_mod_4_kq <- mod_4_kq$resid # Residuen von Modell 4trade_0_d_o_fit <- mod_4_kq$fitted # Gefittete Werte von Modell 4
# Plot der Residuen vs. der gefitteten Werteif (save.pdf) pdf("plot_fits_vs_resids_mod_4.pdf", 6, 6)plot(trade_0_d_o_fit, resid_mod_4_kq, col = "blue", pch = 16, main = "Scatterplot")if (save.pdf) dev.off()
– Residuen sind unter den oben genannten Annahmen konsistente Schätzer der Fehler,d. h.
plimnæŒ
ut = ut,
so dass in großen Stichproben Betrachtung der Residuen einer Betrachtung der unbe-kannten Fehler nahe kommt.
– y = X— = PXy liegt in dem Unterraum der X.
Deshalb deutet eine Abhängigkeit der Streuung der Residuen ut von yt darauf hin, dassdie Verteilung der Fehler von einem oder mehreren Regressoren abhängt.
Ursache kann
– eine Verletzung der Annahme homoskedastischer Fehler oder
– eine fehlspezifizierte Regressionsfunktion sein.
Im vorliegenden Fall optisch schwer zu sagen, daher besser: Verwendung von Heteroske-dastietests, siehe Abschnitt 15.2, oder Tests auf korrekte Spezifikation der funktionalenForm, siehe Abschnitt 15.3.
• Prüfen einer möglichen Verletzung der Annahme normalverteilter Fehler (B4).
242
11.7. Empirische Analyse von Handelsströmen: Teil 3
●
●
●
●
●
●
●●
●
●
●
●
●
●
● ●
●
●
●●
●
●
●
●●
●
●●
●
●
●
● ●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
16 18 20 22 24 26
−2−1
01
Scatterplot
trade_0_d_o_fit
resid_mod_4_kq
– Plot eines Histogramms und einer geschätzten Dichte der Residuen sowie einerNormalverteilungsdichte mit entsprechender Varianz und Berechnet verschiedenerKennzahlen mit
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Plot des Histogramms der Residuenif (save.pdf) pdf("plot_hist_resids_mod_4.pdf", 6, 6)hist(resid_mod_4_kq, breaks = 20, col = "lightblue", prob = T, main = "Histogram")
– Berechnen von statistischen Kenngrößen der Residuen, inklusive eines Normalitäts-
243
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
test ((Lominicki-)Jarque-Bera-Test, siehe Abschnitt 15.4). Der (Lominicki-)Jarque-Bera-Test kann mit R-Befehl jarque.test(model_kq)(erfordert R-Paket moments)berechnet werden.
Histogram
resid_mod_4_kq
Den
sity
−2 −1 0 1
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
est. densitytheoreticalnormal distribution Mean -1.304583e-17
Median 1.612610e-01Maximum 1.524291e+00Minimum -2.182553e+00Std. Dev. 8.167224e-01Skewness -6.341491e-01Kurtosis 3.084715e+00Jarque Bera 3.298837e+00Probability 1.921616e-01
Je kleiner p-Wert des Normalitätstests, desto eher kann man bei streng exogenen Regres-soren erwarten, dass Approximationsfehler der asymptotischen Normalverteilung geringist.
p-Wert des (Lomnicki-)Jarque-Bera-Tests widerspricht optischem Eindruck: Annahmenormalverteilter Fehler wird nicht abgelehnt, da p-Wert zu groß.
• noch besser als Histogramm: Plot einer geschätzten Dichte und Vergleich mit Dichteder Normalverteilung mit der geschätzten Fehlervarianz.
Siehe Abschnitt 15.7 für Fortsetzung der Modellüberprüfung Überprüfen des gewähltenModells (Teil 2).
5. Verwenden des überprüften Modells: Konfidenzintervalle und Durchführen vonTests:
• Konfidenzintervalle
– Wahl eines Konfidenzniveaus 1 ≠ –, im Folgenden 95%.
– Berechnen der Konfidenzintervalle aller geschätzten Regressionsparameter mit
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)#### Konfidenzintervalleconfint(mod_4_kq)
H0 : Die BIP-Elastizität der Importe ist 1. versus H1 : Die Elastizität ist ungleich 1.H0 : —2 = 1 versus H1 : —2 ”= 1.
– Wähle Signifikanzniveau, z. B. – = 0.05.
Berechnen der (approximativen) kritischen Werte: n ≠ k = 49 ≠ 5 = 44 Freiheits-grade. Da die t-Statistik unter strengen Annahmen exakt t-verteilt ist, aber unterschwächeren Annahmen die t-Verteilung eine gute Approximation darstellt, werdendie (approximativen) kritischen Werte auf Basis der t-Verteilung bestimmt:
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Bestimmen der kritischen Werte
– Berechne t-Statistik aus der passenden Zeile des OutputsCoefficients:Estimate Std. Error t value Pr(>|t|)log(wdi_gdpusdcr_o) 1.02502 0.07654 13.392 < 2e-16 ***
mit R-Befehl
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)(t <- (coefficients(mod_4_kq)["log(wdi_gdpusdcr_o)"]-1)/
Da p-Wert größer als gewähltes Signifikanzniveau, lässt sich H0 nicht ablehnen (selbstdann nicht, wenn ein Signifikanzniveau von 10% gewählt werden würde.
Der p-value besagt, dass man unter H0 in etwa 75 von 100 Stichproben eine t-Statistikerhalten würde, deren Absolutbetrag mindestens 0.33 beträgt.
– Falls bereits (approximatives) Konfidenzintervall zu —2 mit Konfidenzniveau 1 ≠ –vorliegt: Liegt Wert der Nullhypothese im Konfidenzintervall, wird H0 nicht abgelehnt.
Alternativ und schneller: Verwenden des R-Befehls linearHypothesis (erfordertR-Paket car).
Beachte: es berechnet F = t2, p-Werte auf Basis der F1,n≠k-Verteilung
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)library("car")(F_stat <- linearHypothesis(mod_4_kq,c("log(wdi_gdpusdcr_o)=1")))
Res.Df RSS Df Sum of Sq F Pr(>F)1 45 32.0952 44 32.018 1 0.077776 0.1069 0.7453
• Einseitiger Test
– Man kann bzgl. des Modell (11.49) auch eine Hypothese hinsichtlich eines negativenEinflusses von Entfernung auf Importe aufstellen. Da man Evidenz für —3 < 0 erhält,indem —3 Ø 0 statistisch verworfen wird, lautet das Hypothesenpaar:
H0 : —3 Ø 0 versus H1 : —3 < 0.
246
11.7. Empirische Analyse von Handelsströmen: Teil 3
– Wahl eines Signifikanzniveaus von – = 0.05 und Berechnen des (approximativen)kritischen Werts. Beachte, dass nur der linke kritische Wert benötigt wird, dader Parameterbereich der Alternativhypothese links vom Parameterbereich der Null-hypothese liegt und damit auch der kritische Bereich links vom Nichtablehnbereichliegt:
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)alpha <-0.05(qt(alpha,mod_4_kq$df))
ergibt 4.783876e-07. Die Entfernung hat also selbst auf dem 1% Signifikanzniveaunegativen Einfluss.
– Interpretation: Steigt die Entfernung um 1%, dann fallen ceteris paribus die erwar-teten Importe nach Deutschland um ca. 0.9%.
247
11. (Asymptotische) Verteilung des KQ-Schätzers und Tests
• F-Test: Testen gemeinsamer Hypothesen:
– Frage: Im Modell (11.49) sind die Parameter der Variablen O�enheit und Fläche fürdas gewählte Signifikanzniveau von 5% nicht statistisch signifikant. Kann es jedoch sein,dass beide Parameter gemeinsam statistisch signifikant sind? Das Hypothesenpaarlautet:
In beiden Fällen liegt die jeweilige Teststatistik im kritischen Bereich, so dass dieNullhypothese auf dem 5%-Signifikanzniveau abgelehnt wird. Auf Basis beider p-Wertelässt sich sehen, dass die Nullhypothese auch auf dem 1%-Signifikanzniveau abgelehntwird.
– Interpretation: Mindestens eine der beiden Variablen O�enheit oder logarithmierteFläche hat einen Einfluss auf die Exporte nach Deutschland. Eine mögliche Ursachefür die unterschiedlichen Testergebnisse der Einzeltests und der gemeinsamen Tests istdie Korrelation von 0.42 zwischen den Parameterschätzern, siehe unten.
• Korrelationsmatrix der Parameterschätzungen
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)# Kovarianzmatrix
In diesem Kapitel geht es hauptsächlich um Modelle für univariate Zeitreihen. Zeitreihen sindStichproben, in denen die Beobachtungen über die Zeit hinweg vorliegen. Eine Zeitreihe istunivariat, wenn genau eine Variable über die Zeit hinweg vorliegt.
Beispiel: Das ifo Geschäftsklima: Abbildung 12.1 zeigt die Zeitreihen der monat-lichen Indices der ifo Geschätserwartungen, der ifo Geschäftsbeurteilung und desifo Geschäftsklimas für den Zeitraum Januar 1991 bis September 2015.
8590
95105
115
Geschaeftsklima
90100
110
120
Geschaeftsbeurteilung
8090
100
110
1995 2000 2005 2010 2015
Geschaeftserwartungen
Zeit
ifo Geschäftsdaten
Abbildung 12.1.: Die ifo Geschäftserwartungen, die ifo Geschäftsbeurteilung und das ifo Geschäftsklima für diegewerbliche Wirtschaft (Januar 1991 bis November 2014) (R-Programm, siehe AbschnittA.9, Seite 348 )
Zeitreihen sind Realisationen von DGPs, die dann als stochastische Prozesse bezeichnet werden.Letztere werden im Folgenden genauer betrachtet. Modelle für univariate Zeitreihen sindMengen, die stochastische Prozesse enthalten.
die auf einer Ergebnismenge � und einer vorgegebenen Indexmenge T definiert sind(Hassler (2007, Abschnitt 2.3), Mikosch (1998, Section 1.2)).
Bemerkungen:
• Englische Bezeichnungen: stochastic process, random process, random sequence (Davidson2000, Section 4.1).
• Weitere gebräuchliche Schreibweisen sind: {yt}tœT oder auch ohne Angabe der Indexmenge{yt}.
• Stellt der Index t die Zeit dar, wird ein stochastischer Prozess auch als Zeitreihenprozessbezeichnet:
– Zeitstetige Prozesse: T ist ein Intervall in R.
– Zeitdiskrete Prozesse: T ist eine endliche oder abzählbar unendliche Menge, typischer-weise ist T = Z oder T = N.
Bei zeitdiskreten Prozessen unterscheidet man zeitdiskrete stochastische Prozesse mit
ú regelmäßiger Beobachtungsfrequenz:
Beispiele: monatliche Beobachtungen des ifo Geschäftsklimas, jährliche Wachs-tumsraten des BIP, wöchentliche Beobachtungen des DAX.
ú unregelmäßiger Beobachtungsfrequenz:
Beispiel: Reuter’s Tickerdaten.
• Univariate und multivariate stochastische Prozesse:
– Univariater stochastischer Prozess: yt ist eine skalare Zufallsvariable
Beispiel: Beobachtungen des ifo Geschäftsklimaindex.
– Multivariater stochastischer Prozess: yt ist ein Zufallsvektor.
Beispiel: yt =
Q
caifo Geschäftsklimat
ifo Geschäftsbeurteilungt
ifo Geschäftserwartungent
R
db .
In diesem Kapitel betrachten wir fast ausschließlich zeitdiskrete univariate stochastische Pro-
252
12.1. Stochastische Prozesse
zesse mit regelmäiger Beobachtungsfrequenz. In Kapitel 13 werden Modelle für multivariatestochastische Prozesse genauer betrachtet.
• Literatur zu allgemeinen Existenzbedingungen für stochastische Prozesse ist in Hassler(2007, Abschnitt 2.3, Fußnote 9) angegeben.
• Wichtig: Ein stochastischer Prozess ist eine Funktion von 2 Variablen:
– Für eine gegebene Zeitperiode t0 ist
yt0 = y(t0, Ê), Ê œ �,
eine Zufallsvariable. Die Erwartungswerte E[yt] = µt, t œ T, heißen Ensemblemittel-werte. Abbildung 12.2 zeigt für jede Zeitperiode t verschiedene Realisationen.
●
●●
●● ●
● ●
● ●
●
●
●● ●
●●
●
●
●
5 10 15 20
−50
5
t
y t
●
● ●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●●
●
●
●●
●
●●
●●
●
●
● ●●
● ●
●●
●●
●
●
●
●●
●
●
●
● ●
●
●
●
●
●
●
●
●
●● ● ●
●
●●
●
●
●
●
●
●
●
●
●
●
● ●
●●
●
●
●
● ●● ●
● ● ● ●
●
●
●●
●
●
● ●
●
● ●
● ●●
●
●
●●
●
● ●
●
●
● ●
●
● ●
●
●● ●
●
●
●●
●
● ●
●
●●
●
● ●
●
●
●
●
● ●●
●
●
●
● ●
●●
●
●
●
● ●
●
●
● ●
●
●●
●●
●
●
●
●
●●
●●
●
●
●●
●
● ●
Abbildung 12.2.: Zehn verschiedene Realisationen für jede Zeitperiode t eines stochastischen Prozesses (R-
Programm, siehe Abschnitt A.10, 349 )
– Für ein gegebenes Elementarereignis Ê0 ist
yt = y(t, Ê0), t œ T,
eine Funktion der Zeit.
Die Funktion wird dann eine Realisation, eine Trajektorie oder ein Pfad des stochas-tischen Prozesses {yt} genannt. Abbildung 12.3 zeigt verschiedene Trajektorien einesstochastischen Prozesses. Manche Autoren bezeichnen ausschließlich die Realisation einesstochastischen Prozesses als Zeitreihe (Hassler 2007, Abschnitt 2.3).
253
12. Univariate Zeitreihenmodelle
5 10 15 20
−50
5
t
x t
Abbildung 12.3.: Zehn verschiedene Trajektorien eines stochastischen Prozesses (R-Programm, siehe Ab-schnitt A.10, 349 )
Zusammenfassung Realisation
• einer Zufallsvariable: Zahl
• eines stochastischen Prozesses: Trajektorie, Pfad: Funktion der Zeit t bzw. eine Folgevon reellen Zahlen.
DGPs, gemeinsame und bedingte Dichten für stochastische Prozesse
• Univariate stochastische Prozesse
Der DGP eines univariaten stochastischen Prozesses {yt|t œ T}, T = {1, 2, . . . , T} für Tmögliche Stichprobenbeobachtungen (y1, y2, . . . , yT ) ist vollständig bestimmt durch diegemeinsame Dichte fY1,Y2,...,YT
(y1, y2, . . . , yT ), die wiederum als Produkt von bedingtenDichten dargestellt werden kann (vgl. für multivariate stochastische Prozesse (5.2) inAbschnitt 5.1):
fY1,Y2,...,Yn(y1, y2, . . . , yn) =TŸ
t=1fYt|Yt≠1,...,Y1(yt|yt≠1, . . . , y1). (12.2)
254
12.1. Stochastische Prozesse
• Multivariate stochastische Prozesse
(Vgl. (5.2) in Abschnitt 5.1 ):
fY1,Y2,...,YT(y1, y2, . . . , yT ) =
TŸ
t=1fYt|Yt≠1,...,Y1(yt|yt≠1, . . . , y1) (5.2)
Vollständig und partiell spezifizierte Zeitreihenmodelle
• Sind die bedingten Dichten fYt|Yt≠1,...,Y1(yt|yt≠1, . . . , y1) bzw. fYt|Yt≠1,...,Y1(yt|yt≠1, . . . , y1),t = 1, . . . , T , bekannt, kennt man den DGP des stochastischen Prozesses.
• Vollständig spezifizierte Modelle
Zeitreihenodelle, bei denen die bedingten Dichten modelliert werden, sind vollständigspezifiziert.
• Partiell spezifizierte Modelle
Häufig ist man nur an einzelnen Charakteristika der bedingten Dichten interessiert,typischerweise dem bedingten Erwartungswert oder der bedingten Varianz. Dann ist esim Allgemeinen ausreichend, Modelle mit partiell spezifizierten stochastischen Prozessenzu verwenden:
• Würden R Realisationen y(r)t für yt vorliegen, könnten wir Schätzer des Erwartungswertes
µt = 1R
Rÿ
r=1y(r)
t
verwenden.Problem: In der Praxis ist typischerweise R = 1.
• Zentrale Frage: Unter welchen Bedingungen lässt sich Ensemblemittelwert µt durchden Zeitmittelwert
yT = 1T
Tÿ
t=1yt (12.3)
schätzen? Beachte: hier R = 1.
• Antwort erfordert Maße zur Quantifizierung der stochastischen Abhängigkeiten zwischenBeobachtungen zu verschiedenen Zeitpunkten sowie Konzepte, die eine Konstanz vonrelevanten Eigenschaften stochastischer Prozesse über die Zeit hinweg definieren (u. a.des Ensemblemittelwertes µt = µ). Diese werden im Folgenden eingeführt. Die Antwortenselbst finden sich in Abschnitt 12.4.1.
Messung der zeitlichen stochastischen Abhängigkeiten
Zur Messung der Abhängigkeitsstruktur, die durch die bedingten Dichten charakteri-siert wird, werden typischerweise folgende Maße verwendet (Darstellung für univariatestochastische Prozesses):
• Autokovarianzfunktion
• Autokorrelationsfunktion
• Partielle Autokorrelationsfunktion
Konzepte, die eine Konstanz von relevanten Eigenschaften stochastischer Pro-zesse über die Zeit hinweg definieren
• Mittelwertstationärität
• schwache Stationärität
256
12.1. Stochastische Prozesse
• strenge Stationarität
AutokovarianzfunktionDie Autokovarianzfunktion eines stochastischen Prozesses {yt|t œ T} ist für alle t, t≠k œ T,k ganzzahlig, definiert als
Partielle AutokorrelationsfunktionDie partielle Autokorrelationsfunktion gibt die bedingte Autokorrelation zwischen yt undyt≠k an, wobei die Bedingung sich aus allen Beobachtungen zusammensetzt, die zwischenden Perioden t und t ≠ k liegen, also yt≠1, . . . , yt≠k+1,
Corr (yt, yt≠k|yt≠1, . . . , yt≠k+1) .
Mehr dazu inklusive Beispiele in Abschnitt 12.3.3. (??)
Stationaritätskonzepte
Mittelwertstationärer Prozess{yt} ist mittelwertstationär, wenn gilt
µt = µ für alle t œ T. (12.5)
Über die Autokovarianzen wird nichts angenommen.
Schwach stationärer bzw. kovarianzstationärer ProzessEin univariater stochastischer Prozess {yt|t œ T} wird als (schwach) stationär oderkovarianzstationär bezeichnet, wenn folgende Eigenschaften bzgl. der ersten beidenMomente erfüllt sind:
• E[yt] = µ für alle t œ T,
257
12. Univariate Zeitreihenmodelle
• Cov(yt, yt≠k) = “k, für alle t, t ≠ k œ T,
d. h. der Mittelwert hängt nicht von der Zeitperiode t ab und die Autokovarianzfunktionhängt ausschließlich vom Lag k, nicht jedoch von der Zeitperiode t ab.
Folgerungen:
• Schwach stationäre Prozesse sind homoskedastisch, da für k = 0 gilt V ar(yt) = “0.
Die Definition erfolgt hier für multivariate stochastische Prozesse: Ein multivariater stochas-tischer Prozess {yt} wird als streng stationär (strictly stationary) bezeichnet, wennfür jede beliebige Menge an Zeitindizes t1 < t2 < · · · < tm die gemeinsame Wahrscheinlich-keitsverteilung für (yt1 , yt2 , . . . , ytm) und die gemeinsame Wahrscheinlichkeitsverteilungfür (yt1+k, yt2+k, . . . , ytm+k) für beliebige ganzzahlige k gleich sind.
Beispiele für streng stationäre univariate Prozesse
•
Ayt
yt≠1
B
≥ N
Q
ccccca
A00
B
¸ ˚˙ ˝µ
,
A1 0.8
0.8 1
B
¸ ˚˙ ˝�
R
dddddb
undA
yt+k
yt+k≠1
B
≥ N(µ, �)
haben die gleiche bivariate Normalverteilung für beliebige t, t≠1, t+k, t+k≠1 œT.
• ˘ Gegeben sei die Zufallsvariable z1 mit einer beliebigen Verteilung. Dann ist
zt = z1, t = 2, 3, . . . ,
ein streng stationärer Prozess, wobei alle Autokorrelationen für k ”= 0 Eins sind(Hayashi 2000, Example 2.2).
258
12.1. Stochastische Prozesse
Stochastische Prozesse ohne Autokorrelationen
Weißes Rauschen (White Noise)
ut ≥ WN(0,‡2) bedeutet für alle t œ T:
• E[ut] = 0,
• V ar(ut) = E[u2t ] = ‡2,
• Cov(ut, ut≠k) = 0 für k ”= 0.
Die Bedingungen bedeuten, dass der unbedingte Mittelwert von ut für jede Periode Nullist und keine Heteroskedastie vorliegt.
Beachte: Es wird keine Annahme über die Verteilung der ut’s gemacht, sondern es werdenlediglich die ersten beiden Momente spezifiziert.
Unabhängiges Weißes Rauschen
Eine Folge von IID Zufallsvariablen wird als IID-Prozess oder unabhängiges WeißesRauschen bezeichnet:
ut ≥ IID(0, ‡2), t œ T.
D. h., es hilft nichts, ut≠k zu beobachten, um die Wahrscheinlichkeit zu präzisieren, dasseine Realisation von ut in einem bestimmten Intervall auftritt.
Beachte: Es wird auch keine Annahme über die Verteilung der ut’s gemacht.
Gaußsches Weißes Rauschen (Gaussian White Noise)
Fügt man zum unabhängigen Weißen Rauschen eine Normalverteilungsannahme hinzu, soerhält man Gaußsches Weißes Rauschen:
ut ≥ NID(0, ‡2), t œ T,
bzw.u ≥ N(0, ‡2I).
Beachte: Unabhängiges Weißes Rauschen und Gaußsches Weißes Rauschen sind beide strengstationär.
R-BefehleErzeugen von Gaußschem Weißem Rauschem mit rnorm().
˘ Beispiele für Weißes Rauschen, die jedoch kein unabhängiges WeißesRauschen sind
259
12. Univariate Zeitreihenmodelle
• (Hayashi 2000, Example 2.4): Die Zufallsvariable w sei auf [0, 2fi] gleichverteiltund ut = cos(tw), t = 1, 2, . . .. Damit ist E[ut|ut≠k] ”= 0, t ≠ k, k > 0, da alle ut
von Ê beeinflusst werden. Es kann kein unabhängiges Weißes Rauschen vorliegen.Trotzdem gilt E(ut) = 0, V ar(ut) = 1/4, Cov(ut, ut≠k) = 0, k ”= 0, so dassWeißes Rauschen vorliegt.
• Ein einfacher Prozess mit bedingter Heteroskedastie, nämlich ein ARCH(1)-Prozess ≠æ Applied Financial Econometrics.
Im Folgenden werden (partiell spezifizierte) univariate lineare stochastische Prozesse behandelt,die Autokorrelationen ungleich Null zulassen.
Dabei wird nur eine kurze Einführung gegeben. Sehr gute, detaillierte Lehrbücher sind:Hamilton (1994), Kirchgässner et al. (2013), Neusser (2009) und die anwendungsorientierteDarstellung in Lütkepohl & Kraetzig (2008).
12.2. Lineare stochastische Prozesse und Moving-Average-Prozesse
Linearer ProzessEin stochastischer Prozess {yt}tœZ heißt linearer Prozess, falls er folgende Darstellungbesitzt (Neusser (2006, Definition 2.4),Brockwell & Davis (1991, Section 11.1, p. 404))
yt =Œÿ
j=≠ŒÂjut≠j (12.6)
mit den Parametern Âj œ R, j œ Z, und
ut ≥ WN(0, ‡2), (12.7a)Œÿ
j=≠Œ|Âj| < Œ. (12.7b)
Beispiel: yt = Â0ut + Â≠1ut+1 + Âut≠1
Bemerkungen:
• Ohne Spezifizierung der Verteilung von ut ist ein linearer stochastischer Prozess nur partiellspezifiziert (vgl. Weißes Rauschen).
• Beachte: Bei unendlichen Summen von Zufallsvariablen ist das Vertauschen vonErwartungswert und Summierung im Allgemeinen nicht möglich.
Ein Vertauschen von Erwartungswert und unendlicher Summe ist nur dann möglich,wenn für die unendliche Summe ein geeignet definierter Grenzwert existiert.
Obige Bedingung (12.7b) ist hinreichend dafür, dass die unendliche Summe von Zufallsvaria-blen qŒ
j=≠Œ Âjut≠j gegen einen wohldefinierten Grenzwert konvergiert, der mit yt bezeichnet
260
12.2. Lineare stochastische Prozesse und MA-Prozesse
wird. Die Konvergenz erfolgt mit Wahrscheinlichkeit Eins (Brockwell & Davis 1991,Proposition 3.3.1, S. 83).
Damit kann bei Gültigkeit von (12.7b) Erwartungswert und Summierung vertauscht werden.Diese Bedingung kann noch etwas abgeschwächt werden; siehe Appendix A.2 in Fortge-schrittene Ökonometrie.
• Unter allen genannten Bedingungen ist der lineare Prozess schwach stationär.
• Beachte, dass in dieser allgemeinen Definition yt auch von zukünftigen Fehlern ut≠j, j < 0,beeinflusst sein darf. Wird dies ausgeschlossen, dann erhält man einen Moving AverageProzess, siehe (12.8) weiter unten.
Lag-Operator
Der Lag-Operator definiert eine Operation auf einer geordneten Menge (z. B. einemdiskreten stochastischen Prozess), auf der er jedes Element auf das vorangegangeneElement abbildet
Bemerkungen: Bei einem MA(Œ)-Prozess hat die Zukunft keinen Einfluss auf die Gegenwart.
Eigenschaften
• Mittelwert: E[yt] = E[qŒj=0 Âjut≠j] = qŒ
j=0 ÂjE[ut≠j] = 0. Das Vertauschen von Erwar-tungswert und unendlicher Summe ist möglich, da qŒ
j=0 |Âj| < Œ, so dass (12.7b) gilt.
• (Auto)Kovarianzfunktion:
Cov(yt, yt≠k) = E[ytyt≠k]
= E
S
U
Q
aŒÿ
j=0Âjut≠j
R
bA Œÿ
l=0Âlut≠k≠l
BT
V
=Œÿ
j=0
Œÿ
l=0ÂjÂlE[ut≠jut≠k≠l]
=Œÿ
j=0
Œÿ
l=0ÂjÂl
Y]
[‡2 falls t ≠ j = t ≠ k ≠ l
0 sonstmit j = k + l
= ‡Œÿ
l=0Âk+lÂl = “k. (12.9)
• Varianz
“0 = V ar(yt) = ‡2Œÿ
j=0Â2
j < Œ. (12.10)
• ˘ Technische Bemerkung zur Ableitung von (12.9) und (12.10): Es kann gezeigt werden,dass unter (12.7b) der Grenzwert
1qŒj=0 Âjut≠j
2(qŒ
l=0 Âlut≠k≠l) als ytyt≠k wohldefiniert ist,sodass das Vertauschen von Erwartungswert und Summierung möglich ist. Man beachte, dassaus qŒ
j=0 |Âj| < Œ folgt: qŒj=0 Â2 < Œ. Die letztgenannte Bedingung ist eine notwendige
Bedingung für die Existenz der Varianz in (12.10). Sie wird als quadatische Summierbarkeitbezeichnet.
Spezialfälle für die Praxis:
MA(q)-Prozesse
yt =qÿ
l=0Âjut≠j (12.11)
Eigenschaften wie bei MA(Œ)-Prozessen außer:
“k = 0, |k| > q. (12.12)
262
12.3. AR-Prozesse
R-Befehle• Generieren von MA(q)-Prozessen: mit Hilfe des Befehls filter mit der Spezifikation
sides=1,method="convolution".
• Berechnen der theoretischen Autokorrelationsfunktion. mit Befehl ARMAacf
Beispiel: Generieren eines MA(2)-Prozesses und theoretische Autokor-relationsfunktion
• DGP: yt = ut + Â1ut≠1 + 0.6ut≠2, ut ≥ NID(0, 4).
• Stichprobengröße, bzw. (-länge): n = 1000 R-Programm, siehe Abschnitt A.11,Seite 350 liefert Abbildung 12.4 und Autokorrelationen fl0 = 1, fl1 = 0.64, fl2 = 0.3und flk = 0 für k = 3, . . ..
Time
y
0 20 40 60 80 100
−6−4
−20
24
6
Abbildung 12.4.: Eine Realisierung für n = 100 eines MA(2)-Prozesses mit Â1 = 0.8 und Â2 = 0.6 und ‡
2 = 4(R-Programm, siehe Abschnitt A.11, Seite 350)
Problem bei MA(q)-Prozessen: Sie können nicht mit OLS geschätzt werden, sondern er-fordern Maximum-Likelihood-Schätzverfahren, siehe Fortgeschrittene Ökonometrie. Hin-gegen können die nun folgenden autoregressiven Prozesse mit OLS geschätzt werden.
12.3. Autoregressive Prozesse
263
12. Univariate Zeitreihenmodelle
Autoregressiver Prozess der Ordnung p (AR(p)-Prozess)
Ein stochastischer Prozess {yt} heißt autoregressiver Prozess der Ordnung p (AR(p)-Prozess), wenn er folgende stochastische Di�erenzengleichung
R-BefehleGenerieren von AR(p)-Prozessen: mit Hilfe des Befehls filter mit der Spezifikationmethod="recursive".
Die Ableitung der Eigenschaften von AR(p)-Prozessen ist aufwendiger als bei MA-Prozessenund unterbleibt deshalb. Allerdings lassen sich die wesentlichen Eigenschaften gut anhand vonAR(1)-Prozessen analysieren.
12.3.1. AR(1)-Prozesse
Stochastische Eigenschaften eines AR(1)-Prozess
yt = ‹ + –1yt≠1 + ut, ut ≥ WN(0, ‡2), t œ T, (12.16)
• Lösung: k-maliges Einsetzen liefert:
yt = ‹ + ‹–1 + –1 (–1yt≠2 + ut≠1) + ut = · · ·
= ‹j≠1ÿ
k=0–k
1 + –j1yt≠j +
j≠1ÿ
k=0–k
1ut≠k.
264
12.3. AR-Prozesse
Für j = t
yt = ‹t≠1ÿ
k=0–k
1 + –t1y0 +
t≠1ÿ
k=0–k
1ut≠k. (12.17)
• Stabilitätseigenschaften
Für (12.17) gilt für beliebige –1 und ‹ = 0, T = N, Startwert y0 und j = t:
– AR-Prozess explosiv, falls |–1| > 1.
– Random Walk mit/ohne Drift, falls – = 1:
ú Random Walk mit Drift, falls –1 = 1, ‹ ”= 0:
yt = ‹ t + y0 +t≠1ÿ
j=0ut≠j. (12.18)
ú Random Walk ohne Drift, falls –1 = 1, ‹ = 0:
yt = y0 +t≠1ÿ
j=0ut≠j. (12.19)
Beispiel: Abbildung 12.3 zeigt verschiedene Realisationen eines RandomWalks.
– AR-Prozess stabil, falls |–1| < 1.
Stationärer (und stabiler) AR(1)-Prozess: Wenn t œ Z und j æ Œ (Prozess schonunendlich lange gelaufen), gilt für |–1| < 1
j=0 –2j1 falls V ar(y0) = 0 und t = 1, 2, . . . — abhg.v. t,
–k1‡2/(1 ≠ –2
1) falls |–1| < 1 und t œ Z — unabhg.v. t,(t ≠ k)‡2 falls –1 = 1, V ar(y0) = 0, t = 1, 2, . . . — abhg.v. t.
• Schwach stationärer AR(1)-Prozess Falls |–1| < 1 und t œ Z, ist ein AR(1)-Prozessschwach stationär, da die ersten beiden Momente unabhängig von t sind:
E[yt] = µ = ‹/(1 ≠ –1)V ar(yt) = “0 = ‡2/(1 ≠ –2
1)Cov(yt, yt≠k = “k = –k
1“0
• Autokorrelationsfunktion Im Fall eines schwach stationären AR(1)-Prozesses gilt
flk = Corr(yt, yt≠k) = –k1 (12.21)
• Eigenschaften eines (schwach) stationären AR(1)-Prozesses: Falls |–1| ”= 0:
– “k ”= 0 für alle k œ Z,
– Autokovarianzen und Autokorrelationen konvergieren exponentiell schnell gegen Null:
“k = –k1“0,
flk = –k1
D.h. die Wirkung von Schocks wird relativ schnell ’vergessen’. Man spricht deshalb auchvon Modellen mit kurzem Gedächtnis (short memory). In extremem Gegensatzhierzu steht der Random Walk. Hier liegt ein perfektes Gedächtnis vor, da die Wirkungeines Schocks niemals vergessen wird. Random Walks sind ein Beispiel von Modellenmit langem Gedächtnis (long memory). Siehe Bemerkung nach Gleichung (12.32).
Beispiel: Plot der Autokorrelationsfunktion (12.21) eines AR(1)-Prozessesfür –1 = 0.8 und k = 1, . . . , 20ar1_acf <- ARMAacf(ar=0.8,lag.max=20)plot(ar1_acf,ylab="Autokorrelationen",xlab="Lag",cex=0.8,xlim=c(0,20))
266
12.3. AR-Prozesse
0 5 10 15 20
0.0
0.2
0.4
0.6
0.8
1.0
Lag
Autokorrelationen
Abbildung 12.5.: Autokorrelationsfunktion eines AR(1)-Prozesses mit –1 = 0.8
Beispiel: Plot einer Realisation eines AR(1)-Prozesses
Parameter des DGPs: ‹ = 1, –1 = 0.8, ‡2 = 4 mit n = 500. Abbildung 12.6 zeigteines Realisation, generiert mit R-Programm, siehe Abschnitt A.12, Seite 350.
0 100 200 300 400 500
−50
510
15
Zeit
y t
Abbildung 12.6.: Realisation eines AR(1)-Prozesses mit ‹ = 1, –1 = 0.8, ‡
2 = 4, y0 = 0 und n = 500 (R-Programm siehe Abschnitt A.12, Seite 350 )
267
12. Univariate Zeitreihenmodelle
• (Asymptotische) Stationarität:
– Falls |–1| < 1, gilt
limtæŒ
E(yt) = µ,
limtæŒ
Cov(yt, yt≠k) = “k,
und der AR(1)-Prozess ist asymptotisch stationär.
– Jeder stationäre Prozess ist asymptotisch stationär.
– Ist ein Prozess nicht asymptotisch stationär, ist er nichtstationär.
– Welche Bedingungen sind für strenge Stationarität erforderlich?
• Invertierbarer AR(1)-Prozess: Definiert man Âj = –j, dann lässt sich die Darstellung(12.20) mit Â0 = 1 und Âj = 0, j < 0, auch als MA(Œ-Prozess) (12.8)
yt = µ +Œÿ
j=0Âjut≠j, t œ Z, (12.22)
schreiben. Der AR(1)-Prozess heißt dann invertierbar.
• Das AR(1)-Modell ist partiell spezifiziert. Um Realisationen mittels einer Monte-Carlo-(MC-)Studie generieren zu können, müssen zusätzliche Annahmen getro�en werden, z. B.:
– ein Startwert y0 = 0,
– ein Parameterwert – = 0.9 und
– eine Verteilung für die Fehler ut ≥ NID(0, 2). Siehe Abschnitt 2.9.1 zu Definition vonNID.
Damit ist der DGP bekannt und folgende MC-Studie zur Überprüfung der Verzerrung desKQ-Schätzers kann durchgeführt werden.
12.3.2. Komplexe Zahlen
Um die Notwendigkeit des Studiums komplexer Zahlen zu motivieren, untersuchen wir dieStabilitätseigenschaften eines AR(2)-Prozesses.
Stabilitätseigenschaften eines AR(2)-Prozesses
• Darstellung als Verknüpfung von zwei AR(1)-Prozessen
Folgende Abbildung ist an Neusser (2009, Bild A.1, S. 260) angelehnt:
●
−2 −1 0 1 2
−2−1
01
2
Realteil
Imaginärteil
●
z=a+ib=reiθ
r
ib
a
●
z=a−ib=re−iθ−ib
θ
a2 + b2 = 1
−1
−i
i
1
270
12.3. AR-Prozesse
Rechenregeln
• Addition: (a + ib) + (c + id) = (a + c) + i(b + d)
• Subtraktion: (a + ib) ≠ (c + id) = (a ≠ c) + i(b ≠ d)
• Multiplikation:
(a + ib)(c + id) = (ac ≠ bd) + i(ad + bc)
• Division:
a + ib
c + id= (ac + bd) + (bc ≠ ad)
c2 + d2
• Betrag: r = |z| = z · z = (a + ib)(a ≠ ib) = a2 + b2
• cos ◊ = a/r
• sin ◊ = b/r
• Satz von Moivre:
zn = (rei◊)n
= rnein◊
= rn(cos n◊ + i sin n◊)
Fundamentalsatz der Algebra
Jedes Polynom mit Koe�zienten „1, . . . , „p œ R
�(z) = 1 ≠ „1z ≠ „2z2 ≠ · · · ≠ „pzp (12.23)
vom Grade p Ø 1 zerfällt in der Menge (präzise: Körper) der komplexen Zahlen C genauin p lineare Faktoren (besitzt also p komplexe Nullstellen, Wurzeln, roots ⁄≠1
1 , . . . , ⁄≠1p ),
wobei manche Nullstellen mehrfach vorkommen können (siehe Neusser 2009, S. 261):
�(z) = (1 ≠ ⁄1z)(1 ≠ ⁄2z) · · · (1 ≠ ⁄pz).
Diese Wurzeln können reell oder komplex sein und treten im komplexen Fall als Wurzelpaarekonjugierter Wurzeln auf. Liegen c komplexe Wurzelpaare und r reelle Wurzeln vor, sogilt: p = 2c + r.Die ⁄1, . . . , ⁄p heißen Eigenwerte des Polynoms �(z).
Beispiel: Das Polynom �(z) = z3 ≠ 2z2 ≠ 23z + 150 hat in R eine Nullstelle{z1 = ≠6}, zerfällt aber in C in alle Einzelbestandteile (Linearfaktoren) mit dem
271
12. Univariate Zeitreihenmodelle
komplexen Wurzelpaar {z2,3 = 4 ± 3i}, kann also geschrieben werden:
�(z) = (z + 6) · (z2 ≠ 8z + 25)¸ ˚˙ ˝
Faktorisierung über R
= (z + 6) · (z ≠ 4 ≠ 3i) · (z ≠ 4 + 3i)¸ ˚˙ ˝
Linearfaktorisierung über C
= (1 + 16¸˚˙˝⁄1
z) · (1 ≠ (0.16 ≠ 0.12i)¸ ˚˙ ˝
⁄2
z) · (1 ≠ (0.16 + 0.12i)¸ ˚˙ ˝
⁄2
z)
Der Fundamentalsatz der Algebra ermöglicht die Analyse der Stabilitätseigenschaften vonAR(p)-Prozessen.
Momente eines (schwach) stationären AR(p)-Prozesses
• Mittelwert/Erwartungswert:
E[yt] = µ = ‹/–(1) = µ/(1 ≠ –1 ≠ –2 ≠ · · · ≠ –p) für alle t. (12.27)
• Varianz und Autokovarianzfunktion:
Die Varianz und die Autokovarianzen eines schwach stationären AR(p)-Prozesses sinddurch die folgenden Yule-Walker-Gleichungen bestimmt (vgl. Hamilton (1994, S.59, Gl. (3.4.36)))
“k =I
–1“1 + –2“2 + · · · + –p“p + ‡2 für k = 0–1“k≠1 + –2“k≠2 + · · · + –p“k≠p für k = 1, 2, . . .
(12.28)
Es kann gezeigt werden, dass die Autokovarianzen eines stationären AR(p)-Prozessesexponentiell schnell gegen Null konvergieren (Hamilton (1994, S. 59), Kirchgässner &Wolters (2008, Example 2.4)). Siehe Abschnitt 12.3.1 für den Fall von AR(1)-Prozessen.
• Partielle Autokorrelationsfunktion:
Für einen schwach stationären AR(p)-Prozess gilt:
ak = Corr(yt, yt≠k|yt≠1, . . . , yt≠k+1).
D.h., alle partiellen Autokorrelationen für k > p sind Null, da ak = –k = 0 für k > p.
Invertierbarkeit eines stationären AR(p)-Proezsses
Ein stationärer AR(p)-Prozess kann als MA(Œ)-Prozess (12.8) dargestellt werden:
• Die Stabilitätsbedingung (12.25) ist z.B. verletzt, wenn sich das AR(p)-Polynom –(z)folgendermaßen zerlegen lässt
1 ≠ –1z ≠ · · · ≠ –pzp = (1 ≠ z)11 ≠ –ú
1z ≠ · · · ≠ –úp≠1z
p≠12
= (1 ≠ z)–ú(z) = �–ú(z)
wobei das AR(p ≠ 1)-Polynom –ú(L) die Stabilitätsbedingung (12.26) erfüllt. In diesemFall enthält der AR(p)-Prozess eine Random Walk-Komponente. Man spricht auch voneinem Prozess, der integriert ist mit der Ordnung 1, kurz
yt ≥ I(1).
Nach Anwenden des Di�erenzenoperators erhält man einen stabilen Prozess der Ordnung 0
�yt ≥ I(0).
Die Random-Walk-Komponente wird häufig als stochastischer Trend bezeichnet, da siehäufig trendartige Trajektorien verursacht, siehe z. B. Abbildung 12.3.
274
12.3. AR-Prozesse
0 100 300 500
−10
05
Zeit
y t
5 10 15 20
−0.5
0.5
Lags
ACF
5 10 15 20
−0.8
−0.4
0.0
Lags
PACF
5 10 15 20
−0.6
0.0
0.6
Lags
MA−Parameter
Abbildung 12.7.: Realisierung, ACF, MA-Parameter, PACF eines AR(2)-Prozesses mit ‹ = 1, –1 = ≠0.5, –2 =≠0.8, ‡
2 = 4, y0 = 0 und n = 500
Beispiel: Abbildung 12.3 zeigt verschiedene Realisationen eines Random Walks.
• Allgemein: Ein AR(p)-Prozess {yt} ist integriert mit der Ordnung d, kurz
yt ≥ I(d),
wenn gilt–(L) = (1 ≠ L)d–ú(L), (12.32)
wobei d eine ganze Zahl ist und –ú(L) die Stabilitätsbedingung erfüllt. Zur Stabilisierungeines integrierten Prozesses ist also die d-malige Anwendung des Di�erenzenoperators (1≠L)notwendig.
275
12. Univariate Zeitreihenmodelle
0 5 10 15 20
−0.5
0.0
0.5
1.0
Lag
ACF
Series y
Abbildung 12.8.: Geschätzte Autokorrelationsfunktion einer Realisierung eines AR(2)-Prozesses mit ‹ =1, –1 = ≠0.5, –2 = ≠0.8, ‡
2 = 4, y0 = 0 und n = 500
• Es ist möglich, dass der Integrationsparameter d auch reelle Werte annimmt æ LongMemory Modelle/ Modelle mit langem Gedächtnis. ˘ Siehe hierzu als deutsche Einführungz. B. Tschernig (1994, Kapitel 3) und Robinson (2003) mit relevanten Aufsätzen zu LongMemory Modellen.
• Autoregressive Prozesse (und stochastische Prozesse allgemein) können einen determi-nistischen Trend bzw. Zeittrend enthalten. Sind solche Prozesse nach Beseitigung desZeittrends stationär werden sie als trendstationär bezeichnet.
AR(p)-Prozessen eignen sich gut zum Erstellen von Prognosen. Diese können folgendermaßenberechnet werden:
...yT +h|T = –1yT +h≠1|T + –pyT +h≠p|T mit yT +h≠p|T = yT +h≠p, falls h ≠ p Æ 0. (12.33)
AR(p)- und Moving-Average-Prozesse lassen sich wie folgt kombinieren:
ARIMA(p, d, q)-Prozesse
–(L)(1 ≠ L)dyt = Â(L)ut, ut ≥ WN(0, ‡2) (12.34)
wobei das AR-Polynom stabil ist, so dass yt ≥ I(d) und �dyt ≥ I(0) ist.
ARMA(p, q)-Prozesse
ARMA(p, q)-Prozess ist ein ARIMA(p, 0, q)-Prozess:
–(L)yt = Â(L)ut, ut ≥ WN(0, ‡2). (12.35)
Eine Diskussion der Eigenschaften von ARMA- und ARIMA-Prozessen findet sich AppliedFinancial Econometrics oder in den genannten Lehrbüchern.
12.3.4. KQ-Schätzer für AR(p)-Modelle
Ein AR(p)-Modell (12.13) kann mit dem KQ-Schätzer geschätzt werden. Zum Bestimmender Schätzeigenschaften müssen die Eigenschaften der Regressoren yt≠1, . . . , yt≠p überprüftwerden. Zur Vereinfachung der Darstellung geschieht dies für ein AR(1)-Modell:
• Überprüfen, ob Regressor xt = yt≠1 vorherbestimmt bezüglich ut: Da die Fehlerut ≥ IID(0, ‡2) sind, gilt (siehe Abschnitt 2.7)
E[ut|ut≠1, ut≠2, . . .] = E[ut] = 0.
Wegen (12.20)hängt yt≠1 nur von vergangenen ut≠1≠j, j Ø 0, ab. Damit ist yt≠1 bestimmt,wenn die vergangenen Fehler bestimmt sind. Da der Erwartungswert von ut jedoch unabhän-gig von vergangenen Fehlern ist und deshalb unabhängig von der Bedingung auf vergangeneFehler ist, ist er auch unabhängig von der Bedingung yt≠1. Deshalb gilt (9.4)
E[ut|yt≠1] = 0
und yt≠1 ist vorherbestimmt bezüglich der Fehler ut.
277
12. Univariate Zeitreihenmodelle
• Überprüfen strenger Exogenität: Damit xt = yt≠1 streng exogen ist, muss wegen (9.2)auch Cov(ut, xt+1) = Cov(ut, yt) = 0 gelten. Dies ist nicht der Fall, da
Wegen (2.29c) folgt hieraus auch E[ut|yt] ”= 0. Damit ist xt = yt≠1 nicht streng exogen undder KQ-Schätzer für – ist nicht erwartungstreu. Dies gilt generell für Modelle mitverzögert abhängigen Variablen.
Da AR(p)-Modelle ein Spezialfall von dynamischen linearen Regressionsmodellen sind, werdendie Schätzeigenschaften dort in Abschnitt 13.5 detaillierter behandelt.
12.4. Schätzung erster und zweiter Momente im Fall stationärerProzesse
Der Ensemblemittelwert und Varianz und Autokovarianzen können auch ohne Spezifikationeines Zeitreihenmodells geschätzt werden.
12.4.1. Schätzen des MittelwertesKonsistenz des MittelwertschätzersSei {yt} ein schwach stationärer Prozess mit Mittelwert µ und Autokovarianzfunktion “h.Dann gilt für den Mittelwertschätzer
yT = 1T
Tÿ
t=1yt
für T æ Œ:
• Falls “hhæŒ≠æ 0, gilt (wie im IID-Fall)
limT æŒ
V ar(yT ) = limT æŒ
EË(yT ≠ µ)2
È= 0. (12.36)
• Falls qŒh=≠Œ |“h| < Œ, gilt
limT æŒ
T V ar(yT ) = limT æŒ
T EË(yT ≠ µ)2
È=
Œÿ
h=≠Œ“h. (12.37)
(Brockwell & Davis (1991, Theorem 7.1.1). Für einen Beweis siehe ebendort.)
Der Mittelwertschätzer yT
• ist unter der schwachen Bedingung “hhæŒ≠æ 0 gemäß (12.36) konsistent,
278
12.4. Schätzung erster und zweiter Momente im Fall stationärer Prozesse
Beispiel: DGP ist stationärer AR(p)-Prozess.
• konvergiert mitÔ
T gegen den wahren Mittelwert µ gemäß (12.37), falls die Autokovarianz-funktion absolut summierbar ist.
• Vgl. IID-Fall: nV ar(y) = ‡ und V ar(y) = ‡/n. Im Zeitreihenfall müssen bei derBerechnung der Schätzvarianz alle Autokovarianzen berücksichtigt werden
V ar(yT ) ¥ “0 + 2 qŒh=1 “h
T”= “0
T¸˚˙˝IID≠F all
Asymptotische Verteilung des Mittelwertschätzers
Theorem (Brockwell & Davis 1991, Theorem 7.1.2)Ist {yt} ein stationärer linearer Prozess (vgl. (12.6)) mit Mittelwert µ = E(yt) undunabhängigem Weißem Rauschen
yt = µ +Œÿ
j=≠ŒÂjut≠j, ut ≥ IID(0, ‡2),
wobei qŒh=≠Œ |“h| < Œ und qŒ
j=≠Œ Âj ”= 0 gelten, dann giltÔ
T (yT ≠ µ) d≠æ N(0, v) (12.38)
mit
v =Œÿ
h=≠Œ“h = ‡2
Q
aŒÿ
j=≠ŒÂj
R
b2
, (12.39)
wobei “h die Autokovarianzfunktion von {yt} bezeichnet.
Beweis (mehrere Seiten) siehe Brockwell & Davis (1991, Section 7.3).
Bemerkungen:
• Anwendung von (12.38) in der Praxis: v wird geschätzt, indem nur 2p + 1 Autokovarianzengeschätzt und aufsummiert werden, wobei üblicherweise zur Schätzung von “h (12.42)verwendet wird. Man erhält
yT ¥ N
Q
aµ,pÿ
h=≠p
“h
R
b , (12.40)
wobei p mit Daumenregeln gewählt wird, die p ≥ cT 1/4 erfüllen.
• ˘ Lässt sich ein linearer Prozess als ARMA(p, q)-Prozess (12.35) darstellen, lässt sich derMittelwert mit Hilfe des BLUE-Schätzers (GLS-Schätzer)
aus den Parametern –1, . . . , –p, m1, . . . , mq bestimmen lässt. Die asymptotische Varianz istjedoch gleich (Brockwell & Davis 1991, S. 220, 236)
limnæŒ
nV ar(yT ) = limtæŒ
nV ar(µ).
Exakte Normalverteilung des Mittelwertschätzers
Wird in obigem Theorem in (12.38) die IID-Bedingung zu Gaußschem Weißem Rauschenverstärkt, ut ≥ NID(0, ‡2), dann ist der Mittelwertschätzer exakt normalverteilt
yT ≥ N
Q
aµ,1T
ÿ
|h|<T
A
1 ≠ |h|T
B
“h
R
b .
Beweis: möglich über einfaches Regressionsmodell mit autokorrelierten FehlernCov(ut, ut≠h) = “h, indem man als Regressor die Konstante (=streng exogen)
yt = µ · 1 + ut,
wählt. ⇤
Wie können Autokovarianzen geschätzt werden?
A) Schätzen von parametrischen Zeitreihenmodellen.
Beispiel: AR(p)-Modelle, siehe Abschnitt 12.3.1.
B) Direkte (nichtparametrische) Schätzung der Autokovarianzen, siehe Abschnitt 12.4.2
Wie kann Konvergenz bzw. absolute Summierbarkeit der Autokovarianzenüberprüft werden?
Nur einfach möglich bei A): Spezifizieren und Schätzen von parametrischen linearenZeitreihenmodellen.
˘ Optional: Ein noch allgemeineres Ergebnis zur Schätzung des Mittelwertes ist das folgendeErgodentheorem.
280
12.4. Schätzung erster und zweiter Momente im Fall stationärer Prozesse
Ergodischer stochastischer Prozess
Ein stationärer stochastischer Prozesses heißt ergodisch, wenn ein Ereignis, das alleZufallsvariablen yt, t œ T, beeinflusst, entweder Wahrscheinlichkeit 1 oder 0 hat (Davidson2000, Section 4.4.3).
Beispiel für einen stationären, aber nicht ergodischen Prozess {yt} Esgelte ut ≥ WN(0, ‡2) und für eine stetige Zufallsvariable z: z ≥ (0, V ar(z)).
yt = z + ut, t œ ZCov(yt, yt≠j) = V ar(z) =∆ Cov(yt, yt≠j) ”≠æ 0 für j æ Œ
E[yt] = E[ut] + E[z] = E[z] = 0
Der Prozess {yt} ist schwach stationär, da weder der Mittelwert, noch die Varianzoder die Autokovarianzen vom Zeitindex abhängen. Aber die (lineare) Abhängigkeitzwischen zwei Elementen des stochastischen Prozesses verschwindet nicht mitzunehmendem zeitlichem Abstand j. Deshalb ist {yt} nicht ergodisch. Falls P (z =z0) = 1, ist z faktisch eine Konstante. Dann ist {yt} auch ergodisch.
Ergodensatz (Ergodic Theorem)
(Davidson 2000, Theorem 4.4.1)Wenn {yt} stationär und ergodisch ist und E[y1] existiert, dann gilt
yTa.s.≠æ E[y1].
Man spricht dann auch von Mittelwertergodizität. Vgl. zu fast sicherer KonvergenzAbschnitt 3.3. Damit gilt auch
yTP≠æ E[y1].
Allgemein gilt: Wenn ein stochastische Prozess ergodisch und stationär ist, lässt sich derstationäre Ensemblemittelwert durch den Zeitmittelwert schätzen!
12.4.2. Schätzen der Autokovarianzfunktion
• Cov(yt, yt≠h) = E [(yt ≠ µt)(yt≠h ≠ µt≠h)] ist ein Erwartungswert.
• Grundidee des Schätzens: Schätze Erwartungswert durch Durchschnittsbildung. Dies gehtbei Zeitreihen wiederum nur, wenn zugrundeliegender DGP schwach stationär ist. Dann ist
nicht negativ-definit. Dies gilt jedoch nicht den Schätzer “h (12.42).
– �T ist positiv definit, falls “0 > 0.
12.4.3. Schätzen der Autokorrelationsfunktion
• Die Autokorrelationsfunktion flk lässt sich ebenfalls auf zwei Arten schätzen:
flk = “k/“0, (12.45)flk = “k/“0. (12.46)
– Schätzeigenschaften Theorem (Brockwell & Davis 1991, Theorem 7.2.1) Ist {yt} einstationärer linearer Prozess (12.6) mit Mittelwert µ = E(yt) und unabhängigem WeißemRauschen
yt = µ +Œÿ
j=≠ŒÂjut≠j, ut ≥ IID(0, ‡2),
wobei qŒh=≠Œ |“h| < Œ und E(u4
t ) < Œ, dann gilt für jedes h œ NÔ
T (flh ≠ fl) d≠æ N(0, W) (12.47)flÕ
h =1fl1 fl2 · · · flh
2(12.48)
flÕh =
1fl1 fl2 · · · flh
2(12.49)
282
12.4. Schätzung erster und zweiter Momente im Fall stationärer Prozesse
und W ist eine Kovarianzmatrix mit ij-tem Element
wij =Œÿ
k=≠Œ
1flk+iflk+j + flk≠iflk+j + 2flifljfl
2k ≠ 2fliflkflk+j ≠ 2fljflkflk+i
2. (12.50)
– Die Bedingung der Existenz vierter Momente in obigem Theorem kann ersetzt werdendurch (Brockwell & Davis 1991, Theorem 7.2.2)
Œÿ
j=≠ŒÂ2
j |j| < Œ. (12.51)
– Ist yt ≥ IID(0, ‡2), dann gilt flk = 0 für |k| > 0 und wij = 1, falls i = j und Null sonst.Man erhält damit eine asymptotisch pivote Verteilung für den Schätzer
ÔT (flh ≠ 0) d≠æ N(0, I). (12.52)
Daraus ergeben sich Konfidenzintervalle für die geschätzten Autokorrelationen von (un-abhängigem) Weißen Rauschen. Für – = 0.95 ergibt sich
[≠1.96/Ô
T , 1.96/Ô
T ].
• Die partielle Autokorrelation ak lässt sich einfach mit Hilfe des OLS-Schätzers für ak indem autoregressiven Modell
yt = ‹ + a1yt≠1 + . . . + akyt≠k + ut
schätzen.
R-BefehleSchätzen der Autokovarianzfunktion, der Autokorrelationsfunktion oder derpartiellen Autokorrelationsfunktion einer Zeitreihe: mit acf().
Beispiel: Schätzen der Autokorrelationsfunktion einer Realisation vonGausschem Weißem Rauschen mit ‡2 = 4 und n = 100.
In Abbildung 12.9 liegt keine ACF für die betrachteten Lags außerhalb des Konfi-denzintervalls. Dies deutet auf das Vorliegen von Weißem Rauschen hin.
283
12. Univariate Zeitreihenmodelle
0 5 10 15 20
−0.2
0.0
0.2
0.4
0.6
0.8
1.0
Lag
ACF
Series y
Abbildung 12.9.: Geschätzte Autokorrelationsfunktion mit 95%-Konfidenzintervallen einer Realisation vonGausschem Weißen Rauschen mit ‡
2 = 4 und n = 100 (R-Programm, siehe AbschnittA.14, Seite 352)
284
13. Modelle für multivariate Zeitreihen
13.1. Multivariate datengenerierende Prozesse
Ergänzungen zu und Wiederholung von Abschnitt 5.1:
• Es bezeichne st einen (m ◊ 1)-Vektor von (ökonomischen) Zufallsvariablen, die in Periode tgeneriert werden und gleichzeitig und über die Zeit hinweg in Beziehung stehen können.
• Zur Notation: Wie bereits in Abschnitt 4.1 kann der Vektor st mehr Variablen enthalten,als letztlich modelliert werden müssen. Auch verzichten wir in den folgenden Abschnittenauf den Index bei den Dichtefunktionen.
• Die Kollektion {st}tœT ist ein vektorwertiger bzw. multivariater stochastischer Pro-zess.
• Der datengenerierende Prozess (data generating process, DGP) eines m-dimensionalenmultivariaten stochastischen Prozesses wird vollständig durch die bedingte Dichte
ft(st|St≠1)
beschrieben, wobei St≠1 die Informationsmenge aller verzögerten Vektoren st≠j, j > 0bezeichnet
St≠1 = {st≠1, st≠2, st≠3, . . .}.
Vgl. (5.2).
• Natürlich könnte man anstelle der bedingten Dichte f auch die bedingte Wahrschein-lichkeitsfunktion F verwenden. Diese muss sogar verwendet werden, wenn nichtstetigeZufallsvariablen verwendet werden.
˘ Formal bezeichnet St≠1 die (kleinste) ‡-Algebra, also die kleinste Menge an Teilmengen,die es erlaubt, allen möglichen Ereignissen auf Basis der berücksichtigten erklärenden(Zufalls)vektoren st≠1, st≠2, . . ., Wahrscheinlichkeiten zuzuordnen. Siehe zur Definition einer‡-Algebra Abschnitt 2.3. Korrekt müsste man anstelle von St≠1 = {st≠1, st≠2, st≠3, . . .} also
St≠1 = ‡(st≠1, st≠2, st≠3, . . .)
schreiben.
• Beachte, dass die Informationsmenge St nicht kleiner wird, da gilt
St≠2 ™ St≠1 ™ St ™ · · · ,
13. Modelle für multivariate Zeitreihen
also nichts vergessen bzw. Wissen akkumuliert wird. Die Informationsmengen sind überdie Zeit hinweg geschachtelt (nested) (Davidson 2000, Sections 4.1, 5.3.1 und insbesondere6.2.1).
13.2. Dynamische ökonometrische Modelle
• Im Folgenden verallgemeinern wir die bisherige Definition von ökonometrischen Modellenfür Zufallsstichproben aus Abschnitt 5.2 für Zeitreihen.
• Ein dynamisches ökonometrisches Modell M ist eine Familie von Funktionen M(·) inAbhängigkeit von den Daten und einem p ◊ 1 Parametervektor Â, dessen Elemente überdie Zeit hinweg konstant sind. Die Funktionen beschreiben den gesamten DGP oder Teiledavon, bzw. approximieren diesen zumindest (Davidson 2000, Section 4.1.1). Die Menge anmöglichen und erlaubten Parametern ist der Parameterraum �
M = {M(st, st≠1, st≠2, . . . , s2, s1, . . . , dt; Â),  œ �} , � ™ Rp (13.1)
• In (13.1) bezeichnet der Vektor dt nicht-stochastische Variablen, z.B. eine Konstante 1,einen Zeittrend t, Saisondummies, etc.
• Zeitabhängige Parameter werden über eine Funktion Ât = h(dt, Â) erfasst.
Beispiel: AR(1)-Modell (12.16):
Parametervektor  =
Q
ca‹–1‡2
R
db, Parameterraum � = R ◊ (≠1, 1) ◊ R+.
Beispiel: Strukturelles vektorautoregressives Modell
Das Beispiel folgt Davidson (2000, Sections 4.5.5 und 4.7.2). Es sei st =1yt zt
2T,
wobei die stochastische Dynamik der Variablen xt und zt durch folgendes simulta-nes Gleichungssystem bestimmt wird:
Das Modell (13.2) wird als ein strukturelles vektorautoregressives Modell(SVAR-Modell) bezeichnet. In Abschnitt 13.3 analysieren wir, welche Regresso-ren auf der rechten Seite von (13.2) exogen sind und in welchem Sinne. In der
286
13.2. Dynamische ökonometrische Modelle
Veranstaltung Quantitative Wirtschaftsforschung II werden Schätzmetho-den und weitere Details behandelt. Der Parametervektor des Modells ist
 =1
–1 –2 —11 —12 —21 —22 “1 “2 ‡11 ‡12 ‡21 ‡222T
.
• Wie im Fall von Modellen für Zufallsstichproben (vgl. Abschnitt 5.2), sagen wir, dass dasModell M vollständig spezifiziert ist, wenn sich aus M ein Modell in reduzierter FormMD ableiten lässt, das als Elemente bedingte Dichten f(st|St≠1, dt, Â) enthält.
• Ist ein strukturelles dynamisches Modell M vollständig und darüber hinaus korrektspezifiziert, existiert ein Parametervektor Â0, für den die bedingte Dichte in MD dem DGPentspricht:
Das SVAR-Modell (13.2) ist ein simultanes Gleichungsmodell. Deshalb muss dasSVAR-Modell M zu einem Modell MD in reduzierter Form umgeformt werden,damit die Menge der im Modell enthaltenen DGPs sichtbar wird. Hierfür ist esgünstig, das SVAR-Modell (13.2) in Matrixschreibweise
Bst = c + Cst≠1 + ut, ut ≥ NID (0, �) . (13.4)
mit
B =A
1 –12–21 1
B
, xt =A
yt
zt
B
, c =A
“1“2
B
, C =A
—11 —12—21 —22
B
, ut =A
u1t
u2t
B
zu schreiben.
Um die reduzierte Form des SVAR-Modells (13.4) zu erhalten multipliziertman die Matrixgleichung mit der Inversen von B (vorausgesetzt
Die bedingte Normalverteilung für st folgt aus der Linearität der multivariatenNormalverteilung.
Das Modell (13.5) ist die reduzierte Form eines SVAR-Modells wird i. Allg. alsVAR-Modell bezeichnet.
• Die Elemente eines Modells in struktureller Form, also die Funktionen M(·), enthaltentypischerweise mehr Parameter als durch das dazugehörige Modell in reduzierter Formfestgelegt werden. Dann gibt es eine Funktion ◊ = g(Â), die nicht one-to-one ist, so dassaus Kenntnis von ◊0, dem wahren Parmaetervektor der reduzierten Form, nicht eindeutig bestimmt werden kann.
Beispiel: SVAR-Modell Der Parametervektor  des SVAR-Modells (13.2)enthält 11 verschiedene Parameter. Der Parametervektor des reduzierten Modells(13.5) nur 9:
1a1 a2 A11 A12 A21 A22 Ê11 Ê12 Ê22
2.
Problem: Ist dies der Fall, reicht die Information aus den Daten nicht aus, um die Parameterder strukturellen Form schätzen zu können. Zusätzlich sind hierfür sogenannte Identifika-tionsannahmen erforderlich, die aus der ökonomischen Theorie kommen müssen. SieheQuantitative Wirtschaftsforschung II.
Denn Stichprobeninformation ermöglicht prinzipiell lediglich das Schätzen derParameter von reduzierten Formen.
• Die strukturelle und reduzierte Form eines Modells können identisch sein.
Einfaches Beispiel: SVAR-Modell und VAR-Modell identisch Wirda priori in (13.2) angenommen, dass –12 = –21 = 0 gilt, dann verschwindetdie simultane Beziehung zwischen zt und yt und zt wird kausal für yt. Dannentsprechen sich strukturelle und reduzierte Form.
Der Fall im vorhergehenden Beispiel wird allgemeiner in Abschnitt 13.3 betrachtet.
• Vgl. Davidson (2000, Section 4.1).
288
13.3. Bedingungen an exogene Variablen
13.3. Bedingungen an exogene Variablen in dynamischen Modellen
• Selbst wenn man das korrekte und vollständige Modell MD (13.3) kennen würde, wäre es –gegeben typische Stichprobengrößen – unmöglich, den korrekten (p ◊ 1)-ParametervektorÂ0 verlässlich zu schätzen, wenn die Anzahl der Modellparameter p extrem groß ist. Das istder Fall, wenn die Anzahl der betrachteten Variablen m sehr groß ist.
• Ist man nur an der Erklärung / Modellierung ausgewählter Variablen yt interessiert, sokönnen wie in Abschnitt 5.2 bedingte Modelle verwendet werden. Für Zeitreihen mussjedoch die für Zufallsstichproben passende Definition (5.12) geeignet erweitert werden.
• Es gelte auch hier die Zerlegung des Vektors st gemäß (5.5) in irrelevante Variablen wt, zuerklärende Variablen yt und erklärende Variablen zt.
• Aufgrund der Zeitstruktur der Daten und des DGP lassen sich unterschiedliche Arten vonExogenität unterscheiden, die von Engle et al. (1983) eingeführt wurden und sehr hilfreichsind:
– schwache Exogenität (weak exogeneity): zt ist im Rahmen des betrachteten Modellskausal für yt innerhalb der gleichen Zeitperiode
– starke Exogenität (strong exogeneity): zt kann in Mehr-Schritt-Prognosen für yt+h
als gegeben betrachtet werden
– Super-Exogenität (super-exogeneity): zt erfüllt die Voraussetzung, als wirtschafts-politische Steuerungsvariable benutzt zu werden.
Am Ende des Abschnitts werden diese in Bezug gesetzt zu den bisherigen Definitionenstreng exogener und vorherbestimmter Variablen.
Vorgehen zum Definieren bedingter Modelle für Zeitreihen
• Partitioniere ursprünglichen Vektor st und definiere dazugehörige Informationsmengen
so dass wt die irrelevanten Variablen enthält, yt die endogenen Variablen, die innerhalbdes Modells erklärt werden müssen, und zt die Variablen, die für die vorliegendeFragestellungen nicht im Modell erklärt werden müssen, aber für Elemente von yt sind,also exogen sind.
• Kombination von Informationsmengen. Beachte die Verwendung des Symbols ‚ (David-son 2000, Section B.10):
– Die Funktionen der bedingten Dichten für die nicht zu erklärenden Variablen wt, zt
hängen nicht vom Parametervektor Â1 ab.
– Die Funktion der bedingten Dichte für die zu erklärenden yt hängt nicht von Â2 undnicht von der Vergangenheit von wt ab. Der multivariate stochastische Prozess {wt} istfür fy|z also irrelevant.
– Es gilt nicht Â1 = Â1(Â2), so dass Kenntnis von Â2 keine Verbesserung der Schätzeigen-schaften für Â1 haben kann. Man bezeichnet dann Â1 und Â2 als variation free.
• Gelten die Annahmen (13.7) und (13.8), ist es für die vollständige Modellierung von yt egal,ob fw,y,z oder nur fy|z betrachtet wird.
• Wird fy|z betrachtet, sagt man, dass das Modell bedingt auf zt (conditional model) istund bezüglich wt marginalisiert ist.
• Eine Parametrisierung eines Modells ist niemals eindeutig, da mittels einer beliebi-gen vektorwertigen Funktion „ = f(Â), die bijektiv ist, eine alternative Parametrisierungerzeugt werden kann, allerdings mit anderer Interpretation. Beispiel: „ = exp(—).
• Für die Existenz der bedingten Dichte fy|z in (13.8b) ist also wichtig, dass irgendeinParametervektor  existiert, der (13.7) und (13.8) erfüllt.
• Man könnte u. U. Â2 weiter in Parameter für fw|y,z und fz aufteilen. Da beide bedingten
290
13.3. Bedingungen an exogene Variablen
Dichten für die Analyse unter Annahmen (13.7) und (13.8) irrelevant sind, ist dies nichtnötig.
Schwache Exogenität
• Ist das Ziel der Analyse auf die Erklärung von yt (anstelle von allen Variablen in st)beschränkt, möchte man nur das konditionale Modell für fy|z analysieren und auf dieAnalyse des marginalen Modells für fz verzichten (vgl. Abschnitt 5.2).
• Dies ist genau dann möglich, wenn durch den Verzicht auf die Analyse des marginalenModells, das fz impliziert, keine Information für die Parameter Â1 des konditionalenModells, das fy|z impliziert, verloren geht. Die Bedingungen hierfür sind (13.7) und(13.8). Die Variablen zt des marginalen Modells werden dann als schwach exogenmit Bezug auf  für das konditionale Modell bezeichnet, das fy|z impliziert. Dieverbleibenden Variablen yt werden als endogen bezeichnet.
• Eine Beschränkung der Analyse auf das konditionale Modell (13.8b) hat genau dannSinn, wenn die bedingte Dichte zur Erklärung von yt wesentlich weniger Parameter undbedingende Variablen enthält als die bedingte Dichte für wt.
• Natürlich kann sich das Interesse bei der Erklärung von yt durch zt und Yt≠1,Zt≠1 auf Basis der bedingten Dichte fy|z auch auf einen beliebigen Parametervektor◊ beziehen, solange dieser durch ◊ = g(Â1) bestimmt ist, wobei g(·) nicht umkehrbarsein muss und irgendeine Parametrisierung  existiert, für die (13.7) und (13.8) gilt.
• Dann werden die Variablen in yt als endogen und die Variablen in zt als schwachexogen mit Bezug auf ◊ (weakly exogenous for ◊) bezeichnet. Diese Bezeichnungwurde von Engle et al. (1983) eingeführt.
Bemerkungen:
• Teilung des Parametervektors  in Â1 und Â2: ’sequential cut of the parameters’ in’die, die Auswirkungen für die Analyse haben’ und ’den Rest’ (Engle et al. 1983).
• Die Bedingung (13.7) garantiert, dass ◊ weder direkt noch indirekt von Â2 abhängt, also esist möglich ist, dass z.B. die Kenntnis der Parameter des marginalen Modells für zt helfenwürde, ◊ genauer zu bestimmen.
• Beachte: Die Zerlegung (13.6) kann immer auch anders, z.B. fw,y,z = fw|y,z fz|y fy erfolgen,aber möglicherweise ohne ’sequential cut of the parameters’.
• Häufig gesucht: Kleinste Teilmenge endogener Variablen, also wenn möglich yt skalar, sodass (13.7) und (13.8) gerade noch gelten.
• Schwache Exogenität ist eine Eigenschaft,
– die sich auf Variable und Parameter innerhalb eines Modells bezieht,
– nicht gleichbedeutend mit Kausalität ist und
291
13. Modelle für multivariate Zeitreihen
– nur mit Bezug auf das ’größere’ Modell fw,y,z beurteilt werden kann.
Der häufige Sprachgebrauch, zt ist exogen für yt, ist also ungenau, da die Abhängigkeit vonden Modellparametern nicht deutlich wird.
• Die Bedingungen für schwache Exogenität schließen nicht aus, dass es Rückkoppelungse�ektevon yt auf zt+1 (via Yt in (13.8c)) und damit auf zukünftige yt gibt. Genau deshalb wird dieschwache Exogenität als „schwach“ bezeichnet. Um Rückkoppelungse�ekte festzustellen, istdas Konzept der Granger-Kausalität zentral, das jedoch nicht identisch ist mit dem Konzeptvon Kausalität, das in Abschnitt 4.1 definiert wurde.
Für makroökonomische Fragestellungen lassen sich im Allgemeinen keine kontrollierten Zufalls-experimente durchführen und natürliche Experimente sind selten zu finden. ≠æ Verwendungeines schwächeren Konzepts:
Granger-Kausalität
Clive Granger (1969) (Nobelpreisträger 2003, zusammen mit Robert Engle).
• Eine Variable zt ist Granger-kausal für yt, wenn Kenntnis von zt irgendwie hilft,die Vorhersage für yt+h für mindestens ein h > 0 zu verbessern. Eine hinreichendeVoraussetzung ist, dass für mindestens einen Prognosehorizont h > 0 nicht gilt
Frage: Unter welchen Parameterrestriktionen ist zur Erklärung von yt
durch Gleichung (13.2a) zt schwach exogen?
Voraussetzung für schwache Exogenität ist, dass folgender ’sequential cut’ derParameter
Â1 =1–12 “1 —11 —12 ‡11
2, Â2 =
1–21 “2 —21 —22 ‡12 ‡21 ‡22
2
(13.11)existiert, wobei der Parametervektor Â1 gerade die Parameter der strukturellenGleichung (13.2a) und deren Fehlervarianz enthält.
Zum Überprüfen der Bedingung (13.8) wird erst die i) bedingte Dichte abgeleitet,ii) anschließend die Faktorisierung durchgeführt und iii) letztlich die Bedingungüberprüft.
i) ist bereits in (13.5) erfolgt.
ii) Faktorisieren der Dichte f : Im vorliegenden Fall gibt es kein wt. Ist manan der Erklärung von yt interessiert, benötigt man die Faktorisierung (13.6) fy,z =fy|zfz.
Vorgehen:
• 1. Schritt: Ableitung der Faktorisierung von fÁ1t,Á2t = fÁ1t|Á2tfÁ2t .
• 2. Schritt: Ersetzen von Á1t und Á2t mit Gleichungen in reduzierter Form (13.5b).
1. Schritt: Aufgrund der Normalverteilungsannahme und E(Át) = 0 kann manschreiben:
Á1t = flÁ2t + ÷t, wobei E[÷t|Á2t] = 0, (13.12)
so dass gilt
E[Á1t|Á2t] = flÁ2t. (13.13)
Da die Á’s die Fehler der reduzierten Form (13.5b) sind, gilt, dass Á1t nicht zt enthältund Á2t nicht yt enthält (im Gegensatz zu den Fehlern der strukturellen Form
293
13. Modelle für multivariate Zeitreihen
(13.2)). Damit lassen sich im 2. Schritt Á1t und Á2t ersetzen durch die jeweiligenGleichungen in Át = xt ≠ A0 ≠ A1xt≠1 und anschließend die bedingte Dichtedes konditionalen Modells bestimmen und deren Erwartungswert E[yt|zt, Xt≠1]berechnen.
Zuvor muss noch der Parameter fl in (13.12) bestimmt werden. Dies geschieht,indem für Gleichung (13.12) die Kovarianz und Varianz bestimmt werden:
V ar(Á1t) = Ê11 = fl2Ê22 + V ar(÷t) =∆ V ar(÷t) = Ê11 ≠ Ê212
Ê22.
Man erhält
Á1t¸˚˙˝ist ohne zt
= Ê12
Ê22Á2t¸˚˙˝
ist ohne yt
+÷t. (13.14)
2. Schritt: Jetzt werden Á1t und Á2t in (13.14) durch die jeweiligen Gleichungen inÁt = xt ≠ A0 ≠ A1xt≠1 ersetzt. Nach einigen Umformungen (Details am Ende desAbschnitts) erhält man für yt
Analog lässt sich auch der Erwartungswert für zt berechnen.
iii) Überprüfen der Bedingungen (13.8) für die schwache Exogenität
294
13.3. Bedingungen an exogene Variablen
• In die bedingte Dichte (13.16) für das konditionale Modell für yt gehen alleParameter des Parametervektors  ein.
• Die Bedingungen (13.8) für schwache Exogenität können nur erfüllt sein, wennein sequential cut (13.11) existiert, so dass die Parameter der Gleichung für zt
nicht das bedingte Modell für yt beeinflussen. Letzteres ist nur möglich, wenngilt
Ê12
Ê22= ≠–12 =∆ P = 1, Q = 0. (13.18)
• Damit (13.18) gilt, muss
– bei –21 ”= 0 und/oder ‡21 ”= 0 die Gleichung –12 = –≠121 erfüllt sein, wodurch
B nicht invertierbar ist und keine reduzierte Form existiert, oder
– –21 = 0 und ‡12 = 0 gelten.
• Der sequential cut (13.11) ist also nur möglich, wenn –21 = ‡21 = 0.
– Dann ist zt schwach exogen für Â1 bzw. ◊ = g(Â1) und
– (13.2) ein rekursives Modell.
• Überprüfung von –21 = ‡21 = 0 nicht mit Regression möglich. Warum?
Bemerkung: Ist zt bzgl. des Parametervektors Â1 nicht schwach exogen,dann schätzt der KQ-Schätzer nicht die Parameter der strukturellen Gleichung(13.2a), sondern die Parameter des bedingten Erwartungswertes (13.17).
Starke Exogenität zt ist stark exogen für Â1 bzw. ◊ = g(Â1), wenn in derreduzierten Form zusätzlich zur schwachen Exogenität (–12 = ‡21 = 0) gilt
B≠1Cxt≠1 = 11 ≠ –12–21
A—11 ≠ –12—21 —12 ≠ –12—22
≠–21—11 + —21 ≠–21—12 + —22
B
xt≠1 =A
ú ú0 ú
B
xt≠1,
also —21 = 0 (dann hat yt≠1 keinen Einfluss auf zt). Es gilt dann
E(zt|Xt≠1) = E(zt|zt≠1).
Vergleich von Exogenitätskonzepten
• Schwache Exogenität versus partielle Unabhängigkeit
– Partielle Unabhängigkeit (9.4) eines Regressors kann immer nur bzgl. eines Fehlertermsbeurteilt werden.
– So ist per Konstruktion zt partiell unabhängig bzgl. ÷t, da aus (13.17) folgt: E[÷t|zt, yt≠1, zt≠1] =0.
295
13. Modelle für multivariate Zeitreihen
– Und so ist im Allgemeinen zt nicht partiell unabhängig bzgl. u1t in (13.2a), weil manzeigen kann, dass im Allgemeinen E[u1t|zt, yt≠1, zt≠1] ”= 0.
– Ist jedoch zt schwach exogen bzgl. Â1, dann ist zt partiell unabhängig von u1t, da dannu1t mit ÷t identisch sind, da –12 = 0.
– Ob ein Regressorvektor partiell unabhängig ist, hängt i) immer von dem zugrundeliegenden’Fehler-definierenden’ Modell ab, ii) und ggf. von den wahren Parametern des „größeren“Modells. ab, dass den Fehler erzeugt - so wie bei schwacher Exogenität auch.
– Der Vorteil des Konzepts schwacher Exogenität gegenüber dem Konzept der Vorherbe-stimmtheit ist, dass es explizit anhand Parameterrestriktionen deutlich macht, wann eserfüllt ist.
• Starke Exogenität versus strenge Exogenität
– Die Regressoren Xt werden als streng exogen (strictly exogenous) bezeichnet, wenn(9.1) erfüllt ist.
– Entsprechend den Bemerkungen zu schwacher Exogenität gilt: Liegt starke Exogenitäteiner Variablen bzgl. eines Parametervektors vor, ist diese Variable auch streng exogen.
Aktueller Stand in der Literatur: Eine Ausgabe des Journal of Econometrics (2006) istKausalität und Exogenität gewidmet, siehe Bauwens et al. (2006).
˘ Super-Exogenität (super-exogeneity)
• liegt vor, wenn die bedingte Verteilung fy|z in Abhängigkeit von ◊ invariant gegenüberVeränderungen in der marginalen/gemeinsamen Verteilung fz ist.
• Formal: Der Vektor nicht-stochastischer Variablen dt lässt sich in d1t und d2t zerlegen,z.B. dt = (1, dt)Õ.
Mindestens ein Element von zt ist super-exogen für ◊ = g(Â1):
– d2t variiert über Beobachtungsperiode und ist nicht triviales Argument der margina-len/gemeinsamen Dichte fz
– Die bedingte Dichte fy|z hängt nicht von d2t ab.
– zt ist schwach exogen für ◊.
• Damit zt super-exogen für ◊ ist, muss (13.8) weiter restringiert werden:
Damit zt stark exogen für ◊ ist, darf Yt≠1 in (13.19c) nicht vorkommen.
296
13.4. Dynamische lineare Regressionsmodelle
• Super-Exogenität beseitigt Symmetrie zwischen yt und zt, so dass Kausalität trotzkontemporärer Korrelation bestimmt werden kann (Identifikation). Im folgenden Beispielhängt nur eine der beiden bedingten Erwartungswerte von d2t ab.
• erlaubt Identifikation von Zusammenhängen,
– die höchstwahrscheinlich strukturelle Interpretation erlauben,
– die (wirtschafts-)politikinvariant sind und
– eine Voraussetzung für Immunität gegenüber der Lucas-Kritik gegenüber ökonometri-schen Modellen erfüllen.
• Im Kern lautet die Lucas-Kritik:
’Given that the structure of an econometric model consists of optimal decisionrules for economic agents, and that optimal decision rules vary systematicallywith changes in the structure of series relevant to the decision maker, itfollows that any change in policy will systematically alter the structure ofeconometric models.’ (Lucas 1976, p. 41)
(Zitiert nach Hendry (1995, Section 14.14). Siehe ebendort für Tests bezüglich derLucas-Kritik.)
Die Lucas-Kritik tri�t z.B. auch zu, wenn Regressionsparameter sich aus Parameternaus Verhaltensgleichungen und Erwartungen zusammensetzen, wie z.B. bei rationalenErwartungsmodellen, siehe z.B. Davidson (2000, Section 5.5).
Beispiel: SVAR-Modell
In der zweiten Strukturgleichung (13.2b) ist noch der Term ”2d2t enthalten, dieerste Strukturgleichung bleibt unverändert. Dann ist zt super-exogen für yt.
13.4. Dynamische lineare Regressionsmodelle
Dynamisches lineares Regressionsmodell
• Ein dynamisches lineares Regressionsmodell ist ein dynamisches ökonometrischesModell (13.1), dessen zu erklärende Variable yt durch eine Linearkombination von erklä-renden Variablen und einem Fehlerterm bestimmt wird. Dabei können die erklärendenVariablen verzögerte endogene Variablen yt≠j, j > 0, enthalten.
• Dynamische lineare Regressionsmodelle modellieren im Allgemeinen den bedingtenErwartungswert der bedingten Dichte (13.6)
fy|z = f(yt|zt, St≠1, dt, Â) (13.20)
297
13. Modelle für multivariate Zeitreihen
des konditionalen Modells, wobei hier yt skalar ist.
• Notation: Im Folgenden nehmen wir an, dass wt bereits als nicht relevant klassifiziertwurde und verwenden wie in (5.2) st zur Notation aller relevanten Variablen. Auchbetrachten wir nur eine zu erklärende Variable, nämlich y1t, die im weiteren als yt notiertwird. Alle weiteren yjt, j Ø 2, werden in dem Zeilenvektor
Zt =1z1t · · · zk≠1,t
2
zusammengefasst, so dass sich st als
st =A
yt
ZTt
B
(13.21)
schreiben lässt. Damit lässt sich die bedingte Dichte (13.20) des konditionalen Modellsangeben als
Der zu modellierende bedingte Erwartungswert lautet dann
E[yt|Zt, Zt≠1, . . . , Z1, yt≠1, . . . , y1, dt].
Unterstellt man jetzt, dass der bedingte Erwartungswert linear in den Parameternist, erhält man das dynamische lineare Regressionsmodell, das im Folgenden genauerbesprochen wird.
• Die inhaltlich (ökonomisch) relevanten Parameter von dynamischen linearenRegressionsmodelle können mit dem KQ-Schätzer konsistent geschätzt werden, wennbestimmte Voraussetzungen erfüllt sind, siehe Abschnitt 13.5. Dazu gehört die schwacheExogenität der Regressoren (bzw. deren Vorherbestimmtheit). Siehe hierzu die umfang-reiche Diskussion in Abschnitt 13.3. Diese Voraussetzung wird im Folgenden bei derDefinition zulässiger erklärender Variablen bereits berücksichtigt.
Ist die Voraussetzung schwacher Exogenität nicht gegeben, kann trotzdem der bedingteErwartungswert der reduzierten Form konsistent geschätzt werden, wenn letzterer linearist. Vgl. hierzu (13.17) im Beispiel des vorangegangenen Abschnitts. Allerdings sind danndie Parameter nicht interpretierbar. Für Prognosezwecke mag dies aber unerheblichsein.
Dynamische lineare Regressionsmodelle
• Alle Regressorvariablen, die zur Spezifikation eines dynamischen linearen Regressi-onsmodells für die endogene Variable yt verwendet werden können, bilden die Infor-mationsmenge �t aller potentiell erklärenden Variablen. Die Informationsmenge derdann tatsächlich in einem Modell verwendeten Regressorvariablen wird mit It µ �t
bezeichnet. Siehe hierzu Abschnitt 5.2.
298
13.4. Dynamische lineare Regressionsmodelle
• Mögliche Regressorvariablen in It sind:
– deterministische Variablen, zusammengefasst im Zeilenvektor dt: Konstante, Zeittrend,Saisondummies, etc.,
– verzögerte abhängige Variablen yt≠j, j > 0,
– bezüglich des Fehlerterms ut vorherbestimmte (kontemporäre) Variablen Zt, d. h.Zt œ �t, wobei E[ut|�t] = 0 gilt,
– verzögerte Zt, also Zt≠j, j > 0,
– (fast) jede Funktion der genannten Variablen.
• Ein dynamisches lineares Regressionsmodell mit Informationsmenge It ={dt, Zt, . . . , Zt≠m, yt≠1, . . . , yt≠p} ist gegeben durch
13.5. KQ-Schätzung von dynamischen linearen Regressionsmodellen
Da AR(p)-Modelle ein Spezialfall von dynamischen linearen Regressionsmodellen sind, ist esausreichend, die Schätzeigenschaften für letztere zu untersuchen.
• Annahmen für asymptotische Schätzeigenschaften des KQ-Schätzers von (13.24):
– (C1) ≈∆ Annahme (B1): Der DGP ist für — = —0 in (13.24) enthalten.
– (C2): ut|�t ≥ (0, ‡2) ≈∆
Y_______________________]
_______________________[
(C2a) Regressoren vorherbestimmt
E(ut|�t) = 0,
(C2b) Bedingte Homoskedastie der Fehler
E(u2t |�t) = ‡2 := E(u2
t ),
wobei für die Fehlervarianz des DGP ‡2 = ‡20 gilt.
– (C3) ≈∆ Annahme (A1)
plimnæŒ
1n
nÿ
t=1XT
t Xt = limnæŒ
1n
nÿ
t=1E(XT
t Xt) = SXT X < Œ, SXT X invertierbar.
– (C4a) Strenge Stationarität von {st} =1yt Zt
2T,
– (C4b) E|⁄T Xtut|2+” Æ B < Œ, ” > 0, für alle feste ⁄ mit ⁄T ⁄ = 1.
• Asymptotische Schätzeigenschaften des KQ-Schätzers
– Konsistenz: Unter den Annahmen (C1), (C2), (C3) ist der KQ-Schätzer konsistent,d. h.
plimnæŒ
—n = —0 (13.26)
– Asymptotische Normalverteilung: Unter Annahmen (C1), (C2), (C3) und (C4a)oder (C4b) ist der KQ-Schätzer asymptotisch normalverteilt,
Ôn
1—n ≠ —0
2d≠æ N(0, ‡2
0S≠1XT X). (13.27)
– Hier ohne Beweise. Die (aufwändigen) Beweise finden sich in den Folien zur MA-Veranstal-tung Fortgeschrittene Dynamische Ökonometrie oder in Davidson (2000).
• Anmerkungen zu den Annahmen:
300
13.5. KQ-Schätzung von dynamischen linearen Regressionsmodellen
– Die Annahme (C2a) setzt voraus, dass alle Regressoren vorherbestimmt sind, also (9.4)gilt, und dass das Modell dynamisch korrekt spezifiziert ist, d. h.
– Die Annahme (C2a) ist schwächer als strenge Exogenität (B2a), deshalb ist der KQ-Schätzer im dynamischen linearen Regressionsmodell im Allgemeinen verzerrt.
– Damit die Annahme (C3) gilt, muss beispielsweise im Fall eines AR(1)-Prozesses (12.16)gelten, dass
ú |–| < 1 (Stabilitätsbedingung) gilt und
ú E|ut|2+” Æ B < Œ, ” > 0, t = 1, . . . , n, d. h. für die Fehlerverteilung über die Varianzhinaus Momente existieren.
Für AR(p)-Prozesse muss die entsprechende Stabilitätsbedingung erfüllt sein (siehe z. B.BA-Veranstaltung Ökonometrie II oder unten genannte MA-Veranstaltungen).
Wenn alle Regressoren schwach stationär sind, d. h.
ú E[Xt] = E[Xs] und
ú Cov(Xs, Xt) = Cov(Xs+k, Xt+k) unabhängig von s, t = 1, . . . und k gelten,
dann ist auch Annahme (C3) erfüllt (ohne Beweis).
– Annahme (C4b) erfordert, dass für die bedingte Fehlerverteilung über die Varianz hinausMomente existieren. (Beispiel: bedingte Normalverteilung, t-Verteilung mit mindestens 4Freiheitsgraden)
– Die Annahmen entsprechen den Voraussetzungen in Davidson (2000): Vgl. zu (C2a)(Davidson 2000, Assumption 7.1.1), zu (C2b) (Davidson 2000, Assumption 7.1.2), zu(C3) Davidson (2000, 7.1.3), zu (C4b) (Davidson 2000, Eq. (7.1.12)).
Beispiel: Stationärer AR(1)-Prozess
R-Code# =============================== 13_5_KQ_AR1.R ====================================# Programm zum Generieren und KQ-Schätzen eines AR(1)-Modells# erstellt von : RT, 2011_01_19
graphics.off() # Schließe alle Graphikfenster
# Setze Parameter des Modells und der Monte-Carlo-Simulationset.seed(42) # RandomseedN <- 50 # Stichprobengröße
beta <- c(2,0.1) # Parametervektorsigma <- 2 # Standardabweichung des Fehlersy0 <- 0 # Startwert des AR(1)-Prozesses
301
13. Modelle für multivariate Zeitreihen
# Generieren einer Realisation eines AR(1)-Prozessesu <- rnorm(N,mean=0,sd=sigma) # Ziehen von uy <- rep(1,N)*y0for (t in (2:N)){
# Plot der Zeitreiheplot(y,xlab="Zeit",ylab="y",type="l")
# Scatterplotplot(y[1:(N-1)],y[2:N])
# Berechnen des KQ-Schätzersols <- lm(y[2:N]~1+y[1:(N-1)]) # Beachte x=y_{t-1]. Deshalb y_t von t=2,...,Nsummary(ols)# =============================== Ende ========================================
Listing 13.1: ./R_code/13_5_KQ_AR1.R
• Beispiel: Monte-Carlo-Simulation der KQ-Schätzung eines AR(1)-Prozesses mitfolgendem
R-Code# ======================== 13_5_MC_KQ_AR1.R ==================================# Programm für Monte-Carlo-Simulation# zum Bestimmen der Verzerrung des KQ-Schätzers im AR(1)-Modell# erstellt von : RT, 2010_11_25
graphics.off() # Schließe alle Graphikfenster
# Setze Parameter des Modells und der Monte-Carlo-Simulation
set.seed(42) # RandomseedN <- 50 # StichprobengrößeR <- 1000 # Zahl der Replikationen
beta <- c(1,0.9) # Parametervektorsigma <- 2 # Standardabweichung des Fehlersy0 <- 1 # Startwert des AR(1)-Prozesses
# Bilden einer Schleifebeta_hat_store <- matrix(0,nrow=R,ncol=length(beta))
# Initialisiere Matrix zum Abspeichern der KQ-Schätzungen# für jede Realisation
for (r in (1:R)){
# Generieren einer Realisation eines AR(1)-Prozessesu <- rnorm(N,mean=0,sd=sigma) # Ziehen von uy <- rep(1,N)*y0for (t in (2:N)){
y[t] <- beta[1] + y[t-1] * beta[2] + u[t] # Berechnen von y_t}# Berechnen des KQ-Schätzersols <- lm(y[2:N]~y[1:(N-1)]) # Beachte x=y_{t-1]. Deshalb y_t von t=2,...,N
# Speichern der Parameterschätzungbeta_hat_store[r,] <- coef(ols)
}
# Berechnen der Mittelwerte der Parameterschätzungen
colMeans(beta_hat_store)
302
13.5. KQ-Schätzung von dynamischen linearen Regressionsmodellen
# Erstellen von Histogrammenpar(mfrow=c(1,2)) # Zeichne zwei Plots in ein Graphikfenster
– Das einfache lineare Modell ist ein Spezialfall: � = ‡2I.
– Ist � eine Diagonalmatrix mit Ê2t = V ar(ut|X) ”= Ê2
s für einige s, t, s ”= t,
� =
Q
cccca
Ê21 0 · · · 0
0 Ê22 · · · 0
... ... . . . ...0 0 · · · Ê2
n
R
ddddb, (14.3)
sind die Fehler nicht korreliert, aber (bedingt) heteroskedastisch.
14.1. Verallgemeinerter Kleinst-Quadrate-Schätzer
• (Bedingte) Heteroskedastie liegt vor, wenn die Fehlervarianz und damit die bedingteVarianz der abhängigen Variable gegeben die Informationsmenge �t oder auch Teilen davonnicht konstant ist, also gilt:
V ar(ut|�t) = Ê2t ”= ‡2, (14.4a)
V ar(yt|�t) = EË(yt ≠ E[yt|�t])2 |�t
È= E[u2
t |�t] = Ê2t . (14.4b)
– Heteroskedastie: Ê2t ist eine Funktion von deterministischen Regressoren, z. B. Zeit.
– Bedingte Heteroskedastie: Ê2t ist eine Funktion von Regressoren, die Zufallsvariablen
sind.
Beispiele:
– Die Varianz der Exporte hängt vom BIP des Exportlandes ab.
– Die Varianz der Konsumausgaben hängt von der Höhe des Einkommens ab.
Ein ziemlich allgemeines Modell für E[u2t |�t] lautet:
– Die Funktion h(·) ist inklusive aller Parameterwerte für ”, “ bekannt, dann Verwendungdes GLS-Schätzers (14.7), siehe Abschnitt 14.1.
– Die Funktion h(·) ist parametrisch, aber die Parameter ”, “ sind unbekannt, dann Ver-wendung des FGLS-Schätzers (14.17), siehe Abschnitt 14.2.1.
– Die Funktion h(·) ist vollständig unbekannt, dann Verwendung von heteroskedastie-robusten Standardfehlern, siehe Abschnitt 14.3.
14.1. Verallgemeinerter Kleinst-Quadrate-Schätzer
• Verallgemeinerter Linearer Kleinst-Quadrateschätzer (generalized least squaresestimators (GLS estimator)):
—GLS =1XT �≠1X
2≠1XT �≠1y.
• Ableitung:
– Cholesky-Zerlegung: Für jede symmetrische positiv definite Matrix A existiert eineZerlegung BBT , wobei B eine eindeutige untere Dreiecksmatrix ist mit positiven Ele-menten auf der Diagonale (Gentle (2007, Section 5.9.2), Lütkepohl (1996, Section 6.2.3(2))).
305
14. Verallgemeinerter Kleinst-Quadrate-Schätzer und seine Anwendungen
– Da � symmetrisch positiv definit ist, existiert eine eindeutige untere Dreiecksmatrix �,so dass
�≠1 = ��T .
– Multiplizieren des verallgemeinerten linearen Modells (14.1) von links mit �T liefert
�T y¸ ˚˙ ˝yú
= �T X¸ ˚˙ ˝Xú
— + �T u¸ ˚˙ ˝uú
yú = Xú— + uú, (14.6)
wobei �T genau so gewählt wurde, dass EËuú (uú)T |X
È= I (verifizieren!).
– Damit erfüllt das Modell mit den transformierten Variablen die Annahmen des einfachenlinearen Modells an die Kovarianzmatrix des Fehlervektors, sodass sich der KQ-Schätzeranwenden lässt und daraus der GLS-Schätzer folgt:
—GLS =1(Xú)T Xú
2≠1(Xú)T yú (14.7a)
=1XT ��T X
2≠1XT ��T y (14.7b)
=1XT �≠1X
2≠1XT �≠1y. (14.7c)
– Der GLS-Schätzer lässt sich auch direkt aus den (theoretischen) Momentenbedingungen
XT �1�T y ≠ �T X—
2= 0
XT �≠1 (y ≠ X—) = 0 (14.8)
ableiten, bzw. auch aus der Minimierung der SSR des Modells (14.6).
• Annahmen zur Bestimmung der Schätzeigenschaften
(vgl. Abschnitt 11.1 zu KQ-Annahmen)
– (B1) Das Modell ist korrekt, d. h. der DGP ist im Modell (14.1) enthalten.
– (B2’) u|X ≥ (0, �).
– (B3) Keine perfekte Kollinearität in der Regressormatrix X.
– (B4’) u|X ≥ N(0, �).
Beachte, dass die Annahmen (B2’) bzw. (B4’) schwächer als die ursprünglichen Annahmen(B2) bzw. (B4) sind. Bedingt auf X kann sowohl Heteroskedastie als auch bei Zeitreihen-daten Autokorrelation in den Fehlern vorkommen.
• Schätzeigenschaften des GLS-Schätzers in endlichen Stichproben:
– Unter (B1), (B2a) und (B3) ist der GLS-Schätzer erwartungstreu
E1—GLS
2= —.
306
14.1. Verallgemeinerter Kleinst-Quadrate-Schätzer
– Unter (B1), (B2’) und (B3) hat der GLS-Schätzer Kovarianzmatrix
V ar1—GLS|X
2=
1(Xú)T Xú
2≠1
=1XT �≠1X
2≠1(14.9)
und ist BLUE, d. h. e�zient. Nachweis siehe unten bei allgemeinem Momentenschätzer.
• Allgemeiner Momentenschätzer: Für eine gegebene Stichprobe seien die (1◊k)-Vektorenvon Variablen Wt =
1Wt1 Wt2 · · · Wtk
2, t = 1, . . . , n, in der Matrix WT =
1WT
1 WT2 · · · WT
n
2
zusammengefasst. Unter der Annahme/Eigenschaft
E(u|X, W) = 0
ergibt sich ein Momentenschätzer durch Schätzung der theoretischen Momente E[WTt ut] = 0
auf Basis der daraus resultierenden Momentenbedingungen für eine gegebene Stichprobemit
WT (y ≠ X—) = 0.
Man erhält:—W =
1WT X
2≠1WT y.
Damit ergibt sich die Kovarianzmatrix
V ar(—W|X, W) =1WT X
2≠1WT �W
1XT W
2≠1.
GLS ist ein spezieller Momentenschätzer (vgl. (14.8)) mit
W = �≠1X.
Die Di�erenz der Präzision eines allgemeinen Momentenschätzers und der Präzision desGLS-Schätzers ist positiv semidefinit.
Da jeder lineare unverzerrte Schätzer — = Ay mit AX = I, vgl. Abschnitt 9.4, alsMomentenschätzer dargestellt werden kann (wegen y = X— + u folgt Au = 0), ist damitder GLS-Schätzer e�zient.
• Berechnen von GLS-Schätzern
– Ist n groß, benötigt das Speichern und Invertieren von � viel Speicherplatz (n = 10000benötigt bspw. 1600 MB.) Deshalb besser: Vorheriges Anwenden von � ohne Abspeichernvon � (sofern möglich).
– Gewichteter Kleinst-Quadrate Schätzer (weighted least squares (WLS))ut heteroskedastisch und unkorreliert (d. h. � diagonal). Damit ist � diagonal (14.3)und der Ansatz (14.6) lautet
yt
Êt
= 1Êt
Xt— + ut
Êt
mit V ar(ut/Êt|X) = 1. Interpretation, Berechnung und Hinweise:
307
14. Verallgemeinerter Kleinst-Quadrate-Schätzer und seine Anwendungen
ú Beobachtungen mit großer Fehlervarianz erhalten weniger Gewicht.
ú Wie Auswahl der Gewichte? Abhängig von Datenstruktur, z. B. durch eine Linear-kombination erklärender Variable (Beispiel: Einkommenshöhe) oder Durchschnitte inverschiedenen Gruppen.
ú R2 für gewichtete KQ-Schätzung mit Modell (14.6) berechnen, da die geschätztenResiduen auf �T X orthogonal stehen, jedoch nicht auf X.
ú Für die nichtgewichtete Schätzung verwendet man am besten (7.33).
• Asymptotische Schätzeigenschaften des GLS-Schätzers
—GLS =1XT �≠1X
2≠1XT �≠1y = —0 +
1XT �≠1X
2≠1XT �≠1u.
Die Annahmen (A1), (A2) bzw. (A3) müssen entsprechend modifiziert werden, damitanalog ein LLN und ein CLT gelten:
• Oft ist � bzw. � unbekannt und muss geschätzt werden. Dann ist der GLS-Schätzer nichtanwendbar und muss durch folgenden Schätzer ersetzt werden.
• R-Befehl: lm( ,weights=), wobei weights die Gewichte 1/Ê2t übergeben werden muss.
14.2. Feasible GLS
• Ist die Fehlerkovarianzmatrix � unbekannt, muss diese modelliert werden.
• Asymptotische Eigenschaften von FGLS
– Kurz gesagt, der FGLS-Schätzer
—F GLS =1XT ‚�≠1X
2≠1XT ‚�≠1y (14.10)
ist konsistent und asymptotisch normalverteilt, wenn die Fehlerkovarianzmatrix � korrektspezifiziert ist und konsistent geschätzt werden kann.
308
14.2. Feasible GLS
– Der Beweis ist aufwändiger, die Idee jedoch recht einfach. Sie ergibt sich aus den asympto-tischen Eigenschaften des GLS-Schätzers. Diese bleiben für den FGLS-Schätzer erhalten,wenn gilt
plim næŒ1n
XT ‚�≠1X = plim næŒ1n
XT �≠1X, (14.11a)
plim næŒ1n
XT ‚�≠1u = plim næŒ1n
XT �≠1u. (14.11b)
ú I. Allg. erfordert dies, dass in der ersten Stufe der —-Vektor konsistent geschätzt wird,so dass aus den durch u konsistent geschätzten Fehlern z. B. “ in (14.5) und damit �konsistent geschätzt werden kann.
ú Achtung: Ist � nicht diagonal, ist der KQ-Schätzer für die erste Stufe i. Allg. inkon-sistent! In diesem Fall sind andere Schätzverfahren notwendig.
14.2.1. Modellierung heteroskedastischer Fehler
• Ein häufig geeignetes Modell zur Modellierung von V ar(ut|�t) = Ê2t ist
E[u2t |�t] = e”+Zt“ = e”eZt“ . (14.12)
Die Gleichung (14.12) spezifiziert die Funktion h(·) in (14.5) als h(·) = exp(·).
Wird für eine Zufallsvariable vt festgelegt, dass
E[vt|�t] = 0 und V ar(vt|�t) = 1,
lässt sich u2t schreiben als
u2t = e”+Zt“v2
t , (14.13)so dass (14.12) gilt. Um ” und “ mit einer linearen Regression schätzen zu können, wird(14.13) logarithmiert:
ln u2t = ” + Zt“ + ln v2
t . (14.14)
Da E[ln v2t ] ”= ln E[v2
t ] = 0 (Jensen-Ungleichung, siehe Abschnitt 2.7), verwendet manfolgenden Trick:
ln u2t = ” + E[ln v2
t ]¸ ˚˙ ˝
”Õ
+Zt“ +1ln v2
t ≠ E[ln v2t ]
2
¸ ˚˙ ˝÷t wobei E[÷t|�t] = 0.
ln u2t = ”Õ + Zt“ + ÷t. (14.15)
• 2-stufiger Schätzer:
1. Schritt: Schätze das Modell (14.1) mit KQ und speichere die Residuen
u = MXy.
Einsetzen der Residuen in (14.15) zur KQ-Schätzung von ”Õ und “
ln u2t = ”Õ + Zt“ + Fehler. (14.16)
309
14. Verallgemeinerter Kleinst-Quadrate-Schätzer und seine Anwendungen
2. Schritt: Schätze (14.6)-Ansatz mit Ê2t = exp(Zt“)
yt
Êt
= 1Êt
Xt— + ut
Êt
. (14.17)
Der Faktor e”Õ kann weggelassen werden, da er für alle Beobachtungen konstant ist.
• FGLS oder KQ mit heteroskedastierobusten Standardfehlern? Die Frage ist wiegut � geschätzt werden kann. Je unpräziser, desto eher wird man den KQ-Schätzer mitheteroskedastie-robuster Varianz-Kovarianzmatrix, siehe Abschnitt 14.3 nehmen.
• Es ist möglich, den FGLS-Schätzer zu iterieren. Dies hat keinen Einfluss auf die asymptoti-schen Eigenschaften, jedoch auf die Schätzeigenschaften in endlichen Stichproben.
Liegen heteroskedastische Fehler vor, dann ist die Varianz-Kovarianzmatrix des KQ-Schätzersdurch (9.7) gegeben
V ar(—|X) = (XT X)≠1XT V ar(u|X) X(XT X)≠1 (9.7)= (XT X)≠1XT � X(XT X)≠1. (14.18)
Diese Varianz-Kovarianzmatrix wird oft als sandwich covariance matrix bezeichnet,wobei (XT X)≠1 die „Brotscheiben“ darstellen. Die Varianz-Kovarianzmatrix von ine�zientenSchätzern haben oft diese Form.
• Eine alternative Darstellung des “Belags“ ist:
XT �X =nÿ
t=1Ê2
t XTt Xt.
Da E[u2t |X] = Ê2
t , kann man Ê2t durch den „Durchschnitt auf Basis von einer Beobachtung“
u2t schätzen. Dies ist natürlich kein besonders guter Schätzer aber für unseren Zweck tut
er’s. Da ut unbekannt ist, nimmt man das Residuum ut.
Demnach kann man die Kovarianzmatrix (14.18) des KQ-Schätzers bei Heteroskedastiemittels
‰V ar(—|X) = (XÕX)≠1A
nÿ
t=1u2
t XTt Xt
B
(XÕX)≠1 (14.19)
schätzen.
310
14.3. Heteroskedastie-robuste Standardfehler
• Anmerkungen:
– Die Standardfehler, die man aus (14.19) erhält, bezeichnet man als heteroskedastie-robuste Standardfehler oder auch als White-Standardfehler. Letztere Bezeichnungführt auf Halbert White zurück, einen Ökonometriker an der University of California inSan Diego.
– Für ein einzelnes —j kann der heteroskedastie-robuste Standardfehler kleiner oder größersein als der gewöhnliche KQ-Standardfehler.
– Es kann gezeigt werden, dass der KQ-Schätzer — keine bekannte endliche Stichproben-verteilung mehr besitzt, wenn man heteroskedastie-robuste Standardfehler verwendet.Er ist jedoch unter recht allgemeinen Bedingungen asymptotisch normalverteilt. Esbleiben also die kritischen Werte und die p-values approximativ gültig, falls man (14.19)verwendet.
– In Davidson & MacKinnon (2004, Section 5.5) wird erklärt, warum (14.19) ein konsistenterSchätzer von (14.18) ist.
– Der KQ-Schätzer ist unabhängig von der Wahl der Standardfehler (White oder nicht-White) unverzerrt und konsistent, da die Annahmen (B1), (B2a), (B3) von Hete-roskedastie unberührt bleiben.
– Der KQ-Schätzer ist aber im Fall heteroskedastischer Fehler (asymptotisch) nicht e�-zient, da gezeigt werden kann, dass die Di�erenz der (asymptotischen) Präzision desKQ-Schätzers und des (F)GLS-Schätzer positiv semidefinit ist. Ist also etwas über die funk-tionale Form der Heteroskedastie bekannt und liegen genügend Stichprobenbeobachtungenvor, sollte der FGLS-Schätzer verwendet werden.
• Alternative Schätzer von (14.18) und deren Bezeichnungen in Davidson & MacKinnon(2004, Section 5.5) und den R-Paketen car oder sandwich.
– „HC0“: White-Standardfehler (14.19).
– „HC1“: Multipliziert White-Standardfehler (14.19) mit n/(n ≠ k). (Default in EViews.)
– „HC2“: Ersetzt u2t White-Standardfehler (14.19) durch u2
t /(1 ≠ ht), wobei ht das t-teDiagonalelement von PX ist.
– „HC3“: Ersetzt u2t White-Standardfehler (14.19) durch u2
t /(1 ≠ ht)2, wobei ht das t-teDiagonalelement von PX ist.
Alle Korrekturen haben zum Ziel, die Unterschätzung der Fehlervarianz durch Verwen-dung der Residuen anstelle der Fehler, siehe Abschnitt 9.5, zu korrigieren. Zur genauerenBegründung der jeweiligen Korrekturen siehe Davidson & MacKinnon (2004, Section 5.5).
• R-Befehle zur Berechnung heteroskedastie-robuster Varianz-Kovarianzmatrizen:
– Paket car: hcmm(model,type="hc1")
311
14. Verallgemeinerter Kleinst-Quadrate-Schätzer und seine Anwendungen
– Paket sandwich: vcovHC(model,type="HC1")
• R-Befehle zur Berechnung heteroskedastie-robuster Teststatistiken mit Paket car:
• Eliminieren von missing values bzw. not a number (NAN) bzw. not available/notapplicable (NA) (in R): Im verwendeten Datensatz kommt für die abhängige VariableImporte eine NA vor, die im weiteren Verlauf des R-Programms dazu führt, dass derResiduenvektor weniger Zeilen hat als die Regressormatrix. Deshalb ist es sinnvoll, vorBeginn der Schätzungen diese Beobachtung aus dem data frame zu eliminieren. Wenn derursprüngliche data frame mit daten_all bezeichnet wird, geht dies mit dem Befehl
daten <- daten_all[!is.na(daten$trade_0_d_o),]
Erst danach den Befehl attach(daten) verwenden, damit R im richtigen data frame sucht!
• FGLS-Schätzung
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)#### FGLS-Schätzung für Modell 4mod_4_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist) +
Residual standard error: 1.897 on 44 degrees of freedomMultiple R-squared: 0.9345, Adjusted R-squared: 0.9286F-statistic: 157.1 on 4 and 44 DF, p-value: < 2.2e-16
• Heteroskedastie-robuste KQ-Schätzer
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)
library(lmtest)# Zu Wahlmöglichkeiten für die Schätzung der heteroskedastischen# Varianz-Kovarianzmatrix siehe Abschnitt 14.3(coeftest(mod_4_kq,vcov=hccm(mod_4_kq,type="hc1")))
t test of coefficients:Estimate Std. Error t value Pr(>|t|)(Intercept) 2.427777 1.337400 1.8153 0.076298 .log(wdi_gdpusdcr_o) 1.025023 0.070679 14.5024 < 2.2e-16 ***log(cepii_dist) -0.888646 0.120775 -7.3579 3.428e-09 ***ebrd_tfes_o 0.353154 0.180896 1.9522 0.057290 .log(cepii_area_o) -0.151031 0.050657 -2.9814 0.004662 **---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
• Zusammenfassen der Ergebnisse in einer Tabelle: Outputtabelle für Modell(11.49) für unterschiedliche Schätzer
Ergebnis: Sowohl die Parameterschätzungen selbst, als auch die Standardfehler unter-scheiden sich nicht grundlegend. Mögliche Ursache: Es liegt keine Heteroskedastie in denFehlervarianzen vor.
313
14. Verallgemeinerter Kleinst-Quadrate-Schätzer und seine Anwendungen
Abhängige Variable: ln(Importe nach Deutschland)Unabhängige Variablen/Modell OLS FGLSKonstante 2.427 2.024
Anmerkungen: KQ- bzw. FGLS-Standardfehler in runden, White-Standardfehler in eckigenKlammern
• Fortsetzung in Abschnitt 15.7.
314
15. Modellüberprüfung
Übersicht zum Modellierungsprozess, siehe Abschnitt 4.3.
Warum ist Modellüberprüfung notwendig?
Eigenschaften von Schätz- und Testverfahren gelten nur unter den getro�enen Annahmen!=∆ Überprüfen dieser Annahmen essentiell, indem statistische Tests durchgeführt werden!
Wiederholung (Siehe Kapitel 11.3, S. 216)
Anwendungen von exakten Tests:
• Spezifikation des normalen linearen Regressionsmodells und Überprüfen derAnnahmen, vgl. Abschnitt 11.1
– (B1) und E[u|X] = 0 ((B2a)): y = X— + u enthält DGP
ú t-Tests, siehe Abschnitt 11.3.1; F -Tests, siehe Abschnitt 11.3.2.
ú Testen der korrekten funktionalen Form, z. B. mit RESET-Test, siehe Abschnitt 15.3.
ú Testen auf Parameterstabilität, z. B. mit Chow-Test, siehe (11.34) in Abschnitte11.3.2.
– (B3): XT X hat Rang k: Verletzung führt zu Fehlermeldung „singuläre Matrix“.
– (B4): u|X ≥ N(0, ‡2I):
ú Setzt E[u|X] = 0 voraus, siehe oben.
ú Setzt voraus: V ar(u|Xt) = ‡2 (Homoskedastie): Tests auf Heteroskedastie, sieheAbschnitt 15.2.
• Wie bereits erwähnt, ist es nicht sinnvoll “automatisch” den FGLS-Schätzer (14.17) zuverwenden. Sind die Fehler homoskedastisch, sollte der KQ-Schätzer mit den gewöhnlichenKQ-Fehlern verwendet werden.
• Man sollte also vorher testen, ob statistische Evidenz für Heteroskedastie vorliegt.
• Im Folgenden werden zwei unterschiedliche Tests vorgestellt: Der Breusch-Pagan-Test undder White-Test. Beide haben “homoskedastische Fehler” als Nullhypothese .
• In R ist der Breusch-Pagan-Test im Paket lmtest enthalten.
Es wird angenommen, dass für das multiple lineare Regressionsmodell
y = X— + u
die Annahmen für Erwartungstreue oder Konsistenz des KQ-Schätzers erfüllt sind. DerHypothesentest bezieht sich auf die Gültigkeit von (B2b) bzw. (C2b), also auf das Vorliegenvon Homoskedastizität.
Das zu testende Hypothesenpaar lautet
H0 : V ar(ut|Xt) = ‡2 (Homoskedastie),H1 : V ar(ut|Xt) = Ê2
t ”= ‡2 (Heteroskedastie).
Die Grundidee der Heteroskedastie-Tests ist, dass unter der Nullhypothese kein RegressorErklärungsgehalt für V ar(ut|Xt) haben sollte. Gilt die Nullhypothese nicht, kann die bedingteVarianz V ar(ut|Xt) durch (beinahe) jede beliebige Funktion der Regressoren xtj, (1 Æ j Æ k)oder anderer Regressoren bestimmt sein.
Beachte: Der Breusch-Pagan- und der White-Test unterscheiden sich bezüglich ihrer Alterna-tivhypothese.
• Abweichungen von der bisherigen Anwendung des F -Tests:
– Die quadrierten Fehler u2i sind auf keinen Fall normalverteilt, weil sie quadrierte Größen
sind und somit keine negativen Werte annehmen können. Somit können auch die vi nichtnormalverteilt sein und die F -Verteilung der F -Statistik ist bei endlichen Stichprobennicht exakt gültig.
Damit muss ein asymptotischer F -Test verwendet werden. Mit den Ergebnissen ausAbschnitt 11.4 und entsprechenden Regularitätsannahmen folgt, dass k mal die F -Statistikasymptotisch ‰2(k) verteilt ist.
– Die Fehler ui sind unbekannt. Sie können aber durch die Residuen ui der KQ-Schätzungersetzt werden, ohne dass die asymptotische Gültigkeit des F -Tests dadurch beeinflusstwürde. Der Grund hierfür ist, dass die Fehler konsistent durch die Residuen geschätztwerden, wenn die Parameter konsistent geschätzt werden. (Der formale Beweis ist formalrecht aufwändig und unterbleibt hier.)
• Man kann auch die R2-Version der Teststatistik verwenden. Beachte, dass das R2 wegenSSR = SST gleich Null ist, falls nur auf eine Konstante regressiert wird (es ist dann ja garkein Regressor vorhanden, der Streuung aufweist). Wir bezeichnen das Bestimmtheitsmaßder KQ-Schätzung aus (15.1) mit R2
u2 und erhalten
F = R2u2/k
(1 ≠ R2u2)/(n ≠ k) .
Die Teststatistik des Overall-F -Tests, der auf die gemeinsame Signifikanz aller Regressorentestet, wird von den meisten Softwareprogrammen standardmäßig ausgegeben.
• H0 wird dann abgelehnt, wenn F bzw. kF den kritischen Wert für ein gewähltes Signifi-kanzniveau auf Basis der Fk,n≠k bzw. ‰2(k)-Verteilung übersteigt (oder wenn der p-valuekleiner ist als das Signifikanzniveau).
• In R wird der Test mit dem Befehl bptest() aus dem Paket lmtest durchgeführt und gibtdie kF -Statistik aus, die asymptotisch ‰2(k)-verteilt ist.
• Beachte:
– Vermutet man, dass die Heteroskedastie von speziellen Variablen verursacht wird, diezuvor nicht in der Regression berücksichtigt wurden, können diese in die Regression (15.1)eingefügt werden.
– Falls H0 nicht abgelehnt wird, bedeutet dies nicht automatisch, dass die ui’s homoske-dastisch sind. Sollte die Spezifikation (15.1) nicht alle relevanten Variablen enthalten,die Heteroskedastie verursachen könnten, kann es passieren, dass alle ”j, j = 1, . . . , kgemeinsam insignifikant sind.
– Eine Variante des Breusch-Pagan-Tests ist ein Test auf multiplikative Heteroskedastie,d. h. die Varianz hat die Form ‡2
t = h(” + Xt—). Wird etwa der Fall h(·) = exp(·)
317
15. Modellüberprüfung
angenommen, erhält man die Testgleichung
ln(u2t ) = ”Õ + Xt— + Fehler. (14.16)
15.2.2. White-Test
• Hintergrund:Um die asymptotische Verteilung des KQ-Schätzers abzuleiten, wird die Annahme homoske-dastischer Fehler ((B2b) bzw. (C2b)) nicht benötigt.
Es reicht bereits aus, dass die quadrierten Fehler u2t mit allen Regressoren, deren Quadraten
und deren Kreuzprodukten unkorreliert sind.
Dies lässt sich recht einfach mit folgender Regression testen, wobei die unbekannten Fehlerbereits durch die Residuen ersetzt wurden:
u2t = ”0 + ”1xt1 + · · · + ”kxtk
+ ”k+1x2t1 + · · · + ”J1x2
tk
+ ”J1+1xt1xt2 + · · · + ”J2xtk≠1xtk
+ vt, t = 1, . . . , n. (15.2)
• Das Hypothesenpaar lautet:
H0 : ”j = 0 für j = 1, 2, . . . , J2,
H1 : ”j ”= 0 für mindestens ein j.
Es kann wieder ein F -Test verwendet werden, dessen Verteilung approximativ die F -Verteilung ist (asymptotische Verteilung).
• Hat man viele Regressoren, ist es mühsam den F -Test für (15.2) per Hand durchzuführen.Die meisten Softwareprogramme liefern den White-Test bereits mit.
• Bei großem k muss bei der Durchführung des White-Tests eine große Anzahl an Parameterngeschätzt werden. In kleinen Stichproben ist dies kaum zu verwirklichen. Man nimmt dannnur die Quadrate x2
tj in die Regression auf und vernachlässigt alle Kreuzprodukte.
• Beachte: Sollte die Nullhypothese abgelehnt werden, kann dies daran liegen, dass
– die Fehler heteroskedastisch sind und/oder
– das Modell nicht korrekt spezifiziert ist.
• In R ist der White-Test nicht automatisch verfügbar. Ein eigenes Programm whitetest()findet sich hierzu in Abschnitt B.2.
318
15.3. RESET-Test
15.3. Test auf korrekte Spezifikation der funktionalen Form:RESET-Test
RESET Test (REgression Specification Error Test)
Idee und Durchführung:
• Der RESET-Test dient zur Überprüfung, ob das vorliegende Regressionsmodell
yt = Xt— + ut
korrekt spezifiziert ist, d. h. ob die Annahmen (B1) und (B2a) bzw. alternativ die Annah-men (C1) und (C2a) gelten und somit
E[yt|�t] = Xt— (10.1)
gilt. Vgl. Kapitel 10.
• Jeder Term, der dem Modell hinzugefügt wird, sollte demnach insignifikant sein. Somitsollte auch jede nichtlineare Funktion unabhängiger Variablen insignifikant sein.
• Deswegen ist die Nullhypothese des RESET-Tests so formuliert, dass die Signifikanz nicht-linearer Funktionen der gefitteten Werte yt = Xt—, die dem Modell hinzugefügt wurden,getestet werden kann. Beachte, dass die gefitteten Werte eine nichtlineare Funktion derRegressoren des Ausgangsmodells darstellen.
• In der Praxis erwiesen sich die zweite und dritte Potenz der yt als hinreichend, um denRESET-Test durchführen zu können:
Getestet wird diese Nullhypothese mittels eines F -Tests mit 2 Freiheitsgraden im Zählerund n ≠ k ≠ 2 im Nenner, wobei der daraus resultierenden kritische Wert nur asymptotischkorrekt ist.
• Beachte: Wird die Nullhypothese abgelehnt, dass das Ausgangsmodell korrekt spezifiziertist, kann dies eine Reihe von Ursachen haben:
– Die funktionale Form ist nichtlinear.
– Es fehlen relevante Regressoren.
– Es liegt Heteroskedastie vor.
319
15. Modellüberprüfung
• R-Befehl: resettest(), wobei ohne weitere Angaben die zweite und dritte Potenz berück-sichtigt werden (erfordert R-Paket lmtest).
• Siehe Davidson & MacKinnon (2004, Section 15.2) für weitere Details.
15.4. Normalitätstest: Lomnicki-Jarque-Bera-Test
• Siehe Davidson & MacKinnon (2004, Section 15.2) für eine detaillierte Erklärung.
• In R wird der Lomnicki-Jarque-Bera-Test mit dem Befehl jarque.test() aus dem Paketmoments durchgeführt.
15.5. Stabilitätstests
Chow-Test
siehe (11.34) in Abschnitt 11.3.2.
15.6. Zusammenfassung eines ökonometrischen Modellierungsprozesses
15.7. Empirische Analyse von Handelsströmen: Teil 5
Fortsetzung von Abschnitt 14.4.
• RESET-Test von Modell 4:
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)#### Durchfüuhren des RESET-Tests f-ur Modell 4 mitresettest(mod_4_kq)
• White-Test mit Kreuzprodukte auf Heteroskedastie mit den KQ-Residuen:
R-Code (Ausschnitt aus R-Programm in Abschnitt A.4)################################################################################# Beginn Funktion whitetest################################################################################# White-Test auf homoskedastische Fehler mit Kreuzprodukten# RW, 2011_01_26
whitetest <- function(model){
# Daten aus model extrahierendat <- model$modeldat$resid_sq <- model$resid^2
# Formel für die Hilfsregression erstellenregr <- attr(model$terms, "term.labels")form <- as.formula(paste("resid_sq~(",paste(regr,collapse="+"),")^2+",paste("I(",regr,"^2)",collapse="+"))
################################################################################# Ende Funktion whitetest################################################################################
#### Durchführen des White-Test f-ur Modell 4whitetest(mod_4_kq)
– Der RESET-Test liefert eine Ablehnung der Nullhypothese korrekter Spezifikation auf dem1%-Signifikanzniveau. D. h. quadratische Terme spielen möglicherweise eine erklärendeRolle, z. B. I((log(wdi_gdpusdcr_o)). Berücksichtigung dieses zusätzlichen Regressorsführt jedoch zu keiner insignifikanten RESET-Test-Statistik. Möglicherweise ist dies aufAusreißer zurückzuführen.
– Sowohl der Breusch-Pagan- als auch der White-Test lehnen die Nullhypothese homoske-dastischer KQ-Residuen auf jedem brauchbaren Signifikanzniveau nicht ab. Somit waralso die Verwendung Heteroskedastie-robuster Standardfehler oder von FGLS in Abschnitt14.4 nicht e�zient.
– Breusch-Pagan- und White-Test lehnen die Nullhypothese homoskedastischer standardi-sierter FGLS-Fehler ebenfalls nicht ab. Die p-values steigen nochmal deutlich auf über50%.
– Ein endgültiges Modell ist aufgrund der starken Ablehnung des RESET-Tests auch mitquadratischem Regressor noch nicht gefunden.
322
A. R-Programme
A.1. R-Programme für Graphiken in Abschnitt 2.5 zu Verteilungs- undDichtefunktionen
CDF und PDF der Standardnormalverteilung, siehe Abbildung 2.1# Verteilungs- und Dichtefunktion der Standardnormalverteilung# KK, 21.10.2010, RT, 29.09.2015 (pdf- statt eps-Graphiken)
######## Dichtefunktion der Standardnormalverteilung#######
# Öffnen des Graphik-Outputs und Angabe, dass Speichern als .eps-Datei# (Dateiname, Größe der Graphik)#postscript("pdf_std_normal.eps", height=4, width=6, horizontal=FALSE)# oder Speichern als .pdfpdf("pdf_std_normal.pdf", height=4, width=6)
# Parameter für Graphiken: (optional)# las=1: Achsenskalierung waagrecht# mai: Breite der Ränder (unten, links, oben, rechts)# mgp: Lage von Achsen, Achsenskalierung und Achsenbeschriftungpar(las=1, mai=c(0.6,0.1,0.1,0.1), mgp=c(1.5,1,0))
# Plotten der beiden Punkte (-3.5,0) und (3.5,0.48) (-> Ausmaße der Graphik)# type="n": leerer Plot# bty="n": keine Box um die Graphik# xaxt="n", yaxt="n": keine x- und y-Achse# xlab="x", ylab="": x-Achsenbeschriftung ist x, y-Achse unbeschriftetplot(c(-3.5,3.5), c(0,0.48), type="n", bty="n", xaxt="n", yaxt="n",
xlab="x", ylab="")
# Ergänzen der Achsen (1 x-Achse, 2 y-Achse)# pos=0: Achse geht durch 0# labels: Achsenskalierung# at: Positionen der Achsenskalierungaxis(1, pos=0, labels=-3:3, at=-3:3)axis(2, pos=0, labels=1:4/10, at=1:4/10)# x-Achse zu kurz -> mit Linie bei y=0 verlängern (h horizontale Linie)# y-Achse zu kurz -> Linie von 0 bis 0.44 einzeichnenabline(h=0)lines(c(0,0), c(0,0.44))# y-Achsenbeschriftungtext(0, 0.472, expression(phi(x)))
# Plotten der Funktion# dnorm: Dichte der Normalverteilung (analog pnorm: Verteilungsfunktion)# from, to: Bereich, in dem die Funktion geplottet wird# add=TRUE: plottet in bestehendes Graphikfensterplot(function(x) dnorm(x), from=-3.5, to=3.5, add=TRUE)
A. R-Programme
# Schließen des aktuellen Graphikfensters (z.~B. .eps- oder .pdf-Datei)dev.off()
######## Verteilungsfunktion der Standardnormalverteilung#######
# Plan: Polygon zeichnen (das kann man dann einfärben)# Polygon braucht zuerst alle x-Werte, dann alle y-Werte# die werden dann verbunden# x-Werte: von -4 bis qnorm(alpha) (-> x_tmp)# y-Werte: Dichtewerte für die x-Wertex_tmp <- seq(from=-4, to=qnorm(alpha), length.out=1000)polygon(c(x_tmp, x_tmp[length(x_tmp)]), # letzter doppelt (Punkt q_alpha,0)
main="Density of Bivariate Normal Distribution for (x1,x2)" ,theta=35, phi=20 , r=10, shade=0.1, ticktype="detailed")
326
A.1. R-Programme für Graphiken in Abschnitt 2.5 zu Verteilungs- und Dichtefunktionen
dev.off()
# ?contour# screen(2)pdf("Biv_Normal_Surface_con.pdf", height=6, width=6)contour(x1,x2,Density,nlevels=50,main="Density of Bivariate Normal Distribution for (x1,x2)" )dev.off()# close.screen(all=TRUE)
Listing A.3: ./R_code/2_5_Plot_PDF_biv_Normal.R
327
A. R-Programme
A.2. R-Programm für Monte-Carlo-Simulation im Abschnitt 5.5.1 zumGesetz der großen Zahlen
# ======================== 5_4_MC_bar_y_LLN_CLT.R ==============================## Programm für Monte-Carlo-Simulation# zum Illustrieren des LLM und CLTs des arithmetischen Mittels# Berechnet Mittelwert und Standardabweichung über alle Replikationen# sowie Histogramme# DGP: Mittelwert + chi-quadratverteilter Fehler# Hinweis: Programm ist der Lesbarkeit halber mit for-Schleifen geschrieben# Stand: RT, 2015_10_02
graphics.off() # Schließe alle Graphikfenster
# Setze Parameter des Modells und der Monte-Carlo-Simulation
set.seed(42) # RandomseedN <- c(10,50,100,500) # StichprobengrößenR <- 10000 # Zahl der Replikationen
mu <- 1 # Mittelwertdeg_freedom <- 1 # Freiheitsgrade der qui-quadrat-Verteilungsigma <- 2 # Standardabweichung des Fehlers
save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst# Bilden von zwei Schleifen:# Äußere Schleife über die Zahl der Replikationen# Innere Schleife über die Stichprobengröße
# Berechnen der arithmetischen Mittelwerte der Parameterschätzungenmu_hat_mean <- colMeans(mu_hat_store)mu_tilde_mean <- colMeans(mu_tilde_store)
# Berechnen der Varianzen der Parameterschätzungenmu_hat_sd <- sqrt(diag(var(mu_hat_store)))mu_tilde_sd <- sqrt(diag(var(mu_tilde_store)))
# Darstellung am Bildschirm(cbind(N,mu_hat_mean,mu_hat_sd,mu_tilde_mean,mu_tilde_sd))
# Erstellen von Histogrammenif (save.pdf) pdf("plot_MC_mu_hat_Konsistenz.pdf", height=6, width=6)par(mfrow=c(2,2)) # Zeichne vier Plots in ein Graphikfensterfor (i in (1:4))
328
A.3. R-Programme für Graphiken im Abschnitt 5.6 zu Grundlagen von Tests
xlab=expression(tilde(mu)), main=paste("Histogramm für n= ",N[i],sep=""))}if (save.pdf) dev.off()# ========================= Ende ==================================
Listing A.4: ./R_code/5_4_MC_bar_y_LLN_CLT.R
A.3. R-Programme für Graphiken im Abschnitt 5.6 zu Grundlagen vonTests
Test auf Mittelwert des DAX, siehe Seite 124# ===================== 5_5_Test_Mean_DAX.R ================================# Programm testet Erwartungswert der DAX-Renditen.# Daten stammen von Yahoo-Finance# Stand: 2015_10_01, RT
# Installieren der Library "xlsx", falls nicht vorhandenif (!require(xlsx)){
install.packages("xlsx")}
library(xlsx) # Library zum Einlesen von Dateien im Format xls oder xlsx
WD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory#excel_daten <- read.xlsx("DAX_19930325_20150930.xlsx",
# ==================== Ende ==============================================
Listing A.5: ./R_code/5_5_Test_Mean_DAX.R
329
A. R-Programme
Gütefunktion des Tests bzgl. des Mittelwertes, siehe Abbildung 5.3# Programm zum Erstellen der Graphik zum Darstellen der# Powerfunktion in Folien Methoden, Abschnitt 4.1# erstellt von: RT, 2012_12_20
A.3. R-Programme für Graphiken im Abschnitt 5.6 zu Grundlagen von Tests
Darstellung der Gütefunktion auf einem Gitter, siehe Abbildung 5.4# ================== power_function_persp ==================================# Programm zum Erstellen der perspektischen Graphik zum Darstellen der# Powerfunktion in Folien Methoden, Abschnitt 4.1# erstellt von: RT, 2012_12_20## Beachte: Falls library aplpack nicht installiert ist, vorher installieren!# Laden der Library aplpack, die die Funktionen für slider enthält
graphics.off() # Schließe alle Graphikfensterlibrary(aplpack)# Laden der Library aplpack
}# ----------------------- Ende beweglicher plot --------------------------------# ========================= Ende Funktionen ====================================
# ========================= Hauptprogramm ======================================# Definieren von Parametern
# Koloriere Hyperebene des Unterraums mit Funktion "col_persp", siehe obenpower_grid_col <- col_persp(power_grid_mat)
# Erstellen der 3D-Graphik# rufe slider mit Funktion beweglicher_plot zum Erstellen# und möglichem Drehen der 3D-Graphik aufwindows() # öffnet ein neues Graphikfensterslider(beweglicher_plot,
sl.names = c("drehen", "kippen", "Entfernung"),sl.mins = c(0, 0, 1), # Minimumwerte für Schiebersl.maxs = c(360, 360, 100), # Maximumwerte für Schiebersl.deltas = c(1, 1, 1), # Schrittweite für Schiebersl.defaults = c(35, 20, 5) # Defaultwerte für Parameter, prompt = TRUE # sorgt dafür, dass man den Effekt einer Sliderbewegung
# sofort auf dem Bildschirm sieht und nicht erst nach dem# Loslassen des Mousebuttons
A.4. R-Programm für empirisches Beispiel zu Handelsströmen,beginnend in Abschnitt 6.3
################### 4_ff_Beispiel_Handelsstroeme.R ############################################################################################################################################################################################### Handelsströme-Beispiel im Skript Methoden der Ökonometrie,# Universität Regensburg# Kommentierter R Code# Stand: 01.10.2015# Vorläufer:# - aussenhandel_beispiel_hk.r WS 2014/15 für Teil bis# ENDE PFLICHTKURS PO 2011 - STOFF# - aussenhandel_beispiel_pflichtkurs.r################################################################################################################################################################# Um das Skript ausführen zu können, werden die Daten für das# Handelsströme-Beispiel "importe_ger_2004_ebrd.txt" benötigt.## Hinweis: Zunächst werden die Funktionen stats und SelectCritEviews definiert.# Anschließend beginnt das Hauptprogramm in Zeile ??
A.4. R-Programm für empirisches Beispiel zu Handelsströmen, beginnend in Abschnitt 6.3
# Beginn Definition Funktionen################################################################################
############################ Funktion stats ##################################### Nützliche Funktion, die bei Eingabe eines Vektors statistische Kennzahlen liefert# analog zu EViews-Output von "Descriptive Statistics"#
return(data.frame(Statistics))}############################### Ende ###########################################
####################### Funktion SelectCritEviews ############################### Funktion zur Berechnung von Modellselektionskriterien wie in EViews# RT, 2011_01_26
SelectCritEviews <- function(model){
n <- length(model$residuals)k <- length(model$coefficients)fitmeasure <- -2*logLik(model)/n
aic <- fitmeasure + k * 2/nhq <- fitmeasure + k * 2*log(log(n))/nsc <- fitmeasure + k * log(n)/nsellist <- list(aic=aic[1],hq=hq[1],sc=sc[1])return(t(sellist))
}############################### Ende ###########################################
################################################################################# Ende Definition Funktionen################################################################################
################################################################################# Beginn Hauptprogramm################################################################################save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst
# Folgende Libraries werden im Verlauf geladen: car,lmtest
# Falls diese nicht installiert sind, werden diese zunächst installiert:if (!require(car)){
install.packages("car")}if (!require(lmtest)){
install.packages("lmtest")}
# Festlegung des Arbeitsverzeichnisses (working directory)# in welchem sich das R-Program und die Daten befindenWD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory
333
A. R-Programme
# Einlesen der Daten als data framedaten_all <-read.table("importe_ger_2004_ebrd.txt", header = TRUE)# Zuweisung der Variablennamen und# Eliminieren der Beobachtung Exportland: GER, Importland: GERattach(daten_all[-20,])
# Zum Ausprobieren, falls importe_ger_2004_ebrd.txt schon eingelesen worden iststats(trade_0_d_o)
############# Scatterplot mit (linearer) Regressionsgerade ###################### I.1 Ziel/Wissenschaftliche Fragestellung: erster empirischer Versuch
# Für Ausgabe im PDF Format Dateiname definierenif (save.pdf) pdf("plot_wdi_vs_trade.pdf", height=6, width=6)
# KQ-Schätzung eines einfachen linearen Regressionsmodells, abgespeichert in olsols <- lm(trade_0_d_o ~ wdi_gdpusdcr_o)# Scatterplot der beiden Variablenplot(wdi_gdpusdcr_o, trade_0_d_o, col = "blue", pch = 16)# Einzeichnen der linearen Regressionsgeraden mittels ablineabline(ols, col = "red")# Hinzufügen einer Legendelegend("bottomright", "Lineare Regression", col = "red", lty = 1, bty = "n")
# Device schließenif (save.pdf) dev.off()
######## Schätzen von zwei multiplen linearen Regressionsmodellen ############### II.3 Spezifizieren, Schätzen und Auswählen eines ökonometrischen Modells# Hinweis:# Die Nummerierung der Regressionsmodelle orientiert sich an# den Modellen im Skript, Abschnitt 10.3
# Ausführen einer linearen Regression und Speichern der Ergebnisse als Objektmod_2_kq <- lm(log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist))
# Anzeige der Regressionsergebnissesummary(mod_2_kq)
# II.4 Überprüfen des geschätzten Modells# Ausführen der linearen Regression mit zusätzlichem Regressor und# Verwenden des formula-Befehlsmod_3a_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) + log(cepii_dist) +
ebrd_tfes_omod_3a_kq <- lm(mod_3a_formula)# Anzeige der Regressionsergebnisse des zweiten linearen Regressionsmodellssummary(mod_3a_kq)
################################################################################# Abschnitt 8.5################################################################################# Besteht nichtlinearer Zusammenhang zwischen Importen und BIP?# Einfache Modellierungsmöglichkeit: Regressor BIP geht auch quadratisch# in das Modell ein
334
A.4. R-Programm für empirisches Beispiel zu Handelsströmen, beginnend in Abschnitt 6.3
# Modell 5: Verwende auch log(BIP)^2 als Regressormod_5_formula <- log(trade_0_d_o) ~ log(wdi_gdpusdcr_o) +
# Generiere Plot der Elastizitäten für verschiedene BIPselast_gdp <- mod_5_kq$coef[2] + 2* mod_5_kq$coef[3]*log(wdi_gdpusdcr_o)# Erstelle Scatterplotif (save.pdf) pdf("plot_modell5_elast.pdf.pdf", height=6, width=6)plot(wdi_gdpusdcr_o, elast_gdp, pch = 16, col = "blue", main = "GDP-Elasticity")if (save.pdf) dev.off()
################################################################################# Abschnitt 9.5################################################################################ Schätze Varianz-Kovarianzmatrix der KQ-Schätzer für Modell 3asummary(mod_3a_kq)$cov
# Schätze Korrelationsmatrix der KQ-Schätzer für Modell 3acov2cor(summary(mod_3a_kq)$cov)
# Schätze Kovarianzmatrix der Stichprobenbeobachtungen für Modell 3acor(data.frame(log_wdi_gdpusdcr_o = log(wdi_gdpusdcr_o),
################################################################################# Abschnitt 11.7 Empirische Analyse von Handelsströmen################################################################################
# Modell 4 wurde in Abschnitt 10.3 berechnetresid_mod_4_kq <- mod_4_kq$resid # Residuen von Modell 4trade_0_d_o_fit <- mod_4_kq$fitted # Gefittete Werte von Modell 4
# Plot der Residuen vs. der gefitteten Werteif (save.pdf) pdf("plot_fits_vs_resids_mod_4.pdf", 6, 6)plot(trade_0_d_o_fit, resid_mod_4_kq, col = "blue", pch = 16, main = "Scatterplot")if (save.pdf) dev.off()
# Plot des Histogramms der Residuenif (save.pdf) pdf("plot_hist_resids_mod_4.pdf", 6, 6)hist(resid_mod_4_kq, breaks = 20, col = "lightblue", prob = T, main = "Histogram")
#### Regressionsoutput mit heteroskedastie-robusten Standardfehlern
library(lmtest)# Zu Wahlmöglichkeiten für die Schätzung der heteroskedastischen# Varianz-Kovarianzmatrix siehe Abschnitt 14.3(coeftest(mod_4_kq,vcov=hccm(mod_4_kq,type="hc1")))
#### Durchfüuhren des RESET-Tests f-ur Modell 4 mitresettest(mod_4_kq)
#### Durchfüuhren des Breusch-Pagan-Tests f-ur Modell 4bptest(mod_4_kq)
################################################################################# Beginn Funktion whitetest################################################################################# White-Test auf homoskedastische Fehler mit Kreuzprodukten# RW, 2011_01_26
whitetest <- function(model){
# Daten aus model extrahierendat <- model$modeldat$resid_sq <- model$resid^2
# Formel für die Hilfsregression erstellenregr <- attr(model$terms, "term.labels")form <- as.formula(paste("resid_sq~(",paste(regr,collapse="+"),")^2+",paste("I(",regr,"^2)",collapse="+")))
################################################################################# Ende Funktion whitetest################################################################################
#### Durchführen des White-Test f-ur Modell 4whitetest(mod_4_kq)
########################## Ende Hauptprogramm #################################
A.5. R-Programm für Graphiken in Abschnitt 7.1 Die Geometrie des KQ-Schätzers
A.5. R-Programm für Graphiken in Abschnitt 7.1 Die Geometrie desKQ-Schätzers
Geometrie des KQ-Schäzers, siehe Abbildungen 7.1 und 7.2 ˘ Ableitung der Funktioncomp_d3 im folgenden R-Programm zur Berechnung der 3. Koordinate der Hyperebene, diedurch ”(X) aufgespannt wird im Fall von k = 2 und n = 3:
Die Achsen der 3D-Graphik stehen orthogonal zueinander. Entsprechend der Richtungen derAchsen werden die drei Einheitsbasisvektoren ei, i = 1, 2, 3 gewählt (siehe Leverage-E�ekt inAbschnitt 7.2). Für diese gilt deshalb eT
i ej = 0, i ”= j. Für alle Vektoren im Unterraum ”(X)gilt
Xa = d1e1 + d2e2 + d3e3 =
Q
cad1d2d3
R
db (A.1)
Zur Berechnung der Hyperebene des Unterraums in E3 lassen sich d1 und d2, jeweils auf einemGitter vorgeben d1, d2 = 0, 0.25, 0.5, . . . , 10. Problem ist nun d3 so zu bestimmen, dass (A.1)erfüllt ist:
1. Hierzu bestimmt man zunächst den (2 ◊ 1)-Vektor a in Abhängigkeit von d1, d2:A
x11 x12x21 x22
B
¸ ˚˙ ˝:=XI
Aa1a2
B
=A
d1d2
B
.
Multiplikation mit X≠1I (XI ist hier quadratisch) ergibt
a = X≠1I
Ad1d2
B
.
2. Berechnen von d3 mittels der 3. Zeile von (A.1) liefert:
d3 = X3a = X3X≠1I
Ad1d2
B
.
# ================== 7_1_Projektion_KQ_n3.R ==================================# Programm zum Erstellen der Graphiken im Skript Methoden der Ökonometrie,# Abschnitt 7.1 Die Geometrie des KQ-Schätzers# erstellt von: RT,KK,JS, 2010_11_24, 2015_09_30#
# Falls library aplpack nicht installiert ist, wird dies jetzt installiert.
if (!require(aplpack)){install.packages("aplpack")
}graphics.off() # Schließe alle Graphikfenster
# Laden der Library aplpack, die die Funktionen für slider enthältlibrary(aplpack)# Laden der Library aplpack
# ---------------------- Ende col_persp ---------------------------------------# ---------------------- beweglicher_plot -------------------------------------# Definiere Funktion "beweglicher_plot", die vom Programm "slider"# aufgerufen wird und die Oberflächen/Perspektivengraphik erzeugt# Beachte: die Funktion verwendet Variable aus dem Hauptprogramm ohne# dass diese explizit übergeben werdenbeweglicher_plot <- function(...) {
# verschobener hat u Vektorlines(trans3d(x=c(y[1],y_hat[1]), y=c(y[2],y_hat[2]), z=c(y[3],y_hat[3]),
pmat=res), col="green", lwd=2)}# ----------------------- Ende beweglicher_plot -------------------------------# ========================= Ende Funktionen ====================================
# ========================= Hauptprogramm ======================================# Definieren von Parametern
# Festlegen der Parameter für die Graphiksym_gr <- 1.5 # Symbolgrößestep <- .25 # Schrittgröße für das Gitter, über dem X beta berechnet
# und gezeichnet werden soll
# Festlegen der drei Beobachtungen und des Parametervektors betax1 <- c(1,1,1)x2 <- 2*c(0.5,2,1.3)beta <- c(5,-1)u <- c(-3,4,5)
X <- cbind(x1,x2) # X = { x_1 x_2 }Xbeta <- X%*%beta # X*betay <- Xbeta + u
# Berechnen des KQ-Schätzers und der gefitteten Wertebeta_hat<- solve(t(X) %*% X) %*% t(X) %*% yy_hat <- X %*% beta_hat
# Berechnen der 3D-Graphikd1_min <- min(Xbeta,0)d1_max <- max(Xbeta,10)d1 <- seq(d1_min,d1_max, by=step) # Gitterpunkte in erster Richtungd2 <- seq(d1_min,d1_max, by=step) # Gitterpunkte in zweiter Richtungd_grid <- expand.grid(d1,d2) # Erstellen des Gitters, über dem Unterraum
# delta(X) geplottet werden soll# Wende Funktion "comp_d3" auf Gitter von d_1 und d_2 an# beachte: Argumente, die in apply der Funktion übergeben werden, werden# ohne = übergeben
d3_grid <- apply(d_grid,1,comp_d3,X)# apply gibt einen Vektor aus, der im Folgenden in eine Matrix umgewandelt# wird, so dass d_3 zu den korrekten d_1 und d_2 passt.
# Koloriere Hyperebene des Unterraums mit Funktion "col_persp", siehe obend3_col <- col_persp(d3_mat)
# Erstellen eines Scatterplots mit Regressionsgerade des DGP und# geschätzte Regressionsgerade,# Fehler und Residuen für 2. Beobachtungplot(x2,y,col="red",pch=16,xlab=expression(x[2]),ylab=expression(y)) # Scatterplotabline(a=beta[1],b=beta[2],col="black") # Regressionsgerade des DGPpoints(x2,Xbeta,col="black",pch=16) # X beta auf der Regressionsgeradeabline(a=beta_hat[1],b=beta_hat[2],col="blue")# geschätzte Regressionsgeradepoints(x2,y_hat,col="blue",pch=16) # hat y auf der gesch. Reg.ger.
# Einzeichnen des Fehlervektors und Residuenvektors# für 2. Beobachtung
t <- 2lines(cbind(x2[t],x2[t]),cbind(Xbeta[t],y[t]),col="brown") # Fehlervektortext(x2[t]-.2,(y[t]-Xbeta[t])*0.75, expression(u[2]),cex=sym_gr)
# Erstellen der 3D-Graphik# rufe slider mit Funktion beweglicher_plot zum Erstellen# und möglichem Drehen der 3D-Graphik aufwindows() # öffnet ein neues Graphikfensterslider(beweglicher_plot,
sl.names = c("drehen", "kippen", "Entfernung"),sl.mins = c(0, 0, 1), # Minimumwerte für Schiebersl.maxs = c(360, 360, 100), # Maximumwerte für Schiebersl.deltas = c(1, 1, 1), # Schrittweite für Schiebersl.defaults = c(35, 20, 5) # Defaultwerte für Parameter, prompt = TRUE # sorgt dafür, dass man den Effekt einer Sliderbewegung
# sofort auf dem Bildschirm sieht und nicht erst nach dem# Loslassen des Mousebuttons
)# Ende slider# ================ Ende Hauptprogramm =====================================
Listing A.9: ./R_code/7_1_Projection_KQ_n3.R
342
A.6. R-Programm für Regressionsergebnisse in Abschnitt 8.3 zu qualitative Daten alsRegressoren
A.6. R-Programm für Regressionsergebnisse in Abschnitt 8.3 zuqualitative Daten als Regressoren
# ===================== 8_4_Interpretationen_Wage.R ===========================# Programm für Lohnregressionen mit Dammies und Interaktionstermen,# siehe Abschnitt 8.4 in Skript Methoden der Ökonometrie# Stand: 2015_10_02# Vorläufer: app_interpretationen_wage.r aus WS 2013/14
# Festlegung des Arbeitsverzeichnisses (working directory)# in welchem sich das R-Program und die Daten befinden
WD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory
# Einlesen der Daten# Die Datendatei "wage1.txt" muss in demselben Verzeichnis wie die# R-Datei liegenwage_data <- read.table("wage1.txt", header = TRUE)attach(wage_data)
A.7. R-Programm für Graphiken in Abschnitt 9.1 zu Erwartungstreuedes KQ-Schätzers
Monte-Carlo-Simulation zur Erwartungstreue, siehe Abbildung 9.1# ======================== 9_1_MC_KQ_einf_lin_Reg.R ============================## Programm für Monte-Carlo-Simulation# zum Illustrieren der Erwartungstreue des KQ-Schätzers# im einfachen linearen Regressionsmodell.# Außerdem wird mit einem Scatterplot die Kovarianz zwischen den geschätzten# KQ-Parametern illustriert.# erstellt von : RT, 2010_11_25
graphics.off() # Schließe alle Graphikfenster
# Setze Parameter des Modells und der Monte-Carlo-Simulation
set.seed(42) # Randomseedn <- 50 # StichprobengrößeR <- 1000 # Zahl der Replikationen
save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst
# Bilden einer Schleifebeta_hat_store <- matrix(0,nrow=R,ncol=length(beta))
# Initialisiere Matrix zum Abspeichern der KQ-Schätzungen# für jede Realisation
for (r in (1:R)){
# Generieren einer Realisation eines einfachen linearen Regressionsmodellsu <- rnorm(n,mean=0,sd=sigma_0) # Ziehen von ux <- sample(1:20, n, replace=TRUE) # Ziehen von xy <- beta_0[1] + x * beta_0[2] + u # Berechnen von y
# Berechnen des KQ-Schätzersols <- lm(y~x)
# Speichern der Parameterschätzungbeta_hat_store[r,] <- coef(ols)
}
# Berechnen der Mittelwerte der ParameterschätzungencolMeans(beta_hat_store)
# Erstellen von Histogrammenif (save.pdf) pdf("plot_MC_KQ_einf_lin_Reg_hist.pdf", height=6, width=6)par(mfrow=c(1,2)) # Zeichne zwei Plots in ein Graphikfensterhist(beta_hat_store[,1],breaks=sqrt(R))hist(beta_hat_store[,2],breaks=sqrt(R))if (save.pdf) dev.off()
# Varianz-Kovarianzmatrix der Schätzer aus den R Realisationen(var(beta_hat_store))
# Scatterplot der R KQ-Schätzungenpar(mfrow=c(1,1))plot(beta_hat_store[,1],beta_hat_store[,2])
344
A.7. R-Programm für Graphiken in Abschnitt 9.1 zu Erwartungstreue des KQ-Schätzers
# ========================= Ende ==============================================
Listing A.11: ./R_code/9_1_MC_KQ_einf_lin_Reg.R
345
A. R-Programme
A.8. R-Programm für Monte-Carlo-Simulation im Abschnitt 9.2 zurKonsistenz des KQ-Schätzers
Monte-Carlo-Simulation zur Konsistenz und zum zentralen Grenzwertsatz, sieheAbbildungen 9.2 und 9.3# ======================== 9_2_MC_KQ_Konsistenz_einf_lin_Reg.R =================# Programm für Monte-Carlo-Simulation# zum Illustrieren der Konsistenz und der asymptotischen Normalverteilung# des KQ-Schätzers im einfachen linearen Regressionsmodell.# Berechnet Mittelwert und Standardabweichung über alle Replikationen# sowie Histogramme.# Hinweis: Programm ist der Lesbarkeit halber mit for-Schleifen geschrieben# Stand: RT, 2015_10_04
graphics.off() # Schließe alle Graphikfenster
# Setze Parameter des Modells und der Monte-Carlo-Simulation
set.seed(42) # RandomseedN <- c(50,100,500,1000,10000,100000) # StichprobengrößenR <- 10000 # Zahl der Replikationen
save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst# Bilden von zwei Schleifen:# Äußere Schleife über die Zahl der Replikationen# Innere Schleife über die Stichprobengröße
# Initialisiere Matrix zum Abspeichern der KQ-Schätzungen# für beta_1 jede Realisation und jede Stichprobengröße
beta_2_hat_store <- matrix(0,nrow=R,ncol=length(N))# Initialisiere Matrix zum Abspeichern der KQ-Schätzungen# für beta_1 jede Realisation und jede Stichprobengröße
for (r in (1:R)){
# Generieren einer Realisation eines einfachen linearen Regressionsmodells# für die maximale Stichprobengrößeu <- rnorm(n_max,mean=0,sd=sigma) # Ziehen von ux <- sample(1:20, n_max, replace=TRUE) # Ziehen von xy <- beta[1] + x * beta[2] + u # Berechnen von y
for (i in (1:length(N))){
# Berechnen des KQ-Schätzers für alle Stichprobengrößen
# ols <- lm(y[1:N[i]]~x[1:N[i]]) # Standard-Befehl für KQ-Schätzung# schneller lm-Befehl, um in der Simulation Zeit zu sparen
# Speichern der Parameterschätzungbeta_1_hat_store[r,i] <- coef(ols)[1]beta_2_hat_store[r,i] <- coef(ols)[2]}
}
# Berechnen der Mittelwerte der Parameterschätzungenbeta_1_hat_mean <- colMeans(beta_1_hat_store)beta_2_hat_mean <- colMeans(beta_2_hat_store)
346
A.8. R-Programm für Monte-Carlo-Simulation im Abschnitt 9.2 zur Konsistenz desKQ-Schätzers
# Berechnen der Standardabweichungen der Parameterschätzungenbeta_1_hat_sd <- sqrt(diag(var(beta_1_hat_store)))beta_2_hat_sd <- sqrt(diag(var(beta_2_hat_store)))
# Darstellung am Bildschirm(cbind(N,beta_1_hat_mean,beta_1_hat_sd,beta_2_hat_mean,beta_2_hat_sd))
# Erstellen von Histogrammenif (save.pdf) pdf("plot_MC_KQ_Konsistenz_einf_lin_Reg1.pdf", height=6, width=6)par(mfrow=c(2,2)) # Zeichne vier Plots in ein Graphikfensterfor (i in (1:2)){
xlab=expression(hat(beta)[1]), main=paste("Histogramm für n= ",N[i],sep=""))hist(beta_2_hat_store[,i], breaks=sqrt(R),
xlab=expression(hat(beta)[2]), main=paste("Histogramm für n= ",N[i],sep=""))}if (save.pdf) dev.off()
if (save.pdf) pdf("plot_MC_KQ_Konsistenz_einf_lin_Reg2.pdf", height=6, width=6)par(mfrow=c(2,2)) # Zeichne vier alle Plots in ein Graphikfensterfor (i in (3:4)){
xlab=expression(hat(beta)[1]), main=paste("Histogramm für n= ",N[i],sep=""))hist(beta_2_hat_store[,i], breaks=sqrt(R),
xlab=expression(hat(beta)[2]), main=paste("Histogramm für n= ",N[i],sep=""))}if (save.pdf) dev.off()
if (save.pdf) pdf("plot_MC_KQ_Konsistenz_einf_lin_Reg3.pdf", height=6, width=6)par(mfrow=c(2,2)) # Zeichne vier alle Plots in ein Graphikfensterfor (i in (5:6)){
xlab=expression(hat(beta)[1]), main=paste("Histogramm für n= ",N[i],sep=""))hist(beta_2_hat_store[,i], breaks=sqrt(R),
xlab=expression(hat(beta)[2]), main=paste("Histogramm für n= ",N[i],sep=""))}if (save.pdf) dev.off()# ========================= Ende ==============================================
A.9. R-Programm zur Darstellung von ifo Geschäftsklimazeitreihen imAbschnitt 12 zu univariaten Zeitreihenmodellen
# ======================== 12_0_ifo_Geschaeftsklima.R ===========================## erzeugt Graphik der Zeitreihen zu ifo Geschäftserwartungen,# der ifo Geschäftsbeurteilung und des ifo Geschäftsklimas für die# gewerbliche Wirtschaft# letzte Änderung: 2015_10_10, RT
save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst
# Falls diese nicht installiert sind, werden diese zunächst installiert:if (!require(xlsx)){
install.packages("xlsx")}if (!require(dynlm)){
install.packages("dynlm")}library(xlsx) # Einlesen von Dateien im Format xls oder xlsx
# Festlegung des Arbeitsverzeichnisses (working directory)# in welchem sich das R-Program und die Daten befindenWD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory
# Einlesen der Datenexcel_daten <- read.xlsx("ifo-geschaeftsklima_1991_01_2015_09.xls",
# alternativ mit dynlm-Paket (lässt Lag-Schreibweise wie in EViews zu)library(dynlm) # erleichterte Regression mit Zeitreihengk_dynlm <- dynlm(Geschaeftsklima ~ L(Geschaeftsklima),data=daten)summary(gk_dynlm)# ========================= Ende ==============================================
Listing A.13: ./R_code/12_0_ifo_Geschaeftsklima.R
348
A.10. R-Programm zur Darstellung verschiedener Realisierungen von Zeitreihen im Abschnitt12.1 zu stochastischen Prozessen
A.10. R-Programm zur Darstellung verschiedener Realisierungen vonZeitreihen im Abschnitt 12.1 zu stochastischen Prozessen
# ======================== 12_1_Traj_RW.R =====================================## erzeugt Graphik zehn Realisationen eines Random Walks# und plottet die Zeitreihen# letzte Änderung: 2015_10_10, RT
save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst
# Parameter des DGPs und der MCn <- 20 # Länge der Zeitreihen
alpha <- 1 # AR-Parameter von AR(1)-Prozess mit Mittelwert 0# 0: Gausssches Weißes Rauschen# 1: Random Walk# 0 < |alpha| < 1: stationärer Prozess
R <- 10 # Zahl der Trajektorien
var_z <- 0 # Varianz von z zur Illustration von Ergodizität:# 0 => ergodisch# >0 => nicht ergodisch
# Parameter für Plotslwd <- 3cexmu <- 2
set.seed(42) # seed value
# Initialisierung der Outputmatrizeny <- matrix(rnorm(n*R),n) # Initialisierung der Zeitreihenvektoren mit
z <- rnorm(R) * var_z # Ziehen einer Zufallszahl, die für alle t gleich ist
# Erzeugen aller R Trajektorien des AR(1)-Prozesses
for (i in 1:R) y[,i] <- filter(y[,i],alpha,method="recursive")
# Plotten der Zeitreihen - Darstellung Ensembleif (save.pdf) pdf("Traj_RW_points.pdf")
# Erste Trajektorieplot(y[,1]+z[1], cex.lab=cexmu, cex.axis=cexmu, lwd=lwd, ylim=c(min(y+min(z)),
max(y)+max(z)), ylab=expression(y[t]), xlab="t")# 2te bis R-te Trajektorie
for (i in 2:R) points(y[,i]+z[i], col=i, lwd=lwd)dev.off()
# Plotten der Zeitreihen - Darstellung Trajektorienif (save.pdf) pdf("Traj_RW_lines.pdf")
# Erste Trajektorieplot(y[,1], cex.lab=cexmu, cex.axis=cexmu, lwd=lwd, type="l", ylim=c(min(y),
max(y)), ylab=expression(x[t]), xlab="t")# 2te bis R-te Trajektorie
for (i in 2:R) lines(y[,i], col=i, lwd=lwd)dev.off()# ========================= Ende ==============================================
Listing A.14: ./R_code/12_1_Traj_RW.R
349
A. R-Programme
A.11. R-Programm für Monte-Carlo-Simulation im Abschnitt 12.2 zulinearen stochastischen Prozessen und MA-Prozessen
# ==========================12_2_MA2_Realisation ===============================# Programm zum Erstellen einer Realisation eines MA(2)-Prozesses# erstellt von: RT, 2015_09_11
# Festlegen der Stichprobengröße und der Parameter eines MA(2)-Prozessesn <- 100 # Stichprobengrößesigma <- 2 # Standardabweichung des Weißen Rauschenspsi <- c(1,0.8,0.6) # MA-Parameter für y_t = u_t + 0.8 u_{t-1} + 0.6 u_{t-2}set.seed(1) # Setze Seed Value für Zufallsgenerator
save.pdf <- 0 # 1=Erstelle PDFs von Graphiken, 0=sonst
# Generieren einer Realisationu <- rnorm(n+length(psi)-1,sd=sigma) # Generieren von Weißem Rauschen
# Generieren einer Realisation eines MA(2)-Prozessesy <- filter(u,filter=psi,sides=1,method="convolution")
if (save.pdf) pdf("MA_Realisation.pdf", height=6, width=6)plot(y,xlab="Zeit",ylab=expression(y[t])) # Plotten einer MA(2)-Zeitreiheif (save.pdf) dev.off()
# Berechnen der theoretischen Autokorrelationsfunktion für k=0,1,...,10ARMAacf(ma=psi[2:3],lag.max=10)# =============================== Ende =========================================
Listing A.15: ./R_code/12_2_MA2_Realisation.R
A.12. R-Programm für Monte-Carlo-Simulation im Abschnitt 12.3.1 zuAR(1)-Prozessen
# ====================== 12_3_AR1_Realisierung.R ===============================# Programm zum Erstellen einer Realisation eines AR(1)-Prozesses# erstellt von: RT, 2015_10_10
set.seed(15) # Lege seed value festu <- rnorm(n,sd=sqrt(sigma2)) # Generiere Gaussian White Noisey <- rep(y_0,n) # Initialisiere Outputvektor
save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst# Festlegung des Arbeitsverzeichnisses (working directory)# in welchem sich das R-Program und die Daten befindenWD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory
# Generiere AR(1)-Realisationfor (i in (2:n)){
y[i] <- nu + alpha_1 * y[i-1] + u[i]}
350
A.13. R-Programm für Monte-Carlo-Simulation im Abschnitt 12.3.3 zu AR(p)-Prozessen undmehr
A.13. R-Programm für Monte-Carlo-Simulation im Abschnitt 12.3.3 zuAR(p)-Prozessen und mehr
Realisierung, ACF, MA-Parameter, PACF eines AR(2)-Prozesses, siehe Abbildung12.7# ========================= 12_3_AR2_Realisierung.R ===========================# Programm zum Erstellen einer Realisation eines AR(2)-Prozesses# sowie zum Berechnen der ACF, der MA-Darstellung und der Wurzeln# erstellt von: RT, 2015_29_09
# AR(2)-Parameter des DGP
alpha_0 <- 1alpha <- c(-0.5,-0.8)sigma2 <- 4
# Startwertey_start <- c(0,0)
# Länge der Zeitreihen <- 500
save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst# Festlegung des Arbeitsverzeichnisses (working directory)# in welchem sich das R-Program und die Daten befindenWD <- getwd() # Bestimme Verzeichnis der R-Datei undsetwd(WD) # setze es als Working Directory
# Check Stabilität des AR(2)-PolynomsAR2_wurzeln <- polyroot(c(1,-alpha))abs(AR2_wurzeln)
set.seed(15) # Lege seed value festu <- rnorm(n,sd=sqrt(sigma2)) # Generiere Gaussian White Noisey <- rep(NA,n) # Initialisiere Outputvektory[1:length(y_start)] <- y_start # Setze Startwerte ein
# Generiere AR(2)-Realisationfor (i in ((length(alpha)+1):n)){
# Plot MA-Parameter des invertierten AR(2)-Prozessesscreen(4)plot((1:20),ARMAtoMA(ar=alpha,lag.max=20),type="h",ylab="MA-Parameter",xlab="Lags")if (save.pdf) dev.off()
if (save.pdf) pdf("AR2_Realisierung_ACF.pdf", height=6, width=6)acf(y,lag.max=20,type="correlation")if (save.pdf) dev.off()# ========================= Ende ==============================================
Listing A.17: ./R_code/12_3_AR2_Realisierung.R
A.14. R-Programm für Schätzung der Autokorrelationsfunktion imAbschnitt 12.4 zur Schätzung erster und zweiter Momente imFall stationärer Prozesse
Geschätzte Autokorrelationsfunktion einer Realisation von Weißem Rauschen, sie-he Abbildung 12.9# ============================== 12_4_WN_ACF_Est ==============================# Programm zum Schätzen der Autokorrelationsfunktion einer Realisation eines# Gaussschen White Noise Prozesses mit n=100 Beobachtungen# erstellt von: RT, 2015_18_10
# Varianzsigma2 <- 4# Länge der Zeitreihen <- 100save.pdf <- 1 # 1=Erstelle PDFs von Graphiken, 0=sonst
# Plotten der geschätzten Autokorrelationsfunktion# mit 95\%-Konfidenzintervallenif (save.pdf) pdf("ACF_WN_Est.pdf", height=6, width=6)acf(y,lag.max=20,type="correlation")if (save.pdf) dev.off()
Listing A.18: ./R_code/12_4_WN_ACF_Est.R
A.15. R-Programm für die Simulation und Schätzung vonAR(1)-Prozessen im Abschnitt 13.5 zur KQ-Schätzung vondynamischen linearen Regressionsmodellen
Generierung und Schätzung eines Prozesses
352
A.15. R-Programm für die Simulation und Schätzung von AR(1)-Prozessen im Abschnitt 13.5zur KQ-Schätzung von dynamischen linearen Regressionsmodellen
# =============================== 13_5_KQ_AR1.R ====================================# Programm zum Generieren und KQ-Schätzen eines AR(1)-Modells# erstellt von : RT, 2011_01_19
graphics.off() # Schließe alle Graphikfenster
# Setze Parameter des Modells und der Monte-Carlo-Simulationset.seed(42) # RandomseedN <- 50 # Stichprobengröße
beta <- c(2,0.1) # Parametervektorsigma <- 2 # Standardabweichung des Fehlersy0 <- 0 # Startwert des AR(1)-Prozesses
# Generieren einer Realisation eines AR(1)-Prozessesu <- rnorm(N,mean=0,sd=sigma) # Ziehen von uy <- rep(1,N)*y0for (t in (2:N)){
# Plot der Zeitreiheplot(y,xlab="Zeit",ylab="y",type="l")
# Scatterplotplot(y[1:(N-1)],y[2:N])
# Berechnen des KQ-Schätzersols <- lm(y[2:N]~1+y[1:(N-1)]) # Beachte x=y_{t-1]. Deshalb y_t von t=2,...,Nsummary(ols)# =============================== Ende ========================================
Listing A.19: ./R_code/13_5_KQ_AR1.R
Monte-Carlo-Simulation# ======================== 13_5_MC_KQ_AR1.R ==================================# Programm für Monte-Carlo-Simulation# zum Bestimmen der Verzerrung des KQ-Schätzers im AR(1)-Modell# erstellt von : RT, 2010_11_25
graphics.off() # Schließe alle Graphikfenster
# Setze Parameter des Modells und der Monte-Carlo-Simulation
set.seed(42) # RandomseedN <- 50 # StichprobengrößeR <- 1000 # Zahl der Replikationen
beta <- c(1,0.9) # Parametervektorsigma <- 2 # Standardabweichung des Fehlersy0 <- 1 # Startwert des AR(1)-Prozesses
# Bilden einer Schleifebeta_hat_store <- matrix(0,nrow=R,ncol=length(beta))
# Initialisiere Matrix zum Abspeichern der KQ-Schätzungen# für jede Realisation
for (r in (1:R)){
# Generieren einer Realisation eines AR(1)-Prozessesu <- rnorm(N,mean=0,sd=sigma) # Ziehen von uy <- rep(1,N)*y0for (t in (2:N)){
Durchführen einer linearen Regression:model_kq <- lm()
erstellt Regressionsobjekt, das Grundlage für folgende Befehle ist:
B. R Befehle für die RegressionsanalyseR-
Befe
hlFu
nktio
nsbe
schr
eibu
ngR-
Pake
tSc
hätz
-un
dP
rogn
oseo
utpu
tpr
int(
)ei
nfac
hes
gedr
uckt
esD
ispla
ysu
mmar
y()
Stan
dard
Reg
ress
ions
outp
utco
ef()
(ode
rco
effi
cien
ts()
)ex
trah
iert
gesc
hätz
teR
egre
ssio
nspa
ram
eter
resi
dual
s()
(ode
rre
sid(
))ex
trah
iert
Res
idue
nfi
tted
()(o
der
fitt
ed.v
alue
s())
extr
ahie
rtan
gepa
sste
/gefi
ttet
eW
erte
anov
a()
Verg
leich
von
gesc
hach
telte
nM
odel
len
(nes
ted
mod
els)
pred
ict(
)Vo
rher
sage
nfü
rne
ueR
egre
ssio
nswe
rte
conf
int(
)K
onfid
enzi
nter
valle
für
Reg
ress
ions
koe�
zien
ten
conf
iden
ceEl
lips
e()
Kon
fiden
zint
erva
llefü
rR
egre
ssio
nsko
e�zi
ente
nca
rde
vian
ce()
Res
idue
nqua
drat
sum
me
(SSR
)vc
ov()
(ges
chät
zte)
Varia
nz-K
ovar
ianz
mat
rixde
rPa
ram
eter
schä
tzer
logL
ik()
Log-
Like
lihoo
d(u
nter
der
Ann
ahm
eno
rmal
vert
eilte
rFe
hler
)Te
sten
hccm
()H
eter
oske
dast
ie-k
orrig
iert
eVa
rianz
-Kov
aria
nzm
atrix
der
Para
met
ersc
hätz
er;m
itty
pe="
hc0"
Whi
te-V
aria
nz-K
ovar
ianz
mat
rix(1
4.19
)ca
r
coef
test
()St
anda
rd-R
egre
ssio
nsou
tput
,ggf
.mit
hete
rosk
edas
tie-r
obus
ten
Stan
dard
fehl
ern
lmte
stli
near
Hypo
thes
is()
F-T
est
test
=c("
F")
oder
(asy
mpt
otisc
her)
‰2 -
Test
test
=c("
Chis
q");
mit
whit
e.ad
just
=c(F
ALSE
,TR
UE,
"hc0
")W
hite
-het
eros
keda
stie
robu
ste-
Varia
nz-k
ovar
ianz
mat
rix
car
lrte
st()
Like
lihoo
drat
io-T
est,
siehe
Öko
nom
etri
eII
Iod
erFo
rtge
schr
itte
neÖ
kono
met
rie
lmte
st
wald
test
()W
ald-
Test
,sie
heÖ
kono
met
rie
III
oder
Fort
gesc
hrit
tene
Öko
nom
etri
elm
test
Fort
setz
ung
aufd
ernä
chst
enSe
ite.
356
B.1. Übersicht über verfügbare BefehleR-
Befe
hlFu
nktio
nsbe
schr
eibu
ngR-
Pake
tM
odel
lspe
zifik
atio
nAI
C()
Info
rmat
ions
krite
rien
eins
chlie
ßlich
AIC
,BIC
/SC
(unt
erde
rA
nnah
me
norm
alve
rtei
lter
Fehl
er)
-Bea
chte
:Im
Geg
ensa
tzzu
EVie
ws
wird
die
gesc
hätz
tePa
ram
eter
varia
nzal
sPa
ram
eter
mitg
ezäh
ltun
dni
cht
durc
hdi
eZa
hlde
rBe
obac
htun
gen
divi
dier
t,sie
heA
bsch
nitt
10.1
Sele
ctCr
itEV
iews
()In
form
atio
nskr
iterie
na
laEV
iew
s,sie
heA
bsch
nitt
10.1
eige
nes
R-Pr
ogra
mm
,sie
heA
bsch
nitt
B.2
enco
mpte
st()
Enco
mpa
ssin
g-Te
stzu
mTe
sten
nich
tge
scha
chte
lter
Reg
ress
ions
mod
elle
,sie
heA
bsch
nitt
10.2
oder
Dav
idso
n&
Mac
Kin
non
(200
4,Se
ctio
n15
.3)
lmte
st
jtes
t()
J-T
est
zum
Test
enni
cht
gesc
hach
telte
rR
egre
ssio
nsm
odel
le,s
iehe
Abs
chni
tt10
.2od
erD
avid
son
&M
acK
inno
n(2
004,
Sect
ion
15.3
)lm
test
Mod
elld
iagn
ose
plot
()G
raph
iken
zur
Mod
ellü
berp
rüfu
ngre
sett
est(
)R
ESET
-Tes
tzu
mTe
sten
der
funk
tiona
len
Form
,sie
heA
bsch
nitt
15.3
lmte
stja
rque
.tes
t()
Lom
nick
i-Jar
que-
Bera
-Tes
tzum
Übe
rprü
fen
norm
alve
rteil
terF
ehler
,sieh
eA
bsch
nitt
15.4
mome
nts
bpte
st()
Breu
sch-
Paga
n-Te
stzu
mTe
sten
aufV
orlie
gen
von
hete
rosk
edas
tisch
enFe
hler
n,sie
heA
bsch
nitt
15.2
.1lm
test
whit
etes
t()
Whi
te-T
est
zum
Test
enau
fVor
liege
nvo
nhe
tero
sked
astis
chen
Fehl
ern,
siehe
Abs
chni
tt15
.2.2
eige
nes
R-Pr
ogra
mm
,sie
heA
bsch
nitt
B.2
357
B. R Befehle für die Regressionsanalyse
Befehle für Graphiken/Plots:# INFOs FÜR GRAPHIKEN
# Speichern als .eps-Datei (Dateiname, Größe der Graphik)# postscript("pdf_std_normal.eps", height=4, width=6, horizontal=FALSE)# oder Speichern als .pdf# pdf("pdf_std_normal.pdf", height=4, width=6)# windows() # öffnet ein neues Graphikfenster
# split.screen(c(2,1)) # teilt ein Graphikfenster# screen(1) # Ansteuern von Fenster 1# dev.off() # Schließt geöffnetes Graphikfenster# close.screen(all=TRUE)# Schließt alle Fenster
# Parameter für Graphiken: (optional)# las=1: Achsenskalierung waagrecht# mai: Breite der Ränder (unten, links, oben, rechts)# mgp: Lage von Achsen, Achsenskalierung und Achsenbeschriftung
B.2. Eigene R-Programme
# --------------- SelectCritEViews --------------------------------------------------# function to compute model selection criteria for linear regressions as EViews# RT, 2011_01_26
C. Daten für die Schätzung der Gravitationsgleichung
Abschnitt entspricht Abschnitt 10.4 in Kursmaterial zu Intensivkurs Ökonometrie.
Legende für die Daten in importe_ger_2004_ebrd.txt
• Länder und Ländercodes
1 ALB Albanien 26 ISL Island2 ARM Armenien 27 ITA Italien3 AUT Österreich 28 JPN Japan4 AZE Aserbaidschan 29 KAZ Kasachstan5 BEL Belgien und Luxemburg 30 KGZ Kirgisistan6 BGR Bulgarien 31 LTU Litauen7 BIH Bosnien und Herzegowina 32 LVA Lettland8 BLR Weißrussland 33 MDA Republik Moldau9 CAN Kanada 34 MKD EYR Mazedonien
10 CHE Schweiz 35 MLT Malta11 CYP Zypern 36 NLD Niederlande12 CZE Tschechische Republik 37 NOR Norwegen13 DNK Dänemark 38 POL Polen14 ESP Spanien 39 PRT Portugal15 EST Estland 40 ROM Rumänien16 FIN Finnland 41 RUS Russland17 FRA Frankreich 42 SVK Slowakei18 GBR Vereinigtes Königreich 43 SVN Slowenien19 GEO Georgien 44 SWE Schweden20 GER Deutschland 45 TJK Tadschikistan21 GRC Griechenland 46 TKM Turkmenistan22 HKG Hong Kong 47 TUR Türkei23 HRV Kroatien 48 UKR Ukraine24 HUN Ungarn 49 USA Vereinigte Staaten25 IRL Irland 50 UZB Usbekistan
Länder, die nur als Herkunftsländer auftauchen:
BIH Bosnien und Herzegowina CHN China KOR SüdkoreaTJK Tadschikistan HKG Hong Kong TWN TaiwanUZB Usbekistan JPN Japan THA Thailand
R code:setwd(’d:/..’) # setze working directory eindaten <- read.table("importe_ger_2004_ebrd.txt", header=TRUE, sep="\t")
attach(daten)cbind(matrix(iso_o,50,1),matrix(d_o,50,1)) # Abkürzungen der Ländernamen
# und Handelsrichtungen
• Endogene Variable:
– TRADE_0_D_O: Importe des Landes D aus Land O (d.h. Ausfuhren von Land O nachLand D) in laufenden US-Dollars.
– Produktklassen: Die Handelsströme basieren auf der Aggregation von Handelsströmen,die nach der Standard International Trade Classification, Revision 3 (SITC, Rev.3)auf dem niedrigsten Aggregationsniveau (4- oder 5-stellig) erfasst wurden. Quelle: UNCOMTRADE
– Nicht enthalten sind Treib- und Schmiersto�e (d.h., insbesondere Kraftsto�- und Erd-gasprodukte). Mindestgrenze der zugrunde liegenden aufgespaltenen Handelsströme (aufdem SITC Rev.3 5-stelligen Niveau) beträgt 500 US-Dollar.
C. Daten für die Schätzung der Gravitationsgleichung•
Erk
läre
nde
Var
iabl
en:
Her
kunf
tsla
nd(O
-Lan
d)W
DI_
GD
PU
SDC
R_
OH
erku
nfts
land
BIP
-Dat
en;i
nla
ufen
den
US-
Dol
lars
Wel
tban
k-
Wor
ldD
evel
opm
ent
Indi
cato
rsW
DI_
GD
PP
CU
SDC
R_
OH
erku
nfts
land
BIP
-pro
Kop
f-Dat
en;i
nla
ufen
den
US-
Dol
lars
Wel
tban
k-
Wor
ldD
evel
opm
ent
Indi
cato
rsW
EO
_G
DP
CR
_O
Ziel
-un
dH
erku
nfts
land
BIP
-Dat
en;i
nla
ufen
den
US-
Dol
lars
IWF
-W
orld
Eco
nom
icO
utlo
okda
taba
seW
EO
_G
DP
PC
CR
_O
Ziel
-un
dH
erku
nfts
land
BIP
-pro
-Kop
f-Dat
en;i
nla
ufen
den
US-
Dol
lars
IWF
-W
orld
Eco
nom
icO
utlo
okda
taba
seW
EO
_P
OP
_O
Her
kunf
tsla
ndB
evöl
keru
ngsd
aten
IWF
-W
orld
Eco
nom
icO
utlo
okda
taba
seC
EP
II_
AR
EA
_O
Fläc
hede
sH
erku
nfts
land
esin
km2
CE
PII
CE
PII
_C
OL4
5du
mm
y;d-
und
o-La
ndbe
saße
nei
neK
olon
ialb
ezie
hung
nach
1945
CE
PII
CE
PII
_C
OL4
5_R
EV
dum
my;
revi
dier
tdu
rch
“Exp
erte
nwis
sen”
CE
PII
_C
OLO
NY
dum
my;
d-un
do-
Land
hatt
enje
mal
sei
neK
olon
ialb
ezie
hung
CE
PII
CE
PII
_C
OM
CO
Ldu
mm
y;d-
und
o-La
ndte
ilen
eine
nge
mei
nsam
enK
olon
ialh
erre
nna
ch19
45C
EP
IIC
EP
II_
CO
MC
OL_
RE
Vdu
mm
y;re
vidi
ert
durc
h“E
xper
tenw
isse
n”C
EP
II_
CO
MLA
NG
_E
TH
NO
dum
my;
d-un
do-
Land
teile
nei
nege
mei
nsam
eSp
rach
eC
EP
IIC
EP
II_
CO
MLA
NG
_E
TH
NO
_R
EV
wir
dvo
nm
inde
sten
s9%
der
Bev
ölke
rung
gesp
roch
enC
EP
II_
CO
MLA
NG
_O
FFdu
mm
y;d-
und
o-La
ndte
ilen
gem
eins
ame
Am
tssp
rach
eC
EP
IIC
EP
II_
CO
NT
IGdu
mm
y;d-
und
o-La
ndsi
ndN
achb
arst
aate
nC
EP
IIC
EP
II_
DIS
INT
_O
inlä
ndis
che
Ent
fern
ung
inH
erku
nfts
land
CE
PII
CE
PII
_D
IST
geod
ätis
che
Ent
fern
ung
zwis
chen
d-un
do-
Land
CE
PII
CE
PII
_D
IST
CA
PE
ntfe
rnun
gzw
isch
end-
und
o-La
ndba
sier
end
aufd
eren
Hau
ptst
ädte
n0.
67
Fla
che/
fi
CE
PII
CE
PII
_D
IST
Wge
wic
htet
eE
ntfe
rnun
gen,
für
Det
ails
sieh
eC
EP
IIC
EP
IIC
EP
II_
DIS
TW
CE
Sge
wic
htet
eE
ntfe
rnun
gen,
für
Det
ails
sieh
eC
EP
IIC
EP
IIC
EP
II_
LAT
_O
Bre
iten
grad
der
Stad
tC
EP
IIC
EP
II_
LON
_O
Läng
engr
adde
rSt
adt
CE
PII
CE
PII
_SM
CT
RY_
RE
Vdu
mm
y;d-
und
o-La
ndw
aren
/sin
dda
ssel
beLa
ndC
EP
II,r
evid
iert
ISO
_O
ISO
-Cod
em
itdr
eiB
uchs
tabe
nfü
rH
erku
nfts
land
CE
PII
EB
RD
_T
FES_
OE
BR
D-M
aßfü
rde
nG
rad
der
Libe
ralis
ieru
ngde
rH
ande
ls-
und
Zah-
lung
sstr
öme
des
o-La
ndes
EB
RD
Zie
lland
(D-L
and)
WD
I_G
DP
USD
CR
_D
Ziel
land
BIP
-Dat
en;i
nla
ufen
den
US-
Dol
lars
Wel
tban
k-
Wor
ldD
evel
opm
ent
Indi
cato
rsW
DI_
GD
PP
CU
SDC
R_
DZi
ella
ndB
IP-p
roK
opf-D
aten
;in
lauf
ende
nU
S-D
olla
rsW
eltb
ank
-W
orld
Dev
elop
men
tIn
dica
tors
WE
O_
GD
PC
R_
DZi
el-
und
Her
kunf
tsla
ndB
IP-D
aten
;in
lauf
ende
nU
S-D
olla
rsIW
F-
Wor
ldE
cono
mic
Out
look
data
base
WE
O_
GD
PP
CC
R_
DZi
el-
und
Her
kunf
tsla
ndB
IP-p
ro-K
opf-D
aten
;in
lauf
ende
nU
S-D
olla
rsIW
F-
Wor
ldE
cono
mic
Out
look
data
base
WE
O_
PO
P_
DZi
ella
ndB
evöl
keru
ngsd
aten
IWF
-W
orld
Eco
nom
icO
utlo
okda
taba
se
362
Anmerkungen: Das EBRD misst Reformbemühungen auf einer Skala von 1 bis 4+ (=4.33);1 steht für keinen oder nur geringfügigen Fortschritt; 2 zeigt wichtigen Fortschritt an; 3steht für substantiellen Fortschritt; 4 zeigt umfangreichen Fortschritt an, während 4+
bedeutet, dass das Land die Standard- und die Leistungsnormen fortgeschrittenerIndustriestaaten erreicht hat, d.h., von OECD Staaten. Diese Variable ist per Konstruktion
qualitativer und nicht kardinaler Art.
• Dank: an Richard Frensch, Osteuropa-Institut, Regensburg, der die Daten zur Verfügunggestellt hat.
Davidson, R. & MacKinnon, J. (1993), Estimation and Inference in Econometrics., OxfordUniversity Press.URL: http://www.oup.com/uk/catalogue/?ci=9780195060119
Davidson, R. & MacKinnon, J. G. (2004), Econometric Theory and Methods, Oxford UniversityPress, Oxford. 26, 38, 55, 99, 101, 103, 105, 107, 111, 119, 133, 134, 140, 145, 157, 159, 160,162, 163, 164, 188, 204, 208, 209, 235, 237, 238, 240, 310, 311, 320, 357
Engle, R., Hendry, D. & Richard, J.-F. (1983), ‘Exogeneity’, Econometrica 51, 277–304. 289,291
Fahrmeier, L., Künstler, R., Pigeot, I. & Tutz, G. (2004), Statistik, Spinger. 38, 39
Fischer, G. (2014), Lineare Algebra, 18 edn, Springer Spektrum.URL: http://dx.doi.org/10.1007/978-3-658-03945-5
Fratianni, M. (2007), The gravity equation in international trade, Technical report, Diparti-mento di Economia, Universita Politecnica delle Marche. 144
Literaturverzeichnis
Gentle, J. E. (2007), Matrix Algebra. Theory, Computations, and Applications in Statistics,Springer Texts in Statistics, Springer.URL: http://www.springerlink.com/content/x4rj03/ 3, 8, 10, 11, 26, 305
Granger, C. (1969), ‘Investigating causal relations by econometric models and cross-spectralmethods’, Econometrica 37, 424 – 438. 292
Greene, W. (2008), Econometric Analysis, 6 edn, Pearson.URL: http://www.pearsonhighered.com/educator/academic/product/0,3110,0135132452,00.html163
Greene, W. (2012), Econometric Analysis, 7 edn, Pearson.
Hamilton, J. D. (1994), Time Series Analysis, Princeton University Press. 260, 269, 273
Hansen, B. E. (2015), Econometrics.
Hassler, U. (2007), Stochastische Integration und Zeitreihenmodellierung, Springer, Berlin,Heidelberg. 252, 253
Hayashi, F. (2000), Econometrics, Princeton University Press, Princeton, NJ [u.a.]. 258, 260
Hendry, D. F. (1995), Dynamic Econometrics, Oxford University Press. 119, 292, 293, 297
Horowitz, J. (2001), The bootstrap, in J. Heckman & E. Leamer, eds, ‘Handbook of Econome-trics’, Vol. 5, North-Holland. 238
Horowitz, J. (2003), ‘The boothstrap in econometrics’, Statistical Science 18, 211–218. 238
Kirchgässner, G. & Wolters, J. (2008), Introduction To Modern Time Series Analysis, Springer,Berlin, [u.a.]. 273, 274
Kirchgässner, G., Wolters, J. & Hassler, U. (2013), Introduction To Modern Time SeriesAnalysis, 2nd. ed. edn, Springer, Berlin, [u.a.]. 260
Kleiber, C. & Zeileis, A. (2008), Applied Econometrics with R, Springer. 359
Li, Q. & Racine, J. (2007), Nonparametric Econometrics, Princeton University Press. 103
Lucas, R. (1976), Econometric policy evaluation: A critique, in K. Brunner & A. Meltzer, eds,‘The Phillips Curve and Labor Markets’, Vol. Vol. 1 of Carnegie-Rochester Conferences onPublic Policy, North-Holland, Amsterdam, pp. 19 – 46. 297
Lütkepohl, H. (1996), Handbook of Matrices, John Wiley & Sons, Chichester. 3, 305
Lütkepohl, H. (2004), Vector autoregressive and vector error correction models, in H. Lütkepohl& M. Krätzig, eds, ‘Applied Time Series Econometrics’, Cambridge University Press,Cambridge, chapter 3, pp. 86–158. 292
Lütkepohl, H. & Kraetzig, M. (2008), Applied Time Series Econometrics, Cambridge UniversityPress. 260
365
Literaturverzeichnis
Mikosch, T. (1998), Elementary Stochastic Calculus, World Scientific Publishing, Singapore.252
Neusser, K. (2006), Zeitreihenanalyse in den Wirtschaftswissenschaften, Teubner, Wiesbaden.260, 261
Neusser, K. (2009), Zeitreihenanalyse in den Wirtschaftswissenschaften, 2. edn, Teubner,Wiesbaden. 260, 269, 270, 271
Peracchi, F. (2001), Econometrics, John Wiley and Sons.URL: http://www.wiley-vch.de/publish/dt/books/bySubjectEC00/ISBN0-471-98764-6/?sID=he2l84vhvc6o6e4f1mc7i17k05
Robinson, P. M., ed. (2003), Time Series with Long Memory, Oxford University Press. 276
Ruud, P. (2000), An Introduction to Classical Econometric Theory, Oxford University Press.URL: http://www.oup.com/uk/catalogue/?ci=9780195111644 164
Schmidt, K. & Trenkler, G. (2006), Einführung in die Moderne Matrix-Algebra. Mit Anwen-dungen in der Statistik, Springer. 3, 24, 25, 26, 29, 223
Steland, A. (2010), Basiswissen Statistik : Kompaktkurs für Anwender aus Wirtschaft, Infor-matik und Technik, 2., komplett überarb. und erw. aufl. edn, Spinger, Berlin ; Heidelberg :Springer. 38, 46
Steland, A. (2013), Basiswissen Statistik : Kompaktkurs für Anwender aus Wirtschaft, Infor-matik und Technik, 3., überarb. und erw. aufl. edn, Spinger, Berlin ; Heidelberg : Springer.URL: http://link.springer.com/book/10.1007/978-3-642-37201-8
Stock, J. H. & Watson, M. W. (2007), Introduction to Econometrics, 2nd. edn, Pearson,Boston, Mass. 86, 87, 95
Stock, J. H. & Watson, M. W. (2012), Introduction to Econometrics, 3rd. edn, Pearson, Boston,Mass.
Tschernig, R. (1994), Wechselkurse, Unsicherheit und Long Memory, Physica-Verlag, Heidel-berg.URL: http://epub.uni-regensburg.de/6928/ 276
Vaart, A. v. d. (1998), Asymptotic Statistics, Cambridge series in statistical and probabilisticmathematics, Cambridge University Press. 82, 83
Verbeek, M. (2012), A guide to modern econometrics, Wiley, Chichester.
Wooldridge, J. M. (2009), Introductory Econometrics. A Modern Approach, 4th edn, ThomsonSouth-Western, Mason. 61, 64, 65, 105, 127, 130, 133, 134, 156, 163, 171, 172, 181, 185, 186,188, 200, 209
Wooldridge, J. M. (2010), Econometric Analysis of Cross Section and Panel Data, The MITPress. 116
