Zeitreihenanalyse
1. Einfuhrung
2. Grundbegriffe und elementare Ansatze
3. Lineare Prozesse und ARMA Modelle
4. Modellierung und Prognose mitARMA, ARIMA und SARIMA Model-len
5. Multivariate Zeitreihen
6. ARCH Modelle
Zeitreihenanalyse@LS-Kneip 0–1
1 Einfuhrung
1.1 Grundlagen und Ziele der Zeitrei-
henanalyse�
�
�
�Zeitreihe: Zeitlich geordnete Folge {xt}t∈T von Be-
obachtungen einer Große. Fur jeden Zeitpunkt t ei-
ner Menge T von Beobachtungszeitpunkten liegt da-
bei genau eine Beobachtung vor.
In diesem Kurs wird nur der Fall betrachtet, dass die
sogenannte Parametermenge T eine endliche, dis-
krete Menge von gleichabstandigen Zeitpunkten ist.
In okonomischen Zeitreihen sind die Abstande zwi-
schen aufeinanderfolgenden Messungen typischerwei-
se entweder Tage, Wochen, Monate, Quartale oder
Jahre. Fur methodische Untersuchungen nummeriert
man in der Regel die Zeitpunkte durch und setzt
T = {1, 2, . . . , n}, wobei n die Anzahl der Beobach-
tungen ist.
Anmerkung: Zur besseren Interpretation wird eine
Zeitreihe oft grafisch dargestellt. Aufeinanderfolgende
Beobachtungen werden dabei linear interpoliert.
Zeitreihenanalyse@LS-Kneip 1–1
Beispiel 1: Quartalsdaten uber den mittleren Ge-
samtkonsum in Großbritannien von 1987-1990 (Ein-
heit: Pfund pro Woche, in Preisen von 1967)
Quartal
Jahr 1 2 3 4
1987 18.4 (x1) 19.9 (x2) 18.1 (x3) 21.3 (x4)
1988 18.9 (x5) 19.3 (x6) 19.7 (x7) 21.4 (x8)
1989 19.7 (x9) 19.6 (x10) 20.1 (x11) 22.7 (x12)
1990 20.6 (x13) 20.5 (x14) 19.3 (x15) 21.8 (x16)
87 88 89 90 91
Zeitraum
18
19
20
21
22
23
Kons
um
Zeitreihenanalyse@LS-Kneip 1–2
Ziele der Zeitreihenanalyse:
• Deskription, d.h. Beschreibung von Zeitreihen.
Man interessiert sich fur okonomisch interpre-
tierbare Charakteristika und Regelmaßigkeiten
der Zeitreihe. Solche Charakteristika lassen sich
haufig direkt durch Analyse der Zeitreihengrafik
oder durch einfache heuristische Verfahren ent-
decken.
• Modellierung der einer beobachteten Zeitrei-
he zugrundeliegenden Gesetzmaßigkeiten. Zum
Verstandnis solcher Gesetzmaßigkeiten gehort die
– Formulierung und Anpassung eines statisti-
schen Zeitreihenmodells, das die Struktur der
Zeitreihe erklart.
– Idealerweise geschieht dies im Zusammenspiel
mit einer okonomischen Modellierung der Dy-
namik und zeitlichen Entwicklung des beob-
achteten okonomischen Systems.
– Ein wichtiger Aspekt ist hierbei die Modellva-
lidierung anhand der gegebenen Daten
Zeitreihenanalyse@LS-Kneip 1–3
• Prognose, d.h. Vorhersage zukunftiger Werte
der Zeitreihe. Die Prognose setzt wesentlich die
Gultigkeit eines statistischen Modells fur die
Zeitreihe voraus (andernfalls wurde man von
Wahrsagerei sprechen).
• Risikoanalyse. Sehr oft ist man nicht so sehr an
einem konkreten Prognosewert interessiert, son-
der an einer oberen (bzw. unteren) Schranke,
den der zukunftige Wert der Zeitreihe mit großer
Wahrscheinlichkeit nicht ubersteigt (Gefahr durch
extreme Zinssatze, extreme Kurseinbruche, etc.)
Mehr noch als die eigentliche Prognose setzt die
Risikoanalyse ein geeignetes statistisches Zeitrei-
henmodell voraus.
Man spricht von einer univariaten Zeitreihe, falls alle
Beobachtungen xt reelle Zahlen sind. Bei einer multi-
variaten Zeitreihen ist zu jedem Zeitpunkt t ein Vektor
xt = (xt1, xt2, . . . , xtk)′ ∈ IRk, k > 1, von Beobachtun-
gen gegeben (z.B. Konsum, Einkommen und Preise im
Jahr t).
In den ersten Kapiteln (2 - 4) dieser Vorlesung werden
wir ausschließlich univariate Zeitreihen betrachten.
Zeitreihenanalyse@LS-Kneip 1–4
1.2 Die Struktur von Zeitreihen
Folgende Grundstrukuren spielen bei der Beschreibung
einer Zeitreihe ein Rolle:
• Stationare Zeitreihen. Als stationar bezeich-
nen wir eine Reihe, die - grob gesprochen - kei-
ne systematischen Veranderungen im Gesamtbild
aufweist. Stationaritat beinhaltet, dass Kennzif-
fern, die aus verschiedenen Teilreihen berechnet
werden, nicht zu stark voneinander abweichen.
• Zeitreihen mit Trend. Als ”Trend” bezeich-
net man eine langfristige systematische Verande-
rung des mittleren Niveaus der Zeitreihe. Trends
konnen als deterministische Funktion der Zeit oder
auch stochastisch modelliert werden.
• Zeitreihen mit saisonalen Schwankungen.
Oft findet man in Zeitreihen zyklische Schwan-
kungen, die sich relativ unverandert in regelmaßi-
gen Abstanden wiederholen. Gerade in okonomi-
schen Zeitreihen findet man haufig ausgepragte
zyklische Schwankungen mit Jahresperiode. In der
Praxis wird oft versucht, solche Saisonfigurenen
aus der zu Reihe eliminieren → Saisonbereinigung
Zeitreihenanalyse@LS-Kneip 1–5
In vielen realen Zeitreihen beobachtet man naturlich
eine Uberlagerung der in 1),2) und 3) genannten Ef-
fekte. Man unterscheidet dann zwischen den entspre-
chenden Komponenten dieser Zeitreihe:�
�
�
�• stationare Komponente
• Trendkomponente (glatte Komponente)
• Saisonale Komponente
Einfachster qualitativer Ansatz (Statistik I):
Additives Komponentenmodell
xt = gt︸︷︷︸Trend
+ st︸︷︷︸Saison
+ yt︸︷︷︸stationar
In der Zeitreihenanalyse steht i. Allg. die Analyse sta-
tionarer Zeitreihen (bzw. der zugehorigen stationaren
Komponente) im Vordergrund. In der Modellierung
stationarer Zeitreihen wird versucht, den Wert einer
Zeitreihe zum Zeitpunkt t in Abhangigkeit von den
Beobachtungen an vorangegangenen Zeitpunkten und
den Effekten von unvorhersehbaren, irregularen ”Zu-
fallsschocks” zu erklaren. Idealerweise geschieht dies in
einem Zusammenspiel zwischen statistischer und oko-
nomischer Modellbildung.
Zeitreihenanalyse@LS-Kneip 1–6
0 10 20 30 40
t
0
10
20
30
40
50
xt
Zeitreihe x t
0 10 20 30 40
t
10
20
30
40
gt
Trendkomponente g t
0 10 20 30 40
t
-6
-2
2
6
st
Saisonkomponente s t
0 10 20 30 40
t
-4
-2
0
2
Restkomponente
Zeitreihenanalyse@LS-Kneip 1–7
Beispiel: Bevolkerung der USA 1790, 1800, 1810,
. . . ,1990
1800 1850 1900 1950 2000
Jahr
0
50000000
100000000
150000000
200000000
250000000
Einwo
hner
Bevoelkerung der USA
Beispiel: Saisonbereinigte Zeitreihen des mittleren
monatlichen Gesamtkonsums und des mittleren mo-
natlichen Einkommens in den USA (in Preisen von
1960: Januar 1960 bis Marz 1992)
year
1960 1965 1970 1975 1980 1985 1990
8000
10000
12000
14000
Zeitreihenanalyse@LS-Kneip 1–8
Beispiel:Wasserstand des Sees Huron (jahrliche Durch-
schnitte;1875 - 1972)
o
o
oo
o
oo
o
ooo
o
o
o
oo
oo
oo
oo
oo
o
o
o
oo
ooooo
o
o
o
o
o
o
o
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
oo
o
ooo
o
o
o
o
o
o
ooo
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
oo
Jahr
Wassers
tand
1880 1900 1920 1940 1960
67
89
1011
12
Beispiel: Unfalltote in den USA; monatliche Daten,
Januar 1973 bis Dezember 1978
1973 1974 1975 1976 1977 1978 1979
Jahr
7000
8000
9000
10000
11000
Unfa
lltote
Zeitreihenanalyse@LS-Kneip 1–9
Beispiel: Dow-Jones Utilities Index, 28.8.72 bis 18.12.72:
fur 77 aufeinanderfolgende Tage
10 30 50 70time
105
110
115
120
125
Dowj
ones
Dow-Jones Utilities Index, 28.8.72 bis 18.12.72:
Veranderungen xt = Dowjt+1 −Dowjt
10 30 50 70
t
-1.0
-0.5
0.0
0.5
1.0
1.5
dowj
diff
Zeitreihenanalyse@LS-Kneip 1–10
Beispiel 7: Monatliche Verkaufsmengen von au-
stralischem Rotwein (Januar 1980 bis Oktober 1991)
1980 1982 1984 1986 1988 1990 1992
Jahr
0
1000
2000
3000
4000
5000
Men
ge
Verkaufte Menge australischen Rotweins
Modifikation: Multiplikatives Komponentenmo-
dell
xt = gt︸︷︷︸Trend
· st︸︷︷︸Saison
· yt︸︷︷︸Rest
Zeitreihenanalyse@LS-Kneip 1–11
Logarithmierung fuhrt zuruck auf ein additives Kom-
ponentenmodell:
lnxt︸︷︷︸x∗t
= ln gt︸︷︷︸g∗t
+ ln st︸︷︷︸s∗t
+ ln yt︸︷︷︸y∗t
Beispiel 7 (Fortsetzung): Australischer Rotwein,
logarithmierte Zeitreihe x∗t = lnxt
1980 1982 1984 1986 1988 1990 1992
Jahr
6.5
7.0
7.5
8.0
8.5
lnM
enge
Australischer Rotwein: Logarithmierte Zeitreihe
Zeitreihenanalyse@LS-Kneip 1–12
1.3 Einfache Zeitreihenmodelle in der
Okonometrie
1.3.1. P.A. Samuelson (1929): Akzelerator-
Multiplikator-Modell, bei dem Yt das Einkommen, It
die Investitionen und Ct der Konsum in der Periode
t bedeuten:
Ct = αYt−1 + ϵ1t
It = β(Ct − Ct−1) + ϵ2t
Yt = Ct + It
Nach diesem Modell ist der Konsum proportional zum
Einkommen aus der Vorperiode, und die Investitio-
nen hangen linear vom Konsumzuwachs ab. ϵ1t, ϵ2t
sind Storterme, die als Zufallsschocks (oder ”Innova-
tionen”) zu interpretieren ist.
Durch Einsetzen erhalt man fur die Zeitreihe {Ct} des
Konsums:
Ct = α(1 + β)Ct−1 − αβCt−2 + αϵ2t + ϵ1t
=: ϕ1Ct−1 + ϕ2Ct−2 + ϵt
Anwendungsbereich: Jahrliche Daten oder saisonbe-
reinigte Quartalsdaten
Zeitreihenanalyse@LS-Kneip 1–13
1.3.2. Halls Modell (Hall, 1978). Sei wiederum Ct der
Konsum in Periode t. Aufbauend auf die permanente
Einkommenshypothese und der Theorie rationaler Er-
wartungen schlagt Hall (1978) folgendes Modell vor:
Ct = ϕCt−1 + ϵt
Hier ist ϵt ein unvorhersehbarer Zufallsschock (im Mit-
tel gleich 0).
Anwendungsbereich: Saisonbereinigte Quartalsdaten
1.3.3. Modell von Davidson, Hendry, Srba und Yeo
(1978):
Ct − Ct−4 = ϕ1(Yt − Yt−4) + ϕ2(Yt−1 − Yt−5)
+ϕ3(Ct−4 − Yt−4) + ϵt
Hier sind Ct, Yt Konsum und Einkommen in Periode
t. ϵt ist ein unvorhersehbarer Zufallsschock (im Mittel
0).
Anwendungsbereich: Quartalsdaten (nicht saisonberei-
nigt)
Zeitreihenanalyse@LS-Kneip 1–14
1.3.4. Cobweb Modell. Dieses Modell wird benuzt
um einfache Produktionsablaufe in gewissen Industri-
en zu beschreiben (hauptsachlich im Agrarbereich).
Bezeichnen pt und qt die Logarithmen von Preisen und
produzierter Menge in Periode t, so lautet das Modell
pt = α+ βqt + ϵ1t
qt = γ + δpt−1 + ϵ2t
Die erste Gleichung charakterisiert die Nachfragesei-
te (pt ist der Preis, der ein Gleichgewicht zwischen
produzierter Menge und Nachfrage herstellt). Die An-
gebotsseite wird durch die zweite Gleichung reprasen-
tiert (die Bauern planen ihre Produktion fur das Jahr
t in Abhangigkeit vom Preis im Jahr t− 1). Einsetzen
der ersten Gleichung in die zweite liefert
pt = ϕ0 + ϕ1pt−1 + ϵt
fur ϕ0 = γ + δα, ϕ1 = δβ, ϵt = δϵ1,t−1 + ϵ2t
1.3.5. Ein einfaches Modell zur Modellierung vonWech-
selkursen Yt:
Yt = µ+ Yt−1 + ϵt
Hierbei ist ϵt ein unvorhersagbarer Zufallsschock mit
Mittelwert 0 (sehr haufig auch: µ = 0). Das Modell
impliziert fur die Wechselkursanderungen:
∆Yt := Yt − Yt−1 = µ+ ϵt
Zeitreihenanalyse@LS-Kneip 1–15
1.3.6. Ein einfaches stochastisches Lagerhaltungs-
Produktions-Modell:
Xt = Xt−1 + Ut−1 −Rt−1
Dabei sind Xt der Lagerbestand, Ut die Produktion
und Rt die Nachfrage in der Periode t. Die Nachfrage
hangt typischerweise von zufalligen Faktoren ab
Rt = µ+ ϵt,
wobei ϵt unvorhersehbarer Zufallsschock (Mittelwert
0). Modelliert man die Produktion als Funktion der
Nachfrage zu vergangenen Zeitpunkten gemaß
Ut−1 =
q∑l=2
θlRt−l,
q∑l=2
θl = 1,
so erhalt man mit θ1 = −1
∆Xt := Xt −Xt−1 =
q∑l=1
θlϵt−l
Zeitreihenanalyse@LS-Kneip 1–16
1.4 Der ”Lag Operator”
Wie in 1.3 gezeigt, beruht die Modellierung des Wer-
tes xt einer Zeitreihe haufig auf den vorangegangen
Werten der Zeitreihe zu den Zeitpunkten t − 1 bzw.
t − 2, t − 3, etc. In der englischsprachigen Literatur
spricht man von ”lagged values” oder einfach ”Lags”.
t− 1 entspricht ”Lag 1”, t− 2 ”Lag 2”, etc.
In diesem Zusammenhang tragt die Einfuhrung des
sogenannten ”Lagoperators” zu einer erheblichen Ver-
einfachung der Schreibweise bei.�
�
�
�
Der Lagoperator, ublicherweise mit dem Symbol
”L” bezeichnet ordnet jedem Wert der Zeitreihe sei-
nen vorangegangenen Wert zu:
Lxt = xt−1
Rechenregeln:
L2xt = L(Lxt) = Lxt−1 = xt−2
Lqxt = xt−q
αLqxt = αxt−q
fur jedes α ∈ IR
Zeitreihenanalyse@LS-Kneip 1–17
Rechenregeln (Fortsetzung):
(1 + L)xt = xt + Lxt = xt + xt−1
Hierbei ist ”1” der Identitatsoperator, 1xt = xt
(1− L)xt = xt − xt−1
∆ := 1−L wird auch als ”Differenzenoperator” (oder
Differenzenfilter) bezeichnet
(1− L)2xt = (1− L)(1− L)xt = (1− L)(xt − xt−1)
= xt − 2xt−1 + xt−2
(1− Lq)xt = xt − xt−q
(1− L− Lq)xt = xt − xt−1 − xt−q
Zeitreihenanalyse@LS-Kneip 1–18
2 Grundbegriffe und elementa-
re Ansatze
2.1 Stationare Prozesse
Ansatz: Beobachtete Zeitreihe
x1, x2, . . . , xn−1, xn
ist Realisation eines stochastischen Prozesses
. . . , X−1, X0, X1, X2, . . . , Xn−1, Xn, Xn+1, . . .��
��
stochastischer Prozess: Abfolge von Zufalls-
variablen {Xt}t∈T (t - Zeitparameter, T - Indexmen-
ge)
��
��
Zeitreihenanalyse: Analyse von stochasti-
schen Prozessen in diskreter Zeit, z.B. T =
{. . . ,−1, 0, 1, . . . }, T = {0, 1, . . . }
�
�
�
�Zeitreihenmodell: Stochastische Modellierung
von {Xt} (insbesondere Mittelwerte, Varianzen, Ko-
varianzen; gemeinsame multivariate Verteilung) von
{Xt}
Zeitreihenanalyse@LS-Kneip 2–1
Eine erste Moglichkeit besteht darin, daß eine Zeitreihe
vollig irregular und in ihrer Entwicklung vollkommen un-
vorhersehbar ist. Man spricht dann von ”Weißem Rau-
schen”.�
�
�
�
Reiner Zufallsprozess (i.i.d. Weißes Rauschen
Eine Zeitreihe {ϵt} heißt ”i.i.d. weißes Rauschen”
(abgekurzt {ϵt} ∼ IID(µ, σ2 ) mit Mittelwert µ und
Varianz σ2 ⇔ . . . , ϵt−1, ϵt, ϵt+1, . . . unabhangig und
identisch verteilt mit Mittelwert µ (E(ϵt) = µ fur
alle t) und Varianz σ2 > 0.
• Weißes Rauschen ist fur sich genommen uninter-
essant, es dient jedoch als wichtiger Grunbaustein
komplexerer Prozesse (→ Prozess der ”Zufallsschocks”).
Im Regelfall: µ = 0
• Man spricht von i.i.d. ”Gaußschem weißen Rau-
schen”, falls zusatzlich gilt, daß die ϵt normalver-
teilt sind, d.h. ϵt ∼ N(µ, σ2).
5 30 55 80 105 130 155
t
-4
-2
0
2
4
x
Zeitreihenanalyse@LS-Kneip 2–2
Bei vielen okonomischen Zeitreihen ist jedoch davon
auszugehen, daß der Wert Xt in einer gegebenen Pe-
riode t von den Werten Xt−1, zX−2, . . . in den vor-
angegangenen Perioden beeinflußt wird. Eine ein-
fache Moglichkeit, solche Abhangigkeiten zu erfassen,
besteht in der Analyse der Kovarianzen bzw. Korrela-
tionen zwischen Xt und Xt+h
�
�
�
�
Allgemeine Charakterisierung einerZeitreihe:
Mittelwerte: µt = E(Xt)
Varianzen: σ2t = V ar(Xt) = E((Xt − µt)
2)
Kovarianzen:
γ(t, t+ h) = Cov(Xt, Xt+h)
= E((Xt − µt)(Xt+h − µt+h))
Man beachte: σ2t = γ(t, t)
Zeitreihenanalyse@LS-Kneip 2–3
Idee der Stationaritat von Zeitreihen:Fur alle ”Lags” h sollten die Zeitreihen {Xt, t = 0,±1, . . . }und {Xt+h, t = 0,±1, . . . } im wesentlichen die glei-
chen stochastischen Eigenschaften besitzen.
�
�
�
�
Definition: Eine Zeitreihe {Xt, t = 0,±1, . . . }heißt ”schwach stationar”, falls
• µt := µ ist konstant fur alle t
• γ(t, h) := γ(h) ist unabhangig von t
Anmerkung: Eine Zeitreihe {Xt, t = 0,±1, . . . } heißt”streng stationar”, falls fur alle n, h die Zufallsvek-
toren (X1, . . . , Xn) und (X1+h, . . . , Xn+h) die gleiche
multivariate Verteilung besitzen.
Zeitreihenanalyse@LS-Kneip 2–4
Wichtige Charakteristiken eines stationaren Prozesses
sind die Autokovarianzfunktion und die Autokorrela-
tionsfunktion:�
�
Autokovarianzfunktion (ACVF):
γ(h) = Cov(Xt, Xt+h)
Autokorrelationsfunktion (ACF):
ρ(h) =γ(h)
γ(0)=
Cov(Xt, Xt+h)√V ar(Xt)V ar(Xt+h)
Eigenschaften von γ(h):
• γ(0) ≥ 0
• |γ(h)| ≤ γ(0) fur alle h
• γ(h) = γ(−h) fur alle h
Zeitreihenanalyse@LS-Kneip 2–5
2.2 Wiederholung: Kovarianz und Kor-
relation
Bivariate Zufallsvariable (X,Y )
[Bei Zeitreihen: Xt → X, Xt+h ⇒ Y ]�
�
�
�
Kovarianz zwischen X und Y
σXY = Cov(X,Y ) = E ((X − µx)(Y − µy))
wobei µx = E(X), µY = E(Y )
Eigenschaften:
• σXY > 0 ⇒ gleichsinniger linearer Zusammen-
hang
Tendenz: x groß ↔ y groß, x klein ↔ y klein
• σXY < 0 ⇒ gegensinniger linearer Zusammen-
hang
Tendenz: x groß ↔ y klein, x klein ↔ y groß
• X und Y unabhangig ⇒ σXY = 0 (Die Umkeh-
rung gilt nicht!)
Daten (x1, y1), . . . , (xn, yn): Empirische Kovarianz
sXY =1
n− 1
n∑i=1
(xi − x)(yi − y)
Zeitreihenanalyse@LS-Kneip 2–6
Standardisierte Kovarianz: Korrelation�
�
�
�Korrelation zwischen X und Y
ρXY =Cov(X,Y )√
V ar(X)√V ar(Y )
=σXY
σX · σY
Wertebereich: −1 ≤ ρXY ≤ 1
• ρXY > 0 ⇒ positive Korrelation, gleichsinni-
ger linearer Zusammenhang
Tendenz: Werte (xi, yi) um eine Gerade mit posi-
tiver Steigung liegend
• ρXY < 0 ⇒ negative Korrelation, gegensinni-
ger linearer Zusammenhang
Tendenz: Werte (xi, yi) um eine Gerade mit nega-
tiver Steigung liegend
• ρXY = 0 keine Korrelation, unkorreliert, kein
linearer Zusammenhang
• Extremfall (|ρXY | = 1): Die Werte (xi, yi) liegen
auf einer Geraden (positive Steigung, falls ρXY =
1, negative Steigung, falls ρXY = −1)
Zeitreihenanalyse@LS-Kneip 2–7
Daten (x1, y1), . . . , (xn, yn): Korrelationskoeffizient
Bravais-Pearson Korrelationskoeffizient
rX,Y =
∑ni=1(xi − x)(yi − y)√∑n
i=1(xi − x)2∑n
i=1(yi − y)2=
sXY
sXsY
Es existiert ein enger Zusammenhang zwischen Kor-
relation und Regression!
Regression:Man modelliert die Werte von Y in Abhangig-
keit von X
Lineare Einfachregression:
Y = β0 + β1X + Fehler
⇒ Anpassung der Ausgleichsgerade β0+β1X mit Hilfe
der Kleinste-Quadrate Methode
⇒ β1 =sXY
s2X= rXY
sYsX
Zeitreihenanalyse@LS-Kneip 2–8
Zusammenhang von Korrelation und Lage derPunktewolkePerfekte Korrelation*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
**
*
*
*
*
**
*
*
**
*
*
*
*
*
*
**
*
*
*
*
*
*
*
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
*
*
*
**
**
*
*
*
*
*
**
**
*
-2.0 -1.0 0.0 1.0 2.0X[,1]
-2.0
-1.0
0.0
1.0
2.0
X[,2]
r=+1
*
*
**
**
*
***
*
*
*
**
*
**
**
**
*
*
*
*
***
*
*
*
*
*
*
*
*
***
*
****
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
*
*
*
*
**
**
*
**
*
*
*
*
*
*
*
**
*
*
*
*
*
**
**
*
**
**
*
**
*
*
*
*
**
*
*
*
*
*
**
*
*
*
*
**
*
*
*
*
*
*
*
*
**
*
*
**
*
*
*
**
*
*
**
**
**
*
*
-3.0 -2.0 -1.0 0.0 1.0 2.0X[,1]
-2.0
-1.0
0.0
1.0
2.0
3.0
X[,2]
r=-1
Zeitreihenanalyse@LS-Kneip 2–9
Starke Korrelation*
**
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
**
*
**
*
*
* *
**
*
*
*
*
*
**
*
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
*
**
*
*
*
*
*
**
*
*
*
* *
*
**
*
*
*
*
*
**
*
*
*
*
**
*
*
*
*
*
* **
**
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
* ***
** *
*
**
*
*
* *
*
*
*
*
*
**
*
**
*
*
*
-2.0 -1.0 0.0 1.0 2.0 3.0 4.0X[,1]
-2.0
-1.0
0.0
1.0
2.0
X[,2]
r=+0.8
*
*
**
*
*
*
**
***
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*** *
*
*
*
*
*
*
**
*
**
*
* *
*
*
*
**
**
*
*
*
* *
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
* *
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
*
* *
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
-3.0 -2.0 -1.0 0.0 1.0 2.0X[,1]
-2.0
-1.0
0.0
1.0
2.0
X[,2]
r=-0.8
Zeitreihenanalyse@LS-Kneip 2–10
Schwache Korrelation*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
* **
**
*
**
*
*
*
*
***
*
*
**
*
* *
*
*
**
**
*
**
* *
*
*
*
*
*
**
*
*
*
*
* *
*
*
*
*
**
*
*
*
*
*
**
*
*
* *
*
*
*
*
*
*
**
*
*
*
*
*
*
*
**
* ** *
*
*
**
** *
*
*
*
*
****
****
*
*
*
*
*
*
*
*
*
*
*
* *
*
*
*
*
*
* *
*
*
*
*
**
**
*
* *
-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0X[,1]
-3.0
-2.0
-1.0
0.0
1.0
2.0
3.0
X[,2]
r=+0.2
*
*
*
*
*
*
*
*
*
*
**
**
*
*
*
*
*
*
**
*
*
**
*
*
* *
*
*
*
*
*
*
*
**
**
*
*
* *
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
*
**
*
*
*
* *
*
*
*
*
*
*
**
*
*
*
***
*
*
*
*
*
*
*
*
*
*
***
*
*
**
* *
*
**
*
**
*
*
*
*
*
* **
*
*
*
*
* *
**
*
-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0X[,1]
-2.0
-1.0
0.0
1.0
2.0
X[,2]
r=-0.2
Zeitreihenanalyse@LS-Kneip 2–11
Keine Korrelation
**
*
*
* *
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
**
**
*
*
*
**
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
** *
**
**
***
*
*
**
*
*
*
*
*
*
**
**
*
**
*
***
* **
*
*
*
*
*
*
-3.0 -2.0 -1.0 0.0 1.0 2.0 3.0X[,1]
-2.0
-1.0
0.0
1.0
2.0
X[,2]
r=0
20 30 40 50 60 70
age
0.5
0.9
1.3
1.7
inco
me
Zeitreihenanalyse@LS-Kneip 2–12
2.3 Grundlegende Zeitreihenmodelle��
��
2.1.2 Weißes Rauschen: {ϵt} Abfolge von unkor-
relierten Zufallsvariablen mit E(ϵt) = µ und
V ar(ϵt) = σ2.
Dies ist ein stationarer Prozess mit E(ϵt) = µ fur alle
t und
γ(0) = σ2, γ(h) = γ(t, t+ h) = 0 falls h > 0
Schreibweise: {ϵt} ∼WN(µ, σ2)
Anmerkung: {ϵt} ∼ IID(µσ2) impliziert {ϵt} ∼WN(µ, σ2). Die Umkehrung gilt nicht!!
5 30 55 80 105 130 155
t
-4
-2
0
2
4
x
-3 -1 1 3
zt-1
-4
-2
0
2
4
zt
Simuliertes Weißes Rauschen Scatterplot von (xt, xt−1)
und Ausgleichsgerade;
β0 = β1 ≈ 0
Zeitreihenanalyse@LS-Kneip 2–13
�
�
�
�
2.1.3 Moving Average Prozess erster Ord-
nung ( MA(1)-Prozess):
Xt = µ+ ϵt + θϵt−1, t = 0,±1, . . . ,
wobei {ϵt} ∼WN(0, σ2).
Stationarer Prozess mit E(Xt) = µ fur alle t und
γ(h) =
σ2(1 + θ2) falls h = 0
σ2θ falls h = ±1
0 falls |h| > 1
Hieraus folgt
ρ(h) =
1 falls h = 0
θ/(1 + θ2) falls h = ±1
0 falls |h| > 1
Interpretation einesMA-Modells: Zum Zeitpunkt
t wird ein Zufallsschock ϵt ausgelost, der unabhangig
von den Zufallsschocks zu anderen Zeitpunkten ist.
Der beobachtete Wert entsteht dann als gewichtetes
Mittel aus gegenwartigen und vergangenen Schocks.
Zeitreihenanalyse@LS-Kneip 2–14
�
�
2.1.4 Autoregressiver Prozess erster Ordnung
( AR(1)-Prozess):
Ein stationarer Prozess {Xt} mit E(Xt) = 0 heißt
”AR(1)-Prozess”, wenn er der Beziehung
Xt = ϕXt−1 + ϵt, t = 0,±1, . . . ,
genugt. Dabei ist {ϵt} ∼ WN(0, σ2), ϵt unkorreliert
mit Xt, und |ϕ| < 1.��
��{Xt} heißt ”AR(1)-Prozess mit Mittelwert µ”,
falls {Xt − µ} ein AR(1)-Prozess ist.
Es gilt
γ(h) =
σ2/(1− ϕ2) falls h = 0
γ(h) = ϕ|h|γ(0) falls h = ±1,±2, . . .
und daher
ρ(h) = ϕ|h| fur h = 0,±1,±2, . . .
Anmerkung: In der Theorie wird bei AR-Prozessen im-
mer eine unendliche Vergangenheit vorausgesetzt. Fur em-
pirische Zeitreihen wird es aber naturlich immer irgendwo
einen Zeitpunkt ”Null” geben. Allerdings hat die endliche
Vergangenheit keinen signifikanten Einfluss auf die Mo-
mente, wenn erst einmal eine relativ kurze ”Einschwing-
phase” vergangen ist.
Zeitreihenanalyse@LS-Kneip 2–15
Die Definitionsgleichung einesAR-Prozesses entspricht
formal einer multiplen Regression (→ erklarende Va-
riablen: Vergangenheitswerte von Xt).
AR(1)-Prozess: Gegeben einen festen Wert von Xt−1,
z.B. Xt−1 = 5, ist die zugehorige (bedingte) Vertei-
lung von Xt um den Wert ϕXt−1 = 5ϕ konzentriert.
Dies impliziert eine einfache Struktur der Autoregres-
sionsfunktion erster Ordnung��
��
Autoregressionsfunktion erster Ordnung:
g(xt−1) = E(Xt|Xt−1 = xt−1)
AR(1)-Prozess (mit Mittelwert 0):
Aus Xt = ϕXt−1 + ϵt folgt
g(xt−1) = E(Xt|Xt−1 = xt−1) = E(ϕxt−1+ϵt) = ϕxt−1
AR(1)-Prozess mit Mittelwert µ:
Xt = ϕ0 + ϕXt−1 + ϵt, fur ϕ0 = µ− ϕµ
⇒ g(xt−1) = ϕ0 + ϕxt−1
(Gerade mit der Steigung ϕ)
Zeitreihenanalyse@LS-Kneip 2–16
Verallgemeinerung:Autoregressionsfunktion
p-ter Ordnung (≡ p Lags)
g(xt−1, . . . , xt−p) = E(Xt|Xt−1 = xt−1, . . . , Xt−p = xt−p)�
�
2.1.5 Autoregressiver Prozess p-ter Ordnung
(AR(p)-Prozess):
Ein stationarer Prozess {Xt} mit E(Xt) = 0 heißt
”AR(p)-Prozess”, wenn er der Beziehung
Xt = ϕ1Xt−1 + ϕ2Xt−2 + · · ·+ ϕpXt−p + ϵt,
genugt, wobei {ϵt} ∼WN(0, σ2), ϵt unkorreliert mit
Xt.��
��{Xt} heißt ”AR(p)-Prozess mit Mittelwert µ”,
falls {Xt − µ} ein AR(p)-Prozess ist.
Es gilt
g(xt−1, xt−2, . . . , xt−p) = ϕ1xt−1+ϕ2xt−2+· · ·+ϕpxt−p
Zeitreihenanalyse@LS-Kneip 2–17
Beispiele fur Autokorrelationsfunktionen
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
h
-1.0
-0.5
0.0
0.5
1.0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
h
-1.0
-0.5
0.0
0.5
1.0
MA(1), θ > 0 MA(1), θ < 0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
h
-1.0
-0.5
0.0
0.5
1.0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
h
-1.0
-0.5
0.0
0.5
1.0
AR(1), ϕ = 0.4 AR(1), ϕ = 0.9
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
h
-1.0
-0.5
0.0
0.5
1.0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
h
-1.0
-0.5
0.0
0.5
1.0
AR(1), ϕ = −0.4 AR(1), ϕ = −0.9
Zeitreihenanalyse@LS-Kneip 2–18
Aber: Wichtige nichtstationare Prozesse�
�
�
�
2.1.6 Random Walk
Sei {ϵt} ∼ WN(0, σ2). Ein Random Walk Prozess
{Xt}t=0,1,2,... ist definiert durch X0 = 0 und
Xt+1 = Xt + ϵt
Mit anderen Worten:
Xt = ϵt + ϵt−1 + · · ·+ ϵ1
Es gilt dann E(Xt) = 0 fur alle t, aber
σ2t = V ar(Xt) = tσ2
Random Walks spielen eine wichtige Rolle in der oko-
nomische Modellierung. Realisierungen von Random
Walks konnen visuell einen Trend aufweisen. Man
spricht dann von einer stochastischen Modellie-
rung dieses Trends.��
��
2.1.7 Random Walk mit Drift: X0 = 0 und
Xt+1 = µ+Xt + ϵt,
fur ein µ = 0, wobei {ϵt} ∼WN(0, σ2). Dann gilt
µt = E(Xt) = tµ, σ2t = V ar(Xt) = tσ2
Random Walks mit Drift besitzen daher immer einen
deterministischen Trend.
Zeitreihenanalyse@LS-Kneip 2–19
2.4 Schatzung von Kenngroßen stati-
onarer Prozesse
Problem: Kenngroßen wie die Autokovarianzfunkti-
on, die Autokorrelationsfunktion, etc., liefern Informa-
tionen uber die Struktur stationarer Prozesse und uber
die Werte unbekannter Parameter. In der Praxis sind
diese Funktionen jedoch nicht bekannt, man muss ver-
suchen, sie aus der beobachteten Zeitreihe x1, . . . , xn
zu schatzen.
Beobachtete Zeitreihe: x1, . . . , xn
Die beobachtete Zeitreihe ist eine Realisierung des zu-
gehorigen Abschnitts X1, . . . , Xn des zugrundeliegen-
den stochastischen Prozesses�
�
�
�Empirischer Mittelwert:
X =1
n
n∑t=1
Xt
• X ist Schatzer fur µ = E(Xt)
• x = 1n
∑nt=1 xt numerische Realisierung (Schatzung)
auf der Basis der Werte der beobachteten Zeitrei-
he
Zeitreihenanalyse@LS-Kneip 2–20
�
�
�
�Empirische Autokovarianzfunktion:
γ(h) =1
n
n−|h|∑t=1
(Xt+|h| − X)(Xt − X)
• γ(h) ist Schatzer fur γ(h)
• numerische Realisierung (Schatzung):1n
∑n−|h|t=1 (xt+|h| − x)(xt − x)
�
�
�
�Empirische Autokorrelationsfunktion:
ρ(h) =γ(h)
γ(0)
• ρ(h) ist Schatzer fur ρ(h)
Anmerkung: Zur Vereinfachung der Schreibweise wird
im folgenden nicht mehr explizit zwischen xt (beob-
achteter Wert) und Xt (Zufallsvariable) unterschie-
den. Die korrekte Interpretation folgt aus dem Zusam-
menhang.
Zeitreihenanalyse@LS-Kneip 2–21
Schatzung des Parameters ϕ eines AR(1)-Prozess:
• AR(1) (mit Mittelwert µ) ⇒ es gilt ϕ = ρ(1) =
ρ(−1)
⇒ Schatzer ϕ von ϕ gegeben durch
ϕ = ρ(1) =
∑n−1t=1 (Xt+1 − X)(Xt − X)∑n
t=1(Xt − X)2
⇒ einfaches Verfahren zur Prognose einer zukunftigen
Beobachtung Xn+1: Xn+1 = ϕXn
• Alternatives Verfahren: Das Modell Xt = ϕ0 +
ϕXt−1+ϵt legt nahe, einen Schatzer ϕ von ϕ durch
eine Kleinste-Quadrate Mathode, d.h. durch Mini-
mieren von
n−1∑t=1
(Xt+1 − ϑ0 − ϑ1Xt)2
bzgl. ϑ0, ϑ1, aus den Daten (X2, X1), . . . , (Xn, Xn−1)
zu bestimmen.
⇒ ϕ∗ =
∑n−1t=1 (Xt+1 − X)(Xt − X)∑n−1
t=1 (Xt − X)2
n groß ⇒ ϕ∗ ≈ ϕ
[Geschatzte Autoregressionsfunktion: g(x) = ϕ∗x]
Zeitreihenanalyse@LS-Kneip 2–22
Beispiel: Dow-Jones Utilities Index, 28.8.72 bis 18.12.72
(Fortsetzung): Veranderungen xt = Dowjt+1−Dowjtfur 77 aufeinanderfolgende Tage
10 30 50 70
t
-1.0
-0.5
0.0
0.5
1.0
1.5
dowj
diff
Geschatzte Autokorrelationsfunktion
Lag
ACF
0 5 10 15
-0.2
0.0
0.2
0.4
0.6
0.8
1.0
Series : SDF3$differenced
⇒ Mogliches Modell: AR(1)
Zeitreihenanalyse@LS-Kneip 2–23
Dow-Jones Utilities Index, 28.8.72 bis 18.12.72 (Fort-
setzung)
Scatterplot von (xt, xt−1) und Ausgleichsgerade
-0.6 -0.1 0.4 0.9 1.4
xt-1
-1.0
-0.5
0.0
0.5
1.0
1.5
x t
Geschatztes Modell:
Xt = 0.0661 + 0.461 ·Xt−1 + ϵt
Zeitreihenanalyse@LS-Kneip 2–24
Diskussion:
• Man kann sich die Frage stellen, ob fur einen stati-
onaren Prozess der empirische Mittelwert und die em-
pirische Kovarianzfunktion ”nahe” an den eigentlichen
Kenngroßen µ = E(X) und γ(h) sind, zumindest falls
die beobachtete Zeitreihe relativ lang ist (n groß). Ei-
ne mathematische Minimialbedingung hierfur ist, dass
fur n → ∞ die empirischen Schatzer stochastisch ge-
gen die wahren Funktionen konvergieren. Man nennt
einen Prosess dann mittelwertergodisch bzw. ko-
varianzergodisch. Ergodizitat ist keine Selbstverstand-
lichkeit, sie ist jedoch fur alle in dieser Vorlesung be-
trachteten Modelle erfullt.
• Die empirischen Autokovarianzfunktionen liefern ent-
scheidende Hinweise auf die Struktur eines ge-
eigneten Zeitreihenmodells und bilden die Grund-
lage vieler Prognoseverfahren
• Die empirischen Autokovarianz- und Autokorrelati-
onsfunktionen konnen fur jede beliebige Zeitreihe be-
rechnet werden. Selbst in dem Fall, dass der zugrunde-
liegende Prozess nicht stationar ist, konnen sie wert-
volle Informationen liefern: Fur Zeitreihen mit Trend
werden die Werte von γ(h) mit wachsendem h nur
sehr langsam abfallen; fur eine Zeitreihe mit saisona-
len Komponenten einer festen Periodizitat wird γ(h)
haufig ebenfalls eine analoge periodische Struktur be-
sitzen.
Zeitreihenanalyse@LS-Kneip 2–25
Beispiel:Wasserstand des Sees Huron (Fortsetzung)
o
o
oo
o
oo
o
ooo
o
o
o
oo
oo
oo
oo
oo
o
o
o
oo
ooooo
o
o
o
o
o
o
o
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
oo
o
ooo
o
o
o
o
o
o
ooo
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
oo
Jahr
Wassers
tand
1880 1900 1920 1940 1960
67
89
1011
12
Autokorrelationsfunktion der Originalzeitreihe:
0 5 10 15
Lag
-0.2
-0.0
0.2
0.4
0.6
0.8
1.0
AC
F
ACF
Zeitreihenanalyse@LS-Kneip 2–26
Beispiel: Australischer Rotwein (Fortsetzung)
Logarithmierte Zeitreihe:
1980 1982 1984 1986 1988 1990 1992
Jahr
6.5
7.0
7.5
8.0
8.5
lnMen
ge
Australischer Rotwein: Logarithmierte Zeitreihe
Autokorrelationsfunktion der log. Zeitreihe:
0 5 10 15 20
Lag
-0.2
-0.0
0.2
0.4
0.6
0.8
1.0
AC
F
ACF
Zeitreihenanalyse@LS-Kneip 2–27
2.5 Tests auf Weißes Rauschen
Problem: {ϵt} ∼ IID(µ, σ2) ??
Tests auf weisses Rauschen werden haufig zur Uber-
prufung von Modellannahmen angewandt. Nach Schat-
zung der wichtigen Komponenten eines Zeitreihenmo-
dells sollten sich die verbleibenden Residuen als Wei-
ßes Rauschen auffassen lassen.
Z.B. AR(1)-Prozess (Mittelwert 0): ϵt := Xt − ϕXt−1
approximativ IID(0, σ2)
Grundidee der Tests:
• {ϵt} ∼ IID(0, σ2) ⇒ γ(h) = ρ(h) = 0 fur h = 0
• Asymptotische Theorie (n groß): ρ(h) ∼ N(0, 1/n),
h = 0, und ρ(h) unabhangig von ρ(h∗) falls h =h∗, h, h∗ = 0
⇒ Ist die Hypothese {ϵt} ∼ IID(0, σ2) korrekt, so
sollten ungefahr 95% der geschatztenWerte ρ(1), ρ(2), . . .
innerhalb der Schranken ±1.96/√n liegen.
Zeitreihenanalyse@LS-Kneip 2–28
Durbin-Watson-Test:Man beschrankt sich auf einen
Test der HypotheseH0 : ρ(1) = 0. Der Durbin-Watson-
Test wird in der Praxis haufig angewendet. Die Test-
statistik ist
d =
∑n−1t=1 (ϵt+1 − ϵt)
2∑nt=1 ϵ
2t
Fur großes n gilt approximativ
d ≈ 2− 2ρ(1)
Die Nullhypothese (H0 : ρ(1) = 0) wird abgelehnt,
falls
d ∈ [2± 3.92/√n]
Portmanteau-Test: Fur ein vorgegebenes H basiert
dieser Test auf der Statistik
q = nH∑
h=1
ρ(h)2
Fur großes n gilt q ∼ χ2H . Die Hypothese {ϵt} ∼
WN(0, σ2) wird abgelehnt, falls q zu groß ist.
Zeitreihenanalyse@LS-Kneip 2–29
Simuliertes weißes Rauschen, n = 50
0 10 20 30 40 50
t
-2
-1
0
1
2
0 5 10 15
Lag
-0.2
-0.0
0.2
0.4
0.6
0.8
1.0
AC
F
ACF
Simuliertes weißes Rauschen, n = 500
0 100 200 300 400 500
t
-3
-1
1
3
0 5 10 15 20 25
Lag
0.0
0.2
0.4
0.6
0.8
1.0
AC
F
ACF
Zeitreihenanalyse@LS-Kneip 2–30
2.6 Schatzung und Elimination von Trends
2.6.1 Klassischer Ansatz: Komponentenmodel-
le
Ansatz:
Xt = gt + Yt, t = 1, . . . , n,
• gt - deterministische Funktion von t ist (Trend);
gt ”glatte” Funktion
• Yt - stochastische Komponente (stationarer Pro-
zess); E(Yt) = 0
Anmerkung: Fur manche Anwendungen ist ein mul-
tiplikatives Modell der Form Xt = gtYt sinnvoller. In
der Praxis geht man in diesem Fall i.a. zu Logarithmen
uber logXt = log gt + log Yt.
2.6.1.1 Linearer Trend
Modell:
gt = β0 + β1 · t
⇒ Xt = β0 + β1 · t+ st + Yt
Zeitreihenanalyse@LS-Kneip 2–31
Schatzung der bestmoglichen Parameter durch die Kleinste-
Quadrate-Methode: β0 und β1 minimieren
n∑t=1
(xt − β0 − β1 · t)2
Losungen:
β1 =
∑nt=1(xt − x)(t− t)∑n
t=1(t− t)2
β0 = x− β1t
Vereinfachte Berechnungsformeln:
β1 =12 ·
∑nt=1 xt · t
n(n2 − 1)− 6x
n− 1
β0 = x− β1n+ 1
2
Geschatzte Trendfunktion:
gt = β0 + β1t
Interpretation von β1 (bei Zeitreihen ohne Saisonkom-
ponenten): Von einer Periode zur nachsten wachst die
Zeitreihe durchschnittlich um den Betrag β1
Xt+1 −Xt ≈ gt+1 − gt = β1
Zeitreihenanalyse@LS-Kneip 2–32
Beispiel: Wasserstand des Sees Huron (Fortsetzung)
Ansatz: Linearer Trend gt = β0 + β1 · t
o
o
oo
o
oo
o
ooo
o
o
o
oo
oo
oo
oo
oo
o
o
o
oo
ooooo
o
o
o
o
o
o
o
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
oo
o
ooo
o
o
o
o
o
o
ooo
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
oo
Jahr
Wasse
rstan
d
1880 1900 1920 1940 1960
67
89
1011
12
Angepaßte Trendfunktion:
gt = 10.2− 0.024 · t
Zeitreihenanalyse@LS-Kneip 2–33
2.6.1.2 Exponentieller Trend
Viele okonomische Zeitreihen andern sich um einen
annahernd konstanten Prozentsatz pro Periode (und
nicht um einen konstanten Be- trag). Dies wird typi-
scherweise durch ein multiplikatives Komponentenmo-
dell modelliert.
Ansatz: Exponentieller Trend
gt = β0 · βt1 = β0e
ln β1·t
⇒ xt+1
xt≈ gt+1
gt=β0 · βt+1
1
β0 · βt1
= β1
Logarithmierung:
lnxt︸︷︷︸x∗t
≈ ln gt︸︷︷︸g∗t
= lnβ0︸︷︷︸β∗0
+ lnβ1︸︷︷︸β∗1
·t
Bestimmung der bestmoglichen Parameter durch die
Kleinste-Quadrate Methode: β∗0 und β∗
1 minimieren
n∑t=1
(x∗t − β∗0 − β∗
1 · t)2
Zeitreihenanalyse@LS-Kneip 2–34
Damit ergibt sich:
β∗1 =
12 ·∑n
t=1 x∗t · t
n(n2 − 1)− 6x∗
n− 1
β∗0 = x∗ − β∗
1
n+ 1
2
Geschatzte Trendkurve g∗t der logarithmierten Zeitrei-
he x∗t :
⇒ g∗t = β∗0 + β∗
1 · t
Da g∗t = ln gt und daher gt = eg∗t , erhalt man als
geschatzte Trendkurve der Originalzeitreihe xt = ex∗t :
gt = eg∗t = eβ
∗0+β∗
1 ·t
und somit
gt = β0 · βt1 mit β0 = eβ
∗0 , β1 = eβ
∗1
Zeitreihenanalyse@LS-Kneip 2–35
Beispiel: Australischer Rotwein (Fortsetzung)
Logarithmierte Zeitreihe: g∗t = 6.96 + 0.0099 · t
1980 1982 1984 1986 1988 1990 1992
Jahr
6.5
7.0
7.5
8.0
8.5
Originalzeitreihe: gt = 1053.6 · e0.0099t
1980 1982 1984 1986 1988 1990 1992
Jahr
0
1000
2000
3000
4000
5000
Zeitreihenanalyse@LS-Kneip 2–36
2.6.1.3 Weitere Trendmodelle
Quadratischer Trend:
gt = β0 + β1t+ β2t2
Polynomialer Trend:
gt = β0 + β1t+ β2t2 + · · ·+ βpt
p
Logistische Sattigungskurve: gt =β0
β1+e−β2t
-3 -1 1 3
t
0.0
0.2
0.4
0.6
0.8
1.0
Die Bestimmung der unbekannten Parameter erfolgt
nach der Kleinste-Quadrate-Methode, d.h. man be-
rechnet β0, β1, . . . , so daß
n∑t=1
(xt − gt)2
minimal wird.
Zeitreihenanalyse@LS-Kneip 2–37
2.6.1.3. Gleitende Durchschnitte
Neben der Bestimmung eines globalen Trends ist oft
eine Glattung der Zeitreihe von Interesse. Glattung
bedeutet Ausschaltung von irregularen Schwankungen
durch lokale Approximationen.
Einfache gleitende Durchschnitte
Man ersetzt die Originalzeitreihe durch ein lokales arith-
metisches Mittel:
gt =1
2q + 1
q∑u=−q
Xt+u, t = q + 1, . . . , N − q
Idee: Fur gegebenes t sei gt+u ≈ a0 + a1(t + u) fur
u ∈ [−q, q], und Yt ∼ IID(0, σ2). Dann gilt
gt =1
2q+1
∑qu=−qXt+u
= 12q+1
∑qu=−q gt+u + 1
2q+1
∑qu=−q Yt+u
≈ 12q+1
∑qu=−q(a0 + a1(t+ u))
≈ gt
Man beachte: Es ist nur notwendig, dass sich gt lo-
kal gut durch eine Gerade beschreiben laßt. Falls Yt ∼IID(0, σ2) und q nicht zu klein, dann kann man er-
warten, dass der lokale Mittelwert 12q+1
∑qu=−q Yt+u
nahe Null ist.
Zeitreihenanalyse@LS-Kneip 2–38
Beispiel: Wasserstand des Sees Huron (Fortsetzung)
Trendschatzung (gleitendes Mittel mit q = 2):
1870 1890 1910 1930 1950 1970
jahr
5
7
9
11
Trendschatzung (gleitendes Mittel mit q = 5):
1880 1900 1920 1940 1960
jahr
5
7
9
11
Zeitreihenanalyse@LS-Kneip 2–39
Verallgemeinerung: Eine lineare Transformation ei-
ner Zeitreihe {Xt} in eine andere {m} gemaß
mt =∞∑
u=−∞auXt+u
wird als linearer Filter bezeichnet. Der einfache glei-
tende Durchschnitt ist ein Speziallfall mit au = 0 fur
u ∈ [t − q, t + q] und au = 12q+1 fur u ∈ [t − q, t + q].
Allgemein spricht man von”gleitenden Mitteln“ falls∑
u au = 1.
Exponentielles Glatten Die Idee des exponentiellen
Glattens beruht auf Anwendung der Rekursion
gt = aXt + (1− a)gt−1
fur geeignet gewahltes a ∈ [0, 1]. Dies fuhrt auf den
linearen Filter
gt = a
t−2∑u=0
(1− a)uXt−u + (1− a)t−1X1
⇒ gt gewichteter Durchschnitt aller Beobachtungen
Xt, Xt−1, . . . mit exponentiell abfallenden Gewichten.
Anmerkung: Exponentielles Glatten wird in der Pra-
xis haufig als Prognoseverfahren verwendet:
Xn+1 = gn
Zeitreihenanalyse@LS-Kneip 2–40
Anmerkungen:
Nach einer erfolgten Schatzung der Trendkomponente
gt ist als nachster Schritt die Struktur der verbleiben-
den stochastischen Komponente zu klaren. Dies er-
fordert eine Analyse der Residuen (≡ trendbereinigte
Zeitreihe)
Yt = Xt − gt
• • Plot von {Yt} (→ stationar?)
• Analyse der zugehorigen empirischen Autokorre-
lationsfunktion; evtl. Tests auf weißes Rauschen
Achtung: Falls Yt kein weißes Rauschen, sondern z.B. ein
AR-Prozess, so ist eine Schatzung der Parameter einer
(globalen) Trendkomponente durch den einfachen Kleinste-
Quadrate Ansatz statistisch nicht optimal.
Ausweg: Verallgemeinerte Kleinste-Quadrate
Probleme des klassischen Komponentenansatzes sind natur-
lich die Auswahl eines geeigneten Modells und der zu-
gehorigen Schatzmethode. Weiterhin ist keine Modellie-
rung von stochastischen Trends moglich. Aus diesen Grun-
den wird in der modernen Zeitreihenanalyse haufig der so-
genannte Box-Jenkins Ansatz vorgezogen, der eine Eli-
mination von Trends uber Differenzenbildung vorsieht.
Zeitreihenanalyse@LS-Kneip 2–41
Beispiel: Wasserstand des Sees Huron (Fortsetzung)
Trendbereinigte Zeitreihe Yt = Xt−gt (Annahme:linearer
Trend)
o
o
oo
o
oo
o
ooo
o
o
o
oo
oo
oo
oo
oo
o
o
o
oo
ooo
oo
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
o
o
o
o
o
oo
o
ooo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
oo
Jahr
Wassers
tand (tre
ndberei
nigt)
1880 1900 1920 1940 1960
-2-1
01
2
Zugehorige Autokorrelationsfunktion:
0 5 10 15
Lag
-0.2
-0.0
0.2
0.4
0.6
0.8
1.0
ACF
ACF
Mogliche Modellierung: AR(1)- Prozess
Zeitreihenanalyse@LS-Kneip 2–42
Wasserstand des Sees Huron (Fortsetzung):
Scatterplot der Residuen (Yt, Yt−1) und Ausgleichsge-
rade
o
oo
o
o o
o
o oo
o
o
o
oo
oo
oo
oo
o o
o
o
o
oo
o oo
oo
o
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
oo
o
o
o
o
o
oo
o
o oo
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
oo
z(t-1)
z(t)
-2 -1 0 1 2
-2-1
01
2
Geschatztes Modell:
Yt = 0 + 0.791 · Yt−1 + ϵt
Prognose von xn+1 (Wasserstand im Jahr 1973):
Xn+1 = 10.2− 0.024(n+ 1) + 0.791 · Yn
Zeitreihenanalyse@LS-Kneip 2–43
2.6.2 Trendelimination durch Differenzenbil-
dung
Grundidee:
• Sei Xt = a0 + a1t+ Yt. Dann gilt
(1− L)Xt = Xt −Xt−1
= (a0 + a1t+ Yt)− (a0 + a1(t− 1) + Yt−1)
= a1 + Yt − Yt−1 =: a1 + Y ∗t
Der Prozess a1 + Y ∗(t) ist stationar!
∆ := (1−L) heißt”Differenzenoperator“ oder
”Diffe-
renzenfilter erster Ordnung“
• Sei Xt = a0 + a1t+ a2t2 + Yt. Dann gilt
(1− L)2Xt = (Xt −Xt−1)− (Xt−1 −Xt−2)
= Xt − 2Xt−1 +Xt−2
= a0 + a1t+ a2t2 + Yt
−2(a0 + a1(t− 1) + a2(t− 1)2 + Yt−1)
+a0 + a1(t− 2) + a2(t− 2)2 + Yt−2
= 2a2 + Yt − 2Yt−1 + Yt−2 = a2 + Y ∗∗(t)
Der Prozess 2a2 + Y ∗∗(t) ist stationar!
∆2 = (1 − L)2 heißt”Differenzenfilter zweiter Ord-
nung“
Zeitreihenanalyse@LS-Kneip 2–44
Allgemein: Falls Xt = a0 +∑p
r=1 artr + Yt, dann ist
die Zeitreihe gegeben durch
Xt = (1− L)pXt
ein stationarer Prozess. ∆p := (1−L)p heißt ”Diffe-
renzenfilter p-ter Ordnung”.
Diskussion:
• Es gilt approximativ
(1− L)Xt = m′(t) + stationarer Prozess,
(1− L)2Xt = m′′(t) + stationarer Prozess, . . .
• Trendelimination durch die Anwendung von Dif-
ferenzenfiltern benotigt keine restriktiven Annah-
men an die Struktur von mt. Glatte Funktionen
von t lassen sich lokal durch Polynome approxi-
mieren (Taylorentwicklung).
• Fur okonomische Zeitreihen ist es oft ausreichend,
die Differenzen 1. Ordnung zu bilden, um Verande-
rungen im Niveau zu beseitigen. Da die ersten Dif-
ferenzen als Zuwachse auch inhaltlich bedeutsam
sind, wird dieses Vorgehen haufig praktiziert.
Zeitreihenanalyse@LS-Kneip 2–45
• Trendelimination uber Differenzenbildung spielt
eine große Rolle in der Zeitreihenanalyse. Ein we-
sentlicher Punkt ist, dass Differenzenbildung auch
die Elimination stochastischer Trends erlaubt;
Beispiel: Random Walk
(→ siehe nachfolgende Kapitel uber die Behand-
lung instationarer Prozesse; ARIMA Modelle
Beispiel: Wasserstand des Sees Huron (Fortsetzung)
Erste Differenzen: Xt −Xt−1
1870 1890 1910 1930 1950 1970
t
-2
-1
0
1
2
X t-Xt-1
Zeitreihenanalyse@LS-Kneip 2–46
2.7 Schatzung und Elimination von Sai-
sonfiguren
In okonomischen Zeitreihen findet man haufig ausge-
pragte Saisonfiguren, d.h. regelmassige zyklische Schwan-
kungen mit Jahresperiode.
Oft mochte man die Saisonfigur aus der Reihe elimi-
nieren → Saisonbereinigung
• Retrospektive Zielsetzung: Um grobe Fehlinter-
pretationen bei Aussagen uber die bisherige Ent-
wicklung der Arbeitslosenzahlen zu vermeiden, muss
die starke Saisonabhangigkeit berucksichtigt wer-
den.
• Prospektive Zielsetzung: Saisonbereinigung, um die
Entwicklung der glatten Komponente moglichst
gut zu beurteilen, und insbesondere eine Tenden-
zwende dieser Komponente unbeeinflusst von sai-
sonalen Einflussen fruhzeitig diagnostizieren zu kon-
nen.
Zeitreihenanalyse@LS-Kneip 2–47
2.7.1 Klassischer Ansatz: Komponentenmodel-
le
Xt = gt + st + Yt, t = 1, . . . , n,
Multiplikatives Komponentenmodell: Logarithmierung
fuhrt zuruck auf additives Komponentenmodell
• Quartalsdaten fur m verschiedene Jahre, insge-
samt n = 4m Beobachtungen ⇒ es existiert ubli-
cherweise eine Saisonkomponente der Periodizitat
d = 4.
• monatliche Daten fur m verschiedene Jahre,
insgesamt n = 12m Beobachtungen ⇒ es existiert
ublicherweise eine Saisonkomponente der Periodi-
zitat d = 12.
⇒ Fur j ∈ {1, . . . , d} sind xj , xd+j , x2d+j , . . . , xmd+j
jeweils die Beobachtung zum j-ten Quartal (Monat)
2.7.1.1 Konstante Saisonfigur: Es wird angenom-
men, daß fur alle j ∈ {1, . . . , d}
sj = sd+j = s2d+j = · · · = s(m−1)d+j
Einfachster Ansatz: In einem ersten Schritt erfolgt
eine Schatzung der Trendkomponente gt. Danach be-
Zeitreihenanalyse@LS-Kneip 2–48
stimmt man Schatzungen der sj durch arithmetischen
Mittel der trendbereinigten Zeitreihe.
Zeitreihenanalyse@LS-Kneip 2–49
sj =1
m
m−1∑k=0
(xkd+j − gkd+j)
⇒ geschatzte Saisonkomponente:
st =
s1 falls t = 1, d+ 1, 2d+ 1, . . . , (m− 1)d+ 1
s2 falls t = 2, d+ 2, 2d+ 2, . . . , (m− 1)d+ 2...
...
sd falls t = d, d+ d, 2d+ d, . . . , (m− 1)d+ d
Modifikation (statistisch effizienter); Gleichzeiti-
ge Berechnung der Parameter βi und der Saisonpara-
meter sj mit der Kleinste-Quadrate Methode.
Beispiel: Linearer Trend ⇒ Bestimmung von β0, β1
und sj , j = 1, . . . , d, durch Minimieren von
n∑t=1
(Xt−β0−β1·t−
d∑j=1
sjI( t− j
d∈ {1, 2, 3, 4, . . . }
))2
I bezeichnet die Indikatorfunktion.komponet
Anmerkung:Alternative Regressionsansatze beinhal-
ten z.B. die Modellierung der Saisonkomponente mit-
tels Sinusfunktionen.
Zeitreihenanalyse@LS-Kneip 2–50
Beispiel: Quartalsdaten uber den mittleren Gesamt-
konsum in GB (Fortsetzung)
Geschatzte Trendfunktion: 18.9 + 0.137 · t
Trendbereinigte Zeitreihe xt − gt
Quartal
Jahr 1 2 3 4
1987 -0.64 0.69 -1.26 1.81
1988 -0.69 -0.41 -0.19 1.41
1989 -0.47 -0.72 -0.30 2.20
1990 -0.06 -0.34 -1.68 0.71
Mittel -0.47(s1) -0.20 (s2) -0.86 (s3) 1.53 (s4)
Zeitreihenanalyse@LS-Kneip 2–51
Beispiel: Australischer Rotwein (Fortsetzung)
trendbereinigte (logarithmierte) Zeitreihe: x∗t − g∗t
1980 1982 1984 1986 1988 1990 1992
Jahr
-1.0
-0.5
0.0
0.5
x*t-g
* t
Geschatzte Saisonkomponente s∗t :
1980 1982 1984 1986 1988 1990 1992
Jahr
-0.6
-0.4
-0.2
0.0
0.2
0.4
s t
Zeitreihenanalyse@LS-Kneip 2–52
Beispiel: Australischer Rotwein (Fortsetzung)
Log. Zeitreihe x∗t x∗t = g∗t + s∗t
1980 1982 1984 1986 1988 1990 1992
Jahr
6.5
7.0
7.5
8.0
8.5
lnM
enge
Australischer Rotwein: Logarithmierte Zeitreihe
1980 1982 1984 1986 1988 1990 1992
Jahr
6.5
7.0
7.5
8.0
8.5
Originalzeitreihe xt xt = ex∗t
1980 1982 1984 1986 1988 1990 1992
Jahr
0
1000
2000
3000
4000
5000
Menge
Verkaufte Menge australischen Rotweins
1980 1982 1984 1986 1988 1990 1992
Jahr
0
1000
2000
3000
4000
5000
6000
Zeitreihenanalyse@LS-Kneip 2–53
Beispiel: Australischer Rotwein (Fortsetzung)
n = 142, xn - verk. Menge im Oktober 1991
Geschatzte Saisonkomponenten: s∗1 = −0.53 (Januar);
s∗2 = −0.24 (Februar), . . .
Prognose fur Januar 1992 (unter Vernachlassigung der
stationaren Komponente):
x∗n+3 = g∗n+3+ s∗n+3 = 6.96+0.0099 ·145−0.53 = 7, 87
⇒ xn+3 = ex∗n+3 = e7.87 = 2617, 6
Prognose fur Februar 1992 (unter Vernachlassigung
der stationaren Komponente)::
x∗n+4 = g∗n+4+ s∗n+4 = 6.96+0.0099 ·146−0.24 = 8, 17
⇒ xn+4 = ex∗n+4 = e8,17 = 3533, 3
Zeitreihenanalyse@LS-Kneip 2–54
2.7.1.2 Gleitende Mittel. In der Praxis ist die An-
nahme einer konstanten Saisonfigur manchmal zu re-
striktiv. Die Saisoneffekte skj konnen sich uber die
Jahre k = 1, . . . ,m verandern. Ein Ausweg besteht
dann in der Benutzung von gleitenden Mitteln, d.h.
skj wird nur durch Mitteln uber 2q + 1 benachbarte
Jahre berechnet.
• Bestimme einen geeigneten Schatzer gt.
• Gleitende Mittel: Fur alle k, j berechne den Durch-
schnitt wkj der Abweichungen Xul+j − gud+j , k−q ≤ u ≤ k + q. Da die Summe der wk1, . . . , wkd
nicht notwendigerweise Null ist, schatze skj durch
skj = wkj −1
d
d∑i=1
wki
• Subtraktion der geschatzten skj von den entspre-
chendenWerten der Originalzeitreihe fuhrt auf die
zugehorige ”saisonbereinigte” Zeitreihe (evtl. ge-
folgt von einer erneuten Schatzung der Trends).
Anmerkung: In der Praxis werden teilweise komplizier-
te Verfahren angewendet, die eine Mischung aus lokalen
und globalen Modellansatzen darstellen und oft zahlreiche,
in ihrer Auswirkung schwer durchschaubare Iterationszy-
klen durchlaufen
Zeitreihenanalyse@LS-Kneip 2–55
2.7.2 Saisonbereinigung durch Differenzenbil-
dung
Idee: Man verwendet den ”Lag d” Differenzenopera-
tor:
(1− Ld)Xt = Xt −Xt−d
Unter dem qualitativen Modell Xt = mt + st +Yt mit
st = st−d fuhrt dieser Operator auf eine saisonberei-
nigte Zeitreihe von Differenzen
Xt = gt − gt−d + Yt − Yt−d =: g∗t + Y ∗t
mit Trendfunktion g∗t und stationarer Komponente
Y ∗t .
• Mit der Anwendung des Differenzenoperators 1−Ld ist notwendigerweise auch eine gewisse Tren-
delimination verbunden. Bei einem linearen Trend
gt = β0 + β1t ist
Xt = gt − gt−d + Yt − Yt−d =: d · β1 + Y ∗t
stationar.
• Saisonbereinigung mittels Differenzenbildung ist das
in der modernen Zeitreihenanalyse am haufigsten ver-
wendete (und mathematisch statistisch am besten be-
grundete) Verfahren (→ SARIMA Modelle)
Zeitreihenanalyse@LS-Kneip 2–56
Beispiel: Australischer Rotwein (Fortsetzung)
Zeitreihe von Differenzen x∗t − x∗t−12
1980 1982 1984 1986 1988 1990 1992
Jahr
-0.3
-0.1
0.1
0.3
Zugehorige Autokorrelationsfunktion
0 5 10 15 20
Lag
-0.4
-0.2
-0.0
0.2
0.4
0.6
0.8
1.0
ACF
ACF
Zeitreihenanalyse@LS-Kneip 2–57
2.8 Ein allgemeiner Ansatz zur Model-
lierung von Zeitreihen
• Stelle die beobachtete Zeitreihe grafisch dar und
untersuche ihre Eigenschaften. Insbesondere, uber-
prufe die Existenz
– eines Trends
– einer saisonalen Komponente
– eines Strukturbruchs (plotzliche, grunsatzliche
Anderung der Struktur einer Zeitreihe)
– untypischen Werten in der Zeitreihe. Solche
”Ausreißer” sollten vor jeder weiteren Analyse
eliminiert werden!
• Eliminiere den Trend und die Saisonfigur, so dass
die entsprechend bereinigte Zeitreihe als stationar
angesehen werden kann. In der modernen Zeitrei-
henanalyse werden hierfur in erster Linie Verfah-
ren angewendet, die auf Differenzenbildung beru-
hen (→”Box-Jenkins Ansatz“).
• Modelliere die stationare Komponente (z.B. AR-
Prozess, MA-Prozess, ARMA-Prozess).
Zeitreihenanalyse@LS-Kneip 2–58
• Jede sinnvolle Modellbildung basiert auf der Aus-
nutzung von Informationen uber den zugrundelie-
genden Prozess. Wichtige Informationsquellen:
– Analyse der Autokorrelationsfunktion und an-
derer Statistiken (→ siehe nachfolgende Kap.)
– Okonometrische Literatur⇔ Okonomische Mo-
dellbildung
• Schatze unbekannte Modellparameter aus den Da-
ten (unter Zuhilfenahme der Autokorrelationsfunk-
tion, etc). Validiere das Modell durch Uberprufung
der Modellanpassung mittels geeigneter Testver-
fahren. (→ siehe nachfolgende Kapitel)
• Prognose:
– Prognostiziere zukunftige Werte der stationaren
Komponente. Geeignete Prognoseverfahren ⇔Struktur des angepaßten Modells.
– Eine nachfolgende Invertierung, d.h. Ruckgangig-
machung, der zur Elimination von Trend und
saisonaler Komponente angewandten Verfah-
ren erlaubt eine Vorhersage zukunftiger Wer-
te der Originalzeitreihe. (→ siehe nachfolgende
Kapitel)
Zeitreihenanalyse@LS-Kneip 2–59
3 Lineare Prozesse und ARMA
Modelle
Gegenstand dieses Kapitels ist die Modellierung sta-
tionarer Prozesse. Ziel ist zunachst
• eine moglichst allgemeine Charakterisierung stati-
onarer Prozesse. Der zentrale Punkt hierbei ist ein
allgemeiner Ansatz zur Beschreibung von Abhangig-
keiten zwischen den einzelnen moglichen Werten
einer solchen Zeitreihe zu verschiedenen Zeitpunk-
ten.
• Dies fuhrt auf die sogenannten linearen Prozes-
se. Die Abhangigkeitsstruktur wird in allgemeiner
Weise durch lineare Verknupfungen von Zufalls-
schocks modelliert.
Alle sinnvollen statistischen Modellbildungs- und Pro-
gnoseverfahren beruhen auf der Ausnutzung solcher
Abhangigkeitsstrukuren. Sinnvolle ”Abhangigkeitsma-
ße” sind die in Kapitel 2 eingefuhrten Autokovarianz-
bzw. Autokorrelationsfunktionen. Von besonderem In-
teresse sind
• Prozesse mit ”kurzem Gedachtnis” (short me-
mory). Die Abhangigkeiten zwischen den Werten
Zeitreihenanalyse@LS-Kneip 3–1
zu weit entfernten Zeitpunkten sind sehr klein,
ρ(h) konvergiert ”schnell” gegen Null fur h→ ∞
• Hier hat die Klasse der ”ARMA Prozesse” beson-
dere Bedeutung erlangt. Auf der Grundlage der
theoretischen Eigenschaften dieser Modelle lassen
sich dann Prognoseverfahren und Methoden zur
Modellwahl herleiten.
Zeitreihenanalyse@LS-Kneip 3–2
3.1 Lineare Prozesse
Ein einfache Moglichkeit zur Erzeugung eines stati-
onaren Prozesses besteht in der Anwendung eines li-
nearen Filters auf weißes Rauschen:�
�
�
�
Moving Average Prozess der Ordnung q
(MA(q) Prozess):
Xt = ϵt + θ1ϵt−1 + · · ·+ θqϵt−q
wobei ϵt ∼WN(0, σ2) und θ1, . . . , θq Konstanten
• Jeder MA(q) Prozess ist stationar. Er ist streng
stationar, falls ϵt ∼ IID(0, σ2)
• Falls ϵt ∼ IID(0, σ2), so ist {Xt} ”q-abhangig”,
d.h. Xt und Xt−h sind unabhangig fur |h| > q.
• JederMA(q) ist ”q-korreliert”, d.h. γ(h) = ρ(h) =
0 fur |h| > q
• • MA(q) Prozess mit Mittelwert µ:
Xt = µ+ ϵt + θ1ϵt−1 + · · ·+ θqϵt−q
fur |h| > q.��
��Satz: {Xt} stationare und q-korrelierte Zeitreihe ⇔
{Xt} kann als MA(q) Prozess dargestellt werden.
Zeitreihenanalyse@LS-Kneip 3–3
Eine Verallgemeinerung der MA(q) Prozesse, die so-
genannten linearen Prozesse, bilden den allgemeinen
Rahmen zur Analyse stationarer Prozesse. Sie entste-
hen aus weißem Rauschen durch Anwendung eines all-
gemeinen, absolut summierbaren linearen Filters.�
�
Eine Zeitreihe {Xt} ist ein linearer Prozess, falls
sie sich fur alle t in der Form
Xt =∞∑
j=−∞ψjϵt−j
darstellen lasst, wobei ϵt ∼ WN(µ, σ2) und ψj eine
Folge von Konstanten mit∑∞
j=−∞ |ψj | <∞
• Unter Verwendung des Lagoperators lasst sich ein
linearer Prozess auch kompakter in der Form
Xt = ψ(L)ϵt
schreiben, wobei ψ(L) =∑∞
j=−∞ ψjLj .
• Berechnung der Autokovarianzen:
γ(h) =∞∑
j=−∞ψjψj+hσ
2
Zeitreihenanalyse@LS-Kneip 3–4
Bei einem allgemeinen linearen Prozess konnen die
WerteXt der Zeitreihe zu einem Zeitpunkt t von zukunf-
tigen Realisierungen ϵt+1, ϵt+2, . . . abhangen ⇒ In-
terpretation? Um dieses Problem zu vermeiden be-
schrankt man sich i.A. auf kausale Prozesse.�
�
�
�
Ein linearer Prozess heißt kausal, falls ψj = 0 fur
j < 0, d.h. falls
Xt =∞∑j=0
ψjϵt−j
Man spricht dann auch von einem MA(∞) Prozess.
Beispiel: MA-Darstellung eines AR(1) Prozesses
AR(1): stationarer Prozess charakterisiert durch
Xt = ϕXt−1 + ϵt
mit ϵt ∼WN(0, σ2), |ϕ| < 1
Dieser Prozess besitzt die MA-Darstellung
Xt =
∞∑j=0
ϕjϵt−j
Zeitreihenanalyse@LS-Kneip 3–5
Anmerkung:DerWoldsche Zerlegungssatz be-
sagt, dass sich jeder stationare Prozess {Xt} in der
Form
Xt =∞∑
j=−∞ψjϵt−j + deterministischer Prozess
darstellen lasst, wobei ϵt ∼WN(µ, σ2) und∑∞
j=−∞ ψ2j <
∞.
Deterministischer Prozess: Yt deterministisch, falls
sich aus bekanntenWerten . . . , Yt−2, Yt−1, Yt alle zukunf-
tigen Werte Yt+1, Yt+2, . . . exakt (ohne Fehler) vor-
hersagen lassen.
Beispiel:
Yt = α sin(t) + β cos(t)
fur unabhangige Z.v. α, β mit Erwartungswert 0 und
gleicher Varianz.
Deterministische Prozesse sind fur eine okonomische
Modellierung nicht sehr interessant, daher nimmt man
i.A. an, dass deterministische Komponente ≡ 0.
Zeitreihenanalyse@LS-Kneip 3–6
3.2 ARMA Prozesse�
�
�
�
Eine stationarer Zeitreihe {Xt} ist ein ARMA(p, q)
Prozess, falls fur alle t
Xt−ϕ1Xt−1−· · ·−ϕpXt−p = ϵt+θ1ϵt−1+· · ·+θqϵt−q
wobei ϵt ∼WN(0, σ2)��
��{Xt} ist ein ARMA(p, q) Prozess mit Mittelwert
µ, falls {Xt − µ} ein ARMA(p, q) Prozess ist.
Fur die weitere Untersuchung soll die folgende abkurzen-
de Schreibweise fur ARMA Prozesse eingefuhrt wer-
den:
ϕ(L)Xt = θ(L)ϵt
Hierbei sind ϕ(L) und θ(L) Polynome in L
ϕ(L) = 1− ϕ1L− · · · − ϕpLp
θ(L) = 1 + θ1L+ · · ·+ θqLq
• ARMA(0, 0) ⇔ Weißes Rauschen
• ARMA(0, q) ⇔ MA(q)
Xt = ϵt + θ1ϵt−1 + · · ·+ θqϵt−q = θ(L)ϵt
• ARMA(p, 0) ⇔ AR(p)
Xt = ϕ1Xt−1+· · ·+ϕpXt−p+ϵt ⇔ ϕ(L)Xt = ϵt
Zeitreihenanalyse@LS-Kneip 3–7
Uberlagerung von ARMA Prozessen: Seien {Xt}und {Yt} zwei unabhangige ARMA Prozesse der Ord-
nungen (p1, q1) und (p2, q2). Dann ist die Summe
Zt = Xt + Yt wieder ein ARMA Prozess der Ordnung
(p, q). Fur (p, q) gilt
p ≤ p1 + p2, q ≤ max{p1 + q2, p2 + q1}
Außer in sehr speziellen Fallen werden von p, q jeweils
die Obergrenzen angenommen.
In der Okonomie, speziell in der Makrookonomie lie-
gen haufig aggregierte Zeitreihen vor, wie z.B. das Net-
tosozialprodukt, Preisindizes, die Zahl der Arbeitslo-
sen, etc. Existiert keine anderslautende okonomische
Theorie, so ist als Grundlage der Modellierung des sta-
tionaren Teils einer solchen Zeitreihe oft ein ARMA
Ansatz sinnvoll. Folgen namlich nicht alle Komponen-
ten der aggregierten Große demselben Modell, ist zu
vermuten, dass die aggregierte Zeitreihe einem ARMA
Prozess folgt. Auch das Vorliegen eines Beobachtungs-
fehlers fuhrt zu ARMA Prozessen, wenn der Fehler als
weißes Rauschen modelliert werden kann. Z.B.
AR(p) + weißes Rauschen = ARMA(p, p)
Zeitreihenanalyse@LS-Kneip 3–8
Fur Stationaritat und Kausalitat eines AR(1) Prozes-
ses,
ϕ(L)Xt = (1− ϕL)Xt = Xt − ϕXt−1 = ϵt
ist es notwendig, dass |ϕ| < 1. Dies ist aquivalent zu
ϕ(z) = 1− ϕz = 0 fur alle |z| ≤ 1
Eine Verallgemeinerung dieser Bedingung sichert Sta-
tionaritat und Kausalitat von ARMA Prozessen.�
�
�
�
Stationaritat und Kausalitat: Es existiert genau
dann ein (eindeutig bestimmter) stationarer und sta-
tionarer Prozess {Xt}, der die Bedingung ϕ(L)Xt =
θ(L)ϵt, wenn
ϕ(z) = 1−ϕ1z−ϕ2z2−· · ·−ϕpzp = 0 fur alle |z| ≤ 1
Anmerkung: Diese Bedingung muss fur alle komplexen
Zahlen z mit |z| = 1 erfullt sein.
Anmerkung: Falls ϕ(z) = 1− ϕ1z− · · · − ϕpzp = 0 fur
ein z mit |z| = 1, so spricht man von ”Unit Root
Prozessen”.
Zeitreihenanalyse@LS-Kneip 3–9
Ma-Darstellung eines ARMA ProzessesFur einen kausalen ARMA Prozess gilt
Xt =∞∑j=0
ψjϵt−j = (∞∑j=0
ψjLj)ϵt
Da nach Definition des ARMA Prozesses ϕ(L)Xt =
θ(L)ϵt, folgt daraus
(1− ϕ1L− · · · − ϕpLp) (ψ0 + ψ1L+ ψ2L
2 + . . . )ϵt︸ ︷︷ ︸Xt
= (1 + θ1L+ . . . θqLq)ϵt
Um Gleichheit fur alle moglichen Realisierungen von
{ϵt} zu garantieren, mussen auf der linken und rech-
ten Seite alle Koeffizienten zur gleichen ”Potenz” Lj ,
j = 0, 1, . . . , identisch sein. Dies ermoglicht eine Be-
stimmung der Koeffizienten ψj
1 = ψ0
θ1 = ψ1 − ψ0ϕ1
θ2 = ψ2 − ψ1ϕ1 − ψ0ϕ2
· · ·
· · ·
· · ·
Zeitreihenanalyse@LS-Kneip 3–10
Algemein ergeben sich die ψj durch folgende Rekursi-
onsformel:
⇒ ψj −p∑
k=1
ϕkψj−k = θj , j = 0, 1, 2, . . .
Hierbei ist θ0 = 1, θj := 0 fur j > q und ψj = 0 fur
j < 0.
Man schreibt auch ψ(L) = θ(L)ϕ(L) und daher
Xt =θ(L)
ϕ(L)ϵt
Diese MA-Darstellung des ARMA Prozesses ermoglicht
eine sofortige Berechnung der zugehorigen Autokova-
rianzen
γ(h) =∞∑j=0
ψjψj+|h|σ2
Dies ist die wesentliche ”Leistung” der MA-Darstellung.
Zeitreihenanalyse@LS-Kneip 3–11
Ein zur MA-Darstellung ”duales” Problem ist die Re-
prasentation eines ARMA Prozesses als AR(∞) Pro-
zess. Dies ist nur dann moglich, wenn der MA-Teil des
Prozesses gewissen Regularitatsbedingungen genugt.
Man spricht dann von einem invertierbarem ARMA
Prozess. Invertierbarkeit ist von geringerer”praktischer“
Bedeutung als Kausalitat, sie spielt jedoch eine wichtige
Rolle bei theoretischen Resultaten zur Stabilitat und Ein-
deutigkeit von Parameterschatzungen.�
�
�
�
Invertierbarkeit: Ein ARMA Prozess {Xt} ist
genau dann invertierbar, d.h. es existieren Kon-
stanten ξj mit∑∞
j=0 |ξj | < ∞, so dass
ϵt =∞∑j=0
ξjXt−j
wenn
θ(z) = 1+θ1z+θ2z2+· · ·+θqzq = 0 fur alle|z| ≤ 1
Beispiel: MA(1) Prozess
Xt = θ(L)ϵt = (1 + θL)ϵt = ϵt + θ1ϵt−1
Dieser Prozess ist invertierbar, falls |θ| < 1. Dann gilt
ϵt =∞∑j=0
(−θ)jXt−j
Zeitreihenanalyse@LS-Kneip 3–12
3.3 Die Autokovarianzfunktionen von
ARMA Prozessen
• Fur den MA(q) Prozess gilt (als Spezialfall der
allgemeinen Formel fur lineare Prozesse)
γ(h) =
σ2∑q−|h|
j=0 θjθj+|h| falls |h| ≤ q
0 falls |h| > q
Hier ist θ0 := 1. Dies impliziert
ρ(h) =
∑q−|h|
j=0 θjθj+|h|/∑q
j=0 θ2j falls |h| ≤ q
0 falls |h| > q
⇒ Existiert ein Lag q, so dass sich eine geschatzte
Autokorrelationsfunktion fur alle h > q nicht mehr
signifikant von Null unterscheidet, so legt dies einen
MA(q) Prozess nahe (siehe unten).
• Fur einen kausalen ARMA(p, q) Prozess lasst sich
die Autokovarianzfunktion mit Hilfe der zugehori-
gen MA-Darstellung Xt =∑∞
j=0 ψjϵt−j berech-
nen:
γ(h) =∞∑j=0
ψjψj+|h|σ2
⇒ ρ(h) =∞∑j=0
ψjψj+|h|/∞∑j=0
ψ2j
Zeitreihenanalyse@LS-Kneip 3–13
Beispiel: ARMA(1, 1) Prozess
Xt − ϕXt−1 = ϵt − θϵt−1
Man erhalt
ψ0 = 1, ψj = (θ + ϕ)ϕj−1 fur j ≥ 1
und daher
γ(0) = σ2∞∑j=0
ψ2j
= σ2
[1 + (θ + ϕ)2
∞∑j=0
ϕ2j]
= σ2
[1 +
(θ + ϕ)2
1− ϕ2
]
γ(1) = σ2∞∑j=0
ψjψj+1
= σ2
[θ + ϕ+ (θ + ϕ)2ϕ
∞∑j=0
ϕ2j]
= σ2
[θ + ϕ+
(θ + ϕ)2ϕ
1− ϕ2
]γ(h) = ϕh−1γ(1), h ≥ 2
Allgemein lasst sich zeigen, dass fur jeden ARMA Pro-
zess ein c > 1 existiert, so dass ρ(h) ≤ chρ(h) → 0
(”short memory”)
Zeitreihenanalyse@LS-Kneip 3–14
AR(p)-Prozess. Wie fur einen allgemeinen ARMA
Prozess lasst sich die Autokovarianzfunktion eines AR(p)
Prozesses uber die MA-Darstellung berechnen. Es gibt je-
doch eine andere Moglichkeit. Sei also
Xt = ϕ1Xt−1 + · · ·+ ϕpXt−p + ϵt
Dann gilt fur h > 0
E(XtXt−h) =ϕ1E(Xt−1Xt−h) + · · ·+ ϕpE(Xt−pXt−h)
+ E(ϵtXt−h)︸ ︷︷ ︸=0
⇒ γ(h) = ϕ1γ(h− 1) + ϕ2γ(h− 2) + · · ·+ ϕpγ(h− p)
Division durch γ(0) ergibt daher
ρ(h) = ϕ1ρ(h− 1) + ϕ2ρ(h− 2) + · · ·+ ϕpρ(h− p)
fur alle h > 0.
Diese Gleichungen werden alsYule-Walker Glei-chungen bezeichnet Sie erlauben die iterative Be-
rechnung der Autokorrelationsfunktion.
Zeitreihenanalyse@LS-Kneip 3–15
Mit ρ(h) = ρ(−h) erhalt man in Matrixschreibweise
ρ(1)
ρ(2)
·
·
·
ρ(p)
=
1 ρ(1) . . . ρ(p− 1)
ρ(1) 1 . . . ρ(p− 2)
· · ·
· · ·
· · ·
ρ(p− 1) · . . . 1
ϕ1
ϕ2
·
·
·
ϕp
Die Losungen dieser Gleichung ergibt die Werte fur ρ(1), . . . , ρ(p)
mit denen dann iterativ die folgenden ρ(h) berechnet wer-
den.
Bisher haben wir in diesem Abschnitt den Fall betrachtet,
dass die Parameter des Prozesses bekannt sind und man
daraus die Struktur der Autokorrelation berechnet. In der
Praxis ist jedoch der umgekehrte Fall sehrt viel interes-
santer. Man schatzt die Autokovarianz- und Autokorrela-
tionsfunktionen und versucht, daraus Ruckschlusse uber
den zugrundeliegenden Prozess zu ziehen.
Schatzung von ρ(h) und γ(h) aus einer gegebenen
ZeitreiheX1, . . . , Xn: Emprische Autokorrelations- und Au-
tokovarianzfunktionen ρ(h) und γ(h) (siehe Kapitel 2).
• AR(p) Prozess: Aus der obigen Relation zwischen ρ
und den Parametern ϕ1, . . . , ϕp eines AR(p) Prozesses
lassen sich durch Einsetzen von ρ(h) sofort Schatzun-
gen fur diese Parameter gewinnen.
Zeitreihenanalyse@LS-Kneip 3–16
Berechne ϕ1, . . . , ϕp durch Losen des Gleichungssystems
ρ(1)
ρ(2)
·
·
·
ρ(p)
=
1 ρ(1) . . . ρ(p− 1)
ρ(1) 1 . . . ρ(p− 2)
· · ·
· · ·
· · ·
ρ(p− 1) · . . . 1
ϕ1
ϕ2
·
·
·
ϕp
Dies ergibt die sogenannten Yule-Walker Schatzer fur
die Parameter eines AR(p) Prozesses (siehe Kapitel 4)
• Allgemeine ARMA Prozesse: Die sogenannten Maxi-
mum Likelihood Schatzer basieren auf der funktiona-
len Beziehung zwischen γ(h) und den Modellparame-
tern (siehe Kapitel 4).
Anmerkung:Die Genauigkeit des Schatzers ρ von ρ hangt
von dem zugrundeliegenden Prozess ab. Allgemein erhalt
man, dass asymptotisch (n groß) approximativ ρ(h) ∼N(ρ(h)vh) gilt. Die Varianzen vh lassen sich durch Bart-
letts Formel berechnen. Es ist jedoch notwendigerweise
vh ≥ 1/n. In der Praxis benutzt man daher zur Konstruk-
tion von 95% Konfidenzintervall die strengeren Grenzen
ρ(h) ± 1.96/√n, die schon in Kapitel 2 fur den Fall des
Weißen Rauschens angegeben wurden.
Zeitreihenanalyse@LS-Kneip 3–17
Beispiel: Uberschussmenge (”Overshorts”)
Zeitreihe {Xt}: Uberschussmengen eines unterirdischen Ben-
zintanks einer Tankstelle in Colorado (USA) gemessen an
57 aufeinanderfolgenden Tagen.
0 10 20 30 40 50 60
t
-150
-100
-50
0
50
100
x t
Geschatzte Autokorrelationsfunktion:
0 5 10 15
Lag
-0.5
0.0
0.5
1.0
AC
F
Zeitreihenanalyse@LS-Kneip 3–18
Die Uberschussmengen sind definiert durch
Xt = Yt − Yt−1 +At
wobei Yt ≡ gemessene Benzinmenge im Tank am Tag t,
At ≡ Differenz zwischen den (gemessenen) Mengen, die
verkauft und angeliefert wurden.
Man sieht sofort, dass Struktur von ρ mit einem MA(1)
Modell (mit Mittelwert µ) kompatibel ist:
Xt = µ+ ϵt + θϵt−1
Eine genauere Begrundung, dass der zugrundeliegende Pro-
zess ein MA(1)-Prozess ist, lasst sich im vorliegenden Bei-
spiel aus einer sinnvollen Modellierung der Zeitreihe her-
leiten. Modellierung:
Yt = Ywahr,t + δ1,t
At = Awahr,t + δ2,t
Ywahr,t = µ+ Ywahr,t−1−Awahr,t
mit {δ1t} ∼ WN(0, σ21), {δ2t} ∼ WN(0, σ2
2). µ beschreibt
die auf Grund eines Lecks im Tank ausgeflossene Menge.
⇒ Xt = Yt − Yt−1 +At = µ+ δ1t − δ1,t−1 + δ2t
Dieses Modell ist stationar und 1-korreliert:
E(Xt) = E(µ+ δ1t − δ1,t−1 + δ2t) = µ
Zeitreihenanalyse@LS-Kneip 3–19
γ(h) = E
[(Xt+h − µ)(Xt − µ)
]= E
[(δ1,t+h − δ1,t+h−1 + δ2,t+h)(δ1t − δ1,t−1 + δ2t)
]
=
2σ2
1 + σ22 falls h = 0
−σ21 falls |h| = 1
0 sonst
Dies impliziert, dass {Xt} ein MA(1) Prozess ist mit
ρ(1) =θ
1 + θ2=
−σ21
2σ21 + σ2
2
⇒ θ = −1 ⇔ σ22 = 0
Aus der beobachteten Zeitreihe erhalt man:
X = −4.035, γ(0) = 3415.72, γ(1) = −1719.95
.
⇒ θ = −1, σ2 = 1708
Xt = −4.035 + ϵt − ϵt−1
Man beachtet, dass θ = −1 impliziert, dass σ22 = 0. Die
Daten lassen daher vermuten, dass die angelieferten und
verkauften Benzinmengen exakt gemessen werden. µ =
−4.035 deutet jedoch auf ein Leck im Tank hin.
Zeitreihenanalyse@LS-Kneip 3–20
3.4 Die partielle Autokovarianzfunk-
tion
Es ist relativ leicht, einen MA(q) Prozess anhand der Au-
tokorrelationsfunktion zu identifizieren: ρ(h) = 0 fur h >
q. Die empirische Autokorrelationsfunktion einer gegebe-
nen Zeitreihe deutet daher auf einen MA(q) Prozess hin,
falls ρ(h) fur alle h > q sehr klein ist (±1.96√n) und und
die Folge ρ(q + 1), ρ(q + 2), . . . keine offenkundigen Re-
gelmaßigkeiten mehr aufweißt. Im Gegensatz dazu ist es
schwierig, aus der Struktur von ρ auf die Existenz eines
AR(p) Prozesses zu schließen.
In der Zeitreihenanalyse betrachtet man daher haufig zusatz-
lich ein alternatives Abhangigkeitsmaß, die sogenannte par-
tielle Autokorrelationsfunktion α(h). Sie besitzt die Ei-
genschaft, dass fur einen AR(p) Prozess die Beziehung
α(h) = 0 fur h > p gilt.
Zeitreihenanalyse@LS-Kneip 3–21
Partielle Autokorrelationsfunktion (PACF)
Die PACF ist fur alle Lags h ≥ 0 definiert, wobei
• α(0) := 1
• α(h) = ϕhh, wobei ϕhh das h-te Element des Vektors
(ϕh1, . . . , ϕhh)′ ist, der sich als Losung des Gleichungs-
systems
ρ(1)
ρ(2)
·
·
·
ρ(h)
=
1 ρ(1) . . . ρ(h− 1)
ρ(1) 1 . . . ρ(h− 2)
· · ·
· · ·
· · ·
ρ(h− 1) · . . . 1
ϕh1
ϕh2
·
·
·
ϕhh
Anmerkung: Die partielle Autokorrelation lasst sich in-
terpretieren als die partielle Korrelation von Xt und Xt−h
unter Konstanthaltung der dazwischen liegenden Zufalls-
variablen Xu mit t− h < u < t.
Zeitreihenanalyse@LS-Kneip 3–22
• PACF eines AR(p) Prozesses {Xt}
Xt = ϕ1Xt−1 + · · ·+ ϕpXt−p + ϵt
Aus den Yule-Walker Gleichungen folgt, dass
α(p) = ϕp
Fur h > p lasst sich ein AR(p) Prozess formal auch
als AR(h) Prozess
Xt = ϕ1Xt−1+· · ·+ϕpXt−p+ϕp+1Xt−p−1+· · ·+ϕhXt−h+ϵt
mit ϕt−p−1 = · · · = ϕt−h = 0 schreiben. Wendet man
wiederum die Yule-Walker Gleichungen an, ergibt sich
sofort
α(h) = 0 fur h > p
• Fur einen MA(1) Prozess gilt
α(h) = −(−θ)h/(1 + θ2 + · · ·+ θ2h)
Zeitreihenanalyse@LS-Kneip 3–23
Die empirische PACF einer gegebenen Zeitreihe
{Xt}t=1,...,n ist gegeben durch
• α(0) := 1
• α(h) = ϕhh, wobei ϕhh das h-te Element des Vektors
(ϕh1, . . . , ϕhh)′ ist, der sich als Losung des Gleichungs-
systems
ρ(1)
ρ(2)
·
·
·
ρ(h)
=
1 ρ(1) . . . ρ(h− 1)
ρ(1) 1 . . . ρ(h− 2)
· · ·
· · ·
· · ·
ρ(h− 1) · . . . 1
ϕh1
ϕh2
·
·
·
ϕhh
Konfidenzintervalle: Fur einen AR(p) Prozess gilt: α(h)
ist asymptotisch unabhangig von α(h∗) falls h = h∗ und
h, h∗ > p. Weiterhin erhalt man dass fur großes n
α(h) ∼ N(0,1
n) fur h > p
⇒ in ungefahr 95% aller Falle: α(h) zwischen ±1.96/√n,
falls h > p
Zeitreihenanalyse@LS-Kneip 3–24
Die Berechnung der Werte ϕpj (und ϕpj) lasst sich durch
dieDurbin-Levinson Rekursion stark vereinfachen, Sie
erlaubt die rekursive Berechnung der ϕhj aus den gegebe-
nen Werten von ϕh−1,j :
ϕhh =
[ρ(h)−
h−1∑j=1
ρ(h− j)
]v−1h−1
ϕh1
·
·
·
ϕh,h−1
=
ϕh−1,1
·
·
·
ϕh−1,h−1
− ϕhh
ϕh−1,h−1
·
·
·
ϕh−1,1
vh = vh−1[1− ϕ2
hh]
Beispiel: Sonnenflecken
Zeitreihe {Xt} von n = 100 Beobachtungen. Die empiri-
sche PACF besitzt die Eigenschaft, dass fur alle h > 2
alle Werte α(h) innerhalb der Schranken ±1.96/√100 lie-
gen. Als sinnvolle Modellierung erscheint daher ein AR(2)
Modell fur die Zeitreihe X∗t = Xt − X. Man erhalt
X = 46.93, γ0 = 1382.2, γ1 = 1114.4, γ2 = 591.73
Der Yule-Walker Schatzer liefert daher
ϕ1 = 1.318, ϕ2 = −0.634, σ2 = 289.2
und somit
X∗t ≈ 1.318X∗
t−1 − 0.634X∗t−2 + ϵt
Zeitreihenanalyse@LS-Kneip 3–25
Sonnenflecken:
10 30 50 70 90
t
0
50
100
150
suns
pots
(Geschatzte) Autokorrelationsfunktion:
0 5 10 15 20
Lag
-0.2
-0.0
0.2
0.4
0.6
0.8
1.0
AC
F
(Geschatzte) partielle Autokorrelationsfunktion:
0 5 10 15 20
Lag
-0.6
-0.4
-0.2
-0.0
0.2
0.4
0.6
0.8
Par
tial A
CF
Zeitreihenanalyse@LS-Kneip 3–26
3.5 Prognose mit ARMA Modellen
In diesem Abschnitt betrachten wir Verfahren zur Progno-
se zukunftiger Werte Xn+1, Xn+2, . . . einer Zeitreihe. Es
wird im Folgenden jeweils vorausgesetzt, dass der zugrund-
liegende Prozess genau spezifiziert ist. Fur ARMA(p, q)-
Prozesse bedeutet dies, dass alle Parameter ϕi und θj be-
kannt sind. In der Praxis ist dies naturlich unrealistisch.
In einem ersten Schritt werden dann zunachst die Para-
meter aus den Daten geschatzt. Die nachfolgenden Pro-
gnosemethoden werden anschließend auf das geschatzte
ARMA-Modell angewendet (und sind daher nur approxi-
mativ gultig).
Allgemeine Problemstellung: Sei {Xt} eine stationare
Zeitreihe mit Mittelwert µ = 0 und bekannter Autoko-
varianzfunktion γ. Gegeben die Werte X1, . . . , Xn einer
Zeitreihe, prognostiziere den Wert Xn+1
Die Grundidee besteht in einer sukzessiven Berechnung des
besten linearen Pradiktors Xn+1 vonXn+1 ausX1, . . . , Xn:
• n = 0: X1 = 0
• n > 0: Xn+1 = βn,1Xn+βn,2Xn−1 · · ·+βn,nX1 wobei
βn,1, . . . , βn,n derart, dass
E(Xn+1 − βn,1Xn − · · · − βn,nX1)2
minimal bzgl. allen moglichen Werten der β.
Dieses Minimierungsproblem besitzt i.Allg. eindeutig be-
Zeitreihenanalyse@LS-Kneip 3–27
stimmte Losungen. Fur jeden moglichenWert von nmussen
die bestmoglichen βn,1, . . . , βn,n folgende n Gleichungen
erfullen:
E(Xt+1 − βn,1Xn − · · · − βn,nX1)Xj = 0, , j = 1, . . . , n
Hieraus folgt, dass
γ(1)
γ(2)
·
·
·
γ(n)
=
1 γ(1) . . . γ(n− 1)
γ(1) 1 . . . γ(n− 2)
· · ·
· · ·
· · ·
γ(n− 1) γ(n− 2) . . . 1
βn,1
βn,2
·
·
·
βn,n
Es gilt daher βnj = ϕnj , und die gesuchten Parameterwer-
te lassen sich durch die Durbin-Levinson Rekursion
berechnen. Fur einen AR(p)-Prozess (mit Mittelwert 0)
folgt sofort, dass falls n > p
βn,1 = ϕ1, . . . , βn,p = ϕp, βn,j = 0 fur j > p�
�
�
�Prognose mit einem AR(p)-Prozess
Der beste lineare Pradiktor vonXn+1 (n > p) ist gegeben
durch
Xn+1 = ϕ1Xn + · · ·+ ϕnXn+1−p
Zeitreihenanalyse@LS-Kneip 3–28
�
�
�
�
Pradiktoren fur Xn+2, Xn+3, . . . ergeben sich durch
Xn+2 = ϕ1Xn+1 + ϕ2Xn · · ·+ ϕnXn+2−p
Xn+2 = ϕ1Xn+2 + ϕ2Xn+1 · · ·+ ϕnXn+3−p
. . .
Es gilt
Xn+1 − Xn+1 = ϵn+1
Da {ϵt} ∼WN(0, σ2) folgt
E(Xn+1 − Xn+1) = 0
V ar(Xn+1 − Xn+1) = V ar(ϵn+1) = σ2
Falls man zusatzlich annimmmt, dass die ϵt normalver-
teilt sind, d.h. ϵt ∼ N(0, σ2) fur all t, so lassen sich Pro-
gnoseintervalle angegeben, die den wahren Werte Xn+1
mit vorgegebener Wahrscheinlichkeit enthalten. Ein 95%-
Prognoseintervall errechnet sich z.B. durch
[Xn+1 ± 1.96σ]
Der Fehler bei der Prognose von Xn+h durch Xn+h wachst
mit steigendem h ≥ 1. Fur h = 2 gilt
V ar(Xn+1 − Xn+1) = σ2(1 + ϕ21) = s22
und bei normalverteilten ϵt ist ein 95%-Prognoseintervall
durch [Xn+2 ± 1.96s2] gegeben. Entsprechend kann man
Varianzen s2h und Prognoseintervalle fur h > 2 bestimmen.
Zeitreihenanalyse@LS-Kneip 3–29
Beispiel: Sonnenflecken (Fortsetzung); n = 100 Beobach-
tungen; AR(2)-Modell mit Mittelwert 46.93:
X∗t ≈ 1.318X∗
t−1 − 0.634X∗t−2 + ϵt, X∗
t = Xt − 46.93
⇒ X∗n+1 = 1.318X∗
n − 0.634X∗n−1
⇒ Xn+1 = X∗n+1 + 46.93
Geschatzte Werte von Xn+1, Xn+2, . . . und 95% Progno-
seintervalle der Form [Xn+h ± 1.96sh]
101 102 103 104 105
0
40
80
120
Zeitreihenanalyse@LS-Kneip 3–30
Fur einen allgemeinen ARMA-Prozess lassen sich die be-
sten linearen Pradiktoren in einer Form umschreiben, die
der Struktur der Modelle angemessener ist. Fur alle t gilt
Xt − ϕ1Xt−1 − · · · − ϕpXt−p − θ1ϵt−1 − · · · − θqϵt−q = ϵt
Das praktische Probleme bei der Prognose solcher Prozesse
besteht in der Behandlung des MA-Teils, da die ϵt nicht
direkt beobachtbar sind. Der allgemeine Ansatz besteht in
einer rekursiven Schatzung der ϵt durch Xt − Xt.�
�
�
Prognose mit einem ARMA(p, q)-Prozess
Der beste lineare Pradiktor von Xn+1 (n > p) ist gegeben
durch
Xn+1 = ϕ1Xn+. . . ϕpXn+1−p+
q∑j=1
θn,j(Xn+1−j−Xn+1−j)
Hierbei sind Xn+1−j , j = 1, . . . , n jeweils die optimalen
Pradiktoren von Xn+1−j aus den vorangegangenen Werten
Xn−j , Xn−j−1, . . . , X1. Angefangen mit X1 = 0 lassen sich
diese Pradiktoren ebenso wie die Parameter θi,j rekursiv
mit dem sogenannten Innovations-Algorithmus berech-
nen.
Zeitreihenanalyse@LS-Kneip 3–31
�
�
�
�
Verallgemeinerung: h-Schritt Prognose
Xn+1 =ϕ1Xn + . . . ϕpXn+1−p
+
q∑j=h
θn+h−1,j(Xn+h−j − Xn+h−j)
wobei Xt = Xt, falls t ≤ n, und Xt = Xt, falls t > n.
• Man beachte, dass X1 = 0. Fur kleine Werte von t,
z.B. t = 1, 2, 3, ist daher Xt − Xt keine gute Ap-
proximation von ϵt. In dem Algorithmus wird dies
dadurch berucksichtigt, dass sie in die Berechnung der
Prognosewert nur mit”kleinen Gewichten“ θtj einge-
hen; fur kleine Werte von t gilt |θt,j | < |θj |.
• Man kann jedoch zeigen, dass fur großes t annaher-
end Xt − Xt ≈ ϵt und θt,j ≈ θj .
Zeitreihenanalyse@LS-Kneip 3–32
Wie bei AR(p)-Modellen lasst sich auch im allgemeinen
Fall die Verteilung des Prognosefehlers approximieren. Vor-
aussetzung ist wiederum, dass ϵt ∼ N(0, σ2). Fur hinrei-
chend großes n gilt dann approximativ
Xn+h − Xn+h ∼ N(0, σ2n(h))
Die Varianz σ2n(h) wachst mit h. Fur großes n lasst sie sich
durch die Formel
σ2n(h) = σ2(
h−1∑j=0
ψ2j )
berechnen, wobei ψj die jeweiligen Koeffizienten der MA-
Darstellung des zugrundeliegenden ARMA Prozesses be-
zeichnen.
Ein 95% Prognoseintervall ergibt sich sodann durch
[Xn+h ± 1.96σn(h)]
Zeitreihenanalyse@LS-Kneip 3–33