Das BMBFDas BMBF--VorhabenVorhabenSkalenanalyse hydrologischer und Skalenanalyse hydrologischer und hydrometeorologischer Zeitreihenhydrometeorologischer Zeitreihen
Grundlagen der skalenbezogenen Analyse von Zeitreihen
Holger LangeSkogforsk, Ås, Norwegen
Bayerisches Landesamtfür Wasserwirtschaft
Norwegisches Waldforschungsinstitut
21. 10. 2004 München Grundlagen der Skalenanalyse...
Präludium:
Physiker und Zeitreihen (I)
Der Physiker– hat ein breites Methodenrepertoire aus
statistischer Physik und nichtlinearer Dynamik
– ist sehr an dynamischen Systemen interessiert
– betrachtet Zeitreihen als Realisationen eines dynamischen Prozesses
– kann etliche Theoreme für unendlich lange, stationäre, äquidistante, lückenlose, rauschfreie Zeitreihen beweisen
21. 10. 2004 München Grundlagen der Skalenanalyse...
Physiker und Zeitreihen (II)
(Hydrologische) Zeitreihen– Sind endlich lang (oder sehr kurz)– Sind nicht äquidistant, haben Lücken– Sind verrauscht, enthalten Mess- und
andere Fehler– Sind nur einmal vorhanden (keine
Wiederholung möglich)– Sind instationär– Die meisten Theoreme greifen nicht
21. 10. 2004 München Grundlagen der Skalenanalyse...
Das Skalenanalyse-Projekt:Physiker kollidieren mit der Realität
• Welche dynamischen Eigenschaften besitzen Abflüsse auf unterschiedlichen Zeitskalen?
• Wo greifen die neuen Methoden?• Werden konventionelle Methoden durch
Langzeitkorrelationen entwertet?• Wie interpretiert man mit den neuen
Methoden – Hochwasser und Niedrigwasser– Trends in Quantilen– Auswirkung von Klimaveränderungen– Verbindungen zu anderen Variablen
(meteorologische, klimatische, kosmische, …)?
21. 10. 2004 München Grundlagen der Skalenanalyse...
Merkmale hydrologischer Zeitreihen
(5 Gründe, Physiker damit zu beschäftigen)
• Die meisten Zeitreihen (besonders Abflüsse) sind langzeitkorreliert
• Trends werden durch Langzeitkorrelationen „maskiert“, einfache Trendanalyse liefert falsche Ergebnisse (oft falsch positiv)
• Auch Extremereignisse sind langzeitkorreliert, Wiederkehrintervalle sind neu zu interpretieren
• Instationarität ist die Regel, (deterministischer) Trend die Ausnahme
• Zeitreihen weisen synchrones Verhalten im Langzeitbereich auf
21. 10. 2004 München Grundlagen der Skalenanalyse...
Gliederung
Welche Eigenschaften von Zeitreihen sind für uns interessant?• Korrelationen auf verschiedenen Zeitskalen,
Skalierungsverhalten
• Stationarität / Instationarität, Trendverhalten
• Periodizitäten, synchrones Verhalten
• Extremwerte
21. 10. 2004 München Grundlagen der Skalenanalyse...
Grundlegende Definitionen
Eine Datenreihe Nitx i ,...,1),( = liegt vor.
• Mittelwert: ∑=
=N
iitx
N 1
)(1µ
• Varianz ( )( )∑=
−−
=N
iitx
N 1
22
11 µσ
• q-tes zentrales Moment: ( )( )∑=
−=N
i
qiq tx
NM
1
1 µ
21. 10. 2004 München Grundlagen der Skalenanalyse...
Die Autokorrelation• quantifiziert die Abhängigkeiten innerhalb einer Zeitreihe
( )( ) ( )( ) ( )( )∑∑=
−
=+ −−−=
N
ii
kN
ikii txtxtxkC
1
2
1/)( µµµ
Faustregeln: • Mindestens 30 Datenpunkte
• Nur Lags k < N/4 (Puristen) bzw. k < N/2 (Pragmatiker)vertrauen
• Daten müssen „im Prinzip“ äquidistant vorliegen;Lücken sind ein Problem!
• Zeitreihe muss ”im Prinzip” stationär sein
• Enger Zusammenhang mit der Spektraldichte ( )fPFouriertransformation
:
21. 10. 2004 München Grundlagen der Skalenanalyse...
5 Beispiele:
3. korreliert und instationär: der Random Walk
21. 10. 2004 München Grundlagen der Skalenanalyse...
5 Beispiele:
4. korreliert: ja sicher, stationär: nein? (Trend!)Wechselkurs Norwegische Kronen zu Euro
1.10.200 2 1.1.2003 1.4.2003 1.7.2003 1.10.2003 1.1.2004 1.4.2004 1.7.2004 1.10.20047,0
7,2
7,4
7,6
7,8
8,0
8,2
8,4
8,6
8,8
9,0N
OK/
Euro
NOK/Euro
21. 10. 2004 München Grundlagen der Skalenanalyse...
5 Beispiele:
5. korreliert: ja sicher, stationär: ??Donau-Abfluss bei Hofkirchen (2002-2003)
1.1.2002 1.4.2002 1.7.2002 1.10.2002 1.1.2003 1.4.2003 1.7.2003 1.10.2003 1.1.20040
200
400
600
800
1000
1200
1400
1600
1800
2000
2200
2400
2600
2800
3000
Abf
luss
Hof
kirc
hen
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel 4: AutokorrelationAutocorrelation NOK zu Euro (enttrendet, desaisonalisiert)
0 10 20 30 40 50 60 70 80 900,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
Aut
okor
rela
tion
(linear-linear)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel 5: AutokorrelationAutokorrelation Donau Hofkirchen (enttrendet, desaisonalisiert)
0 10 20 30 40 50 60 70 80 900,0
0,2
0,4
0,6
0,8
1,0
Aut
okor
rela
tion
(linear-linear)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel 4: AutokorrelationAutocorrelation NOK zu Euro (enttrendet, desaisonalisiert)
0 10 20 30 40 50 60 70 80 900,1
0,2
0,3
0,4
0,5
0,6
0,7
0,80,91,0
Auto
korre
latio
n
Autokorrelation Euro-NOK mit Exponentialfit
0 10 20 30 40 50 60 70 80 900,1
0,2
0,3
0,4
0,5
0,6
0,7
0,80,91,0
Hier linearerFit?
( )97.0
3.12
00447.0
=
= −
RekC k
(linear-logarithmisch)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel 4: Autokorrelation
(logarithmisch-logarithmisch)
Autokorrelation NOK zu Euro (enttrendet, desaisonalisiert)
0 1 2 4 6 9 13 19 27 38 53 730,1
0,2
0,3
0,4
0,5
0,6
0,7
0,80,91,0
Aut
okor
rela
tion
kein linearerFit!
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel 5: Autokorrelation
(linear-logarithmisch)
Autokorrelation Donau Hofkirchen (enttrendet, desaisonalisiert)
0 10 20 30 40 50 60 70 80 900,1
0,2
0,3
0,4
0,5
0,6
0,7
0,80,91,0
Aut
okor
rela
tion
kein linearerFit!
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel 5: AutokorrelationAutokorrelation Donau Hofkirchen (enttrendet, desaisonalisiert)
0 1 2 4 6 9 13 19 27 38 53 730,1
0,2
0,3
0,4
0,5
0,6
0,7
0,80,91,0
Aut
okor
rela
tion
(logarithmisch-logarithmisch)
Hier linearerFit?
Autokorrelation Donau Hofkirchen (enttrendet, desaisonalisiert) mit Potenzfit
1 2 3 4 6 8 11 14 18 230,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
( )95.0
19.12
44.0
=
= −
RkkC
21. 10. 2004 München Grundlagen der Skalenanalyse...
Lang- und Kurzzeitgedächtnis
Definition: Gedächtnis einer Zeitreihe
∑∞
=
=0
)(k
kCM
Eine Zeitreihe hat kurzes Gedächtnis
∞<⇔ M(anderenfalls ist sie langzeitkorreliert)Typi
sche P
hysike
rdefini
tion
21. 10. 2004 München Grundlagen der Skalenanalyse...
Was ist eine skalierende Größe?
Falls für eine Eigenschaft S gilt:heisst S skalierend (λ: Skala oder Skalenfaktor)
)()()( rSfrS λλ =
αcrrS =)(Spezialfall: Potenzgesetz
αλλ )()( rcrS =Potenzgesetze haben keine Skala:
wieder dasselbe Potenzgesetz! (Selbstähnlichkeit oder Skaleninvarianz)
( )( )αλλ =f
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel: Energieverbrauch von Warmblütern
4/3cMW =
Schroeder (1990)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Das Hurst-Phänomen
Beobachtung (Hurst 1951):
Der Wertebereich q oder die Höhe von Extremereignissen hängt vonder gewählten Zeitauflösung oder Aggregation kwie eine Potenzfunktion ab:
Hkq∝ H: Hurst-Koeffizient (-Exponent)
Theoretische Rechnung: Bei Random Walk(einfachstes autoregressives Modell) gilt 5.0=HBeobachtung an Nil-Hochwässern (2000 Jahre):
04.079.0 ±=H
D.h. die Extremereignisse wachsen sehr viel schneller an:Persistenz
Vorsicht: Trends können Persistenz vortäuschen!
21. 10. 2004 München Grundlagen der Skalenanalyse...
Hurst-Koeffizienten Nil (Hurst 1951)
0,6
0,65
0,7
0,75
0,8
0,85
0,9
641-740 741-840 841-940 941-1041 1042-1142 1143-1242 1243-1344 1345-1445 1446-1741 1741-1866 1867-1946
21. 10. 2004 München Grundlagen der Skalenanalyse...
Hurst-Exponenten Baden-Württemberg
0,6
0,65
0,7
0,75
0,8
0,85
Hammere
isenb
ach
Beuron
Hunde
rsing
en
Kirche
n-Hau
sen
Ebnet
Gutach
Pforzh
eimHop
fauUnte
rgries
heim
Schen
kenz
ellSch
waibac
h
Koche
rstett
enStei
nRieg
elRote
nfels
HorbPloc
hinge
nBerg
haus
enNeu
stadt
Schorn
dorf
Hinterl
ehen
geric
ht
Gerbert
shau
sSen
nfeld
Bad M
ergen
theim Zell
Oberla
uchri
ngen
Stationen
Hu
rst-
Expo
nen
ten Donau
Jagst
Kinzig
Kocher
Neckar Rems
21. 10. 2004 München Grundlagen der Skalenanalyse...
Autokorrelation und Potenzgesetze
Falls für die Autokorrelation bei großen Lags gilt
und , ist die Zeitreihe langzeitkorreliert.
heisst Korrelationsexponent.
( ) γ−= kckC 10 << γ
γ
Für stationäre trendfreie Zeitreihen gelten die Zusammenhänge
21 γ−=H ( ) 1−= γfcfP P (bei kleinen Frequenzen)und
21. 10. 2004 München Grundlagen der Skalenanalyse...
Eine Klasse von langreichweitigen Modellen: FARIMA(p,d,q) (Vortrag Rust)
”Fractional AutoRegressive Integrated Moving Average”
d heisst Persistenz-Parameter (d=0 keine, d=0.5 maximale Persistenz)
• Theoretischer Zusammenhang mit dem Hurstexponenten:d=H-0.5
• Verhalten der Autokorrelation für große ( ) d21kkC:k +−∝
21. 10. 2004 München Grundlagen der Skalenanalyse...
Stationarität
Def.: Eine Zeitreihe heisst stark stationär, wenn alle Momentenicht von der Zeit abhängen.
(Man bestimme Mittelwert, Varianz, Schiefe, Wölbung, 5. Moment usw. in Fenstern. Die Werte dürfen sich nicht signifikant unterscheiden.)
Beispiele:• weisses Rauschen• bestimmte ARMA-Modelle
Umweltzeitreihen sind nie stark stationär (= nicht langweilig).
Def.: Eine Zeitreihe heisst schwach stationär, wenn Mittelwert und Varianznicht von der Zeit abhängen.
→ Keine monotonen Trends→ keine Heteroskedastizität (wechselnde Varianz)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Stationaritätstests
Prinzip "Fenstertechnik":• Aufteilung des Datensatzes in gleichlange Stücke (Fenster)• Bestimmung statistischer Merkmale in jedem Fenster• Berechnung der Variabilität des Merkmals von Fenster zu Fenster• Ermittlung der Signifikanz
Typen von Stationaritätstests• auf der Werteverteilung basierend• auf der Fourierzerlegung basierend• direkte Trenderkennung
Man kann nur Instationarität nachweisen
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel für einen Stationaritätstest(Vortrag Kallache)
• Aufteilung der Zeitreihe in Fenster der gleichen Länge l
• Bestimmung der empirischen kumulativen Verteilungsfunktionen ( )xecdf
• Teststatistik für je 2 Fenster
( ) ( )xecdfxecdfKS 21max −= (Kolmogorow-Smirnow)
berücksichtigt die gesamte Verteilung
KS
Varianten: • integrierter KS-Test• KS-Test für normierte Daten(Instationarität von höheren Momenten?)
Problem: Signifikanzniveaus für korrelierte Daten
21. 10. 2004 München Grundlagen der Skalenanalyse...
TrendanalyseZugrundeliegendes Modell (additives Komponentenmodell):
)()()()())(),(()( ttTtTtStYtXftX SD η++++=
)(tY externe Faktoren
)(tS saisonale Komponente
)(tTDdeterministischer Trend
)(tTSstochastischer Trend
)(tη stationäres Rauschen
Globaler monotoner Trend: „im Mittel wächst X(t) an / fällt ab“
Fundamentalproblem: Langzeitkorrelationen können wie Trends aussehen
21. 10. 2004 München Grundlagen der Skalenanalyse...
Klassische Trendanalyse: Mann-Kendall Test
• Rangbasierter, parameterfreier Summentest• Erweiterung auf saisonalen Test usw. möglich• Signifikanzgrenzen setzen unkorrelierte Daten voraus• Reagiert empfindlich auf Korrelationen:Gefahr von falsch positiven Ergebnissen
21. 10. 2004 München Grundlagen der Skalenanalyse...
Alternative Trendanalyse: Skalenseparation(Vortrag Kallache)
• Annahme: Deterministische Trends wirken (vor allem)
auf langen Zeitskalen
• Zerlegung in kurze und lange Zeitskalen mit Wavelets• Wähle (einfaches) stochastisches Modell für kurze Zeitskalen
• Trendsignifikanz à la F-Test (Vergleich der Varianzen)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Alternative Trendanalyse: Skalenseparation- Beispiel: quadratischer Trend -
Craigmile et al. (2004)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Plötzliche (Trend-)änderungen:Bruchpunktanalyse(Vortrag Neumann)
• Bestimmung des Zeitpunkts, zu dem die Rangverteilungenvorher und nachher maximal unähnlich sind (U-Test)
• Signifikanzabschätzung nimmt unkorrelierte Daten an• sehr empfindlich auf Langzeitkorrelationen
Zusammenfassung: Trends und Langzeitkorrelationensind i.a. schwer zu trennen
21. 10. 2004 München Grundlagen der Skalenanalyse...
Wie trennt man Trend und Langzeitkorrelation?Trendbereinigte Fluktuationsanalyse (DFA)(Vortrag Rybski)
• Evtl. Vorbereitung der Daten (z.B. Desaisonalisierung)• Teilsummen ergeben das Profil der Zeitreihe:
∑=
=n
iin xz
1
• In Segmenten der Länge s wird das Profil an Polynomefester Ordnung n angepasst (DFA(n)) und über alle Segmentegemittelt:
( ) ( ) ( )[ ]∑=
+− −=s
ivis iyz
ssF
1
21
2 1, νν und ( ) ( )2/12
1
22 ,
21
⎥⎦
⎤⎢⎣
⎡= ∑
=
sN
s
sFN
sFν
ν
Langzeitkorrelation vorhanden ( ) HcssF =⇒ 2
21. 10. 2004 München Grundlagen der Skalenanalyse...
Beispiel zur DFA
Koscielny-Bunde et al. (2004) hier H=0.75
21. 10. 2004 München Grundlagen der Skalenanalyse...
Singuläre System Analyse (SSA)„Hauptkomponentenanalyse für
einen einzigen Datensatz“(Vortrag Thies)
• Effiziente Darstellung langer Zeitreihen durch wenige
Komponenten
• Exaktes Rekonstruktionsverfahren (nur Basiswechsel)
• Spektren der einzelnen Komponenten i.d.R. einfach
• Datenadaptives Verfahren
• Signal-/Rauschtrennung
21. 10. 2004 München Grundlagen der Skalenanalyse...
Singuläre System Analyse (SSA)Beispiel: Southern Oscillation Index
Die ersten 5 KomponentenZeitreihe
Ghil et al. (2002)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Ausflug in die Extremwertstatistik
• Welcher Verteilungsfunktion gehorchen Maxima einer Zeitreihe?
→ Fisher-Tippett-Theorem: nur drei Typen(Gumbel, Fréchet, Weibull)
• Welche Wiederkehrzeiten gibt es? (Vortrag Vogelbacher?)
• Was geschieht im Fall immer extremerer Ereignisse?→ AIM-Theorem: Gruppen von Extremereignissen werden voneinanderunabhängig für beliebig große Ereignisse und beliebigem Abstand
• Folgerung: Korrelationen in der Zeitreihe immeruninteressanter je extremer das Ereignis
…und wann sind Ereignisse extrem genug?
Nie in der hydrologischen Praxis! (Vortrag Eichner)
21. 10. 2004 München Grundlagen der Skalenanalyse...
Zusammenfassung:Analysen hydrologischer Zeitreihen
(5 Gründe, Physiker damit beschäftigt zu haben)
Die angewendeten Verfahren (und Physiker) sind in der Lage,
• mit Trends und Langzeitkorrelationen umzugehen• Langzeitkorrelationen zu quantifizieren• Verbesserungen für Standardverfahren zu liefern
(oder sie zu ersetzen)• Hinweise auf langfristige externe Einflüsse zu geben• Korrelierte Extreme zu behandeln