Cesaire J. Kueté F. - TU Dortmundduerre/Vortrag6.pdf · Cesaire J. Kueté F. (TU Dortmund)...

transcript

Hauptkomponentenanalyse für funktionale Daten

Cesaire J. Kueté F.

Hauptkomponentenanalyse(Wintersemester 2014/2015)

24. November 2014

Cesaire J. Kueté F. (TU Dortmund) Hauptkomponentenanalyse 24. November 2014 1 / 32

Inhaltsverzeichnis

1 Einleitung

2 Klassische HauptkomponentenanalyseDe�nitionDie Hauptkomponenten

3 Funktionale HauptkomponentenanalyseDe�nitionEigenwerte und EigenfunktionenMultiple funktionale HauptkomponentenanalyseAnwendung und Interpretation der Hauptkomponenten

4 Schluss

5 Aufgabe

Einleitung

Hauptkomponentenanalyse: Finden eines minimalen Unterraums zurleichten Interpretation der Beobachtungen mit minimalemInformationsverlust.

1 Klassische Hauptkomponentenanalyse

Suchen nach U ⊆ RK , so dass die Projektion der

Originalbeobachtungen die beste ist.

2 Funktionale Hauptkomponentenanalyse

Suchen nach H ⊆ L2K , so dass die beobachteten Funktionen

möglichst gut approximiert werden.

Einleitung

Funktionale Hauptkomponentenanalyse

Betrachtet werde eine funktionale Zufallsvariable xi (t) nach (Ramsay undSilverman, 1997), dann ist die klassische Hauptkomponentenanalyse nichtmehr anwendbar.

Einige Anwendungen: Dynamik von Übertragung der Stimmübertragung,

Longitudinalstudie, Variation der Temperatur ...

Funktionale Hauptkomponentenanalyse: Motivation

Abbildung: Wetterstation Beispiel

0 100 200 300

Originalfunktionen

BeobachtungMittelfkt

HauptkomponentenanalyseWie geht man damit um?

Klassische Hauptkomponentenanalyse

De�nition:

Betrachte y = (y1, y2, ..., yn)T ∈ Rn und x = (x1, x2, ..., xn)T ∈Rn .

1 < x , y >=n∑

i=1yixi ist das Skalarprodukt zwischen y und x .

x1,1 x1,2 · · · x1,kx2,1 x2,2 · · · x2,k...

.... . .

...xn,1 xn,2 · · · xn,k

∈ Rn×k

ist die Matrix der zentrierten Beobachtungen.

Die Matrix SX := 1n−1X

′X ist die empirische Kovarianzmatrix.

x̃1, x̃2, ..., x̃n ∈ U ist die beste l-dimensionale Approximation von x1, x2, ...,

xn genau dann, wenn

1 SSE =n∑

i=1‖xi − x̃i‖2,minimal ist.

d.h.n∑

i=1‖xi − x̃i‖2 = min{

n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x

∗2 , ..., x

∗n ]) ≤ l}

2 rg([x̃1, x̃2, ..., x̃n])≤ l

Problemstellung: Suche die beste l-dimensionale lineare Approximation

von x1, x2, ..., xn ∈ Rk .

xn genau dann, wenn

1 SSE =n∑

d.h.n∑

i=1‖xi − x̃i‖2 = min{

n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x

∗2 , ..., x

∗n ]) ≤ l}

2 rg([x̃1, x̃2, ..., x̃n])≤ l

von x1, x2, ..., xn ∈ Rk .

xn genau dann, wenn

1 SSE =n∑

d.h.n∑

i=1‖xi − x̃i‖2 = min{

n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x

∗2 , ..., x

∗n ]) ≤ l}

2 rg([x̃1, x̃2, ..., x̃n])≤ l

von x1, x2, ..., xn ∈ Rk .

xn genau dann, wenn

1 SSE =n∑

d.h.n∑

i=1‖xi − x̃i‖2 = min{

n∑i=1‖xi − x∗i ‖2, rg([x∗1 , x

∗2 , ..., x

∗n ]) ≤ l}

2 rg([x̃1, x̃2, ..., x̃n])≤ l

von x1, x2, ..., xn ∈ Rk .

Sei B = {u1, ..., uk} ⊆ U. Voraussetzungen für die l-dimensionale bestelineare Approximation:

1 uh =k∑

i=1αiXi , ∀h ∈ {1, ..., k}.

2 Orthogonalität < ug , uh >= 0, ∀h 6= g

3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.

4 Minimierung der Fehler:

uh = arg maxuh !S2X̃h

= uhX′Xuh = u′hSXuh.

Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.

1 uh =k∑

i=1αiXi , ∀h ∈ {1, ..., k}.

3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.

Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.

1 uh =k∑

i=1αiXi , ∀h ∈ {1, ..., k}.

3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.

Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.

1 uh =k∑

i=1αiXi , ∀h ∈ {1, ..., k}.

3 Normalität: ∀h ∈ {1, ..., k} ‖uh‖ = 1.

Unter u′gSXuh = 0 ∀g ∈ {1, ..., h − 1}.

Eigenproblem: Finden einer Lösung der Eigengleichung

(X̃ )uh = Xuh =√λhuh

Der erste Eigenvektor entspricht dem erstgröÿten Eigenwert und trägt die

erste Hauptkomponente.

Der zweite Eigenvektor entspricht dem zweitgröÿten Eigenwert und trägt

die zweite Hauptkomponente.

usw...

Sie erklären den gröÿten bzw. zweit-, drittgröÿten, ... Teil der durch U

erklärten Variabilität.

Es gibt maximal r = min{n, k} <∞ Eigenwerte bzw. Eigenvektoren.

usw...

Betrachte eine Funktion xi (t), mit t stetig.Gegeben sei H ⊆ L2 ein funktionaler Unterraum.

De�nition

Gegeben sei h ∈ H

1 Die Projektion von xi entlang h ∈ H ist

< h, xi > (t) =∫xi (t)h(t)dt und < •, • > ist das Skalarprodukt.

< h, xi >2 die durch h erklärte Variabilität und

N∑i=0

< h, xi >2 gemeinsame erklärte Variabilität.

2 kov(s,t) = 1N

N∑i=0

xi (t)xi (s) empirische Kovarianz zwischen s und t.

Hauptkomponentenanalyse

Die folgenden Voraussetzungen müssen von H erfüllt werden.

(i) Sei hi ∈ H, dann gilt hi (t) =N∑i=0

αix(t)dt.

(ii) ∀hi , hj mit i 6= j < hi , hj >=∫hi (t)hj(t)dt = 0.

(iii) ∀h ∈ H∫h2(t)dt = 1.

(iv) Die h ∈ H erfüllen die Eigengleichung∫kov(s, t)h(t)dt = ρh(s) ...

Eigenwerte und Eigenfunktionen

Der so genannte Kovarianzsoperator V entlang h wird so de�niert, dass

Vh =∫kov(•, t)h(t)dt und die Eigengleichung (E) lässt sich als Vh = ρh

umschreiben.

Es gilt∫h(s)ρh(s) =

∫∫h(s)kov(s, t)h(t)dtds = ρ. ρ bezieht sich auf

einen Eigenwert, während h sich auf eine Eigenfunktion bezieht.

Frage: Wie löst man die Eigengleichung (E)?

Eigenwerte und Eigenfunktionen

Der so genannte Kovarianzsoperator V entlang h wird so de�niert, dass

Vh =∫kov(•, t)h(t)dt und die Eigengleichung (E) lässt sich als Vh = ρh

umschreiben.

Es gilt∫h(s)ρh(s) =

∫∫h(s)kov(s, t)h(t)dtds = ρ. ρ bezieht sich auf

einen Eigenwert, während h sich auf eine Eigenfunktion bezieht.

Frage: Wie löst man die Eigengleichung (E)?

Berechnung von Eigenwerten und Eigenfunktionen: zwei Grundideen

Lösung der Eigengleichung

1 Diskretisieren der Integrale

Im Fall der äquidistanten Zeitpunkte lautet die Eigengleichung:

V h̃ = λh̃, wobei V und h̃ sich auf das Diskretisieren von V bzw. h

beziehen. λ ist ein Eigenwert von V , d.h. λ2 ist ein Eigenwert von

V TV .

2 Ausdruck der beobachteten Funktionen in Bezug auf eine

Funktionalbasis

Lösung der Eigengleichung: 2. Idee Fortsetzung

Gegeben sei eine bel. Funktionalbasis Φ, mit dim(Φ) = K ≤ Nt

Sei xi (t) =K∑j=1

αijΦj(t), die Gewichtsmatrix

α1,1 α1,2 · · · α1,K

α2,1 α2,2 · · · α2,K...

.... . .

...αN,1 αn,2 · · · αN,K

∈ RN×K und Φ1, · · · ,ΦK die Funktionen

der Basis Φ.

Dann lautet die Eigengleichung (E):1N S

12A′AS

12µ = ρµ, wobei

µ = S12 h̃

S =< Φ̃, Φ̃ >

Φ̃ ∈ L2K und h̃ ∈ RK , sodass h = h̃′Φ

Bemerkung:

-∫h̃′Φ̃′Φ̃h̃ = 1⇒ ‖h‖ = 1.

- Falls Φ Orthonormalbasis, wird nur 1NA′A der Eigengleichung

betrachtet.

- Für N klein, werden die beobachteten Funktionen als die Funktionen

der Basis Φ betrachtet und es folgt A′A = IN .

Funktionale Hauptkomponentenanalyse: Verallgemeinerung

Multiple funktionale Hauptkomponentenanalyse

Gegeben sei F = (f1, · · · , fK )′ ∈ L2K .

- < Fi ,Fj >=K∑

∫fgi fgj ist das Skalarprodukt zwischen Fi und Fj .

- ‖F‖ = 1⇔K∑i=1

∫f 2i = 1, F ist ein normierter Vektor

- K (s, t) =

kov11(s, t) · · · kov1K (s, t)...

. . ....

kovK1(s, t) · · · kovKK (s, t)

ist die empirische Kovarianzmatrix zwischen zwei beliebigen stetigenVariablen s und t.

Multiple funktionale Hauptkomponentenanalyse - Fortsetzung.

Die Komponenten von K (s, t) werden so gebildet:

kovii (s, t) =1N

N∑i=1

fi (s)fi (t)

kovij(s, t) =1N

N∑i=1

fi (s)fj(t),

kovij(s, t) = kovji (t, s)

Multiple funktionale Hauptkomponentenanalyse - Fortsetzung.

Die Komponenten von K (s, t) werden so gebildet: Es folgt dann die

Eigengleichung∫K (s, t)h = ρh, wobei h = (h1, · · · , hK )′ und

∫kov11(s, t)h1 + · · ·+ kov1Khk = ρh1

......∫

kovK1(s, t)h1 + · · ·+ kovKKhk = ρhK

ist das Eigengleichungssystem.

Es ist genauso wie die Gleichung der univariaten funktionalen

Hauptkomponentenanalyse lösbar.

Anwendung und Interpretation: Wetterstationen-Beispiel

Tabelle: Namen der kanadischen Wetterstationen

Arvida, Que. Kapuskasing, Ont. St. John's, n�dBeaverlodge, B.C. London, Ont. Sydney, N.S.Calgary, Alta. Montreal, Que. The Pas, Man.Charlottetown, P.E.I Ottawa, Ont. Thunder Bay, Ont.Churchill, Man Prince Albert, Sask. Toronto, Ont.Dawson, Yukon Prince George, B.C. Vancouver, B.CEdmonton, Alta Prince Rupert, B.C. Victoria, B.CFredericton, N.B. Quebec City, Que. Whitehorse, YukonHalifax, N.S. Regina, Sask. Winnipeg, Man.Inuvik, N.W.T. Resulte, N.W.T. Yarmouth, N.S.Iqualuit,N.W.T. Sche�erville, Que. YellowKnife, N.W.T.Kamloops, B.C. Sherbrooke, Que.

Funktionale Hauptkomponentenanalyse: Interpretation

Abbildung: Darstellung der Originalen Daten

0 100 200 300

Originalfunktionen

BeobachtungMittelfkt

Funktionale Hauptkomponentenanalyse: Interpretation Forts.

Abbildung: Die vier ersten Hautkomponenten

0 50 150 250 350−0

HK1HK2HK3HK4

Funktionale Hauptkomponentenanalyse: Interpretation Forts.

Funktionale Hauptkomponentenanalyse: Interpretation Fortz.

Abbildung: Biplot im Raum der zwei ersten Hauptkomponenten

−300 −100 100

St. Johns

Halifax

Sydney Yarmouth

Charlottvl

Fredericton

Scheffervll

Arvida BagottvilleQuebec Sherbrooke

Montreal Ottawa

Toronto London Thunderbay

Winnipeg The Pas

Churchill

Regina Pr. Albert Uranium Cty

Edmonton

Calgary

Kamloops

VancouvVictoria

Pr. George

Pr. Rupert

Whitehorse

Dawson

Yellowknife

Iqaluit

Inuvik

Resolute

Projektion der Stationen

Tabelle: Vergleich

klassische Analyse funktionale Analyse

X1, · · · , XK ∈ RN , wobei f1(x), · · · , fK (x) ∈ L2Variablen Xi = (x1i , · · · , xNi )

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

Daten Elemente aus RK

Kurven ∈ L2K ([t1, tK ])

Kovarianzmatrix X ′X = [kov(Xi , Xj )]1≤i,j≤K K(s, t) = [kovij (s, t)]1≤i,j≤K ,

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

Eigengleichung Xh =√λh

∫K(•, t)h = ρh

Eigenwerte {λi}1≤i≤min{N,K} {ρi}i∈min{N,K}K = dim(B)

Eigenvektoren-Funktionen {ui}1≤i≤min{N,K} ∈ RK {hi}i∈{1,2,··· } ∈ L2

K ([t1, tK ])

Hauptkomponenten von Richtungsvektoren ∈ RK von Richtungsfunktionen

getragen ∈ L2K ([t1, tK ]) getragen

N = Stichprobenumfang und K = Anzahl der beobachteten Variablen ( für die klassische

Analyse) bzw. = Dimension der betrachteten Basis (für die funktionale Analyse)

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Tabelle: Vergleich

′ ∈ RN , x ∈ [t1, tK ]i ∈ 1, · · · ,K

wobei X = [X1, · · · , XK ] s, t ∈ [t1, tK ]

∫K(•, t)h = ρh

K ([t1, tK ])

Aufgabe

Teil I Betrachten wir wieder die Eigengleichung (E):∫kov(s, t)h(t)dt = ρh(s).

Diskretisieren der Integrale (Folie 16): Zeigen Sie das Resultat.

Aufgabe

Teil II Betrachten wir wieder das Beispiel der Wetterstationen1 Laden Sie die Pakete "fda".2 Schauen Sie sich das Objekt "dailyän.

3 Erstellen Sie mit folgenden Parametervektoren (0, 2π365)′

2und range

(0, 365)′ einen Di�. Operator.4 Erstellen Sie weiter ein funktionales Operator-Objekt mit dem Befehl

fdPar.5 Führen Sie dann die Glättung über den Zeitraum 1 bis 365 durch.6 Führen Sie mit Hilfe von pca.fd eine funktionale

Hauptkomponentenanalyse durch. Berücksichtigen Sie dafür nur dievier ersten Hauptkomponenten.Hinweis: Stellen Sie zunächst die Hauptkomponenten in einer Gra�k

dar und plotten Sie wie in Folie 26 die Hauptkomponenten ± die

mittlere Funktion. Ein Biplot wäre auch für die Interpretation Hilfreich.

Ramsay, J. und Silverman, B. W. (1997).Functional Data Analysis.Springer, New York.

Cesaire J. Kueté F. - TU Dortmundduerre/Vortrag6.pdf · Cesaire J. Kueté F. (TU Dortmund)...

Documents