BAYESianische Statistik für EinsteigerMCMC
Verteilungen a priori Dr. rer. pol. R. VONTHEIN, Dipl. Statistiker (Univ.)
Institut für Medizinische Biometrie und Statistik,Universitätsklinikum Schleswig-Holstein, Campus Lübeck,
Universität zu Lübeck
Dr. sc. hum. J. KÖNIG, Dipl. Mathematiker
Inst. für Med. Biometrie, Epidemiologie und Informatik,Universitätsmedizin Mainz
154. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Inhalt
MCMC
1. GIBBS Sampler und METROPOLIS-HASTINGS-Schritte
2. Reparametrisierung und „Blockbildung“
3. Konvergenzdiagnose
Verteilungen a priori
1. Konjugierte Verteilungen
2. Uneigentliche Verteilungen
3. Elizitieren
2
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
54. GMDS, Essen 09.09.2009
MCMC
Idee: Aus Vorschlagsverteilungen werden
Werte für die Parameter generiert („Monte-Carlo-Methode“).
Die Vorschlagsverteilungen werden aufdatiert, so dass
die Parameterwerte eine azyklische MARKOV-Kette bilden
und die Verteilung der generierten Werte gegen
die Verteilung a posteriori konvergiert.
Die Startverteilung ist die a-priori-Verteilung.
1. GIBBS Sampler und METROPOLIS-HASTINGS-Schritte
2. Reparametrisierung und „Blockbildung“
3. Konvergenzdiagnose
354. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
GIBBS Sampler
Algorithmus
1. Vollständig bedingte Verteilungen für die ParameterQ(j x,1, .. ,j1, j+1, .. ,J)
2. Iterieren bis zur Konvergenz
1. generiere einen m-ten Wert j(m) aus
Q(j(m)
x,1(m), .. ,j1
(m), j+1(m1), .. ,J
(m1))
2. datiere die nächste vollständig bedingte Verteilung auf
3. Simulieren aus der Verteilung a posteriori
4. Parameter schätzen aus der generierten Stichprobe
454. GMDS, Essen 09.09.2009
Geman S, Geman, D. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. IEEE-PARMI 1984;6:721-741 Gelfand AE, Smith, AFN. Sampling-based approaches to calculating marginal densities. JASA 1990;85:398-409
xLdxf
xfxXq ;
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
METROPOLIS-HASTINGS-Schritte
1. generiere Wert j(m) aus einfacher Vorschlagsdichte g,
welche aber auch aufdatiert wird
2. akzeptiere mit Wahrscheinlichkeit 3. sonst bleibe bei j
(m)j(m1)
4. hängt davon ab, ob die vollständig bedingte Dichte ansteigt
554. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Metropolis N, Rosenbluth A, Rosenbluth M, Teller A, Teller E. Equation of state calculation by fast computing machines. J Chem Physics 1953;21:1087-92Hastings WK. Monte Carlo sampling methods using Markov chains and their applications. Biometrika 1970;57:97-109
)1()()1(
)()1()(
||
||,1min
mmm
mmm
gx
gx
Reparametrisierung
Korrelierte Parameter führen zu
Autokorrelation der Iterationen, langsamer Konvergenz,
geringem effektivem Stichprobenumfang
654. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
„Blockbildung“
und werden aus einer gemeinsamen multivariaten
Verteilung gleichzeitig generiert
754. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Konvergenzdiagnose
Autokorrelationsfunktion fällt exponentiell
Korrelation zwischen Parametern ist gering
rapid mixing der MARKOV-Ketten im Graph, per ANOVA
Einschwingen (burn in) des Polygonzugs ist beendet
854. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Verteilungen a priori
Idee: Vorinformation formulieren
1. Konjugierte Verteilungen(s. Einleitung)
2. Uneigentliche Verteilungen als nicht-informative Verteilungen
3. Elizitieren Quantile, Momente, mit Elicitor
954. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Konjugierte Verteilungen
1. Konjugierte Verteilungen (s. Einleitung)
2. z.B. Exponentialfamilien; s. neuesten TAS
3. Information in Anzahl Beobachtungen messbar, z.B. im Beta-Binomial-Modell die Summe der Parameter der Beta-Verteilung
4. Sichern Existenz der Parameter der a-posteriori-Verteilung
1054. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Uneigentliche Verteilungen
als nicht-informative Verteilungen:
minimiere FISHER-Information (maximiere Varianz),
SHANNON-Information (maximiere Entropie)
a popsteriori
Konstante Dichte bedeutet Unfug: f(0) = f(10100)
Translations- und Skalen-Invarianz für verschiedene Parameter
erfordern verschiedene a-priori-Verteilungen
uneigentliche a-posteriori-Verteilung leichter möglich
1154. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Elizitieren
„Herauslocken“ und formulieren der Vorinformation
Lange Diskussion der Literatur!
Diskontiere historische Kontrollen!
Wahl der Verteilung nach Träger und Konjugiertheit
Hyperparameter bestimmen
über Quantile („unwahrscheinlich“, „gleichwahrscheinlich“)
über Momente (Erwartung, Median)
mit Programm Elicitor (WinBUGS für logistische Regression)
1254. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Beispiel: historische Kontrolle
1354. GMDS, Essen 09.09.2009
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –
Fauchére J-C, Dame C, Vonthein R, Koller B, Arri S, Wolf M, Bucher HU. An approach to using recombinant erythropoietin for neuroprotection in very preterm infants. Pediatrics 2008:122:375-82
Beispiel: historische Kontrolle
1454. GMDS, Essen 09.09.2009
…
– – MCMC 1 – 2 – 3 Prior 1 2 3 – –