Der frequentistische Wahrscheinlichkeitsbegriffcattaneo.userweb.mwn.de/pgs-ws1011/materials/Vortrag...

Einleitung Anwendbarkeit und Gegenstandsbereich Modellbildung Schatzen und Testen Schluss

Der frequentistische Wahrscheinlichkeitsbegriff

Anton Freund

Seminarvortrag am Institut fur Statistik, LMU Munchen

17. Dezember 2010

Anton Freund Seminarvortrag am Institut fur Statistik, LMU Munchen



Zwei Feststellungen und drei Fragen

Grundlagen des frequentistischen Wahrscheinlichkeitsbegriffs:

Objektivistisches Wahrscheinlichkeitsverstandnis, ohne Bezugauf subjektive Einschatzungen

Grundlage sind relative Haufigkeiten

Wie wird auf dieser Grundlage Wahrscheinlichkeit verstanden?

Anwendbarkeit und Gegenstandsbereich der Statistik?

Modellbildung?

Konkrete statistische Verfahren?




Wissenschaftstheoretischer Hintergrund

Logischer Empirismus

Begriffsdefinitionen nur auf Grundlage direkt wahrnehmbarerNaturvorgange

Analysierbarkeit von Satzen auf dieser Basis

Falsifikation als Bedeutungserklarung

Ein Beispiel (Russell 1914):

Eine Gerade ist die Menge aller Perspektiven, von denen aus eingegebener Penny rund erscheint.

Drei Punkte liegen auf einer Geraden, wenn man einen Penny soplatzieren kann, dass er von allen dreien aus rund erscheint.




Wissenschaftstheoretischer Hintergrund

Motivation fur einen objektivistischen Wahrscheinlichkeitsbegriff:

Kriterium der Wissenschaftlichkeit verlangt Objektivitat

A priori-Informationen kaum in numerische Werte umsetzbar

Vertreter:Jerzey Neyman und E.S. Pearson entwickeln ab den spaten 20erJahren wichtige klassische Verfahren: Hypothesentests mitAblehnungsbereich und Power-Funktion.Dabei verfolgen sie einen frequentistischen Ansatz.




Eine straightforward-Definition


Voraussetzungen:

Relative Haufigkeiten stabilisieren sich bei hoher Versuchszahl.

”Wahrscheinlichkeitsverhalten“ eines Gegenstandes (einer

Situation) ist tatsachliche Eigenschaft dieses Gegenstandes.Kann uber relative Haufigkeiten

”gemessen“ werden.

Beispiel: Wahrscheinlichkeitsverhalten eines WurfelsBetrachte Menge B aller moglichen Wurfelwurfe. SeienB1 ⊂ B2 ⊂ . . . endliche Teilmengen von B und h1, h2, . . . dierelativen Haufigkeiten fur ein Ereignis A in diesen Mengen.Definiere dann

P(A) = limn→∞

hn.





Kritik:

Gibt es”mogliche Wurfelwurfe“? Was unterscheidet zwei

mogliche Wurfelwurfe, abgesehen von der gewurfelten Zahl?

Wahrscheinlichkeit nicht wohldefiniert: Fur andere AufteilungB ′

1 ⊂ B ′2 ⊂ . . . kann sich anderer Grenzwert ergeben.

Wahrscheinlichkeitsbegriff keine logische Konstruktion ausempirischen Daten, da aus endlich vielen Folgengliedern nieauf Grenzwert geschlossen werden kann.

Fur Wissenschaft unbrauchbar: Aus Grenzwert kann nie aufkonkreten Versuchsausgang geschlossen werden.




Axiomatisierung nach Kolmogorow


Problem der Definition eben war, dass mathematische Konzepte(Grenzwert von unendlicher Folge) und empirische Realitat (nurendlich viele Beobachtungen moglich) nicht grundlich getrenntwurden.

Dem schafft Axiomatisierung der WahrscheinlichkeitstheorieAbhilfe:

Bedeutung von”Wahrscheinlichkeit“ ist innerhalb der

mathematischen Theorie vollstandig durch Axiome festgelegt.

Anwendbarkeit auf die Realitat und Alltagsverstandnis von

”Wahrscheinlichkeit“ konnen unabhangig davon erklart

werden.





Warum ist Wahrscheinlichkeitstheorie auf Realitat anwendbar?

Grundsatzlich nicht problematischer als bei jedermathematischen Theorie: Raumliche Probleme werden mitHilfe der Geometrie gelost; genauso statistische mit Hilfe derWahrscheinlichkeitstheorie.

Beobachtet wird Stabilisierung von relativen Haufigkeiten.Wahrscheinlichkeitstheorie sagt diese richtig voraus (Gesetzder großen Zahlen).

Kritik:

Wiederholbarkeit unter fast gleichen Bedingungen wirdverlangt; dies kann nur subjektive Einschatzung sein.

Unabhangigkeit der einzelnen Versuche wird benotigt, aberkann empirisch nicht festgestellt werden.





Anwendbarkeit und Gegenstandsbereich

Wahrscheinlichkeitstheorie anwendbar, weil sie zutreffendeVorhersagen uber das Verhalten von relativen Haufigkeitenmacht.

Nur auf Phanomene anwendbar, die sich unter fast gleichenBedingungen beliebig wiederholen lassen.

Schließt also Anwendung von Statistik auf bestimmte Phanomeneaus.

Diese werden entweder als wissenschaftlich irrelevant gesehen.

Alternativ kann man sagen, dass der subjektivistische Ansatzbei diesen seine Berechtigung habe.




Deterministische und statistische Hypothesen


Modell: Mathematische Beschreibung der relevanten(Wahrscheinlichkeits-) Eigenschaften einer zu untersuchendenSituation.

Uberprufung statistischer Modelle prinzipiell wie Uberprufungjeder wissenschaftlichen Theorie: Ableitung von Folgerungenund Vergleich mit empirischen Daten.

Tatsachlich enthalten viele naturwissenschaftliche TheorienWahrscheinlichkeitsaussagen: Mendelsche Vererbungslehre;Quantenmechanik.





Genauer werden deterministische Hypothesen uber ihre logischenFolgerungen uberpruft:

1 Deterministische Hypothese: Alle Situationen, die A erfullen,erfullen auch B.

2 Beobachtung: Die vorliegende Situation erfullt A.

3 Logische Folge: Die vorliegende Situation erfullt B.

Ist nun (3) falsch, so wird Hypothese (1) zuruckgewiesen.

Besonderheit statistischer Hypothesen

Aus Wahrscheinlichkeitsaussagen lassen sich i.A. nurWahrscheinlichkeitsaussagen folgern.Statistische Hypothesen konnen daher nicht aufgrund ihrerlogischen Folgerungen (und stets nur mit gewisserWahrscheinlichkeit) falsifiziert werden.




Falsifikation als Bedeutungsklarung


Grundlage ist wissenschaftstheoretische Untersuchung vonRichard Braithwaite (1953)

Grundidee: Die Bedeutung eines Satzes wird dadurch erklart,dass man angibt, unter welchen Bedingungen der Satz wahrist. Im Falle wissenschaftlicher Hypothesen: Angabe vonFalsifikationsmethoden.

Problem: Da aus Wahrscheinlichkeitsaussagen immer nurWahrscheinlichkeitsaussagen folgen, wird das Verfahrenzirkular.





Konkret:

Es soll eine statistische Hypothese

H0 : P(A) = p

uberpruft werden. Wir verwenden einen Hypothesentest TestK zum Signifikanzniveau α und sehen H0 als widerlegt an,wenn H0 durch K abgelehnt wird.

Warum ist das ein sinnvolles Vorgehen? Begrundungsversuch:H0 wird, falls sie wahr ist, nur mit der Wahrscheinlichkeit αabgelehnt.

Aber: Dies ist selbst wieder Wahrscheinlichkeitsaussage. DieBegrundung ist zirkular, da wir ja gerade erst klaren wollten,was

”Wahrscheinlichkeit“ bedeutet.





Zur Losung fuhrt man das Konzept der vorlaufigen Zuruckweisungein:

Falsifikation statistischer Hypothesen

Eine Hypothese heißt vorlaufig zuruckgewiesen, wenn sie durcheinen Test abgelehnt und noch nicht durch einen starkeren Testrehabilitiert wurde.

Die Definition spiegelt unseren tatsachlichen Umgang mitWahrscheinlichkeitsaussagen wider: Wir weisen eineHypothese zuruck, wenn Beobachtungen gegen sie sprechen;wir uberdenken aber unsere Zuruckweisung, wenn andereBeobachtungen dies nahlegen.

Das Verfahren wird zudem dadurch gestutzt, dass es fur dieExtremfalle p = 0 und p = 1 die richtigen Ergebnisse liefert.




Konkrete Schatz- und Testprobleme

Ausgangssituation: Adaquates Modell ist gegeben. EinzelneParameter sind unspezifiziert; bezuglich dieser stellen sich Schatz-und Testprobleme.Das vorgehen ist philosophisch weitgehen unproblematisch:

Entwicklung statistischer Verfahren

Außermathematisch: Anwender muss Eigenschaften festlegen,die das Verfahren haben soll (Signifikanzniveau, etc.).

Aufgabe der Statistik: Finde ein Verfahren, das im zugrundeliegenden Modell (!) die gewunschten Eigenschaften hat.

Interpretation: Die Eigenschaften des Verfahrens sind durchrelative Haufigkeiten interpretierbar.




Hypothesentests nach Neyman und Pearson


Theorie der Hypothesentests mit Konzepten wieAblehnungsbereich, Alternativhypothesen, zwei Fehlerartenund Macht eines Tests von Neyman und Pearson ab denspaten 1920er Jahren entwickelt.

Von Pearson als naturliche Folge aus dem frequentistischenWahrscheinlichkeitsverstandnis beschrieben.

Beispiel: Tests zum Erwartungswert

Gegeben ist Zufallsvariable X , deren Verteilung wir”bis auf

Erwartungswert“ kennen. Wollen Testen:

H0 : E [X ] = µ.





Erste Idee: p-Wert bestimmen. Hierfur wederAblehnungsbereich noch Alternativhypothesen notig.

Neue Anforderung: Regel fur Ablehnung soll vor dem Testfestgelegt werden. Man erhalt Signifikanztest zu einemSignifikanzniveau α mit entsprechendem Ablehnungsbereich.Ergebnis ist also Testentscheidung, nicht posteriori-Verteilung.

Neue Anforderung: Vergleiche Tests zum selbenSignifikanzniveau. Dazu: Macht eines Tests. Notwendig,festzulegen, was

”H0 falsch“ bedeuten soll. Gebe dazu

Alternativhypothesen an.




Langzeitverhalten

Langzeitverhalten statistischer Verfahren

Frequentisten: Statistische Verfahren durchLangzeitverhalten der relativen Haufigkeiten interpretierbar.Ein Test zum Signifikanzniveau α ist so konstruiert, dass dierelative Haufigkeit eines Fehlers erster Art bei vielenWiederholungen etwa α betragen wird.

Einwand: Dies stimmt nur, wenn man die selbeNullhypothese genugend oft mit dem selben Test uberpruft.

Entgegnung: Der Einwand ist falsch. Man betrachte dieMenge aller Tests, die Menschen (in den verschiedenstenSituationen) machen. Die Signifikanzniveaus seien αi . Dannwird die relative Haufigkeit von Fehlern erster Art etwa αbetragen.




Langzeitverhalten

Genauer:

Seien H(i) Hypothesen, die durch unabhangige Tests jeweilszum Signifikanzniveau αi getestet werden.

Betrachte nur wahre Hypothesen H(i) und definiere zu diesenZufallsvariablen

Xi =

{1, falls H(i) abgelehnt wird0, sonst

.

Also Xi ∼ Ber(αi ).

Nach schwachem Gesetz der großen Zahlen (fur unabhangigeZufallsvariablen mit beschrankten Varianzen) gilt dann furbeliebiges ε > 0:

limn→∞

P(|Sn/n − α| > ε) = 0.




Theoretische Aussagen oder Handlungsregeln?


Was ist das Ziel statistischer Verfahren?

inductive reasoning

Ziel ist theoretische Einsicht/ Uberzeugt sein.Neyman uberspitzt: Ziel ist universelle Formel, die vorschreibt,welche Uberzeugung man aufgrund bestimmter Daten haben sollte.

inductive behavior

Ziel statistischer Verfahren ist es, zu einer Handlungsentscheidungzu fuhren.





Vorteile der inductive behavior-Sichtweise:

Spiegelt Funktionsweise der Forschung gut wider

Ist undogmatisch, also mit vielen Schatz- und Testverfahrenvereinbar (Beispiel: Minimax-Test).

Verbindung zum frequentistischen Wahrscheinlichkeitsbegriff:

Man kann Frequentist sein, und trotzdem dieHandlungsorientierung ablehnen.

Guter Grund fur Handlungsorientierung:

Testet man stets zum Signifikanzniveau 5% , wird man etwa5% der wahren Hypothesen ablehnen.Was hilft einem das? Wiegen 95 wahre Erkenntnisse 5 falscheauf?Durch Handlungsorientierung gut erklart: Wenn man in 95%der Falle richtig liegt, wird man wohl insgesamt zielfuhrendund effizient handeln.




Fazit

Fazit

Relative Haufigkeiten als empirisch beobachtbare Außerungder tatsachlichen Wahrscheinlichkeitseigenschaften.

Straightforward-Definition von Wahrscheinlichkeit schwierig.

Anwendbarkeit einer axiomatisiertenWahrscheinlichkeitstheorie durch Beobachtung relativerHaufigkeiten gut zu rechtfertigen.

Besonderheit statistischer Hypothesen: Im Allgemeinen nichtdefinitiv zuruckweisbar / bestatigbar.

Vorteil des frequentistischen Wahrscheinlichkeitsbegriffs isthohe Objektivitat.

Dafur muss man Beschrankung des Anwendungsbereichs inKauf nehmen.




Literatur

Literatur I

Neyman, Jerzy: The Problem of Inductive Inference. In:Communications on Pure and Applied Mathematics Vol. VIII(1955). S.13-46.

Neyman, Jerzy:”Inductive Behavior“ as a Basic Concept of

Philosophie of Science. In: Revue Inst. Int. de Stat. 25: 1/3(1957). S.7-22.

Neyman, Jerzy: Frequentist Probability and FrequentistStatistics. In: Synthese 36 (1977). S.97-131.

Pearson, E.S.: Statistical Concepts in their Relation toReality. In: Journal of the Royal Statistical Society. Series B(Methodological) Vol. 17, No. 2 (1955). S.204-207.




Literatur

Literatur II

Pearson, E.S.: Some Thoughts on Statistical Inference. In:Ann. Math. Statist. Vol. 33, No. 2 (1962). S.394-403.

Barnett, Vic: Comparative Statistical Inference. 2. Auflage.Wiley, Chichester, 1982.

Braithwaite, Richard: Scientific Explanation. A Study ofthe Function of Theory, Probability and Law in Science..Cambridge University Press, Cambridge, 1953.



Date post:	05-Feb-2018
Category:	Documents
Upload:	ngonguyet
View:	213 times
Download:	0 times

Der frequentistische Wahrscheinlichkeitsbegriffcattaneo.userweb.mwn.de/pgs-ws1011/materials/Vortrag...

Documents