Bernoulli-Verteilung

Zufallsvariablen mit einer Bernoulli-Verteilung (auch als Bernoullische Verteilung^[1], Null-Eins-Verteilung^[1], Alternativ-Verteilung^[2] oder Boole-Verteilung^[3] bezeichnet) benutzt man zur Beschreibung von Zufallsexperimenten mit genau zwei möglichen Ausgängen. Einer der Versuchsausgänge wird meistens mit Erfolg bezeichnet und der komplementäre Versuchsausgang mit Misserfolg. Die zugehörige Wahrscheinlichkeit $p$ für einen Erfolg nennt man Erfolgswahrscheinlichkeit und $q = 1 - p$ die Wahrscheinlichkeit eines Misserfolgs. Beispiele:

Werfen einer Münze: Kopf (Erfolg), $p = 1 / 2$ , und Zahl (Misserfolg), $q = 1 / 2$ .
Werfen eines Würfels, wobei nur eine „6“ als Erfolg gewertet wird: $p = 1 / 6$ , $q = 5 / 6$ .
Betrachte sehr kleines Raum/Zeit-Intervall: Ereignis tritt ein $(p ⪆ 0)$ , tritt nicht ein $(q ⪅ 1)$ .

Die Bezeichnung Bernoulli-Versuch (Bernoullian trials nach Jakob I Bernoulli) wurde erstmals 1937 in dem Buch Introduction to Mathematical Probability von James Victor Uspensky verwendet.^[4]

Definition

Eine diskrete Zufallsgröße $X$ mit Werten in der Menge ${0, 1}$ unterliegt der Bernoulli-Verteilung oder Null-Eins-Verteilung mit dem Parameter $p \in (0, 1)$ , wenn sie der folgenden Wahrscheinlichkeitsfunktion folgt

f (x) = P (X = x) = {\begin{matrix} 1 - p & falls x = 0, \\ p & falls x = 1, \\ 0 & sonst. \end{matrix}

Die Verteilungsfunktion ist dann

F (x) = P (X \leq x) = {\begin{matrix} 0 & falls x < 0 \\ 1 - p & falls 0 \leq x < 1 \\ 1 & falls x \geq 1 \end{matrix}

.

Man schreibt dann $X \sim ℬ (p)$ , $X \sim B e r (p)$ oder $X \sim B e r_{p}$ . Der Parameter $p$ heißt in diesem Zusammenhang auch Bernoulli-Parameter.

Eine Zufallsvariable, deren Verteilung eine Bernoulli-Verteilung ist, heißt Bernoulli-verteilt. Eine Bernoulli-verteilte Zufallsvariable wird auch als Bernoulli-Variable bezeichnet.

Ein Zufallsexperiment, dessen Ausgang durch eine Bernoulli-Variable beschrieben ist, heißt Bernoulli-Experiment oder Bernoulli-Versuch. Eine Folge von Bernoulli-Versuchen, deren Zufallsvariablen stochastisch unabhängig und identisch – d. h. mit demselben Bernoulli-Parameter – verteilt sind, heißt Bernoulli-Prozess oder bernoullisches Versuchsschema.

Für bestimmte statistische Anwendungen ist es sinnvoll, den erweiterten Parameterraum $[0, 1]$ ergänzt durch die beiden Grenzfälle $p = 0$ und $p = 1$ zugrunde zu legen, bei denen die Bernoulli-Verteilung zu einer Einpunktverteilung auf 0 oder 1 degeneriert. In diesen Fällen gilt $P (X = 0) = 1$ bzw. $P (X = 1) = 1$ .

Eigenschaften

Im Folgenden ist $X \sim B e r (p)$ mit $0 < p < 1$ vorausgesetzt.

Erwartungswert

Die Bernoulli-Verteilung mit Parameter $p$ hat den Erwartungswert:

E (X) = p

Dies hat den Grund, dass für eine Bernoulli-verteilte Zufallsvariable $X$ mit $P (X = 1) = p$ und $P (X = 0) = q$ gilt:

E (X) = P (X = 1) \cdot 1 + P (X = 0) \cdot 0 = p \cdot 1 + q \cdot 0 = p

Varianz und weitere Streumaße

Die Bernoulli-Verteilung besitzt die Varianz

Var (X) = p \cdot (1 - p) = p q

denn es ist $E (X^{2}) = p \cdot 1^{2} + q \cdot 0^{2} = p$ und damit

E (X^{2}) - E (X)^{2} = p - p^{2} = p \cdot (1 - p) = p q

.

Damit ist die Standardabweichung

σ_{X} = \sqrt{p q}

und der Variationskoeffizient

VarK (X) = \sqrt{\frac{q}{p}}

.

Symmetrie

Für den Parameter $p = \frac{1}{2}$ ist die Bernoulli-Verteilung symmetrisch um den Punkt $a = \frac{1}{2}$ .

Schiefe

Die Schiefe der Bernoulli-Verteilung ist

v (X) = \frac{1 - 2 p}{\sqrt{p q}}

.

Dies kann folgendermaßen gezeigt werden. Eine standardisierte Zufallsvariable $\frac{X - E (X)}{\sqrt{Var (X)}}$ mit $X$ Bernoulli-verteilt nimmt den Wert $\frac{q}{\sqrt{p q}}$ mit Wahrscheinlichkeit $p$ an und den Wert $- \frac{p}{\sqrt{p q}}$ mit Wahrscheinlichkeit $q$ . Damit erhalten wir für die Schiefe

\begin{matrix} v (X) & = E [{(\frac{X - E (X)}{\sqrt{Var (X)}})}^{3}] \\ = p \cdot {(\frac{q}{\sqrt{p q}})}^{3} + q \cdot {(- \frac{p}{\sqrt{p q}})}^{3} \\ = \frac{1}{{\sqrt{p q}}^{3}} (p q^{3} - q p^{3}) \\ = \frac{p q}{{\sqrt{p q}}^{3}} (q - p) \\ = \frac{q - p}{\sqrt{p q}} \end{matrix}

Wölbung und Exzess

Der Exzess der Bernoulli-Verteilung ist

γ (X) = \frac{1 - 6 p q}{p q}

und damit ist die Wölbung

β_{2} (X) = \frac{1 - 3 p q}{p q}

.

Momente

Alle k-ten Momente $m_{k}$ sind gleich und es gilt

m_{k} = p

.

Es ist nämlich

m_{k} = E (X^{k}) = p \cdot 1^{k} + q \cdot 0^{k} = p

.

Entropie

Die Entropie der Bernoulli-Verteilung ist

H = - q \log_{2} (q) - p \log_{2} (p)

gemessen in Bit.

Modus

Der Modus der Bernoulli-Verteilung ist

x_{D} = {\begin{matrix} 0 & falls q > p \\ 0; 1 & falls q = p \\ 1 & falls q < p \end{matrix}

.

Median

Der Median der Bernoulli-Verteilung ist

{\tilde{m}}_{X} = {\begin{matrix} 0 & falls q > p, \\ 1 & falls q < p, \end{matrix}

falls $p = q$ gilt, ist jedes ${\tilde{m}}_{X} \in [0, 1]$ ein Median.

Kumulanten

Die kumulantenerzeugende Funktion ist

g_{X} (t) = \ln (p e^{t} + q)

.

Damit sind die ersten Kumulanten $κ_{1} = p, κ_{2} = p q$ und es gilt die Rekursionsgleichung

κ_{n + 1} = p (1 - p) \frac{d κ_{n}}{d p} .

Wahrscheinlichkeitserzeugende Funktion

Die wahrscheinlichkeitserzeugende Funktion ist

m_{X} (t) = 1 - p + p t

.

Charakteristische Funktion

Die charakteristische Funktion ist

φ_{X} (t) = 1 - p + p e^{i t}

.

Momenterzeugende Funktion

Die momenterzeugende Funktion ist

M_{X} (t) = 1 - p + p e^{t}

.

Beziehung zu anderen Verteilungen

Beziehung zur Binomialverteilung

Die Bernoulli-Verteilung ist ein Spezialfall der Binomialverteilung für $n = 1$ . Mit anderen Worten, die Summe von unabhängigen Bernoulli-verteilten Zufallsgrößen mit identischem Parameter $p$ genügt der Binomialverteilung, demnach ist die Bernoulli-Verteilung nicht reproduktiv. Die Binomialverteilung ist die $n$ -fache Faltung der Bernoulli-Verteilung bei gleichem Parameter $p$ bzw. mit gleicher Wahrscheinlichkeit $p$ .

Beziehung zur verallgemeinerten Binomialverteilung

Die Summe von $n$ voneinander unabhängigen Bernoulli-verteilten Zufallsvariablen, die alle einen unterschiedlichen Parameter $p_{i}$ besitzen, ist verallgemeinert binomialverteilt.

Beziehung zur Poisson-Verteilung

Die Summe von Bernoulli-verteilten Zufallsgrößen genügt für $n \to \infty$ , $p_{n} \to 0$ und $lim_{n \to \infty} n p_{n} = λ > 0$ einer Poisson-Verteilung mit dem Parameter $λ$ . Dies folgt direkt daraus, dass die Summe binomialverteilt ist und für die Binomialverteilung die Poisson-Approximation gilt.

Beziehung zur Zweipunktverteilung

Die Bernoulli-Verteilung ist ein Spezialfall der Zweipunktverteilung mit $a = 0, b = 1$ . Umgekehrt ist die Zweipunktverteilung eine Verallgemeinerung der Bernoulli-Verteilung auf beliebige zweielementige Punktmengen.

Beziehung zur Rademacher-Verteilung

Sowohl die Bernoulli-Verteilung mit $p = q = 0,5$ als auch die Rademacher-Verteilung modellieren einen fairen Münzwurf (oder eine faire, zufällige Ja/Nein-Entscheidung). Der Unterschied besteht lediglich darin, dass Kopf (Erfolg) und Zahl (Misserfolg) unterschiedlich codiert werden.

Beziehung zur geometrischen Verteilung

Bei Hintereinanderausführung von Bernoulli-verteilten Experimenten ist die Wartezeit auf den ersten Erfolg (oder letzten Misserfolg, je nach Definition) geometrisch verteilt.

Beziehung zur diskreten Gleichverteilung

Die Bernoulli-Verteilung mit $p = q = \frac{1}{2}$ ist eine diskrete Gleichverteilung auf ${0, 1}$ .

Urnenmodell

Die Bernoulli-Verteilung lässt sich auch aus dem Urnenmodell erzeugen, wenn $p = \frac{k}{n}$ mit $k, n \in ℕ$ ist. Dann entspricht dies dem einmaligen Ziehen aus einer Urne mit $n$ Kugeln, von denen genau $k$ rot sind und alle anderen eine andere Farbe besitzen. Die Wahrscheinlichkeit, eine rote Kugel zu ziehen, ist dann $p$ .

Simulation

Bei der Simulation macht man sich zunutze, dass, wenn $𝒰$ eine stetig gleichverteilte Zufallsvariable auf $[0, 1]$ ist, die Zufallsvariable $Y = 𝟏_{{𝒰 \geq 1 - p}}$ Bernoulli-verteilt ist mit Parameter $p$ . Da fast jeder Computer Standardzufallszahlen erzeugen kann, ist die Simulation wie folgend:

Erzeuge eine Standardzufallszahl $u_{i}$
Ist $u_{i} \leq 1 - p$ , gib 0 aus, ansonsten gib 1 aus.

Dies entspricht genau der Inversionsmethode. Die einfache Simulierbarkeit von Bernoulli-verteilten Zufallsvariablen kann auch zur Simulation von binomialverteilten oder verallgemeinert Binomialverteilten Zufallsvariablen genutzt werden.

Literatur

Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage, de Gruyter, 2009, ISBN 978-3-11-021526-7.

Einzelnachweise

1 2 P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, S. 527.
↑ Norbert Kusolitsch: Maß- und Wahrscheinlichkeitstheorie. Eine Einführung. 2., überarbeitete und erweiterte Auflage. Springer-Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-45386-1, S. 63, doi:10.1007/978-3-642-45387-8.
↑ Klaus D. Schmidt: Maß und Wahrscheinlichkeit. 2., durchgesehene Auflage. Springer-Verlag, Heidelberg Dordrecht London New York 2011, ISBN 978-3-642-21025-9, S. 254, doi:10.1007/978-3-642-21026-6.
↑ James Victor Uspensky: Introduction to Mathematical Probability, McGraw-Hill, New York 1937, Seite 45

[Lex-527-1] 1 2 P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, S. 527.

[2] Norbert Kusolitsch: Maß- und Wahrscheinlichkeitstheorie. Eine Einführung. 2., überarbeitete und erweiterte Auflage. Springer-Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-45386-1, S. 63, doi:10.1007/978-3-642-45387-8.

[3] Klaus D. Schmidt: Maß und Wahrscheinlichkeit. 2., durchgesehene Auflage. Springer-Verlag, Heidelberg Dordrecht London New York 2011, ISBN 978-3-642-21025-9, S. 254, doi:10.1007/978-3-642-21026-6.

[4] James Victor Uspensky: Introduction to Mathematical Probability, McGraw-Hill, New York 1937, Seite 45

[1]

[2]

[3]

[4]