M-Schätzer

M-Schätzer, auch maximum-likelihood-artige Schätzer stellen eine Klasse von Schätzfunktionen dar, die als Verallgemeinerung der Maximum-Likelihood-Methode angesehen werden können. M-Schätzer sind im Vergleich zu anderen Schätzern wie z. B. den Maximum-Likelihood-Schätzern robuster gegen Ausreißer.

Dieser Artikel behandelt M-Schätzer zur Ermittlung des Lageparameters.

Herleitung durch Verallgemeinerung der Maximum-Likelihood-Methode

Das Prinzip von Maximum-Likelihood-Schätzern beruht darauf, die Funktion

\sum_{i = 1}^{n} - \ln f_{X_{i}} (x_{i}; Θ)

mit entsprechender Dichte- bzw. Wahrscheinlichkeitsfunktion $f_{X} (x)$ in Abhängigkeit von $Θ$ zu minimieren.

Die Idee bei M-Schätzern ist, die Funktion $- \ln f_{X_{i}} (x_{i}; Θ)$ durch eine Funktion $ρ (x; Θ)$ zu ersetzen, welche weniger empfindlich auf Ausreißer reagiert. Aufgabe ist es, den Ausdruck

\sum_{i = 1}^{n} ρ (x_{i}; Θ)

in Abhängigkeit von $Θ$ zu minimieren, bzw. die Gleichung

\sum ψ (x_{i}; Θ) = 0

mit

ψ (x_{i}; Θ) = \frac{\partial ρ}{\partial Θ} (x_{i}; Θ)

zu lösen.

Jede Lösung dieser Gleichung wird M-Schätzer genannt.

Implizite Definition

Sei $F$ eine beliebige Verteilungsfunktion und $ψ$ eine ungerade und monoton wachsende Funktion ungleich 0. Dann ist $μ_{ψ} (F)$ definiert als die Lösung $μ = μ_{ψ} (F)$ der Gleichung

E (ψ (x - μ)) = \int ψ (x - μ) d F (x) = 0

Beachtet werden muss, dass abhängig von der Wahl von $ψ$ und $F$ es entweder keine, eine oder mehrere Lösungen geben kann. Im Falle einer konkreten Stichprobe wird $μ = μ_{ψ} (F_{n})$ , die Lösung von

\frac{1}{n} \sum_{i = 1}^{n} ψ (x_{i} - μ) = \int ψ (x - μ) d F_{n} (x) = 0

M-Schätzer genannt.

Geeignete Funktionen ρ

Im Folgenden sind die $x_{i}$ gemäß

z_{i} = \frac{x_{i} - Θ}{S_{n}}

standardisiert, um Skaleninvarianz zu erreichen. $S_{n}$ stellt hierbei einen Streuungschätzer dar, für den meist der MAD (Median Absolute Deviation) verwendet wird.

Methode	$ρ (z)$	$ψ (z)$	$w (z)$
Kleinste-Quadrate-Methode	$ρ_{L S} (z) = \frac{z^{2}}{2}$	$ψ_{L S} (z) = z$	$w_{L S} (z) = 1$
Huber-k-Schätzer	$ρ_{H} (z) = {\begin{matrix} \frac{z^{2}}{2} & \| z \| \leq k \\ k \| z \| - \frac{1}{2} k^{2} & \| z \| > k \end{matrix}$	$ψ_{H} (z) = {\begin{matrix} z & \| z \| \leq k \\ k sgn (z) & \| z \| > k \end{matrix}$	$w_{H} (z) = {\begin{matrix} 1 & \| z \| \leq k \\ \frac{k}{\| z \|} & \| z \| > k \end{matrix}$
Hampel-Schätzer	$ρ_{H a} (z) = {\begin{matrix} \frac{z^{2}}{2} & \| z \| \leq a \\ a \| z \| - \frac{a^{2}}{2} & a < \| z \| \leq b \\ a b - \frac{a^{2}}{2} + (c - b) \frac{a}{2} (1 - {(\frac{c - \| z \|}{c - b})}^{2}) & b < \| z \| \leq c \\ a b - \frac{a^{2}}{2} + (c - b) \frac{a}{2} & \| z \| > c \end{matrix}$	$ψ_{H a} (z) = {\begin{matrix} z & \| z \| \leq a \\ a sgn (z) & a < \| z \| \leq b \\ a \frac{c - \| z \|}{c - b} sgn (z) & b < \| z \| \leq c \\ 0 & \| z \| > c \end{matrix}$	$w_{H a} (z) = {\begin{matrix} 1 & \| z \| \leq a \\ a \frac{1}{\| z \|} & a < \| z \| \leq b \\ a \frac{c - \| z \|}{c - b} \frac{1}{\| z \|} & b < \| z \| \leq c \\ 0 & \| z \| > c \end{matrix}$
Andrews wave	$ρ_{A w} (z) = {\begin{matrix} \frac{a^{2}}{π^{2}} (1 - \cos (\frac{π z}{a})) & \| z \| \leq a \\ \frac{2 a^{2}}{π^{2}} & \| z \| > a \end{matrix}$	$ψ_{A w} (z) = {\begin{matrix} \frac{a}{π} \sin (\frac{π z}{a}) & \| z \| \leq a \\ 0 & \| z \| > a \end{matrix}$	$w_{A w} (z) = {\begin{matrix} \frac{a}{π z} \sin (\frac{π z}{a}) & \| z \| \leq a \\ 0 & \| z \| > a \end{matrix}$
Tukey's biweight	$ρ_{T b} (z) = {\begin{matrix} \frac{a^{2}}{6} (1 - {(1 - \frac{z^{2}}{a^{2}})}^{3}) & \| z \| \leq a \\ \frac{a^{2}}{6} & \| z \| > a \end{matrix}$	$ψ_{T b} (z) = {\begin{matrix} z {(1 - \frac{z^{2}}{a^{2}})}^{2} & \| z \| \leq a \\ 0 & \| z \| > a \end{matrix}$	$w_{T b} (z) = {\begin{matrix} {(1 - \frac{z^{2}}{a^{2}})}^{2} & \| z \| \leq a \\ 0 & \| z \| > a \end{matrix}$

Die Gewichtsfunktionen im folgenden Bild zeigen die Unterschiede zwischen den Schätzern auf: bei Huber-k haben auch extreme Beobachtungen ein geringes Gewicht, beim Hampel-, Andrews wave- und Tukey's biweight-Schätzer wird extremen Beobachtungen das Gewicht Null zugeordnet.

Robustheit

Bei geeigneter Wahl von $ψ$ (ungerade, beschränkt und monoton steigend) haben M-Schätzer einen Bruchpunkt von $ϵ^{*} = 0,5$ .^[1]

Numerische Lösungsmethode

Für viele Funktionen $ρ$ lässt sich keine explizite Lösung angeben, sie muss daher numerisch berechnet werden. Wie üblich zur Berechnung von Nullstellenproblemen bietet sich auch hier das Newton-Raphson-Verfahren an, und es ergibt sich folgende Iterationsvorschrift, wobei wiederum $z_{i} = \frac{x_{i} - μ}{S_{n}}$ :

μ_{k + 1} = μ_{k} + \frac{S_{n} \sum_{i = 1}^{n} ψ (z_{i})}{\sum_{i = 1}^{n} ψ^{'} (z_{i})}

Als geeigneter Startwert $μ_{0}$ wird meist der Median verwendet. Dieses Iterationsverfahren konvergiert sehr schnell, meist sind zwei bis drei Iterationsschritte ausreichend.

W-Schätzer

W-Schätzer sind M-Schätzern sehr ähnlich und liefern im Normalfall gleiche Ergebnisse. Der einzige Unterschied liegt in der Lösung des Minimierungsproblems. W-Schätzer werden meist bei der robusten Regression eingesetzt.

Es wird die Wichtungsfunktion

w (z) = \frac{ψ (z)}{z}

mit

ψ (x_{i}; Θ) = \frac{\partial ρ}{\partial Θ} (x_{i}; Θ)

eingeführt, mit deren Hilfe das Minimierungsproblem umgeschrieben werden kann in

\sum_{i = 1}^{n} z_{i} w (z_{i}) = 0

Einsetzen der Definition von $z_{i}$ , ausmultiplizieren und umstellen ergibt schließlich über die Fixpunktgleichung

Θ = \frac{\sum_{i = 1}^{n} x_{i} w (\frac{x_{i} - Θ}{S_{n}})}{\sum_{i = 1}^{n} w (\frac{x_{i} - Θ}{S_{n}})}

die Iterationsvorschrift

Θ_{t + 1} = \frac{\sum_{i = 1}^{n} x_{i} w (\frac{x_{i} - Θ_{t}}{S_{n}})}{\sum_{i = 1}^{n} w (\frac{x_{i} - Θ_{t}}{S_{n}})}

Siehe auch

Sogenannte RANSAC-Algorithmen

Literatur

Ricardo A. Maronna, R. Douglas Martin, Victor J. Yohai, Matías Salibián-Barrera: Robust Statistics – Theory and Methods (With R) (= Wiley Series in Probability and Statics). 2. Auflage. Wiley, Hoboken 2019, ISBN 978-1-119-21468-7.
Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
Rand R. Wilcox: Introduction to robust estimation and hypothesis testing. Academic Press, San Diego Cal 1997. ISBN 0-12-751545-3

Einzelnachweise

↑ Ricardo A. Maronna, R. Douglas Martin, Victor J. Yohai: Robust Statistics – Theory and Methods. Wiley, Chichester 2006, ISBN 978-0-470-01092-1, S. 59.

[1] Ricardo A. Maronna, R. Douglas Martin, Victor J. Yohai: Robust Statistics – Theory and Methods. Wiley, Chichester 2006, ISBN 978-0-470-01092-1, S. 59.

[1]