Cook-Abstand

In der Statistik, insbesondere in der Regressionsdiagnostik, ist der Cook-Abstand, die Cook-Maßzahl, oder auch Cook’sche Distanz genannt, die wichtigste Maßzahl zur Bestimmung sogenannter einflussreicher Beobachtungen, wenn eine Kleinste-Quadrate-Regression durchgeführt wurde. Der Cook-Abstand ist nach dem amerikanischen Statistiker R. Dennis Cook benannt, der das Konzept 1977 vorstellte.

Definition

Datenpunkte mit großen Residuen (Ausreißern) und/oder großen „Hebelwerten“ könnten das Ergebnis und die Präzision einer Regression beeinflussen. Der Cook-Abstand misst den Effekt der Auslassung einer gegebenen Beobachtung. Datenpunkte mit einem großen Cook-Abstand sollte man bei der Datenanalyse näher betrachten. Es sei das multiple lineare Regressionsmodell in Vektor-Matrix-Form:

<math>\underset{n \times 1}{\mathbf{y}} = \underset{n \times p}{\mathbf{X}} \quad \underset{p \times 1}{\boldsymbol{\beta}} \quad + \quad \underset{n \times 1}{\boldsymbol{\varepsilon}}</math>,

wobei der Störgrößenvektor einer mehrdimensionalen Normalverteilung folgt <math>\boldsymbol{\varepsilon} \sim \mathcal{N}\left( \mathbf{0}, \sigma^{2} \mathbf{I} \right)</math> und <math>\boldsymbol{\beta} = \left( \beta_{0} \, \beta_{1}, \dots ,\beta_{k} \right)^{\top}</math> der Vektor der Regressionskoeffizienten ist (hierbei ist <math>p=k+1</math> die Anzahl der zu schätzenden unbekannten Parameter und <math>k</math> die Anzahl der erklärenden Variablen), und <math>\mathbf{X}</math> die Datenmatrix. Der Kleinste-Quadrate-Schätzvektor lautet dann <math>\hat{\boldsymbol \beta}= \left( \mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \mathbf{y}</math>, woraus folgt, dass sich der Schätzvektor der abhängigen Variablen wie folgt ergibt:

<math>\mathbf{\hat{y}} = \mathbf{X}\hat{\boldsymbol \beta }=\underbrace{\mathbf{X}\left( \mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}}_{=\mathbf{P}} \mathbf{y}=\mathbf{P} \mathbf{y}</math>,

wobei <math>\mathbf{P} \equiv \mathbf{X}\left( \mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}</math> die Prädiktionsmatrix darstellt. Das <math>i</math>te Diagonalelement von <math>\mathbf{P} \,</math> ist gegeben durch <math>p_{ii}\equiv\mathbf{x}_i^{\top} \left( \mathbf{X}^{\top} \mathbf{X} \right)^{-1}\mathbf{x}_i</math>, wobei <math>\mathbf{x}_i^{\top}</math> die <math>i</math>-te Zeile der Datenmatrix <math>\mathbf{X}</math> ist.<ref>Fumio Hayashi: Econometrics., Princeton University Press., 2000, S. 21–23</ref> Die Werte werden auch als „Hebelwerte“ der <math>i</math>ten Beobachtung bezeichnet. Um den Einfluss eines Punktes <math>(y_{i},\mathbf{x}_{i}^{\top})</math> zu formalisieren betrachtet man den Effekt der Auslassung des Punktes auf <math>\boldsymbol \beta</math> und <math>\mathbf{\hat{y}} = \mathbf{X}\hat{\boldsymbol \beta}</math>. Der Schätzer von <math>{\boldsymbol \beta}</math>, der dadurch gewonnen wird, dass die <math>i</math>te Beobachtung <math>(y_{i},\mathbf{x}_{i}^{\top})</math> ausgelassen wird, ist gegeben durch <math>\hat{\boldsymbol \beta}_{(i)}= ( \mathbf{X}_{(i)}^{\top} \mathbf{X}_{(i)})^{-1} \mathbf{X}_{(i)}^{\top} \mathbf{y}_{(i)}</math>.<ref>Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008, S. 236</ref> Man kann <math>\hat{\boldsymbol \beta}_{(i)}</math> mit <math>\hat{\boldsymbol \beta}</math> mittels dem Cook-Abstand vergleichen, der definiert ist durch:<ref>Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 165.</ref><ref>Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008, S. 237</ref>

<math>D_i = \frac{(\hat{\boldsymbol \beta}_{(i)}-\hat{\boldsymbol \beta})^{\top}(\mathbf{X}^{\top}\mathbf{X})(\hat{\boldsymbol \beta}_{(i)}-\hat{\boldsymbol \beta})}{(k+1) s^2}= \frac{(\mathbf{X}\hat{\boldsymbol \beta}_{(i)}-\mathbf{X}\hat{\boldsymbol \beta})^{\top}(\mathbf{X}\hat{\boldsymbol \beta}_{(i)}-\mathbf{X}\hat{\boldsymbol \beta})}{(k+1) s^2}=\frac{(\hat\mathbf{y}_{(i)}-\hat\mathbf{y})^{\top}(\hat\mathbf{y}_{(i)}-\hat\mathbf{y})}{(k+1) s^2}</math>,

wobei <math>s^2</math> die erwartungstreue Schätzung der Varianz der Störgrößen darstellt. Das Maß <math>D_{i}</math> ist proportional zum gewöhnlichen euklidischen Abstand zwischen <math>\hat\mathbf{y}_{(i)}</math> und <math>\hat\mathbf{y}</math>. Daher ist <math>D_{i}</math> groß, wenn die Beobachtung <math>(y_{i},\mathbf{x}_{i}^{\top})</math> eine substantiellen Einfluss auf sowohl <math>\hat{\boldsymbol \beta}</math>, als auch <math>\hat\mathbf{y}</math> hat.

Eine numerisch einfachere Darstellung von <math>D_i</math> ist gegeben durch:<ref>Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008, S. 237</ref>

<math>D_i = \frac{t_{i}^{2}}{k+1}\left(\frac{p_{ii}}{1-p_{ii}}\right)</math>,

wobei <math>t_{i}</math> die studentisierten Residuen <math>t_i = {\widehat{\varepsilon}_i\over s^2_{(i)} \sqrt{1-p_{ii}\ }}</math> darstellen.

Erkennen von stark einflussreichen Beobachtungen

Es gibt unterschiedliche Ansätze zur Bestimmung der Grenzen, was stark einflussreiche Beobachtungen sein sollen. Es wurde die einfache Daumenregel <math>D_i>1</math> vorgeschlagen.<ref>R. Dennis Cook und Sanford Weisberg: Residuals and Influence in Regression, 1982., New York, Chapman & Hall, ISBN 0-412-24280-X</ref> Andere Autoren haben <math>D_i>4/n</math> vorgeschlagen, wobei <math>n</math> die Anzahl der Beobachtungen ist.<ref>Kenneth A. Bollen und Robert W. Jackman: Regression Diagnostics: An Expository Treatment of Outliers and Influential Cases in Modern Methods of Data Analysis (1990), Newbury Park, CA, ISBN 0-8039-3366-5, S. 257–9.</ref>

Siehe auch

• Mahalanobis-Abstand

Literatur

• Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008

Einzelnachweise

<references />