Störgröße und Residuum
In der Statistik sind Störgröße und Residuum zwei eng verwandte Konzepte. Die Störgrößen (nicht zu verwechseln mit Störparametern oder Störfaktoren), auch Störvariablen, Störterme, Fehlerterme oder kurz Fehler genannt, sind in einer einfachen oder multiplen Regressionsgleichung unbeobachtbare Zufallsvariablen, die den vertikalen Abstand zwischen Beobachtungspunkt und wahrer Gerade (Regressionsfunktion der Grundgesamtheit) messen. Für sie nimmt man für gewöhnlich an, dass sie unkorreliert sind, einen Erwartungswert von Null und eine homogene Varianz aufweisen (Gauß-Markow-Annahmen). Sie beinhalten unbeobachtete Faktoren, die sich auf die abhängige Variable auswirken. Die Störgröße kann auch Messfehler in den beobachteten abhängigen oder unabhängigen Variablen enthalten.
Im Gegensatz zu den Störgrößen sind Residuen (lateinisch residuum = „das Zurückgebliebene“) berechnete Größen und messen den vertikalen Abstand zwischen Beobachtungspunkt und der geschätzten Regressionsgerade. Mitunter wird das Residuum auch als „geschätztes Residuum“ bezeichnet. Diese Benennung ist problematisch, da die Störgröße eine Zufallsvariable und kein Parameter ist. Von einer Schätzung der Störgröße kann daher nicht die Rede sein.<ref>Ulrich Kockelkorn: Lineare statistische Methoden. De Gruyter 2018, ISBN 978-3-486-78782-5, S. 281 (abgerufen über De Gruyter Online).</ref>
Die Problematik bei der sogenannten Regressionsdiagnostik ist, dass sich die Gauß-Markow-Annahmen nur auf die Störgrößen, nicht aber auf die Residuen beziehen. Die Residuen haben zwar ebenfalls einen Erwartungswert von Null, sind aber nicht unkorreliert und weisen auch keine homogene Varianz auf. Um diesem Missstand Rechnung zu tragen, werden die Residuen meist modifiziert, um die geforderten Annahmen zu erfüllen, z. B. studentisierte Residuen. Die Quadratsumme der Residuen spielt in der Statistik in vielen Anwendungen eine große Rolle, z. B. bei der Methode der kleinsten Quadrate. Die Notation der Störgrößen als <math>\varepsilon_i</math> bzw. <math>e_i</math> ist an das lateinische Wort erratum (Irrtum) angelehnt. Die Residuen können mit Hilfe der Residualmatrix generiert werden.
Störgröße und Residuum[Bearbeiten]
Störgrößen sind nicht mit den Residuen zu verwechseln. Man unterscheidet die beiden Konzepte wie folgt:
- Unbeobachtbare zufällige Störgrößen <math>\varepsilon_i</math>: Messen den vertikalen Abstand zwischen Beobachtungspunkt und theoretischer (wahrer) Gerade
- Residuum <math> \hat \varepsilon_i = y_i-\hat{y}_i</math>: Messen den vertikalen Abstand zwischen empirischer Beobachtung und der geschätzten Regressionsgerade
Einfache lineare Regression[Bearbeiten]
In der einfachen linearen Regression mit dem Modell der linearen Einfachregression <math>Y_{i} = \beta_0 +\beta_1 x_i + \varepsilon_{i}</math> sind die gewöhnlichen Residuen gegeben durch
- <math>\hat{\varepsilon}_i = y_i-\hat{y}_i=y_i-\hat \beta_0-\hat \beta_1 x_i</math>.
Hierbei handelt es sich um Residuen, da vom wahren Wert ein geschätzter Wert abgezogen wird. Genauer gesagt werden von den Beobachtungswerten <math>y_i</math> die angepassten Werte (englisch fitted values) <math>\hat{y}_{i} = \hat \beta_0 + \hat \beta_1 x_i</math> abgezogen. In der einfachen linearen Regression werden an die Störgrößen für gewöhnlich zahlreiche Annahmen getroffen (siehe Annahmen über die Störgrößen).
Residualvarianz[Bearbeiten]
Die Residualvarianz (auch Restvarianz genannt) ist eine Schätzung der Varianz der Regressionsfunktion in der Grundgesamtheit <math>\operatorname{Var}(y \mid X=x)=\operatorname{Var}(\beta_0 + \beta_1 x + \varepsilon)= \sigma^2 = \operatorname{konst}</math>. In der einfachen linearen Regression ist eine durch die Maximum-Likelihood-Schätzung gefundene Schätzung gegeben durch
- <math>\tilde{s}^2_\varepsilon = \frac{1}{n}\sum\limits_{i=1}^n \hat{\varepsilon}_i^2 = \frac{1}{n}\sum\limits_{i=1}^n (y_i-\hat \beta_0-\hat \beta_1x_i)^2</math>.
Allerdings erfüllt der Schätzer nicht gängige Qualitätskriterien für Punktschätzer und wird daher nicht oft genutzt.<ref>Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 109.</ref> Beispielsweise ist der Schätzer nicht erwartungstreu für <math>\sigma^2</math>. In der einfachen linearen Regression lässt sich unter den Voraussetzungen des klassischen Modells der linearen Einfachregression zeigen, dass eine erwartungstreue Schätzung der Varianz der Störgrößen <math>\sigma^2</math>, d. h. eine Schätzung, die <math>\operatorname{E}(\hat{\sigma}^2) = \sigma^2</math> erfüllt, gegeben ist durch die um die Anzahl der Freiheitsgrade adjustierte Variante:
- <math>\hat \sigma^2=\frac{1}{n-2}\sum\limits_{i=1}^n (y_i-\hat \beta_0- \hat \beta_1 x_i)^2</math>.
Die positive Quadratwurzel dieser erwartungstreuen Schätzfunktion wird auch als Standardfehler der Regression bezeichnet.
Residuen als Funktion der Störgrößen[Bearbeiten]
In der einfachen linearen Regression lassen sich die Residuen als Funktion der Störgrößen <math>\varepsilon_i</math> für jede einzelne Beobachtung schreiben als<ref>Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education, 2015, S. 55.</ref>
- <math>\hat{\varepsilon}_i = \varepsilon_i - (\hat \beta_0 -\beta_0)- (\hat \beta_1 -\beta_1)x_i</math>.
Summe der Residuen[Bearbeiten]
Die KQ-Regressionsgleichung wird so bestimmt, dass die Residuenquadratsumme zu einem Minimum wird. Äquivalent dazu bedeutet das, dass sich positive und negative Abweichungen von der Regressionsgeraden ausgleichen. Wenn das Modell der linearen Einfachregression einen – von Null verschiedenen – Achsenabschnitt enthält, dann muss also gelten, dass die Summe der Residuen Null ist<ref>Manfred Precht und Roland Kraft: Bio-Statistik 2: Hypothesentests–Varianzanalyse–Nichtparametrische Statistik–Analyse von Kontingenztafeln–Korrelationsanalyse–Regressionsanalyse–Zeitreihenanalyse–Programmbeispiele in MINITAB, STATA, N, StatXact und TESTIMATE: 5., völlig überarb. Aufl. Reprint 2015, De Gruyter, Berlin Juni 2015, ISBN 978-3-486-78352-0 (abgerufen über De Gruyter Online), S. 299.</ref>
- <math>\sum_{i=1}^n \hat{\varepsilon}_{i} = 0</math>
Multiple lineare Regression[Bearbeiten]
Da die Residuen im Gegensatz zu den Störgrößen beobachtbar und berechnete Größen sind, können sie graphisch dargestellt oder auf andere Weise untersucht werden. Im Gegensatz zur einfachen linearen Regression, bei der eine Gerade bestimmt wird, bestimmt man bei der multiplen linearen Regression (Erweiterung der einfachen linearen Regression auf <math>p</math> Regressoren) eine Hyperebene, die durch die Punktwolke verläuft. Falls zwei Regressoren vorliegen, liegen die Beobachtungen bildlich gesprochen über beziehungsweise unter der Regressionsebene. Die Differenzen der beobachteten und der vorhergesagten, auf der Hyperebene liegenden <math>y</math>-Werte, stellen die Residuen dar.<ref>Rainer Schlittgen: Regressionsanalysen mit R. ISBN 978-3-486-73967-1, S. 25 (abgerufen über De Gruyter Online).</ref> Für sie gilt:
- <math>\hat{\varepsilon}_i = y_i-\hat{y}_i=y_i-\hat \beta_0-\hat \beta_1 x_{i1}-\hat \beta_2 x_{i2}- \dotsc - \hat\beta_k x_{ik}</math>.
Die Residuen, die durch die Kleinste-Quadrate-Schätzung gewonnen werden, werden gewöhnliche Residuen genannt. Wenn zusätzlich <math>n</math> Beobachtungen vorliegen, dann sind die gewöhnlichen KQ-Residuen in der multiplen linearen Regression gegeben durch<ref>Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 77.</ref><ref>Rainer Schlittgen: Regressionsanalysen mit R. ISBN 978-3-486-73967-1, S. 27 (abgerufen über De Gruyter Online).</ref>
- <math>\hat{\boldsymbol \varepsilon}= \mathbf {y}-\hat{\mathbf {y}} = \mathbf y - \mathbf {X}\mathbf{b}= \left( \mathbf{I} - \mathbf{X} \left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\right)\mathbf y= (\mathbf I - \mathbf P) \mathbf y </math>,
wobei <math>\mathbf Q :=(\mathbf I - \mathbf P)</math> eine Projektionsmatrix, oder genauer gesagt die idempotente und symmetrische Residualmatrix darstellt und <math>\mathbf{b}= (\mathbf{X}^\top \mathbf X )^{-1}\mathbf {X}^\top \mathbf y</math> den KQ-Schätzer im multiplen Fall darstellt.
Eigenschaften[Bearbeiten]
Die gewöhnlichen Residuen sind im Mittel <math>0</math>, d. h.
- <math>\operatorname{E}(\hat{\boldsymbol{\varepsilon}}) = \operatorname{E}\begin{pmatrix}
\hat{\varepsilon}_1 \\ \hat{\varepsilon}_2 \\ \vdots \\ \hat{\varepsilon}_n
\end{pmatrix}= \begin{pmatrix}
0 \\
0\\
\vdots \\
0
\end{pmatrix}=\mathbf 0</math>
Die Kovarianzmatrix der gewöhnlichen Residuen ist gegeben durch
- <math>\operatorname{Cov}(\hat{\boldsymbol{\varepsilon}})= \operatorname{Cov}(\mathbf Q \mathbf y )=\mathbf Q \operatorname{Cov}(\mathbf y ) \mathbf Q^{\top}=\mathbf Q \operatorname{Cov}(\boldsymbol \varepsilon ) \mathbf Q = \operatorname{Cov}(\boldsymbol \varepsilon ) \mathbf Q \mathbf Q = \sigma^2(\mathbf I - \mathbf P) =\sigma^2 \mathbf Q</math>.
Die gewöhnlichen Residuen sind also heteroskedastisch, da
- <math>\operatorname{Cov}(\boldsymbol \hat\varepsilon)= \sigma^2(\mathbf I - \mathbf P) = \sigma^2 \mathbf Q\ne \sigma^2\mathbf I</math>.
Dies bedeutet, dass für die gewöhnlichen Residuen die Gauß-Markow-Annahmen nicht erfüllt sind, da die Homoskedastizitätsannahme <math>\operatorname{Cov}(\boldsymbol\varepsilon) = \sigma^2\mathbf I</math> nicht zutrifft.
Mithilfe der Prädiktions- und der Residualmatrix lässt sich zeigen, dass die Residuen mit den vorhergesagten Werten unkorreliert sind<ref>Rainer Schlittgen: Regressionsanalysen mit R. ISBN 978-3-486-73967-1, S. 27 (abgerufen über De Gruyter Online).</ref>
- <math> \hat\boldsymbol\varepsilon^{\top} \hat \mathbf y = \left(\left( \mathbf{I}- \mathbf{P} \right) \mathbf y\right)^{\top} \mathbf{P} \mathbf y=\mathbf y^{\top}\left( \mathbf{I}- \mathbf{P} \right)\mathbf{P}\mathbf y=\mathbf y^{\top}\left( \mathbf{P}- \mathbf{P}\right)\mathbf y =\mathbf 0</math>.
Partielle Residuen[Bearbeiten]
Partielle Residuen-Streudiagramme werden mithilfe von partiellen Residuen erstellt, die definiert sind durch
- <math>\hat{\varepsilon}_{x_{j} ,i} := y_i - \hat{ \beta}_1 - \hat{ \beta}_2 x_{i2}-\ldots-\hat{ \beta}_{j-1} x_{i,j-1} - \hat{ \beta}_{j+1} x_{i,j+1}-\ldots-\hat{ \beta}_{k} x_{i,k}= y_{i} - \mathbf x_{t}^{\top} \hat \boldsymbol \beta +\hat{ \beta}_{j} x_{ij}</math>.
Studentisierte Residuen[Bearbeiten]
Für dieses einfache Modell sei die Versuchsplanmatrix
- <math>\mathbf{X} = \begin{pmatrix}1 & x_1 \\ \vdots & \vdots \\ 1 & x_n \end{pmatrix}</math>
gegeben. Die Prädiktionsmatrix <math>\mathbf{P}</math> ist die Matrix der Orthogonalprojektion auf den Spaltenraum der Versuchsplanmatrix. <math>\mathbf{P}</math> ist gegeben durch
- <math>\mathbf{P} = \mathbf X \left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}</math>.
Die statistischen Hebelwerte <math>p_{ii}</math> sind die <math>i</math>-ten Diagonalelemente der Prädiktionsmatrix. Die Varianz des <math>i</math>-ten Residuums ist gegeben durch
- <math>\operatorname{Var}(\widehat{\varepsilon}_i)=\sigma^2(1-p_{ii})</math>.
In diesem Fall hat die Versuchsplanmatrix <math>\mathbf{X}</math> nur zwei Spalten, was zu folgender Varianz führt
- <math>\operatorname{Var}(\widehat{\varepsilon}_i)=\sigma^2\left( 1 - \frac1n -\frac{(x_i-\overline x)^2}{\sum_{i=1}^n (x_i - \overline x)^2 } \right) </math>.
Die dazugehörigen studentisierten Residuen lauten
- <math>t_i = {\widehat{\varepsilon}_i\over \widehat{\sigma} \sqrt{1-p_{ii}\ }}</math>.
Die studentisierten Residuen sind identisch (aber nicht unabhängig) verteilt und damit insbesondere homoskedastisch. Sie könnten somit eine Lösung für die Verletzung der Homoskedastizitätsannahme darstellen.
Aufbauende Maße[Bearbeiten]
Residuenquadratsumme[Bearbeiten]
Bildet man die Summe der quadrierten Residuen für alle Beobachtungen, so erhält man die Residuenquadratsumme:
- <math>SQR := \sum_{i=1}^n \hat \varepsilon_i^2 =\sum_{i=1}^n (y_i - \hat y_i)^2</math>.
Diese spezielle Abweichungsquadratsumme taucht in vielen statistischen Maßen, wie z. B. dem Bestimmtheitsmaß, der F-Statistik und diversen Standardfehlern, wie dem Standardfehler der Regression auf. Die Minimierung der Residuenquadratsumme führt zum Kleinste-Quadrate-Schätzer.
Siehe auch[Bearbeiten]
- Mittlerer absoluter Fehler
- Spezielle Residuen in der Überlebenszeitanalyse:
Einzelnachweise[Bearbeiten]
<references />