Error cuadrático medio

Si un vector de${\displaystyle n}$Las predicciones se generan a partir de una muestra de${\displaystyle n}$puntos de datos en todas las variables y${\displaystyle Y}$es el vector de valores observados de la variable que se está prediciendo, con${\displaystyle {\hat {Y}}}$Siendo los valores predichos (por ejemplo, a partir de un ajuste de mínimos cuadrados ), entonces el MSE dentro de la muestra del predictor se calcula como

$${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

En otras palabras, el MSE es la media${\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)}$de los cuadrados de los errores${\textstyle \left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$Esta es una cantidad fácilmente calculable para una muestra en particular (y, por lo tanto, depende de la muestra).

En notación matricial ,$${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e} }$$ dónde${\displaystyle e_{i}}$es${\displaystyle Y_{i}-{\hat {Y_{i}}}}$y${\displaystyle \mathbf {e} }$es un${\displaystyle n\times 1}$vector columna.

El MSE también se puede calcular sobre q puntos de datos que no se utilizaron para estimar el modelo, ya sea porque se reservaron para este propósito o porque estos datos se obtuvieron recientemente. Dentro de este proceso, conocido como validación cruzada , el MSE a menudo se denomina MSE de prueba , ^{[ 4 ]} y se calcula como

$${\displaystyle \operatorname {MSE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$$

El error cuadrático medio (MSE) de un estimador${\displaystyle {\sombrero {\theta }}}$con respecto a un parámetro desconocido${\displaystyle \theta }$se define como ^{[ 1 ]}

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}$$

Esta definición depende del parámetro desconocido, por lo tanto, el ECM es una propiedad a priori de un estimador. El ECM podría ser una función de parámetros desconocidos, en cuyo caso cualquier estimador del ECM basado en estimaciones de estos parámetros sería una función de los datos (y por lo tanto una variable aleatoria). Si el estimador${\displaystyle {\sombrero {\theta }}}$se deriva como un estadístico de muestra y se utiliza para estimar algún parámetro de población, entonces la esperanza es con respecto a la distribución muestral del estadístico de muestra.

El ECM se puede expresar como la suma de la varianza del estimador y el sesgo al cuadrado del estimador, lo que proporciona una forma útil de calcular el ECM e implica que, en el caso de estimadores insesgados, el ECM y la varianza son equivalentes. ^{[ 5 ]}

$${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.}$$

Supongamos que tenemos una muestra aleatoria de tamaño${\displaystyle n}$de una población,${\displaystyle X_{1},\dots ,X_{n}}$. Supongamos que las unidades de muestra fueron elegidas con reemplazo . Es decir, la${\displaystyle n}$Las unidades se seleccionan una a una, y las unidades previamente seleccionadas siguen siendo elegibles para ser seleccionadas para todas las${\displaystyle n}$sorteos. El estimador habitual para la media poblacional${\displaystyle \mu }$es el promedio de la muestra

$${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$$

que tiene un valor esperado igual a la media verdadera${\displaystyle \mu }$(por lo que no está sesgado) y un error cuadrático medio de

$${\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}$$

dónde${\displaystyle \sigma ^{2}}$es la varianza poblacional .

Para una distribución gaussiana, este es el mejor estimador insesgado de la media poblacional, es decir, el que tiene el menor error cuadrático medio (y por lo tanto la menor varianza) entre todos los estimadores insesgados. Se puede comprobar que el error cuadrático medio anterior es igual al inverso de la información de Fisher (véase la cota de Cramér-Rao ). Pero la misma media muestral no es el mejor estimador de la media poblacional, por ejemplo, para una distribución uniforme .

El estimador habitual para la varianza es la varianza muestral corregida :

$${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).}$$

Esto es imparcial (su valor esperado es${\displaystyle \sigma ^{2}}$), por lo tanto también llamada varianza de muestra insesgada, y su MSE es ^{[ 8 ]}

$${\displaystyle \operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},}$$

dónde${\displaystyle \mu _{4}}$es el cuarto momento central de la distribución o población, y${\displaystyle \gamma _{2}=\mu _{4}/\sigma ^{4}-3}$es el exceso de curtosis .

Sin embargo, se pueden utilizar otros estimadores para${\displaystyle \sigma ^{2}}$que son proporcionales a${\displaystyle S_{n-1}^{2}}$y una elección apropiada siempre puede dar un error cuadrático medio menor. Si definimos

$${\displaystyle S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$$

Entonces calculamos:

$${\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}$$

Esto se minimiza cuando

$${\displaystyle a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.}$$

Para una distribución gaussiana , donde${\displaystyle \gamma _{2}=0}$, esto significa que el MSE se minimiza al dividir la suma por${\displaystyle a=n+1}$. La curtosis de exceso mínima es${\displaystyle \gamma _{2}=-2}$, ^{[ a ]} ​​que se logra mediante una distribución de Bernoulli con p  =  1/2 (un lanzamiento de moneda), y el MSE se minimiza para${\displaystyle a=n-1+{\tfrac {2}{n}}.}$Por lo tanto, independientemente de la curtosis, obtenemos una estimación "mejor" (en el sentido de tener un MSE más bajo) al reducir un poco el estimador insesgado; este es un ejemplo simple de un estimador de contracción : se "contrae" el estimador hacia cero (se reduce el estimador insesgado).

Además, si bien la varianza de muestra corregida es el mejor estimador insesgado (mínimo error cuadrático medio entre los estimadores insesgados) de la varianza para distribuciones gaussianas, si la distribución no es gaussiana, entonces incluso entre los estimadores insesgados, el mejor estimador insesgado de la varianza puede no ser${\displaystyle S_{n-1}^{2}.}$

La siguiente tabla proporciona varios estimadores de los parámetros verdaderos de la población, μ y σ² ^, para el caso gaussiano. ^{[ 9 ]}

El uso del error cuadrático medio sin cuestionamientos ha sido criticado por el teórico de la decisión James Berger . El error cuadrático medio es el negativo del valor esperado de una función de utilidad específica , la función de utilidad cuadrática, que puede no ser la función de utilidad apropiada en determinadas circunstancias. Sin embargo, existen algunos escenarios en los que el error cuadrático medio puede servir como una buena aproximación a una función de pérdida que se produce de forma natural en una aplicación. ^{[ 10 ]}

Al igual que la varianza , el error cuadrático medio tiene la desventaja de ponderar fuertemente los valores atípicos . ^{[ 11 ]} Esto es resultado de elevar al cuadrado cada término, lo que efectivamente pondera los errores grandes más que los pequeños. Esta propiedad, indeseable en muchas aplicaciones, ha llevado a los investigadores a utilizar alternativas como el error absoluto medio o aquellos basados ​​en la mediana .