Estimador

Para una muestra determinada${\displaystyle x}$, el " error " del estimador${\displaystyle {\widehat {\theta }}}$se define como $${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$$ dónde${\displaystyle \theta }$es el parámetro que se está estimando. El error, e , depende no solo del estimador (la fórmula o procedimiento de estimación), sino también de la muestra.

El error cuadrático medio de${\displaystyle {\widehat {\theta }}}$se define como el valor esperado (promedio ponderado por probabilidad, sobre todas las muestras) de los errores al cuadrado; es decir, $${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].}$$ Se utiliza para indicar cuán lejos, en promedio, se encuentra el conjunto de estimaciones del parámetro único que se está estimando. Consideremos la siguiente analogía. Supongamos que el parámetro es el centro de una diana , el estimador es el proceso de disparar flechas a la diana, y las flechas individuales son estimaciones (muestras). Entonces, un MSE alto significa que la distancia promedio de las flechas al centro es alta, y un MSE bajo significa que la distancia promedio al centro es baja. Las flechas pueden estar agrupadas o no. Por ejemplo, incluso si todas las flechas impactan en el mismo punto, pero fallan ampliamente la diana, el MSE sigue siendo relativamente alto. Sin embargo, si el MSE es relativamente bajo, es probable que las flechas estén más agrupadas (que dispersas) alrededor de la diana.

Para una muestra determinada${\displaystyle x}$, la desviación de muestreo del estimador${\displaystyle {\widehat {\theta }}}$se define como $${\displaystyle d(x)={\widehat {\theta }}(x)-\operatorname {E} [{\widehat {\theta }}(X)]={\widehat {\theta }}(x)-\operatorname {E} [{\widehat {\theta }}],}$$ dónde${\displaystyle \operatorname {E} [{\widehat {\theta }}(X)]}$es el valor esperado del estimador. La desviación de muestreo,${\displaystyle d}$, depende no solo del estimador, sino también de la muestra.

La varianza de${\displaystyle {\widehat {\theta }}}$es el valor esperado de las desviaciones de muestreo al cuadrado; es decir,${\displaystyle \operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]}$Se utiliza para indicar cuán lejos, en promedio, se encuentra el conjunto de estimaciones del valor esperado de las mismas. (Nótese la diferencia entre el error cuadrático medio y la varianza). Si el parámetro es el centro de una diana y las flechas son estimaciones, entonces una varianza relativamente alta significa que las flechas están dispersas, y una varianza relativamente baja significa que las flechas están agrupadas. Incluso si la varianza es baja, el grupo de flechas aún puede estar muy lejos de la diana, e incluso si la varianza es alta, el conjunto disperso de flechas aún puede ser insesgado. Finalmente, incluso si todas las flechas fallan ampliamente la diana, si no obstante todas dan en el mismo punto, la varianza es cero.

El sesgo de${\displaystyle {\widehat {\theta }}}$se define como${\displaystyle B({\widehat {\theta }})=\operatorname {E} [{\widehat {\theta }}]-\theta }$Es la distancia entre el promedio del conjunto de estimaciones y el parámetro único que se está estimando. El sesgo de${\displaystyle {\widehat {\theta }}}$es una función del verdadero valor de${\displaystyle \theta }$así que decir que el sesgo de${\displaystyle {\widehat {\theta }}}$es${\displaystyle b}$significa que para cada${\displaystyle \theta }$el sesgo de${\displaystyle {\widehat {\theta }}}$es${\displaystyle b}$.

Hay dos tipos de estimadores: estimadores sesgados y estimadores insesgados. Si un estimador es sesgado o no se puede identificar por la relación entre${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta }$y 0:

• Si${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta \neq 0}$,${\displaystyle {\widehat {\theta }}}$es parcial.
• Si${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =0}$,${\displaystyle {\widehat {\theta }}}$es imparcial.

El sesgo es también el valor esperado del error, ya que${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =\operatorname {E} [{\widehat {\theta }}-\theta ]}$Si el parámetro es el centro de una diana y las flechas son estimaciones, entonces un valor absoluto relativamente alto para el sesgo significa que la posición promedio de las flechas está fuera de la diana, y un sesgo absoluto relativamente bajo significa que la posición promedio de las flechas está en la diana. Pueden estar dispersas o agrupadas. La relación entre el sesgo y la varianza es análoga a la relación entre la exactitud y la precisión .

El estimador${\displaystyle {\widehat {\theta }}}$es un estimador insesgado de${\displaystyle \theta }$si y solo si${\displaystyle B({\widehat {\theta }})=0}$El sesgo es una propiedad del estimador, no de la estimación. A menudo se habla de una "estimación sesgada" o una "estimación insesgada", pero en realidad se hace referencia a una "estimación de un estimador sesgado" o una "estimación de un estimador insesgado". Además, se suele confundir el "error" de una sola estimación con el "sesgo" de un estimador. Que el error de una estimación sea grande no significa que el estimador esté sesgado. De hecho, incluso si todas las estimaciones tienen valores absolutos astronómicos para sus errores, si el valor esperado del error es cero, el estimador es insesgado. Asimismo, que un estimador esté sesgado no impide que el error de una estimación sea cero en un caso particular. La situación ideal es tener un estimador insesgado con baja varianza y también intentar limitar el número de muestras donde el error es extremo (es decir, tener pocos valores atípicos ). Sin embargo, la ausencia de sesgo no es esencial. A menudo, si se permite un pequeño sesgo, se puede encontrar un estimador con un error cuadrático medio menor y/o menos estimaciones de muestras atípicas.

Una alternativa a la versión "insesgada" anterior es la "mediana insesgada", donde la mediana de la distribución de las estimaciones coincide con el valor verdadero; por lo tanto, a largo plazo, la mitad de las estimaciones serán demasiado bajas y la otra mitad demasiado altas. Si bien esto se aplica inmediatamente solo a estimadores escalares, puede extenderse a cualquier medida de tendencia central de una distribución: véase estimadores mediana insesgados .

En un problema práctico,${\displaystyle {\widehat {\theta }}}$siempre puede tener una relación funcional con${\displaystyle \theta }$Por ejemplo, si una teoría genética afirma que hay un tipo de hoja (verde almidonada) que aparece con probabilidad${\displaystyle p_{1}=1/4\cdot (\theta +2)}$, con${\displaystyle 0<\theta <1}$. Entonces, para${\displaystyle n}$hojas, la variable aleatoria${\displaystyle N_{1}}$, o el número de hojas verdes almidonadas, se puede modelar con un${\displaystyle \mathrm {Bin} (n,p_{1})}$distribución. El número se puede utilizar para expresar el siguiente estimador para${\displaystyle \theta }$:${\displaystyle {\widehat {\theta }}=4/n\cdot N_{1}-2}$Se puede demostrar que${\displaystyle {\widehat {\theta }}}$es un estimador insesgado para${\displaystyle \theta }$: $${\displaystyle {\begin{aligned}\operatorname {E} [{\widehat {\theta }}]&=\operatorname {E} [4/n\cdot N_{1}-2]=4/n\cdot \operatorname {E} [N_{1}]-2\\[1ex]&=4/n\cdot np_{1}-2=4\cdot p_{1}-2\\[1ex]&=4\cdot 1/4\cdot (\theta +2)-2=\theta +2-2\\[1ex]&=\theta .\end{aligned}}}$$

Una propiedad deseable para los estimadores es la insesgadez, es decir, que un estimador no tenga una tendencia sistemática a producir estimaciones mayores o menores que el parámetro verdadero. Además, se prefieren los estimadores insesgados con menor varianza a aquellos con mayor varianza, ya que estarán más cerca del valor "verdadero" del parámetro. El estimador insesgado con la menor varianza se conoce como estimador insesgado de mínima varianza (MVUE).

Para averiguar si un estimador${\displaystyle {\widehat {\theta }}}$es imparcial, es fácil seguir la ecuación${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =0}$. Con estimador T con y parámetro de interés${\displaystyle \theta }$Resolviendo la ecuación anterior, se muestra como${\displaystyle \operatorname {E} [T]=\theta }$El estimador es insesgado. Al observar la figura de la derecha, a pesar de${\displaystyle {\hat {\theta }}_{2}}$siendo el único estimador insesgado, si las distribuciones se superponían y ambas estaban centradas en${\displaystyle \theta }$luego distribución${\displaystyle {\hat {\theta }}_{1}}$En realidad, sería el estimador imparcial preferido.

Expectativa Al observar cantidades en interés de la expectativa para la distribución del modelo hay un estimador insesgado que debe satisfacer las dos ecuaciones siguientes.

Varianza De manera similar, al observar cantidades en interés de la varianza como distribución del modelo, también existe un estimador insesgado que debe satisfacer las dos ecuaciones siguientes.

Nótese que estamos dividiendo por n  −  1 porque si dividiéramos con n obtendríamos un estimador con un sesgo negativo que produciría estimaciones demasiado pequeñas para${\displaystyle \sigma ^{2}}$También cabe mencionar que, aunque${\displaystyle S_{n}^{2}}$es imparcial para${\displaystyle \sigma ^{2}}$Lo contrario no es cierto. ^{[ 4 ]}

• El error cuadrático medio, la varianza y el sesgo están relacionados:${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},}$Es decir, el error cuadrático medio = varianza + cuadrado del sesgo. En particular, para un estimador insesgado, la varianza es igual al error cuadrático medio.
• La desviación estándar de un estimador${\displaystyle {\widehat {\theta }}}$de${\displaystyle \theta }$(la raíz cuadrada de la varianza), o una estimación de la desviación estándar de un estimador${\displaystyle {\widehat {\theta }}}$de${\displaystyle \theta }$, se denomina error estándar de${\displaystyle {\widehat {\theta }}}$.
• La compensación entre sesgo y varianza se utilizará en la complejidad del modelo, el sobreajuste y el subajuste. Se emplea principalmente en el campo del aprendizaje supervisado y el modelado predictivo para diagnosticar el rendimiento de los algoritmos.

Consideremos una variable aleatoria que sigue una distribución de probabilidad normal.${\displaystyle X\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$y un estimador sesgado de la media${\displaystyle \mu =\theta }$de esa distribución $${\displaystyle {\hat {\theta }}(X)={\bar {X}}_{n}+B={\frac {1}{n}}\sum _{i=1}^{n}X_{i}+B,}$$ dónde${\displaystyle B}$sigue una distribución degenerada , es decir${\displaystyle P(B=b)=1}$, de tal manera que $${\displaystyle \mathrm {E} [{\hat {\theta }}(X)]=\mathrm {E} [{\bar {X}}_{n}]+\mathrm {E} [B]=\mu +b,}$$$${\displaystyle \mathrm {B} ({\hat {\theta }}(X))=b,}$$$${\displaystyle {\begin{aligned}\mathrm {Var} ({\hat {\theta }}(X))&=\mathrm {E} [({\bar {X}}_{n}+B-\mu -b)^{2}]\\[2ex]&={\color [rgb]{0.12156862745098039,0.4666666666666667,0.7058823529411765}\mathrm {E} [({\bar {X}}_{n}-\mu )^{2}]}+{\color [rgb]{1,0.4980392156862745,0.054901960784313725}\mathrm {E} [(B-b)^{2}]}+{\color [rgb]{0.17254901960784313,0.6274509803921569,0.17254901960784313}2\mathrm {E} [({\bar {X}}_{n}-\mu )(B-b)]}\\[2ex]&={\color [rgb]{0.12156862745098039,0.4666666666666667,0.7058823529411765}\mathrm {Var} ({\bar {X}}_{n}-\mu )+\mathrm {E} [({\bar {X}}_{n}-\mu )^{2}]}+{\color [rgb]{1,0.4980392156862745,0.054901960784313725}\mathrm {Var} (B-b)+\mathrm {E} [(B-b)^{2}]}\\[0.5ex]&\qquad {}+{\color [rgb]{0.17254901960784313,0.6274509803921569,0.17254901960784313}2\underbrace {\mathrm {Cov} ({\bar {X}}_{n}-\mu ,B-b)} _{|\cdots |^{2}\leqslant \mathrm {Var} ({\bar {X}}_{n}-\mu )\mathrm {Var} (B-b)=0}+2\mathrm {E} [{\bar {X}}_{n}-\mu ]\mathrm {E} [B-b]}\\&={\frac {\sigma ^{2}}{n}},\end{aligned}}}$$ donde todos los términos son cero excepto${\displaystyle \mathrm {Var} ({\bar {X}}_{n}-\mu )=\mathrm {Var} ({\bar {X}}_{n})={\frac {\sigma ^{2}}{n}}}$utilizando la fórmula de Bienaymé y $${\displaystyle \mathrm {MSE} ({\hat {\theta }}(X))=\mathrm {E} [({\bar {X}}_{n}+B-\mu )^{2}]=\mathrm {E} [({\bar {X}}_{n}-\mu )^{2}]+\mathrm {E} [B^{2}]={\frac {\sigma ^{2}}{n}}+b^{2}.}$$ Verificamos la relación entre el error cuadrático medio, la varianza y el sesgo. A continuación se ilustran las propiedades cuantificadas de la estimación de la media de la distribución de probabilidad, tomando como referencia${\displaystyle \mu =0}$,${\displaystyle \sigma =1}$y${\displaystyle b=1/2}$.

Función de densidad de probabilidad${\displaystyle \phi }$de la distribución normal estándar (azul) con una muestra${\displaystyle \{x_{i}\}_{n}}$de${\displaystyle n=10}$valores (${\displaystyle {\color [rgb]{1,0.4980392156862745,0.054901960784313725}\bullet }}$) y la estimación asociada${\displaystyle {\hat {\theta }}(\{x_{i}\}_{n})}$(${\displaystyle {\color [rgb]{0.17254901960784313,0.6274509803921569,0.17254901960784313}\blacksquare }}$). La media${\displaystyle \theta =0}$de la distribución original y la media${\displaystyle \mathrm {E} ({\hat {\theta }})=1/2}$También se muestran los valores del estimador (que son la media de su distribución muestral, véase la imagen de la derecha), junto con el error.${\displaystyle e}$y desviación de muestreo${\displaystyle d}$.

Distribución muestral del estimador${\displaystyle {\hat {\theta }}(X)}$con media, varianza (cuadrado del error estándar ) y error cuadrático medio. En rojo se muestra la distribución exacta conocida cuando la distribución original es normal y el estimador es la media muestral (sesgada). En verde se muestra el histograma de 20 000 estimaciones. El histograma converge a la distribución exacta en el límite de muestras infinitas. Cabe destacar que, para un número dado de estimaciones, el teorema del límite central garantiza que la distribución de la estimación de la media muestral (sesgada) también converge a la distribución exacta en el límite de tamaño de muestra infinito.

Un estimador consistente es aquel cuya secuencia de estimaciones converge en probabilidad a la cantidad que se está estimando a medida que el índice (generalmente el tamaño de la muestra ) crece indefinidamente. En otras palabras, aumentar el tamaño de la muestra incrementa la probabilidad de que el estimador se aproxime al parámetro poblacional.

Matemáticamente, un estimador es un estimador consistente para el parámetro${\displaystyle \theta }$, si y solo si para la secuencia de estimaciones${\displaystyle \{t_{n}:n\in \mathbb {N} \}}$y para todos${\displaystyle \varepsilon >0}$, por muy pequeños que sean, tenemos $${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|\leq \varepsilon \right\}=1.}$$La consistencia definida anteriormente puede denominarse consistencia débil. La sucesión es fuertemente consistente si converge casi con seguridad al valor verdadero.

Un estimador que converge a un múltiplo de un parámetro puede convertirse en un estimador consistente multiplicándolo por un factor de escala , es decir, el valor verdadero dividido por el valor asintótico del estimador. Esto ocurre con frecuencia en la estimación de parámetros de escala mediante medidas de dispersión estadística .

Un estimador puede considerarse consistente en el sentido de Fisher siempre que sea el mismo funcional de la función de distribución empírica que la función de distribución verdadera. Siguiendo la fórmula: $${\displaystyle {\widehat {\theta }}=h(T_{n}),\theta =h(T_{\theta })}$$ Dónde${\displaystyle T_{n}}$y${\displaystyle T_{\theta }}$son la función de distribución empírica y la función de distribución teórica, respectivamente. Un ejemplo sencillo para comprobar si un estimador es consistente con Fisher es verificar la consistencia de la media y la varianza. Por ejemplo, para comprobar la consistencia de la media${\displaystyle {\widehat {\mu }}={\bar {X}}}$y para comprobar la varianza confirme que${\displaystyle {\widehat {\sigma }}^{2}=SSD/n}$. ^{[ 5 ]}

Un estimador asintóticamente normal es un estimador consistente cuya distribución alrededor del parámetro verdadero${\displaystyle \theta }$se aproxima a una distribución normal con desviación estándar que disminuye en proporción a${\displaystyle 1/{\sqrt {n}}}$como tamaño de la muestra${\displaystyle n}$crece. Usando${\displaystyle {\xrightarrow {D}}}$para denotar convergencia en distribución , un estimador${\displaystyle t_{n}}$es asintóticamente normal si $${\displaystyle {\sqrt {n}}(t_{n}-\theta )\ \xrightarrow {D} \ N(0,V),}$$ para algunos${\displaystyle V}$.

En esta formulación${\displaystyle V/n}$puede denominarse la varianza asintótica del estimador. Sin embargo, algunos autores también la denominan${\displaystyle V}$la varianza asintótica . ^{[ 6 ]} Nótese que la convergencia no necesariamente habrá ocurrido para ningún valor finito.${\displaystyle n}$, por lo tanto, este valor es solo una aproximación a la verdadera varianza del estimador, mientras que en el límite la varianza asintótica${\displaystyle V/n}$es simplemente cero. En particular, la distribución del estimador${\displaystyle t_{n}}$converge débilmente a una función delta de Dirac centrada en${\displaystyle \theta }$.

Bajo condiciones leves sobre la distribución de los datos, el teorema del límite central implica la normalidad asintótica de la media muestral.${\displaystyle {\bar {X}}}$como estimador de la media verdadera. En términos más generales, los estimadores de máxima verosimilitud son asintóticamente normales bajo condiciones de regularidad bastante débiles (véase la sección de asintótica del artículo sobre máxima verosimilitud). Sin embargo, no todos los estimadores son asintóticamente normales; los ejemplos más sencillos se dan cuando el valor verdadero de un parámetro se encuentra en el límite de la región de parámetros permitida.

La eficiencia de un estimador se utiliza para estimar la cantidad de interés de manera que se minimice el error. En realidad, no existe un estimador óptimo explícito; solo puede existir un estimador mejor. Si la eficiencia de un estimador es mejor o no se basa en la elección de una función de pérdida particular , y se refleja en dos propiedades naturalmente deseables de los estimadores: ser insesgado${\displaystyle \operatorname {E} [{\widehat {\theta }}]-\theta =0}$y tener un error cuadrático medio (ECM) mínimo.${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]}$. En general, estas dos condiciones no pueden satisfacerse simultáneamente: un estimador sesgado puede tener un error cuadrático medio menor que cualquier estimador insesgado (véase sesgo del estimador ).

Esta ecuación relaciona el error cuadrático medio con el sesgo del estimador: ^{[ 4 ]}$${\displaystyle \operatorname {E} [({\widehat {\theta }}-\theta )^{2}]=\left(\operatorname {E} [{\widehat {\theta }}]-\theta \right)^{2}+\operatorname {Var} ({\widehat {\theta }})}$$El primer término representa el error cuadrático medio; el segundo término representa el cuadrado del sesgo del estimador; y el tercer término representa la varianza del estimador. La calidad del estimador se puede identificar a partir de la comparación entre la varianza, el cuadrado del sesgo del estimador o el ECM. La varianza del buen estimador (buena eficiencia) sería menor que la varianza del mal estimador (mala eficiencia). El cuadrado del sesgo de un estimador con un buen estimador sería menor que el sesgo del estimador con un mal estimador. El ECM de un buen estimador sería menor que el ECM del mal estimador. Supongamos que hay dos estimadores,${\displaystyle {\widehat {\theta }}_{1}}$es el buen estimador y${\displaystyle {\widehat {\theta }}_{2}}$es el mal estimador. La relación anterior se puede expresar mediante las siguientes fórmulas:$${\displaystyle {\begin{aligned}&\operatorname {Var} ({\widehat {\theta }}_{1})<\operatorname {Var} ({\widehat {\theta }}_{2}),\\[0.2cm]&\left|\operatorname {E} ({\widehat {\theta }}_{1})-\theta \right|<\left|\operatorname {E} ({\widehat {\theta }}_{2})-\theta \right|,\\[0.2cm]&\operatorname {MSE} ({\widehat {\theta }}_{1})<\operatorname {MSE} ({\widehat {\theta }}_{2}).\end{aligned}}}$$Además de utilizar fórmulas para identificar la eficiencia del estimador, también se puede identificar mediante un gráfico. Si un estimador es eficiente, en el gráfico de frecuencia frente a valor, habrá una curva con alta frecuencia en el centro y baja frecuencia en los extremos. Por ejemplo:

Si un estimador no es eficiente, en el gráfico de frecuencia frente a valor, habrá una curva relativamente más suave.

En pocas palabras, el buen estimador tiene una curva estrecha, mientras que el mal estimador tiene una curva ancha. Al representar gráficamente estas dos curvas con un eje Y común , la diferencia se hace más evidente.

Entre los estimadores insesgados, suele existir uno con la menor varianza, denominado estimador insesgado de varianza mínima ( MVUE ). En algunos casos, existe un estimador eficiente insesgado que, además de tener la menor varianza entre los estimadores insesgados, satisface la cota de Cramér-Rao , que es una cota inferior absoluta para la varianza de las estadísticas de una variable.

En relación con dichos "mejores estimadores insesgados", véase también la cota de Cramér-Rao , el teorema de Gauss-Markov , el teorema de Lehmann-Scheffé y el teorema de Rao-Blackwell .