El ejemplo de Stein

En la teoría de la decisión y la teoría de la estimación , el ejemplo de Stein (también conocido como fenómeno de Stein o paradoja de Stein ) es la observación de que cuando se estiman tres o más parámetros simultáneamente, existen estimadores combinados más precisos en promedio (es decir, con un menor error cuadrático medio esperado ) que cualquier método que maneje los parámetros por separado. Recibe su nombre de Charles Stein, de la Universidad de Stanford , quien descubrió el fenómeno en 1955. ^{[ 1 ]}

Una explicación intuitiva es que optimizar el error cuadrático medio de un estimador combinado no es lo mismo que optimizar los errores de los estimadores separados de los parámetros individuales. En la práctica, si el error combinado es de interés, entonces se debe usar un estimador combinado, incluso si los parámetros subyacentes son independientes. Si, en cambio, se busca estimar un parámetro individual, entonces usar un estimador combinado no ayuda y, de hecho, resulta contraproducente.

La siguiente es la forma más simple de la paradoja, el caso especial en el que el número de observaciones es igual al número de parámetros a estimar. Sea${\displaystyle {\boldsymbol {\theta }}}$sea ​​un vector que consta de${\displaystyle n\geq 3}$parámetros desconocidos. Para estimar estos parámetros, se requiere una sola medición.${\displaystyle X_{i}}$se realiza para cada parámetro${\displaystyle \theta _{i}}$, lo que resulta en un vector${\displaystyle \mathbf {X} }$de longitud${\displaystyle n}$Supongamos que se sabe que las mediciones son variables aleatorias gaussianas independientes , con media${\displaystyle {\boldsymbol {\theta }}}$y varianza 1, es decir,${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\theta }},\mathbf {I} _{n})}$Por lo tanto, cada parámetro se estima utilizando una única medición ruidosa, y cada medición es igualmente imprecisa.

En estas condiciones, es intuitivo y común utilizar cada medición como una estimación de su parámetro correspondiente. Esta regla de decisión denominada "ordinaria" se puede escribir como${\displaystyle {\hat {\boldsymbol {\theta }}}=\mathbf {X} }$, que es el estimador de máxima verosimilitud (EMV). La calidad de dicho estimador se mide por su función de riesgo . Una función de riesgo comúnmente utilizada es el error cuadrático medio , definido como${\displaystyle \mathbb {E} [\|{\boldsymbol {\theta }}-{\hat {\boldsymbol {\theta }}}\|^{2}]}$Sorprendentemente, resulta que la regla de decisión "ordinaria" es subóptima ( inadmisible ) en términos de error cuadrático medio cuando${\displaystyle n\geq 3}$. En otras palabras, en el contexto aquí analizado, existen estimadores alternativos que siempre logran un menor error cuadrático medio, independientemente del valor de${\displaystyle {\boldsymbol {\theta }}}$es. Para un dado${\displaystyle {\boldsymbol {\theta }}}$Obviamente se podría definir un "estimador" perfecto que siempre es simplemente${\displaystyle {\boldsymbol {\theta }}}$, pero este estimador sería malo para otros valores de${\displaystyle {\boldsymbol {\theta }}}$.

Los estimadores de la paradoja de Stein son, para un dado${\displaystyle {\boldsymbol {\theta }}}$mejor que la regla de decisión "ordinaria"${\displaystyle \mathbf {X} }$para algunos${\displaystyle \mathbf {X} }$pero necesariamente peor para los demás. Solo en promedio son mejores. Más precisamente, un estimador${\displaystyle {\sombrero {\boldsymbol {\theta }}}_{1}}$Se dice que domina a otro estimador.${\displaystyle {\sombrero {\boldsymbol {\theta }}}_{2}}$si, para todos los valores de${\displaystyle {\boldsymbol {\theta }}}$, el riesgo de${\displaystyle {\sombrero {\boldsymbol {\theta }}}_{1}}$es menor o igual que el riesgo de${\displaystyle {\sombrero {\boldsymbol {\theta }}}_{2}}$y si la desigualdad es estricta para algún${\displaystyle {\boldsymbol {\theta }}}$Se dice que un estimador es admisible si ningún otro estimador lo domina; de lo contrario, es inadmisible . Por lo tanto, el ejemplo de Stein se puede enunciar simplemente de la siguiente manera: La regla de decisión "ordinaria" de la media de una distribución gaussiana multivariada es inadmisible bajo el riesgo de error cuadrático medio.

Muchos estimadores simples y prácticos logran un mejor rendimiento que la regla de decisión "ordinaria". El ejemplo más conocido es el estimador de James-Stein , que reduce${\displaystyle \mathbf {X} }$hacia un punto particular (como el origen) en una cantidad inversamente proporcional a la distancia de${\displaystyle \mathbf {X} }$a partir de ese punto. Para un esbozo de la demostración de este resultado, véase Demostración del ejemplo de Stein . Una demostración alternativa se debe a Larry Brown : demostró que el estimador ordinario para un${\displaystyle n}$El vector de media normal multivariante de dimensión es admisible si y solo si el${\displaystyle n}$El movimiento browniano de dimensión es recurrente. ^{[ 2 ]} Dado que el movimiento browniano no es recurrente para${\displaystyle n\geq 3}$, el MLE no es admisible para${\displaystyle n\geq 3}$.

Para cualquier valor particular de${\displaystyle {\boldsymbol {\theta }}}$El nuevo estimador mejorará al menos uno de los errores cuadráticos medios individuales.${\displaystyle \mathbb {E} [(\theta _{i}-{\hat {\theta }}_{i})^{2}].}$Esto no es difícil, por ejemplo, si${\displaystyle {\boldsymbol {\theta }}}$está entre −1 y 1, y${\displaystyle \sigma =1}$, entonces un estimador que se contrae linealmente${\displaystyle \mathbf {X} }$hacia 0 por 0,5 (es decir,${\displaystyle \operatorname {sign} (X_{i})\max(|X_{i}|-0.5,0)}$, umbralización suave con umbral${\displaystyle 0.5}$) tendrá un error cuadrático medio menor que${\displaystyle \mathbf {X} }$en sí mismo. Pero hay otros valores de${\displaystyle {\boldsymbol {\theta }}}$para los cuales este estimador es peor que${\displaystyle \mathbf {X} }$mismo. El truco del estimador de Stein, y otros que producen la paradoja de Stein, es que ajustan el desplazamiento de tal manera que siempre hay (para cualquier${\displaystyle {\boldsymbol {\theta }}}$vector) al menos uno${\displaystyle X_{i}}$cuyo error cuadrático medio se mejora, y su mejora compensa con creces cualquier degradación en el error cuadrático medio que pudiera ocurrir para otro${\displaystyle {\hat {\theta }}_{i}}$El problema es que, sin saberlo${\displaystyle {\boldsymbol {\theta }}}$, no sabes cuál de los${\displaystyle n}$Los errores cuadráticos medios mejoran, por lo que no se puede utilizar el estimador de Stein únicamente para esos parámetros.

Un ejemplo de la configuración anterior se da en la estimación de canales en telecomunicaciones, por ejemplo, porque diferentes factores afectan al rendimiento general del canal.

El ejemplo de Stein resulta sorprendente, ya que la regla de decisión "ordinaria" es intuitiva y de uso común. De hecho, numerosos métodos para la construcción de estimadores, incluyendo la estimación de máxima verosimilitud , la mejor estimación lineal insesgada , la estimación de mínimos cuadrados y la estimación equivariante óptima , dan como resultado el estimador "ordinario". Sin embargo, como se mencionó anteriormente, este estimador es subóptimo.

La función de riesgo de una regla de decisión${\displaystyle d(\mathbf {x} )=\mathbf {x} }$es

${\displaystyle R(\theta ,d)=\operatorname {E} _{\theta }[|{\boldsymbol {\theta }}-\mathbf {X} |^{2}]}$

${\displaystyle =\int ({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{(-1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx}$

${\displaystyle =n.}$

Ahora consideremos la regla de decisión.

${\displaystyle d'(\mathbf {x} )=\mathbf {x} -{\frac {\alpha }{|\mathbf {x} |^{2}}}\mathbf {x} ,}$

dónde${\displaystyle \alpha =n-2}$Demostraremos que${\displaystyle d'}$es una mejor regla de decisión que${\displaystyle d}$La función de riesgo es

${\displaystyle R(\theta ,d')=\operatorname {E} _{\theta }\left[\left|\mathbf {\theta -X} +{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} \right|^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}+2(\mathbf {\theta -X} )^{T}{\frac {\alpha }{|\mathbf {X} |^{2}}}\mathbf {X} +{\frac {\alpha ^{2}}{|\mathbf {X} |^{4}}}|\mathbf {X} |^{2}\right]}$

${\displaystyle =\operatorname {E} _{\theta }\left[|\mathbf {\theta -X} |^{2}\right]+2\alpha \operatorname {E} _{\theta }\left[{\frac {\mathbf {(\theta -X)} ^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right],}$

que es cuadrática en${\displaystyle \alpha }$Podemos simplificar el término medio considerando una función general "bien comportada".${\displaystyle h:\mathbf {x} \mapsto h(\mathbf {x} )\in \mathbb {R} }$y utilizando la integración por partes . Para${\displaystyle 1\leq i\leq n}$, para cualquier continuamente diferenciable${\displaystyle h}$creciendo lo suficientemente lento para grandes${\displaystyle x_{i}}$tenemos:

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)]=\int (\theta _{i}-x_{i})h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}}$

${\displaystyle =\left[h(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}\right]_{x_{i}=-\infty }^{\infty }-\int {\frac {\partial h}{\partial x_{i}}}(\mathbf {x} )\left({\frac {1}{2\pi }}\right)^{n/2}e^{-(1/2)({\boldsymbol {\theta }}-\mathbf {x} )^{T}({\boldsymbol {\theta }}-\mathbf {x} )}dx_{i}}$

${\displaystyle =-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\mid X_{j}=x_{j}(j\neq i)\right].}$

Por lo tanto,

${\displaystyle \operatorname {E} _{\theta }[(\theta _{i}-X_{i})h(\mathbf {X} )]=-\operatorname {E} _{\theta }\left[{\frac {\partial h}{\partial x_{i}}}(\mathbf {X} )\right].}$

(Este resultado se conoce como el lema de Stein ). Ahora, elegimos

${\displaystyle h(\mathbf {x} )={\frac {x_{i}}{|\mathbf {x} |^{2}}}.}$

Si${\displaystyle h}$Si cumpliera la condición de "buen comportamiento" (no la cumple, pero esto se puede remediar; véase más abajo), tendríamos

${\displaystyle {\frac {\partial h}{\partial x_{i}}}={\frac {1}{|\mathbf {x} |^{2}}}-{\frac {2x_{i}^{2}}{|\mathbf {x} |^{4}}}}$

y entonces

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {({\boldsymbol {\theta }}-\mathbf {X} )^{T}\mathbf {X} }{|\mathbf {X} |^{2}}}\right]=\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[(\theta _{i}-X_{i}){\frac {X_{i}}{|\mathbf {X} |^{2}}}\right]}$

${\displaystyle =-\sum _{i=1}^{n}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}-{\frac {2X_{i}^{2}}{|\mathbf {X} |^{4}}}\right]}$

${\displaystyle =-(n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

Luego, volviendo a la función de riesgo de${\displaystyle d'}$:

${\displaystyle R(\theta ,d')=n-2\alpha (n-2)\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]+\alpha ^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right].}$

Esta ecuación cuadrática en${\displaystyle \alpha }$se minimiza en${\displaystyle \alpha =n-2}$, donación

${\displaystyle R(\theta ,d')=R(\theta ,d)-(n-2)^{2}\operatorname {E} _{\theta }\left[{\frac {1}{|\mathbf {X} |^{2}}}\right]}$

lo cual, por supuesto, satisface${\displaystyle R(\theta ,d')<R(\theta ,d).}$haciendo${\displaystyle d}$una regla de decisión inadmisible.

Queda por justificar el uso de

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{|\mathbf {X} |^{2}}}.}$

Esta función no es continuamente diferenciable, ya que es singular en${\displaystyle \mathbf {x} =0}$. Sin embargo, la función

${\displaystyle h(\mathbf {X} )={\frac {\mathbf {X} }{\varepsilon +|\mathbf {X} |^{2}}}}$

es continuamente diferenciable, y después de seguir el álgebra y dejar${\displaystyle \varepsilon \to 0}$Se obtiene el mismo resultado.

• Estimador de James-Stein

• Lehmann, EL ; Casella, G. (1998), "cap. 5", Teoría de la estimación puntual (2.ª  ed.), ISBN 0-471-05849-1
• Stein, C. (1956). "Inadmisibilidad del estimador usual para la media de una distribución multivariada" . Actas del Tercer Simposio de Berkeley sobre Estadística Matemática y Probabilidad . Vol.  1. págs. 197–206 . MR 0084922 .  
• Samworth, RJ (2012), "La paradoja de Stein" ( PDF) , Eureka , 62 : 38–41