estimador de error cuadrático medio mínimo

En estadística y procesamiento de señales , un estimador de mínimo error cuadrático medio ( estimador MMSE ) es un método de estimación que minimiza el error cuadrático medio (MSE), una medida común de la calidad del estimador, de los valores ajustados de una variable dependiente . En el contexto bayesiano , MMSE se refiere más específicamente a la estimación con una función de pérdida cuadrática . En este caso, el estimador MMSE viene dado por la media posterior del parámetro a estimar. Dado que la media posterior es difícil de calcular, la forma del estimador MMSE suele estar restringida a una determinada clase de funciones. Los estimadores MMSE lineales son una opción popular debido a su facilidad de uso, cálculo y versatilidad. Esto ha dado lugar a muchos estimadores populares, como el filtro de Wiener-Kolmogorov y el filtro de Kalman .

El término MMSE se refiere más específicamente a la estimación en un entorno bayesiano con una función de coste cuadrática. La idea básica del enfoque bayesiano para la estimación surge de situaciones prácticas en las que a menudo disponemos de información previa sobre el parámetro a estimar. Por ejemplo, podemos tener información previa sobre el rango que puede tomar el parámetro; o podemos tener una estimación anterior del parámetro que queremos modificar cuando se dispone de una nueva observación; o las estadísticas de una señal aleatoria real, como el habla. Esto contrasta con el enfoque no bayesiano, como el estimador insesgado de mínima varianza (MVUE), donde no se asume que se conozca absolutamente nada sobre el parámetro de antemano y que no tiene en cuenta tales situaciones. En el enfoque bayesiano, dicha información previa se captura mediante la función de densidad de probabilidad previa de los parámetros; y, basándose directamente en el teorema de Bayes , nos permite realizar mejores estimaciones posteriores a medida que se dispone de más observaciones. Así, a diferencia del enfoque no bayesiano, donde se asume que los parámetros de interés son deterministas pero constantes desconocidas, el estimador bayesiano busca estimar un parámetro que es en sí mismo una variable aleatoria . Además, la estimación bayesiana también puede abordar situaciones en las que la secuencia de observaciones no es necesariamente independiente. Por lo tanto, la estimación bayesiana proporciona otra alternativa al MVUE. Esto resulta útil cuando el MVUE no existe o no se puede encontrar.

Dejar${\displaystyle x}$ser un${\displaystyle n\times 1}$variable vectorial aleatoria oculta, y deje que${\displaystyle y}$ser un${\displaystyle m\times 1}$Variable vectorial aleatoria conocida (la medición u observación), ambas no necesariamente de la misma dimensión. Un estimador${\displaystyle {\hat {x}}(y)}$de${\displaystyle x}$es cualquier función de la medición${\displaystyle y}$El vector de error de estimación viene dado por${\displaystyle e={\hat {x}}-x}$y su error cuadrático medio (ECM) viene dado por la traza de la matriz de covarianza del error.

${\displaystyle \operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},}$

donde la expectativa${\displaystyle \operatorname {E} }$es tomado${\displaystyle x}$condicionado a${\displaystyle y}$. Cuando${\displaystyle x}$es una variable escalar, la expresión MSE se simplifica a${\displaystyle \operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}}$. Tenga en cuenta que el MSE puede definirse de forma equivalente de otras maneras, ya que

${\displaystyle \operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.}$

El estimador MMSE se define entonces como el estimador que logra el MSE mínimo:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .}$

• Cuando las medias y las varianzas son finitas, el estimador MMSE está definido de forma única ^{[ 1 ]} y viene dado por:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.}$

En otras palabras, el estimador MMSE es la esperanza condicional de${\displaystyle x}$dado el valor observado conocido de las mediciones. Además, dado que${\displaystyle {\hat {x}}_{\mathrm {MMSE} }}$es la media posterior, la matriz de covarianza del error${\displaystyle C_{e}=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}}$es igual a la covarianza posterior${\displaystyle C_{X|Y}}$matriz,

${\displaystyle C_{e}=C_{X|Y}}$.

• El estimador MMSE es insesgado (bajo los supuestos de regularidad mencionados anteriormente):

${\displaystyle \operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.}$

• El estimador MMSE es asintóticamente insesgado y converge en distribución a la distribución normal:

${\displaystyle {\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),}$

dónde${\displaystyle I(x)}$es la información de Fisher de${\displaystyle x}$Por lo tanto, el estimador MMSE es asintóticamente eficiente .

• El principio de ortogonalidad : Cuando${\displaystyle x}$es un escalar, un estimador restringido a tener cierta forma${\displaystyle {\hat {x}}=g(y)}$es un estimador óptimo, es decir${\displaystyle {\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),}$si y solo si

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0}$

a pesar de${\displaystyle g(y)}$en un subespacio lineal cerrado${\displaystyle {\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}}$de las mediciones. Para vectores aleatorios, dado que el MSE para la estimación de un vector aleatorio es la suma de los MSE de las coordenadas, encontrar el estimador MMSE de un vector aleatorio se descompone en encontrar los estimadores MMSE de las coordenadas de X por separado:

${\displaystyle \operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,}$

para todo i y j . Dicho de forma más concisa, la correlación cruzada entre el error de estimación mínimo${\displaystyle {\hat {x}}_{\operatorname {MMSE} }-x}$y el estimador${\displaystyle {\hat {x}}}$debería ser cero,

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.}$

• Si${\displaystyle x}$y${\displaystyle y}$Si son conjuntamente gaussianas , entonces el estimador MMSE es lineal, es decir, tiene la forma${\displaystyle Wy+b}$para matriz${\displaystyle W}$y constante${\displaystyle b}$Esto se puede demostrar directamente utilizando el teorema de Bayes. En consecuencia, para hallar el estimador MMSE, basta con hallar el estimador MMSE lineal.

En muchos casos, no es posible determinar la expresión analítica del estimador MMSE. Dos enfoques numéricos básicos para obtener la estimación MMSE dependen de encontrar la esperanza condicional.${\displaystyle \operatorname {E} \{x\mid y\}}$o encontrar los mínimos del MSE. La evaluación numérica directa de la esperanza condicional es computacionalmente costosa, ya que a menudo requiere integración multidimensional, generalmente realizada mediante métodos de Monte Carlo . Otro enfoque computacional consiste en buscar directamente los mínimos del MSE utilizando técnicas como los métodos de descenso de gradiente estocástico ; pero este método aún requiere la evaluación de la esperanza. Si bien estos métodos numéricos han sido fructíferos, es posible obtener una expresión analítica para el estimador MMSE si estamos dispuestos a hacer algunas concesiones.

Una posibilidad es abandonar los requisitos de optimalidad total y buscar una técnica que minimice el MSE dentro de una clase particular de estimadores, como la clase de estimadores lineales. Por lo tanto, postulamos que la esperanza condicional de${\displaystyle x}$dado${\displaystyle y}$es una función lineal simple de${\displaystyle y}$,${\displaystyle \operatorname {E} \{x\mid y\}=Wy+b}$donde la medición${\displaystyle y}$es un vector aleatorio,${\displaystyle W}$es una matriz y${\displaystyle b}$es un vector. Esto puede verse como la aproximación de Taylor de primer orden de${\displaystyle \operatorname {E} \{x\mid y\}}$El estimador MMSE lineal es el estimador que logra el mínimo MSE entre todos los estimadores de esta forma. Es decir, resuelve el siguiente problema de optimización:

${\displaystyle \min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.}$

Una ventaja de este estimador MMSE lineal es que no es necesario calcular explícitamente la función de densidad de probabilidad posterior de${\displaystyle x}$. Dicho estimador lineal solo depende de los dos primeros momentos de${\displaystyle x}$y${\displaystyle y}$. Por lo tanto, aunque puede ser conveniente suponer que${\displaystyle x}$y${\displaystyle y}$Si ambas distribuciones son gaussianas, no es necesario asumir que la distribución supuesta tiene momentos de primer y segundo orden bien definidos. La forma del estimador lineal no depende del tipo de distribución subyacente supuesta.

La expresión para óptimo${\displaystyle b}$y${\displaystyle W}$está dado por:

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

dónde${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$,${\displaystyle {\bar {y}}=\operatorname {E} \{y\},}$el${\displaystyle C_{XY}}$es la matriz de covarianza cruzada entre${\displaystyle x}$y${\displaystyle y}$, el${\displaystyle C_{Y}}$es la matriz de autocovarianza de${\displaystyle y}$.

Por lo tanto, la expresión para el estimador MMSE lineal, su media y su autocovarianza viene dada por

${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}},}$

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},}$

donde el${\displaystyle C_{YX}}$es la matriz de covarianza cruzada entre${\displaystyle y}$y${\displaystyle x}$.

Por último, la covarianza del error y el error cuadrático medio mínimo alcanzable por dicho estimador son:

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.}$

Modelemos además el proceso subyacente de observación como un proceso lineal:${\displaystyle y=Ax+z}$, dónde${\displaystyle A}$es una matriz conocida y${\displaystyle z}$es un vector de ruido aleatorio con la media${\displaystyle \operatorname {E} \{z\}=0}$y covarianza cruzada${\displaystyle C_{XZ}=0}$Aquí se requerirán la media y las matrices de covarianza.

${\displaystyle \operatorname {E} \{y\}=A{\bar {x}},}$

${\displaystyle C_{Y}=AC_{X}A^{T}+C_{Z},}$

${\displaystyle C_{XY}=C_{X}A^{T}.}$

Por lo tanto, la expresión para la matriz del estimador MMSE lineal${\displaystyle W}$modifica aún más a

${\displaystyle W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.}$

Poner todo en la expresión para${\displaystyle {\hat {x}}}$, obtenemos

${\displaystyle {\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

Por último, la covarianza del error es

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.}$

La diferencia significativa entre el problema de estimación tratado anteriormente y los de mínimos cuadrados y estimación de Gauss-Markov es que el número de observaciones m , (es decir, la dimensión de${\displaystyle y}$) no tiene por qué ser al menos tan grande como el número de incógnitas, n , (es decir, la dimensión de${\displaystyle x}$). La estimación para el proceso de observación lineal existe siempre que la matriz m por m${\displaystyle (AC_{X}A^{T}+C_{Z})^{-1}}$existe; este es el caso para cualquier m si, por ejemplo,${\displaystyle C_{Z}}$es definida positiva. Físicamente, la razón de esta propiedad es que, dado que${\displaystyle x}$Ahora que es una variable aleatoria, es posible formar una estimación significativa (a saber, su media) incluso sin mediciones. Cada nueva medición simplemente proporciona información adicional que puede modificar nuestra estimación original. Otra característica de esta estimación es que para m < n , no es necesario que haya error de medición. Por lo tanto, podemos tener${\displaystyle C_{Z}=0}$, porque mientras${\displaystyle AC_{X}A^{T}}$Si es definida positiva, la estimación aún existe. Por último, esta técnica puede manejar casos donde el ruido está correlacionado.

En muchas aplicaciones en tiempo real, los datos de observación no están disponibles en un único lote. En cambio, las observaciones se realizan de forma secuencial. Un posible enfoque consiste en utilizar las observaciones secuenciales para actualizar una estimación anterior a medida que se dispone de datos adicionales, lo que da lugar a estimaciones más precisas. Una diferencia crucial entre la estimación por lotes y la estimación secuencial es que esta última requiere una suposición de Markov adicional.

En el marco bayesiano, dicha estimación recursiva se facilita fácilmente utilizando la regla de Bayes. Dado${\displaystyle k}$observaciones,${\displaystyle y_{1},\ldots ,y_{k}}$, la regla de Bayes nos da la densidad posterior de${\displaystyle x_{k}}$como

${\displaystyle {\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}}$

El${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$se denomina densidad posterior,${\displaystyle p(y_{k}|x_{k})}$se denomina función de verosimilitud, y${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$es la densidad previa del k -ésimo paso de tiempo. Aquí hemos asumido la independencia condicional de${\displaystyle y_{k}}$a partir de observaciones previas${\displaystyle y_{1},\ldots ,y_{k-1}}$dado${\displaystyle x}$como

${\displaystyle p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).}$

Esta es la suposición de Markov.

La estimación MMSE${\displaystyle {\hat {x}}_{k}}$Dado que la k -ésima observación es entonces la media de la densidad posterior${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$. Con la falta de información dinámica sobre cómo el estado${\displaystyle x}$Dado que cambia con el tiempo, haremos una suposición adicional de estacionariedad sobre la distribución a priori:

${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).}$

Por lo tanto, la densidad previa para el paso de tiempo k es la densidad posterior del paso de tiempo ( k -1). Esta estructura nos permite formular un enfoque recursivo para la estimación.

En el contexto del estimador MMSE lineal, la fórmula para la estimación tendrá la misma forma que antes:${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.}$Sin embargo, las matrices de media y covarianza de${\displaystyle X}$y${\displaystyle Y}$será necesario reemplazarlos por otros de la densidad anterior.${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$y probabilidad${\displaystyle p(y_{k}|x_{k})}$, respectivamente.

Para la densidad previa${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$, su media viene dada por la estimación MMSE anterior,

${\displaystyle {\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}}$,

y su matriz de covarianza viene dada por la matriz de covarianza de error anterior,

${\displaystyle C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},}$

de acuerdo con las propiedades de los estimadores MMSE y el supuesto de estacionariedad.

De manera similar, para el proceso de observación lineal, la media de la probabilidad${\displaystyle p(y_{k}|x_{k})}$es dado por${\displaystyle {\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}}$y la matriz de covarianza es la misma que antes

${\displaystyle {\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}}$.

La diferencia entre el valor previsto de${\displaystyle Y_{k}}$, según lo dado por${\displaystyle {\bar {y}}_{k}=A{\hat {x}}_{k-1}}$y su valor observado${\displaystyle y_{k}}$da el error de predicción${\displaystyle {\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}}$, que también se denomina innovación o residuo. Es más conveniente representar el MMSE lineal en términos del error de predicción, cuya media y covarianza son${\displaystyle \mathrm {E} [{\tilde {y}}_{k}]=0}$y${\displaystyle C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}}$.

Por lo tanto, en la fórmula de actualización de la estimación, debemos reemplazar${\displaystyle {\bar {x}}}$y${\displaystyle C_{X}}$por${\displaystyle {\hat {x}}_{k-1}}$y${\displaystyle C_{e_{k-1}}}$, respectivamente. Además, deberíamos reemplazar${\displaystyle {\bar {y}}}$y${\displaystyle C_{Y}}$por${\displaystyle {\bar {y}}_{k-1}}$y${\displaystyle C_{{\tilde {Y}}_{k}}}$. Por último, reemplazamos${\displaystyle C_{XY}}$por

${\displaystyle {\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}}$

Por lo tanto, tenemos la nueva estimación como una nueva observación.${\displaystyle y_{k}}$llega como

${\displaystyle {\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}}$

y la nueva covarianza de error como

${\displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

Desde el punto de vista del álgebra lineal, para la estimación secuencial, si tenemos una estimación${\displaystyle {\hat {x}}_{1}}$basado en mediciones que generan espacio${\displaystyle Y_{1}}$Luego, tras recibir otro conjunto de mediciones, debemos restar de estas la parte que se podía prever a partir del resultado de las primeras mediciones. En otras palabras, la actualización debe basarse en la parte de los nuevos datos que es ortogonal a los datos anteriores.

El uso repetido de las dos ecuaciones anteriores a medida que se dispone de más observaciones conduce a técnicas de estimación recursivas. Las expresiones se pueden escribir de forma más compacta como

${\displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

${\displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

La matriz${\displaystyle W_{k}}$A menudo se le denomina factor de ganancia de Kalman. La formulación alternativa del algoritmo anterior dará como resultado

${\displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${\displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

La repetición de estos tres pasos a medida que se dispone de más datos da lugar a un algoritmo de estimación iterativo. La generalización de esta idea a casos no estacionarios da origen al filtro de Kalman . Los tres pasos de actualización descritos anteriormente constituyen, de hecho, el paso de actualización del filtro de Kalman.