Modelo de constelación

Weber y Welling introducen aquí el concepto de primer plano y fondo . Las partes del primer plano corresponden a una instancia de una clase de objeto objetivo, mientras que las partes del fondo corresponden a elementos distractores o detecciones falsas.

Sea T el número de diferentes tipos de partes. Las posiciones de todas las partes extraídas de una imagen se pueden representar entonces en la siguiente "matriz",

${\displaystyle X^{o}={\begin{pmatrix}x_{11},x_{12},{\cdots },x_{1N_{1}}\\x_{21},x_{22},{\cdots },x_{2N_{2}}\\\vdots \\x_{T1},x_{T2},{\cdots },x_{TN_{T}}\end{pmatrix}}}$

dónde${\displaystyle N_{i}\,}$representa el número de partes de tipo${\displaystyle i\in \{1,\dots ,T\}}$observado en la imagen. El superíndice o indica que estas posiciones son observables , en contraposición a las que faltan . Las posiciones de las partes del objeto no observadas se pueden representar mediante el vector${\displaystyle x^{m}\,}$. Supongamos que el objeto estará compuesto de${\displaystyle F\,}$partes distintas en primer plano. Para simplificar la notación, asumimos aquí que${\displaystyle F=T\,}$, aunque el modelo puede generalizarse a${\displaystyle F>T\,}$Una hipótesis${\displaystyle h\,}$entonces se define como un conjunto de índices, con${\displaystyle h_{i}=j\,}$, indicando ese punto${\displaystyle x_{ij}\,}$es un punto de primer plano en${\displaystyle X^{o}\,}$El modelo probabilístico generativo se define a través de la densidad de probabilidad conjunta.${\displaystyle p(X^{o},x^{m},h)\,}$.

El resto de esta sección resume los detalles del modelo de Weber y Welling para un modelo de un solo componente. Las fórmulas para modelos de múltiples componentes ^{[ 8 ]} son ​​extensiones de las descritas aquí.

Para parametrizar la densidad de probabilidad conjunta, Weber y Welling introducen las variables auxiliares.${\displaystyle b\,}$y${\displaystyle n\,}$, dónde${\displaystyle b\,}$es un vector binario que codifica la presencia/ausencia de partes en la detección (${\displaystyle b_{i}=1\,}$si${\displaystyle h_{i}>0\,}$, de lo contrario${\displaystyle b_{i}=0\,}$), y${\displaystyle n\,}$es un vector donde${\displaystyle n_{i}\,}$denota el número de candidatos de fondo incluidos en el${\displaystyle i^{th}}$fila de${\displaystyle X^{o}\,}$. Desde${\displaystyle b\,}$y${\displaystyle n\,}$están completamente determinados por${\displaystyle h\,}$y el tamaño de${\displaystyle X^{o}\,}$, tenemos${\displaystyle p(X^{o},x^{m},h)=p(X^{o},x^{m},h,n,b)\,}$. Por descomposición,

${\displaystyle p(X^{o},x^{m},h,n,b)=p(X^{o},x^{m}|h,n,b)p(h|n,b)p(n)p(b)\,}$

La densidad de probabilidad sobre el número de detecciones de fondo se puede modelar mediante una distribución de Poisson ,

${\displaystyle p(n)=\prod _{i=1}^{T}{\frac {1}{n_{i}!}}(M_{i})^{n_{i}}e^{-M_{i}}}$

dónde${\displaystyle M_{i}\,}$es el número promedio de detecciones de fondo de tipo${\displaystyle i\,}$por imagen.

Dependiendo del número de piezas${\displaystyle F\,}$, la probabilidad${\displaystyle p(b)\,}$puede modelarse como una tabla explícita de longitud${\displaystyle 2^{F}\,}$, o, si${\displaystyle F\,}$es grande, como${\displaystyle F\,}$probabilidades independientes, cada una de las cuales rige la presencia de una parte individual.

La densidad${\displaystyle p(h|n,b)\,}$es modelado por

${\displaystyle p(h|n,b)={\begin{cases}{\frac {1}{\textstyle \prod _{f=1}^{F}N_{f}^{b_{f}}}},&{\mbox{if }}h\in H(b,n)\\0,&{\mbox{for other }}h\end{cases}}}$

dónde${\displaystyle H(b,n)\,}$denota el conjunto de todas las hipótesis consistentes con${\displaystyle b\,}$y${\displaystyle n\,}$, y${\displaystyle N_{f}\,}$denota el número total de detecciones de piezas de tipo${\displaystyle f\,}$. Esto expresa el hecho de que todas las hipótesis consistentes, de las cuales hay${\displaystyle \textstyle \prod _{f=1}^{F}N_{f}^{b_{f}}}$, son igualmente probables en ausencia de información sobre la ubicación de las piezas.

Y finalmente,

${\displaystyle p(X^{o},x^{m}|h,n)=p_{fg}(z)p_{bg}(x_{bg})\,}$

dónde${\displaystyle z=(x^{o}x^{m})\,}$son las coordenadas de todas las detecciones de primer plano, observadas y faltantes, y${\displaystyle x_{bg}\,}$representa las coordenadas de las detecciones de fondo. Cabe señalar que se supone que las detecciones de primer plano son independientes del fondo.${\displaystyle p_{fg}(z)\,}$se modela como una gaussiana conjunta con media${\displaystyle \mu \,}$y covarianza${\displaystyle \Sigma \,}$.

El objetivo final de este modelo es clasificar las imágenes en clases "objeto presente" (clase${\displaystyle C_{1}\,}$) y "objeto ausente" (clase${\displaystyle C_{0}\,}$) dada la observación${\displaystyle X^{o}\,}$Para lograr esto, Weber y Welling ejecutan detectores de partes del paso de aprendizaje de forma exhaustiva sobre la imagen, examinando diferentes combinaciones de detecciones. Si se considera la oclusión, también se permiten combinaciones con detecciones faltantes. El objetivo es seleccionar la clase con la máxima probabilidad a posteriori, considerando la proporción.

${\displaystyle {\frac {p(C_{1}|X^{o})}{p(C_{0}|X^{o})}}\propto {\frac {\sum _{h}p(X^{o},h|C_{1})}{p(X^{o},h_{0}|C_{0})}}}$

dónde${\displaystyle h_{0}\,}$denota la hipótesis nula , que explica todas las partes como ruido de fondo. En el numerador, la suma incluye todas las hipótesis, incluida la hipótesis nula, mientras que en el denominador, la única hipótesis consistente con la ausencia de un objeto es la hipótesis nula. En la práctica, se puede definir un umbral tal que, si la razón supera dicho umbral, se considera que se ha detectado una instancia de un objeto.

Tras la fase preliminar de detección de puntos de interés, generación de características y agrupamiento, disponemos de un amplio conjunto de partes candidatas en las imágenes de entrenamiento. Para entrenar el modelo, Weber y Welling realizan primero una búsqueda voraz sobre posibles configuraciones del modelo, o, equivalentemente, sobre subconjuntos potenciales de las partes candidatas. Esto se lleva a cabo de forma iterativa, comenzando con una selección aleatoria. En iteraciones posteriores, se sustituyen aleatoriamente partes del modelo, se estiman sus parámetros y se evalúa su rendimiento. El proceso finaliza cuando ya no es posible obtener mejoras adicionales en el rendimiento del modelo.

En cada iteración, los parámetros del modelo

${\displaystyle \Theta =\{\mu ,\Sigma ,p(b),M\}\,}$

se estiman utilizando el método de maximización de la esperanza .${\displaystyle \mu \,}$y${\displaystyle \Sigma \,}$Recordemos que son la media y la covarianza de la distribución gaussiana conjunta.${\displaystyle p_{fg}(z)\,}$,${\displaystyle p(b)\,}$es la distribución de probabilidad que rige la presencia/ausencia binaria de partes, y${\displaystyle M\,}$es el número medio de detecciones de fondo en todos los tipos de piezas.

EM procede maximizando la probabilidad de los datos observados,

${\displaystyle L(X^{o}|\Theta )=\sum _{i=1}^{I}\log \sum _{h_{i}}\int p(X_{i}^{o},x_{i}^{m},h_{i}|\Theta )dx_{i}^{m}}$

con respecto a los parámetros del modelo${\displaystyle \Theta \,}$. Dado que esto es difícil de lograr analíticamente, EM maximiza iterativamente una secuencia de funciones de costo,

${\displaystyle Q({\tilde {\Theta }}|\Theta )=\sum _{i=1}^{I}E[\log p(X_{i}^{o},x_{i}^{m},h_{i}|{\tilde {\Theta }})]}$

Al derivar esto con respecto a los parámetros e igualarlo a cero, se obtienen las reglas de actualización:

${\displaystyle {\tilde {\mu }}={\frac {1}{I}}\sum _{i=1}^{I}E[z_{i}]}$

${\displaystyle {\tilde {\Sigma }}={\frac {1}{I}}\sum _{i=1}^{I}E[z_{i}z_{i}^{T}]-{\tilde {\mu }}{\tilde {\mu }}^{T}}$

${\displaystyle {\tilde {p}}({\bar {b}})={\frac {1}{I}}\sum _{i=1}^{I}E[\delta _{b,{\bar {b}}}]}$

${\displaystyle {\tilde {M}}={\frac {1}{I}}\sum _{i=1}^{I}E[n_{i}]}$

Las reglas de actualización en el paso M se expresan en términos de estadísticas suficientes ,${\displaystyle E[z]\,}$,${\displaystyle E[zz^{T}]\,}$,${\displaystyle E[\delta _{b,{\bar {b}}}]\,}$y${\displaystyle E[n]\,}$, que se calculan en el paso E considerando la densidad posterior:

${\displaystyle p(h_{i},x_{i}^{m}|X_{i}^{o},\Theta )={\frac {p(h_{i},x_{i}^{m},X_{i}^{o}|\Theta )}{\textstyle \sum _{h_{i}\in H_{b}}\int p(h_{i},x_{i}^{m},X_{i}^{o}|\Theta )dx_{i}^{m}}}}$

Mientras que el paso preliminar en el método de Weber et al. consiste en buscar las ubicaciones de los puntos de interés, Fergus et al. utilizan el detector de Kadir y Brady ^{[ 12 ]} para encontrar regiones prominentes en la imagen tanto en la ubicación (centro) como en la escala (radio). Por lo tanto, además de la información de ubicación${\displaystyle X\,}$Este método también extrae información de escala asociada.${\displaystyle S\,}$Fergus et al. luego normalizan los cuadrados que delimitan estas regiones circulares a parches de 11 x 11 píxeles, o equivalentemente, vectores de 121 dimensiones en el espacio de apariencia. Estos se reducen luego a 10-15 dimensiones mediante análisis de componentes principales , lo que proporciona la información de apariencia.${\displaystyle A\,}$.

Dado un modelo de clase de objeto particular con parámetros${\displaystyle \Theta \,}$, debemos decidir si una nueva imagen contiene o no una instancia de esa clase. Esto se logra tomando una decisión bayesiana,

${\displaystyle R={\frac {p({\mbox{Object}}|X,S,A)}{p({\mbox{No object}}|X,S,A)}}}$

${\displaystyle ={\frac {p(X,S,A|{\mbox{Object}})p({\mbox{Object}})}{p(X,S,A|{\mbox{No object}})p({\mbox{No object}})}}}$

${\displaystyle \approx {\frac {p(X,S,A|\Theta )p({\mbox{Object}})}{p(X,S,A|\Theta _{bg})p({\mbox{No object}})}}}$

dónde${\displaystyle \Theta _{bg}}$es el modelo de fondo. Esta relación se compara con un umbral.${\displaystyle T\,}$para determinar la presencia/ausencia de un objeto.

Las probabilidades se calculan de la siguiente manera:

${\displaystyle p(X,S,A|\Theta )=\sum _{h\in H}p(X,S,A,h|\Theta )=}$

${\displaystyle \sum _{h\in H}\underbrace {p(A|X,S,h,\Theta )} _{\mbox{Appearance}}\underbrace {p(X|S,h,\Theta )} _{\mbox{Shape}}\underbrace {p(S|h,\Theta )} _{\mbox{Rel. Scale}}\underbrace {p(h|\Theta )} _{\mbox{Other}}}$

Cada parte${\displaystyle p\,}$tiene una apariencia modelada por una densidad gaussiana en el espacio de apariencia, con parámetros de media y covarianza.${\displaystyle \Theta _{p}^{app}=\{c_{p},V_{p}\}}$, independientemente de las densidades de otras partes. El modelo de fondo tiene parámetros${\displaystyle \Theta _{bg}^{app}=\{c_{bg},V_{bg}\}}$Fergus et al. asumen que, dadas las características detectadas, la posición y la apariencia de esas características son independientes. Por lo tanto,${\displaystyle p(A|X,S,h,\Theta )=p(A|h,\Theta )\,}$. La relación de los términos de aparición se reduce a

${\displaystyle {\frac {p(A|X,S,h,\Theta )}{p(A|X,S,h,\Theta _{bg})}}={\frac {p(A|h,\Theta )}{p(A|h,\Theta _{bg})}}}$

${\displaystyle =\prod _{p=1}^{P}\left({\frac {G(A(h_{p})|c_{p},V_{p})}{G(A(h_{p})|c_{bg},V_{bg})}}\right)^{b_{p}}}$

Recordemos de Weber et al. que${\displaystyle h\,}$es la hipótesis para los índices de las partes en primer plano, y${\displaystyle b\,}$es el vector binario que da el estado de oclusión de cada parte en la hipótesis.

La forma se representa mediante una densidad gaussiana conjunta de las ubicaciones de las partes dentro de una hipótesis particular, después de que dichas partes se hayan transformado en un espacio invariante a la escala. Esta transformación elimina la necesidad de realizar una búsqueda exhaustiva sobre la escala. La densidad gaussiana tiene parámetros${\displaystyle \Theta ^{\mbox{shape}}=\{\mu ,\Sigma \}\,}$El modelo de fondo${\displaystyle \Theta _{bg}\,}$Se supone que es una distribución uniforme sobre la imagen, que tiene área${\displaystyle \alpha \,}$Alquiler${\displaystyle f\,}$sea ​​el número de partes en primer plano,

${\displaystyle {\frac {p(X|S,h,\Theta )}{p(X|S,h,\Theta _{bg})}}=G(X(h)|\mu ,\Sigma )\alpha ^{f}}$

La escala de cada parte${\displaystyle p\,}$En relación con un marco de referencia, se modela mediante una densidad gaussiana con parámetros${\displaystyle \Theta ^{\mbox{scale}}=\{t_{p},U_{p}\}\,}$Se supone que cada parte es independiente de las demás. El modelo de fondo${\displaystyle \Theta _{bg}\,}$asume una distribución uniforme en la escala, dentro de un rango${\displaystyle r\,}$.

${\displaystyle {\frac {p(S|h,\Theta )}{p(S|h,\Theta _{bg})}}=\prod _{p=1}^{P}G(S(h_{p})|t_{p},U_{p})^{d_{p}}r^{f}}$

${\displaystyle {\frac {p(h|\Theta )}{p(h|\Theta _{bg})}}={\frac {p_{\mbox{Poiss}}(n|M)}{p_{\mbox{Poiss}}(N|M)}}{\frac {1}{^{n}C_{r}(N,f)}}p(b|\Theta )}$

El primer factor modela el número de características detectadas mediante una distribución de Poisson con media M. El segundo factor sirve como variable de control para la variable de hipótesis. El último factor es una tabla de probabilidad para todos los posibles patrones de oclusión.

La tarea de aprender los parámetros del modelo${\displaystyle \Theta =\{\mu ,\Sigma ,c,V,M,p(b|\Theta ),t,U\}\,}$Esto se logra mediante la maximización de la expectativa . Se lleva a cabo con un espíritu similar al de Weber et al. Los detalles y las fórmulas para el paso E y el paso M se pueden encontrar en la literatura. ^{[ 11 ]}