Mapa de prominencia

Los mapas de prominencia tienen aplicaciones en una variedad de problemas diferentes. Algunas aplicaciones generales:

La estimación de prominencia puede considerarse un ejemplo de segmentación de imágenes . En visión artificial , la segmentación de imágenes es el proceso de dividir una imagen digital en múltiples segmentos (conjuntos de píxeles, también conocidos como superpíxeles ). El objetivo de la segmentación es simplificar o modificar la representación de una imagen para que sea más significativa y fácil de analizar. La segmentación de imágenes se utiliza habitualmente para localizar objetos y contornos (líneas, curvas, etc.) en las imágenes. Más precisamente, la segmentación de imágenes consiste en asignar una etiqueta a cada píxel de una imagen, de modo que los píxeles con la misma etiqueta compartan ciertas características. ^{[ 12 ]}

En OpenCV se implementan tres formas de algoritmos clásicos de estimación de prominencia :

• Relevancia estática: Se basa en las características y estadísticas de la imagen para localizar las regiones de interés de la misma.
• Relevancia del movimiento: Se basa en el movimiento en un video, detectado mediante el flujo óptico . Los objetos que se mueven se consideran relevantes.
• Detección de objetos: La detección de objetos refleja la probabilidad de que una ventana de imagen cubra un objeto. Estos algoritmos generan un conjunto de cuadros delimitadores que indican dónde podría ubicarse un objeto en una imagen.

Además de los enfoques clásicos, los basados ​​en redes neuronales también son populares. Existen ejemplos de redes neuronales para la estimación de la prominencia del movimiento:

• TASED-Net : Consta de dos bloques básicos. Primero, la red codificadora extrae características espaciotemporales de baja resolución, y luego la red de predicción subsiguiente decodifica las características codificadas espacialmente mientras agrega toda la información temporal.
• STRA-Net : Hace hincapié en dos cuestiones esenciales. Primero, las características espaciotemporales integradas mediante el acoplamiento de la apariencia y el flujo óptico , y luego la prominencia multiescala aprendida mediante un mecanismo de atención .
• STAViS : Combina información visual y auditiva espaciotemporal. Este enfoque emplea una única red neuronal que aprende a localizar fuentes sonoras y a fusionar las dos características para obtener un mapa de relevancia final.

Existe una nueva saliencia estática en la literatura denominada sensibilidad a la distorsión visual. ^{[ 13 ]} Se basa en la idea de que los bordes reales, es decir, los contornos de los objetos, son más prominentes que otras regiones con texturas complejas. Detecta los bordes de una manera diferente a los algoritmos clásicos de detección de bordes . Utiliza un umbral bastante pequeño para las magnitudes del gradiente para considerar la mera presencia de los gradientes. Así, obtiene 4 mapas binarios para las direcciones vertical, horizontal y dos diagonales. Se aplican operaciones morfológicas de cierre y apertura a las imágenes binarias para cerrar los pequeños huecos. Para eliminar las formas similares a manchas, utiliza la transformada de distancia . Después de todo, los grupos de píxeles conectados son bordes (o contornos) individuales. Se utiliza un umbral del tamaño del conjunto de píxeles conectados para determinar si un bloque de imagen contiene un borde perceptible (región prominente) o no.

Primero, debemos calcular la distancia de cada píxel al resto de píxeles en el mismo fotograma:

${\displaystyle \mathrm {SALS} (I_{k})=\sum _{i=1}^{N}|I_{k}-I_{i}|}$

${\displaystyle I_{i}}$es el valor del píxel${\displaystyle i}$, en el rango de [0,255]. La siguiente ecuación es la forma expandida de esta ecuación.

SALS( I _k ) = | I _k - I ₁ | + | I _k - I ₂ | + ... + | I _k - I _N |

Donde N es el número total de píxeles en el fotograma actual. Entonces podemos reestructurar aún más nuestra fórmula. Agrupamos los valores que tienen la misma I.

SALS( I _k ) = Σ F _n × | I _k - I _n |

Donde F _n es la frecuencia de I _n . Y el valor de n pertenece a [0,255]. Las frecuencias se expresan en forma de histograma , y el tiempo de cálculo del histograma es ⁠${\displaystyle O(N)}$complejidad temporal .

para k = 2 : 1 : 13 % lo que significa del fotograma 2 al 13, y en cada bucle el valor de K aumenta uno. I = imread ( currentfilename ); % lee el fotograma actual I1 = im2single ( I ); % convierte la imagen doble en simple (requisito del comando vlslic) l = imread ( previousfilename ); % lee el fotograma anterior I2 = im2single ( l ); regionSize = 10 ; % establece el parámetro de SLIC esta configuración de parámetros son el resultado experimental. RegionSize significa el tamaño del superpíxel. regularizer = 1 ; % establece el parámetro de SLIC segments1 = vl_slic ( I1 , regionSize , regularizer ); % obtiene el superpíxel del fotograma actual segments2 = vl_slic ( I2 , regionSize , regularizer ); % obtiene el superpíxel del fotograma anterior numsuppix = max ( segments1 (:)); % Obtener el número de superpíxeles. Toda la información sobre superpíxeles se encuentra en este enlace [http://www.vlfeat.org/overview/slic.html] regstats1 = regionprops ( segments1 , ' all ' ); regstats2 = regionprops ( segments2 , ' all ' ); % Obtener la característica de la región basada en segments1

% Primero, calculamos la distancia del valor de cada píxel. % Este es nuestro código principal para i = 1 : 1 : spnum1 % Desde el primer píxel hasta el último. Y en cada bucle i++ para j = 1 : 1 : spnum2 % Desde el primer píxel hasta el último. j++. fotograma anterior centredist ( i : j ) = suma (( centro ( i ) - centro ( j ))); % calcular la distancia del centro fin fin

para i = 1 : 1 : spnum1 % Desde el primer píxel del fotograma actual hasta el último píxel. I ++ para j = 1 : 1 : spnum2 % Desde el primer píxel del fotograma anterior hasta el último píxel. J++ posdiff ( i , j ) = sum (( regstats1 ( j ). Centroid ' - mupwtd (:, i ))); % Calcular la distancia de color. fin fin

Diferencia en los algoritmos

La principal diferencia entre la función uno y la dos radica en la función de contracción. Si spnum1 y spnum2 representan el número de píxel del fotograma actual, esta función de contracción corresponde a la primera función de prominencia. Si spnum1 es el número de píxel del fotograma actual y spnum2 representa el número de píxel del fotograma anterior, esta función de contracción corresponde a la segunda función de prominencia. Si utilizamos la segunda función de contracción, que emplea el píxel del mismo fotograma para obtener la distancia al centro y generar un mapa de prominencia, aplicamos esta función a cada fotograma y restamos el mapa de prominencia del fotograma anterior al mapa de prominencia del fotograma actual para obtener una nueva imagen, que es el nuevo resultado de prominencia de la tercera función.