Segmentación de imágenes

En el procesamiento de imágenes digitales y la visión por computadora , la segmentación de imágenes es el proceso de dividir una imagen digital en múltiples segmentos , también conocidos como regiones u objetos de imagen ( conjuntos de píxeles ). El objetivo de la segmentación es simplificar o cambiar la representación de una imagen para que sea más significativa y fácil de analizar. ^{[ 1 ] [ 2 ]} La segmentación de imágenes se utiliza típicamente para localizar objetos y límites (líneas, curvas, etc.) en imágenes. Más precisamente, la segmentación de imágenes es el proceso de asignar una etiqueta a cada píxel de una imagen, de manera que los píxeles con la misma etiqueta compartan ciertas características.

El resultado de la segmentación de imágenes es un conjunto de segmentos que cubren colectivamente toda la imagen, o un conjunto de contornos extraídos de la imagen (véase detección de bordes ). Cada uno de los píxeles de una región es similar con respecto a alguna característica o propiedad calculada, ^{[ 3 ]} como el color , la intensidad o la textura . Las regiones adyacentes son significativamente diferentes con respecto a la misma(s) característica(s). ^{[ 1 ]} Cuando se aplica a una pila de imágenes, típica en imágenes médicas , los contornos resultantes después de la segmentación de imágenes se pueden usar para crear reconstrucciones 3D con la ayuda de algoritmos de reconstrucción geométrica como marching cubes . ^{[ 4 ]}

Algunas de las aplicaciones prácticas de la segmentación de imágenes son:

• Recuperación de imágenes basada en contenido ^{[ 5 ]}
• visión artificial
• Imágenes médicas , ^{[ 6 ] [ 7 ]} y estudios de imágenes en investigación biomédica, incluyendo imágenes renderizadas volumétricas de tomografía computarizada , imágenes por resonancia magnética , así como técnicas de microscopía electrónica volumétrica como FIB-SEM. ^{[ 8 ]}
  • Localizar tumores y otras patologías ^{[ 9 ] [ 10 ]}
  • Medir volúmenes de tejido ^{[ 11 ] [ 12 ]}
  • Diagnóstico, estudio de la estructura anatómica ^{[ 13 ]}
  • Planificación de la cirugía
  • Simulación de cirugía virtual
  • Navegación intraoperatoria
  • Radioterapia ^{[ 14 ]}
  • Patología Digital e Histopatología . La segmentación de instancias de núcleos en imágenes de portaobjetos completos (WSI) teñidas de diversas maneras se refiere a la delineación automática de los bordes de los núcleos de células individuales. Esta tarea es un subproblema especializado de la segmentación de instancias, con gran importancia práctica en la investigación biomédica y el diagnóstico (por ejemplo, recuento celular, extracción de características morfométricas, clasificación de tumores, extracción de biomarcadores pronósticos). ^{[ 15 ]} El enfoque moderno para el problema es el uso de arquitecturas de aprendizaje profundo desarrolladas para abarcar los principales desafíos de separar núcleos superpuestos o fusionados. ^{[ 16 ] [ 17 ] [ 18 ]} La disponibilidad de pocos conjuntos de datos anotados por humanos plantea otro desafío para el problema. ^{[ 19 ] [ 20 ] [ 21 ]}
• Detección de objetos ^{[ 22 ]}
  • Detección de peatones
  • detección facial
  • detección de luz de freno
  • Localiza objetos en imágenes satelitales (carreteras, bosques, cultivos, etc.).
• Tareas de reconocimiento
  • Reconocimiento facial
  • reconocimiento de huellas dactilares
  • reconocimiento de iris
  • Artículos prohibidos en los controles de seguridad del aeropuerto.
• Sistemas de control de tráfico
• Videovigilancia
• Cosegmentación de objetos de vídeo y localización de acciones ^{[ 23 ] [ 24 ]}

Se han desarrollado diversos algoritmos y técnicas de propósito general para la segmentación de imágenes. Para que sean útiles, estas técnicas generalmente deben combinarse con el conocimiento específico del dominio para resolver eficazmente los problemas de segmentación de dicho dominio.

Existen dos clases de técnicas de segmentación.

• Enfoques clásicos de visión por computadora
• técnicas basadas en IA

• La segmentación semántica es un método que detecta, para cada píxel, la clase a la que pertenece. ^{[ 25 ]} Por ejemplo, en una figura con muchas personas, todos los píxeles que pertenecen a personas tendrán el mismo identificador de clase y los píxeles del fondo se clasificarán como fondo. ^{[ 26 ]}
• La segmentación de instancias es un enfoque que identifica, para cada píxel, la instancia específica a la que pertenece el objeto. Detecta cada objeto distinto de interés en la imagen. ^{[ 27 ]} Por ejemplo, cuando cada persona en una figura se segmenta como un objeto individual.
• La segmentación panóptica combina la segmentación semántica y la segmentación de instancias. Al igual que la segmentación semántica, la segmentación panóptica es un método que identifica, para cada píxel, la clase a la que pertenece. Además, como en la segmentación de instancias, la segmentación panóptica distingue diferentes instancias de la misma clase. ^{[ 28 ]}

El método más sencillo de segmentación de imágenes se denomina método de umbralización . Este método se basa en un nivel de recorte (o valor umbral) para convertir una imagen en escala de grises en una imagen binaria.

La clave de este método reside en seleccionar el valor umbral (o valores cuando se seleccionan varios niveles). En la industria se utilizan varios métodos populares, entre ellos el método de máxima entropía, el umbral de histograma balanceado , el método de Otsu (varianza máxima) y el agrupamiento k-means .

Recientemente, se han desarrollado métodos para la umbralización de imágenes de tomografía computarizada (TC). La idea clave es que, a diferencia del método de Otsu, los umbrales se derivan de las radiografías en lugar de la imagen (reconstruida). ^{[ 29 ] [ 30 ]}

Los nuevos métodos sugieren el uso de umbrales no lineales, basados ​​en reglas difusas multidimensionales. En estos enfoques, la decisión sobre la pertenencia de cada píxel a un segmento se basa en reglas multidimensionales derivadas de la lógica difusa y algoritmos evolutivos, considerando factores como la iluminación de la imagen, el entorno y la aplicación. ^{[ 31 ]}

Imagen de origen

Imagen después de ejecutar k -means con k = 16. Tenga en cuenta que una técnica común para mejorar el rendimiento en imágenes grandes consiste en reducir el tamaño de la imagen, calcular los clústeres y, si es necesario, reasignar los valores a la imagen de mayor tamaño.

El algoritmo K-means es una técnica iterativa que se utiliza para dividir una imagen en K clústeres. ^{[ 32 ]} El algoritmo básico es

1. Seleccione K centros de clúster, ya sea de forma aleatoria o basándose en algún método heurístico , por ejemplo K-means++.
2. Asigna cada píxel de la imagen al clúster que minimice la distancia entre el píxel y el centro del clúster.
3. Recalcula los centros de los clústeres promediando todos los píxeles del clúster.
4. Repita los pasos 2 y 3 hasta que se alcance la convergencia (es decir, que ningún píxel cambie de grupo).

En este caso, la distancia es la diferencia al cuadrado o absoluta entre un píxel y el centro de un clúster. Esta diferencia suele basarse en el color , la intensidad , la textura y la ubicación del píxel, o en una combinación ponderada de estos factores. K puede seleccionarse manualmente, aleatoriamente o mediante una heurística . Este algoritmo garantiza la convergencia, pero puede que no devuelva la solución óptima . La calidad de la solución depende del conjunto inicial de clústeres y del valor de K.

El algoritmo Mean Shift es una técnica que se utiliza para dividir una imagen en un número desconocido de clústeres a priori . Esto tiene la ventaja de no requerir una estimación inicial de dicho parámetro, lo que lo convierte en una mejor solución general para casos más diversos.

La segmentación basada en el movimiento es una técnica que se apoya en el movimiento de la imagen para realizar la segmentación.

La idea es sencilla: observe las diferencias entre un par de imágenes. Suponiendo que el objeto de interés se mueve, la diferencia será precisamente ese objeto.

Mejorando esta idea, Kenney et al. propusieron la segmentación interactiva.Utilizan un robot para tocar los objetos con el fin de generar la señal de movimiento necesaria para la segmentación basada en el movimiento.

La segmentación interactiva sigue el marco de percepción interactiva propuesto por Dov Katz.y Oliver Brock.

Otra técnica que se basa en el movimiento es la segmentación de movimiento rígido .

Los métodos basados ​​en compresión postulan que la segmentación óptima es aquella que minimiza, entre todas las segmentaciones posibles, la longitud de codificación de los datos. ^{[ 33 ] [ 34 ]} La conexión entre estos dos conceptos radica en que la segmentación busca patrones en una imagen y cualquier regularidad en ella puede utilizarse para comprimirla. El método describe cada segmento por su textura y forma de contorno. Cada uno de estos componentes se modela mediante una función de distribución de probabilidad y su longitud de codificación se calcula de la siguiente manera:

1. La codificación de contornos aprovecha el hecho de que las regiones en las imágenes naturales tienden a tener un contorno suave. Este conocimiento previo es utilizado por la codificación Huffman para codificar el código de cadena de diferencias de los contornos en una imagen. Por lo tanto, cuanto más suave sea un contorno, menor será la longitud de codificación que alcance.
2. La textura se codifica mediante compresión con pérdida, de forma similar al principio de longitud de descripción mínima (MDL), pero en este caso la longitud de los datos, dado el modelo, se aproxima mediante el número de muestras multiplicado por la entropía del modelo. La textura en cada región se modela mediante una distribución normal multivariada cuya entropía tiene una expresión analítica. Una propiedad interesante de este modelo es que la entropía estimada limita la entropía real de los datos. Esto se debe a que, entre todas las distribuciones con una media y covarianza dadas, la distribución normal tiene la mayor entropía. Por lo tanto, la longitud de codificación real no puede ser mayor que la que el algoritmo intenta minimizar.

Para cualquier segmentación de una imagen, este esquema proporciona el número de bits necesarios para codificarla según dicha segmentación. Por lo tanto, entre todas las posibles segmentaciones de una imagen, el objetivo es encontrar la que produzca la menor longitud de codificación. Esto se puede lograr mediante un método de agrupamiento aglomerativo simple. La distorsión en la compresión con pérdida determina la granularidad de la segmentación, y su valor óptimo puede variar para cada imagen. Este parámetro se puede estimar heurísticamente a partir del contraste de texturas en una imagen. Por ejemplo, cuando las texturas de una imagen son similares, como en las imágenes de camuflaje, se requiere una mayor sensibilidad y, por lo tanto, una menor cuantificación.

Los métodos basados ​​en histogramas son muy eficientes en comparación con otros métodos de segmentación de imágenes porque generalmente solo requieren una pasada por los píxeles . En esta técnica, se calcula un histograma a partir de todos los píxeles de la imagen, y los picos y valles del histograma se utilizan para localizar los clústeres en la imagen. ^{[ 1 ]} Se puede utilizar el color o la intensidad como medida.

Una mejora de esta técnica consiste en aplicar recursivamente el método de búsqueda de histogramas a los clústeres de la imagen para dividirlos en clústeres más pequeños. Esta operación se repite con clústeres cada vez más pequeños hasta que no se formen más clústeres. ^{[ 1 ] [ 35 ]}

Una desventaja del método de búsqueda de histogramas es que puede resultar difícil identificar picos y valles significativos en la imagen.

Los métodos basados ​​en histogramas también se pueden adaptar rápidamente para aplicarse a múltiples fotogramas, manteniendo su eficiencia de una sola pasada. El histograma se puede realizar de varias maneras cuando se consideran varios fotogramas. El mismo método que se usa con un fotograma se puede aplicar a varios, y después de combinar los resultados, los picos y valles que antes eran difíciles de identificar ahora son más fáciles de distinguir. El histograma también se puede aplicar píxel a píxel, donde la información resultante se usa para determinar el color más frecuente para la ubicación del píxel. Este método segmenta en función de objetos activos y un entorno estático, lo que da como resultado un tipo diferente de segmentación útil en el seguimiento de vídeo .

La detección de bordes es un campo bien desarrollado dentro del procesamiento de imágenes. Los límites de las regiones y los bordes están estrechamente relacionados, ya que suele haber un cambio brusco de intensidad en los límites de las regiones. Por lo tanto, las técnicas de detección de bordes se han utilizado como base para otras técnicas de segmentación.

Los bordes identificados mediante la detección de bordes suelen estar desconectados. Sin embargo, para segmentar un objeto de una imagen, se necesitan límites de región cerrados. Los bordes deseados son los límites entre dichos objetos o taxones espaciales. ^{[ 36 ] [ 37 ]}

Los taxones espaciales ^{[ 38 ]} son ​​gránulos de información ^{[ 39 ]} que consisten en una región de píxeles nítida, ubicada en niveles de abstracción dentro de una arquitectura de escena jerárquica anidada. Son similares a la designación psicológica de figura-fondo de la Gestalt , pero se extienden para incluir el primer plano, grupos de objetos, objetos y partes prominentes de objetos. Los métodos de detección de bordes se pueden aplicar a la región del taxón espacial, de la misma manera que se aplicarían a una silueta. Este método es particularmente útil cuando el borde desconectado es parte de un contorno ilusorio ^{[ 40 ] [ 41 ].}

Los métodos de segmentación también se pueden aplicar a los bordes obtenidos de los detectores de bordes. Lindeberg y Li ^{[ 42 ]} desarrollaron un método integrado que segmenta los bordes en segmentos de borde rectos y curvos para el reconocimiento de objetos basado en partes, basado en un criterio de longitud de descripción mínima (MDL ₎ que fue optimizado por un método similar a dividir y fusionar con puntos de ruptura candidatos obtenidos a partir de señales de unión complementarias para obtener puntos más probables en los que considerar particiones en diferentes segmentos.

La detección de puntos aislados en una imagen es una parte fundamental de la segmentación de imágenes. Este proceso depende principalmente de la segunda derivada, lo que indica el uso del operador laplaciano. El laplaciano de una función${\displaystyle f(x,y)}$está dado por:

${\displaystyle \nabla ^{2}f(x,y)={\frac {\partial ^{2}f}{\partial x^{2}}}+{\frac {\partial ^{2}f}{\partial y^{2}}}}$

El operador laplaciano se emplea de tal manera que las derivadas parciales se derivan de una ecuación específica. La segunda derivada parcial de${\displaystyle f(x,y)}$con respecto a${\displaystyle x}$y${\displaystyle y}$son dados por:

${\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial x^{2}}}=f(x+1,y)+f(x-1,y)-2f(x,y)}$

${\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial y^{2}}}=f(x,y+1)+f(x,y-1)-2f(x,y)}$

Estas derivadas parciales se utilizan luego para calcular el laplaciano de la siguiente manera:

${\displaystyle \nabla ^{2}f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)}$

Esta expresión matemática se puede implementar mediante convolución con una máscara adecuada. Si extendemos esta ecuación a tres dimensiones (x, y, z), la intensidad en cada píxel alrededor de un píxel central en (x, y, z) se reemplaza por sus valores correspondientes. Esta ecuación resulta particularmente útil cuando asumimos que todos los píxeles tienen un espaciado unitario a lo largo de cada eje.

Se ha desarrollado una máscara esférica para su uso con conjuntos de datos tridimensionales. Esta máscara está diseñada para utilizar únicamente aritmética de enteros durante los cálculos, eliminando así la necesidad de hardware o software de punto flotante.

Al aplicar estos conceptos a imágenes reales representadas como matrices de números, debemos considerar qué sucede cuando llegamos a un borde o región de frontera. La función${\displaystyle g(x,y)}$se define como:

${\displaystyle g(x,y)={\begin{cases}1&{\text{si }}|R(x,y)|\geq T\\0&{\text{en otro caso}}\end{cases}}}$

La ecuación anterior se utiliza para determinar si un punto en la imagen es un punto aislado en función de la magnitud de la respuesta.${\displaystyle |R(x,y)|}$y un valor umbral${\displaystyle T}$Si la magnitud de la respuesta es mayor o igual al umbral, la función devuelve 1, lo que indica la presencia de un punto aislado; de lo contrario, devuelve 0. Esto ayuda a la detección y segmentación efectivas de puntos aislados en la imagen. ^{[ 43 ]}

La detección de puntos aislados tiene aplicaciones significativas en diversos campos, incluido el procesamiento de imágenes de rayos X. Por ejemplo, una imagen original de rayos X de un álabe de turbina se puede examinar píxel a píxel para detectar porosidad en el cuadrante superior derecho del álabe. El resultado de aplicar la respuesta de un detector de bordes a esta imagen de rayos X se puede aproximar. Esto demuestra la segmentación de puntos aislados en una imagen con la ayuda de sondas de un solo píxel. ^{[ 43 ]}

Este método es una combinación de tres características de la imagen: la partición de la imagen basada en el análisis del histograma se verifica por la alta compacidad de los clústeres (objetos) y los altos gradientes de sus bordes. Para ello, se deben introducir dos espacios: un espacio es el histograma unidimensional de brillo H = H ( B ); el segundo espacio es el espacio dual tridimensional de la imagen original B = B ( x , y ). El primer espacio permite medir cuán compactamente se distribuye el brillo de la imagen calculando un agrupamiento mínimo kmin. El brillo umbral T correspondiente a kmin define la imagen binaria (blanco y negro) – mapa de bits b = φ ( x , y ), donde φ ( x , y ) = 0, si B ( x , y ) < T , y φ ( x , y ) = 1, si B ( x , y ) ≥ T . El mapa de bits b es un objeto en el espacio dual . En ese mapa de bits se debe definir una medida que refleje la compacidad de la distribución de los píxeles negros (o blancos). Por lo tanto, el objetivo es encontrar objetos con buenos bordes. Para todo T, se debe calcular la medida M _DC = G / ( k × L ) (donde k es la diferencia de brillo entre el objeto y el fondo, L es la longitud de todos los bordes y G es el gradiente medio en los bordes). El máximo de MDC define la segmentación. ^{[ 44 ]}                   

Los métodos de crecimiento de regiones se basan principalmente en la suposición de que los píxeles vecinos dentro de una región tienen valores similares. El procedimiento habitual consiste en comparar un píxel con sus vecinos. Si se cumple un criterio de similitud, el píxel puede asignarse al mismo clúster que uno o más de sus vecinos. La selección del criterio de similitud es crucial y los resultados se ven afectados por el ruido en todos los casos.

El método de fusión de regiones estadísticas ^{[ 45 ]} (SRM) comienza construyendo el grafo de píxeles mediante conectividad de 4 vértices, ponderados por el valor absoluto de la diferencia de intensidad. Inicialmente, cada píxel forma una única región. A continuación, SRM ordena esos vértices en una cola de prioridad y decide si fusionar o no las regiones que pertenecen a los píxeles de los bordes mediante un predicado estadístico.

Un método de crecimiento de regiones es el método de crecimiento de regiones con semillas. Este método toma un conjunto de semillas como entrada junto con la imagen. Las semillas marcan cada uno de los objetos que se van a segmentar. Las regiones crecen iterativamente comparando todos los píxeles vecinos no asignados a las regiones. La diferencia entre el valor de intensidad de un píxel y la media de la región,${\displaystyle \delta }$Se utiliza como medida de similitud . El píxel con la menor diferencia medida de esta manera se asigna a la región correspondiente. Este proceso continúa hasta que todos los píxeles se asignan a una región. Dado que el crecimiento de regiones con semillas requiere semillas como entrada adicional, los resultados de la segmentación dependen de la elección de las semillas, y el ruido en la imagen puede provocar que las semillas se coloquen incorrectamente.

Otro método de crecimiento de regiones es el método de crecimiento de regiones sin semillas. Es un algoritmo modificado que no requiere semillas explícitas. Comienza con una sola región.${\displaystyle A_{1}}$—el píxel elegido aquí no influye notablemente en la segmentación final. En cada iteración considera los píxeles vecinos de la misma manera que el crecimiento de región con semillas. Se diferencia del crecimiento de región con semillas en que si el mínimo${\displaystyle \delta }$es menor que un umbral predefinido${\displaystyle T}$luego se agrega a la región correspondiente${\displaystyle A_{j}}$De lo contrario, el píxel se considera diferente de todas las regiones actuales.${\displaystyle A_{i}}$y una nueva región${\displaystyle A_{n+1}}$se crea con este píxel.

Una variante de esta técnica, propuesta por Haralick y Shapiro (1985), ^{[ 1 ]} se basa en las intensidades de los píxeles . La media y la dispersión de la región, junto con la intensidad del píxel candidato, se utilizan para calcular un estadístico de prueba . Si el estadístico de prueba es suficientemente pequeño, el píxel se añade a la región y se recalculan la media y la dispersión de la región. En caso contrario, el píxel se descarta y se utiliza para formar una nueva región.

Se llama método especial de crecimiento de regiones${\displaystyle \lambda }$-segmentación conectada (véase también conectividad lambda ). Se basa en intensidades de píxeles y rutas de enlace de vecindario. Se calcula un grado de conectividad (conectividad) basado en una ruta formada por píxeles. Para un cierto valor de${\displaystyle \lambda }$, dos píxeles se llaman${\displaystyle \lambda }$-conectado si hay un camino que une esos dos píxeles y la conectividad de este camino es al menos${\displaystyle \lambda }$.${\displaystyle \lambda }$La conectividad es una relación de equivalencia . ^{[ 46 ]}

La segmentación por división y fusión se basa en una partición de una imagen mediante un quadtree . A veces se la denomina segmentación por quadtree.

Este método comienza en la raíz del árbol que representa la imagen completa. Si se encuentra no uniforme (no homogéneo), entonces se divide en cuatro cuadrados hijos (el proceso de división), y así sucesivamente. Si, por el contrario, los cuatro cuadrados hijos son homogéneos, se fusionan como varios componentes conectados (el proceso de fusión). El nodo en el árbol es un nodo segmentado. Este proceso continúa recursivamente hasta que no sean posibles más divisiones o fusiones. ^{[ 47 ] [ 48 ]} Cuando se involucra una estructura de datos especial en la implementación del algoritmo del método, su complejidad temporal puede alcanzar${\displaystyle O(n\log n)}$, un algoritmo óptimo del método. ^{[ 49 ]}

Utilizando un método basado en ecuaciones diferenciales parciales (EDP) y resolviendo la ecuación EDP mediante un esquema numérico, se puede segmentar la imagen. ^{[ 50 ]} La propagación de curvas es una técnica popular en esta categoría, con numerosas aplicaciones a la extracción de objetos, seguimiento de objetos, reconstrucción estéreo, etc. La idea central es evolucionar una curva inicial hacia el potencial más bajo de una función de costo, donde su definición refleja la tarea a abordar. Como en la mayoría de los problemas inversos , la minimización del funcional de costo no es trivial e impone ciertas restricciones de suavidad a la solución, que en el presente caso pueden expresarse como restricciones geométricas en la curva en evolución.

El objetivo de los métodos variacionales es encontrar una segmentación que sea óptima con respecto a un funcional de energía específico. Los funcionales constan de un término de ajuste de datos y términos de regularización. Un representante clásico es el modelo de Potts definido para una imagen${\displaystyle f}$por

${\displaystyle \operatorname {argmin} _{u}\gamma \|\nabla u\|_{0}+\int (uf)^{2}\,dx.}$

Un minimizador${\displaystyle u^{*}}$es una imagen constante por partes que tiene un equilibrio óptimo entre la distancia L2 al cuadrado y la imagen dada.${\displaystyle f}$y la longitud total de su conjunto de saltos. El conjunto de saltos de${\displaystyle u^{*}}$define una segmentación. El peso relativo de las energías se ajusta mediante el parámetro${\displaystyle \gamma >0}$. La variante binaria del modelo de Potts, es decir, si el rango de${\displaystyle u}$está restringido a dos valores, a menudo se le llama modelo de Chan- Vese . ^{[ 57 ]} Una generalización importante es el modelo de Mumford-Shah ^{[ 58 ]} dado por

${\displaystyle \operatorname {argmin} _{u,K}\gamma |K|+\mu \int _{K^{C}}|\nabla u|^{2}\,dx+\int (uf)^{2}\,dx.}$

El valor funcional es la suma de la longitud total de la curva de segmentación.${\displaystyle K}$, la suavidad de la aproximación${\displaystyle u}$y su distancia a la imagen original${\displaystyle f}$. El peso de la penalización de suavidad se ajusta mediante${\displaystyle \mu >0}$El modelo de Potts a menudo se denomina modelo de Mumford-Shah constante por partes, ya que puede considerarse como el caso degenerado.${\displaystyle \mu \to \infty }$Se sabe que los problemas de optimización son NP-difíciles en general, pero las estrategias de casi minimización funcionan bien en la práctica. Los algoritmos clásicos son la no convexidad graduada y la aproximación de Ambrosio-Tortorelli .

Los métodos de partición de grafos son herramientas eficaces para la segmentación de imágenes, ya que modelan el impacto de los vecindarios de píxeles en un clúster de píxeles o píxel dado, bajo el supuesto de homogeneidad en las imágenes. En estos métodos, la imagen se modela como un grafo no dirigido ponderado . Normalmente, un píxel o un grupo de píxeles se asocia con nodos y los pesos de las aristas definen la (dis)similitud entre los píxeles del vecindario. El grafo (imagen) se particiona luego según un criterio diseñado para modelar clústeres "buenos". Cada partición de los nodos (píxeles) de salida de estos algoritmos se considera un segmento de objeto en la imagen; véase Categorización de objetos basada en segmentación . Algunos algoritmos populares de esta categoría son cortes normalizados, ^{[ 59 ]} caminante aleatorio , ^{[ 60 ]} corte mínimo, ^{[ 61 ]} partición isoperimétrica, ^{[ 62 ]} segmentación basada en árbol de expansión mínima , ^{[ 63 ]} y categorización de objetos basada en segmentación .

campos aleatorios de Markov

La aplicación de campos aleatorios de Markov (MRF) para imágenes fue sugerida a principios de 1984 por Geman y Geman. ^{[ 64 ]} Su sólida base matemática y su capacidad para proporcionar un óptimo global incluso cuando se definen en características locales demostraron ser la base para nuevas investigaciones en el dominio del análisis de imágenes, la eliminación de ruido y la segmentación. Los MRF se caracterizan completamente por sus distribuciones de probabilidad a priori, distribuciones de probabilidad marginales, cliques , restricción de suavizado, así como el criterio para actualizar valores. El criterio para la segmentación de imágenes usando MRF se reformula como encontrar el esquema de etiquetado que tiene la máxima probabilidad para un conjunto dado de características. Las categorías generales de segmentación de imágenes usando MRF son la segmentación supervisada y la no supervisada.

Segmentación de imágenes supervisada mediante MRF y MAP.

En términos de segmentación de imágenes, la función que buscan maximizar los MRF es la probabilidad de identificar un esquema de etiquetado dado un conjunto particular de características detectadas en la imagen. Esto es una reformulación del método de estimación de máxima probabilidad a posteriori .

A continuación se muestra el algoritmo genérico para la segmentación de imágenes mediante MAP:

1. Defina el entorno de cada característica (variable aleatoria en términos de MRF). Generalmente, esto incluye vecinos de primer o segundo orden.
2. Establezca las probabilidades iniciales P ( f _i ) > para cada característica como 0 o
3. donde f _i ∈ Σ es el conjunto que contiene las características extraídas para el píxel i y define un conjunto inicial de clústeres.
4. Utilizando los datos de entrenamiento, calcule la media ( _{μℓi )} y _la varianza ( _σℓi ) para cada etiqueta. Esto se denomina estadística de clase.
5. Calcule la distribución marginal para el esquema de etiquetado dado P ( f _i  | ℓ _i )  utilizando el teorema de Bayes y las estadísticas de clase calculadas previamente. Se utiliza un modelo gaussiano para la distribución marginal.

   ${\displaystyle {\frac {1}{\sigma (\ell _{i}){\sqrt {2\pi }}}}e^{-(f_{i}-\mu (\ell _{i}))^{2}/(2\sigma (\ell _{i})^{2})}\,d\ell _{i}}$

6. Calcula la probabilidad de cada etiqueta de clase dado el vecindario definido previamente. Se utilizan potenciales de camarilla para modelar el impacto social en el etiquetado.
7. Se itera sobre nuevas probabilidades previas y se redefinen los clústeres de manera que estas probabilidades se maximicen. Esto se realiza mediante diversos algoritmos de optimización que se describen a continuación.
8. Deténgase cuando la probabilidad sea máxima y el esquema de etiquetado no cambie. Los cálculos también pueden implementarse en términos de logaritmo de verosimilitud .

Algoritmos de optimización

Cada algoritmo de optimización es una adaptación de modelos de diversos campos y se distingue por sus funciones de coste únicas. La característica común de las funciones de coste es penalizar tanto el cambio en el valor del píxel como la diferencia en la etiqueta del píxel en comparación con las etiquetas de los píxeles vecinos.

Modos condicionales iterados/descenso de gradiente

El algoritmo de modos condicionales iterados (ICM) intenta reconstruir el esquema de etiquetado ideal cambiando los valores de cada píxel en cada iteración y evaluando la energía del nuevo esquema de etiquetado utilizando la función de costo que se muestra a continuación.

${\displaystyle \alpha (1-\delta (\ell _{i}-\ell _{{\text{initial }}i})+\beta \Sigma _{q\in N(i)}(1-\delta (\ell _{i},\ell _{q(i)})).}$

donde α es la penalización por cambio en la etiqueta del píxel y β es la penalización por diferencia en la etiqueta entre píxeles vecinos y el píxel elegido. Aquí${\displaystyle N(i)}$es el vecindario del píxel i y δ es la función delta de Kronecker. Un problema importante con ICM es que, al igual que el descenso de gradiente, tiende a detenerse en máximos locales y, por lo tanto, no obtiene un esquema de etiquetado globalmente óptimo.

Recocido simulado (AS)

Derivado como análogo del recocido en metalurgia, el recocido simulado (SA) utiliza el cambio en la etiqueta de píxeles a lo largo de las iteraciones y estima la diferencia de energía de cada grafo recién formado con respecto a los datos iniciales. Si el grafo recién formado es más rentable, en términos de un menor costo energético, dado por:

${\displaystyle \Delta U=U^{\text{nuevo}}-U^{\text{antiguo}}}$

${\displaystyle \ell _{i}={\begin{cases}\ell _{i}^{\text{nuevo}},&{\text{si }}\Delta U\leq 0,\\\ell _{i}^{\text{nuevo}},&{\text{si }}\Delta U>0{\text{ y }}\delta <e^{-\Delta U/T},\ell _{i}^{\text{antiguo}}\end{cases}}}$

El algoritmo selecciona el grafo recién formado. El recocido simulado requiere la introducción de programas de temperatura que afectan directamente la velocidad de convergencia del sistema, así como el umbral de energía para que se produzca la minimización.

Algoritmos alternativos

Existen diversos métodos para resolver MRF simples y de orden superior. Estos incluyen la maximización de la marginal posterior, la estimación MAP multiescala, ^{[ 65 ]} la segmentación de resolución múltiple ^{[ 66 ]} y otros. Además de las estimaciones de verosimilitud, existen métodos como el corte de grafos mediante flujo máximo ^{[ 67 ]} y otros métodos basados ​​en grafos altamente restringidos ^{[ 68 ] [ 69 ]} para resolver MRF.

Segmentación de imágenes mediante MAP y maximización de expectativas.

El algoritmo de maximización de la esperanza se utiliza para estimar iterativamente las probabilidades y distribuciones posteriores del etiquetado cuando no se dispone de datos de entrenamiento y no se puede generar un modelo de segmentación. Un enfoque general consiste en utilizar histogramas para representar las características de una imagen y proceder como se describe brevemente en este algoritmo de tres pasos:

1. Se utiliza una estimación aleatoria de los parámetros del modelo.

2. Paso E: Estimar las estadísticas de clase basándose en el modelo de segmentación aleatoria definido. Utilizando estas, calcular la probabilidad condicional de pertenecer a una etiqueta dado el conjunto de características calculado mediante el teorema de Bayes ingenuo .

${\displaystyle P(\lambda \mid f_{i})={\frac {P(f_{i}\mid \lambda )P(\lambda )}{\Sigma _{\lambda \in \Lambda }P(f_{i}\mid \lambda )P(\lambda )}}}$

Aquí${\displaystyle \lambda \in \Lambda }$, el conjunto de todas las etiquetas posibles.

3. Paso M: La relevancia establecida de un conjunto de características determinado para un esquema de etiquetado se utiliza ahora para calcular la estimación a priori de una etiqueta dada en la segunda parte del algoritmo. Dado que se desconoce el número real de etiquetas totales (a partir de un conjunto de datos de entrenamiento), se utiliza una estimación oculta del número de etiquetas proporcionada por el usuario en los cálculos.

${\displaystyle P(\lambda )={\frac {\Sigma _{\lambda \in \Lambda }P(\lambda \mid f_{i})}{|\Omega |}}}$

dónde${\displaystyle \Omega }$es el conjunto de todas las características posibles.

Desventajas de la segmentación de imágenes basada en MAP y EM

1. No es fácil calcular estimaciones exactas de la MAP (Precipitación Máxima Acumulada).
2. Las estimaciones aproximadas de MAP son computacionalmente costosas de calcular.
3. La extensión al etiquetado multiclase degrada el rendimiento y aumenta el espacio de almacenamiento necesario.
4. Para alcanzar los óptimos globales, es necesaria una estimación fiable de los parámetros del algoritmo EM.
5. Según el método de optimización, la segmentación puede agruparse en mínimos locales.

La transformación de cuenca hidrográfica considera la magnitud del gradiente de una imagen como una superficie topográfica. Los píxeles con las mayores intensidades de magnitud de gradiente (IMG) corresponden a las líneas de cuenca, que representan los límites de la región. El agua situada en cualquier píxel delimitado por una línea de cuenca común fluye cuesta abajo hacia un mínimo de intensidad local (MIL) común. Los píxeles que drenan hacia un mínimo común forman una cuenca de captación, que representa un segmento.

La premisa central de los enfoques basados ​​en modelos es que las estructuras de interés tienden a adoptar una forma particular. Por lo tanto, se puede buscar un modelo probabilístico que caracterice la forma y su variación. Al segmentar una imagen, se pueden imponer restricciones utilizando este modelo como información previa. ^{[ 70 ]} Esta tarea puede implicar (i) el registro de los ejemplos de entrenamiento a una pose común, (ii) la representación probabilística de la variación de las muestras registradas y (iii) la inferencia estadística entre el modelo y la imagen. Otros métodos importantes en la literatura para la segmentación basada en modelos incluyen los modelos de forma activa y los modelos de apariencia activa .

Las segmentaciones de imágenes se calculan en múltiples escalas en el espacio de escalas y, a veces, se propagan desde escalas gruesas a finas; véase segmentación en el espacio de escalas .

Los criterios de segmentación pueden ser arbitrariamente complejos y pueden tener en cuenta criterios tanto globales como locales. Un requisito común es que cada región esté conectada de alguna manera.

En un tipo de segmentación, el usuario delimita la región de interés con clics del ratón y se aplican algoritmos para mostrar la ruta que mejor se ajusta al borde de la imagen.

Técnicas como SIOX , Livewire , Intelligent Scissors o IT-SNAPS se utilizan en este tipo de segmentación. En un tipo alternativo de segmentación semiautomática, los algoritmos devuelven un taxón espacial (es decir, primer plano, grupo de objetos, objeto o parte de un objeto) seleccionado por el usuario o designado mediante probabilidades previas. ^{[ 86 ] [ 87 ]}

La mayoría de los métodos de segmentación mencionados se basan únicamente en la información de color de los píxeles de la imagen. Los humanos utilizan un conocimiento mucho más profundo al segmentar imágenes, pero implementarlo requeriría un considerable esfuerzo humano y tiempo computacional, además de una enorme base de datos de conocimiento del dominio que actualmente no existe. Los métodos de segmentación entrenables, como la segmentación mediante redes neuronales , superan estos problemas al modelar el conocimiento del dominio a partir de un conjunto de datos de píxeles etiquetados.

Una red neuronal de segmentación de imágenes puede procesar áreas pequeñas de una imagen para extraer características simples como bordes. ^{[ 88 ]} Otra red neuronal, o cualquier mecanismo de toma de decisiones, puede combinar estas características para etiquetar las áreas de una imagen en consecuencia. Un tipo de red diseñada de esta manera es el mapa de Kohonen .

Las redes neuronales acopladas por pulsos (PCNN) son modelos neuronales propuestos a partir de la modelización de la corteza visual de un gato y desarrollados para el procesamiento de imágenes biomiméticas de alto rendimiento . En 1989, Reinhard Eckhorn introdujo un modelo neuronal para emular el mecanismo de la corteza visual de un gato. El modelo de Eckhorn proporcionó una herramienta simple y efectiva para estudiar la corteza visual de pequeños mamíferos, y pronto se reconoció su importante potencial de aplicación en el procesamiento de imágenes. En 1994, el modelo de Eckhorn fue adaptado como un algoritmo de procesamiento de imágenes por John L. Johnson, quien denominó a este algoritmo Red Neuronal Acoplada por Pulsos. ^{[ 89 ]} Durante la última década, las PCNN se han utilizado para una variedad de aplicaciones de procesamiento de imágenes, incluyendo: segmentación de imágenes, generación de características, extracción de rostros, detección de movimiento, crecimiento de regiones, reducción de ruido, etc. Una PCNN es una red neuronal bidimensional. Cada neurona en la red corresponde a un píxel en una imagen de entrada, recibiendo la información de color de su píxel correspondiente (por ejemplo, intensidad) como estímulo externo. Cada neurona se conecta con sus neuronas vecinas, recibiendo estímulos locales de ellas. Los estímulos externos y locales se combinan en un sistema de activación interno, que los acumula hasta superar un umbral dinámico, generando así un pulso de salida. Mediante computación iterativa, las neuronas PCNN producen series temporales de pulsos de salida. Estas series temporales contienen información de las imágenes de entrada y pueden utilizarse en diversas aplicaciones de procesamiento de imágenes, como la segmentación y la generación de características. En comparación con los métodos convencionales de procesamiento de imágenes, las PCNN presentan varias ventajas significativas, como robustez frente al ruido, independencia de las variaciones geométricas en los patrones de entrada y capacidad para compensar pequeñas variaciones de intensidad en dichos patrones.

En 2015, las redes neuronales convolucionales alcanzaron el estado del arte en la segmentación semántica. ^{[ 90 ]} U-Net es una arquitectura que toma como entrada una imagen y produce una etiqueta para cada píxel. ^{[ 91 ]} U-Net se desarrolló inicialmente para detectar límites celulares en imágenes biomédicas. U-Net sigue la arquitectura clásica de autoencoder , por lo que contiene dos subestructuras. La estructura del codificador sigue la pila tradicional de capas convolucionales y de agrupación máxima para aumentar el campo receptivo a medida que avanza por las capas. Se utiliza para capturar el contexto en la imagen. La estructura del decodificador utiliza capas de convolución transpuestas para el sobremuestreo de modo que las dimensiones finales sean cercanas a las de la imagen de entrada. Se colocan conexiones de salto entre capas de convolución y convolución transpuesta de la misma forma para preservar detalles que de otro modo se habrían perdido.

Además de las tareas de segmentación semántica a nivel de píxel, que asignan una categoría determinada a cada píxel, las aplicaciones de segmentación modernas incluyen tareas de segmentación semántica a nivel de instancia, en las que cada individuo de una categoría determinada debe identificarse de forma única, así como tareas de segmentación panóptica, que combinan estas dos tareas para proporcionar una segmentación de escena más completa. ^{[ 28 ]}

Las imágenes relacionadas, como un álbum de fotos o una secuencia de fotogramas de vídeo, suelen contener objetos y escenas semánticamente similares, por lo que a menudo resulta beneficioso explotar dichas correlaciones. ^{[ 92 ]} La tarea de segmentar simultáneamente escenas a partir de imágenes o fotogramas de vídeo relacionados se denomina cosegmentación , ^{[ 23 ]} que se utiliza habitualmente en la localización de acciones humanas . A diferencia de la detección de objetos convencional basada en cuadros delimitadores , los métodos de localización de acciones humanas proporcionan resultados más precisos, normalmente máscaras de segmentación por imagen que delimitan el objeto humano de interés y su categoría de acción (por ejemplo, Segment-Tube ^{[ 24 ]} ). Técnicas como las redes de Markov dinámicas , CNN y LSTM se emplean a menudo para explotar las correlaciones entre fotogramas.

Existen muchos otros métodos de segmentación, como la segmentación multiespectral o la segmentación basada en conectividad a partir de imágenes DTI . ^{[ 93 ] [ 94 ]}

• Cosegmentación de objetos : segmentación de imágenes en visión artificial. 
• Visión por computadora : extracción computarizada de información a partir de imágenes. 
• Mallado basado en imágenes
• Segmentación de imágenes de rango
• Cuantización vectorial : técnica de cuantización clásica del procesamiento de señales. 
• Cuantización de imágenes : técnica de compresión con pérdida. Páginas que muestran descripciones breves de los destinos de redireccionamiento. 
• Cuantización del color : técnica de procesamiento de imágenes 
• Análisis de imágenes basado en objetos : extracción de información de imágenes mediante técnicas de procesamiento digital de imágenes. Páginas que muestran breves descripciones de destinos de redireccionamiento. 
• Lista de herramientas para la anotación manual de imágenes
• Segmentación de movimiento rígido
• Segmentación de texto : práctica de la escritura humana 

• Código de ejemplo que realiza segmentación básica , por Syed Zainudeen. Universidad Tecnológica de Malasia.
• Método de Marcha Rápida Generalizada de Forcadel et al. [2008] para aplicaciones en segmentación de imágenes.
• Grupo de Investigación en Procesamiento de Imágenes: Una comunidad de investigación en línea abierta y dedicada al procesamiento de imágenes.
• Métodos de segmentación en el procesamiento y análisis de imágenes y minimización de energía para segmentar imágenes por Mathworks
• Más métodos de segmentación de imágenes con algoritmos detallados. Archivado el 1 de noviembre de 2019 en Wayback Machine por Yu-Hsiang Wang (王昱翔), Universidad Nacional de Taiwán, Taipéi, Taiwán, ROC.
• Demostración en línea de segmentación de imágenes lineal por partes por IPOL Journal