Extracción de objetos interactiva sencilla

La extracción interactiva simple de objetos ( SIOX ) es un algoritmo para extraer objetos en primer plano de imágenes y vídeos en color con muy poca interacción del usuario. ^{[ 1 ]} Se ha implementado como herramienta de "selección de primer plano" en GIMP (desde la versión 2.3.3), como parte de la herramienta de trazado en Inkscape (desde la versión 0.44pre3) y como función en ImageJ y Fiji (complemento). También se han reportado implementaciones experimentales para Blender y Krita . Aunque el algoritmo fue diseñado originalmente para vídeos, prácticamente todas las implementaciones utilizan SIOX principalmente para la segmentación de imágenes fijas. De hecho, a menudo se dice que es el estándar de facto actual para esta tarea en el mundo del código abierto .

Inicialmente, se utiliza una herramienta de selección a mano alzada para especificar la región de interés. Esta debe contener todos los objetos en primer plano que se desean extraer y la menor cantidad posible de fondo. Los píxeles fuera de la región de interés forman el fondo definido, mientras que la región interior define un superconjunto del primer plano, es decir, la región desconocida. A continuación, se utiliza un pincel de primer plano para marcar regiones representativas del primer plano. El algoritmo genera una máscara de selección. La selección se puede refinar añadiendo más marcas de primer plano o añadiendo marcas de fondo con el pincel de fondo.

Técnicamente, el algoritmo realiza los siguientes pasos:

Crea un conjunto de colores representativos para el primer plano y el fondo, lo que se conoce como paleta de colores.
Asigna todos los puntos de la imagen a primer plano o fondo mediante una búsqueda ponderada del vecino más cercano en las firmas de color.
Aplique algunas operaciones estándar de procesamiento de imágenes, como erosión, dilatación y desenfoque, para eliminar artefactos.
Encuentra los componentes conectados en primer plano que sean lo suficientemente grandes o que hayan sido marcados por el usuario.

Para la segmentación de vídeo, las regiones de fondo y primer plano se aprenden a partir de estadísticas de movimiento. SIOX también incluye herramientas que permiten un refinamiento preciso a nivel subpíxel de los bordes y las áreas de alta textura, los llamados "pinceles de refinamiento de detalles".

Como ocurre con todos los algoritmos de segmentación , siempre hay imágenes en las que el algoritmo no ofrece resultados perfectos. El principal inconveniente de SIOX es su dependencia del color. Aunque muchas fotos se pueden separar fácilmente por color, el algoritmo no puede lidiar con el camuflaje. Si el primer plano y el fondo comparten muchos tonos idénticos de colores similares, el algoritmo podría arrojar un resultado con partes faltantes o un primer plano clasificado incorrectamente. SIOX tiene un rendimiento similar en diferentes pruebas comparativas en comparación con métodos de segmentación basados en grafos, como Grabcut . Sin embargo, SIOX es más robusto al ruido y, por lo tanto, también se puede utilizar para la segmentación de vídeos. Los métodos de segmentación basados en grafos buscan un corte mínimo y, por consiguiente, tienden a no tener un rendimiento óptimo con estructuras complejas.

El algoritmo se desarrolló inicialmente en el departamento de informática de la Universidad Libre de Berlín . Su desarrollador principal, Gerald Friedland, es actualmente profesor en el departamento de Ingeniería Eléctrica y Ciencias de la Computación de la Universidad de California en Berkeley y también científico de datos principal en el Laboratorio Nacional Lawrence Livermore . Continúa apoyando el desarrollo mediante la mentoría, por ejemplo, en el programa Google Summer of Code .

Notas

↑ Friedland, G., Jantz, K., Lenz, T., Wiesel, F., y Rojas, R. (2006). «Un enfoque práctico para la extracción precisa de múltiples objetos en imágenes fijas y vídeos». Octavo Simposio Internacional IEEE sobre Multimedia (ISM'06) . págs. 307–316 . doi : 10.1109/ISM.2006.9 . ISBN 978-0-7695-2746-8. S2CID 13938666 . {{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )

Referencias

G. Friedland, K. Jantz, R. Rojas: SIOX: Extracción interactiva simple de objetos en imágenes fijas, Actas del Simposio Internacional IEEE sobre Multimedia (ISM2005), págs. 253–259, Irvine (California), diciembre de 2005. Artículo en línea
G. Friedland, K. Jantz, T. Lenz, F. Wiesel, R. Rojas: Object Cut and Paste in Images and Videos, International Journal of Semantic Computing Vol 1, No 2, pp. 221–247, World Scientific, EE. UU., junio de 2007. Artículo en línea

Enlaces externos

www.siox.org
Vídeo de demostración de SIOX en GIMP
SIOX en Fiji e ImageJ
www.gimp.org
www.inkscape.org
www.echalk.de

[1] Friedland, G., Jantz, K., Lenz, T., Wiesel, F., y Rojas, R. (2006). «Un enfoque práctico para la extracción precisa de múltiples objetos en imágenes fijas y vídeos». Octavo Simposio Internacional IEEE sobre Multimedia (ISM'06) . págs. 307–316 . doi : 10.1109/ISM.2006.9 . ISBN 978-0-7695-2746-8. S2CID 13938666 . {{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )

[ 1 ]