U-Net

U-Net es una red neuronal convolucional desarrollada para la segmentación de imágenes . ^{[ 1 ]} La red se basa en una red neuronal totalmente convolucional ^{[ 2 ]} cuya arquitectura fue modificada y extendida para trabajar con menos imágenes de entrenamiento y lograr una segmentación más precisa . La segmentación de una imagen de 512  ×  512 píxeles tarda menos de un segundo en una GPU moderna (2015) utilizando la arquitectura U-Net. ^{[ 1 ] [ 3 ] [ 4 ] [ 5 ]}

La arquitectura U-Net también se ha empleado en modelos de difusión para la eliminación iterativa de ruido en imágenes. ^{[ 6 ]} Esta tecnología subyace a muchos modelos modernos de generación de imágenes, como DALL-E , Midjourney y Stable Diffusion .

U-Net también se está explorando para modelos de lenguaje . ^{[ 7 ]} La tokenización no es un paso separado, lo que permite que el modelo entienda más fácilmente la ortografía y, simultáneamente, vectorice /tokenice conceptos de nivel superior.

La arquitectura U-Net se deriva de la denominada "red totalmente convolucional". ^{[ 2 ]}

La idea principal consiste en complementar una red de contracción convencional con capas sucesivas, donde las operaciones de agrupación se reemplazan por operadores de sobremuestreo . Por lo tanto, estas capas aumentan la resolución de la salida. Una capa convolucional sucesiva puede entonces aprender a generar una salida precisa basándose en esta información. ^{[ 1 ]}

Una modificación importante en U-Net es que hay un gran número de canales de características en la parte de sobremuestreo, lo que permite a la red propagar información de contexto a capas de mayor resolución. Como consecuencia, la ruta expansiva es más o menos simétrica a la parte contractiva, y produce una arquitectura en forma de U. La red solo utiliza la parte válida de cada convolución sin ninguna capa totalmente conectada. ^{[ 2 ]} Para predecir los píxeles en la región del borde de la imagen, el contexto faltante se extrapola reflejando la imagen de entrada. Esta estrategia de mosaico es importante para aplicar la red a imágenes grandes, ya que de lo contrario la resolución estaría limitada por la memoria de la GPU . Recientemente, también ha habido interés en modelos U-Net basados ​​en campos receptivos para la segmentación de imágenes médicas. ^{[ 8 ]}

La red consta de una ruta de contracción y una ruta de expansión, lo que le confiere una arquitectura en forma de U. La ruta de contracción es una red convolucional típica que consiste en la aplicación repetida de convoluciones , cada una seguida de una unidad lineal rectificada (ReLU) y una operación de agrupación máxima (max pooling ). Durante la contracción, la información espacial se reduce mientras que la información de características aumenta. La ruta de expansión combina la información de características y la espacial mediante una secuencia de convoluciones ascendentes y concatenaciones con características de alta resolución de la ruta de contracción. ^{[ 9 ]}

Existen numerosas aplicaciones de U-Net en la segmentación de imágenes biomédicas , como la segmentación de imágenes cerebrales ( «BRATS» ^{[ 10 ]} ) y la segmentación de imágenes hepáticas («siliver07» ^{[ 11 ]} ), así como la predicción de sitios de unión de proteínas. ^{[ 12 ]} Las implementaciones de U-Net también se han utilizado en las ciencias físicas, por ejemplo, en el análisis de micrografías de materiales. ^{[ 13 ] [ 14 ] [ 15 ]} Variaciones de U-Net también se han aplicado a la reconstrucción de imágenes médicas. ^{[ 16 ]} A continuación se presentan algunas variantes y aplicaciones de U-Net:

1. Regresión píxel a píxel utilizando U-Net y su aplicación en el pansharpening; ^{[ 17 ]}
2. 3D U-Net: Aprendizaje de segmentación volumétrica densa a partir de anotaciones dispersas; ^{[ 18 ]}
3. TernausNet: U-Net con codificador VGG11 preentrenado en ImageNet para segmentación de imágenes. ^{[ 19 ]}
4. Traducción de imagen a imagen para estimar tinciones fluorescentes ^{[ 20 ]}
5. En la predicción del sitio de unión de la estructura de la proteína. ^{[ 12 ]}

U-Net fue creada por Olaf Ronneberger, Philipp Fischer y Thomas Brox en 2015 y se describió en el artículo "U-Net: Redes neuronales convolucionales para la segmentación de imágenes biomédicas". ^{[ 1 ]} Es una mejora y desarrollo de FCN: Evan Shelhamer, Jonathan Long, Trevor Darrell (2014). "Redes neuronales totalmente convolucionales para la segmentación semántica". ^{[ 2 ]}

• Tensorflow Unet por J Akeret (2017)
• Código fuente de U-Net procedente del Departamento de Informática de la Universidad de Friburgo, Alemania, dedicado al reconocimiento de patrones y al procesamiento de imágenes.