El índice de similitud estructural ( SSIM ) es un método para predecir la calidad percibida de imágenes de televisión digital y películas, así como de otros tipos de imágenes y vídeos digitales. También se utiliza para medir la similitud entre dos imágenes. El índice SSIM es una métrica de referencia completa ; es decir, la medición o predicción de la calidad de la imagen se basa en una imagen inicial sin comprimir ni distorsionar como referencia.
SSIM es un modelo basado en la percepción que considera la degradación de la imagen como un cambio percibido en la información estructural, al tiempo que incorpora importantes fenómenos perceptuales, incluyendo términos de enmascaramiento de luminancia y enmascaramiento de contraste . Esto lo distingue de otras técnicas como el error cuadrático medio (MSE) o la relación señal-ruido máxima (PSNR), que en cambio estiman errores absolutos. La información estructural es la idea de que los píxeles tienen fuertes interdependencias, especialmente cuando están espacialmente cerca. Estas dependencias contienen información importante sobre la estructura de los objetos en la escena visual. El enmascaramiento de luminancia es un fenómeno por el cual las distorsiones de la imagen (en este contexto) tienden a ser menos visibles en regiones brillantes, mientras que el enmascaramiento de contraste es un fenómeno por el cual las distorsiones se vuelven menos visibles donde hay actividad o "textura" significativa en la imagen.
Historia
El predecesor del SSIM se llamaba Índice de Calidad Universal (UQI) o índice Wang-Bovik , desarrollado por Zhou Wang y Alan Bovik en 2001. Este evolucionó, gracias a su colaboración con Hamid Sheikh y Eero Simoncelli , hasta convertirse en la versión actual del SSIM, publicada en abril de 2004 en la revista IEEE Transactions on Image Processing . [ 1 ] Además de definir el índice de calidad SSIM, el artículo proporciona un contexto general para el desarrollo y la evaluación de medidas de calidad perceptual, incluyendo conexiones con la neurobiología visual y la percepción humanas, y la validación directa del índice frente a las valoraciones de sujetos humanos.
El modelo básico se desarrolló en el Laboratorio de Ingeniería de Imagen y Vídeo (LIVE) de la Universidad de Texas en Austin y se perfeccionó en colaboración con el Laboratorio de Visión Computacional (LCV) de la Universidad de Nueva York . Se han desarrollado otras variantes del modelo en el Laboratorio de Imagen y Computación Visual de la Universidad de Waterloo , las cuales se han comercializado.
SSIM tuvo posteriormente una gran acogida en la comunidad de procesamiento de imágenes y en las industrias de la televisión y las redes sociales. El artículo de SSIM de 2004 ha sido citado más de 50 000 veces según Google Scholar , [ 2 ] lo que lo convierte en uno de los artículos más citados en los campos del procesamiento de imágenes y la ingeniería de vídeo. Fue reconocido con el premio al mejor artículo de la IEEE Signal Processing Society en 2009. [ 3 ] También recibió el premio al impacto sostenido de la IEEE Signal Processing Society en 2016, lo que indica que el artículo ha tenido un impacto excepcionalmente alto durante al menos 10 años después de su publicación. Debido a su gran adopción por parte de la industria televisiva, los autores del artículo original de SSIM recibieron cada uno un premio Emmy de ingeniería en horario estelar en 2015 por la Academia de Televisión .
Algoritmo
El índice SSIM se calcula entre dos ventanas de valores de píxeles.yde tamaño común, de ubicaciones correspondientes en dos imágenes que se compararán. Estos valores SSIM se pueden agregar en todas las imágenes mediante el cálculo del promedio u otras variaciones.
Fórmula para casos especiales
En un caso especial simple, que se explica con más detalle en la siguiente sección, la medida SSIM entreyes: [ 4 ]
con:
- la media de la muestra de píxeles de;
- la media de la muestra de píxeles de;
- la varianza muestral de;
- la varianza muestral de;
- la covarianza muestral dey;
- ,dos variables para estabilizar la división con denominador débil;
- el rango dinámico de los valores de píxeles (normalmente esto es);
- ypor defecto.
Fórmula general y componentes
La fórmula SSIM se basa en tres mediciones de comparación entre las muestras dey: luminancia (), contraste (), y estructura (). Las funciones de comparación individuales son: [ 4 ]
El SSIM para cada bloque es entonces una combinación ponderada de esas medidas comparativas:
Eligiendo la tercera constante estabilizadora del denominador como:
conduce a una simplificación al combinar los componentes c y s con exponentes iguales (), ya que el numerador de c es entonces el doble del denominador de s , lo que lleva a una cancelación que deja solo un 2. Estableciendo los pesos (exponentes)a 1, la fórmula se puede reducir al caso especial que se muestra arriba.
Propiedades matemáticas
SSIM satisface la identidad de los indiscernibles y las propiedades de simetría, pero no la desigualdad triangular ni la no negatividad, por lo que no es una función de distancia . Sin embargo, bajo ciertas condiciones, SSIM puede convertirse en una medida de raíz cuadrática media normalizada, que sí es una función de distancia. [ 5 ] El cuadrado de dicha función no es convexo, pero es localmente convexo y cuasiconvexo , [ 5 ] lo que convierte a SSIM en un objetivo factible para la optimización.
Aplicación de la fórmula
Para evaluar la calidad de la imagen, esta fórmula se aplica generalmente solo a la luminancia , aunque también puede aplicarse a valores de color (p. ej., RGB ) o cromáticos (p. ej., YCbCr ). El índice SSIM resultante es un valor decimal entre -1 y 1, donde 1 indica similitud perfecta, 0 indica ausencia de similitud y -1 indica anticorrelación perfecta. Para una imagen, se calcula típicamente utilizando una ventana gaussiana deslizante de tamaño 11×11 o una ventana de bloques de tamaño 8×8. La ventana puede desplazarse píxel a píxel en la imagen para crear un mapa de calidad SSIM de la imagen. En el caso de la evaluación de la calidad de vídeo, [ 6 ] los autores proponen utilizar solo un subgrupo de las ventanas posibles para reducir la complejidad del cálculo.
Variantes
SSIM multiescala
Una forma más avanzada de SSIM, denominada SSIM multiescala (MS-SSIM) [ 4 ] , se lleva a cabo en múltiples escalas mediante un proceso de submuestreo en varias etapas, similar al procesamiento multiescala del sistema de visión primitivo. Se ha demostrado que su rendimiento es igual o superior al de SSIM en diferentes bases de datos subjetivas de imágenes y vídeos. [ 4 ] [ 7 ] [ 8 ]
SSIM multicomponente
El SSIM de tres componentes (3-SSIM) es una forma de SSIM que considera que el ojo humano puede percibir diferencias con mayor precisión en regiones texturizadas o de borde que en regiones lisas. [ 9 ] La métrica resultante se calcula como un promedio ponderado del SSIM para tres categorías de regiones: bordes, texturas y regiones lisas. La ponderación propuesta es de 0,5 para los bordes y de 0,25 para las regiones texturizadas y lisas. Los autores mencionan que una ponderación de 1/0/0 (ignorando todo excepto las distorsiones de borde) produce resultados más cercanos a las valoraciones subjetivas. Esto sugiere que las regiones de borde desempeñan un papel dominante en la percepción de la calidad de la imagen.
Los autores de 3-SSIM también han extendido el modelo aSSIM de cuatro componentes (4-SSIM). Los tipos de aristas se subdividen en aristas conservadas y modificadas según su estado de distorsión. La ponderación propuesta es de 0,25 para las cuatro componentes. [ 10 ]
Disimilitud estructural
La disimilitud estructural (DSSIM) puede derivarse de la SSIM, aunque no constituye una función de distancia, ya que la desigualdad triangular no se satisface necesariamente.
Métricas de calidad de vídeo y variantes temporales
Cabe destacar que la versión original de SSIM fue diseñada para medir la calidad de imágenes fijas. No contiene parámetros directamente relacionados con los efectos temporales de la percepción y el juicio humanos. [ 7 ] Una práctica común es calcular el valor promedio de SSIM en todos los fotogramas de la secuencia de video. Sin embargo, se han desarrollado varias variantes temporales de SSIM. [ 11 ] [ 6 ] [ 12 ]
Ondícula compleja SSIM
La variante de transformada wavelet compleja del SSIM (CW-SSIM) está diseñada para abordar problemas de escalado, traslación y rotación de imágenes. En lugar de asignar puntuaciones bajas a imágenes con estas condiciones, el CW-SSIM aprovecha la transformada wavelet compleja y, por lo tanto, proporciona puntuaciones más altas a dichas imágenes. El CW-SSIM se define de la siguiente manera:
Dóndees la transformada wavelet compleja de la señalyes la transformada wavelet compleja para la señal. Además,es un número positivo pequeño que se utiliza para fines de estabilidad de la función. Idealmente, debería ser cero. Al igual que el SSIM, el CW-SSIM tiene un valor máximo de 1. El valor máximo de 1 indica que las dos señales son perfectamente similares estructuralmente, mientras que un valor de 0 indica que no hay similitud estructural. [ 13 ]
SSIMPLUS
El índice SSIMPLUS se basa en SSIM y es una herramienta comercial disponible. [ 14 ] Amplía las capacidades de SSIM, principalmente para aplicaciones de vídeo. Proporciona puntuaciones en el rango de 0 a 100, que se corresponden linealmente con las valoraciones subjetivas humanas. También permite adaptar las puntuaciones al dispositivo de visualización previsto, comparando vídeos con diferentes resoluciones y contenidos.
Según sus autores, SSIMPLUS logra mayor precisión y velocidad que otras métricas de calidad de imagen y vídeo. Sin embargo, no se ha realizado ninguna evaluación independiente de SSIMPLUS, ya que el algoritmo en sí no está disponible públicamente.
cSSIM
Con el fin de investigar más a fondo el SSIM discreto estándar desde una perspectiva teórica, se ha introducido y estudiado el SSIM continuo (cSSIM) [ 15 ] en el contexto de la interpolación de funciones de base radial .
SSIMULACRA
SSIMULACRA y SSIMULACRA2 son variantes de SSIM desarrolladas por Cloudinary con el objetivo de ajustarlas a datos de opinión subjetiva. Estas variantes operan en el espacio de color XYB y combinan MS-SSIM con dos tipos de mapas de error asimétricos para el efecto de bloques/anillos y el suavizado/desenfoque, artefactos comunes de compresión. SSIMULACRA2 forma parte de libjxl, la implementación de referencia de JPEG XL . [ 16 ] [ 17 ]
Otras modificaciones sencillas
La métrica de correlación cruzada r* se basa en las métricas de varianza de SSIM. Se define como r*(x, y) = σxy / σx σy cuando σx σy ≠ 0 , 1 cuando ambas desviaciones estándar son cero y 0 cuando solo una es cero . Se ha utilizado para analizar la respuesta humana a fantomas de contraste-detalle . [ 18 ]
SSIM también se ha utilizado en el gradiente de las imágenes, denominándose "G-SSIM". G-SSIM es especialmente útil en imágenes borrosas. [ 19 ]
Las modificaciones anteriores se pueden combinar. Por ejemplo, 4-Gr* es una combinación de 4-SSIM, G-SSIM y r*. Es capaz de reflejar la preferencia del radiólogo por las imágenes mucho mejor que otras variantes de SSIM probadas. [ 20 ]
Solicitud
SSIM tiene aplicaciones en una variedad de problemas diferentes. Algunos ejemplos son:
- Compresión de imágenes: En la compresión de imágenes con pérdida , se descarta información deliberadamente para reducir el espacio de almacenamiento de imágenes y vídeos. El MSE se utiliza habitualmente en este tipo de esquemas de compresión. Según sus autores, se sugiere utilizar SSIM en lugar de MSE para obtener mejores resultados en las imágenes descomprimidas. [ 13 ]
- Restauración de imágenes: La restauración de imágenes se centra en resolver el problema.dóndees la imagen borrosa que debe ser restaurada,es el núcleo de desenfoque,es el ruido aditivo yes la imagen original que deseamos recuperar. El filtro tradicional que se utiliza para resolver este problema es el filtro de Wiener. Sin embargo, el diseño del filtro de Wiener se basa en el MSE. Según los autores del algoritmo, el uso de una variante de SSIM, específicamente Stat-SSIM, produce mejores resultados visuales. [ 13 ]
- Reconocimiento de patrones: Dado que SSIM imita aspectos de la percepción humana, podría utilizarse para reconocer patrones. Ante problemas como el escalado, la traslación y la rotación de imágenes, los autores del algoritmo afirman que es mejor utilizar CW-SSIM, [ 21 ] que es insensible a estas variaciones y puede aplicarse directamente mediante la coincidencia de plantillas sin utilizar ninguna muestra de entrenamiento. Dado que los enfoques de reconocimiento de patrones basados en datos pueden producir un mejor rendimiento cuando se dispone de una gran cantidad de datos para el entrenamiento, los autores sugieren utilizar CW-SSIM en enfoques basados en datos. [ 21 ]
Comparación de rendimiento
Debido a su popularidad, SSIM se compara frecuentemente con otras métricas, incluyendo métricas más simples como MSE y PSNR, y otras métricas de calidad de imagen y video perceptuales . Se ha demostrado repetidamente que SSIM supera significativamente a MSE y sus derivados en precisión, incluyendo investigaciones realizadas por sus propios autores y otros. [ 7 ] [ 22 ] [ 23 ] [ 24 ] [ 25 ] [ 26 ]
Un artículo de Dosselmann y Yang afirma que el rendimiento de SSIM es "mucho más cercano al de MSE" de lo que se suele suponer. Si bien no cuestionan la ventaja de SSIM sobre MSE, establecen una dependencia analítica y funcional entre ambas métricas. [ 8 ] Según su investigación, se ha encontrado que SSIM se correlaciona tan bien como los métodos basados en MSE en bases de datos subjetivas distintas a las de los creadores de SSIM. Como ejemplo, citan a Reibman y Poole, quienes encontraron que MSE superó a SSIM en una base de datos que contenía vídeo con pérdida de paquetes. [ 27 ] En otro artículo, se identificó un vínculo analítico entre PSNR y SSIM. [ 28 ]
Véase también
Referencias
- ↑ Wang, Zhou; Bovik, AC; Sheikh, HR; Simoncelli, EP (2004-04-01). "Evaluación de la calidad de la imagen: de la visibilidad del error a la similitud estructural". IEEE Transactions on Image Processing . 13 (4): 600– 612. Bibcode : 2004ITIP...13..600W . CiteSeerX 10.1.1.2.5689 . doi : 10.1109/TIP.2003.819861 . ISSN 1057-7149 . PMID 15376593 . S2CID 207761262 .
- ↑ "Google Académico" . scholar.google.com . Consultado el 4 de julio de 2019 .
- ↑ "Premio al mejor artículo de la IEEE Signal Processing Society" (PDF) .
- 1 2 3 4 Wang, Z.; Simoncelli, EP; Bovik, AC (2003-11-01). "Similitud estructural multiescala para la evaluación de la calidad de la imagen". Trigésimo séptima Conferencia de Asilomar sobre Señales, Sistemas y Computadoras, 2003. Vol. 2. págs. 1398–1402 Vol.2. CiteSeerX 10.1.1.58.1939 . doi : 10.1109/ACSSC.2003.1292216 . ISBN 978-0-7803-8104-9. S2CID 60600316 .
- 1 2 Brunet, D.; Vass, J.; Vrscay, ER; Wang, Z. (abril de 2012). "Sobre las propiedades matemáticas del índice de similitud estructural" ( PDF) . IEEE Transactions on Image Processing . 21 (4): 2324– 2328. Bibcode : 2012ITIP...21.1488B . doi : 10.1109/TIP.2011.2173206 . PMID 22042163. S2CID 13739220 .
- 1 2 Wang, Z.; Lu, L.; Bovik, AC (febrero de 2004). "Evaluación de la calidad de vídeo basada en la medición de la distorsión estructural" . Procesamiento de señales: Comunicación de imágenes . 19 (2): 121– 132. CiteSeerX 10.1.1.2.6330 . doi : 10.1016/S0923-5965(03)00076-6 .
- 1 2 3 Søgaard, Jacob; Krasula, Lukáš; Shahid, Muhammad; Temel, Dogancan; Brunnström, Kjell; Razaak, Manzoor (2016-02-14). "Aplicabilidad de las métricas objetivas existentes de calidad perceptual para la transmisión adaptativa de vídeo" (PDF) . Electronic Imaging . 2016 (13): 1–7 . doi : 10.2352/issn.2470-1173.2016.13.iqsp-206 . S2CID 26253431 .
- 1 2 Dosselmann, Richard; Yang, Xue Dong (2009-11-06). "Una evaluación integral del índice de similitud estructural". Procesamiento de señales, imágenes y vídeo . 5 (1): 81– 91. doi : 10.1007/s11760-009-0144-1 . ISSN 1863-1703 . S2CID 30046880 .
- ↑ Li, Chaofeng; Bovik, Alan Conrad (2010-01-01). "Evaluación de la calidad de vídeo ponderada por contenido mediante un modelo de imagen de tres componentes". Journal of Electronic Imaging . 19 (1): 011003–011003–9. Bibcode : 2010JEI....19a1003L . doi : 10.1117/1.3267087 . ISSN 1017-9909 .
- ↑ Li, Chaofeng; Bovik, Alan C. (agosto de 2010). "Índice de similitud estructural particionado por contenido para la evaluación de la calidad de la imagen". Procesamiento de señales: Comunicación de imágenes . 25 (7): 517– 526. doi : 10.1016/j.image.2010.03.004 .
- ↑ "Redireccionar página" . www.compression.ru .
- ↑ Wang, Z.; Li, Q. (diciembre de 2007). "Evaluación de la calidad de vídeo mediante un modelo estadístico de percepción de la velocidad visual humana" (PDF) . Journal of the Optical Society of America A. 24 ( 12): B61– B69. Bibcode : 2007JOSAA..24...61W . CiteSeerX 10.1.1.113.4177 . doi : 10.1364/JOSAA.24.000B61 . PMID 18059915 .
- 1 2 3 Zhou Wang; Bovik, AC (enero de 2009). "Error cuadrático medio: ¿Amarlo o dejarlo? Una nueva mirada a las medidas de fidelidad de la señal". IEEE Signal Processing Magazine . 26 (1): 98– 117. Bibcode : 2009ISPM...26...98W . doi : 10.1109/msp.2008.930649 . ISSN 1053-5888 . S2CID 2492436 .
- ↑ Rehman, A.; Zeng, K.; Wang, Zhou (febrero de 2015). Rogowitz, Bernice E; Pappas, Thrasyvoulos N; De Ridder, Huib (eds.). "Evaluación de la calidad de la experiencia de vídeo adaptada al dispositivo de visualización" (PDF) . IS&T-SPIE Electronic Imaging, Human Vision and Electronic Imaging XX . Human Vision and Electronic Imaging XX. 9394 : 939406. Bibcode : 2015SPIE.9394E..06R . doi : 10.1117/12.2077917 . S2CID 1466973 .
- ↑ Marchetti, F. (enero de 2021). "Tasa de convergencia en términos del índice SSIM continuo (cSSIM) en la interpolación RBF" (PDF) . Dolom. Res. Notes Approx . 14 : 27–32 .
- ↑ "SSIMULACRA 2 - Similitud estructural que revela artefactos locales y relacionados con la compresión" . Cloudinary. 12 de julio de 2023.
- ↑ "Detección del impacto psicovisual de los artefactos relacionados con la compresión mediante SSIMULACRA" . Blog de Cloudinary . 14 de junio de 2017.
- ↑ Prieto, Gabriel; Guibelalde, Eduardo; Chevalier, Margarita; Turrero, Agustín (21 de julio de 2011). "Uso del componente de correlación cruzada de la métrica de similitud estructural multiescala (métrica R*) para la evaluación de imágenes médicas: métrica R* para la evaluación de imágenes médicas". Medical Physics . 38 (8): 4512– 4517. doi : 10.1118/1.3605634 . PMID 21928621 .
- ↑ Chen, Guan-hao; Yang, Chun-ling; Xie, Sheng-li (octubre de 2006). "Similitud estructural basada en gradientes para la evaluación de la calidad de la imagen". Conferencia Internacional de Procesamiento de Imágenes de 2006. págs. 2929–2932 . doi : 10.1109/ICIP.2006.313132 . ISBN 1-4244-0480-0. S2CID 15809337 .
- ↑ Renieblas, Gabriel Prieto; Nogués, Agustín Turrero; González, Alberto Muñoz; Gómez-León, Nieves; del Castillo, Eduardo Guibelalde (26 de julio de 2017). "Familia de índices de similitud estructural para la evaluación de la calidad de la imagen en imágenes radiológicas" . Revista de imágenes médicas . 4 (3) 035501. doi : 10.1117/1.JMI.4.3.035501 . PMC 5527267 . PMID 28924574 .
- 1 2 Gao, Y.; Rehman, A.; Wang, Z. (septiembre de 2011). Clasificación de imágenes basada en CW-SSIM (PDF) . Conferencia Internacional IEEE sobre Procesamiento de Imágenes (ICIP11).
- ↑ Zhang, Lin; Zhang, Lei; Mou, X.; Zhang, D. (septiembre de 2012). "Una evaluación exhaustiva de algoritmos de evaluación de la calidad de imagen de referencia completa". 19.ª Conferencia Internacional IEEE de Procesamiento de Imágenes de 2012. págs. 1477–1480 . CiteSeerX 10.1.1.476.2566 . doi : 10.1109/icip.2012.6467150 . ISBN 978-1-4673-2533-2. S2CID 10716320 .
- ↑ Zhou Wang; Wang, Zhou; Li, Qiang (mayo de 2011). "Ponderación del contenido de información para la evaluación de la calidad perceptual de la imagen". IEEE Transactions on Image Processing . 20 (5): 1185– 1198. Bibcode : 2011ITIP...20.1185W . doi : 10.1109/tip.2010.2092435 . PMID 21078577. S2CID 106021 .
- ↑ Channappayya, SS; Bovik, AC; Caramanis, C.; Heath, RW (marzo de 2008). "Restauración lineal de imágenes óptima mediante SSIM". Conferencia Internacional IEEE de 2008 sobre Acústica, Habla y Procesamiento de Señales . págs. 765–768 . CiteSeerX 10.1.1.152.7952 . doi : 10.1109/icassp.2008.4517722 . ISBN 978-1-4244-1483-3. S2CID 14830268 .
- ↑ Gore, Akshay; Gupta, Savita (2015-02-01). "Métricas de calidad de imagen de referencia completa para imágenes comprimidas JPEG". AEU — Revista Internacional de Electrónica y Comunicaciones . 69 (2): 604– 608. doi : 10.1016/j.aeue.2014.09.002 .
- ↑ Wang, Z.; Simoncelli, EP (septiembre de 2008). "Competencia de diferenciación máxima (MAD): una metodología para comparar modelos computacionales de cantidades perceptuales" ( PDF) . Journal of Vision . 8 (12): 8.1–13. doi : 10.1167/8.12.8 . PMC 4143340. PMID 18831621 .
- ↑ Reibman, AR; Poole, D. (septiembre de 2007). "Caracterización de las deficiencias por pérdida de paquetes en vídeo comprimido". 2007 IEEE International Conference on Image Processing . Vol. 5. pp. V – 77–V – 80. CiteSeerX 10.1.1.159.5710 . doi : 10.1109/icip.2007.4379769 . ISBN 978-1-4244-1436-9. S2CID 1685021 .
- ↑ Hore, A.; Ziou, D. (agosto de 2010). "Métricas de calidad de imagen: PSNR vs. SSIM". 2010 20.ª Conferencia Internacional sobre Reconocimiento de Patrones . págs. 2366–2369 . doi : 10.1109/icpr.2010.579 . ISBN 978-1-4244-7542-1. S2CID 9506273 .
Enlaces externos
- Página principal
- Implementación en Rust
- Implementación en C/C++
- Implementación de DSSIM en C++
- Implementación en C# de Chris Lomont
- Implementación de qpsnr (C++ multihilo)
- Implementación en el software VQMT
- Implementación en Python
- "El misterio detrás de las medidas de similitud MSE y SSIM", Gintautas Palubinskas, 2014
- Procesamiento de imágenes