El análisis de componentes principales robusto (RPCA) es una modificación del procedimiento estadístico ampliamente utilizado del análisis de componentes principales (PCA) que funciona bien con respecto a observaciones muy corruptas. Existen varios enfoques diferentes para el PCA robusto, incluida una versión idealizada del PCA robusto, que tiene como objetivo recuperar una matriz de bajo rango L 0 a partir de mediciones altamente corruptas M = L 0 +S 0 . [ 1 ] Esta descomposición en matrices de bajo rango y dispersas se puede lograr mediante técnicas como el método de búsqueda de componentes principales (PCP), [ 1 ] PCP estable, [ 2 ] PCP cuantificado, [ 3 ] PCP basado en bloques, [ 4 ] y PCP local. [ 5 ] Luego, se utilizan métodos de optimización como el Método del Multiplicador de Lagrange Aumentado (ALM [ 6 ] ), el Método de Dirección Alterna (ADM [ 7 ] ), la Minimización Alterna Rápida (FAM [ 8 ] ), los Mínimos Cuadrados Reponderados Iterativamente (IRLS [ 9 ] [ 10 ] [ 11 ] ) o las proyecciones alternas (AP [ 12 ] [ 13 ] [ 14 ] ).
Algoritmos
Método no convexo
El algoritmo garantizado de 2014 para el problema PCA robusto (con la matriz de entrada siendo) es un algoritmo de minimización alternada. [ 12 ] La complejidad computacional esdonde la entrada es la superposición de un rango bajo (de rango) y una matriz dispersa de dimensiónyes la precisión deseada de la solución recuperada, es decir,dóndees el verdadero componente de bajo rango yes el componente de bajo rango estimado o recuperado. Intuitivamente, este algoritmo realiza proyecciones del residuo sobre el conjunto de matrices de bajo rango (a través de la operación SVD ) y matrices dispersas (a través de umbralización dura por entrada) de manera alternada, es decir, proyección de bajo rango de la diferencia entre la matriz de entrada y la matriz dispersa obtenida en una iteración dada, seguida de proyección dispersa de la diferencia entre la matriz de entrada y la matriz de bajo rango obtenida en el paso anterior, e iterando los dos pasos hasta la convergencia .
Este algoritmo de proyecciones alternas se mejora posteriormente mediante una versión acelerada, denominada AccAltProj. [ 13 ] La aceleración se logra aplicando una proyección en el espacio tangente antes de proyectar el residuo sobre el conjunto de matrices de bajo rango. Este truco mejora la complejidad computacional acon una constante mucho menor delante, manteniendo al mismo tiempo la convergencia lineal teóricamente garantizada.
Otra versión rápida del algoritmo de proyecciones alternas acelerado es IRCUR. [ 14 ] Utiliza la estructura de descomposición CUR en el marco de proyecciones alternas para reducir drásticamente la complejidad computacional de RPCA a
Relajación convexa
Este método consiste en relajar la restricción de rango.en el problema de optimización a la norma nucleary la restricción de escaseza-normaEl programa resultante se puede resolver utilizando métodos como el método de los multiplicadores de Lagrange aumentados.
Método de aprendizaje profundo aumentado
Algunos trabajos recientes proponen algoritmos RPCA con parámetros entrenables/de aprendizaje. [ 15 ] Dicho algoritmo entrenable/de aprendizaje puede desplegarse como una red neuronal profunda cuyos parámetros pueden aprenderse mediante técnicas de aprendizaje automático a partir de un conjunto de datos o distribución de problemas dados. El algoritmo aprendido tendrá un rendimiento superior en la distribución de problemas correspondiente.
Aplicaciones
RPCA tiene muchas aplicaciones importantes en la vida real, especialmente cuando los datos en estudio pueden modelarse naturalmente como una contribución de bajo rango más una contribución dispersa. Los siguientes ejemplos están inspirados en desafíos contemporáneos de la informática y, según las aplicaciones, el componente de bajo rango o el componente disperso podrían ser el objeto de interés:
Videovigilancia
Dada una secuencia de fotogramas de vídeo de vigilancia , a menudo es necesario identificar las actividades que destacan del fondo. Si apilamos los fotogramas de vídeo como columnas de una matriz M, entonces el componente de bajo rango L 0 corresponde naturalmente al fondo estacionario y el componente disperso S 0 captura los objetos en movimiento en primer plano. [ 1 ] [ 16 ]
Reconocimiento facial
Las imágenes de una superficie convexa lambertiana bajo diferentes iluminaciones abarcan un subespacio de baja dimensión. [ 17 ] Esta es una de las razones de la eficacia de los modelos de baja dimensión para datos de imágenes. En particular, es fácil aproximar imágenes del rostro de una persona mediante un subespacio de baja dimensión. Poder recuperar correctamente este subespacio es crucial en muchas aplicaciones, como el reconocimiento y la alineación facial . Resulta que RPCA se puede aplicar con éxito a este problema para recuperar el rostro con exactitud. [ 1 ]
Véase también
Encuestas
Libros, revistas y talleres
Libros
- T. Bouwmans, N. Aybat y E. Zahzah. Manual sobre descomposición robusta de matrices dispersas y de bajo rango: aplicaciones en el procesamiento de imágenes y vídeo , CRC Press , Taylor and Francis Group, mayo de 2016. (Más información: http://www.crcpress.com/product/isbn/9781498724623 )
- Z. Lin, H. Zhang, "Modelos de bajo rango en análisis visual: teorías, algoritmos y aplicaciones", Academic Press, Elsevier, junio de 2017. (más información: https://www.elsevier.com/books/low-rank-models-in-visual-analysis/lin/978-0-12-812731-5 )
Revistas
- N. Vaswani , Y. Chi, T. Bouwmans, Número especial sobre “ Repensando el PCA para conjuntos de datos modernos: teoría, algoritmos y aplicaciones ”, Actas del IEEE , 2018.
- T. Bouwmans, N. Vaswani , P. Rodriguez, R. Vidal, Z. Lin, Número especial sobre “ Aprendizaje y seguimiento robusto de subespacios: teoría, algoritmos y aplicaciones ”, IEEE Journal of Selected Topics in Signal Processing, diciembre de 2018.
Talleres
- RSL-CV 2015: Taller sobre aprendizaje robusto de subespacios y visión por computadora en conjunto con ICCV 2015 (Para más información: http://rsl-cv2015.univ-lr.fr/workshop/ )
- RSL-CV 2017: Taller sobre aprendizaje robusto de subespacios y visión por computadora en conjunto con ICCV 2017 (Para más información: http://rsl-cv.univ-lr.fr/2017/ )
- RSL-CV 2021: Taller sobre aprendizaje robusto de subespacios y visión por computadora en conjunto con ICCV 2021 (Para más información: https://rsl-cv.univ-lr.fr/2021/ )
Sesiones
- Sesión especial sobre "Algoritmos en línea para PCA robusto estático y dinámico y detección compresiva" en conjunto con SSP 2018. (Más información: https://ssp2018.org/ )
Recursos y bibliotecas
sitios web
- Sitio web de sustracción de fondo
- Sitio web de DLAM
- Documentación de la Universidad de Illinois - Enlace al archivo
Bibliotecas
La biblioteca LRS (desarrollada por Andrews Sobral ) ofrece una colección de algoritmos de descomposición de bajo rango y dispersa en MATLAB. Si bien fue diseñada para la detección de objetos en movimiento en videos, también puede utilizarse para otras tareas de visión artificial y aprendizaje automático. Actualmente, la biblioteca LRS ofrece más de 100 algoritmos basados en métodos matriciales y tensoriales .
Referencias
- 1 2 3 4 Emmanuel J. Candes; Xiaodong Li; Yi Ma; John Wright (2009). "¿Análisis de componentes principales robusto?". Journal of the ACM . 58 (3): 1– 37. doi : 10.1145/1970392.1970395 . S2CID 7128002 .
- ↑ J. Wright; Y. Peng; Y. Ma; A. Ganesh; S. Rao (2009). "Análisis de componentes principales robusto: recuperación exacta de matrices de bajo rango corruptas mediante optimización convexa". Sistemas de procesamiento de información neuronal, NIPS 2009 .
- ↑ S. Becker; E. Candes, M. Grant (2011). "TFOCS: Métodos flexibles de primer orden para la minimización de rango". Simposio de optimización de matrices de bajo rango, Conferencia SIAM sobre optimización .
- ↑ G. Tang; A. Nehorai (2011). "Análisis robusto de componentes principales basado en la descomposición de matrices de bajo rango y dispersas por bloques". 45.ª Conferencia Anual sobre Ciencias y Sistemas de la Información de 2011. págs. 1-5 . doi : 10.1109/CISS.2011.5766144 . ISBN 978-1-4244-9846-8. S2CID 17079459 .
- ↑ B. Wohlberg; R. Chartrand; J. Theiler (2012). "Búsqueda de componentes principales locales para conjuntos de datos no lineales". 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) . pp. 3925–3928 . doi : 10.1109/ICASSP.2012.6288776 . ISBN 978-1-4673-0046-9. S2CID 2747520 .
- ↑ Z. Lin; M. Chen; L. Wu; Y. Ma (2013). "El método del multiplicador de Lagrange aumentado para la recuperación exacta de matrices de bajo rango corruptas" . Journal of Structural Biology . 181 (2): 116– 27. arXiv : 1009.5055 . doi : 10.1016/j.jsb.2012.10.010 . PMC 3565063. PMID 23110852 .
- ↑ X. Yuan; J. Yang (2009). "Descomposición de matrices dispersas y de bajo rango mediante métodos de dirección alternada". Optimization Online .
- ↑ P. Rodríguez; B. Wohlberg (2013). "Búsqueda rápida de componentes principales mediante minimización alternada". 2013 IEEE International Conference on Image Processing . pp. 69–73 . doi : 10.1109/ICIP.2013.6738015 . ISBN 978-1-4799-2341-0. S2CID 5726914 .
- ↑ C. Guyon; T. Bouwmans; E. Zahzah (2012). "Detección de primer plano mediante descomposición robusta de matrices de bajo rango que incluye restricciones espacio-temporales". Taller internacional sobre desafíos de modelos de fondo, ACCV 2012 .
- ↑ C. Guyon; T. Bouwmans; E. Zahzah (2012). "Detección de primer plano mediante factorización de matriz de bajo rango robusta que incluye restricción espacial con regresión ponderada iterativa". Conferencia Internacional sobre Reconocimiento de Patrones, ICPR 2012 .
- ↑ C. Guyon; T. Bouwmans; E. Zahzah (2012). "Detección de objetos en movimiento mediante descomposición robusta de matrices de bajo rango con esquema IRLS". Simposio Internacional sobre Computación Visual, ISVC 2012 .
- 1 2 P., Netrapalli; U., Niranjan; S., Sanghavi; A., Anandkumar; P., Jain (2014). "PCA robusto no convexo". Avances en sistemas de procesamiento de información neuronal . 27 : 1107–1115 . arXiv : 1410.7660 . Bibcode : 2014arXiv1410.7660N .
- 1 2 Cai, H.; Cai, J.-F.; Wei, K. (2019). "Proyecciones alternas aceleradas para un análisis de componentes principales robusto". The Journal of Machine Learning Research . 20 (1): 685– 717. arXiv : 1711.05519 . Bibcode : 2017arXiv171105519C .
- 1 2 Cai, H.; Hamm, K.; Huang, L.; Li, J.; Wang, T. (2021). "Análisis rápido y robusto de componentes principales: estimación inexacta de bajo rango acelerada por CUR". IEEE Signal Processing Letters . 28 : 116–120 . arXiv : 2010.07422 . Bibcode : 2021ISPL...28..116C . doi : 10.1109/LSP.2020.3044130 . S2CID 222378834 .
- ↑ Cai, H.; Liu, J.; Yin, W. (2021). "PCA robusto aprendido: un enfoque de despliegue profundo escalable para la detección de valores atípicos de alta dimensión". Advances in Neural Information Processing Systems . 34 : 16977–16989 . arXiv : 2110.05649 . Bibcode : 2021arXiv211005649C .
- 1 2 T. Bouwmans; E. Zahzah (2014). "PCA robusto mediante búsqueda de componentes principales: una revisión para una evaluación comparativa en videovigilancia". Visión por computadora y comprensión de imágenes . 122 : 22–34 . doi : 10.1016/j.cviu.2013.11.009 .
- ↑ Basri, Ronen; Jacobs, David W. (2003). "Reflectancia lambertiana y subespacios lineales". IEEE Transactions on Pattern Analysis and Machine Intelligence . 25 (2): 218– 233. doi : 10.1109/TPAMI.2003.1177153 .
- ↑ Vaswani, Namrata; Bouwmans, Thierry; Javed, Sajid; Narayanamurthy, Praneeth (2018). "Aprendizaje robusto de subespacios: PCA robusto, seguimiento robusto de subespacios y recuperación robusta de subespacios". IEEE Signal Processing Magazine . 35 (4): 32– 55. arXiv : 1711.09492 . Bibcode : 2018ISPM...35d..32V . doi : 10.1109/MSP.2018.2826566 . S2CID 3691367 .
- ↑ T. Bouwmans; A. Sobral; S. Javed; S. Jung; E. Zahzahg (2015). "Descomposición en matrices aditivas de bajo rango para la separación de fondo/primer plano: una revisión para una evaluación comparativa con un conjunto de datos a gran escala". Computer Science Review . 23 : 1–71 . arXiv : 1511.01245 . Bibcode : 2015arXiv151101245B . doi : 10.1016/j.cosrev.2016.11.001 . S2CID 10420698 .
- ↑ Z. Lin (2016). "Una revisión sobre modelos de bajo rango en el análisis de datos" . Big Data and Information Analytics . 1 (2): 139– 161. doi : 10.3934/bdia.2016001 .
Enlaces externos
- Biblioteca LRS
- Descomposiciones matriciales
- Reducción de dimensiones
- Estadísticas sólidas