Hispanopedia Wiki
Articulo de referencia

aprendizaje de subespacios multilineales

Un vídeo o una secuencia de imágenes representada como un tensor de tercer orden de columna x fila x tiempo para el aprendizaje de subespacios multilineales. El aprendizaje de s...

Hispanopedia WikiContenido en espanolLectura gratuita
Un vídeo o una secuencia de imágenes representada como un tensor de tercer orden de columna x fila x tiempo para el aprendizaje de subespacios multilineales.

El aprendizaje de subespacios multilineales es un enfoque para desentrañar el factor causal de la formación de datos y realizar la reducción de dimensionalidad. [ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] La reducción de dimensionalidad se puede realizar en un tensor de datos que contiene una colección de observaciones que han sido vectorizadas, [ 1 ] u observaciones que se tratan como matrices y se concatenan en un tensor de datos. [ 6 ] [ 7 ] Aquí hay algunos ejemplos de tensores de datos cuyas observaciones están vectorizadas o cuyas observaciones son matrices concatenadas en imágenes de tensores de datos (2D/3D), secuencias de video (3D/4D) y cubos hiperespectrales (3D/4D).

La transformación de un espacio vectorial de alta dimensión a un conjunto de espacios vectoriales de menor dimensión es una proyección multilineal. [ 4 ] Cuando las observaciones se conservan en la misma estructura organizativa que las matrices o los tensores de orden superior, sus representaciones se calculan mediante proyecciones lineales en el espacio columna, el espacio fila y el espacio fibra. [ 6 ]

Los algoritmos de aprendizaje de subespacios multilineales son generalizaciones de orden superior de los métodos de aprendizaje de subespacios lineales , como el análisis de componentes principales (PCA), el análisis de componentes independientes (ICA), el análisis discriminante lineal (LDA) y el análisis de correlación canónica (CCA).

Fondo

Los métodos multilineales pueden ser de naturaleza causal y realizar inferencias causales, o pueden ser métodos de regresión simples de los que no se extrae ninguna conclusión causal.

Los algoritmos de aprendizaje de subespacios lineales son técnicas tradicionales de reducción de dimensionalidad que resultan adecuadas para conjuntos de datos que son el resultado de la variación de un único factor causal. Desafortunadamente, a menudo se vuelven inadecuados cuando se trata de conjuntos de datos que son el resultado de múltiples factores causales.

El aprendizaje de subespacios multilineales puede aplicarse a observaciones cuyas mediciones se vectorizaron y organizaron en un tensor de datos para la reducción de dimensionalidad con conciencia causal. [ 1 ] Estos métodos también pueden emplearse para reducir redundancias horizontales y verticales independientemente de los factores causales cuando las observaciones se tratan como una "matriz" (es decir, una colección de observaciones de columna/fila independientes) y se concatenan en un tensor. [ 8 ] [ 9 ]

Algoritmos

Análisis de componentes principales multilineal

Históricamente, el análisis de componentes principales multilineal se ha denominado "PCA de modo M", una terminología acuñada por Peter Kroonenberg. [ 10 ] En 2005, Vasilescu y Terzopoulos introdujeron la terminología PCA multilineal [ 11 ] como una forma de diferenciar mejor entre las descomposiciones tensoriales multilineales que calculaban estadísticas de segundo orden asociadas con cada modo tensorial de datos, [ 1 ] [ 2 ] [ 3 ] [ 12 ] [ 13 ] y el trabajo posterior sobre el análisis de componentes independientes multilineales [ 11 ] que calculaba estadísticas de orden superior para cada modo tensorial. MPCA es una extensión de PCA .

Análisis de componentes independientes multilineales

El análisis de componentes independientes multilineales [ 11 ] es una extensión del ICA .

análisis discriminante lineal multilineal

  • Extensión multilineal de LDA
    • Basado en TTP: Análisis discriminante con representación tensorial (DATER) [ 9 ]
    • Basado en TTP: Análisis discriminante tensorial general (GTDA) [ 14 ]
    • Basado en TVP: Análisis discriminante multilineal no correlacionado (UMLDA) [ 15 ]

análisis de correlación canónica multilineal

  • Extensión multilineal de CCA
    • Basado en TTP: Análisis de correlación canónica tensorial (TCCA) [ 16 ]
    • Basado en TVP: Análisis de correlación canónica multilineal (MCCA) [ 17 ]
    • Basado en TVP: Análisis de correlación canónica multilineal bayesiana (BMTF) [ 18 ]
  • Una TTP es una proyección directa de un tensor de alta dimensión a un tensor de baja dimensión del mismo orden, utilizando N matrices de proyección para un tensor de orden N. Se puede realizar en N pasos, donde cada paso realiza una multiplicación (producto) de matriz tensorial. Los N pasos son intercambiables. [ 19 ] Esta proyección es una extensión de la descomposición en valores singulares de orden superior [ 19 ] (HOSVD) al aprendizaje de subespacios. [ 13 ] Por lo tanto, su origen se remonta a la descomposición de Tucker [ 20 ] en la década de 1960.
  • Una TVP es una proyección directa de un tensor de alta dimensión a un vector de baja dimensión, también conocida como proyección de rango uno. Dado que una TVP proyecta un tensor a un vector, puede considerarse como múltiples proyecciones de un tensor a un escalar. Por lo tanto, la TVP de un tensor a un vector P -dimensional consta de P proyecciones del tensor al escalar. La proyección de un tensor a un escalar es una proyección multilineal elemental (EMP). En una EMP, un tensor se proyecta a un punto mediante N vectores de proyección unitarios. Es la proyección de un tensor sobre una sola línea (resultando en un escalar), con un vector de proyección en cada modo. Así, la TVP de un objeto tensorial a un vector en un espacio vectorial P -dimensional consta de P EMP. Esta proyección es una extensión de la descomposición canónica , [ 21 ] también conocida como descomposición de factores paralelos (PARAFAC). [ 22 ]

Enfoque típico en MSL

Hay N conjuntos de parámetros que resolver, uno en cada modo. La solución de un conjunto suele depender de los demás (excepto cuando N=1 , el caso lineal). Por lo tanto, se sigue el procedimiento iterativo subóptimo descrito en [ 23 ] .

  1. Inicialización de las proyecciones en cada modo
  2. Para cada modo, se fija la proyección en todos los demás modos y se calcula la proyección en el modo actual.
  3. Realice la optimización por modos durante algunas iteraciones o hasta que converja.

Esto tiene su origen en el método de mínimos cuadrados alternados para el análisis de datos multidimensionales. [ 10 ]

Código

  • Caja de herramientas de tensores de MATLAB de los Laboratorios Nacionales Sandia .
  • El algoritmo MPCA escrito en Matlab (MPCA+LDA incluido) .
  • El algoritmo UMPCA escrito en Matlab (datos incluidos) .
  • El algoritmo UMLDA escrito en Matlab (datos incluidos) .

conjuntos de datos tensoriales

  • Datos de marcha 3D (tensores de tercer orden): 128x88x20(21,2M) ; 64x44x20(9,9M) ; 32x22x10(3,2M) ;

Véase también

Referencias

  1. 1 2 3 4 M. AO Vasilescu, D. Terzopoulos (2003) "Análisis de subespacios multilineales de conjuntos de imágenes" , "Actas de la Conferencia IEEE sobre Visión por Computadora y Reconocimiento de Patrones (CVPR'03), Madison, WI, junio de 2003"
  2. 1 2 M. AO Vasilescu, D. Terzopoulos (2002) "Análisis multilineal de conjuntos de imágenes: TensorFaces" , Actas de la 7ª Conferencia Europea sobre Visión por Computadora (ECCV'02), Copenhague, Dinamarca, mayo de 2002
  3. 1 2 M. AO Vasilescu,(2002) "Firmas de movimiento humano: análisis, síntesis, reconocimiento" , "Actas de la Conferencia Internacional sobre Reconocimiento de Patrones (ICPR 2002), Vol. 3, Ciudad de Quebec, Canadá, agosto de 2002, 456–460."
  4. 1 2 Vasilescu, MAO; Terzopoulos, D. (2007). Proyección multilineal para el reconocimiento basado en la apariencia en el marco tensorial . IEEE 11.ª Conferencia Internacional sobre Visión por Computadora . págs. 1–8 . doi : 10.1109/ICCV.2007.4409067 . .
  5. ↑ Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2013). Aprendizaje de subespacios multilineales: reducción de dimensionalidad de datos multidimensionales . Chapman & Hall/CRC Press Machine Learning and Pattern Recognition Series. Taylor and Francis. ISBN 978-1-4398572-4-3.
  6. 1 2 Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2011). "Una revisión del aprendizaje de subespacios multilineales para datos tensoriales" (PDF) . Pattern Recognition . 44 (7): 1540– 1551. Bibcode : 2011PatRe..44.1540L . doi : 10.1016/j.patcog.2011.01.004 .
  7. ↑ X. He, D. Cai, P. Niyogi, Análisis de subespacios tensoriales , en: Advances in Neural Information Processing Systemsc 18 (NIPS), 2005.
  8. ↑ "Direcciones futuras en computación y modelado basados ​​en tensores" (PDF) . Mayo de 2009.
  9. 1 2 S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang y H.-J. Zhang, " Análisis discriminante con representación tensorial ", en Proc. IEEE Conference on Computer Vision and Pattern Recognition , vol. I, junio de 2005, pp. 526–532.
  10. 1 2 P. M. Kroonenberg y J. de Leeuw, Análisis de componentes principales de datos de tres modos mediante algoritmos de mínimos cuadrados alternos , Psychometrika, 45 (1980), pp. 69–97.
  11. 1 2 3 M. AO Vasilescu, D. Terzopoulos (2005) "Análisis de componentes independientes multilineales" , "Actas de la Conferencia IEEE sobre Visión por Computadora y Reconocimiento de Patrones (CVPR'05), San Diego, CA, junio de 2005, vol. 1, 547–553."
  12. ↑ MAO Vasilescu, D. Terzopoulos (2004) "TensorTextures: Multilinear Image-Based Rendering", MAO Vasilescu y D. Terzopoulos, Proc. ACM SIGGRAPH 2004 Conference Los Angeles, CA, agosto de 2004, en Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
  13. 1 2 H. Lu, KN Plataniotis y AN Venetsanopoulos, " MPCA: Análisis de componentes principales multilineales de objetos tensoriales ," IEEE Trans. Neural Netw., vol. 19, no. 1, pp. 18–39, enero de 2008.
  14. ↑ D. Tao, X. Li, X. Wu y SJ Maybank, " Análisis discriminante tensorial general y características de Gabor para el reconocimiento de la marcha ", IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, n.º 10, págs. 1700–1715, octubre de 2007.
  15. ↑ H. Lu, KN Plataniotis y AN Venetsanopoulos, " Análisis discriminante multilineal no correlacionado con regularización y agregación para el reconocimiento de objetos tensoriales ", IEEE Trans. Neural Netw., vol. 20, n.º 1, págs. 103-123, enero de 2009.
  16. ↑ T.-K. Kim y R. Cipolla. " Análisis de correlación canónica de tensores de volumen de vídeo para la categorización y detección de acciones ", IEEE Trans. Pattern Anal. Mach. Intell., vol. 31, n.º 8, págs. 1415–1428, 2009.
  17. ↑ H. Lu, " Aprendizaje de correlaciones canónicas de conjuntos de tensores emparejados mediante proyección de tensor a vector ", Actas de la 23.ª Conferencia Internacional Conjunta sobre Inteligencia Artificial (IJCAI 2013), Pekín, China, 3-9 de agosto de 2013.
  18. ↑ Khan, Suleiman A.; Kaski, Samuel (15 de septiembre de 2014). "Factorización tensorial multivista bayesiana". En Calders, Toon; Esposito, Floriana ; Hüllermeier, Eyke; Meo, Rosa (eds.). Aprendizaje automático y descubrimiento de conocimiento en bases de datos . Lecture Notes in Computer Science. Vol. 8724. Springer Berlin Heidelberg. pp. 656–671 . doi : 10.1007/978-3-662-44848-9_42 . ISBN   9783662448472.
  19. 1 2 L.D. Lathauwer, BD Moor, J. Vandewalle, Una descomposición en valores singulares multilineal , SIAM Journal of Matrix Analysis and Applications vol. 21, no. 4, pp. 1253–1278, 2000
  20. ↑ Ledyard R Tucker (septiembre de 1966). "Algunas notas matemáticas sobre el análisis factorial de tres modos". Psychometrika . 31 (3): 279– 311. doi : 10.1007/BF02289464 . PMID 5221127. S2CID 44301099 .  
  21. ↑ JD Carroll y J. Chang (1970). "Análisis de las diferencias individuales en el escalamiento multidimensional mediante una generalización n -dimensional de la descomposición de 'Eckart-Young'". Psychometrika . 35 (3): 283–319 . doi : 10.1007/BF02310791 . S2CID 50364581 . 
  22. ↑ RA Harshman, Fundamentos del procedimiento PARAFAC: Modelos y condiciones para un análisis factorial multimodal "explicativo". Archivado el 10 de octubre de 2004 en Wayback Machine . UCLA Working Papers in Phonetics, 16, pp. 1–84, 1970.
  23. ↑ LD Lathauwer, BD Moor, J. Vandewalle, Sobre la mejor aproximación de rango 1 y rango (R1, R2, ..., RN) de tensores de orden superior , SIAM Journal of Matrix Analysis and Applications 21 (4) (2000) 1324–1342.