Tensor (aprendizaje automático)

En el aprendizaje automático , el término tensor se refiere informalmente a dos conceptos diferentes: (i) una forma de organizar datos y (ii) una transformación multilineal ( tensorial ). Los datos pueden organizarse en una matriz multidimensional ( matriz M -dimensional), denominada informalmente "tensor de datos"; sin embargo, en el sentido matemático estricto, un tensor es una función multilineal que mapea un conjunto de espacios vectoriales de dominio a un espacio vectorial de rango. Las observaciones, como imágenes, vídeos, volúmenes, sonidos y relaciones entre palabras y conceptos, almacenadas en una matriz M -dimensional ("tensor de datos"), pueden analizarse mediante redes neuronales artificiales o métodos tensoriales . ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]}

La descomposición tensorial factoriza los tensores de datos en tensores más pequeños. ^{[ 1 ] [ 6 ]} Las operaciones sobre tensores de datos pueden expresarse en términos de multiplicación de matrices y el producto de Kronecker . ^{[ 7 ]} El cálculo de gradientes, un aspecto crucial de la retropropagación , puede realizarse utilizando bibliotecas de software como PyTorch y TensorFlow . ^{[ 8 ] [ 9 ]}

Los cálculos suelen realizarse en unidades de procesamiento gráfico (GPU) mediante CUDA y en hardware especializado como la Unidad de Procesamiento Tensorial de Google o el núcleo Tensor de Nvidia . Estos avances han acelerado enormemente las arquitecturas de redes neuronales y han aumentado el tamaño y la complejidad de los modelos que se pueden entrenar.

Un tensor es, por definición, una aplicación multilineal . En matemáticas, esto puede expresar una relación multilineal entre conjuntos de objetos algebraicos. En física, los campos tensoriales , considerados como tensores en cada punto del espacio, son útiles para expresar fenómenos mecánicos como la tensión o la elasticidad . En aprendizaje automático, el uso exacto de los tensores depende del enfoque estadístico empleado.

En 2001, el campo del procesamiento de señales y la estadística ya utilizaba métodos tensoriales. Pierre Comon analiza la temprana adopción de estos métodos en los campos de las telecomunicaciones, la radiovigilancia, la quimiometría y el procesamiento de sensores. Los métodos lineales de rango tensorial (como Parafac/CANDECOMP) analizaban matrices M-dimensionales ("tensores de datos") compuestas por estadísticas de orden superior que se empleaban en problemas de separación ciega de fuentes para calcular un modelo lineal de los datos. Comon señaló varias limitaciones iniciales en la determinación del rango tensorial y en la descomposición eficiente del mismo. ^{[ 10 ]}

A principios de la década de 2000, los métodos de tensores multilineales ^{[ 1 ] [ 11 ]} se integraron en la visión por computadora , los gráficos por computadora y el aprendizaje automático con artículos de Vasilescu o en colaboración con Terzopoulos, como Human Motion Signatures, ^{[ 12 ] [ 13 ]} TensorFaces ^{[ 14 ] [ 15 ]} TensorTextures ^{[ 16 ]} y Multilinear Projection. ^{[ 17 ] [ 18 ]} El álgebra multilineal , el álgebra de tensores de orden superior, es un marco adecuado y transparente para analizar la estructura multifactorial de un conjunto de observaciones y para abordar el difícil problema de desenredar los factores causales basándose en estadísticas de segundo orden ^{[ 14 ]} o de orden superior asociadas con cada factor causal. ^{[ 15 ]}

El análisis factorial tensorial (multilineal) desentraña y reduce la influencia de diferentes factores causales con aprendizaje de subespacios multilineales. ^{[ 19 ]} Al tratar una imagen o un video como una matriz de 2 o 3 vías, es decir, "matriz de datos/tensor", los métodos tensoriales reducen las redundancias espaciales o temporales, como demostraron Wang y Ahuja. ^{[ 20 ]}

Yoshua Bengio, ^{[ 21 ] [ 22 ]} Geoff Hinton ^{[ 23 ] [ 24 ]} y sus colaboradores discuten brevemente la relación entre redes neuronales profundas y análisis factorial tensorial ^{[ 14 ] [ 15 ]} más allá del uso de matrices M-dimensionales ("tensores de datos") como entradas. Uno de los primeros usos de tensores para redes neuronales apareció en el procesamiento del lenguaje natural . Una sola palabra puede expresarse como un vector a través de Word2vec . ^{[ 5 ]} Por lo tanto, una relación entre dos palabras puede codificarse en una matriz. Sin embargo, para relaciones más complejas como sujeto-objeto-verbo, es necesario construir redes de dimensiones superiores. En 2009, el trabajo de Sutskever introdujo la factorización tensorial agrupada bayesiana para modelar conceptos relacionales mientras reducía el espacio de parámetros. ^{[ 25 ]} De 2014 a 2015, los métodos tensoriales se hicieron más comunes en las redes neuronales convolucionales (CNN). Los métodos tensoriales organizan los pesos de la red neuronal en un "tensor de datos", analizan y reducen el número de pesos de la red neuronal. ^{[ 26 ] [ 27 ]} Lebedev et al. aceleraron las redes CNN para la clasificación de caracteres (el reconocimiento de letras y dígitos en imágenes) utilizando tensores de núcleo 4D. ^{[ 28 ]}

Dejar${\displaystyle \mathbb {F} }$ser un campo (como los números reales)${\displaystyle \mathbb {R} }$o los números complejos${\displaystyle \mathbb {C} }$). Un tensor${\displaystyle {\mathcal {T}}\in {\mathbb {F} }^{I_{1}\times I_{2}\times \ldots \times I_{C}}}$es una transformación multilineal de un conjunto de espacios vectoriales de dominio a un espacio vectorial de rango:

${\displaystyle {\mathcal {T}}:\{{\mathbb {F} }^{I_{1}}\times {\mathbb {F} }^{I_{2}}\times \ldots {\mathbb {F} }^{I_{C}}\}\mapsto {\mathbb {F} }^{I_{0}}}$

Aquí,${\displaystyle C}$y${\displaystyle I_{0},I_{1},\ldots ,I_{C}}$son enteros positivos y${\displaystyle (C+1)}$es el número de modos de un tensor (también conocido como el número de vías de una matriz multi-vía). La dimensionalidad del modo${\displaystyle c}$es${\displaystyle I_{c}}$, para${\displaystyle 0\leq c\leq C}$. ^{[ 14 ] [ 15 ] [ 29 ] [ 5 ]}

En estadística y aprendizaje automático, una imagen se vectoriza cuando se considera como una sola observación, y una colección de imágenes vectorizadas se organiza como un "tensor de datos". Por ejemplo, un conjunto de imágenes faciales.${\displaystyle \{{\mathbb {d} }_{i_{p},i_{e},i_{l},i_{v}}\in {\mathbb {R} }^{I_{X}}\}}$con${\displaystyle I_{X}}$píxeles que son consecuencia de múltiples factores causales, como la geometría facial.${\displaystyle i_{p}(1\leq i_{p}\leq I_{P})}$, una expresión${\ Displaystyle i_ {e} (1 \ leq i_ {e} \ leq I_ {E})}$, una condición de iluminación${\ Displaystyle i_ {l} (1 \ leq i_ {l} \ leq I_ {L})}$y una condición de visualización${\displaystyle i_{v}(1\leq i_{v}\leq I_{V})}$puede organizarse en un tensor de datos (es decir, una matriz multidimensional)${\displaystyle {\mathcal {D}}\in {\mathbb {R} }^{I_{X}\times I_{P}\times I_{E}\times I_{L}\times V}}$dónde${\displaystyle I_{P}}$ son el número total de geometrías faciales, ${\displaystyle I_{E}}$ son el número total de expresiones, ${\displaystyle I_{L}}$ son el número total de condiciones de iluminación y ${\displaystyle I_{V}}$ son el número total de condiciones de visualización. Los métodos de factorización tensorial, como TensorFaces y el análisis de componentes independientes multilineales (tensoriales), factorizan el tensor de datos en un conjunto de espacios vectoriales que abarcan las representaciones de factores causales, donde una imagen es el resultado de la transformación tensorial.${\displaystyle {\mathcal {T}}}$que asigna un conjunto de representaciones de factores causales al espacio de píxeles.

Otro enfoque para usar tensores en el aprendizaje automático es incrustar directamente varios tipos de datos. Por ejemplo, una imagen en escala de grises , comúnmente representada como una matriz discreta de 2 vías. $${\displaystyle {\mathbf {D} }\in {\mathbb {R} }^{I_{RX}\times I_{CX}}}$$con dimensionalidad ${\displaystyle I_{RX}\times I_{CX}}$dónde ${\displaystyle I_{RX}}$son el número de filas y${\displaystyle I_{CX}}$son el número de columnas. Cuando una imagen se trata como una matriz de 2 vías o un tensor de segundo orden (es decir, como una colección de observaciones de columna/fila), los métodos de factorización tensorial calculan el espacio de columna de la imagen, el espacio de fila de la imagen y los coeficientes PCA normalizados o los coeficientes ICA.

De manera similar, una imagen en color con canales RGB,${\displaystyle {\mathcal {D}}\in \mathbb {R} ^{N\times M\times 3}.}$Puede considerarse como un tensor de datos de tercer orden o una matriz de tres vías.

En el procesamiento del lenguaje natural, una palabra puede expresarse como un vector.${\displaystyle v}$mediante el algoritmo Word2vec . Por lo tanto${\displaystyle v}$se convierte en un tensor de modo 1

${\displaystyle v\mapsto {\mathcal {A}}\in \mathbb {R} ^{N}.}$

La incrustación de la semántica sujeto-objeto-verbo requiere relaciones de incrustación entre tres palabras. Dado que una palabra es en sí misma un vector, la semántica sujeto-objeto-verbo podría expresarse utilizando tensores de modo 3.

${\displaystyle v_{a}\times v_{b}\times v_{c}\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times N\times N}.}$

En la práctica, el diseñador de redes neuronales se centra principalmente en la especificación de las incrustaciones, la conexión de las capas tensoriales y las operaciones que se realizan sobre ellas en la red. Los modernos marcos de aprendizaje automático gestionan automáticamente la optimización, la factorización tensorial y la retropropagación.

Como valores unitarios

Los tensores pueden utilizarse como valores unitarios de las redes neuronales, que extienden el concepto de valores escalares, vectoriales y matriciales a múltiples dimensiones.

El valor de salida de la unidad de una sola capa${\displaystyle y_{m}}$es la suma del producto de sus unidades de entrada y los pesos de conexión filtrados a través de la función de activación${\displaystyle f}$:

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right),}$

dónde

${\displaystyle y_{m}\in \mathbb {R} .}$

Si cada elemento de salida de${\displaystyle y_{m}}$Si es un escalar, entonces tenemos la definición clásica de una red neuronal artificial . Al reemplazar cada componente unitario con un tensor, la red es capaz de expresar datos de dimensiones superiores, como imágenes o vídeos:

${\displaystyle y_{m}\in \mathbb {R} ^{I_{0}\times I_{1}\times ..\times I_{C}}.}$

El uso de tensores para reemplazar valores unitarios es común en redes neuronales convolucionales , donde cada unidad puede ser una imagen procesada a través de múltiples capas. Al incrustar los datos en tensores, estas estructuras de red permiten el aprendizaje de tipos de datos complejos.

En capas totalmente conectadas

Los tensores también pueden utilizarse para calcular las capas de una red neuronal totalmente conectada, donde el tensor se aplica a toda la capa en lugar de a valores unitarios individuales.

El valor de salida de la unidad de una sola capa${\displaystyle y_{m}}$es la suma del producto de sus unidades de entrada y los pesos de conexión filtrados a través de la función de activación${\displaystyle f}$:

${\displaystyle y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right).}$

Los vectores${\displaystyle x}$y${\displaystyle y}$Los valores de salida se pueden expresar como tensores de modo 1, mientras que los pesos ocultos se pueden expresar como tensores de modo 2. En este ejemplo, los valores unitarios son escalares, mientras que el tensor adopta las dimensiones de las capas de la red:

${\displaystyle x_{n}\mapsto {\mathcal {X}}\in \mathbb {R} ^{1\times N},}$

${\displaystyle y_{n}\mapsto {\mathcal {Y}}\in \mathbb {R} ^{M\times 1},}$

${\displaystyle u_{n}\mapsto {\mathcal {U}}\in \mathbb {R} ^{N\times M}.}$

En esta notación, los valores de salida se pueden calcular como un producto tensorial de los tensores de entrada y de peso:

${\displaystyle {\mathcal {Y}}=f({\mathcal {X}}{\mathcal {U}}).}$

que calcula la suma-producto como una multiplicación tensorial (similar a la multiplicación de matrices).

Esta formulación de tensores permite calcular de manera eficiente toda la capa de una red totalmente conectada, asignando las unidades y los pesos a tensores.

factorización tensorial

Una contribución importante de los tensores en el aprendizaje automático es la capacidad de factorizarlos para descomponer los datos en factores constituyentes o reducir los parámetros aprendidos. Las técnicas de modelado de tensores de datos se derivan de la descomposición tensorial lineal (descomposición CANDECOMP/Parafac) y de las descomposiciones tensoriales multilineales (Tucker).

Descomposición de Tucker

La descomposición de Tucker , por ejemplo, toma una matriz de 3 vías.${\displaystyle {\mathcal {X}}\in \mathbb {R} ^{I\times J\times K}}$ y descompone el tensor en tres matrices${\displaystyle {\mathcal {A,B,C}}}$y un tensor más pequeño${\displaystyle {\mathcal {G}}}$. La forma de las matrices y del nuevo tensor es tal que el número total de elementos se reduce. Los nuevos tensores tienen formas

${\displaystyle {\mathcal {A}}\in \mathbb {R} ^{I\times P},}$

${\displaystyle {\mathcal {B}}\in \mathbb {R} ^{J\times Q},}$

${\displaystyle {\mathcal {C}}\in \mathbb {R} ^{K\times R},}$

${\displaystyle {\mathcal {G}}\in \mathbb {R} ^{P\times Q\times R}.}$

Entonces, el tensor original puede expresarse como el producto tensorial de estos cuatro tensores:

${\displaystyle {\mathcal {X}}={\mathcal {G}}\times {\mathcal {A}}\times {\mathcal {B}}\times {\mathcal {C}}.}$

En el ejemplo que se muestra en la figura, las dimensiones de los tensores son

${\displaystyle {\mathcal {X}}}$: I=8, J=6, K=3,${\displaystyle {\mathcal {A}}}$: I=8, P=5,${\displaystyle {\mathcal {B}}}$: J=6, Q=4,${\displaystyle {\mathcal {C}}}$: K=3, R=2,${\displaystyle {\mathcal {G}}}$: P=5, Q=4, R=2.

El número total de elementos en la factorización de Tucker es

${\displaystyle |{\mathcal {A}}|+|{\mathcal {B}}|+|{\mathcal {C}}|+|{\mathcal {G}}|=}$

${\displaystyle (I\times P)+(J\times Q)+(K\times R)+(P\times Q\times R)=8\times 5+6\times 4+3\times 2+5\times 4\times 2=110.}$

El número de elementos en el original${\displaystyle {\mathcal {X}}}$es 144, lo que resulta en una reducción de datos de 144 a 110 elementos, una reducción del 23 % en parámetros o tamaño de datos. Para tensores iniciales mucho mayores, y dependiendo del rango (redundancia) del tensor, las ganancias pueden ser más significativas.

El trabajo de Rabanser et al. proporciona una introducción a los tensores con más detalles sobre la extensión de la descomposición de Tucker a N dimensiones más allá del ejemplo del modo 3 que se presenta aquí. ^{[ 5 ]}

trenes de tensores

Otra técnica para descomponer tensores consiste en reescribir el tensor inicial como una secuencia (tren) de tensores de menor tamaño. Un tren de tensores (TT) es una secuencia de tensores de rango reducido, denominados factores canónicos . El tensor original puede expresarse como la suma-producto de la secuencia.

${\displaystyle {\mathcal {X}}={\mathcal {G_{1}}}{\mathcal {G_{2}}}{\mathcal {G_{3}}}..{\mathcal {G_{d}}}}$

Desarrollada en 2011 por Ivan Oseledts, el autor observa que la descomposición de Tucker es "adecuada para dimensiones pequeñas, especialmente para el caso tridimensional. Para d grande no es adecuada". ^{[ 31 ]} Por lo tanto, los trenes de tensores pueden usarse para factorizar tensores más grandes en dimensiones superiores.

Los tensores proporcionan una forma unificada de entrenar redes neuronales para conjuntos de datos más complejos. Sin embargo, el entrenamiento resulta costoso computacionalmente en hardware de CPU clásico.

En 2014, Nvidia desarrolló cuDNN , CUDA Deep Neural Network, una biblioteca para un conjunto de primitivas optimizadas escritas en el lenguaje paralelo CUDA. ^{[ 37 ]} CUDA y, por lo tanto, cuDNN se ejecutan en GPU dedicadas que implementan paralelismo masivo unificado en hardware. Estas GPU aún no eran chips dedicados a tensores, sino hardware existente adaptado para la computación paralela en aprendizaje automático.

En el período 2015-2017, Google inventó la Unidad de Procesamiento Tensorial (TPU). ^{[ 38 ]} Las TPU son unidades de hardware dedicadas de función fija que se especializan en las multiplicaciones de matrices necesarias para los productos tensoriales. Específicamente, implementan una matriz de 65 536 unidades de multiplicación que pueden realizar una suma-producto de matrices de 256x256 en un solo ciclo de instrucción global. ^{[ 39 ]}

Más adelante en 2017, Nvidia lanzó su propio Tensor Core con la arquitectura de GPU Volta. Cada Tensor Core es una microunidad que puede realizar una suma-producto de matriz de 4x4. Hay ocho núcleos tensoriales por cada bloque de memoria compartida (SM). ^{[ 40 ]} La primera tarjeta GPU GV100 tiene 108 SM, lo que resulta en 672 núcleos tensoriales. Este dispositivo aceleró el aprendizaje automático 12 veces más que las GPU Tesla anteriores. ^{[ 41 ]} El número de núcleos tensoriales aumenta a medida que el número de núcleos y unidades SM continúa creciendo en cada nueva generación de tarjetas.

El desarrollo del hardware de GPU, combinado con la arquitectura unificada de los núcleos tensoriales, ha permitido el entrenamiento de redes neuronales mucho más grandes. En 2022, la red neuronal más grande era PaLM de Google con 540 mil millones de parámetros aprendidos (pesos de la red) ^{[ 42 ]} (el modelo de lenguaje GPT-3 anterior tiene más de 175 mil millones de parámetros aprendidos que producen texto similar al humano; el tamaño no lo es todo, el modelo Alpaca de Stanford de 2023, mucho más pequeño, afirma ser mejor, ^{[ 43 ]} habiendo aprendido del modelo LLaMA de Meta/Facebook de 2023 , la variante más pequeña de 7 mil millones de parámetros). El popular chatbot ChatGPT está construido sobre GPT-3.5 (y después de una actualización GPT-4 ) utilizando aprendizaje supervisado y por refuerzo.