Reducción de dimensionalidad no lineal

El método de mapeo de Sammon es una de las primeras y más populares técnicas NLDR.

El mapa autoorganizado (SOM, también llamado mapa de Kohonen ) y su variante probabilística, el mapeo topográfico generativo (GTM), utilizan una representación de puntos en el espacio incrustado para formar un modelo de variables latentes basado en un mapeo no lineal del espacio incrustado al espacio de alta dimensión. ^{[ 6 ]} Estas técnicas están relacionadas con trabajos sobre redes de densidad , que también se basan en el mismo modelo probabilístico.

Quizás el algoritmo más utilizado para la reducción de dimensionalidad sea el PCA de kernel . ^{[ 7 ]} El PCA comienza calculando la matriz de covarianza de la${\displaystyle m\times n}$matriz${\displaystyle \mathbf {X} }$

${\displaystyle C={\frac {1}{m}}\sum _{i=1}^{m}{\mathbf {x} _{i}\mathbf {x} _{i}^{\mathsf {T}}}.}$

Luego proyecta los datos sobre los primeros k vectores propios de esa matriz. En comparación, KPCA comienza calculando la matriz de covarianza de los datos después de haber sido transformados a un espacio de mayor dimensión.

${\displaystyle C={\frac {1}{m}}\sum _{i=1}^{m}{\Phi (\mathbf {x} _{i})\Phi (\mathbf {x} _{i})^{\mathsf {T}}}.}$

Luego proyecta los datos transformados sobre los primeros k vectores propios de esa matriz, al igual que PCA. Utiliza el truco del kernel para factorizar gran parte del cálculo, de modo que todo el proceso se puede realizar sin calcular realmente${\displaystyle \Phi (\mathbf {x} )}$. Por supuesto${\displaystyle \Phi }$Debe elegirse de manera que tenga un núcleo correspondiente conocido. Desafortunadamente, no es trivial encontrar un buen núcleo para un problema dado, por lo que KPCA no produce buenos resultados con algunos problemas cuando se utilizan núcleos estándar. Por ejemplo, se sabe que tiene un rendimiento deficiente con estos núcleos en la variedad Swiss roll . Sin embargo, se pueden considerar otros métodos que funcionan bien en tales entornos (por ejemplo, mapas propios laplacianos, LLE) como casos especiales de PCA de núcleo mediante la construcción de una matriz de núcleo dependiente de los datos. ^{[ 8 ]}

KPCA cuenta con un modelo interno, por lo que puede utilizarse para mapear en su representación vectorial puntos que no estaban disponibles en el momento del entrenamiento.

Las curvas principales y las variedades proporcionan el marco geométrico natural para la reducción de dimensionalidad no lineal y extienden la interpretación geométrica del PCA mediante la construcción explícita de una variedad incrustada y la codificación mediante la proyección geométrica estándar sobre la variedad. Este enfoque fue propuesto originalmente por Trevor Hastie en su tesis de 1984, ^{[ 11 ]} que introdujo formalmente en 1989. ^{[ 12 ]} Esta idea ha sido explorada más a fondo por muchos autores. ^{[ 13 ]} La forma de definir la "simplicidad" de la variedad depende del problema; sin embargo, comúnmente se mide por la dimensionalidad intrínseca y/o la suavidad de la variedad. Por lo general, la variedad principal se define como una solución a un problema de optimización. La función objetivo incluye una aproximación de la calidad de los datos y algunos términos de penalización por la curvatura de la variedad. Las aproximaciones iniciales más comunes se generan mediante PCA lineal y SOM de Kohonen.

Los mapas propios laplacianos utilizan técnicas espectrales para realizar la reducción de dimensionalidad. ^{[ 14 ]} Esta técnica se basa en la suposición de que los datos se encuentran en una variedad de baja dimensión en un espacio de alta dimensión. ^{[ 15 ]} Este algoritmo no puede incorporar puntos fuera de la muestra, pero existen técnicas basadas en la regularización del espacio de Hilbert con núcleo reproductor para añadir esta capacidad. ^{[ 16 ]} Dichas técnicas también pueden aplicarse a otros algoritmos de reducción de dimensionalidad no lineales.

Las técnicas tradicionales, como el análisis de componentes principales, no consideran la geometría intrínseca de los datos. Los mapas propios laplacianos construyen un grafo a partir de la información de vecindad del conjunto de datos. Cada punto de datos actúa como un nodo en el grafo, y la conectividad entre nodos está regida por la proximidad de los puntos vecinos (utilizando, por ejemplo, el algoritmo de k vecinos más cercanos ). El grafo así generado puede considerarse una aproximación discreta de la variedad de baja dimensión en el espacio de alta dimensión. La minimización de una función de coste basada en el grafo garantiza que los puntos cercanos entre sí en la variedad se mapeen cerca unos de otros en el espacio de baja dimensión, preservando las distancias locales. Las autofunciones del operador de Laplace-Beltrami en la variedad sirven como dimensiones de incrustación, ya que, bajo ciertas condiciones, este operador tiene un espectro numerable que constituye una base para funciones de cuadrado integrable en la variedad (compárese con las series de Fourier en la variedad del círculo unitario ). Los intentos de establecer mapas propios laplacianos sobre bases teóricas sólidas han tenido cierto éxito, ya que, bajo ciertas suposiciones no restrictivas, se ha demostrado que la matriz laplaciana del grafo converge al operador de Laplace-Beltrami cuando el número de puntos tiende a infinito. ^{[ 15 ]}

Isomap ^{[ 17 ]} es una combinación del algoritmo de Floyd-Warshall con el escalamiento multidimensional clásico (MDS). El MDS clásico toma una matriz de distancias por pares entre todos los puntos y calcula una posición para cada uno. Isomap asume que las distancias por pares solo se conocen entre puntos vecinos y utiliza el algoritmo de Floyd-Warshall para calcular las distancias por pares entre todos los demás puntos. Esto estima de manera efectiva la matriz completa de distancias geodésicas por pares entre todos los puntos. Luego, Isomap utiliza el MDS clásico para calcular las posiciones de dimensión reducida de todos los puntos. Landmark-Isomap es una variante de este algoritmo que utiliza puntos de referencia para aumentar la velocidad, a costa de cierta precisión.

En el aprendizaje de variedades, se supone que los datos de entrada se muestrean a partir de una variedad de baja dimensión incrustada en un espacio vectorial de mayor dimensión . La idea principal detrás de MVU es explotar la linealidad local de las variedades y crear una función que preserve los vecindarios locales en cada punto de la variedad subyacente.

El incrustamiento lineal local (LLE) se presentó aproximadamente al mismo tiempo que Isomap. ^{[ 18 ]} Tiene varias ventajas sobre Isomap, incluyendo una optimización más rápida cuando se implementa para aprovechar los algoritmos de matrices dispersas , y mejores resultados con muchos problemas. LLE también comienza por encontrar un conjunto de los vecinos más cercanos de cada punto. Luego calcula un conjunto de pesos para cada punto que mejor describe el punto como una combinación lineal de sus vecinos. Finalmente, utiliza una técnica de optimización basada en vectores propios para encontrar el incrustamiento de baja dimensión de los puntos, de modo que cada punto todavía se describe con la misma combinación lineal de sus vecinos. LLE tiende a manejar mal las densidades de muestra no uniformes porque no hay una unidad fija para evitar que los pesos se desvíen a medida que las distintas regiones difieren en densidades de muestra. LLE no tiene un modelo interno.

Los puntos de datos originales${\displaystyle X_{i}\in \mathbb {R} ^{D}}$y el objetivo de LLE es incrustar cada punto${\displaystyle X_{i}}$a algún punto de baja dimensión${\displaystyle Y_{i}\in \mathbb {R} ^{d}}$, dónde${\displaystyle d\ll D}$.

LLE consta de dos pasos. En el primer paso, calcula, para cada punto X _i , la mejor aproximación de X _i basada en las coordenadas baricéntricas de sus vecinos X _j . El punto original se reconstruye aproximadamente mediante una combinación lineal, dada por la matriz de pesos W _ij , de sus vecinos. El error de reconstrucción es:

${\displaystyle E(W)=\sum _{i}\left|\mathbf {X} _{i}-\sum _{j}{\mathbf {W} _{ij}\mathbf {X} _{j}}\right|^{2}}$

Los pesos W _ij se refieren a la cantidad de contribución que tiene el punto X _j al reconstruir el punto X _i . La función de costo se minimiza bajo dos restricciones:

• Cada punto de datos X _i se reconstruye únicamente a partir de sus vecinos. Es decir,${\displaystyle W_{ij}=0}$si el punto X _j no es vecino del punto X _i .
• La suma de cada fila de la matriz de pesos es igual a 1, es decir,${\displaystyle \sum _{j}{\mathbf {W} _{ij}}=1}$.

Estas dos restricciones aseguran que${\displaystyle W}$no se ve afectado por la rotación ni la traslación.

En el segundo paso, se crea un mapa que preserva el vecindario en función de los pesos. Cada punto${\displaystyle X_{i}\in \mathbb {R} ^{D}}$se mapea sobre un punto${\displaystyle Y_{i}\in \mathbb {R} ^{d}}$minimizando otro coste:

${\displaystyle C(Y)=\sum _{i}\left|\mathbf {Y} _{i}-\sum _{j}{\mathbf {W} _{ij}\mathbf {Y} _{j}}\right|^{2}}$

A diferencia de la función de coste anterior, los pesos W _ij se mantienen fijos y la minimización se realiza sobre los puntos Y _i para optimizar las coordenadas. Este problema de minimización se puede resolver mediante un problema de valores propios disperso de N x N ( donde N es el número de puntos de datos), cuyos d vectores propios no nulos inferiores proporcionan un conjunto ortogonal de coordenadas.

El único hiperparámetro del algoritmo es qué se considera un "vecino" de un punto. Generalmente, los puntos de datos se reconstruyen a partir de los K vecinos más cercanos, medidos mediante la distancia euclidiana . En este caso, el algoritmo solo tiene un hiperparámetro entero K, que se puede seleccionar mediante validación cruzada.

LTSA ^{[ 22 ]} se basa en la intuición de que, cuando una variedad se despliega correctamente, todos los hiperplanos tangentes a la variedad se alinean. Comienza calculando los k vecinos más cercanos de cada punto. Calcula el espacio tangente en cada punto mediante el cálculo de los d primeros componentes principales en cada vecindario local. Luego, optimiza para encontrar una incrustación que alinee los espacios tangentes.

El Despliegue de Máxima Varianza , Isomap y el Incrustación Lineal Local comparten una intuición común basada en la noción de que si una variedad se despliega correctamente, entonces la varianza sobre los puntos se maximiza. Su paso inicial, al igual que Isomap e Incrustación Lineal Local, es encontrar los k vecinos más cercanos de cada punto. Luego busca resolver el problema de maximizar la distancia entre todos los puntos no vecinos, con la restricción de que se conserven las distancias entre puntos vecinos. La principal contribución de este algoritmo es una técnica para plantear este problema como un problema de programación semidefinida . Desafortunadamente, los solucionadores de programación semidefinida tienen un alto costo computacional. Al igual que la Incrustación Lineal Local, no tiene un modelo interno.

Un autoencoder es una red neuronal de alimentación directa que se entrena para aproximar la función identidad . Es decir, se entrena para mapear un vector de valores al mismo vector. Cuando se utiliza para fines de reducción de dimensionalidad, una de las capas ocultas de la red se limita a contener solo un pequeño número de unidades de red. Por lo tanto, la red debe aprender a codificar el vector en un número pequeño de dimensiones y luego decodificarlo de nuevo al espacio original. Así, la primera mitad de la red es un modelo que mapea de un espacio de alta dimensión a uno de baja dimensión, y la segunda mitad mapea de un espacio de baja dimensión a uno de alta dimensión. Aunque la idea de los autoencoders es bastante antigua, ^{[ 23 ]} el entrenamiento de autoencoders profundos solo se ha hecho posible recientemente mediante el uso de máquinas de Boltzmann restringidas y autoencoders de eliminación de ruido apilados. Relacionado con los autoencoders está el algoritmo NeuroScale , que utiliza funciones de estrés inspiradas en el escalado multidimensional y los mapeos de Sammon (ver más arriba) para aprender un mapeo no lineal del espacio de alta dimensión al espacio incrustado. Los mapeos en NeuroScale se basan en redes de funciones de base radial .

Los modelos de variables latentes de procesos gaussianos (GPLVM) ^{[ 24 ]} son ​​métodos probabilísticos de reducción de dimensionalidad que utilizan procesos gaussianos (GP) para encontrar una incrustación no lineal de menor dimensión de datos de alta dimensión. Son una extensión de la formulación probabilística del PCA. El modelo se define probabilísticamente y las variables latentes se marginalizan y los parámetros se obtienen maximizando la verosimilitud. Al igual que el PCA de kernel, utilizan una función de kernel para formar un mapeo no lineal (en forma de proceso gaussiano ). Sin embargo, en el GPLVM el mapeo es del espacio incrustado (latente) al espacio de datos (como las redes de densidad y GTM), mientras que en el PCA de kernel es en la dirección opuesta. Originalmente se propuso para la visualización de datos de alta dimensión, pero se ha extendido para construir un modelo de variedad compartida entre dos espacios de observación. GPLVM y sus numerosas variantes se han propuesto especialmente para el modelado del movimiento humano, por ejemplo, GPLVM con restricción de espalda, modelo dinámico GP (GPDM), GPDM equilibrado (B-GPDM) y GPDM con restricción topológica. Para capturar el efecto de acoplamiento de las variedades de pose y marcha en el análisis de la marcha, se propuso una variedad conjunta de marcha y pose de múltiples capas. ^{[ 25 ]}

El mapa de perspectiva relacional es un algoritmo de escalamiento multidimensional . Este algoritmo encuentra una configuración de puntos de datos en una variedad simulando un sistema dinámico de múltiples partículas en una variedad cerrada, donde los puntos de datos se representan como partículas y las distancias (o disimilitud) entre ellos representan una fuerza repulsiva. A medida que la variedad aumenta de tamaño, el sistema de múltiples partículas se enfría gradualmente y converge a una configuración que refleja la información de distancia de los puntos de datos.

El mapa de perspectiva relacional se inspiró en un modelo físico en el que partículas con carga positiva se mueven libremente sobre la superficie de una esfera. Guiada por la fuerza de Coulomb entre las partículas, la configuración de energía mínima de estas reflejará la intensidad de las fuerzas repulsivas entre ellas.

El mapa de perspectiva relacional se introdujo en ^{[ 26 ]} . El algoritmo utilizó por primera vez el toro plano como variedad de imagen, luego se extendió (en el software VisuMap para utilizar otros tipos de variedades cerradas, como la esfera , el espacio proyectivo y la botella de Klein , como variedades de imagen.

Los mapas de contagio utilizan múltiples contagios en una red para representar los nodos como una nube de puntos. ^{[ 27 ]} En el caso del modelo de cascadas globales, la velocidad de propagación se puede ajustar con el parámetro umbral.${\displaystyle t\in [0,1]}$. Para${\displaystyle t=0}$El mapa de contagio es equivalente al algoritmo Isomap .

El análisis de componentes curvilíneas (CCA) busca la configuración de puntos en el espacio de salida que preserve las distancias originales tanto como sea posible, centrándose en distancias pequeñas en el espacio de salida (a diferencia del mapeo de Sammon , que se centra en distancias pequeñas en el espacio original). ^{[ 28 ]}

Cabe destacar que CCA, como algoritmo de aprendizaje iterativo, comienza centrándose en distancias grandes (al igual que el algoritmo de Sammon) y luego cambia gradualmente su enfoque hacia distancias pequeñas. La información de distancias pequeñas sobrescribirá la información de distancias grandes si es necesario llegar a un compromiso entre ambas.

La función de estrés de CCA está relacionada con una suma de divergencias de Bregman derechas. ^{[ 29 ]}

CDA ^{[ 28 ]} entrena una red neuronal autoorganizada para ajustarse a la variedad y busca preservar las distancias geodésicas en su incrustación. Se basa en el Análisis de Componentes Curvilíneas (que extendió el mapeo de Sammon), pero utiliza distancias geodésicas.

La reducción de dimensionalidad difeomórfica o Diffeomap ^{[ 30 ]} aprende una aplicación difeomórfica suave que transporta los datos a un subespacio lineal de menor dimensión. El método resuelve un campo vectorial suave indexado en el tiempo, de modo que los flujos a lo largo del campo que comienzan en los puntos de datos terminan en un subespacio lineal de menor dimensión, intentando así preservar las diferencias por pares tanto en la aplicación directa como en la inversa.

La alineación de variedades aprovecha la suposición de que conjuntos de datos dispares producidos por procesos generadores similares compartirán una representación de variedad subyacente similar. Al aprender proyecciones desde cada espacio original a la variedad compartida, se recuperan correspondencias y el conocimiento de un dominio puede transferirse a otro. La mayoría de las técnicas de alineación de variedades consideran solo dos conjuntos de datos, pero el concepto se extiende a un número arbitrario de conjuntos de datos iniciales. ^{[ 31 ]}

Los mapas de difusión aprovechan la relación entre la difusión del calor y un paseo aleatorio ( cadena de Markov ); se establece una analogía entre el operador de difusión en una variedad y una matriz de transición de Markov que opera sobre funciones definidas en el grafo cuyos nodos fueron muestreados de la variedad. ^{[ 32 ]} En particular, sea un conjunto de datos representado por${\displaystyle \mathbf {X} =[x_{1},x_{2},\ldots ,x_{n}]\in \Omega \subset \mathbf {R^{D}} }$. La suposición subyacente del mapa de difusión es que los datos de alta dimensión se encuentran en una variedad de baja dimensión de dimensión${\displaystyle \mathbf {d} }$. Sea X el conjunto de datos y${\displaystyle \mu }$representa la distribución de los puntos de datos en X. Además, define un núcleo que representa alguna noción de afinidad de los puntos en X. El núcleo${\displaystyle {\mathit {k}}}$tiene las siguientes propiedades ^{[ 33 ]}

${\displaystyle k(x,y)=k(y,x),}$

k es simétrico

${\displaystyle k(x,y)\geq 0\qquad \forall x,y,k}$

k conserva la positividad

Así, podemos considerar los puntos de datos individuales como los nodos de un grafo y el núcleo k como la definición de algún tipo de afinidad en dicho grafo. El grafo es simétrico por construcción, ya que el núcleo también lo es. Es fácil ver que, a partir de la tupla ( X , k ), se puede construir una cadena de Markov reversible . Esta técnica es común en diversos campos y se conoce como el laplaciano de grafos.

Por ejemplo, el gráfico K = ( X , E ) se puede construir utilizando un núcleo gaussiano.

${\displaystyle K_{ij}={\begin{cases}e^{-\|x_{i}-x_{j}\|_{2}^{2}/\sigma ^{2}}&{\text{if }}x_{i}\sim x_{j}\\0&{\text{otherwise}}\end{cases}}}$

En la ecuación anterior,${\displaystyle x_{i}\sim x_{j}}$indica que${\displaystyle x_{i}}$es el vecino más cercano de${\displaystyle x_{j}}$. Correctamente, la distancia geodésica debería usarse para medir distancias en la variedad . Dado que no se dispone de la estructura exacta de la variedad, para los vecinos más cercanos la distancia geodésica se aproxima mediante la distancia euclidiana. La elección${\displaystyle \sigma }$modula nuestra noción de proximidad en el sentido de que si${\displaystyle \|x_{i}-x_{j}\|_{2}\gg \sigma }$entonces${\displaystyle K_{ij}=0}$y si${\displaystyle \|x_{i}-x_{j}\|_{2}\ll \sigma }$entonces${\displaystyle K_{ij}=1}$. La primera significa que se ha producido muy poca difusión, mientras que la segunda implica que el proceso de difusión está casi completo. Diferentes estrategias para elegir${\displaystyle \sigma }$se puede encontrar en. ^{[ 34 ]}

Para representar fielmente una matriz de Markov,${\displaystyle K}$debe normalizarse mediante la matriz de grados correspondiente${\displaystyle D}$:

${\displaystyle P=D^{-1}K.}$

${\displaystyle P}$ahora representa una cadena de Markov.${\displaystyle P(x_{i},x_{j})}$es la probabilidad de transición desde${\displaystyle x_{i}}$a${\displaystyle x_{j}}$en un paso de tiempo. De manera similar, la probabilidad de transición desde${\displaystyle x_{i}}$a${\displaystyle x_{j}}$en t pasos de tiempo viene dado por${\displaystyle P^{t}(x_{i},x_{j})}$. Aquí${\displaystyle P^{t}}$es la matriz${\displaystyle P}$multiplicado por sí mismo t veces.

La matriz de Markov${\displaystyle P}$constituye una noción de geometría local del conjunto de datos X. La principal diferencia entre los mapas de difusión y el análisis de componentes principales es que en los mapas de difusión solo se consideran las características locales de los datos, a diferencia de tomar correlaciones de todo el conjunto de datos.

${\displaystyle K}$define un paseo aleatorio en el conjunto de datos, lo que significa que el núcleo captura cierta geometría local del conjunto de datos. La cadena de Markov define direcciones de propagación rápidas y lentas a través de los valores del núcleo. A medida que el paseo se propaga hacia adelante en el tiempo, la información de la geometría local se agrega de la misma manera que las transiciones locales (definidas por ecuaciones diferenciales) del sistema dinámico. ^{[ 33 ]} La metáfora de la difusión surge de la definición de una distancia de difusión familiar.${\displaystyle \{D_{t}\}_{t\in N}}$

${\displaystyle D_{t}^{2}(x,y)=\|p_{t}(x,\cdot )-p_{t}(y,\cdot )\|^{2}}$

Para un t fijo,${\displaystyle D_{t}}$define una distancia entre dos puntos cualesquiera del conjunto de datos en función de la conectividad de la ruta: el valor de${\displaystyle D_{t}(x,y)}$será menor cuantos más caminos conecten x con y y viceversa. Porque la cantidad${\displaystyle D_{t}(x,y)}$implica una suma sobre todos los caminos de longitud t,${\displaystyle D_{t}}$es mucho más resistente al ruido en los datos que la distancia geodésica.${\displaystyle D_{t}}$Tiene en cuenta toda la relación entre los puntos x e y al calcular la distancia y sirve como una mejor noción de proximidad que la simple distancia euclidiana o incluso la distancia geodésica.

El escalamiento multidimensional local realiza un escalamiento multidimensional en regiones locales y luego utiliza la optimización convexa para ajustar todas las piezas. ^{[ 35 ]}

El PCA no lineal (NLPCA) utiliza la retropropagación para entrenar un perceptrón multicapa (MLP) y ajustarlo a una variedad. ^{[ 36 ]} A diferencia del entrenamiento típico de MLP, que solo actualiza los pesos, NLPCA actualiza tanto los pesos como las entradas. Es decir, tanto los pesos como las entradas se tratan como valores latentes. Después del entrenamiento, las entradas latentes son una representación de baja dimensión de los vectores observados, y el MLP mapea esa representación de baja dimensión al espacio de observación de alta dimensión.

El escalamiento de alta dimensión impulsado por datos (DD-HDS) ^{[ 37 ]} está estrechamente relacionado con el mapeo de Sammon y el análisis de componentes curvilíneos, excepto que (1) penaliza simultáneamente los vecindarios falsos y las rupturas al centrarse en distancias pequeñas tanto en el espacio original como en el de salida, y que (2) tiene en cuenta el fenómeno de concentración de la medida al adaptar la función de ponderación a la distribución de distancias.

Manifold Sculpting ^{[ 38 ]} utiliza optimización gradual para encontrar una incrustación. Al igual que otros algoritmos, calcula los k vecinos más cercanos e intenta encontrar una incrustación que preserve las relaciones en vecindarios locales. Reduce gradualmente la varianza de las dimensiones superiores, mientras ajusta simultáneamente los puntos en las dimensiones inferiores para preservar esas relaciones. Si la tasa de reducción es pequeña, puede encontrar incrustaciones muy precisas. Ofrece una mayor precisión empírica que otros algoritmos con varios problemas. También puede utilizarse para refinar los resultados de otros algoritmos de aprendizaje de variedades. Sin embargo, tiene dificultades para desplegar algunas variedades, a menos que se utilice una tasa de reducción muy lenta. No tiene modelo.

RankVisu ^{[ 39 ]} está diseñado para preservar el rango del vecindario en lugar de la distancia. RankVisu es especialmente útil en tareas difíciles (cuando no se puede lograr una preservación satisfactoria de la distancia). De hecho, el rango del vecindario es menos informativo que la distancia (los rangos se pueden deducir de las distancias, pero las distancias no se pueden deducir de los rangos) y, por lo tanto, su preservación es más sencilla.

El incrustamiento isométrico con restricciones topológicas (TCIE) ^{[ 40 ]} es un algoritmo basado en la aproximación de distancias geodésicas tras filtrar las geodésicas inconsistentes con la métrica euclidiana. Con el objetivo de corregir las distorsiones causadas al utilizar Isomap para mapear datos intrínsecamente no convexos, TCIE utiliza el escalamiento multidimensional de mínimos cuadrados ponderados (MDS) para obtener un mapeo más preciso. El algoritmo TCIE primero detecta posibles puntos límite en los datos y, durante el cálculo de la longitud geodésica, marca las geodésicas inconsistentes, a las que se les asigna un peso pequeño en la mayorización de tensión ponderada que sigue.

El método de incrustación estocástica de vecinos con distribución t (t-SNE) ^{[ 41 ]} es ampliamente utilizado. Pertenece a una familia de métodos de incrustación estocástica de vecinos. El algoritmo calcula la probabilidad de que pares de puntos de datos en el espacio de alta dimensión estén relacionados y, a continuación, selecciona incrustaciones de baja dimensión que produzcan una distribución similar.

La aproximación y proyección de variedades uniformes (UMAP) es una técnica de reducción de dimensionalidad no lineal. ^{[ 42 ]} Funciona de manera similar al t-SNE ^{[ 43 ] [ 44 ]} , con la principal diferencia de que incluye un término repulsivo para alejar los puntos lejanos entre sí.