Hipótesis múltiple

La hipótesis de la variedad postula que muchos conjuntos de datos de alta dimensión que se presentan en el mundo real se encuentran, en realidad, a lo largo de variedades latentes de baja dimensión dentro de ese espacio de alta dimensión. ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ]} Como consecuencia de la hipótesis de la variedad, muchos conjuntos de datos que inicialmente parecen requerir muchas variables para su descripción, en realidad pueden describirse mediante un número relativamente pequeño de variables, vinculadas al sistema de coordenadas local de la variedad subyacente. Se sugiere que este principio sustenta la eficacia de los algoritmos de aprendizaje automático para describir conjuntos de datos de alta dimensión al considerar algunas características comunes.

La hipótesis de la variedad está relacionada con la efectividad de las técnicas de reducción de dimensionalidad no lineal en el aprendizaje automático. Muchas técnicas de reducción de dimensionalidad parten del supuesto de que los datos se encuentran a lo largo de una subvariedad de baja dimensión, como la escultura de variedades , la alineación de variedades y la regularización de variedades .

La principal implicación de esta hipótesis es que

• Los modelos de aprendizaje automático solo tienen que ajustarse a subespacios relativamente simples, de baja dimensión y altamente estructurados dentro de su espacio de entrada potencial (variedades latentes).
• Dentro de una de estas variedades, siempre es posible interpolar entre dos entradas, es decir, transformar una en otra a través de una trayectoria continua a lo largo de la cual todos los puntos caen sobre la variedad.

La capacidad de interpolar entre muestras es la clave para la generalización en el aprendizaje profundo . ^{[ 5 ]}

Un enfoque empíricamente fundamentado de la hipótesis de la variedad se centra en su correspondencia con una teoría eficaz para el aprendizaje de variedades, bajo el supuesto de que el aprendizaje automático robusto requiere codificar el conjunto de datos de interés mediante métodos de compresión de datos. Esta perspectiva surgió gradualmente gracias al esfuerzo coordinado de científicos que trabajan en la hipótesis de la codificación eficiente , la codificación predictiva y los métodos bayesianos variacionales , utilizando las herramientas de la geometría de la información .

El argumento para razonar sobre la geometría de la información en el espacio latente de distribuciones se basa en la existencia y unicidad de la métrica de información de Fisher . ^{[ 6 ]} En este contexto general, intentamos encontrar una incrustación estocástica de una variedad estadística. Desde la perspectiva de los sistemas dinámicos, en el régimen de big data esta variedad generalmente exhibe ciertas propiedades como la homeostasis:

1. Podemos extraer grandes cantidades de datos del proceso generativo subyacente.
2. Los experimentos de aprendizaje automático son reproducibles, por lo que las estadísticas del proceso generador muestran estacionariedad.

En un sentido preciso por neurocientíficos teóricos que trabajan en el principio de energía libre , la variedad estadística en cuestión posee una manta de Markov . ^{[ 7 ]}

• complejidad de Kolmogorov
• Longitud mínima de la descripción
• La teoría de la inferencia inductiva de Solomonoff