Indexación aleatoria

La indexación aleatoria es un método de reducción de dimensionalidad y un marco computacional para la semántica distribucional , basado en la idea de que las implementaciones de modelos de espacio vectorial de muy alta dimensión son poco prácticas, que los modelos no necesitan aumentar su dimensionalidad cuando se encuentran nuevos elementos (por ejemplo, nueva terminología) y que un modelo de alta dimensión puede proyectarse en un espacio de menor dimensionalidad sin comprometer las métricas de distancia L2 si las dimensiones resultantes se eligen adecuadamente.

Este es el punto original del enfoque de proyección aleatoria para la reducción de dimensionalidad, formulado inicialmente como el lema de Johnson-Lindenstrauss , y el hash sensible a la localidad tiene algunos de los mismos puntos de partida. La indexación aleatoria, tal como se utiliza en la representación del lenguaje, tiene su origen en el trabajo de Pentti Kanerva ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]} sobre memoria distribuida dispersa , y puede describirse como una formulación incremental de una proyección aleatoria. ^{[ 6 ]}

También se puede verificar que la indexación aleatoria es una técnica de proyección aleatoria para la construcción de espacios euclidianos, es decir, espacios vectoriales normados L2. ^{[ 7 ]} En los espacios euclidianos, las proyecciones aleatorias se explican mediante el lema de Johnson-Lindenstrauss. ^{[ 8 ]}

La técnica TopSig ^{[ 9 ]} extiende el modelo de indexación aleatoria para producir vectores de bits para la comparación con la función de similitud de distancia de Hamming . Se utiliza para mejorar el rendimiento de la recuperación de información y la agrupación de documentos . En una línea de investigación similar, se propone la indexación aleatoria de enteros de Manhattan (RMII) ^{[ 10 ]} para mejorar el rendimiento de los métodos que emplean la distancia de Manhattan entre unidades de texto. Muchos métodos de indexación aleatoria generan similitud principalmente a partir de la coocurrencia de elementos en un corpus. La indexación aleatoria reflexiva (RRI) ^{[ 11 ]} genera similitud a partir de la coocurrencia y de la ocurrencia compartida con otros elementos.

• Zadeh Behrang Qasemi, Handschuh Siegfried. (2015) Indexación aleatoria explicada con alta probabilidad , TSD.