Método del subespacio aleatorio

En el aprendizaje automático , el método del subespacio aleatorio ^[1], también llamado empaquetado de atributos ^[2] o empaquetado de características , es un método de aprendizaje de conjunto que intenta reducir la correlación entre los estimadores de un conjunto entrenándolos en muestras aleatorias de características en lugar de en todo el conjunto de características.

En el aprendizaje en conjunto, se intenta combinar los modelos producidos por varios estudiantes en un conjunto que funcione mejor que los estudiantes originales. Una forma de combinar estudiantes es la agregación bootstrap o bagging , que muestra a cada estudiante un subconjunto muestreado aleatoriamente de los puntos de entrenamiento para que los estudiantes produzcan diferentes modelos que se puedan promediar de manera sensata. ^[a] En bagging, se toman muestras de los puntos de entrenamiento con reemplazo del conjunto de entrenamiento completo.

El método de subespacio aleatorio es similar al bagging, excepto que las características ("atributos", "predictores", "variables independientes") se muestrean aleatoriamente, con reemplazo, para cada alumno. De manera informal, esto hace que los alumnos individuales no se concentren demasiado en las características que parecen altamente predictivas/descriptivas en el conjunto de entrenamiento, pero que no son tan predictivas para puntos fuera de ese conjunto. Por esta razón, los subespacios aleatorios son una opción atractiva para problemas de alta dimensión donde el número de características es mucho mayor que el número de puntos de entrenamiento, como el aprendizaje a partir de datos fMRI ^[3] o datos de expresión genética. ^[4]

El método del subespacio aleatorio se ha utilizado para árboles de decisión ; cuando se combina con el bagging "ordinario" de árboles de decisión, los modelos resultantes se denominan bosques aleatorios . ^[5] También se ha aplicado a clasificadores lineales , ^[6] máquinas de vectores de soporte , ^[7] vecinos más cercanos ^{[8] [9]} y otros tipos de clasificadores. Este método también es aplicable a clasificadores de una clase . ^{[10] [11]} El método del subespacio aleatorio también se ha aplicado al problema de selección de cartera ^{[12] [13] [14] [15]} mostrando su superioridad sobre la cartera remuestreada convencional basada esencialmente en Bagging.

Para abordar problemas dispersos de alta dimensión, se desarrolló un marco denominado Random Subspace Ensemble (RaSE) ^{[16] . RaSE combina estudiantes débiles entrenados en subespacios aleatorios con una estructura de dos capas y un proceso iterativo. [17]} Se ha demostrado que RaSE tiene propiedades teóricas atractivas y un rendimiento práctico. ^[16]

Se puede construir un conjunto de modelos que empleen el método del subespacio aleatorio utilizando el siguiente algoritmo :

1. Sea N el número de puntos de entrenamiento y D el número de características en los datos de entrenamiento .
2. Sea L el número de modelos individuales en el conjunto.
3. Para cada modelo individual l , elija n _l (n _l < N) como el número de puntos de entrada para l. Es común tener solo un valor de n _l para todos los modelos individuales.
4. Para cada modelo individual l, cree un conjunto de entrenamiento eligiendo d _l características de D con reemplazo y entrene el modelo.

Ahora, para aplicar el modelo de conjunto a un punto no visto, combine las salidas de los L modelos individuales mediante votación mayoritaria o combinando las probabilidades posteriores .