Optimización de hiperparámetros

El método tradicional para la optimización de hiperparámetros ha sido la búsqueda en cuadrícula , o barrido de parámetros , que consiste simplemente en una búsqueda exhaustiva a través de un subconjunto especificado manualmente del espacio de hiperparámetros de un algoritmo de aprendizaje. Un algoritmo de búsqueda en cuadrícula debe guiarse por alguna métrica de rendimiento, que normalmente se mide mediante validación cruzada en el conjunto de entrenamiento ^{[ 6 ]} o evaluación en un conjunto de validación independiente.

Dado que el espacio de parámetros de un algoritmo de aprendizaje automático puede incluir espacios de valores reales o no acotados para ciertos parámetros, puede ser necesario establecer límites manualmente y realizar una discretización antes de aplicar la búsqueda en cuadrícula. Por ejemplo, un clasificador SVM típico de margen suave equipado con un núcleo RBF tiene al menos dos hiperparámetros que deben ajustarse para obtener un buen rendimiento en datos no vistos: una constante de regularización C y un hiperparámetro del núcleo γ. Ambos parámetros son continuos, por lo que para realizar la búsqueda en cuadrícula, se selecciona un conjunto finito de valores "razonables" para cada uno, por ejemplo

${\displaystyle C\in \{10,100,1000\}}$

${\displaystyle \gamma \en \{0.1,0.2,0.5,1.0\}}$

A continuación, la búsqueda en cuadrícula entrena una máquina de vectores de soporte (SVM) con cada par ( C , γ) del producto cartesiano de estos dos conjuntos y evalúa su rendimiento en un conjunto de validación independiente (o mediante validación cruzada interna en el conjunto de entrenamiento, en cuyo caso se entrenan varias SVM por par). Finalmente, el algoritmo de búsqueda en cuadrícula devuelve la configuración que obtuvo la puntuación más alta en el procedimiento de validación.

La búsqueda en cuadrícula sufre la maldición de la dimensionalidad , pero a menudo es sorprendentemente paralela porque las configuraciones de hiperparámetros que evalúa suelen ser independientes entre sí. ^{[ 5 ]}

La búsqueda aleatoria reemplaza la enumeración exhaustiva de todas las combinaciones seleccionándolas al azar. Esto se puede aplicar fácilmente al entorno discreto descrito anteriormente, pero también se generaliza a espacios continuos y mixtos. Una ventaja sobre la búsqueda en cuadrícula es que la búsqueda aleatoria puede explorar muchos más valores que la búsqueda en cuadrícula para hiperparámetros continuos. Puede superar a la búsqueda en cuadrícula, especialmente cuando solo un pequeño número de hiperparámetros afecta el rendimiento final del algoritmo de aprendizaje automático. ^{[ 5 ]} En este caso, se dice que el problema de optimización tiene una dimensionalidad intrínseca baja. ^{[ 7 ]} La búsqueda aleatoria también es fácilmente paralelizable y, además, permite la inclusión de conocimiento previo al especificar la distribución de la que se tomará el muestreo. A pesar de su simplicidad, la búsqueda aleatoria sigue siendo una de las bases importantes con las que comparar el rendimiento de los nuevos métodos de optimización de hiperparámetros.

La optimización bayesiana es un método de optimización global para funciones de caja negra con ruido. Aplicada a la optimización de hiperparámetros, construye un modelo probabilístico de la función que mapea los valores de los hiperparámetros al objetivo evaluado en un conjunto de validación. Al evaluar iterativamente una configuración de hiperparámetros prometedora basada en el modelo actual y luego actualizarlo, la optimización bayesiana busca recopilar observaciones que revelen la mayor cantidad de información posible sobre esta función y, en particular, la ubicación del óptimo. Intenta equilibrar la exploración (hiperparámetros para los cuales el resultado es más incierto) y la explotación (hiperparámetros que se espera que estén cerca del óptimo). En la práctica, se ha demostrado ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ]} que la optimización bayesiana obtiene mejores resultados en menos evaluaciones en comparación con la búsqueda en cuadrícula y la búsqueda aleatoria, debido a la capacidad de razonar sobre la calidad de los experimentos antes de ejecutarlos.

Para algoritmos de aprendizaje específicos, es posible calcular el gradiente con respecto a los hiperparámetros y luego optimizarlos mediante descenso de gradiente . El primer uso de estas técnicas se centró en redes neuronales. ^{[ 13 ]} Desde entonces, estos métodos se han extendido a otros modelos, como máquinas de vectores de soporte ^{[ 14 ]} o regresión logística. ^{[ 15 ]}

Un enfoque diferente para obtener un gradiente con respecto a los hiperparámetros consiste en diferenciar los pasos de un algoritmo de optimización iterativo mediante diferenciación automática . ^{[ 16 ] [ 17 ] [ 18 ] [ 19 ]} Un trabajo más reciente en esta dirección utiliza el teorema de la función implícita para calcular hipergradientes y propone una aproximación estable de la inversa de la matriz hessiana. El método es escalable a millones de hiperparámetros y requiere memoria constante. ^{[ 20 ]}

En un enfoque diferente, ^{[ 21 ]} se entrena una hiperred para aproximar la función de mejor respuesta. Una de las ventajas de este método es que también puede manejar hiperparámetros discretos. Las redes autoajustables ^{[ 22 ]} ofrecen una versión eficiente en memoria de este enfoque al elegir una representación compacta para la hiperred. Más recientemente, Δ-STN ^{[ 23 ]} ha mejorado aún más este método mediante una ligera reparametrización de la hiperred que acelera el entrenamiento. Δ-STN también produce una mejor aproximación del jacobiano de mejor respuesta al linealizar la red en los pesos, eliminando así los efectos no lineales innecesarios de grandes cambios en los pesos.

Además de los enfoques de hiperredes, los métodos basados ​​en gradientes pueden utilizarse para optimizar hiperparámetros discretos también mediante la adopción de una relajación continua de los parámetros. ^{[ 24 ]} Dichos métodos se han utilizado ampliamente para la optimización de hiperparámetros de arquitectura en la búsqueda de arquitectura neuronal .

La optimización evolutiva es una metodología para la optimización global de funciones de caja negra ruidosas. En la optimización de hiperparámetros, la optimización evolutiva utiliza algoritmos evolutivos para explorar el espacio de hiperparámetros para un algoritmo dado. ^{[ 9 ]} La optimización evolutiva de hiperparámetros sigue un proceso inspirado en el concepto biológico de evolución :

1. Crea una población inicial de soluciones aleatorias (es decir, genera aleatoriamente tuplas de hiperparámetros, normalmente más de 100).
2. Evaluar las tuplas de hiperparámetros y obtener su función de aptitud (por ejemplo, la precisión de la validación cruzada de 10 pliegues del algoritmo de aprendizaje automático con esos hiperparámetros).
3. Clasifique las tuplas de hiperparámetros según su aptitud relativa.
4. Reemplazar las tuplas de hiperparámetros con peor rendimiento por otras nuevas generadas mediante cruce y mutación.
5. Repita los pasos 2 a 4 hasta que se alcance un rendimiento satisfactorio del algoritmo o este deje de mejorar.

La optimización evolutiva se ha utilizado en la optimización de hiperparámetros para algoritmos de aprendizaje automático estadístico, ^{[ 9 ]} aprendizaje automático automatizado , redes neuronales típicas ^{[ 25 ]} y búsqueda de arquitectura de redes neuronales profundas , ^{[ 26 ] [ 27 ]} así como entrenamiento de pesos en redes neuronales profundas. ^{[ 28 ]}

El entrenamiento basado en población (PBT) aprende tanto los valores de los hiperparámetros como los pesos de la red. Múltiples procesos de aprendizaje operan de forma independiente, utilizando diferentes hiperparámetros. Al igual que con los métodos evolutivos, los modelos con bajo rendimiento se reemplazan iterativamente por modelos que adoptan valores de hiperparámetros y pesos modificados basados ​​en los de mejor rendimiento. Este arranque en caliente del modelo de reemplazo es la principal diferencia entre PBT y otros métodos evolutivos. De esta forma, PBT permite que los hiperparámetros evolucionen y elimina la necesidad de un ajuste manual. El proceso no presupone nada sobre la arquitectura del modelo, las funciones de pérdida ni los procedimientos de entrenamiento.

PBT y sus variantes son métodos adaptativos: actualizan los hiperparámetros durante el entrenamiento de los modelos. Por el contrario, los métodos no adaptativos tienen la estrategia subóptima de asignar un conjunto constante de hiperparámetros para todo el entrenamiento. ^{[ 29 ]}

Una clase de algoritmos de optimización de hiperparámetros basados ​​en parada temprana está diseñada específicamente para grandes espacios de búsqueda de hiperparámetros continuos y discretos, particularmente cuando el costo computacional para evaluar el rendimiento de un conjunto de hiperparámetros es alto. Irace implementa el algoritmo de carrera iterada, que enfoca la búsqueda alrededor de las configuraciones más prometedoras, utilizando pruebas estadísticas para descartar las que tienen un rendimiento deficiente. ^{[ 30 ] [ 31 ]} Otro algoritmo de optimización de hiperparámetros de parada temprana es la reducción a la mitad sucesiva (SHA), ^{[ 32 ]} que comienza como una búsqueda aleatoria pero poda periódicamente los modelos de bajo rendimiento, enfocando así los recursos computacionales en modelos más prometedores. La reducción a la mitad sucesiva asíncrona (ASHA) ^{[ 33 ]} mejora aún más el perfil de utilización de recursos de SHA al eliminar la necesidad de evaluar y podar sincrónicamente los modelos de bajo rendimiento. Hyperband ^{[ 34 ]} es un algoritmo de nivel superior basado en parada temprana que invoca SHA o ASHA varias veces con distintos niveles de agresividad de poda, para que sea más ampliamente aplicable y con menos entradas requeridas.

También se han desarrollado enfoques RBF ^{[ 35 ]} y espectrales ^{[ 36 ] .}