Fugas (aprendizaje automático)

En estadística y aprendizaje automático , la fuga (también conocida como fuga de datos o fuga de objetivos ) se refiere al uso de información durante el entrenamiento del modelo que no estaría disponible en el momento de la predicción . Esto da como resultado estimaciones de rendimiento excesivamente optimistas, ya que el modelo parece funcionar mejor durante la evaluación de lo que realmente lo haría en un entorno de producción. ^{[ 1 ]}

Las fugas suelen ser sutiles e indirectas, lo que dificulta su detección y eliminación. Pueden llevar a un estadístico o modelador a seleccionar un modelo subóptimo, que podría ser superado por una alternativa sin fugas. ^{[ 1 ]}

Las fugas pueden ocurrir en múltiples etapas del flujo de trabajo del aprendizaje automático. En términos generales, sus fuentes se pueden dividir en dos categorías: las que surgen de las características y las que surgen de los ejemplos de entrenamiento. ^{[ 1 ]}

La fuga de datos en el aprendizaje automático puede detectarse mediante diversos métodos, centrándose en el análisis del rendimiento, el examen de características, la auditoría de datos y el análisis del comportamiento del modelo. En cuanto al rendimiento, una precisión inusualmente alta o discrepancias significativas entre los resultados del entrenamiento y las pruebas suelen indicar fugas. ^{[ 7 ]} Los resultados inconsistentes de la validación cruzada también pueden señalar problemas.

El análisis de características implica examinar minuciosamente las clasificaciones de importancia de las características y garantizar la integridad temporal en los datos de series temporales. Una auditoría exhaustiva del flujo de datos es crucial, revisando los pasos de preprocesamiento, la ingeniería de características y los procesos de división de datos. ^{[ 8 ]} Detectar entradas duplicadas en las divisiones del conjunto de datos también es importante.

Para los modelos de lenguaje, el método Min-K% puede detectar la presencia de datos en un conjunto de datos de preentrenamiento. Presenta una oración que se sospecha que está presente en el conjunto de datos de preentrenamiento y calcula la log-verosimilitud de cada token, luego calcula el promedio de los K más bajos de estos. Si esto supera un umbral, entonces es probable que la oración esté presente. ^{[ 9 ] [ 10 ]} Este método se mejora comparándolo con una línea base de la media y la varianza. ^{[ 11 ]}

Analizar el comportamiento del modelo puede revelar fugas de información. Los modelos que dependen en gran medida de características contraintuitivas o que muestran patrones de predicción inesperados merecen ser investigados. La degradación del rendimiento con el tiempo al probarlo con datos nuevos puede indicar que las métricas anteriores estaban infladas debido a fugas de información.

Las técnicas avanzadas incluyen la eliminación regresiva de características, donde las características sospechosas se eliminan temporalmente para observar los cambios en el rendimiento. Es recomendable utilizar un conjunto de datos de validación independiente para la validación final antes de la implementación. ^{[ 8 ]}

• AutoML
• Deriva conceptual (donde la estructura del sistema estudiado evoluciona con el tiempo, invalidando el modelo)
• dragado de datos
• Sobreajuste
• Remuestreo (estadística)
• Aprendizaje supervisado
• Conjuntos de entrenamiento, validación y prueba