Sobremuestreo y submuestreo en el análisis de datos

En estadística , el sobremuestreo y el submuestreo en el análisis de datos son técnicas que se utilizan para ajustar la distribución de clases de un conjunto de datos (es decir, la proporción entre las diferentes clases/categorías representadas). Estos términos se emplean tanto en el muestreo estadístico como en la metodología de diseño de encuestas y en el aprendizaje automático .

El sobremuestreo y el submuestreo son técnicas opuestas y aproximadamente equivalentes. También existen técnicas de sobremuestreo más complejas, incluida la creación de puntos de datos artificiales con algoritmos como la técnica de sobremuestreo sintético de la minoría . ^{[ 1 ] [ 2 ]}

Tanto el sobremuestreo como el submuestreo implican introducir un sesgo para seleccionar más muestras de una clase que de otra, con el fin de compensar un desequilibrio que ya está presente en los datos o que probablemente se desarrollaría si se tomara una muestra puramente aleatoria. El desequilibrio de datos puede ser de los siguientes tipos:

1. Subrepresentación de una clase en una o más variables predictoras importantes. Supongamos que, para abordar la cuestión de la discriminación de género, disponemos de datos de encuestas sobre salarios en un campo específico, por ejemplo, el software. Se sabe que las mujeres están considerablemente subrepresentadas en una muestra aleatoria de ingenieros de software, lo cual es importante al ajustar otras variables como los años de empleo y el nivel de antigüedad actual. Supongamos que solo el 20 % de los ingenieros de software son mujeres, es decir, que los hombres son cuatro veces más frecuentes que las mujeres. Si estuviéramos diseñando una encuesta para recopilar datos, encuestaríamos a cuatro veces más mujeres que hombres, de modo que en la muestra final ambos géneros estén representados por igual. (Véase también Muestreo estratificado ).
2. Subrepresentación de una clase en la variable de resultado (dependiente). Supongamos que queremos predecir, a partir de un gran conjunto de datos clínicos, qué pacientes tienen probabilidades de desarrollar una enfermedad en particular (por ejemplo, diabetes). Sin embargo, supongamos que solo el 10 % de los pacientes desarrollan la enfermedad. Supongamos que tenemos un gran conjunto de datos existente. Entonces, podemos seleccionar nueve veces el número de pacientes que no desarrollaron la enfermedad por cada paciente que sí la desarrolló.

El sobremuestreo se emplea generalmente con más frecuencia que el submuestreo, especialmente cuando aún no se han recopilado los datos detallados mediante encuestas, entrevistas u otros métodos. El submuestreo se emplea con mucha menos frecuencia. La sobreabundancia de datos ya recopilados se convirtió en un problema solo en la era del "Big Data", y las razones para utilizar el submuestreo son principalmente prácticas y están relacionadas con los costos de los recursos. Específicamente, si bien se necesita un tamaño de muestra suficientemente grande para obtener conclusiones estadísticas válidas, los datos deben limpiarse antes de poder utilizarse. La limpieza suele implicar un componente humano significativo y, por lo general, es específica del conjunto de datos y del problema analítico, por lo que requiere tiempo y dinero. Por ejemplo:

• Los expertos en la materia sugerirán métodos de validación específicos para cada conjunto de datos, que incluyan no solo comprobaciones intravariables (valores permitidos, valores máximos y mínimos válidos, etc.), sino también intervariables. Por ejemplo, la suma de los componentes individuales de un recuento diferencial de glóbulos blancos debe ser igual a 100, ya que cada uno representa un porcentaje del total.
• Los datos integrados en textos narrativos (por ejemplo, transcripciones de entrevistas) deben codificarse manualmente en variables discretas que un paquete estadístico o de aprendizaje automático pueda procesar. Cuanto mayor sea la cantidad de datos, mayor será el esfuerzo de codificación. (En ocasiones, la codificación puede realizarse mediante software, pero a menudo es necesario escribir un programa personalizado para ello, y la precisión de los resultados del programa debe comprobarse en términos de falsos positivos y falsos negativos).

Por estas razones, normalmente solo se depurarán los datos necesarios para responder a una pregunta con una confianza estadística razonable (véase Tamaño de la muestra), pero no más que eso.

Aunque las técnicas de muestreo se han desarrollado principalmente para tareas de clasificación, se está prestando cada vez más atención al problema de la regresión desequilibrada. ^{[ 12 ]} Existen adaptaciones de estrategias populares, como el submuestreo, el sobremuestreo y SMOTE. ^{[ 13 ] [ 14 ]} También se han explorado técnicas de muestreo en el contexto de la predicción numérica en datos orientados a la dependencia, como la predicción de series temporales ^{[ 15 ]} y la predicción espacio-temporal. ^{[ 16 ]}

Es posible combinar técnicas de sobremuestreo y submuestreo en una estrategia híbrida. Algunos ejemplos comunes incluyen SMOTE y enlaces de Tomek, o SMOTE y vecinos más cercanos editados (ENN). Otras formas de aprendizaje en conjuntos de datos desequilibrados incluyen ponderar las instancias de entrenamiento, introducir diferentes costos de clasificación errónea para ejemplos positivos y negativos, y el bootstrapping. ^{[ 17 ]}

• ^{En el paquete imbalanced-learn [ 1 ],} compatible con la biblioteca scikit-learn de Python , se implementan diversas técnicas de remuestreo de datos . Estas técnicas se dividen en cuatro categorías: submuestreo de la clase mayoritaria, sobremuestreo de la clase minoritaria, combinación de sobremuestreo y submuestreo, y muestreo de conjuntos.
• La implementación en Python de 85 técnicas de sobremuestreo de minorías con funciones de selección de modelos está disponible en el paquete smote-variants ^{[ 2 ] .}

Los modelos deficientes en [clasificación binaria] suelen ser el resultado de —cualquier combinación de— ajustar clasificadores deterministas, usar métodos de remuestreo o reponderación para equilibrar las frecuencias de clase en los datos de entrenamiento y evaluar el modelo con una métrica como la precisión. ... Ninguna técnica de remuestreo generará mágicamente más información a partir de los pocos casos con la clase rara.

Modelos de aprendizaje automático probabilístico que intentan modelar una distribución condicional${\displaystyle P(Y|X)={\frac {P(X|Y)P(Y)}{P(X)}}}$(a través de la regla de Bayes ) estará mal calibrado si se modifica la distribución natural.${\displaystyle P(Y)}$durante el entrenamiento mediante la aplicación de submuestreo o reducción de muestreo. ^{[ 18 ]}

Este punto se puede ilustrar con un ejemplo sencillo: supongamos que no hay variables predictivas.${\displaystyle X}$y donde la proporción de${\displaystyle Y=1}$es 0,01 y la proporción de${\displaystyle Y=0}$es 0,99. Es un modelo que aprende${\displaystyle {\sombrero {P}}(Y=1)=0,01}$¿Es inútil y debería modificarse mediante submuestreo o sobremuestreo? La respuesta es no. El desequilibrio de clases no es un problema en sí mismo.

Además,

1. sobremuestreo
2. submuestreo
3. así como asignar pesos a las muestras

Puede ser aplicado por profesionales en clasificación multiclase o situaciones con una estructura de costos muy desequilibrada . Esto podría hacerse para lograr el mejor rendimiento "deseable" para cada clase (potencialmente medido como precisión y exhaustividad en cada clase). Sin embargo, encontrar el mejor rendimiento de clasificación multiclase o el mejor equilibrio entre precisión y exhaustividad es inherentemente un problema de optimización multiobjetivo . Es bien sabido que estos problemas suelen tener múltiples soluciones óptimas de Pareto incomparables . El sobremuestreo o submuestreo, así como la asignación de pesos a las muestras, es una forma implícita de encontrar un determinado óptimo de Pareto (y sacrifica la calibración de las probabilidades estimadas). Una forma más explícita que el sobremuestreo o submuestreo podría ser seleccionar un óptimo de Pareto mediante

• asignar costos explícitos a las muestras mal clasificadas y luego minimizar los costos totales (escalarizados) mediante aprendizaje automático sensible a los costos ^{[ 19 ]}
• realizar ajuste de umbral en un entorno de clasificación binaria para lograr una cierta precisión y exhaustividad de validación. ^{[ 20 ] [ 21 ]}

• Muestreo (estadística)
• Aumento de datos
• Submuestreo (en procesamiento de señales)

• Kubat, M. (2000). Abordando la maldición de los conjuntos de entrenamiento desequilibrados: selección unilateral. Decimocuarta Conferencia Internacional sobre Aprendizaje Automático .
• Chawla, Nitesh V. (2010) Minería de datos para conjuntos de datos desequilibrados: una visión general doi : 10.1007/978-0-387-09823-4_45 En: Maimon, Oded; Rokach, Lior (Eds) Manual de minería de datos y descubrimiento de conocimiento , Springer ISBN 978-0-387-09823-4(páginas 875–886)
• Lemaître, G. Nogueira, F. Aridas, Ch.K. (2017) Imbalanced-learn: una caja de herramientas de Python para abordar la maldición de los conjuntos de datos desequilibrados en el aprendizaje automático , Journal of Machine Learning Research , vol. 18, no. 17, 2017, pp.  1–5.