Muestreo local de casos y controles

En aprendizaje automático , el muestreo local de casos y controles ^{[ 1 ]} es un algoritmo que se utiliza para reducir la complejidad del entrenamiento de un clasificador de regresión logística . El algoritmo reduce la complejidad del entrenamiento seleccionando una pequeña submuestra del conjunto de datos original para el entrenamiento. Presupone la disponibilidad de una estimación piloto (poco fiable) de los parámetros. A continuación, realiza una única pasada sobre todo el conjunto de datos utilizando la estimación piloto para identificar las muestras más "sorprendentes". En la práctica, la estimación piloto puede provenir del conocimiento previo o del entrenamiento utilizando una submuestra del conjunto de datos. El algoritmo es más eficaz cuando el conjunto de datos subyacente está desequilibrado. Aprovecha las estructuras de los conjuntos de datos desequilibrados condicionalmente de forma más eficiente que otros métodos, como el muestreo de casos y controles y el muestreo ponderado de casos y controles.

En clasificación , un conjunto de datos es un conjunto de N puntos de datos.${\displaystyle (x_{i},y_{i})_{i=1}^{N}}$, dónde${\displaystyle x_{i}\in \mathbb {R} ^{d}}$es un vector de características ,${\displaystyle y_{i}\in \{0,1\}}$es una etiqueta. Intuitivamente, un conjunto de datos está desequilibrado cuando ciertos patrones estadísticos importantes son poco frecuentes. La falta de observaciones de ciertos patrones no siempre implica su irrelevancia. Por ejemplo, en estudios médicos de enfermedades raras, el pequeño número de pacientes infectados (casos) proporciona la información más valiosa para el diagnóstico y el tratamiento.

Formalmente, un conjunto de datos desequilibrado presenta una o más de las siguientes propiedades:

• Desequilibrio marginal . Un conjunto de datos está marginalmente desequilibrado si una clase es rara en comparación con la otra clase. En otras palabras,${\displaystyle \mathbb {P} (Y=1)\approx 0}$.
• Desequilibrio condicional . Un conjunto de datos está desequilibrado condicionalmente cuando es fácil predecir las etiquetas correctas en la mayoría de los casos. Por ejemplo, si${\displaystyle X\in \{0,1\}}$, el conjunto de datos está desequilibrado condicionalmente si${\displaystyle \mathbb {P} (Y=1\mid X=0)\approx 0}$y${\displaystyle \mathbb {P} (Y=1\mid X=1)\approx 1}$.

En la regresión logística, dado el modelo${\displaystyle \theta =(\alpha ,\beta )}$, la predicción se realiza de acuerdo con${\displaystyle \mathbb {P} (Y=1\mid X;\theta )={\tilde {p}}_{\theta }(x)={\frac {\exp(\alpha +\beta ^{T}x)}{1+\exp(\alpha +\beta ^{T}x)}}}$El algoritmo de muestreo de casos y controles locales presupone la disponibilidad de un modelo piloto.${\displaystyle {\tilde {\theta }}=({\tilde {\alpha }},{\tilde {\beta }})}$Dado el modelo piloto, el algoritmo realiza una única pasada sobre todo el conjunto de datos para seleccionar el subconjunto de muestras que se incluirán en el entrenamiento del modelo de regresión logística. Para una muestra${\displaystyle (x,y)}$, defina la probabilidad de aceptación como${\displaystyle a(x,y)=|y-{\tilde {p}}_{\tilde {\theta }}(x)|}$El algoritmo procede de la siguiente manera:

1. Generar independientes${\displaystyle z_{i}\sim {\text{Bernoulli}}(a(x_{i},y_{i}))}$para${\displaystyle i\in \{1,\ldots ,N\}}$.
2. Ajustar un modelo de regresión logística a la submuestra.${\displaystyle S=\{(x_{i},y_{i}):z_{i}=1\}}$obteniendo las estimaciones no ajustadas${\displaystyle {\hat {\theta }}_{S}=({\hat {\alpha }}_{S},{\hat {\beta }}_{S})}$.
3. El modelo de salida es${\displaystyle {\hat {\theta }}=({\hat {\alpha }},{\hat {\beta }})}$, dónde${\displaystyle {\hat {\alpha }}\leftarrow {\hat {\alpha }}_{S}+{\tilde {\alpha }}}$y${\displaystyle {\hat {\beta }}\leftarrow {\hat {\beta }}_{S}+{\tilde {\beta }}}$.

El algoritmo puede entenderse como la selección de muestras que sorprenden al modelo piloto. Intuitivamente, estas muestras están más cerca del límite de decisión del clasificador y, por lo tanto, son más informativas.

El algoritmo tiene las siguientes propiedades. Cuando el piloto es consistente , las estimaciones que utilizan las muestras del muestreo de casos y controles local son consistentes incluso bajo una especificación incorrecta del modelo . Si el modelo es correcto, entonces el algoritmo tiene exactamente el doble de la varianza asintótica de la regresión logística en el conjunto de datos completo. Para un tamaño de muestra mayor con${\displaystyle c>1}$, el factor 2 se mejora a${\displaystyle 1+{\frac {1}{c}}}$.