Método del codo (agrupación)

En el análisis de conglomerados , el método del codo es una heurística que se utiliza para determinar el número de conglomerados en un conjunto de datos . Este método consiste en graficar la variación explicada en función del número de conglomerados y seleccionar el punto de inflexión de la curva como el número de conglomerados a utilizar. El mismo método puede emplearse para elegir el número de parámetros en otros modelos basados ​​en datos, como el número de componentes principales para describir un conjunto de datos.

El método se remonta a una especulación de Robert L. Thorndike en 1953. ^{[ 1 ]}

Utilizar el punto de inflexión de una curva como punto de corte es una heurística común en la optimización matemática para determinar un punto donde los rendimientos decrecientes ya no justifican el costo adicional. En la agrupación de datos, esto significa que se debe elegir un número de clústeres tal que agregar otro no mejore significativamente el modelado de los datos.

La intuición es que aumentar el número de clústeres mejorará naturalmente el ajuste (explicará más de la variación), ya que hay más parámetros (más clústeres) para usar, pero que en algún punto esto es sobreajuste , y el codo lo refleja. Por ejemplo, dados datos que en realidad consisten en k grupos etiquetados (por ejemplo, k puntos muestreados con ruido), agrupar con más de k clústeres "explicará" más de la variación (ya que puede usar clústeres más pequeños y compactos), pero esto es sobreajuste, ya que está subdividiendo los grupos etiquetados en múltiples clústeres. La idea es que los primeros clústeres agregarán mucha información (explicarán mucha variación), ya que los datos realmente consisten en esa cantidad de grupos (por lo que estos clústeres son necesarios), pero una vez que el número de clústeres excede el número real de grupos en los datos, la información agregada caerá drásticamente, porque simplemente está subdividiendo los grupos reales. Suponiendo que esto ocurra, habrá un punto de inflexión pronunciado en el gráfico de variación explicada frente a clústeres: aumentando rápidamente hasta k ( región de subajuste ) y luego aumentando lentamente después de k (región de sobreajuste).

El método del codo se considera subjetivo y poco fiable. En muchas aplicaciones prácticas, la elección de un "codo" resulta muy ambigua, ya que el gráfico no presenta un codo pronunciado. ^{[ 2 ]} Esto puede ocurrir incluso en casos en los que todos los demás métodos para determinar el número de clústeres en un conjunto de datos (como se menciona en ese artículo) coinciden en el número de clústeres.

Incluso en datos aleatorios uniformes sin clústeres significativos, la curva sigue la proporción 1/k , lo que lleva a los usuarios a ver un "codo" y a elegir erróneamente un número "óptimo" de clústeres. ^{[ 3 ]} Debido a que el número de clústeres y la varianza restante no tienen relación semántica, los diversos intentos de capturar el codo mediante la "pendiente" están mal definidos y son sensibles al rango de parámetros. ^{[ 3 ]}

Existen diversas medidas de " varianza explicada " utilizadas en el método del codo. Lo más común es cuantificar la variación mediante la varianza , y la razón utilizada es la razón entre la varianza entre grupos y la varianza total. Alternativamente, se utiliza la razón entre la varianza entre grupos y la varianza dentro de los grupos, que es el estadístico F de la prueba ANOVA unidireccional . ^{[ 4 ]}

• Determinación del número de clústeres en un conjunto de datos
• Gráfico de sedimentación