Modelado ponderado por conglomerados

En minería de datos , el modelado ponderado por conglomerados (CWM) es un enfoque basado en algoritmos para la predicción no lineal de salidas ( variables dependientes ) a partir de entradas ( variables independientes ) en función de la estimación de la densidad utilizando un conjunto de modelos (conglomerados) que son cada uno nocionalmente apropiados en una subregión del espacio de entrada. El enfoque general funciona en un espacio de entrada-salida conjunto y Neil Gershenfeld propuso una versión inicial . ^{[1] [2]}

El procedimiento para el modelado ponderado por conglomerados de un problema de entrada-salida se puede resumir de la siguiente manera. ^[2] Para construir valores predichos para una variable de salida y a partir de una variable de entrada x , el procedimiento de modelado y calibración llega a una función de densidad de probabilidad conjunta , p ( y , x ). Aquí las "variables" pueden ser univariables, multivariables o series de tiempo. Para mayor comodidad, los parámetros del modelo no se indican en la notación aquí y son posibles varios tratamientos diferentes de estos, incluyendo establecerlos en valores fijos como un paso en la calibración o tratarlos utilizando un análisis bayesiano . Los valores predichos requeridos se obtienen construyendo la densidad de probabilidad condicional p ( y | x ) a partir de la cual se puede obtener la predicción utilizando el valor esperado condicional , con la varianza condicional proporcionando una indicación de incertidumbre.

El paso importante del modelado es que se supone que p ( y | x ) toma la siguiente forma, como un modelo de mezcla :

${\displaystyle p(y,x)=\sum _ {j=1}^{n}w_{j}p_{j}(y,x),}$

donde n es el número de conglomerados y { w _j } son pesos que suman uno. Las funciones p _j ( y , x ) son funciones de densidad de probabilidad conjuntas que se relacionan con cada uno de los n conglomerados. Estas funciones se modelan utilizando una descomposición en una densidad condicional y una marginal :

${\displaystyle p_{j}(y,x)=p_{j}(y|x)p_{j}(x),}$

dónde:

• p _j ( y | x ) es un modelo para predecir y dado x , y dado que el par de entrada-salida debe estar asociado con el grupo j sobre la base del valor de x . Este modelo podría ser un modelo de regresión en los casos más simples.

• p _j ( x ) es formalmente una densidad para valores de x , dado que el par de entrada-salida debe estar asociado con el conglomerado j . Los tamaños relativos de estas funciones entre los conglomerados determinan si un valor particular de x está asociado con un centro de conglomerado determinado. Esta densidad podría ser una función gaussiana centrada en un parámetro que represente el centro del conglomerado.

De la misma manera que para el análisis de regresión , será importante considerar las transformaciones preliminares de datos como parte de la estrategia de modelado general si los componentes centrales del modelo van a ser modelos de regresión simples para las densidades de condición por conglomerado y distribuciones normales para las densidades de ponderación por conglomerado p _j ( x ).

El algoritmo CWM básico proporciona un único clúster de salida para cada clúster de entrada. Sin embargo, CWM se puede ampliar a múltiples clústeres que aún están asociados con el mismo clúster de entrada. ^[3] Cada clúster en CWM está localizado en una región de entrada gaussiana, y esta contiene su propio modelo local entrenable. ^[4] Se reconoce como un algoritmo de inferencia versátil que proporciona simplicidad, generalidad y flexibilidad; incluso cuando se podría preferir una red en capas de avance, a veces se utiliza como una "segunda opinión" sobre la naturaleza del problema de entrenamiento. ^[5]

La forma original propuesta por Gershenfeld describe dos innovaciones:

• Permitir que CWM trabaje con flujos continuos de datos
• Abordar el problema de los mínimos locales encontrados en el proceso de ajuste de parámetros CWM ^[5]

CWM se puede utilizar para clasificar medios en aplicaciones de impresora, utilizando al menos dos parámetros para generar una salida que tenga una dependencia conjunta con los parámetros de entrada. ^[6]