Estimación de densidad

En estadística , la estimación de la densidad de probabilidad , o simplemente estimación de la densidad, consiste en la construcción de una estimación , basada en datos observados , de una función de densidad de probabilidad subyacente no observable . Se considera que la función de densidad no observable representa la distribución de una gran población; los datos se suelen considerar como una muestra aleatoria de dicha población. ^{[ 1 ]}

Se utilizan diversos métodos para la estimación de la densidad, como las ventanas de Parzen y una variedad de técnicas de agrupamiento de datos , incluida la cuantización vectorial . La forma más básica de estimación de la densidad es un histograma reescalado .

Consideraremos los registros de incidencia de diabetes . A continuación se cita textualmente la descripción del conjunto de datos :

Se realizó una prueba de detección de diabetes mellitus a una población de mujeres mayores de 21 años, de ascendencia indígena Pima y residentes cerca de Phoenix, Arizona, según los criterios de la Organización Mundial de la Salud . Los datos fueron recopilados por el Instituto Nacional de Diabetes y Enfermedades Digestivas y Renales de los Estados Unidos. Se utilizaron 532 registros completos. ^{[ 2 ] [ 3 ]}

En este ejemplo, construimos tres estimaciones de densidad para "glu" ( concentración de glucosa en plasma ): una condicionada a la presencia de diabetes, la segunda a la ausencia de diabetes y la tercera independiente de la presencia de diabetes. Estas estimaciones de densidad condicionales se utilizan para construir la probabilidad de padecer diabetes condicionada a "glu".

Los datos "glu" se obtuvieron del paquete MASS ^{[ 4 ]} del lenguaje de programación R. Dentro de R, ?Pima.try ?Pima.teofrecen una descripción más completa de los datos.

La media de "glu" en los casos de diabetes es 143,1 y la desviación estándar es 31,26. La media de "glu" en los casos sin diabetes es 110,0 y la desviación estándar es 24,29. A partir de esto, observamos que, en este conjunto de datos, los casos de diabetes se asocian con mayores niveles de "glu". Esto se verá más claramente en los gráficos de las funciones de densidad estimadas.

La primera figura muestra las estimaciones de densidad de p (glu | diabetes=1), p (glu | diabetes=0) y p (glu). Estas estimaciones de densidad son estimaciones de densidad de núcleo utilizando un núcleo gaussiano. Es decir, se coloca una función de densidad gaussiana en cada punto de datos y se calcula la suma de las funciones de densidad en todo el rango de los datos.

A partir de la densidad de "glu" condicionada a la diabetes, podemos obtener la probabilidad de diabetes condicionada a "glu" mediante la regla de Bayes . Para abreviar, "diabetes" se abrevia como "db." en esta fórmula.

${\displaystyle p({\mbox{diabetes}}=1|{\mbox{glu}})={\frac {p({\mbox{glu}}|{\mbox{db.}}=1)\,p({\mbox{db.}}=1)}{p({\mbox{glu}}|{\mbox{db.}}=1)\,p({\mbox{db.}}=1)+p({\mbox{glu}}|{\mbox{db.}}=0)\,p({\mbox{db.}}=0)}}}$

La segunda figura muestra la probabilidad posterior estimada p (diabetes=1 | glu). A partir de estos datos, parece que un nivel elevado de "glu" está asociado con la diabetes.

Un uso muy natural de las estimaciones de densidad es la investigación informal de las propiedades de un conjunto de datos determinado. Las estimaciones de densidad pueden proporcionar una valiosa indicación de características como la asimetría y la multimodalidad en los datos. En algunos casos, darán lugar a conclusiones que pueden considerarse evidentes, mientras que en otros solo servirán para orientar un análisis o una recopilación de datos adicionales. ^{[ 5 ]}

Un aspecto importante de la estadística suele ser la presentación de datos al cliente para explicar e ilustrar conclusiones que podrían haberse obtenido por otros medios. Las estimaciones de densidad son ideales para este propósito, ya que son bastante fáciles de comprender para quienes no son matemáticos.

Más ejemplos que ilustran el uso de estimaciones de densidad con fines exploratorios y de presentación, incluyendo el caso importante de datos bivariados. ^{[ 7 ]}

La estimación de densidad también se utiliza con frecuencia en la detección de anomalías o la detección de novedades : ^{[ 8 ]} si una observación se encuentra en una región de muy baja densidad, es probable que sea una anomalía o una novedad.

• En hidrología, el histograma y la función de densidad estimada de los datos de precipitación y caudal de los ríos, analizados con una distribución de probabilidad , se utilizan para comprender su comportamiento y frecuencia de ocurrencia. ^{[ 9 ]} Un ejemplo se muestra en la figura azul.

• Distribución de frecuencia
• Estimación de densidad de kernel
• Error cuadrático medio integrado
• Histograma
• Estimación de densidad de núcleo multivariante
• Estimación de la densidad espectral
• Incrustación de núcleos de distribuciones
• Modelo generativo
• Aplicación de la estadística de orden: estimación de densidad no paramétrica
• Ajuste de la distribución de probabilidad

Fuentes

• Brian D. Ripley (1996). Reconocimiento de patrones y redes neuronales . Cambridge: Cambridge University Press. ISBN 978-0521460866.
• Trevor Hastie , Robert Tibshirani y Jerome Friedman. Los elementos del aprendizaje estadístico . Nueva York: Springer, 2001. ISBN 0-387-95284-5( Véase el capítulo 6.)
• Qi Li y Jeffrey S. Racine. Econometría no paramétrica: teoría y práctica . Princeton University Press, 2007, ISBN 0-691-12161-3( Véase el capítulo 1.)
• DW Scott. Estimación de densidad multivariante. Teoría, práctica y visualización . Nueva York: Wiley, 1992.
• BW Silverman . Estimación de densidad . Londres: Chapman and Hall, 1986. ISBN 978-0-412-24620-3

• CREEM: Centro de Investigación en Modelado Ecológico y Ambiental Descargas de paquetes de software gratuitos para la estimación de densidad Distance 4 (de la Unidad de Investigación para la Evaluación de Poblaciones de Vida Silvestre "RUWPA") y WiSP .
• Resumen del contenido del repositorio de aprendizaje automático de la UCI (Consulte "Base de datos de diabetes de los indios Pima" para ver el conjunto de datos original de 732 registros y notas adicionales).
• Código MATLAB para la estimación de densidad unidimensional y bidimensional.
• Software libAGF en C++ para la estimación de densidad de kernel variable .