Distancia de Bhattacharyya

En estadística , la distancia de Bhattacharyya es una magnitud que representa una noción de similitud entre dos distribuciones de probabilidad . ^{[ 1 ]} Está estrechamente relacionada con el coeficiente de Bhattacharyya , que es una medida del grado de superposición entre dos muestras o poblaciones estadísticas .

No es una métrica , a pesar de ser llamada "distancia", ya que no obedece la desigualdad triangular .

Historia

Tanto la distancia de Bhattacharyya como el coeficiente de Bhattacharyya reciben su nombre de Anil Kumar Bhattacharyya , un estadístico que trabajó en la década de 1930 en el Instituto Estadístico Indio . ^{[ 2 ]} Desarrolló este método a través de una serie de artículos. ^{[ 3 ]}^{[ 4 ]}^{[ 5 ]} Desarrolló el método para medir la distancia entre dos distribuciones no normales y lo ilustró con las poblaciones multinomiales clásicas, ^{[ 3 ]} este trabajo, a pesar de haber sido enviado para su publicación en 1941, apareció casi cinco años después en Sankhya . ^{[ 3 ]}^{[ 2 ]} En consecuencia, el profesor Bhattacharyya comenzó a trabajar en el desarrollo de una métrica de distancia para distribuciones de probabilidad que son absolutamente continuas con respecto a la medida de Lebesgue y publicó su progreso en 1942, en las Actas del Congreso de Ciencias de la India ^{[ 4 ]} y el trabajo final apareció en 1943 en el Boletín de la Sociedad Matemática de Calcuta . ^{[ 5 ]}

Definición

Para distribuciones de probabilidad $P$ y $Q$ en el mismo dominio discreto ${\mathcal {X}}$ , la distancia de Bhattacharyya se define como $D_{B}(P,Q)=-\ln \left(BC(P,Q)\right)$ dónde $BC(P,Q)=\sum _{x\in {\mathcal {X}}}{\sqrt {P(x)Q(x)}}$ es el coeficiente de Bhattacharyya para distribuciones de probabilidad discretas .

Para distribuciones de probabilidad continuas , con $P(dx)=p(x)dx$ y $Q(dx)=q(x)dx$ dónde $p(x)$ y $q(x)$ son las funciones de densidad de probabilidad , el coeficiente de Bhattacharyya se define como $BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,dx.$

De manera más general, dadas dos medidas de probabilidad $P,Q$ en un espacio mensurable $({\mathcal {X}},{\mathcal {B}})$ , dejar $\lambda$ sea una medida ( sigma finita ) tal que $P$ y $Q$ son absolutamente continuos con respecto a $\lambda$ es decir, tal que $P(dx)=p(x)\lambda (dx)$ , y $Q(dx)=q(x)\lambda (dx)$ para funciones de densidad de probabilidad $p,q$ con respecto a $\lambda$ definido $\lambda$ -casi en todas partes. Tal medida, incluso tal medida de probabilidad, siempre existe, por ejemplo $\lambda ={\tfrac {1}{2}}(P+Q)$ . Luego, defina la medida Bhattacharyya en $({\mathcal {X}},{\mathcal {B}})$ por ${\begin{aligned}bc(dx|P,Q)&={\sqrt {p(x)q(x)}}\,\lambda (dx)\\[1ex]&={\sqrt {{\frac {P(dx)}{\lambda (dx)}}(x){\frac {Q(dx)}{\lambda (dx)}}(x)}}\lambda (dx).\end{aligned}}$ No depende de la medida $\lambda$ , porque si elegimos una medida $\mu$ de tal manera que $\lambda$ y otra opción de medida $\lambda '$ son absolutamente continuos, es decir $\lambda =l(x)\mu$ y $\lambda '=l'(x)\mu$ , entonces ${\begin{alignedat}{3}P(dx)&=p(x)\lambda (dx)&&={}&&p'(x)\lambda '(dx)\\&=p(x)l(x)\mu (dx)&&={}&&p'(x)l'(x)\mu (dx),\end{alignedat}}$ y de manera similar para $Q$ . Entonces tenemos ${\begin{aligned}bc(dx|P,Q)&={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {p(x)q(x)}}\,l(x)\mu (x)\\&={\sqrt {p(x)l(x)q(x)\,l(x)}}\mu (dx)={\sqrt {p'(x)l'(x)q'(x)l'(x)}}\,\mu (dx)\\&={\sqrt {p'(x)q'(x)}}\,\lambda '(dx).\end{aligned}}$ Finalmente definimos el coeficiente de Bhattacharyya. $BC(P,Q)=\int _{\mathcal {X}}bc(dx|P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,\lambda (dx).$ Por lo anterior, la cantidad $BC(P,Q)$ no depende de $\lambda$ y por la desigualdad de Cauchy $0\leq BC(P,Q)\leq 1$ . Usando $P(dx)=p(x)\lambda (dx)$ , y $Q(dx)=q(x)\lambda (dx)$ , $BC(P,Q)=\int _{\mathcal {X}}{\sqrt {\frac {p(x)}{q(x)}}}Q(dx)=\int _{\mathcal {X}}{\sqrt {\frac {P(dx)}{Q(dx)}}}Q(dx)=E_{Q}\left[{\sqrt {\frac {P(dx)}{Q(dx)}}}\right]$

caso gaussiano

Dejar $p\sim {\mathcal {N}}(\mu _{p},\sigma _{p}^{2})$ , $q\sim {\mathcal {N}}(\mu _{q},\sigma _{q}^{2})$ , dónde ${\mathcal {N}}(\mu,\sigma ^{2})$ es la distribución normal con media $\mu$ y varianza $\sigma ^{2}$ ; entonces

$D_{B}(p,q)={\frac {1}{4}}{\frac {(\mu _{p}-\mu _{q})^{2}}{\sigma _{p}^{2}+\sigma _{q}^{2}}}+{\frac {1}{2}}\ln \left({\frac {\sigma _{p}^{2}+\sigma _{q}^{2}}{2\sigma _{p}\sigma _{q}}}\right).$

Y en general, dadas dos distribuciones normales multivariadas $p_{i}={\mathcal {N}}({\boldsymbol {\mu }}_{i},\,{\boldsymbol {\Sigma }}_{i})$ , $D_{B}(p_{1},p_{2})={\frac {1}{8}}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})+{\frac {1}{2}}\ln \left({\det {\boldsymbol {\Sigma }} \over {\sqrt {\det {\boldsymbol {\Sigma }}_{1}\,\det {\boldsymbol {\Sigma }}_{2}}}}\right),$

dónde ${\textstyle {\boldsymbol {\Sigma }}={\frac {1}{2}}\left({\boldsymbol {\Sigma }}_{1}+{\boldsymbol {\Sigma }}_{2}\right).}$ ^{[ 6 ]} Nótese que el primer término es unadistancia de Mahalanobis.

Propiedades

$0\leq BC\leq 1$ y $0\leq D_{B}\leq \infty$ .

$D_{B}$ no obedece la desigualdad triangular , aunque la distancia de Hellinger ${\textstyle {\sqrt {1-BC(p,q)}}}$ hace.

Límites del error de Bayes

La distancia de Bhattacharyya se puede utilizar para acotar superior e inferiormente la tasa de error de Bayes : ^{[ 7 ]}

${\frac {1}{2}}-{\frac {1}{2}}{\sqrt {1-4\rho ^{2}}}\leq L^{*}\leq \rho$

dónde ${\textstyle \rho =\operatorname {\mathbb {E} } \left[{\sqrt {\eta (X)\left(1-\eta (X)\right)}}\right]}$ y $\eta (X)=\mathbb {P} (Y=1|X)$ es la probabilidad posterior . ^{[ 8 ]}

Aplicaciones

El coeficiente de Bhattacharyya cuantifica la "proximidad" entre dos muestras estadísticas aleatorias.

Dadas dos secuencias de distribuciones $P,Q$ , depositarlos en $n$ cubos, y deje que la frecuencia de las muestras de $P$ en cubo $i$ ser $p_{i}$ y de manera similar para $q_{i}$ , entonces el coeficiente de Bhattacharyya de la muestra es

$BC(\mathbf {p} ,\mathbf {q} )=\sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}},$

que es un estimador de $BC(P,Q)$ La calidad de la estimación depende de la elección de los intervalos; muy pocos intervalos sobreestimarían $BC(P,Q)$ , mientras que muchos lo subestimarían.

Una tarea común en clasificación es estimar la separabilidad de las clases. Salvo un factor multiplicativo, la distancia de Mahalanobis al cuadrado es un caso particular de la distancia de Bhattacharyya cuando las dos clases tienen una distribución normal con varianzas iguales. Cuando dos clases tienen medias similares pero varianzas significativamente diferentes, la distancia de Mahalanobis sería cercana a cero, mientras que la de Bhattacharyya no lo sería.

El coeficiente de Bhattacharyya se utiliza en la construcción de códigos polares . ^{[ 9 ]}

La distancia de Bhattacharyya se utiliza en la extracción y selección de características, ^{[ 10 ]} el procesamiento de imágenes, ^{[ 11 ]} el reconocimiento de locutores , ^{[ 12 ]} la agrupación de fonemas, ^{[ 13 ]} y en genética. ^{[ 14 ]}

Véase también

Referencias

↑ Dodge, Yadolah (2003). The Oxford Dictionary of Statistical Terms . Oxford University Press. ISBN 978-0-19-920613-1.
1 2 Sen, Pranab Kumar (1996). "Anil Kumar Bhattacharyya (1915-1996): Un recuerdo reverente" . Boletín de la Asociación Estadística de Calcuta . 46 ( 3–4 ): 151–158 . doi : 10.1177/0008068319960301 . S2CID 164326977 .
1 2 3 Bhattacharyya, A. (1946). "Sobre una medida de divergencia entre dos poblaciones multinomiales" . Sankhyā . 7 (4): 401– 406. JSTOR 25047882 .
1 2 Bhattacharyya, A (1942). Sobre discriminación y divergencia . Actas del Vigésimo Noveno Congreso Científico Indio . Sociedad Asiática de Bengala.
1 2 Bhattacharyya, A. (marzo de 1943). "Sobre una medida de divergencia entre dos poblaciones estadísticas definidas por sus distribuciones de probabilidad" . Boletín de la Sociedad Matemática de Calcuta . 35 : 99–109 . MR 0010358 .
↑ Kashyap, Ravi (2019). "El matrimonio perfecto y mucho más: combinando reducción de dimensión, medidas de distancia y covarianza". Physica A: Mecánica estadística y sus aplicaciones . 536 120938. arXiv : 1603.09060 . Bibcode : 2019PhyA..53620938K . doi : 10.1016/j.physa.2019.04.174 .
↑ Nielsen, Frank. Límites superiores generalizados de Bhattacharyya y Chernoff para el error de Bayes utilizando medias cuasi-aritméticas. Pattern Recognition Letters 42 (2014): 25-34.
↑ Devroye, L., Gyorfi, L. y Lugosi, G. Una teoría probabilística del reconocimiento de patrones. Discrete Appl Math 73, 192–194 (1997).
↑ Arıkan, Erdal (julio de 2009). "Polarización de canal: un método para construir códigos que alcanzan la capacidad para canales simétricos sin memoria con entrada binaria". IEEE Transactions on Information Theory . 55 (7): 3051– 3073. arXiv : 0807.3917 . Bibcode : 2009ITIT...55.3051A . doi : 10.1109/TIT.2009.2021379 . S2CID 889822 .
↑ Euisun Choi, Chulhee Lee, "Extracción de características basada en la distancia de Bhattacharyya", Pattern Recognition , Volumen 36, Número 8, agosto de 2003, Páginas 1703–1709
↑ François Goudail, Philippe Réfrégier, Guillaume Delyon, "Distancia de Bhattacharyya como parámetro de contraste para el procesamiento estadístico de imágenes ópticas ruidosas", JOSA A , vol. 21, número 7, págs. 1231−1240 (2004)
↑ Chang Huai You, "Un núcleo SVM con supervector GMM basado en la distancia de Bhattacharyya para el reconocimiento de locutores", Signal Processing Letters , IEEE, vol. 16, núm. 1, págs. 49-52
↑ Mak, B., "Agrupación de fonemas mediante la distancia de Bhattacharyya", Lenguaje hablado , 1996. ICSLP 96. Actas, Cuarta Conferencia Internacional sobre, Vol. 4, págs. 2005–2008 vol.4, 3–6 oct. 1996
↑ Chattopadhyay, Aparna; Chattopadhyay, Asis Kumar; B-Rao, Chandrika (2004-06-01). "La medida de distancia de Bhattacharyya como precursora de las medidas de distancia genética" . Journal of Biosciences . 29 (2): 135– 138. doi : 10.1007/BF02703410 . ISSN 0973-7138 . PMID 15295209 .

Enlaces externos

"Distancia de Bhattacharyya" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
Intuición estadística de la distancia de Bhattacharyya
Algunas de las propiedades de Bhattacharyya Distance
Nielsen, Frank; Boltz, Sylvain (2010). "Los centroides de Burbea-Rao y Bhattacharyya". IEEE Transactions on Information Theory . 57 (8): 5455– 5466. arXiv : 1004.5049 . Bibcode : 2011ITIT...57.5455N . doi : 10.1109/TIT.2011.2159046 . ISSN 0018-9448 . S2CID 14238708 .
Kailath, T. (1967). "Las medidas de divergencia y distancia de Bhattacharyya en la selección de señales". IEEE Transactions on Communications . 15 (1): 52– 60. doi : 10.1109/TCOM.1967.1089532 . ISSN 0096-2244 .
Djouadi, A.; Snorrason, O.; Garber, FD (1990). "La calidad de las estimaciones de muestras de entrenamiento del coeficiente de Bhattacharyya". IEEE Transactions on Pattern Analysis and Machine Intelligence . 12 (1): 92– 97. doi : 10.1109/34.41388 .

[1] Dodge, Yadolah (2003). The Oxford Dictionary of Statistical Terms . Oxford University Press. ISBN 978-0-19-920613-1.

[:0-2] 1 2 Sen, Pranab Kumar (1996). "Anil Kumar Bhattacharyya (1915-1996): Un recuerdo reverente" . Boletín de la Asociación Estadística de Calcuta . 46 ( 3–4 ): 151–158 . doi : 10.1177/0008068319960301 . S2CID 164326977 .

[:1-3] 1 2 3 Bhattacharyya, A. (1946). "Sobre una medida de divergencia entre dos poblaciones multinomiales" . Sankhyā . 7 (4): 401– 406. JSTOR 25047882 .

[:3-4] 1 2 Bhattacharyya, A (1942). Sobre discriminación y divergencia . Actas del Vigésimo Noveno Congreso Científico Indio . Sociedad Asiática de Bengala.

[:2-5] 1 2 Bhattacharyya, A. (marzo de 1943). "Sobre una medida de divergencia entre dos poblaciones estadísticas definidas por sus distribuciones de probabilidad" . Boletín de la Sociedad Matemática de Calcuta . 35 : 99–109 . MR 0010358 .

[6] Kashyap, Ravi (2019). "El matrimonio perfecto y mucho más: combinando reducción de dimensión, medidas de distancia y covarianza". Physica A: Mecánica estadística y sus aplicaciones . 536 120938. arXiv : 1603.09060 . Bibcode : 2019PhyA..53620938K . doi : 10.1016/j.physa.2019.04.174 .

[7] Nielsen, Frank. Límites superiores generalizados de Bhattacharyya y Chernoff para el error de Bayes utilizando medias cuasi-aritméticas. Pattern Recognition Letters 42 (2014): 25-34.

[8] Devroye, L., Gyorfi, L. y Lugosi, G. Una teoría probabilística del reconocimiento de patrones. Discrete Appl Math 73, 192–194 (1997).

[9] Arıkan, Erdal (julio de 2009). "Polarización de canal: un método para construir códigos que alcanzan la capacidad para canales simétricos sin memoria con entrada binaria". IEEE Transactions on Information Theory . 55 (7): 3051– 3073. arXiv : 0807.3917 . Bibcode : 2009ITIT...55.3051A . doi : 10.1109/TIT.2009.2021379 . S2CID 889822 .

[10] Euisun Choi, Chulhee Lee, "Extracción de características basada en la distancia de Bhattacharyya", Pattern Recognition , Volumen 36, Número 8, agosto de 2003, Páginas 1703–1709

[Goudail-11] François Goudail, Philippe Réfrégier, Guillaume Delyon, "Distancia de Bhattacharyya como parámetro de contraste para el procesamiento estadístico de imágenes ópticas ruidosas", JOSA A , vol. 21, número 7, págs. 1231−1240 (2004)

[You-12] Chang Huai You, "Un núcleo SVM con supervector GMM basado en la distancia de Bhattacharyya para el reconocimiento de locutores", Signal Processing Letters , IEEE, vol. 16, núm. 1, págs. 49-52

[Mak-13] Mak, B., "Agrupación de fonemas mediante la distancia de Bhattacharyya", Lenguaje hablado , 1996. ICSLP 96. Actas, Cuarta Conferencia Internacional sobre, Vol. 4, págs. 2005–2008 vol.4, 3–6 oct. 1996

[14] Chattopadhyay, Aparna; Chattopadhyay, Asis Kumar; B-Rao, Chandrika (2004-06-01). "La medida de distancia de Bhattacharyya como precursora de las medidas de distancia genética" . Journal of Biosciences . 29 (2): 135– 138. doi : 10.1007/BF02703410 . ISSN 0973-7138 . PMID 15295209 .

[ 1 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]