Clasificador Naive Bayes

En estadística , los clasificadores bayesianos ingenuos (a veces llamados simples o del idiota ) son una familia de " clasificadores probabilísticos " que asumen que las características son condicionalmente independientes , dada la clase objetivo. ^[¹^] En otras palabras, un modelo bayesiano ingenuo asume que la información sobre la clase proporcionada por cada variable no está relacionada con la información de las demás, sin que exista información compartida entre los predictores. La naturaleza altamente irreal de esta suposición, denominada supuesto de independencia ingenua , es lo que da nombre al clasificador. Estos clasificadores son algunos de los modelos de redes bayesianas más simples . ^[²^]

Los clasificadores Naive Bayes generalmente tienen un rendimiento inferior al de modelos más avanzados como las regresiones logísticas , especialmente al cuantificar la incertidumbre (ya que los modelos Naive Bayes suelen producir probabilidades excesivamente confiadas). Sin embargo, son altamente escalables, requiriendo solo un parámetro para cada característica o predictor en un problema de aprendizaje. El entrenamiento de máxima verosimilitud se puede realizar evaluando una expresión de forma cerrada (simplemente contando las observaciones en cada grupo), ^{[ 3 ]}^{: 718} en lugar de los costosos algoritmos de aproximación iterativa que requieren la mayoría de los demás modelos.

A pesar del uso del teorema de Bayes en la regla de decisión del clasificador, el bayesiano ingenuo no es (necesariamente) un método bayesiano , y los modelos bayesianos ingenuos pueden ajustarse a los datos utilizando métodos bayesianos o frecuentistas . ^{[ 1 ]}^{[ 3 ]}

Introducción

Naive Bayes es una técnica sencilla para construir clasificadores: modelos que asignan etiquetas de clase a instancias de problemas, representadas como vectores de valores de características , donde las etiquetas de clase se extraen de un conjunto finito . No existe un único algoritmo para entrenar estos clasificadores, sino una familia de algoritmos basados en un principio común: todos los clasificadores Naive Bayes asumen que el valor de una característica particular es independiente del valor de cualquier otra característica, dada la variable de clase. Por ejemplo, una fruta puede considerarse una manzana si es roja, redonda y tiene aproximadamente 10 cm de diámetro. Un clasificador Naive Bayes considera que cada una de estas características contribuye de forma independiente a la probabilidad de que esta fruta sea una manzana, independientemente de cualquier posible correlación entre el color, la redondez y el diámetro.

En muchas aplicaciones prácticas, la estimación de parámetros para los modelos bayesianos ingenuos utiliza el método de máxima verosimilitud ; en otras palabras, se puede trabajar con el modelo bayesiano ingenuo sin aceptar la probabilidad bayesiana ni utilizar ningún método bayesiano.

A pesar de su diseño ingenuo y sus supuestos aparentemente simplificados, los clasificadores bayesianos ingenuos han funcionado bastante bien en muchas situaciones complejas del mundo real. En 2004, un análisis del problema de clasificación bayesiana demostró que existen razones teóricas sólidas para la eficacia aparentemente improbable de los clasificadores bayesianos ingenuos. ^{[ 4 ]} Sin embargo, una comparación exhaustiva con otros algoritmos de clasificación en 2006 demostró que la clasificación bayesiana es superada por otros enfoques, como los árboles potenciados o los bosques aleatorios . ^{[ 5 ]}

Una ventaja del clasificador bayesiano ingenuo es que solo requiere una pequeña cantidad de datos de entrenamiento para estimar los parámetros necesarios para la clasificación. ^{[ 6 ]}

Modelo probabilístico

En abstracto, el bayesiano ingenuo es un modelo de probabilidad condicional : asigna probabilidades $p(C_{k}\mid x_{1},\ldots ,x_{n})$ para cada uno de los $K$ posibles resultados o clases $C_{k}$ dado un caso de problema a clasificar, representado por un vector $\mathbf {x} =(x_{1},\ldots ,x_{n})$ codificando algunas $n$ características (variables independientes). ^{[ 7 ]}

El problema con la formulación anterior es que si el número de características $n$ es grande o si una característica puede tomar un gran número de valores, entonces basar dicho modelo en tablas de probabilidad resulta inviable. Por lo tanto, el modelo debe reformularse para hacerlo más manejable. Utilizando el teorema de Bayes , la probabilidad condicional se puede descomponer como: $p(C_{k}\mid \mathbf {x} )={\frac {p(C_{k})\ p(\mathbf {x} \mid C_{k})}{p(\mathbf {x} )}}\,$

En lenguaje sencillo, utilizando la terminología de probabilidad bayesiana , la ecuación anterior se puede escribir como ${\text{posterior}}={\frac {{\text{prior}}\times {\text{verosimilitud}}}{\text{evidencia}}}\,$

En la práctica, solo interesa el numerador de esa fracción, porque el denominador no depende de $C$ y los valores de las características $x_{i}$ se dan, de modo que el denominador es efectivamente constante. El numerador es equivalente al modelo de probabilidad conjunta. $p(C_{k},x_{1},\ldots ,x_{n})\,$ que puede reescribirse de la siguiente manera, utilizando la regla de la cadena para aplicaciones repetidas de la definición de probabilidad condicional : ${\begin{aligned}p(C_{k},x_{1},\ldots ,x_{n})&=p(x_{1},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2},\ldots ,x_{n},C_{k})\\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\ p(x_{3},\ldots ,x_{n},C_{k})\\&=\cdots \\&=p(x_{1}\mid x_{2},\ldots ,x_{n},C_{k})\ p(x_{2}\mid x_{3},\ldots ,x_{n},C_{k})\cdots p(x_{n-1}\mid x_{n},C_{k})\ p(x_{n}\mid C_{k})\ p(C_{k})\\\end{aligned}}$

Ahora entran en juego los supuestos de independencia condicional "ingenuos" : supongamos que todas las características en $\mathbf {x}$ son mutuamente independientes , condicionadas a la categoría $C_{k}$ Bajo esta suposición, $p(x_{i}\mid x_{i+1},\ldots ,x_{n},C_{k})=p(x_{i}\mid C_{k})\,.$

Por lo tanto, el modelo conjunto puede expresarse como ${\begin{aligned}p(C_{k}\mid x_{1},\ldots ,x_{n})\varpropto \ &p(C_{k},x_{1},\ldots ,x_{n})\\&=p(C_{k})\ p(x_{1}\mid C_{k})\ p(x_{2}\mid C_{k})\ p(x_{3}\mid C_{k})\ \cdots \\&=p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})\,,\end{aligned}}$ dónde $\varpropto$ denota proporcionalidad ya que el denominador $p(\mathbf {x} )$ se omite.

Esto significa que, bajo los supuestos de independencia anteriores, la distribución condicional sobre la variable de clase $C$ es: $p(C_{k}\mid x_{1},\ldots ,x_{n})={\frac {1}{Z}}\ p(C_{k})\prod _{i=1}^{n}p(x_{i}\mid C_{k})$ donde la evidencia $Z=p(\mathbf {x} )=\sum _ {k}p(C_{k})\ p(\mathbf {x} \mid C_{k})$ es un factor de escala que depende únicamente de $x_{1},\ldots ,x_{n}$ , es decir, una constante si se conocen los valores de las variables de características.

A menudo, solo es necesario discriminar entre clases. En ese caso, el factor de escala es irrelevante y basta con calcular la probabilidad logarítmica hasta un factor: $\ln p(C_{k}\mid x_{1},\ldots ,x_{n})=\ln p(C_{k})+\sum _{i=1}^{n}\ln p(x_{i}\mid C_{k})\underbrace {-\ln Z} _{\text{irrelevante}}$ El factor de escala es irrelevante, ya que la discriminación lo elimina: $\ln {\frac {p(C_{k}\mid x_{1},\ldots ,x_{n})}{p(C_{l}\mid x_{1},\ldots ,x_{n})}}=\left(\ln p(C_{k})+\sum _{i=1}^{n}\ln p(x_{i}\mid C_{k})\right)-\left(\ln p(C_{l})+\sum _{i=1}^{n}\ln p(x_{i}\mid C_{l})\right)$ El uso de la probabilidad logarítmica ofrece dos ventajas. Una es que permite una interpretación en la teoría de la información, donde las probabilidades logarítmicas son unidades de información en nats . Otra es que evita el desbordamiento aritmético .

Construcción de un clasificador a partir del modelo de probabilidad

La discusión hasta ahora ha derivado el modelo de características independientes, es decir, el modelo de probabilidad bayesiano ingenuo . El clasificador bayesiano ingenuo combina este modelo con una regla de decisión . Una regla común es elegir la hipótesis más probable para minimizar la probabilidad de clasificación errónea; esto se conoce como regla de decisión de máxima probabilidad a posteriori o MAP . El clasificador correspondiente, un clasificador bayesiano , es la función que asigna una etiqueta de clase. ${\sombrero {y}}=C_{k}$ para algún $k$ de la siguiente manera: ${\hat {y}}={\underset {k\in \{1,\ldots ,K\}}{\operatorname {argmax} }}\ p(C_{k})\displaystyle \prod _{i=1}^{n}p(x_{i}\mid C_{k}).$

{\displaystyle p(\mathbf {x} \mid Y)} — Funciones de verosimilitud $p(\mathbf {x} \mid Y)$ , Matriz de confusión y curva ROC . Para el clasificador bayesiano ingenuo y dado que las probabilidades a priori $p(Y)$ son iguales para todas las clases, entonces el límite de decisión (línea verde) se colocaría en el punto donde se cruzan las dos densidades de probabilidad, debido a $p(Y\mid \mathbf {x} )={\frac {p(Y)\ p(\mathbf {x} \mid Y)}{p(\mathbf {x} )}}\propto p(\mathbf {x} \mid Y)$ .

Estimación de parámetros y modelos de eventos

La probabilidad a priori de una clase se puede calcular asumiendo clases equiprobables, es decir, $p(C_{k})={\frac {1}{K}}$ o calculando una estimación de la probabilidad de clase a partir del conjunto de entrenamiento: ${\text{prior para una clase dada}}={\frac {\text{número de muestras en esa clase}}{\text{número total de muestras}}}\,$ Para estimar los parámetros de la distribución de una característica, se debe asumir una distribución o generar modelos no paramétricos para las características a partir del conjunto de entrenamiento. ^{[ 8 ]}

Las suposiciones sobre las distribuciones de características se denominan el "modelo de eventos" del clasificador bayesiano ingenuo. Para características discretas como las que se encuentran en la clasificación de documentos (incluido el filtrado de spam), son populares las distribuciones multinomial y de Bernoulli . Estas suposiciones dan lugar a dos modelos distintos, que a menudo se confunden. ^{[ 9 ]}^{[ 10 ]}

Bayes ingenuo gaussiano

Cuando se trabaja con datos continuos, una suposición típica es que los valores continuos asociados a cada clase se distribuyen según una distribución normal (o gaussiana). Por ejemplo, supongamos que los datos de entrenamiento contienen un atributo continuo, $x$ . Los datos se segmentan primero por clase, y luego la media y la varianza de $x$ se calcula en cada clase. $\mu _{k}$ sea la media de los valores en $x$ asociado con la clase $C_{k}$ y dejar $\sigma _{k}^{2}$ sea la varianza corregida de Bessel de los valores en $x$ asociado con la clase $C_{k}$ Supongamos que se ha recopilado algún valor de observación. $v$ . Entonces, la densidad de probabilidad de $v$ dada una clase $C_{k}$ , es decir, $p(x=v\mid C_{k})$ , se puede calcular sustituyendo $v$ en la ecuación para una distribución normal parametrizada por $\mu _{k}$ y $\sigma _{k}^{2}$ Formalmente, $p(x=v\mid C_{k})={\frac {1}{\sqrt {2\pi \sigma _{k}^{2}}}}\,e^{-{\frac {(v-\mu _{k})^{2}}{2\sigma _{k}^{2}}}}$

Otra técnica común para manejar valores continuos es usar el agrupamiento para discretizar los valores de las características y obtener un nuevo conjunto de características con distribución de Bernoulli. Algunos estudios sugieren que esto es necesario para usar el clasificador bayesiano ingenuo, pero no es cierto, ya que la discretización puede descartar información discriminativa . ^{[ 1 ]}

En ocasiones, la distribución de las densidades marginales condicionales de clase dista mucho de ser normal. En estos casos, se puede utilizar la estimación de densidad kernel para obtener una estimación más realista de las densidades marginales de cada clase. Este método, introducido por John y Langley, ^{[ 8 ]} puede aumentar considerablemente la precisión del clasificador. ^{[ 11 ]}^{[ 12 ]}

Bayes ingenuo multinomial

Con un modelo de eventos multinomial, las muestras (vectores de características) representan las frecuencias con las que ciertos eventos han sido generados por un modelo multinomial. $(p_{1},\dots ,p_{n})$ dónde $p_{i}$ es la probabilidad de que ocurra el evento $i$ (o $K$ multinomiales en el caso multiclase). Un vector de características $\mathbf {x} =(x_{1},\dots ,x_{n})$ es entonces un histograma , con $x_{i}$ Contando el número de veces que se observó el evento $i en una instancia particular. Este es el modelo de eventos que se usa típicamente para la clasificación de documentos, donde los eventos representan la ocurrencia de una palabra en un solo documento (ver la suposición$ de bolsa de palabras ). ^{[ 13 ]} La probabilidad de observar un histograma $x$ viene dada por: $p(\mathbf {x} \mid C_{k})={\frac {(\sum _{i=1}^{n}x_{i})!}{\prod _{i=1}^{n}x_{i}!}}\prod _{i=1}^{n}{p_{ki}}^{x_{i}}$ dónde $p_{ki}:=p(i\mid C_{k})$ .

El clasificador bayesiano ingenuo multinomial se convierte en un clasificador lineal cuando se expresa en espacio logarítmico: ^{[ 14 ]} ${\begin{aligned}\log p(C_{k}\mid \mathbf {x} )&\varpropto \log \left(p(C_{k})\prod _{i=1}^{n}{p_{ki}}^{x_{i}}\right)\\&=\log p(C_{k})+\sum _{i=1}^{n}x_{i}\cdot \log p_{ki}\\&=b+\mathbf {w} _{k}^{\top }\mathbf {x} \end{aligned}}$ dónde $b=\log p(C_{k})$ y $w_{ki}=\log p_{ki}$ Estimar los parámetros en escala logarítmica resulta ventajoso, ya que multiplicar un gran número de valores pequeños puede generar un error de redondeo significativo. Aplicar una transformación logarítmica reduce el efecto de este error.

Si una clase y un valor de característica determinados nunca aparecen juntos en los datos de entrenamiento, la estimación de probabilidad basada en la frecuencia será cero, ya que la estimación de probabilidad es directamente proporcional al número de ocurrencias del valor de la característica. Esto es problemático porque, al multiplicarse, se elimina toda la información contenida en las demás probabilidades. Por lo tanto, suele ser conveniente incorporar una corrección para muestras pequeñas, denominada pseudoconteo , en todas las estimaciones de probabilidad, de modo que ninguna probabilidad sea exactamente cero. Este método de regularización del clasificador bayesiano ingenuo se denomina suavizado de Laplace cuando el pseudoconteo es uno, y suavizado de Lidstone en el caso general.

Rennie et al. analizan los problemas de la suposición multinomial en el contexto de la clasificación de documentos y posibles maneras de mitigarlos, incluyendo el uso de ponderaciones tf-idf en lugar de frecuencias de términos sin procesar y la normalización de la longitud del documento, para producir un clasificador bayesiano ingenuo que sea competitivo con las máquinas de vectores de soporte . ^{[ 14 ]}

Bayes ingenuo de Bernoulli

En el modelo de eventos de Bernoulli multivariado , las características son variables booleanas independientes ( variables binarias ) que describen las entradas. Al igual que el modelo multinomial, este modelo es popular para tareas de clasificación de documentos, ^{[ 9 ]} donde se utilizan características de ocurrencia de términos binarios en lugar de frecuencias de términos. Si $x_{i}$ es un booleano que expresa la ocurrencia o ausencia del $i$ -ésimo término del vocabulario, entonces la probabilidad de un documento dada una clase $C_{k}$ está dado por: ^{[ 9 ]} $p(\mathbf {x} \mid C_{k})=\prod _{i=1}^{n}p_{ki}^{x_{i}}(1-p_{ki})^{(1-x_{i})}$ dónde $p_{ki}$ es la probabilidad de clase $C_{k}$ generando el término $x_{i}$ Este modelo de eventos es especialmente popular para clasificar textos cortos. Tiene la ventaja de modelar explícitamente la ausencia de términos. Cabe destacar que un clasificador bayesiano ingenuo con un modelo de eventos de Bernoulli no es lo mismo que un clasificador NB multinomial con recuentos de frecuencia truncados a uno.

Estimación de parámetros semisupervisada

Dado un método para entrenar un clasificador bayesiano ingenuo a partir de datos etiquetados, es posible construir un algoritmo de entrenamiento semisupervisado que pueda aprender de una combinación de datos etiquetados y no etiquetados ejecutando el algoritmo de aprendizaje supervisado en un bucle: ^{[ 15 ]}

Dada una colección $D=L\uplus U$ de muestras etiquetadas $L$ y muestras no etiquetadas $U$ , comience entrenando un clasificador bayesiano ingenuo en $L.$
Hasta que se produzca la convergencia, haga lo siguiente:
1. Predecir probabilidades de clase $P(C\mid x)$ para todos los ejemplos $x$ en $D$ .
2. Reentrena el modelo basándote en las probabilidades (no en las etiquetas) predichas en el paso anterior.

La convergencia se determina en función de la mejora de la verosimilitud del modelo. $P(D\mid \theta )$ , dónde $\theta$ denota los parámetros del modelo bayesiano ingenuo.

Este algoritmo de entrenamiento es una instancia del algoritmo de expectativa-maximización (EM) más general: el paso de predicción dentro del bucle es el paso E de EM, mientras que el reentrenamiento de Naive Bayes es el paso M. El algoritmo se justifica formalmente por la suposición de que los datos se generan mediante un modelo de mezcla , y los componentes de este modelo de mezcla son precisamente las clases del problema de clasificación. ^{[ 15 ]}

Discusión

A pesar de que las suposiciones de independencia de gran alcance suelen ser inexactas, el clasificador bayesiano ingenuo posee varias propiedades que lo hacen sorprendentemente útil en la práctica. En particular, el desacoplamiento de las distribuciones de características condicionales de clase implica que cada distribución puede estimarse de forma independiente como una distribución unidimensional. Esto ayuda a mitigar los problemas derivados de la maldición de la dimensionalidad , como la necesidad de conjuntos de datos que escalen exponencialmente con el número de características. Si bien el bayesiano ingenuo a menudo no logra producir una buena estimación de las probabilidades de clase correctas, ^{[ 16 ]} esto puede no ser un requisito para muchas aplicaciones. Por ejemplo, el clasificador bayesiano ingenuo realizará la clasificación correcta de la regla de decisión MAP siempre que la clase correcta se prediga como más probable que cualquier otra clase. Esto es cierto independientemente de si la estimación de probabilidad es ligeramente, o incluso gravemente, inexacta. De esta manera, el clasificador general puede ser lo suficientemente robusto como para ignorar deficiencias importantes en su modelo de probabilidad ingenuo subyacente. ^{[ 17 ]} Otras razones del éxito observado del clasificador bayesiano ingenuo se discuten en la literatura citada a continuación.

Relación con la regresión logística

En el caso de entradas discretas (características indicadoras o de frecuencia para eventos discretos), los clasificadores bayesianos ingenuos forman un par generativo-discriminativo con los clasificadores de regresión logística multinomial : cada clasificador bayesiano ingenuo puede considerarse una forma de ajustar un modelo de probabilidad que optimiza la probabilidad conjunta. $p(C,\mathbf {x} )$ , mientras que la regresión logística ajusta el mismo modelo de probabilidad para optimizar la condicional $p(C\mid \mathbf {x} )$ . ^{[ 18 ]}

De manera más formal, tenemos lo siguiente:

Teorema : Los clasificadores Naive Bayes sobre características binarias quedan subsumidos por los clasificadores de regresión logística.

Prueba

Consideremos un problema genérico de clasificación multiclase, con posibles clases. $Y\in \{1,...,n\}$ , entonces el clasificador bayesiano (no ingenuo) da, por el teorema de Bayes: $p(Y\mid X=x)={\text{softmax}}(\{\ln p(Y=k)+\ln p(X=x\mid Y=k)\}_{k})$

El clasificador bayesiano ingenuo da ${\text{softmax}}\left(\left\{\ln p(Y=k)+{\frac {1}{2}}\sum _{i}(a_{i,k}^{+}-a_{i,k}^{-})x_{i}+(a_{i,k}^{+}+a_{i,k}^{-})\right\}_{k}\right)$ dónde $a_{i,s}^{+}=\ln p(X_{i}=+1\mid Y=s);\quad a_{i,s}^{-}=\ln p(X_{i}=-1\mid Y=s)$

Se trata precisamente de un clasificador de regresión logística.

La relación entre ambos se puede observar al comprobar que la función de decisión para Naive Bayes (en el caso binario) se puede reescribir como "predecir clase". $C_{1}$ si las probabilidades de $p(C_{1}\mid \mathbf {x} )$ superar los de $p(C_{2}\mid \mathbf {x} )$ ". Expresar esto en espacio logarítmico da como resultado: $\log {\frac {p(C_{1}\mid \mathbf {x} )}{p(C_{2}\mid \mathbf {x} )}}=\log p(C_{1}\mid \mathbf {x} )-\log p(C_{2}\mid \mathbf {x} )>0$

El lado izquierdo de esta ecuación es el logaritmo de las probabilidades, o logit , la cantidad predicha por el modelo lineal que subyace a la regresión logística. Dado que el clasificador bayesiano ingenuo también es un modelo lineal para los dos modelos de eventos "discretos", puede ser reparametrizado como una función lineal. $b+\mathbf {w} ^{\top }x>0$ . Obtener las probabilidades es entonces una cuestión de aplicar la función logística a $b+\mathbf {w} ^{\top }x$ , o en el caso de múltiples clases, la función softmax .

Los clasificadores discriminativos tienen un error asintótico menor que los generativos; sin embargo, la investigación de Ng y Jordan ha demostrado que, en algunos casos prácticos, el clasificador bayesiano ingenuo puede superar a la regresión logística porque alcanza su error asintótico más rápidamente. ^{[ 18 ]}

Ejemplos

Clasificación de personas

Problema: clasificar si una persona es hombre o mujer según sus características medidas. Estas características incluyen altura, peso y tamaño del pie. Si bien con el clasificador NB las tratamos como independientes, en realidad no lo son.

Capacitación

A continuación se muestra un ejemplo de conjunto de entrenamiento.

El clasificador creado a partir del conjunto de entrenamiento utilizando una suposición de distribución gaussiana sería (dadas varianzas que son varianzas de muestra insesgadas ):

El siguiente ejemplo asume clases equiprobables, de modo que P(hombre) = P(mujer) = 0,5. Esta distribución de probabilidad previa podría basarse en el conocimiento previo de las frecuencias en la población general o en el conjunto de entrenamiento.

Pruebas

A continuación se muestra un ejemplo que debe clasificarse como masculino o femenino.

Para clasificar la muestra, hay que determinar cuál posterior es mayor, masculino o femenino. Para la clasificación como masculino, la posterior viene dada por ${\text{posterior (male)}}={\frac {P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})}{\text{evidence}}}$

Para la clasificación como femenina, la posterior viene dada por ${\text{posterior (female)}}={\frac {P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})}{\text{evidence}}}$

La evidencia (también denominada constante de normalización ) se puede calcular: ${\begin{aligned}{\text{evidence}}=P({\text{male}})\,p({\text{height}}\mid {\text{male}})\,p({\text{weight}}\mid {\text{male}})\,p({\text{foot size}}\mid {\text{male}})\\+P({\text{female}})\,p({\text{height}}\mid {\text{female}})\,p({\text{weight}}\mid {\text{female}})\,p({\text{foot size}}\mid {\text{female}})\end{aligned}}$

Sin embargo, dada la muestra, la evidencia es constante y, por lo tanto, escala ambas distribuciones posteriores por igual. En consecuencia, no afecta la clasificación y puede ignorarse. Ahora se puede determinar la distribución de probabilidad para el sexo de la muestra: $P({\text{male}})=0.5$ $p({\text{height}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(6-\mu )^{2}}{2\sigma ^{2}}}\right)\approx 1.5789,$ dónde $\mu =5.855$ y $\sigma ^{2}=3.5033\cdot 10^{-2}$ son los parámetros de la distribución normal que se han determinado previamente a partir del conjunto de entrenamiento. Cabe destacar que un valor mayor que 1 es aceptable en este caso; se trata de una densidad de probabilidad, no de una probabilidad, ya que la altura es una variable continua.

$p({\text{weight}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(130-\mu )^{2}}{2\sigma ^{2}}}\right)=5.9881\cdot 10^{-6}$ $p({\text{foot size}}\mid {\text{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(8-\mu )^{2}}{2\sigma ^{2}}}\right)=1.3112\cdot 10^{-3}$ ${\text{posterior numerator (male)}}={\text{their product}}=6.1984\cdot 10^{-9}$

$P({\text{female}})=0.5$ $p({\text{height}}\mid {\text{female}})=2.23\cdot 10^{-1}$ $p({\text{weight}}\mid {\text{female}})=1.6789\cdot 10^{-2}$ $p({\text{foot size}}\mid {\text{female}})=2.8669\cdot 10^{-1}$ ${\text{posterior numerator (female)}}={\text{their product}}=5.3778\cdot 10^{-4}$

Dado que el numerador posterior es mayor en el caso de las mujeres, la predicción es que la muestra es femenina.

Clasificación de documentos

Aquí hay un ejemplo resuelto de clasificación bayesiana ingenua para el problema de clasificación de documentos . Consideremos el problema de clasificar documentos por su contenido, por ejemplo, en correos electrónicos no deseados y no deseados . Imaginemos que los documentos se extraen de varias clases de documentos que se pueden modelar como conjuntos de palabras donde la probabilidad (independiente) de que la i-ésima palabra de un documento dado aparezca en un documento de la clase C se puede escribir como $p(w_{i}\mid C)\,$

(Para este análisis, las cosas se simplifican aún más asumiendo que las palabras están distribuidas aleatoriamente en el documento; es decir, las palabras no dependen de la longitud del documento, de su posición dentro del documento en relación con otras palabras ni de ningún otro contexto del documento).

Entonces, la probabilidad de que un documento D dado contenga todas las palabras $w_{i}$ , dada una clase C , es $p(D\mid C)=\prod _{i}p(w_{i}\mid C)\,$

La pregunta que debe responderse es: "¿cuál es la probabilidad de que un documento D dado pertenezca a una clase C dada ?" En otras palabras, ¿cuál es la probabilidad de que un documento D dado pertenezca a una clase C dada? $p(C\mid D)\,$ ¿

Ahora, por definición $p(D\mid C)={p(D\cap C) \over p(C)}$ y $p(C\mid D)={p(D\cap C) \over p(D)}$

El teorema de Bayes manipula estos términos para convertirlos en una expresión de probabilidad en términos de verosimilitud . $p(C\mid D)={\frac {p(C)\,p(D\mid C)}{p(D)}}$

Supongamos por el momento que solo hay dos clases mutuamente excluyentes, S y ¬ S (por ejemplo, spam y no spam), de modo que cada elemento (correo electrónico) pertenece a una u otra; $p(D\mid S)=\prod _{i}p(w_{i}\mid S)\,$ y $p(D\mid \neg S)=\prod _{i}p(w_{i}\mid \neg S)\,$

Utilizando el resultado bayesiano anterior, se puede escribir: $p(S\mid D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\mid S)$ $p(\neg S\mid D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\mid \neg S)$

Dividiendo uno entre el otro se obtiene: ${p(S\mid D) \over p(\neg S\mid D)}={p(S)\,\prod _{i}p(w_{i}\mid S) \over p(\neg S)\,\prod _{i}p(w_{i}\mid \neg S)}$

Lo cual puede refactorizarse como: ${p(S\mid D) \over p(\neg S\mid D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}$

Por lo tanto, la razón de probabilidad p( S | D ) / p(¬ S | D ) puede expresarse en términos de una serie de razones de verosimilitud . La probabilidad real p( S | D ) puede calcularse fácilmente a partir de log (p( S | D ) / p(¬ S | D )) basándose en la observación de que p( S | D ) + p(¬ S | D ) = 1.

Tomando el logaritmo de todas estas razones, se obtiene: $\ln {p(S\mid D) \over p(\neg S\mid D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ln {p(w_{i}\mid S) \over p(w_{i}\mid \neg S)}$

(Esta técnica de " cocientes de verosimilitud logarítmica " es común en estadística. En el caso de dos alternativas mutuamente excluyentes (como en este ejemplo), la conversión de un cociente de verosimilitud logarítmica a una probabilidad adopta la forma de una curva sigmoide : véase logit para más detalles).

Finalmente, el documento se puede clasificar de la siguiente manera. Es spam si $p(S\mid D)>p(\neg S\mid D)$ (es decir, $\ln {p(S\mid D) \over p(\neg S\mid D)}>0$ ), de lo contrario no es spam.

Filtrado de spam

Los clasificadores Naive Bayes son una técnica estadística popular para el filtrado de correo electrónico . Suelen utilizar características de bolsa de palabras para identificar el correo basura , un enfoque comúnmente empleado en la clasificación de texto . Los clasificadores Naive Bayes funcionan correlacionando el uso de tokens (normalmente palabras, o a veces otros elementos) con correos electrónicos no deseados y legítimos, y luego utilizando el teorema de Bayes para calcular la probabilidad de que un correo electrónico sea o no sea spam.

El filtrado de spam bayesiano ingenuo es una técnica básica para lidiar con el spam que puede adaptarse a las necesidades de correo electrónico de cada usuario y ofrecer bajas tasas de detección de falsos positivos , generalmente aceptables para los usuarios. Los algoritmos bayesianos se utilizaron para el filtrado de correo electrónico ya en 1996. Aunque los filtros bayesianos ingenuos no se popularizaron hasta más tarde, en 1998 se lanzaron varios programas para abordar el creciente problema del correo electrónico no deseado. ^{[ 19 ]} La primera publicación académica que utilizó el clasificador bayesiano ingenuo para el filtrado de spam fue la de Sahami et al. en 1998. ^{[ 20 ]}

Se han implementado variantes de la técnica básica en varios trabajos de investigación y productos de software comerciales. ^{[ 21 ]} Muchos clientes de correo modernos implementan el filtrado de spam bayesiano. Los usuarios también pueden instalar programas de filtrado de correo electrónico independientes . Los filtros de correo electrónico del lado del servidor , como DSPAM , Rspamd , ^{[ 22 ]} SpamAssassin , ^{[ 23 ]} SpamBayes , ^{[ 24 ]} Bogofilter y ASSP , utilizan técnicas de filtrado de spam bayesiano, y la funcionalidad a veces está integrada en el propio software del servidor de correo . CRM114 , a menudo citado como un filtro bayesiano, no está diseñado para usar un filtro bayesiano en producción, pero incluye la función "unigrama" como referencia. ^{[ 25 ]}

Tratar con palabras poco comunes

En caso de que una palabra no se haya encontrado durante la fase de aprendizaje, tanto el numerador como el denominador son iguales a cero, tanto en la fórmula general como en la fórmula de spam. El software puede decidir descartar aquellas palabras para las que no hay información disponible.

En términos más generales, las palabras que se encontraron solo unas pocas veces durante la fase de aprendizaje representan un problema, ya que sería un error confiar ciegamente en la información que proporcionan. Una solución sencilla es, simplemente, evitar tener en cuenta también esas palabras poco fiables.

Aplicando nuevamente el teorema de Bayes y suponiendo que la clasificación entre spam y ham de los correos electrónicos que contienen una palabra determinada ("réplica") es una variable aleatoria con distribución beta , algunos programas deciden utilizar una probabilidad corregida:

\Pr '(S|W)={\frac {s\cdot \Pr(S)+n\cdot \Pr(S|W)}{s+n}}

dónde:

$\Pr '(S|W)$ es la probabilidad corregida de que el mensaje sea spam, sabiendo que contiene una palabra determinada ;
$s$ es la importancia que le damos a la información de contexto sobre el spam entrante ;
$\Pr(S)$ es la probabilidad de que cualquier mensaje entrante sea spam ;
$n$ es el número de ocurrencias de esta palabra durante la fase de aprendizaje ;
$\Pr(S|W)$ es la naturaleza espástica de esta palabra.

(Demostración: ^{[ 26 ]} )

Esta probabilidad corregida se utiliza en lugar de la espamicidad en la fórmula de combinación.

Esta fórmula se puede extender al caso en que n es igual a cero (y donde la espamicidad no está definida), y en este caso se evalúa como $Pr(S)$ .

Otras heurísticas

Las palabras "neutrales" como "the", "a", "some" o "is" (en inglés), o sus equivalentes en otros idiomas, pueden ignorarse. Estas también se conocen como palabras vacías (Stop words ). En general, algunos filtros de filtrado bayesiano simplemente ignoran todas las palabras que tienen una frecuencia de spam cercana a 0,5, ya que contribuyen poco a una buena decisión. Las palabras que se tienen en cuenta son aquellas cuya frecuencia de spam es cercana a 0,0 (signos distintivos de mensajes legítimos) o cercana a 1,0 (signos distintivos de spam). Un método puede ser, por ejemplo, conservar solo las diez palabras del mensaje examinado que tengan el mayor valor absoluto |0,5 − pI |.

Algunos productos de software tienen en cuenta el hecho de que una palabra determinada aparece varias veces en el mensaje examinado, ^{[ 27 ]} otros no.

Algunos productos de software utilizan patrones (secuencias de palabras) en lugar de palabras aisladas del lenguaje natural. ^{[ 28 ]} Por ejemplo, con una "ventana de contexto" de cuatro palabras, calculan la frecuencia de aparición de "Viagra es bueno para", en lugar de calcular la frecuencia de aparición de "Viagra", "es", "bueno" y "para". Este método proporciona mayor sensibilidad al contexto y elimina mejor el ruido bayesiano, aunque requiere una base de datos más grande.

Desventajas

Dependiendo de la implementación, el filtrado bayesiano de spam puede ser susceptible al envenenamiento bayesiano , una técnica utilizada por los spammers para intentar degradar la eficacia de los filtros de spam que se basan en el filtrado bayesiano. Un spammer que practica el envenenamiento bayesiano enviará correos electrónicos con grandes cantidades de texto legítimo (obtenido de fuentes literarias o de noticias legítimas). Las tácticas de los spammers incluyen la inserción de palabras aleatorias inocuas que normalmente no se asocian con el spam, disminuyendo así la puntuación de spam del correo electrónico y aumentando la probabilidad de que pase desapercibido para un filtro de spam bayesiano. Sin embargo, con (por ejemplo) el esquema de Paul Graham , solo se utilizan las probabilidades más significativas, por lo que rellenar el texto con palabras no relacionadas con el spam no afecta significativamente la probabilidad de detección.

Las palabras que normalmente aparecen en grandes cantidades en el spam también pueden ser transformadas por los remitentes de spam. Por ejemplo, «Viagra» se reemplazaría por «Viaagra» o «V!agra» en el mensaje de spam. El destinatario del mensaje aún puede leer las palabras modificadas, pero el filtro bayesiano las encuentra con menos frecuencia, lo que dificulta su proceso de aprendizaje. Por regla general, esta técnica de spam no funciona muy bien, ya que las palabras derivadas terminan siendo reconocidas por el filtro igual que las normales. ^{[ 29 ]}

Otra técnica utilizada para intentar burlar los filtros de spam bayesianos consiste en reemplazar el texto con imágenes, ya sea incluidas directamente o mediante enlaces. El texto completo del mensaje, o parte de él, se reemplaza con una imagen donde el mismo texto está "dibujado". El filtro de spam generalmente no puede analizar esta imagen, que contendría palabras sensibles como «Viagra». Sin embargo, dado que muchos clientes de correo electrónico deshabilitan la visualización de imágenes enlazadas por motivos de seguridad, el remitente de spam que envía enlaces a imágenes distantes podría llegar a menos destinatarios. Además, el tamaño de una imagen en bytes es mayor que el tamaño equivalente del texto, por lo que el remitente de spam necesita más ancho de banda para enviar mensajes que incluyan imágenes directamente. Algunos filtros son más propensos a considerar un mensaje como spam si tiene principalmente contenido gráfico. Una solución utilizada por Google en su sistema de correo electrónico Gmail consiste en realizar un OCR (Reconocimiento Óptico de Caracteres) en cada imagen de tamaño mediano a grande, analizando el texto que contiene. ^{[ 30 ]}^{[ 31 ]}

Véase también

AODE
Técnicas antispam
clasificador bayesiano
red bayesiana
Envenenamiento bayesiano
Filtrado de correo electrónico
Clasificador lineal
Regresión logística
discriminación markoviana
Cliente de correo Mozilla Thunderbird con implementación nativa de filtros de Bayes ^{[ 32 ]}^{[ 33 ]}
Perceptrón
Bayes ingenuo aleatorio
Heurística de tomar la mejor

Referencias

1 2 3Hand, D. J.; Yu, K. (2001). "Idiot's Bayes — not so stupid after all?". International Statistical Review. 69 (3): 385–399. doi:10.2307/1403452. ISSN 0306-7734. JSTOR 1403452.
↑McCallum, Andrew. "Graphical Models, Lecture2: Bayesian Network Representation"(PDF). Archived(PDF) from the original on 2022-10-09. Retrieved 22 October 2019.
1 2Russell, Stuart; Norvig, Peter (2003) [1995]. Artificial Intelligence: A Modern Approach (2nd ed.). Prentice Hall. ISBN 978-0137903955.
↑Zhang, Harry. The Optimality of Naive Bayes(PDF). FLAIRS2004 conference.
↑Caruana, R.; Niculescu-Mizil, A. (2006). An empirical comparison of supervised learning algorithms. Proc. 23rd International Conference on Machine Learning. CiteSeerX 10.1.1.122.5901.
↑"Why does Naive Bayes work better when the number of features >> sample size compared to more sophisticated ML algorithms?". Cross Validated Stack Exchange. Retrieved 24 January 2023.
↑Narasimha Murty, M.; Susheela Devi, V. (2011). Pattern Recognition: An Algorithmic Approach. Springer. ISBN 978-0857294944.
1 2John, George H.; Langley, Pat (1995). Estimating Continuous Distributions in Bayesian Classifiers. Proc. Eleventh Conf. on Uncertainty in Artificial Intelligence. Morgan Kaufmann. pp. 338–345. arXiv:1302.4964.
1 2 3McCallum, Andrew; Nigam, Kamal (1998). A comparison of event models for Naive Bayes text classification(PDF). AAAI-98 workshop on learning for text categorization. Vol. 752. Archived(PDF) from the original on 2022-10-09.
↑Metsis, Vangelis; Androutsopoulos, Ion; Paliouras, Georgios (2006). Spam filtering with Naive Bayes—which Naive Bayes?. Third conference on email and anti-spam (CEAS). Vol. 17.
↑Piryonesi, S. Madeh; El-Diraby, Tamer E. (2020-06-01). "Role of Data Analytics in Infrastructure Asset Management: Overcoming Data Size and Quality Problems". Journal of Transportation Engineering, Part B: Pavements. 146 (2): 04020022. doi:10.1061/JPEODX.0000175. S2CID 216485629.
↑Hastie, Trevor. (2001). The elements of statistical learning : data mining, inference, and prediction : with 200 full-color illustrations. Tibshirani, Robert., Friedman, J. H. (Jerome H.). New York: Springer. ISBN 0-387-95284-5. OCLC 46809224.
↑James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert (2021). An introduction to statistical learning: with applications in R (Second ed.). New York, NY: Springer. p. 157. doi:10.1007/978-1-0716-1418-1. ISBN 978-1-0716-1418-1. Retrieved 10 November 2024.
1 2Rennie, J.; Shih, L.; Teevan, J.; Karger, D. (2003). Tackling the poor assumptions of naive Bayes classifiers(PDF). ICML. Archived(PDF) from the original on 2022-10-09.
1 2Nigam, Kamal; McCallum, Andrew; Thrun, Sebastian; Mitchell, Tom (2000). "Learning to classify text from labeled and unlabeled documents using EM"(PDF). Machine Learning. 39 (2/3): 103–134. doi:10.1023/A:1007692713085. S2CID 686980. Archived(PDF) from the original on 2022-10-09.
↑Niculescu-Mizil, Alexandru; Caruana, Rich (2005). Predicting good probabilities with supervised learning(PDF). ICML. doi:10.1145/1102351.1102430. Archived from the original(PDF) on 2014-03-11. Retrieved 2016-04-24.
↑Rish, Irina (2001). An empirical study of the naive Bayes classifier(PDF). IJCAI Workshop on Empirical Methods in AI. Archived(PDF) from the original on 2022-10-09.
1 2Ng, Andrew Y.; Jordan, Michael I. (2002). On discriminative vs. generative classifiers: A comparison of logistic regression and naive Bayes. NIPS. Vol. 14.
↑ Brunton, Finn (2013). Spam: Una historia en la sombra de Internet . MIT Press . pág. 136. ISBN 9780262018876Archivado del original el 23 de marzo de 2019. Consultado el 13 de septiembre de 2017 .
↑ M. Sahami; S. Dumais; D. Heckerman; E. Horvitz (1998). "Un enfoque bayesiano para filtrar correo basura" (PDF) . Taller AAAI'98 sobre aprendizaje para la categorización de texto. Archivado (PDF) del original el 27 de septiembre de 2007. Recuperado el 15 de agosto de 2007 .
↑ "Controles de correo basura" . MozillaZine. Noviembre de 2009. Archivado del original el 23 de octubre de 2012. Consultado el 16 de enero de 2010 .
↑ "Configuración estadística de Rspamd" . docs.rspamd.com . Consultado el 25 de septiembre de 2025 .
↑ "Instalación" . Manuales de Ubuntu. 18 de septiembre de 2010. Archivado del original el 29 de septiembre de 2010. Consultado el 18 de septiembre de 2010. El algoritmo f(x) de Gary Robinson y algoritmos de combinación, tal como se utilizan en SpamAssassin .
↑ "Lectura de fondo" . Proyecto SpamBayes. 18 de septiembre de 2010. Archivado del original el 6 de septiembre de 2010. Recuperado el 18 de septiembre de 2010. Afilen sus lápices, este es el trasfondo matemático (tal como es).* El artículo que inició todo: A Plan for Spam de Paul Graham.* Gary Robinson tiene un ensayo interesante que sugiere algunas mejoras al enfoque original de Graham.* El artículo de Gary Robinson en Linux Journal discutió el uso de la distribución chi cuadrado .
↑ "Copia archivada" . Archivado del original el 07-10-2016 . Recuperado el 09-07-2016 .{{cite web}}: CS1 mantenimiento: copia archivada como título ( enlace )
↑ Gary Robinson (2003). "Un enfoque estadístico al problema del spam" . Linux Journal . Archivado del original el 22 de octubre de 2010. Consultado el 19 de julio de 2007 .
↑ Brian Burton (2003). "SpamProbe - Ajustes de filtrado de spam bayesiano" . Archivado del original el 1 de marzo de 2012. Consultado el 19 de enero de 2009 .
↑ Jonathan A. Zdziarski (2004). "Reducción de ruido bayesiano: lógica de simetría contextual que utiliza análisis de consistencia de patrones" .
↑ Paul Graham (2002), Un plan para el spam. Archivado el 4 de abril de 2004 en Wayback Machine.
↑ "Gmail utiliza la tecnología innovadora de Google para mantener el spam fuera de tu bandeja de entrada" . Archivado del original el 13 de septiembre de 2015. Consultado el 5 de septiembre de 2015 .
↑ Zhu, Z.; Jia, Z; Xiao, H; Zhang, G; Liang, H.; Wang, P. (2014). "Un Bayes de riesgo mínimo modificado y su aplicación en el filtrado de spam". En Li, S; Jin, Q; Jiang, X; Park, J (eds.). Frontera y desarrollo futuro de la tecnología de la información en medicina y educación . Lecture Notes in Electrical Engineering. Vol. 269. Dordrecht: Springer. pp. 2155–2159 . doi : 10.1007/978-94-007-7618-0_261 . ISBN 978-94-007-7617-3.
↑ Hristea, Florentina T. (2013). El modelo Naïve Bayes para la desambiguación no supervisada del sentido de las palabras . Londres; Berlín: Springer-Verlag Heidelberg Berlin. pág. 70. ISBN 978-3-642-33692-8.
↑ Zheng, J.; Tang, Yongchuan (2005). "Una generalización del clasificador Naive Bayes a conjuntos difusos y el diseño del clasificador Naive Bayes difuso". En Mira, Jose; Álvarez, Jose R (eds.). Aplicaciones de inteligencia artificial e ingeniería del conocimiento: un enfoque bioinspirado . Lecture Notes in Computer Science. Vol. 3562. Berlín: Springer, Berlín, Heidelberg. p. 281. doi : 10.1007/11499305_29 . ISBN 978-3-540-26319-7ISSN 0302-9743

Lecturas adicionales

Domingos, Pedro; Pazzani, Michael (1997). "Sobre la optimalidad del clasificador bayesiano simple bajo la función de pérdida cero-uno" . Machine Learning . 29 (2/3): 103–137 . doi : 10.1023/A:1007413511361 .
Webb, GI; Boughton, J.; Wang, Z. (2005). "Not So Naive Bayes: Aggregating One-Dependence Estimators" . Machine Learning . 58 (1): 5– 24. doi : 10.1007/s10994-005-4258-6 .
Mozina, M.; Demsar, J.; Kattan, M.; Zupan, B. (2004). Nomogramas para la visualización del clasificador bayesiano ingenuo (PDF) . Actas de PKDD-2004. págs. 337–348 . Archivado del original (PDF) el 29 de noviembre de 2023. Consultado el 1 de abril de 2014 .
Maron, M. E. (1961). "Automatic Indexing: An Experimental Inquiry". Journal of the ACM. 8 (3): 404–417. doi:10.1145/321075.321084. hdl:2027/uva.x030748531. S2CID 6692916.
Minsky, M. (1961). Steps toward Artificial Intelligence. Proc. IRE. Vol. 49. pp. 8–30.

External links

Book Chapter: Naive Bayes text classification, Introduction to Information Retrieval
Naive Bayes for Text Classification with Unbalanced Classes

[idiots-1] 1 2 3Hand, D. J.; Yu, K. (2001). "Idiot's Bayes — not so stupid after all?". International Statistical Review. 69 (3): 385–399. doi:10.2307/1403452. ISSN 0306-7734. JSTOR 1403452.

[2] McCallum, Andrew. "Graphical Models, Lecture2: Bayesian Network Representation"(PDF). Archived(PDF) from the original on 2022-10-09. Retrieved 22 October 2019.

[aima-3] 1 2Russell, Stuart; Norvig, Peter (2003) [1995]. Artificial Intelligence: A Modern Approach (2nd ed.). Prentice Hall. ISBN 978-0137903955.

[4] Zhang, Harry. The Optimality of Naive Bayes(PDF). FLAIRS2004 conference.

[5] Caruana, R.; Niculescu-Mizil, A. (2006). An empirical comparison of supervised learning algorithms. Proc. 23rd International Conference on Machine Learning. CiteSeerX 10.1.1.122.5901.

[6] "Why does Naive Bayes work better when the number of features >> sample size compared to more sophisticated ML algorithms?". Cross Validated Stack Exchange. Retrieved 24 January 2023.

[7] Narasimha Murty, M.; Susheela Devi, V. (2011). Pattern Recognition: An Algorithmic Approach. Springer. ISBN 978-0857294944.

[john95-8] 1 2John, George H.; Langley, Pat (1995). Estimating Continuous Distributions in Bayesian Classifiers. Proc. Eleventh Conf. on Uncertainty in Artificial Intelligence. Morgan Kaufmann. pp. 338–345. arXiv:1302.4964.

[mccallum-9] 1 2 3McCallum, Andrew; Nigam, Kamal (1998). A comparison of event models for Naive Bayes text classification(PDF). AAAI-98 workshop on learning for text categorization. Vol. 752. Archived(PDF) from the original on 2022-10-09.

[10] Metsis, Vangelis; Androutsopoulos, Ion; Paliouras, Georgios (2006). Spam filtering with Naive Bayes—which Naive Bayes?. Third conference on email and anti-spam (CEAS). Vol. 17.

[piryonesi2020-11] Piryonesi, S. Madeh; El-Diraby, Tamer E. (2020-06-01). "Role of Data Analytics in Infrastructure Asset Management: Overcoming Data Size and Quality Problems". Journal of Transportation Engineering, Part B: Pavements. 146 (2): 04020022. doi:10.1061/JPEODX.0000175. S2CID 216485629.

[hastie01-12] Hastie, Trevor. (2001). The elements of statistical learning : data mining, inference, and prediction : with 200 full-color illustrations. Tibshirani, Robert., Friedman, J. H. (Jerome H.). New York: Springer. ISBN 0-387-95284-5. OCLC 46809224.

[13] James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert (2021). An introduction to statistical learning: with applications in R (Second ed.). New York, NY: Springer. p. 157. doi:10.1007/978-1-0716-1418-1. ISBN 978-1-0716-1418-1. Retrieved 10 November 2024.

[rennie-14] 1 2Rennie, J.; Shih, L.; Teevan, J.; Karger, D. (2003). Tackling the poor assumptions of naive Bayes classifiers(PDF). ICML. Archived(PDF) from the original on 2022-10-09.

[em-15] 1 2Nigam, Kamal; McCallum, Andrew; Thrun, Sebastian; Mitchell, Tom (2000). "Learning to classify text from labeled and unlabeled documents using EM"(PDF). Machine Learning. 39 (2/3): 103–134. doi:10.1023/A:1007692713085. S2CID 686980. Archived(PDF) from the original on 2022-10-09.

[16] Niculescu-Mizil, Alexandru; Caruana, Rich (2005). Predicting good probabilities with supervised learning(PDF). ICML. doi:10.1145/1102351.1102430. Archived from the original(PDF) on 2014-03-11. Retrieved 2016-04-24.

[rish-17] Rish, Irina (2001). An empirical study of the naive Bayes classifier(PDF). IJCAI Workshop on Empirical Methods in AI. Archived(PDF) from the original on 2022-10-09.

[pair-18] 1 2Ng, Andrew Y.; Jordan, Michael I. (2002). On discriminative vs. generative classifiers: A comparison of logistic regression and naive Bayes. NIPS. Vol. 14.

[19] Brunton, Finn (2013). Spam: Una historia en la sombra de Internet . MIT Press . pág. 136. ISBN 9780262018876Archivado del original el 23 de marzo de 2019. Consultado el 13 de septiembre de 2017 .

[20] M. Sahami; S. Dumais; D. Heckerman; E. Horvitz (1998). "Un enfoque bayesiano para filtrar correo basura" (PDF) . Taller AAAI'98 sobre aprendizaje para la categorización de texto. Archivado (PDF) del original el 27 de septiembre de 2007. Recuperado el 15 de agosto de 2007 .

[21] "Controles de correo basura" . MozillaZine. Noviembre de 2009. Archivado del original el 23 de octubre de 2012. Consultado el 16 de enero de 2010 .

[22] "Configuración estadística de Rspamd" . docs.rspamd.com . Consultado el 25 de septiembre de 2025 .

[twsSep14yy-23] "Instalación" . Manuales de Ubuntu. 18 de septiembre de 2010. Archivado del original el 29 de septiembre de 2010. Consultado el 18 de septiembre de 2010. El algoritmo f(x) de Gary Robinson y algoritmos de combinación, tal como se utilizan en SpamAssassin .

[twsSep2-24] "Lectura de fondo" . Proyecto SpamBayes. 18 de septiembre de 2010. Archivado del original el 6 de septiembre de 2010. Recuperado el 18 de septiembre de 2010. Afilen sus lápices, este es el trasfondo matemático (tal como es).* El artículo que inició todo: A Plan for Spam de Paul Graham.* Gary Robinson tiene un ensayo interesante que sugiere algunas mejoras al enfoque original de Graham.* El artículo de Gary Robinson en Linux Journal discutió el uso de la distribución chi cuadrado .

[25] "Copia archivada" . Archivado del original el 07-10-2016 . Recuperado el 09-07-2016 .{{cite web}}: CS1 mantenimiento: copia archivada como título ( enlace )

[26] Gary Robinson (2003). "Un enfoque estadístico al problema del spam" . Linux Journal . Archivado del original el 22 de octubre de 2010. Consultado el 19 de julio de 2007 .

[27] Brian Burton (2003). "SpamProbe - Ajustes de filtrado de spam bayesiano" . Archivado del original el 1 de marzo de 2012. Consultado el 19 de enero de 2009 .

[28] Jonathan A. Zdziarski (2004). "Reducción de ruido bayesiano: lógica de simetría contextual que utiliza análisis de consistencia de patrones" .

[29] Paul Graham (2002), Un plan para el spam. Archivado el 4 de abril de 2004 en Wayback Machine.

[30] "Gmail utiliza la tecnología innovadora de Google para mantener el spam fuera de tu bandeja de entrada" . Archivado del original el 13 de septiembre de 2015. Consultado el 5 de septiembre de 2015 .

[31] Zhu, Z.; Jia, Z; Xiao, H; Zhang, G; Liang, H.; Wang, P. (2014). "Un Bayes de riesgo mínimo modificado y su aplicación en el filtrado de spam". En Li, S; Jin, Q; Jiang, X; Park, J (eds.). Frontera y desarrollo futuro de la tecnología de la información en medicina y educación . Lecture Notes in Electrical Engineering. Vol. 269. Dordrecht: Springer. pp. 2155–2159 . doi : 10.1007/978-94-007-7618-0_261 . ISBN 978-94-007-7617-3.

[General_Reference-32] Hristea, Florentina T. (2013). El modelo Naïve Bayes para la desambiguación no supervisada del sentido de las palabras . Londres; Berlín: Springer-Verlag Heidelberg Berlin. pág. 70. ISBN 978-3-642-33692-8.

[Conference_paper-33] Zheng, J.; Tang, Yongchuan (2005). "Una generalización del clasificador Naive Bayes a conjuntos difusos y el diseño del clasificador Naive Bayes difuso". En Mira, Jose; Álvarez, Jose R (eds.). Aplicaciones de inteligencia artificial e ingeniería del conocimiento: un enfoque bioinspirado . Lecture Notes in Computer Science. Vol. 3562. Berlín: Springer, Berlín, Heidelberg. p. 281. doi : 10.1007/11499305_29 . ISBN 978-3-540-26319-7ISSN 0302-9743

[

[

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

[ 27 ]

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]