Regresión logística

La regresión logística se utiliza en diversos campos, incluyendo el aprendizaje automático, la mayoría de las áreas médicas y las ciencias sociales. Por ejemplo, la Escala de Gravedad de Trauma y Lesiones ( TRISS ), ampliamente utilizada para predecir la mortalidad en pacientes lesionados, fue desarrollada originalmente por Boyd et al. utilizando regresión logística. ^{[ 6 ]} Muchas otras escalas médicas utilizadas para evaluar la gravedad de un paciente se han desarrollado utilizando regresión logística. ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]} La regresión logística puede utilizarse para predecir el riesgo de desarrollar una determinada enfermedad (por ejemplo, diabetes ; enfermedad coronaria ), basándose en las características observadas del paciente (edad, sexo, índice de masa corporal , resultados de diversas pruebas de sangre , etc.). ^{[ 11 ] [ 12 ]} Otro ejemplo podría ser predecir si un votante nepalí votará por el Congreso Nepalí o el Partido Comunista de Nepal o por cualquier otro partido, basándose en la edad, los ingresos, el sexo, la raza, el estado de residencia, los votos en elecciones anteriores, etc. ^{[ 13 ]} La técnica también se puede utilizar en ingeniería , especialmente para predecir la probabilidad de fallo de un proceso, sistema o producto determinado. ^{[ 14 ] [ 15 ]} También se utiliza en aplicaciones de marketing, como la predicción de la propensión de un cliente a comprar un producto o a cancelar una suscripción, etc. ^{[ 16 ]} En economía , se puede utilizar para predecir la probabilidad de que una persona termine en la fuerza laboral, y una aplicación empresarial sería predecir la probabilidad de que un propietario de vivienda incumpla con una hipoteca . Los campos aleatorios condicionales , una extensión de la regresión logística a datos secuenciales, se utilizan en el procesamiento del lenguaje natural . Los planificadores de desastres e ingenieros se basan en estos modelos para predecir las decisiones que toman los propietarios de viviendas u ocupantes de edificios en evacuaciones a pequeña y gran escala, como incendios de edificios, incendios forestales, huracanes, entre otros. ^{[ 17 ] [ 18 ] [ 19 ]} Estos modelos ayudan en el desarrollo de planes confiables de gestión de desastres y un diseño más seguro para el entorno construido .

La regresión logística es un algoritmo de aprendizaje automático supervisado ampliamente utilizado para tareas de clasificación binaria , como identificar si un correo electrónico es spam o no, y diagnosticar enfermedades evaluando la presencia o ausencia de condiciones específicas según los resultados de las pruebas del paciente. Este enfoque utiliza la función logística (o sigmoide) para transformar una combinación lineal de características de entrada en un valor de probabilidad entre 0 y 1. Esta probabilidad indica la posibilidad de que una entrada dada corresponda a una de dos categorías predefinidas. El mecanismo esencial de la regresión logística se basa en la capacidad de la función logística para modelar con precisión la probabilidad de resultados binarios. Con su distintiva curva en forma de S, la función logística asigna eficazmente cualquier número real a un valor dentro del intervalo de 0 a 1. Esta característica la hace particularmente adecuada para tareas de clasificación binaria, como clasificar correos electrónicos como "spam" o "no spam". Al calcular la probabilidad de que la variable dependiente se clasifique en un grupo específico, la regresión logística proporciona un marco probabilístico que respalda la toma de decisiones informadas. ^{[ 20 ]}

Como ejemplo sencillo, podemos utilizar una regresión logística con una variable explicativa y dos categorías para responder a la siguiente pregunta:

Un grupo de 20 estudiantes dedica entre 0 y 6 horas a estudiar para un examen. ¿Cómo afecta el número de horas de estudio a la probabilidad de que el estudiante apruebe el examen?

La razón para utilizar la regresión logística en este problema es que los valores de la variable dependiente, aprobado y reprobado, aunque representados por "1" y "0", no son números cardinales . Si el problema se modificara de manera que aprobado/reprobado se reemplazara por una calificación de 0 a 100 (números cardinales), entonces se podría utilizar un análisis de regresión simple.

La tabla muestra el número de horas que cada estudiante dedicó al estudio y si aprobó (1) o suspendió (0).

Deseamos ajustar una función logística a los datos que consisten en las horas estudiadas ( x _k ) y el resultado de la prueba ( y _k  =1 para aprobado, 0 para suspenso). Los puntos de datos están indexados por el subíndice k que va desde${\displaystyle k=1}$a${\displaystyle k=K=20}$La variable x se denomina " variable explicativa " y la variable y se denomina " variable categórica " ​​que consta de dos categorías: "aprobado" o "suspenso", que corresponden a los valores categóricos 1 y 0 respectivamente.

La función logística tiene la forma:

${\displaystyle p(x)={\frac {1}{1+e^{-(x-\mu )/s}}}}$

donde μ es un parámetro de ubicación (el punto medio de la curva, donde${\displaystyle p(\mu )=1/2}$) y s es un parámetro de escala . Esta expresión puede reescribirse como:

${\displaystyle p(x)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

dónde${\displaystyle \beta _ {0}=-\mu /s}$y se conoce como la intersección (es la intersección vertical o intersección con el eje y de la línea).${\displaystyle y=\beta _{0}+\beta _{1}x}$), y${\displaystyle \beta _ {1}=1/s}$(parámetro de escala inversa o parámetro de tasa ): estos son la intersección con el eje y y la pendiente de las probabilidades logarítmicas en función de x . Por el contrario,${\displaystyle \mu =-\beta _{0}/\beta _{1}}$y${\displaystyle s=1/\beta _ {1}}$.

Tenga en cuenta que este modelo es en realidad una simplificación excesiva, ya que implica que todos los estudiantes aprobarán si estudian indefinidamente (límite = 1).

La medida habitual de bondad de ajuste para una regresión logística utiliza la pérdida logística (o pérdida logarítmica ), el logaritmo negativo de la verosimilitud . Para un x _k y un y _k dados , escribimos:${\displaystyle p_{k}=p(x_{k})}$. El${\displaystyle p_{k}}$son las probabilidades de que el correspondiente${\displaystyle y_{k}}$será igual a uno, y${\displaystyle 1-p_{k}}$son las probabilidades de que sean cero (véase la distribución de Bernoulli ). Deseamos encontrar los valores de${\displaystyle \beta _{0}}$y​​${\displaystyle \beta _{1}}$que proporcionan el "mejor ajuste" a los datos. Para comparar un "mejor ajuste" a los datos, véase el caso de la regresión lineal . Allí, la suma de las desviaciones al cuadrado del ajuste a partir de los puntos de datos ( y _k ), la pérdida de error al cuadrado , se toma como medida de la bondad del ajuste, y el mejor ajuste se obtiene cuando esta pérdida se minimiza .

La pérdida logarítmica para el k - ésimo punto${\displaystyle \ell _{k}}$es :

${\displaystyle \ell _{k}={\begin{cases}-\ln p_{k}&{\text{ if }}y_{k}=1,\\-\ln(1-p_{k})&{\text{ if }}y_{k}=0.\end{cases}}}$

La pérdida logarítmica puede interpretarse como la " sorpresa " del resultado real .${\displaystyle y_{k}}$en relación con la predicción${\displaystyle p_{k}}$⁠ , y es una medida del contenido de información . La pérdida logarítmica siempre es mayor o igual que 0, es igual a 0 solo en caso de una predicción perfecta (es decir, cuando${\displaystyle p_{k}=1}$y${\displaystyle y_{k}=1}$, o${\displaystyle p_{k}=0}$y${\displaystyle y_{k}=0}$), y se aproxima al infinito a medida que la predicción empeora (es decir, cuando${\displaystyle y_{k}=1}$y${\displaystyle p_{k}\to 0}$o${\displaystyle y_{k}=0}$y${\displaystyle p_{k}\to 1}$), lo que significa que el resultado real es "más sorprendente". Dado que el valor de la función logística siempre está estrictamente entre cero y uno, la pérdida logarítmica siempre es mayor que cero y menor que infinito. A diferencia de una regresión lineal, donde el modelo puede tener pérdida cero en un punto al pasar por un punto de datos (y pérdida cero en general si todos los puntos están en una línea), en una regresión logística no es posible tener pérdida cero en ningún punto, ya que${\displaystyle y_{k}}$es 0 o 1, pero${\displaystyle 0<p_{k}<1}$.​

Estas expresiones se pueden combinar en una sola:

${\displaystyle \ell _{k}=-y_{k}\ln p_{k}-(1-y_{k})\ln(1-p_{k}).}$

Esta expresión se conoce más formalmente como la entropía cruzada de la distribución predicha.${\displaystyle {\big (}p_{k},(1-p_{k}){\big )}}$de la distribución real${\displaystyle {\big (}y_{k},(1-y_{k}){\big )}}$, como distribuciones de probabilidad en el espacio de dos elementos de (aprobar, reprobar).

La suma de estos, la pérdida total, es la log-verosimilitud negativa global .${\displaystyle -\ell }$⁠ , y el mejor ajuste se obtiene para aquellas elecciones de ⁠${\displaystyle \beta _{0}}$y​​${\displaystyle \beta _{1}}$para el cual${\displaystyle -\ell }$se minimiza .​

Alternativamente, en lugar de minimizar la pérdida, se puede maximizar su inversa, la log-verosimilitud (positiva):

${\displaystyle \ell =\sum _{k:y_{k}=1}\ln(p_{k})+\sum _{k:y_{k}=0}\ln(1-p_{k})=\sum _{k=1}^{K}\left(\,y_{k}\ln(p_{k})+(1-y_{k})\ln(1-p_{k})\right)}$

o, equivalentemente, maximizar la propia función de verosimilitud , que es la probabilidad de que el conjunto de datos dado sea producido por una función logística particular:

${\displaystyle L=\prod _{k:y_{k}=1}p_{k}\,\prod _{k:y_{k}=0}(1-p_{k})}$

Este método se conoce como estimación de máxima verosimilitud .

Dado que ℓ es no lineal en ⁠${\displaystyle \beta _{0}}$y​​${\displaystyle \beta _{1}}$⁠ , determinar sus valores óptimos requerirá métodos numéricos. Un método para maximizar ℓ es requerir las derivadas de ℓ con respecto a ⁠${\displaystyle \beta _{0}}$y​​${\displaystyle \beta _{1}}$ser cero :

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{0}}}=\sum _{k=1}^{K}(y_{k}-p_{k})}$

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{1}}}=\sum _{k=1}^{K}(y_{k}-p_{k})x_{k}}$

y el procedimiento de maximización se puede lograr resolviendo las dos ecuaciones anteriores para ⁠${\displaystyle \beta _{0}}$y​​${\displaystyle \beta _{1}}$⁠ , lo que, de nuevo, generalmente requerirá el uso de métodos numéricos.

Los valores de ⁠${\displaystyle \beta _{0}}$y​​${\displaystyle \beta _{1}}$Las expresiones que maximizan ℓ y L utilizando los datos anteriores son las siguientes:

${\displaystyle \beta _{0}\approx -4.1}$

${\displaystyle \beta _{1}\approx 1.5}$

lo que da como resultado un valor para μ y s de:

${\displaystyle \mu =-\beta _{0}/\beta _{1}\approx 2.7}$

${\displaystyle s=1/\beta _{1}\approx 0.67}$

El​${\displaystyle \beta _{0}}$y​​${\displaystyle \beta _{1}}$Los coeficientes pueden introducirse en la ecuación de regresión logística para estimar la probabilidad de aprobar el examen.

Por ejemplo, para un estudiante que estudia 2 horas, al ingresar el valor${\displaystyle x=2}$Al sustituir este valor en la ecuación, se obtiene una probabilidad estimada de aprobar el examen de 0,25:

${\displaystyle t=\beta _{0}+2\beta _{1}\approx -4.1+2\cdot 1.5=-1.1}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.25={\text{Probability of passing exam}}}$

De manera similar, para un estudiante que estudia 4 horas, la probabilidad estimada de aprobar el examen es de 0,87:

${\displaystyle t=\beta _{0}+4\beta _{1}\approx -4.1+4\cdot 1.5=1.9}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.87={\text{Probability of passing exam}}}$

Esta tabla muestra la probabilidad estimada de aprobar el examen para diferentes valores de horas de estudio.

El análisis de regresión logística arroja el siguiente resultado.

Según la prueba de Wald , el resultado indica que las horas de estudio están significativamente asociadas con la probabilidad de aprobar el examen (${\displaystyle p=0.017}$). En lugar del método de Wald, el método recomendado ^{[ 21 ]} para calcular el valor p para la regresión logística es la prueba de razón de verosimilitud (LRT), que para estos datos da${\displaystyle p\approx 0.00064}$(Véase el apartado «  Desviación y pruebas de razón de verosimilitud» más adelante).

Este modelo simple es un ejemplo de regresión logística binaria y tiene una variable explicativa y una variable categórica binaria que puede asumir uno de dos valores categóricos. La regresión logística multinomial es la generalización de la regresión logística binaria para incluir cualquier número de variables explicativas y cualquier número de categorías.

Una explicación de la regresión logística puede comenzar con una explicación de la función logística estándar . La función logística es una función sigmoide , que toma cualquier valor real de entrada.${\displaystyle t}$y produce un valor entre cero y uno. ^{[ 2 ]} Para el logit, esto se interpreta como tomar como entrada el logaritmo de las probabilidades y tener como salida la probabilidad . La función logística estándar${\displaystyle \sigma$ :\mathbb {R} \rightarrow (0,1)} se define de la siguiente manera:

${\displaystyle \sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}}$

En la Figura 1 se muestra la gráfica de la función logística en el intervalo t (−6,6).

Supongamos que${\displaystyle t}$es una función lineal de una única variable explicativa${\displaystyle x}$(el caso donde${\displaystyle t}$es una combinación lineal de múltiples variables explicativas se trata de manera similar). Entonces podemos expresar${\displaystyle t}$como sigue:

${\displaystyle t=\beta _{0}+\beta _{1}x}$

Y la función logística general${\displaystyle p:\mathbb {R} \rightarrow (0,1)}$Ahora se puede escribir como:

${\displaystyle p(x)=\sigma (t)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

En el modelo logístico,${\displaystyle p(x)}$se interpreta como la probabilidad de la variable dependiente${\displaystyle Y}$lo que equivale a un éxito/caso en lugar de un fracaso/no caso. Está claro que las variables de respuesta${\displaystyle Y_{i}}$no están distribuidos de forma idéntica:${\displaystyle P(Y_{i}=1\mid X)}$difiere de un punto de datos${\displaystyle X_{i}}$a otro, aunque son independientes dada la matriz de diseño${\displaystyle X}$y parámetros compartidos${\displaystyle \beta }$. ^{[ 11 ]}

Ahora podemos definir la función logit (logaritmo de las probabilidades) como la inversa.${\displaystyle g=\sigma ^{-1}}$de la función logística estándar. Es fácil ver que satisface:

${\displaystyle g(p(x))=\sigma ^{-1}(p(x))=\operatorname {logit} p(x)=\ln \left({\frac {p(x)}{1-p(x)}}\right)=\beta _{0}+\beta _{1}x,}$

y, de forma equivalente, después de elevar ambos lados a la potencia tenemos las probabilidades:

${\displaystyle {\frac {p(x)}{1-p(x)}}=e^{\beta _{0}+\beta _{1}x}.}$

En las ecuaciones anteriores, los términos son los siguientes:

• ${\displaystyle g}$es la función logit. La ecuación para${\displaystyle g(p(x))}$Esto ilustra que el logit (es decir, el logaritmo de las probabilidades o el logaritmo natural de las probabilidades) es equivalente a la expresión de regresión lineal.
• ${\displaystyle \ln }$denota el logaritmo natural .
• ${\displaystyle p(x)}$es la probabilidad de que la variable dependiente sea igual a un caso, dada alguna combinación lineal de los predictores. La fórmula para${\displaystyle p(x)}$Esto ilustra que la probabilidad de que la variable dependiente sea igual a un caso es igual al valor de la función logística de la expresión de regresión lineal. Esto es importante porque muestra que el valor de la expresión de regresión lineal puede variar desde menos infinito hasta más infinito y, sin embargo, después de la transformación, la expresión resultante para la probabilidad${\displaystyle p(x)}$varía entre 0 y 1.
• ${\displaystyle \beta _{0}}$es la intersección de la ecuación de regresión lineal (el valor del criterio cuando el predictor es igual a cero).
• ${\displaystyle \beta _{1}x}$es el coeficiente de regresión multiplicado por algún valor del predictor.
• base${\displaystyle e}$denota la función exponencial.

Las probabilidades de que la variable dependiente sea igual a un caso (dada alguna combinación lineal)${\displaystyle x}$de los predictores) es equivalente a la función exponencial de la expresión de regresión lineal. Esto ilustra cómo el logit sirve como función de enlace entre la probabilidad y la expresión de regresión lineal. Dado que el logit varía entre infinito negativo y positivo, proporciona un criterio adecuado para realizar una regresión lineal y se puede convertir fácilmente de nuevo en probabilidades. ^{[ 2 ]}

Entonces definimos las probabilidades de que la variable dependiente sea igual a un caso (dada alguna combinación lineal)${\displaystyle x}$de los predictores) de la siguiente manera:

${\displaystyle {\text{odds}}=e^{\beta _{0}+\beta _{1}x}.}$

Para una variable independiente continua, la razón de probabilidades se puede definir como:

${\displaystyle \mathrm {OR} ={\frac {\operatorname {odds} (x+1)}{\operatorname {odds} (x)}}={\frac {\left({\frac {p(x+1)}{1-p(x+1)}}\right)}{\left({\frac {p(x)}{1-p(x)}}\right)}}={\frac {e^{\beta _{0}+\beta _{1}(x+1)}}{e^{\beta _{0}+\beta _{1}x}}}=e^{\beta _{1}}}$

Esta relación exponencial proporciona una interpretación para${\displaystyle \beta _{1}}$: Las probabilidades se multiplican por${\displaystyle e^{\beta _{1}}}$por cada aumento de 1 unidad en x. ^{[ 22 ]}

Para una variable independiente binaria, la razón de probabilidades se define como${\displaystyle {\frac {ad}{bc}}}$donde a , b , c y d son celdas en una tabla de contingencia de 2×2 . ^{[ 23 ]}

Si hay múltiples variables explicativas, la expresión anterior${\displaystyle \beta _{0}+\beta _{1}x}$puede revisarse a${\displaystyle \beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}=\beta _{0}+\sum _{i=1}^{m}\beta _{i}x_{i}}$. Entonces, cuando esto se usa en la ecuación que relaciona el logaritmo de las probabilidades de éxito con los valores de los predictores, la regresión lineal será una regresión múltiple con m explicadores; los parámetros${\displaystyle \beta _{i}}$a pesar de${\displaystyle i=0,1,2,\dots ,m}$Todos son estimados.

Nuevamente, las ecuaciones más tradicionales son:

${\displaystyle \log {\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}}$

y

${\displaystyle p={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m})}}}}$

donde normalmente${\displaystyle b=e}$.

El ejemplo anterior de regresión logística binaria sobre una variable explicativa se puede generalizar a una regresión logística binaria sobre cualquier número de variables explicativas x ₁ , x ₂ ,... y cualquier número de valores categóricos.${\displaystyle y=0,1,2,\dots }$.

Para empezar, podemos considerar un modelo logístico con M variables explicativas, x ₁ , x ₂ ... x _M y, como en el ejemplo anterior, dos valores categóricos ( y = 0 y 1 ). Para el modelo de regresión logística binaria simple, asumimos una relación lineal entre la variable predictora y el logaritmo de las probabilidades (también llamado logit ) del evento que${\displaystyle y=1}$Esta relación lineal puede extenderse al caso de M variables explicativas:

${\displaystyle t=\log _{b}{\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{M}x_{M}}$

donde t es el logaritmo de las probabilidades y${\displaystyle \beta _{i}}$son parámetros del modelo. Se ha introducido una generalización adicional en la que la base del modelo ( b ) no está restringida al número de Euler e . En la mayoría de las aplicaciones, la base${\displaystyle b}$El logaritmo se suele tomar como e . Sin embargo, en algunos casos puede ser más fácil comunicar los resultados trabajando en base 2 o base 10.

Para una notación más compacta, especificaremos las variables explicativas y los coeficientes β como ⁠${\displaystyle (M+1)}$Vectores de -dimensiones :

${\displaystyle {\boldsymbol {x}}=\{x_{0},x_{1},x_{2},\dots ,x_{M}\}}$

${\displaystyle {\boldsymbol {\beta }}=\{\beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{M}\}}$

con una variable explicativa añadida x ₀ =1. El logit ahora se puede escribir como:

${\displaystyle t=\sum _{m=0}^{M}\beta _{m}x_{m}={\boldsymbol {\beta }}\cdot x}$

Resolviendo para la probabilidad p de que${\displaystyle y=1}$rendimientos:

${\displaystyle p({\boldsymbol {x}})={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}={\frac {1}{1+b^{-{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}=S_{b}(t)}$,

dónde${\displaystyle S_{b}}$es la función sigmoide con base${\displaystyle b}$La fórmula anterior muestra que una vez que la${\displaystyle \beta _{m}}$son fijos, podemos calcular fácilmente las probabilidades logarítmicas que${\displaystyle y=1}$para una observación dada, o la probabilidad de que${\displaystyle y=1}$para una observación dada. El principal caso de uso de un modelo logístico es que se le dé una observación.${\displaystyle {\boldsymbol {x}}}$y estimar la probabilidad${\displaystyle p({\boldsymbol {x}})}$eso${\displaystyle y=1}$Los coeficientes beta óptimos pueden encontrarse nuevamente maximizando la log-verosimilitud. Para K mediciones, definiendo${\displaystyle {\boldsymbol {x}}_{k}}$como el vector explicativo de la k -ésima medición, y${\displaystyle y_{k}}$Como resultado categórico de esa medición, la verosimilitud logarítmica puede escribirse de una forma muy similar a la simple${\displaystyle M=1}$caso anterior:

${\displaystyle \ell =\sum _{k=1}^{K}y_{k}\log _{b}(p({\boldsymbol {x_{k}}}))+\sum _{k=1}^{K}(1-y_{k})\log _{b}(1-p({\boldsymbol {x_{k}}}))}$

Como en el ejemplo sencillo anterior, encontrar los parámetros β óptimos requerirá métodos numéricos. Una técnica útil consiste en igualar a cero las derivadas de la verosimilitud logarítmica con respecto a cada uno de los parámetros β , lo que produce un conjunto de ecuaciones que se cumplen en el valor máximo de la verosimilitud logarítmica:

${\displaystyle {\frac {\partial \ell }{\partial \beta _{m}}}=0=\sum _{k=1}^{K}y_{k}x_{mk}-\sum _{k=1}^{K}p({\boldsymbol {x}}_{k})x_{mk}}$

donde x _mk es el valor de la variable explicativa x _m de la k-ésima medición.

Consideremos un ejemplo con${\displaystyle M=2}$variables explicativas,${\displaystyle b=10}$y coeficientes${\displaystyle \beta _{0}=-3}$,${\displaystyle \beta _{1}=1}$, y${\displaystyle \beta _{2}=2}$que han sido determinados por el método anterior. Para ser más precisos, el modelo es:

${\displaystyle t=\log _{10}{\frac {p}{1-p}}=-3+x_{1}+2x_{2}}$

${\displaystyle p={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot x}}}={\frac {b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}{1+b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}}={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2})}}}}$,

donde p es la probabilidad del evento que${\displaystyle y=1}$Esto puede interpretarse de la siguiente manera:

• ${\displaystyle \beta _{0}=-3}$es la intersección con el eje y . Es el logaritmo de las probabilidades del evento que${\displaystyle y=1}$, cuando los predictores${\displaystyle x_{1}=x_{2}=0}$Al elevar a la potencia, podemos ver que cuando${\displaystyle x_{1}=x_{2}=0}$las probabilidades del evento que${\displaystyle y=1}$son de 1 a 1000, o${\displaystyle 10^{-3}}$. De manera similar, la probabilidad del evento que${\displaystyle y=1}$cuando${\displaystyle x_{1}=x_{2}=0}$se puede calcular como${\displaystyle 1/(1000+1)=1/1001.}$
• ${\displaystyle \beta _{1}=1}$significa que aumentar${\displaystyle x_{1}}$en 1 aumenta las probabilidades logarítmicas en${\displaystyle 1}$. Entonces si${\displaystyle x_{1}}$aumenta en 1, las probabilidades de que${\displaystyle y=1}$aumentar por un factor de${\displaystyle 10^{1}}$. La probabilidad de${\displaystyle y=1}$También ha aumentado, pero no tanto como han aumentado las probabilidades.
• ${\displaystyle \beta _{2}=2}$significa que aumentar${\displaystyle x_{2}}$en 1 aumenta las probabilidades logarítmicas en${\displaystyle 2}$. Entonces si${\displaystyle x_{2}}$aumenta en 1, las probabilidades de que${\displaystyle y=1}$aumentar por un factor de${\displaystyle 10^{2}.}$Observe cómo el efecto de${\displaystyle x_{2}}$en el logaritmo de las probabilidades es el doble de grande que el efecto de${\displaystyle x_{1}}$, pero el efecto sobre las probabilidades es 10 veces mayor. Pero el efecto sobre la probabilidad de${\displaystyle y=1}$No es que sea 10 veces mayor, solo el efecto sobre las probabilidades es 10 veces mayor.

En los casos anteriores de dos categorías (regresión logística binomial), las categorías se indexaron con "0" y "1", y teníamos dos probabilidades: La probabilidad de que el resultado estuviera en la categoría 1 estaba dada por${\displaystyle p({\boldsymbol {x}})}$y la probabilidad de que el resultado estuviera en la categoría 0 fue dada por${\displaystyle 1-p({\boldsymbol {x}})}$La suma de estas probabilidades es igual a 1, lo cual debe ser cierto, ya que "0" y "1" son las únicas categorías posibles en esta configuración.

En general , si tenemos${\displaystyle M+1}$Variables explicativas ( _incluyendo x 0 ) y${\displaystyle N+1}$⁠ categorías, necesitaremos ⁠${\displaystyle N+1}$Probabilidades separadas, una para cada categoría, indexadas por n , que describen la probabilidad de que el resultado categórico y esté en la categoría y=n , condicionada al vector de covariables x . La suma de estas probabilidades en todas las categorías debe ser igual a 1. Usando la base matemáticamente conveniente e , estas probabilidades son:

${\displaystyle p_{n}({\boldsymbol {x}})={\frac {e^{{\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$para${\displaystyle n=1,2,\dots ,N}$

${\displaystyle p_{0}({\boldsymbol {x}})=1-\sum _{n=1}^{N}p_{n}({\boldsymbol {x}})={\frac {1}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$

Cada una de las probabilidades excepto${\displaystyle p_{0}({\boldsymbol {x}})}$tendrán su propio conjunto de coeficientes de regresión${\displaystyle {\boldsymbol {\beta }}_{n}}$. Se puede observar que, como se requiere, la suma de los${\displaystyle p_{n}({\boldsymbol {x}})}$sobre todas las categorías n es 1. La selección de${\displaystyle p_{0}({\boldsymbol {x}})}$Definirla en términos de las otras probabilidades es artificial. Cualquiera de las probabilidades podría haberse seleccionado para definirse de esa manera. Este valor especial de n se denomina "índice pivote", y las probabilidades logarítmicas ( t _n ) se expresan en términos de la probabilidad pivote y, a su vez, se expresan como una combinación lineal de las variables explicativas:

${\displaystyle t_{n}=\ln \left({\frac {p_{n}({\boldsymbol {x}})}{p_{0}({\boldsymbol {x}})}}\right)={\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}$

Tenga en cuenta también que para el caso simple de${\displaystyle N=1}$, el caso de dos categorías se recupera, con${\displaystyle p({\boldsymbol {x}})=p_{1}({\boldsymbol {x}})}$y${\displaystyle p_{0}({\boldsymbol {x}})=1-p_{1}({\boldsymbol {x}})}$.

Ahora se puede calcular la log-verosimilitud de que un conjunto particular de K mediciones o puntos de datos se genere mediante las probabilidades anteriores. Indexando cada medición por k , sea el k -ésimo conjunto de variables explicativas medidas denotado por${\displaystyle {\boldsymbol {x}}_{k}}$y sus resultados categóricos se denotan por${\displaystyle y_{k}}$que puede ser igual a cualquier número entero en [0,N]. La verosimilitud logarítmica es entonces:

${\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\,\ln(p_{n}({\boldsymbol {x}}_{k}))}$

dónde${\displaystyle \Delta (n,y_{k})}$es una función indicadora que es igual a 1 si y _k = n y cero en caso contrario. En el caso de dos variables explicativas, esta función indicadora se definió como y _k cuando n = 1 y 1-y _k cuando n = 0. Esto fue conveniente, pero no necesario. ^{[ 24 ]} Nuevamente, los coeficientes beta óptimos pueden encontrarse maximizando la función de log-verosimilitud generalmente mediante métodos numéricos. Un posible método de solución es igualar a cero las derivadas de la log-verosimilitud con respecto a cada coeficiente beta y resolver para los coeficientes beta:

${\displaystyle {\frac {\partial \ell }{\partial \beta _{nm}}}=0=\sum _{k=1}^{K}\Delta (n,y_{k})x_{mk}-\sum _{k=1}^{K}p_{n}({\boldsymbol {x}}_{k})x_{mk}}$

dónde${\displaystyle \beta _{nm}}$es el m -ésimo coeficiente de la${\displaystyle {\boldsymbol {\beta }}_{n}}$vector y${\displaystyle x_{mk}}$es la m -ésima variable explicativa de la k -ésima medición. Una vez estimados los coeficientes beta a partir de los datos, podremos estimar la probabilidad de que cualquier conjunto subsiguiente de variables explicativas dé como resultado cualquiera de las posibles categorías de resultados.

El modelo particular utilizado por la regresión logística, que la distingue de la regresión lineal estándar y de otros tipos de análisis de regresión utilizados para resultados binarios , es la forma en que la probabilidad de un resultado particular se vincula con la función predictora lineal:

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i}}$

Escrito utilizando la notación más compacta descrita anteriormente, esto es:

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}$

Esta formulación expresa la regresión logística como un tipo de modelo lineal generalizado , que predice variables con varios tipos de distribuciones de probabilidad ajustando una función predictora lineal de la forma anterior a algún tipo de transformación arbitraria del valor esperado de la variable.

La intuición para transformar usando la función logit (el logaritmo natural de las probabilidades) se explicó anteriormente . También tiene el efecto práctico de convertir la probabilidad (que está acotada entre 0 y 1) en una variable que varía entre${\displaystyle (-\infty ,+\infty )}$— igualando así el rango potencial de la función de predicción lineal en el lado derecho de la ecuación.

Tanto las probabilidades p _i como los coeficientes de regresión no son observables, y el método para determinarlos no forma parte del modelo en sí. Suelen determinarse mediante algún tipo de procedimiento de optimización, por ejemplo, la estimación de máxima verosimilitud , que encuentra los valores que mejor se ajustan a los datos observados (es decir, que dan las predicciones más precisas para los datos ya observados), generalmente sujetos a condiciones de regularización que buscan excluir valores improbables, por ejemplo, valores extremadamente grandes para cualquiera de los coeficientes de regresión. El uso de una condición de regularización es equivalente a realizar una estimación de máxima a posteriori (MAP), una extensión de la máxima verosimilitud. (La regularización se realiza más comúnmente utilizando una función de regularización al cuadrado , que es equivalente a colocar una distribución previa gaussiana de media cero en los coeficientes, pero también son posibles otros regularizadores). Ya sea que se utilice o no la regularización, generalmente no es posible encontrar una solución de forma cerrada; En cambio, debe utilizarse un método numérico iterativo, como el de mínimos cuadrados ponderados iterativamente (IRLS) o, más comúnmente en la actualidad, un método cuasi-Newton como el método L-BFGS . ^{[ 25 ]}

La interpretación de las estimaciones del parámetro β _j es como el efecto aditivo sobre el logaritmo de las probabilidades para un cambio unitario en la variable explicativa j . En el caso de una variable explicativa dicotómica, por ejemplo, el género.${\displaystyle e^{\beta }}$es la estimación de las probabilidades de obtener el resultado, por ejemplo, en hombres en comparación con mujeres.

Una fórmula equivalente utiliza la inversa de la función logit, que es la función logística , es decir:

${\displaystyle \operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}]=p_{i}=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})={\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

La fórmula también se puede escribir como una distribución de probabilidad (específicamente, utilizando una función de masa de probabilidad ):

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={p_{i}}^{y}(1-p_{i})^{1-y}=\left({\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{1-y}={\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\cdot y}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

El modelo logístico tiene una formulación equivalente como modelo de variables latentes . Esta formulación es común en la teoría de los modelos de elección discreta y facilita su extensión a ciertos modelos más complejos con múltiples elecciones correlacionadas, así como la comparación de la regresión logística con el modelo probit, estrechamente relacionado .

Imagina que, para cada ensayo i , existe una variable latente continua Y _i ^* (es decir, una variable aleatoria no observada ) que se distribuye de la siguiente manera:

${\displaystyle Y_{i}^{\ast }={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}\,}$

dónde

${\displaystyle \varepsilon _{i}\sim \operatorname {Logistic} (0,1)\,}$

es decir, la variable latente se puede escribir directamente en términos de la función predictora lineal y una variable de error aleatorio aditivo que se distribuye según una distribución logística estándar .

Entonces , Y _i puede considerarse un indicador de si esta variable latente es positiva:

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{\ast }>0\ {\text{ i.e. }}{-\varepsilon _{i}}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i},\\0&{\text{otherwise.}}\end{cases}}}$

La elección de modelar la variable de error específicamente con una distribución logística estándar, en lugar de una distribución logística general con la ubicación y la escala establecidas en valores arbitrarios, parece restrictiva, pero de hecho, no lo es. Hay que tener en cuenta que podemos elegir nosotros mismos los coeficientes de regresión y, muy a menudo, podemos usarlos para compensar los cambios en los parámetros de la distribución de la variable de error. Por ejemplo, una distribución logística de la variable de error con un parámetro de ubicación distinto de cero μ (que establece la media) es equivalente a una distribución con un parámetro de ubicación cero, donde μ se ha añadido al coeficiente de la intersección. Ambas situaciones producen el mismo valor para Y _i ^* independientemente de la configuración de las variables explicativas. Del mismo modo, un parámetro de escala arbitrario s es equivalente a establecer el parámetro de escala en 1 y luego dividir todos los coeficientes de regresión por s . En este último caso, el valor resultante de Y _i ^* será menor por un factor de s que en el caso anterior, para todos los conjuntos de variables explicativas, pero, fundamentalmente, siempre permanecerá del mismo lado de 0 y, por lo tanto, conducirá a la misma elección de Y _{i .}

(Esto predice que la irrelevancia del parámetro de escala puede no trasladarse a modelos más complejos donde haya más de dos opciones disponibles).

Resulta que esta formulación es exactamente equivalente a la anterior, expresada en términos del modelo lineal generalizado y sin variables latentes . Esto se puede demostrar de la siguiente manera, utilizando el hecho de que la función de distribución acumulada (FDA) de la distribución logística estándar es la función logística , que es la inversa de la función logit , es decir

${\displaystyle \Pr(\varepsilon _{i}<x)=\operatorname {logit} ^{-1}(x)}$

Entonces:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})&=\Pr(Y_{i}^{\ast }>0\mid \mathbf {X} _{i})\\[5pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}>0)\\[5pt]&=\Pr(\varepsilon _{i}>-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]&=\Pr(\varepsilon _{i}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(because the logistic distribution is symmetric)}}\\[5pt]&=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]&=p_{i}&&{\text{(see above)}}\end{aligned}}}$

Esta formulación —estándar en los modelos de elección discreta— aclara la relación entre la regresión logística (el "modelo logit") y el modelo probit , que utiliza una variable de error distribuida según una distribución normal estándar en lugar de una distribución logística estándar. Tanto la distribución logística como la normal son simétricas, con una forma unimodal básica en forma de campana. La única diferencia radica en que la distribución logística presenta colas algo más pesadas , lo que implica que es menos sensible a los datos atípicos (y, por lo tanto, algo más robusta ante especificaciones incorrectas del modelo o datos erróneos).

Otra formulación utiliza dos variables latentes separadas:

${\displaystyle {\begin{aligned}Y_{i}^{0\ast }&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\,\\Y_{i}^{1\ast }&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}\,\end{aligned}}}$

dónde

${\displaystyle {\begin{aligned}\varepsilon _{0}&\sim \operatorname {EV} _{1}(0,1)\\\varepsilon _{1}&\sim \operatorname {EV} _{1}(0,1)\end{aligned}}}$

donde EV _{1 (0,1) es una} distribución de valores extremos de tipo 1 estándar : es decir

${\displaystyle \Pr(\varepsilon _{0}=x)=\Pr(\varepsilon _{1}=x)=e^{-x}e^{-e^{-x}}}$

Entonces

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{1\ast }>Y_{i}^{0\ast },\\0&{\text{otherwise.}}\end{cases}}}$

Este modelo cuenta con una variable latente independiente y un conjunto distinto de coeficientes de regresión para cada posible resultado de la variable dependiente. Esta separación facilita la extensión de la regresión logística a variables categóricas con múltiples resultados, como en el modelo logit multinomial . En dicho modelo, resulta natural modelar cada posible resultado utilizando un conjunto diferente de coeficientes de regresión. También es posible justificar cada una de las variables latentes como la utilidad teórica asociada a la elección correspondiente, y así fundamentar la regresión logística en la teoría de la utilidad . (Según esta teoría, un agente racional siempre elige la opción con la mayor utilidad asociada). Este es el enfoque que adoptan los economistas al formular modelos de elección discreta , ya que proporciona una base teórica sólida y facilita la comprensión intuitiva del modelo, lo que a su vez permite considerar diversas extensiones. (Véase el ejemplo a continuación).

La elección de la distribución de valores extremos de tipo 1 parece bastante arbitraria, pero hace que las matemáticas funcionen y puede ser posible justificar su uso a través de la teoría de la elección racional .

Resulta que este modelo es equivalente al modelo anterior, aunque esto no parezca obvio, ya que ahora hay dos conjuntos de coeficientes de regresión y variables de error, y las variables de error tienen una distribución diferente. De hecho, este modelo se reduce directamente al anterior con las siguientes sustituciones:

${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}}$

Una intuición para esto proviene del hecho de que, dado que elegimos basándonos en el máximo de dos valores, solo importa su diferencia, no los valores exactos, y esto efectivamente elimina un grado de libertad . Otro hecho crítico es que la diferencia de dos variables con distribución de valores extremos de tipo 1 es una distribución logística, es decir${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}\sim \operatorname {Logistic} (0,1).}$Podemos demostrar el equivalente de la siguiente manera:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})={}&\Pr \left(Y_{i}^{1\ast }>Y_{i}^{0\ast }\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left(Y_{i}^{1\ast }-Y_{i}^{0\ast }>0\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-\left({\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\right)>0\right)&\\[5pt]={}&\Pr \left(({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i})+(\varepsilon _{1}-\varepsilon _{0})>0\right)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+(\varepsilon _{1}-\varepsilon _{0})>0)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}\varepsilon {\text{ as above)}}\\[5pt]={}&\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}{\boldsymbol {\beta }}{\text{ as above)}}\\[5pt]={}&\Pr(\varepsilon >-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(now, same as above model)}}\\[5pt]={}&\Pr(\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]={}&\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]={}&p_{i}\end{aligned}}}$

Otra formulación combina la formulación de variables latentes bidireccionales anterior con la formulación original más arriba sin variables latentes y, en el proceso, proporciona un vínculo con una de las formulaciones estándar del logit multinomial .

Aquí, en lugar de escribir el logit de las probabilidades p _i como un predictor lineal, separamos el predictor lineal en dos, uno para cada uno de los dos resultados:

${\displaystyle {\begin{aligned}\ln \Pr(Y_{i}=0)&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}-\ln Z\\\ln \Pr(Y_{i}=1)&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-\ln Z\end{aligned}}}$

Se han introducido dos conjuntos separados de coeficientes de regresión, al igual que en el modelo de variable latente bidireccional, y las dos ecuaciones aparecen en una forma que escribe el logaritmo de la probabilidad asociada como un predictor lineal, con un término adicional.${\displaystyle -\ln Z}$al final. Este término, como se verá, sirve como factor de normalización, asegurando que el resultado sea una distribución. Esto se puede observar elevando ambos lados a la potencia:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}\\[5pt]\Pr(Y_{i}=1)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}\end{aligned}}}$

En esta forma queda claro que el propósito de Z es asegurar que la distribución resultante sobre Y _i sea de hecho una distribución de probabilidad , es decir, que sume 1. Esto significa que Z es simplemente la suma de todas las probabilidades no normalizadas, y al dividir cada probabilidad por Z , las probabilidades se vuelven " normalizadas ". Es decir:

${\displaystyle Z=e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}$

y las ecuaciones resultantes son

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}\\[5pt]\Pr(Y_{i}=1)&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

O en general:

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{h}e^{{\boldsymbol {\beta }}_{h}\cdot \mathbf {X} _{i}}}}}$

Esto muestra claramente cómo generalizar esta formulación a más de dos resultados, como en el logit multinomial . Esta formulación general es exactamente la función softmax como en

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i},{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\dots ).}$

Para demostrar que esto es equivalente al modelo anterior, comenzamos reconociendo que el modelo anterior está sobreespecificado, en el sentido de que${\displaystyle \Pr(Y_{i}=0)}$y${\displaystyle \Pr(Y_{i}=1)}$no se puede especificar de forma independiente: más bien${\displaystyle \Pr(Y_{i}=0)+\Pr(Y_{i}=1)=1}$por lo que conocer uno determina automáticamente el otro. Como resultado, el modelo no es identificable , en el sentido de que existen múltiples combinaciones de${\displaystyle {\boldsymbol {\beta }}_{0}}$y${\displaystyle {\boldsymbol {\beta }}_{1}}$producirá las mismas probabilidades para todas las posibles variables explicativas. De hecho, se puede observar que sumar cualquier vector constante a ambas producirá las mismas probabilidades:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&={\frac {e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{e^{({\boldsymbol {\beta }}_{0}+\mathbf {C} )\cdot \mathbf {X} _{i}}+e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}(e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}})}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

Como resultado, podemos simplificar las cosas y restaurar la identificabilidad eligiendo un valor arbitrario para uno de los dos vectores. Elegimos establecer${\displaystyle {\boldsymbol {\beta }}_{0}=\mathbf {0} .}$ Entonces,

${\displaystyle e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}=e^{\mathbf {0} \cdot \mathbf {X} _{i}}=1}$

y entonces

${\displaystyle \Pr(Y_{i}=1)={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}={\frac {1}{1+e^{-{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}=p_{i}}$

lo que demuestra que esta formulación es efectivamente equivalente a la formulación anterior. (Como en la formulación de variable latente bidireccional, cualquier configuración donde${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$producirá resultados equivalentes.)

La mayoría de los análisis del modelo logit multinomial parten de la extensión de la formulación "log-lineal" presentada aquí o de la formulación con variables latentes bidireccionales presentada anteriormente, ya que ambas muestran claramente cómo se puede extender el modelo a resultados multidireccionales. En general, la presentación con variables latentes es más común en econometría y ciencias políticas , donde predominan los modelos de elección discreta y la teoría de la utilidad , mientras que la formulación "log-lineal" aquí presentada es más común en informática , por ejemplo , en aprendizaje automático y procesamiento del lenguaje natural .

El modelo tiene una formulación equivalente

${\displaystyle p_{i}={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}.\,}$

Esta forma funcional se conoce comúnmente como perceptrón de una sola capa o red neuronal artificial de una sola capa . Una red neuronal de una sola capa calcula una salida continua en lugar de una función escalonada . La derivada de p _i con respecto a X  =  ( x ₁ , ..., x _k ) se calcula a partir de la forma general:

${\displaystyle y={\frac {1}{1+e^{-f(X)}}}}$

donde f ( X ) es una función analítica en X. Con esta elección, la red neuronal de una sola capa es idéntica al modelo de regresión logística. Esta función tiene una derivada continua, lo que permite utilizarla en la retropropagación . Esta función también es la preferida porque su derivada se calcula fácilmente:

${\displaystyle {\frac {\mathrm {d} y}{\mathrm {d} X}}=y(1-y){\frac {\mathrm {d} f}{\mathrm {d} X}}.\,}$

Un modelo estrechamente relacionado supone que cada i está asociado no con un único ensayo de Bernoulli, sino con n _i ensayos independientes e idénticamente distribuidos , donde la observación Y _i es el número de éxitos observados (la suma de las variables aleatorias individuales distribuidas según Bernoulli) y, por lo tanto, sigue una distribución binomial :

${\displaystyle Y_{i}\,\sim \operatorname {Bin} (n_{i},p_{i}),{\text{ for }}i=1,\dots ,n}$

Un ejemplo de esta distribución es la fracción de semillas ( p _i ) que germinan después de que se plantan n _{i .}

En términos de valores esperados , este modelo se expresa de la siguiente manera:

${\displaystyle p_{i}=\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\,,}$

de modo que

${\displaystyle \operatorname {logit} \left(\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\right)=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\,,}$

O equivalentemente:

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={n_{i} \choose y}p_{i}^{y}(1-p_{i})^{n_{i}-y}={n_{i} \choose y}\left({\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{n_{i}-y}\,.}$

Este modelo se puede ajustar utilizando los mismos métodos que el modelo más básico descrito anteriormente.