Regresión logística multinomial

Existen múltiples formas equivalentes de describir el modelo matemático subyacente a la regresión logística multinomial. Esto puede dificultar la comparación de los distintos enfoques del tema en diferentes textos. El artículo sobre regresión logística presenta varias formulaciones equivalentes de la regresión logística simple, muchas de las cuales tienen análogos en el modelo logit multinomial.

La idea subyacente a todas ellas, como en muchas otras técnicas de clasificación estadística , es construir una función predictora lineal que construya una puntuación a partir de un conjunto de ponderaciones que se combinan linealmente con las variables explicativas (características) de una observación dada mediante un producto escalar :

${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$

donde X _i es el vector de variables explicativas que describen la observación i , β _k es un vector de ponderaciones (o coeficientes de regresión ) correspondientes al resultado k , y score( X _i , k ) es la puntuación asociada a la asignación de la observación i a la categoría k . En la teoría de la elección discreta , donde las observaciones representan personas y los resultados representan elecciones, la puntuación se considera la utilidad asociada a que la persona i elija el resultado k . El resultado predicho es el que tiene la puntuación más alta.

La diferencia entre el modelo logit multinomial y otros numerosos métodos, modelos, algoritmos, etc., con la misma configuración básica (el algoritmo perceptrón , las máquinas de vectores de soporte , el análisis discriminante lineal , etc.) radica en el procedimiento para determinar (entrenar) los pesos/coeficientes óptimos y la forma en que se interpreta la puntuación. En particular, en el modelo logit multinomial, la puntuación se puede convertir directamente en un valor de probabilidad, que indica la probabilidad de que la observación i elija el resultado k dadas las características medidas de la observación. Esto proporciona una forma sistemática de incorporar la predicción de un modelo logit multinomial particular en un procedimiento más amplio que puede involucrar múltiples predicciones de este tipo, cada una con una posible probabilidad de error. Sin este medio para combinar predicciones, los errores tienden a multiplicarse. Por ejemplo, imaginemos un modelo predictivo grande dividido en una serie de submodelos, donde la predicción de un submodelo se usa como entrada para otro, y esta a su vez como entrada para un tercer submodelo, y así sucesivamente. Si cada submodelo tiene una precisión del 90 % en sus predicciones y hay cinco submodelos en serie, entonces el modelo general tiene solo 0,95 ⁼ 59 % de precisión. Si cada submodelo tiene una precisión del 80 %, entonces la precisión general se reduce a 0,85 ⁼ 33 %. Este problema se conoce como propagación de errores y es un problema grave en los modelos predictivos del mundo real, que generalmente se componen de numerosas partes. Predecir las probabilidades de cada resultado posible, en lugar de simplemente hacer una única predicción óptima, es una forma de mitigar este problema.

La configuración básica es la misma que en la regresión logística , con la única diferencia de que las variables dependientes son categóricas en lugar de binarias ; es decir, hay K resultados posibles en vez de solo dos. La siguiente descripción es una versión abreviada; para obtener más detalles, consulte el artículo sobre regresión logística .

To arrive at the multinomial logit model, one can imagine, for K possible outcomes, running K independent binary logistic regression models, in which one outcome is chosen as a "pivot" and then the other K − 1 outcomes are separately regressed against the pivot outcome. If outcome K (the last outcome) is chosen as the pivot, the K − 1 regression equations are:

${\displaystyle \ln {\frac {\Pr(Y_{i}=k)}{\Pr(Y_{i}=K)}}\,=\,{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},\;\;\;\;\;\;1\leq k<K}$.

This formulation is also known as the Additive Log Ratio transform commonly used in compositional data analysis. In other applications it’s referred to as “relative risk”.^[7]

If we exponentiate both sides and solve for the probabilities, we get:

${\displaystyle \Pr(Y_{i}=k)\,=\,{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}},\;\;\;\;\;\;1\leq k<K}$

Using the fact that all K of the probabilities must sum to one, we find:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=K)={}&1-\sum _{j=1}^{K-1}\Pr(Y_{i}=j)\\={}&1-\sum _{j=1}^{K-1}{\Pr(Y_{i}=K)}\;e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}\;\;\Rightarrow \;\;\Pr(Y_{i}=K)\\={}&{\frac {1}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

We can use this to find the other probabilities:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k<K}$.

The fact that we run multiple regressions reveals why the model relies on the assumption of independence of irrelevant alternatives described above.

Los parámetros desconocidos en cada vector β _k se estiman típicamente de forma conjunta mediante la estimación de máxima a posteriori (MAP), que es una extensión de la máxima verosimilitud que utiliza la regularización de los pesos para evitar soluciones patológicas (generalmente una función de regularización al cuadrado, que es equivalente a colocar una distribución a priori gaussiana de media cero en los pesos, aunque también son posibles otras distribuciones). La solución se encuentra típicamente mediante un procedimiento iterativo como el escalado iterativo generalizado , ^{[ 8 ]} mínimos cuadrados reponderados iterativamente (IRLS), ^{[ 9 ]} mediante algoritmos de optimización basados ​​en gradientes como L-BFGS , ^{[ 4 ]} o mediante algoritmos especializados de descenso de coordenadas . ^{[ 10 ]}

La formulación de la regresión logística binaria como un modelo log-lineal puede extenderse directamente a la regresión multivariable. Es decir, modelamos el logaritmo de la probabilidad de ver una salida determinada utilizando el predictor lineal, así como un factor de normalización adicional , el logaritmo de la función de partición :

${\displaystyle \ln \Pr(Y_{i}=k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}-\ln Z,\;\;\;\;\;\;1\leq k\leq K.}$

Al igual que en el caso binario, necesitamos un término adicional.${\displaystyle -\ln Z}$para asegurar que el conjunto completo de probabilidades forme una distribución de probabilidad , es decir, que todas sumen uno:

${\displaystyle \sum _ {k=1}^{K}\Pr(Y_{i}=k)=1}$

La razón por la que necesitamos agregar un término para asegurar la normalización, en lugar de multiplicar como es habitual, es porque hemos tomado el logaritmo de las probabilidades. Al exponenciar ambos lados, el término aditivo se convierte en un factor multiplicativo, de modo que la probabilidad es simplemente la medida de Gibbs :

${\displaystyle \Pr(Y_{i}=k)={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}},\;\;\;\;\;\;1\leq k\leq K.}$

La cantidad Z se denomina función de partición para la distribución. Podemos calcular el valor de la función de partición aplicando la restricción anterior que requiere que todas las probabilidades sumen 1:

${\displaystyle 1=\sum _{k=1}^{K}\Pr(Y_{i}=k)\;=\;\sum _{k=1}^{K}{\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}\;=\;{\frac {1}{Z}}\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

Por lo tanto

${\displaystyle Z=\sum _{k=1}^{K}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}.}$

Cabe señalar que este factor es "constante" en el sentido de que no depende de Y _i , la variable sobre la que se define la distribución de probabilidad. Sin embargo, no es constante con respecto a las variables explicativas, ni, lo que es crucial, con respecto a los coeficientes de regresión desconocidos β _k , que necesitaremos determinar mediante algún procedimiento de optimización .

Las ecuaciones resultantes para las probabilidades son:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k\leq K.}$

La siguiente función:

${\displaystyle \operatorname {softmax} (k,s_{1},\ldots ,s_{K})={\frac {e^{s_{k}}}{\sum _{j=1}^{K}e^{s_{j}}}}}$

se la conoce como la función softmax . La razón es que el efecto de exponenciar los valores${\displaystyle s_{1},\ldots ,s_{K}}$es exagerar las diferencias entre ellos. Como resultado,${\displaystyle \operatorname {softmax} (k,s_{1},\ldots ,s_{K})}$devolverá un valor cercano a 0 siempre que${\displaystyle s_{k}}$es significativamente menor que el máximo de todos los valores, y devolverá un valor cercano a 1 cuando se aplique al valor máximo, a menos que esté extremadamente cerca del siguiente valor más grande. Por lo tanto, la función softmax se puede utilizar para construir un promedio ponderado que se comporta como una función suave (que se puede diferenciar convenientemente , etc.) y que se aproxima a la función indicadora.

${\displaystyle f(k)={\begin{cases}1&{\textrm {if}}\;k=\operatorname {\arg \max } _{j}s_{j},\\0&{\textrm {otherwise}}.\end{cases}}}$

Por lo tanto, podemos escribir las ecuaciones de probabilidad como

${\displaystyle \Pr(Y_{i}=k)=\operatorname {softmax} (k,{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\ldots ,{\boldsymbol {\beta }}_{K}\cdot \mathbf {X} _{i})}$

Por lo tanto, la función softmax sirve como equivalente de la función logística en la regresión logística binaria.

Tenga en cuenta que no todos los${\displaystyle {\boldsymbol {\beta }}_{k}}$Los vectores de coeficientes son identificables de forma única . Esto se debe a que todas las probabilidades deben sumar 1, lo que hace que una de ellas esté completamente determinada una vez que se conocen todas las demás. Como resultado, solo hay${\displaystyle K-1}$probabilidades especificables por separado y, por lo tanto,${\displaystyle K-1}$vectores de coeficientes identificables por separado. Una forma de verlo es observar que si sumamos un vector constante a todos los vectores de coeficientes, las ecuaciones son idénticas:

${\displaystyle {\begin{aligned}{\frac {e^{({\boldsymbol {\beta }}_{k}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{({\boldsymbol {\beta }}_{j}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}&={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\\&={\frac {e^{{\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}}}{\sum _{j=1}^{K}e^{{\boldsymbol {\beta }}_{j}\cdot \mathbf {X} _{i}}}}\end{aligned}}}$

Como resultado, es convencional establecer${\displaystyle \mathbf {C} =-{\boldsymbol {\beta }}_{K}}$(o alternativamente, uno de los otros vectores de coeficientes). Esencialmente, establecemos la constante de modo que uno de los vectores se convierta en${\displaystyle {\boldsymbol {0}}}$y todos los demás vectores se transforman en la diferencia entre esos vectores y el vector que elegimos. Esto equivale a "pivotar" alrededor de una de las K opciones y examinar cuánto mejores o peores son las otras K  −  1 opciones, en relación con la opción alrededor de la cual estamos pivotando. Matemáticamente, transformamos los coeficientes de la siguiente manera:

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}'_{k}&={\boldsymbol {\beta }}_{k}-{\boldsymbol {\beta }}_{K},\;\;\;\;1\leq k<K,\\{\boldsymbol {\beta }}'_{K}&=0.\end{aligned}}}$

Esto nos lleva a las siguientes ecuaciones:

${\displaystyle \Pr(Y_{i}=k)={\frac {e^{{\boldsymbol {\beta }}'_{k}\cdot \mathbf {X} _{i}}}{1+\sum _{j=1}^{K-1}e^{{\boldsymbol {\beta }}'_{j}\cdot \mathbf {X} _{i}}}},\;\;\;\;\;\;1\leq k\leq K}$

Aparte de los símbolos de prima en los coeficientes de regresión, esto es exactamente igual que la forma del modelo descrito anteriormente, en términos de K  −  1 regresiones bidireccionales independientes.

También es posible formular la regresión logística multinomial como un modelo de variables latentes, siguiendo el modelo de variables latentes bidireccional descrito para la regresión logística binaria. Esta formulación es común en la teoría de los modelos de elección discreta y facilita la comparación de la regresión logística multinomial con el modelo probit multinomial relacionado , así como su extensión a modelos más complejos.

Imagina que, para cada punto de datos i y posible resultado k  =  1,2,..., K , existe una variable latente continua Y _i,k ^* (es decir, una variable aleatoria no observada ) que se distribuye de la siguiente manera:

${\displaystyle Y_{i,k}^{\ast }={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k}\;\;\;\;,\;\;k\leq K}$

dónde${\displaystyle \varepsilon _{k}\sim \operatorname {EV} _{1}(0,1),}$es decir, una distribución de valores extremos de tipo 1 estándar .

Esta variable latente puede considerarse como la utilidad asociada con el punto de datos i al elegir el resultado k , donde existe cierta aleatoriedad en la cantidad real de utilidad obtenida, lo que explica otros factores no modelados que influyen en la elección. El valor de la variable real${\displaystyle Y_{i}}$luego se determina de manera no aleatoria a partir de estas variables latentes (es decir, la aleatoriedad se ha trasladado de los resultados observados a las variables latentes), donde el resultado k se elige si y solo si la utilidad asociada (el valor de${\displaystyle Y_{i,k}^{\ast }}$) es mayor que las utilidades de todas las demás opciones, es decir, si la utilidad asociada con el resultado k es la máxima de todas las utilidades. Dado que las variables latentes son continuas , la probabilidad de que dos tengan exactamente el mismo valor es 0, por lo que ignoramos el escenario. Es decir:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}Y_{i,1}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,1}^{\ast }>Y_{i,K}^{\ast })\\\Pr(Y_{i}=2)&=\Pr(Y_{i,2}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,2}^{\ast }>Y_{i,3}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,2}^{\ast }>Y_{i,K}^{\ast })\\&\,\,\,\vdots \\\Pr(Y_{i}=K)&=\Pr(Y_{i,K}^{\ast }>Y_{i,1}^{\ast }{\text{ and }}Y_{i,K}^{\ast }>Y_{i,2}^{\ast }{\text{ and }}\cdots {\text{ and }}Y_{i,K}^{\ast }>Y_{i,K-1}^{\ast })\\\end{aligned}}}$

O equivalentemente:

${\displaystyle \Pr(Y_{i}=k)\;=\;\Pr(\max(Y_{i,1}^{\ast },Y_{i,2}^{\ast },\ldots ,Y_{i,K}^{\ast })=Y_{i,k}^{\ast })\;\;\;\;,\;\;k\leq K}$

Analicemos con más detalle la primera ecuación, que podemos escribir de la siguiente manera:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&=\Pr(Y_{i,1}^{\ast }>Y_{i,k}^{\ast }\ \forall \ k=2,\ldots ,K)\\&=\Pr(Y_{i,1}^{\ast }-Y_{i,k}^{\ast }>0\ \forall \ k=2,\ldots ,K)\\&=\Pr({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-({\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i}+\varepsilon _{k})>0\ \forall \ k=2,\ldots ,K)\\&=\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{k})\cdot \mathbf {X} _{i}>\varepsilon _{k}-\varepsilon _{1}\ \forall \ k=2,\ldots ,K)\end{aligned}}}$

Hay algunas cosas que conviene tener en cuenta aquí:

1. En general, si${\displaystyle X\sim \operatorname {EV} _{1}(a,b)}$y${\displaystyle Y\sim \operatorname {EV} _{1}(a,b)}$entonces${\displaystyle X-Y\sim \operatorname {Logistic} (0,b).}$Es decir, la diferencia de dos variables independientes idénticamente distribuidas con distribución de valores extremos sigue la distribución logística , donde el primer parámetro es irrelevante. Esto es comprensible, ya que el primer parámetro es un parámetro de localización , es decir, desplaza la media en una cantidad fija, y si dos valores se desplazan en la misma cantidad, su diferencia permanece constante. Esto significa que todas las relaciones subyacentes a la probabilidad de una elección dada involucran la distribución logística, lo que hace que la elección inicial de la distribución de valores extremos, que parecía bastante arbitraria, sea algo más comprensible.
2. El segundo parámetro en una distribución de valores extremos o logística es un parámetro de escala , tal que si${\displaystyle X\sim \operatorname {Logistic} (0,1)}$entonces${\displaystyle bX\sim \operatorname {Logistic} (0,b).}$Esto significa que el efecto de usar una variable de error con un parámetro de escala arbitrario en lugar de la escala 1 se puede compensar simplemente multiplicando todos los vectores de regresión por la misma escala. Junto con lo anterior, esto demuestra que el uso de una distribución estándar de valores extremos (ubicación 0, escala 1) para las variables de error no implica ninguna pérdida de generalidad en comparación con el uso de una distribución arbitraria de valores extremos. De hecho, el modelo no es identificable (no existe un único conjunto de coeficientes óptimos) si se utiliza la distribución más general.
3. Dado que solo se utilizan las diferencias entre los vectores de coeficientes de regresión, añadir una constante arbitraria a todos los vectores de coeficientes no afecta al modelo. Esto significa que, al igual que en el modelo log-lineal, solo K  −  1 de los vectores de coeficientes son identificables, y el último puede tomar un valor arbitrario (por ejemplo, 0).

De hecho, hallar los valores de las probabilidades anteriores resulta algo difícil, y se trata de calcular una estadística de orden particular (la primera, es decir, la máxima) de un conjunto de valores. Sin embargo, se puede demostrar que las expresiones resultantes son idénticas a las formulaciones anteriores, es decir, son equivalentes.