Articulo de referencia

Modelo lineal generalizado

En estadística , un modelo lineal generalizado ( GLM ) es una generalización flexible de la regresión lineal ordinaria . El GLM generaliza la regresión lineal al permitir que el...

En estadística , un modelo lineal generalizado ( GLM ) es una generalización flexible de la regresión lineal ordinaria . El GLM generaliza la regresión lineal al permitir que el modelo lineal se relacione con la variable de respuesta mediante una función de enlace y al permitir que la magnitud de la varianza de cada medición sea una función de su valor predicho.

Los modelos lineales generalizados fueron formulados por John Nelder y Robert Wedderburn como una forma de unificar varios otros modelos estadísticos, incluyendo la regresión lineal , la regresión logística y la regresión de Poisson . [ 1 ] Propusieron un método iterativo de mínimos cuadrados ponderados para la estimación de máxima verosimilitud (EMV) de los parámetros del modelo. La EMV sigue siendo popular y es el método predeterminado en muchos paquetes de computación estadística. Se han desarrollado otros enfoques, incluyendo la regresión bayesiana y el ajuste de mínimos cuadrados a respuestas con varianza estabilizada .

Intuición

La regresión lineal ordinaria predice el valor esperado de una cantidad desconocida (la variable de respuesta , una variable aleatoria ) como una combinación lineal de un conjunto de valores observados ( variables predictoras ). Esto implica que un cambio constante en una variable predictora conlleva un cambio constante en la variable de respuesta (es decir, un modelo de respuesta lineal ). Esto resulta apropiado cuando la variable de respuesta puede variar, con buena aproximación, indefinidamente en cualquier dirección, o, de forma más general, para cualquier cantidad que varíe solo en una cantidad relativamente pequeña en comparación con la variación de las variables predictoras, por ejemplo, la estatura humana.

Sin embargo, estas suposiciones son inapropiadas para algunos tipos de variables de respuesta. Por ejemplo, en casos donde se espera que la variable de respuesta sea siempre positiva y varíe en un amplio rango, los cambios constantes en la entrada dan lugar a cambios en la salida que varían geométricamente (es decir, exponencialmente), en lugar de variar constantemente. Por ejemplo, supongamos que un modelo de predicción lineal aprende de algunos datos (quizás extraídos principalmente de grandes playas) que una disminución de la temperatura de 10 grados provocaría 1000 personas menos en la playa. Es poco probable que este modelo se generalice bien a playas de diferentes tamaños. Más específicamente, el problema es que si el modelo se usa para predecir la nueva asistencia con una caída de temperatura de 10 grados para una playa que recibe regularmente 50 bañistas, predeciría un valor de asistencia imposible de -950. Lógicamente, un modelo más realista predeciría una tasa constante de aumento de la asistencia a la playa (por ejemplo, un aumento de 10 grados conduce a que la asistencia a la playa se duplique, y una caída de 10 grados conduce a que la asistencia se reduzca a la mitad). Este tipo de modelo se denomina modelo de respuesta exponencial (o modelo log-lineal , ya que se predice que el logaritmo de la respuesta variará linealmente).

De manera similar, un modelo que predice la probabilidad de tomar una decisión de sí/no (una variable de Bernoulli ) es aún menos adecuado como modelo de respuesta lineal, ya que las probabilidades están acotadas en ambos extremos (deben estar entre 0 y 1). Imaginemos, por ejemplo, un modelo que predice la probabilidad de que una persona vaya a la playa en función de la temperatura. Un modelo razonable podría predecir, por ejemplo, que un cambio de 10 grados hace que una persona tenga el doble de probabilidades de ir a la playa. Pero, ¿qué significa "el doble de probable" en términos de probabilidad? No puede significar literalmente duplicar el valor de la probabilidad (por ejemplo, 50% se convierte en 100%, 75% en 150%, etc.). Más bien, son las probabilidades las que se duplican: de probabilidades de 2:1, a probabilidades de 4:1, a probabilidades de 8:1, etc. Dicho modelo es un modelo logístico o de probabilidades .

Los modelos lineales generalizados abarcan todas estas situaciones al permitir variables de respuesta con distribuciones arbitrarias (en lugar de simplemente distribuciones normales ) y que una función arbitraria de la variable de respuesta (la función de enlace ) varíe linealmente con los predictores (en lugar de asumir que la respuesta en sí misma debe variar linealmente). Por ejemplo, el caso anterior del número previsto de asistentes a la playa se modelaría normalmente con una distribución de Poisson y una función de enlace logarítmica, mientras que el caso de la probabilidad prevista de asistencia a la playa se modelaría normalmente con una distribución de Bernoulli (o distribución binomial , según cómo se formule exactamente el problema) y una función de enlace logarítmica de probabilidades (o logit ).

Descripción general

En un modelo lineal generalizado (GLM), se supone que cada resultado Y de las variables dependientes se genera a partir de una distribución particular en una familia exponencial , una amplia clase de distribuciones de probabilidad que incluye las distribuciones normal , binomial , de Poisson y gamma , entre otras. La media condicional μ de la distribución depende de las variables independientes X a través de:

mi(Yincógnita)=μ=gramo1(incógnitaβ),{\displaystyle \operatorname {E} (\mathbf {Y} \mid \mathbf {X} )={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }}),}

donde E( Y  | X ) es el valor esperado de Y condicionado a X ; X β es el predictor lineal , una combinación lineal de parámetros desconocidos β ; g es la función de enlace. 

En este marco, la varianza suele ser una función, V , de la media:

Var(Yincógnita)=V(gramo1(incógnitaβ)).{\displaystyle \operatorname {Var} (\mathbf {Y} \mid \mathbf {X} )=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).}

Resulta conveniente que V provenga de una familia exponencial de distribuciones, pero también puede ser simplemente que la varianza sea una función del valor predicho.

Los parámetros desconocidos, β , se estiman típicamente mediante técnicas de máxima verosimilitud , cuasi-verosimilitud máxima o bayesianas .

Componentes del modelo

El GLM consta de tres elementos:

1. Una distribución particular para modelarY{\displaystyle Y}de entre las que se consideran familias exponenciales de distribuciones de probabilidad,
2. Un predictor linealη=incógnitaβ{\displaystyle \eta =X\beta }, y
3. Una función de enlacegramo{\displaystyle g}de tal manera quemi(Yincógnita)=μ=gramo1(η){\displaystyle \operatorname {E} (Y\mid X)=\mu =g^{-1}(\eta )}.

Distribución de probabilidad

Una familia exponencial sobredispersa (o familia exponencial con dispersión ) es una generalización de una familia exponencial y del modelo de dispersión exponencial de distribuciones e incluye aquellas familias de distribuciones de probabilidad, parametrizadas porθ{\displaystyle {\boldsymbol {\theta }}}yτ{\displaystyle \tau }, cuyas funciones de densidad f (o función de masa de probabilidad , para el caso de una distribución discreta ) pueden expresarse en la forma

FY(yθ,τ)=h(y,τ)exp(b(θ)TT(y)A(θ)d(τ)).{\displaystyle f_{Y}(\mathbf {y} \mid {\boldsymbol {\theta }},\tau )=h(\mathbf {y} ,\tau )\exp \left({\frac {\mathbf {b} ({\boldsymbol {\theta }})^{\rm {T}}\mathbf {T} (\mathbf {y} )-A({\boldsymbol {\theta }})}{d(\tau )}}\right).\,\!}

El parámetro de dispersión ,τ{\displaystyle \tau }, normalmente se conoce y suele estar relacionado con la varianza de la distribución. Las funcionesh(y,τ){\displaystyle h(\mathbf {y} ,\tau )},b(θ){\displaystyle \mathbf {b} ({\boldsymbol {\theta }})},T(y){\displaystyle \mathbf {T} (\mathbf {y} )},A(θ){\displaystyle A({\boldsymbol {\theta }})}, yd(τ){\displaystyle d(\tau )}Se conocen muchas distribuciones comunes, incluidas la normal, exponencial, gamma, Poisson, Bernoulli y (para un número fijo de ensayos) binomial, multinomial y binomial negativa.

Para escalaresy{\displaystyle \mathbf {y} }yθ{\displaystyle {\boldsymbol {\theta }}}(denotadoy{\displaystyle y}yθ{\displaystyle \theta }en este caso), esto se reduce a

FY(yθ,τ)=h(y,τ)exp(b(θ)T(y)A(θ)d(τ)).{\displaystyle f_{Y}(y\mid \theta ,\tau )=h(y,\tau )\exp \left({\frac {b(\theta )T(y)-A(\theta )}{d(\tau )}}\right).\,\!}

θ{\displaystyle {\boldsymbol {\theta }}}está relacionado con la media de la distribución. La formulación original de John Nelder y Robert Wedderburn estableceT(y)=y{\displaystyle T(y)=y}[ 2 ] [ 3 ] , que es un requisito clave para tener ecuaciones de estimación insesgadas para θ{\displaystyle \theta }que produce muchas propiedades atractivas, incluida la consistencia de la estimación de máxima verosimilitud bajo especificación errónea de la distribución [ 4 ] . Sib(θ){\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}Si la función identidad es , entonces se dice que la distribución está en forma canónica (o forma natural ). Nótese que cualquier distribución puede convertirse a forma canónica reescribiendo .θ{\displaystyle {\boldsymbol {\theta }}}comoθ{\displaystyle {\boldsymbol {\theta }}'}y luego aplicar la transformaciónθ=b(θ){\displaystyle {\boldsymbol {\theta }}=\mathbf {b} ({\boldsymbol {\theta }}')}Siempre es posible convertirA(θ){\displaystyle A({\boldsymbol {\theta }})}en términos de la nueva parametrización, incluso sib(θ){\displaystyle \mathbf {b} ({\boldsymbol {\theta }}')}no es una función biyectiva ; véanse los comentarios en la página sobre familias exponenciales .

Si, además,T(y){\displaystyle \mathbf {T} (\mathbf {y} )}yb(θ){\displaystyle \mathbf {b} ({\boldsymbol {\theta }})}son la identidad, entoncesθ{\displaystyle {\boldsymbol {\theta }}}se denomina parámetro canónico (o parámetro natural ) y está relacionado con la media a través de

μ=mi(y)=θA(θ).{\displaystyle {\boldsymbol {\mu }}=\operatorname {E} (\mathbf {y} )=\nabla _{\boldsymbol {\theta }}A({\boldsymbol {\theta }}).\,\!}

Para escalaresy{\displaystyle \mathbf {y} }yθ{\displaystyle {\boldsymbol {\theta }}}, esto se reduce a

μ=mi(y)=A(θ).{\displaystyle \mu =\operatorname {E} (y)=A'(\theta ).}

En este escenario, se puede demostrar que la varianza de la distribución es [ 3 ].

Var(y)=θ2A(θ)d(τ).{\displaystyle \operatorname {Var} (\mathbf {y} )=\nabla _{\boldsymbol {\theta }}^{2}A({\boldsymbol {\theta }})d(\tau ).\,\!}

Para escalaresy{\displaystyle \mathbf {y} }yθ{\displaystyle {\boldsymbol {\theta }}}, esto se reduce a

Var(y)=A(θ)d(τ).{\displaystyle \operatorname {Var} (y)=A''(\theta )d(\tau ).\,\!}

Predictor lineal

El predictor lineal es la magnitud que incorpora la información sobre las variables independientes al modelo. El símbolo η (del griego " eta ") representa un predictor lineal. Está relacionado con el valor esperado de los datos mediante la función de enlace.

η se expresa como combinaciones lineales (de ahí el término "lineal") de parámetros desconocidos β . Los coeficientes de la combinación lineal se representan como la matriz de variables independientes X. Por lo tanto , η puede expresarse como

η=incógnitaβ.{\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}

La función de enlace establece la relación entre el predictor lineal y la media de la función de distribución. Existen muchas funciones de enlace de uso común, y su elección depende de diversas consideraciones. Siempre hay una función de enlace canónica bien definida que se deriva de la exponencial de la función de densidad de la respuesta . Sin embargo, en algunos casos conviene intentar que el dominio de la función de enlace coincida con el rango de la media de la función de distribución, o utilizar una función de enlace no canónica con fines algorítmicos, por ejemplo, en la regresión probit bayesiana .

Cuando se utiliza una función de distribución con un parámetro canónicoθ,{\displaystyle \theta ,}La función de enlace canónica es la función que expresaθ{\displaystyle \theta }en términos deμ,{\displaystyle \mu ,}es decirθ=gramo(μ).{\displaystyle \theta =g(\mu ).} Para las distribuciones más comunes, la mediaμ{\displaystyle \mu }es uno de los parámetros en la forma estándar de la función de densidad de la distribución , y luegogramo(μ){\displaystyle g(\mu )}es la función definida anteriormente que mapea la función de densidad a su forma canónica. Al usar la función de enlace canónica,gramo(μ)=θ=incógnitaβ,{\displaystyle g(\mu )=\theta =\mathbf {X} {\boldsymbol {\beta }},}lo cual permiteincógnitaTY{\displaystyle \mathbf {X} ^{\rm {T}}\mathbf {Y} }ser una estadística suficiente paraβ{\displaystyle {\boldsymbol {\beta }}}.

A continuación se presenta una tabla con varias distribuciones de la familia exponencial de uso común y los datos para los que se suelen utilizar, junto con las funciones de enlace canónicas y sus inversas (a veces denominadas función media, como se hace aquí).

En los casos de las distribuciones exponencial y gamma, el dominio de la función de enlace canónica no coincide con el rango permitido para la media. En particular, el predictor lineal puede ser positivo, lo que daría lugar a una media negativa imposible. Al maximizar la verosimilitud, deben tomarse precauciones para evitar esto. Una alternativa es utilizar una función de enlace no canónica.

En el caso de las distribuciones de Bernoulli, binomial, categórica y multinomial, el soporte de las distribuciones no es del mismo tipo de datos que el parámetro que se predice. En todos estos casos, el parámetro predicho es una o más probabilidades, es decir, números reales en el rango[0,1]{\displaystyle [0,1]}El modelo resultante se conoce como regresión logística (o regresión logística multinomial en el caso de que se predigan valores K -dimensionales en lugar de binarios).

Para las distribuciones de Bernoulli y binomial, el parámetro es una probabilidad única, que indica la probabilidad de ocurrencia de un solo evento. La distribución de Bernoulli sigue satisfaciendo la condición básica del modelo lineal generalizado, ya que, aunque un solo resultado siempre será 0 o 1, el valor esperado será una probabilidad real, es decir, la probabilidad de ocurrencia de un resultado "sí" (o 1). De manera similar, en una distribución binomial, el valor esperado es Np , es decir, la proporción esperada de resultados "sí" será la probabilidad a predecir.

Para las distribuciones categóricas y multinomiales, el parámetro a predecir es un vector de K probabilidades, con la restricción adicional de que la suma de todas las probabilidades debe ser igual a 1. Cada probabilidad indica la probabilidad de ocurrencia de uno de los K valores posibles. Para la distribución multinomial, y para la forma vectorial de la distribución categórica, los valores esperados de los elementos del vector pueden relacionarse con las probabilidades predichas de forma similar a las distribuciones binomial y de Bernoulli.

Adecuado

Máxima probabilidad

Las estimaciones de máxima verosimilitud se pueden encontrar utilizando un algoritmo de mínimos cuadrados ponderados iterativamente o un método de Newton con actualizaciones de la forma:

β(t+1)=β(t)+J1(β(t))(β(t)),{\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {J}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}

dóndeJ(β(t)){\displaystyle {\mathcal {J}}({\boldsymbol {\beta }}^{(t)})}es la matriz de información observada (el negativo de la matriz hessiana ) y(β(t)){\displaystyle u({\boldsymbol {\beta }}^{(t)})}es la función de puntuación ; o un método de puntuación de Fisher :

β(t+1)=β(t)+I1(β(t))(β(t)),{\displaystyle {\boldsymbol {\beta }}^{(t+1)}={\boldsymbol {\beta }}^{(t)}+{\mathcal {I}}^{-1}({\boldsymbol {\beta }}^{(t)})u({\boldsymbol {\beta }}^{(t)}),}

dóndeI(β(t)){\displaystyle {\mathcal {I}}({\boldsymbol {\beta }}^{(t)})}es la matriz de información de Fisher . Nótese que si se utiliza la función de enlace canónica, entonces son iguales. [ 5 ]

métodos bayesianos

En general, la distribución posterior no se puede encontrar en forma cerrada y, por lo tanto, debe aproximarse, normalmente utilizando aproximaciones de Laplace o algún tipo de método de Monte Carlo de cadena de Markov, como el muestreo de Gibbs .

Ejemplos

Modelos lineales generales

Un posible punto de confusión tiene que ver con la distinción entre modelos lineales generalizados y modelos lineales generales , dos modelos estadísticos amplios. El coautor John Nelder ha expresado su pesar por esta terminología. [ 6 ]

El modelo lineal general puede considerarse un caso particular del modelo lineal generalizado con función de enlace identidad y respuestas con distribución normal. Dado que la mayoría de los resultados de interés se obtienen únicamente con el modelo lineal general, este último ha tenido un desarrollo histórico algo más prolongado. Los resultados del modelo lineal generalizado con función de enlace distinta de identidad son asintóticos (lo que indica que suelen funcionar bien con muestras grandes).

Regresión lineal

Un ejemplo sencillo y muy importante de modelo lineal generalizado (que también constituye un modelo lineal general) es la regresión lineal . En la regresión lineal, el uso del estimador de mínimos cuadrados se justifica por el teorema de Gauss-Markov , que no presupone que la distribución sea normal.

Desde la perspectiva de los modelos lineales generalizados, sin embargo, resulta útil suponer que la función de distribución es la distribución normal con varianza constante y que la función de enlace es la identidad, que es la función de enlace canónica si se conoce la varianza. Bajo estos supuestos, el estimador de mínimos cuadrados se obtiene como la estimación de parámetros de máxima verosimilitud.

Para la distribución normal, el modelo lineal generalizado tiene una expresión analítica para las estimaciones de máxima verosimilitud, lo cual resulta conveniente. La mayoría de los demás modelos lineales generalizados carecen de estimaciones analíticas .

Datos binarios

Cuando los datos de respuesta, Y , son binarios (toman solo los valores 0 y 1), la función de distribución generalmente se elige como la distribución de Bernoulli y la interpretación de μi es entonces la probabilidad, p , de que Yi tome el valor uno.

Existen varias funciones de enlace populares para funciones binomiales.

La función de enlace más típica es el enlace logit canónico:

gramo(pag)=logitpag=ln(pag1pag).{\displaystyle g(p)=\operatorname {logit} p=\ln \left({p \over 1-p}\right).}

Los GLM con esta configuración son modelos de regresión logística (o modelos logit ).

Alternativamente, se puede utilizar la inversa de cualquier función de distribución acumulativa continua (CDF) para el enlace, ya que el rango de la CDF es[0,1]{\displaystyle [0,1]}, el rango de la media binomial. La función de distribución acumulada normalΦ{\displaystyle \Phi }es una opción popular y produce el modelo probit . Su enlace es

gramo(pag)=Φ1(pag).{\displaystyle g(p)=\Phi ^{-1}(p).\,\!}

La razón para usar el modelo probit es que un escalado constante de la variable de entrada a una función de distribución acumulada (FDA) normal (que puede absorberse mediante un escalado equivalente de todos los parámetros) produce una función prácticamente idéntica a la función logit, pero los modelos probit son más manejables en algunas situaciones que los modelos logit. (En un contexto bayesiano en el que se asignan distribuciones a priori normales a los parámetros, la relación entre las distribuciones a priori normales y la función de enlace de la FDA normal implica que un modelo probit puede calcularse mediante muestreo de Gibbs , mientras que un modelo logit generalmente no.)

Registro log-log complementario (cloglog)

También se puede utilizar la función complementaria log-log:

gramo(pag)=registro(registro(1pag)).{\displaystyle g(p)=\log(-\log(1-p)).}

Esta función de enlace es asimétrica y a menudo producirá resultados diferentes a los de las funciones de enlace logit y probit. [ 7 ] El modelo cloglog corresponde a aplicaciones donde observamos cero eventos (por ejemplo, defectos) o uno o más, donde se supone que el número de eventos sigue la distribución de Poisson . [ 8 ] La suposición de Poisson significa que

Pr(0)=exp(μ),{\displaystyle \Pr(0)=\exp(-\mu ),}

donde μ es un número positivo que denota el número esperado de eventos. Si p representa la proporción de observaciones con al menos un evento, su complemento

1pag=Pr(0)=exp(μ),{\displaystyle 1-p=\Pr(0)=\exp(-\mu ),}

y luego

registro(1pag)=μ.{\displaystyle -\log(1-p)=\mu .}

Un modelo lineal requiere que la variable de respuesta tome valores en toda la recta real. Dado que μ debe ser positivo, podemos imponerlo tomando el logaritmo y haciendo que log( μ ) sea un modelo lineal. Esto produce la transformación "cloglog".

registro(registro(1pag))=registro(μ).{\displaystyle \log(-\log(1-p))=\log(\mu ).}

La función de enlace identidad g(p) = p también se utiliza a veces para datos binomiales con el fin de obtener un modelo de probabilidad lineal . Sin embargo, esta función puede predecir probabilidades sin sentido, menores que cero o mayores que uno. Esto se puede evitar utilizando una transformación como cloglog, probit o logit (o cualquier función de distribución acumulativa inversa). Una ventaja principal de la función de enlace identidad es que se puede estimar mediante matemáticas lineales, y otras funciones de enlace estándar son aproximadamente lineales, coincidiendo con la función de enlace identidad cerca de p = 0,5.

Función de varianza

La función de varianza para "Los datos cuasibinomiales son:

Var(Yi)=τμi(1μi){\displaystyle \operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!}

donde el parámetro de dispersión τ es exactamente 1 para la distribución binomial. De hecho, la verosimilitud binomial estándar omite τ . Cuando está presente, el modelo se denomina "cuasibinomial" y la verosimilitud modificada se denomina cuasi-verosimilitud , ya que generalmente no es la verosimilitud correspondiente a ninguna familia real de distribuciones de probabilidad. Si τ supera 1, se dice que el modelo presenta sobredispersión .

Regresión multinomial

El caso binomial se puede extender fácilmente para permitir una distribución multinomial como respuesta (también, un modelo lineal generalizado para recuentos, con un total restringido). Hay dos maneras en que esto se suele hacer:

Respuesta ordenada

Si la variable de respuesta es ordinal , entonces se puede ajustar una función modelo de la forma:

gramo(μmetro)=ηmetro=β0+incógnita1β1++incógnitapagβpag+γ2++γmetro=η1+γ2++γmetro dónde μmetro=PAG(Ymetro).{\displaystyle g(\mu _{m})=\eta _{m}=\beta _{0}+X_{1}\beta _{1}+\cdots +X_{p}\beta _{p}+\gamma _{2}+\cdots +\gamma _{m}=\eta _{1}+\gamma _{2}+\cdots +\gamma _{m}{\text{ where }}\mu _{m}=\operatorname {P} (Y\leq m).\,}

para m > 2. Diferentes enlaces g conducen a modelos de regresión ordinal como modelos de probabilidades proporcionales o modelos probit ordenados .

Respuesta desordenada

Si la variable de respuesta es una medida nominal , o si los datos no satisfacen los supuestos de un modelo ordenado, se puede ajustar un modelo de la siguiente forma:

gramo(μmetro)=ηmetro=βmetro,0+incógnita1βmetro,1++incógnitapagβmetro,pag dónde μmetro=PAG(Y=metroY{1,metro}).{\displaystyle g(\mu _{m})=\eta _{m}=\beta _{m,0}+X_{1}\beta _{m,1}+\cdots +X_{p}\beta _{m,p}{\text{ where }}\mu _{m}=\mathrm {P} (Y=m\mid Y\in \{1,m\}).\,}

Para m > 2, diferentes enlaces g dan lugar a modelos logit multinomiales o probit multinomiales . Estos son más generales que los modelos de respuesta ordinal y se estiman más parámetros.

datos de recuento

Otro ejemplo de modelos lineales generalizados es la regresión de Poisson, que modela datos de conteo utilizando la distribución de Poisson . La función de enlace suele ser el logaritmo, la función de enlace canónica.

La función de varianza es proporcional a la media.

var(Yi)=τμi,{\displaystyle \operatorname {var} (Y_{i})=\tau \mu _{i},\,}

donde el parámetro de dispersión τ se fija típicamente en uno. Cuando no es así, el modelo de cuasi-verosimilitud resultante se describe a menudo como Poisson con sobredispersión o cuasi-Poisson .

Datos proporcionales continuos

Cuando una respuestaY{\displaystyle Y}es una variable aleatoria continua doblemente acotada, después de estandarizarla en el intervalo unitario [0,1], un ejemplo de modelo lineal generalizado es la regresión binomial continua (cobin) [ 9 ] basada en la distribución binomial continua , una generalización de dos parámetros de la distribución de Bernoulli continua . Un parámetro adicionalλ{\displaystyle \lambda }es inversamente proporcional a la varianza,

var(Yi)=λ1A(A1(μi)),{\displaystyle \operatorname {var} (Y_{i})=\lambda ^{-1}A''(A^{-1}(\mu _{i})),\,}

dóndeA(θ)=registro{(miθ1)/θ}{\displaystyle A(\theta )=\log\{(e^{\theta }-1)/\theta \}}. Está relacionado con modelos de regresión fraccionaria basados ​​en cuasi-máxima verosimilitud si la función de varianza se elige de manera diferente. [ 9 ]

Extensiones

Datos correlacionados o agrupados

El modelo lineal generalizado (GLM) estándar asume que las observaciones no están correlacionadas . Se han desarrollado extensiones para permitir la correlación entre observaciones, como ocurre, por ejemplo, en estudios longitudinales y diseños agrupados:

  • Las ecuaciones de estimación generalizadas (GEE) permiten la correlación entre observaciones sin utilizar un modelo de probabilidad explícito para el origen de las correlaciones, por lo que no existe una verosimilitud explícita . Son adecuadas cuando los efectos aleatorios y sus varianzas no son de interés intrínseco, ya que permiten la correlación sin explicar su origen. El enfoque se centra en estimar la respuesta promedio en la población (efectos "promediados en la población") en lugar de los parámetros de regresión que permitirían predecir el efecto de cambiar uno o más componentes de X en un individuo dado. Las GEE se suelen utilizar junto con los errores estándar de Huber-White . [ 10 ] [ 11 ]
  • Los modelos lineales generalizados mixtos (GLMM) son una extensión de los modelos lineales generalizados (GLM) que incluyen efectos aleatorios en el predictor lineal, lo que proporciona un modelo de probabilidad explícito que explica el origen de las correlaciones. Las estimaciones de parámetros resultantes, específicas para cada sujeto, son adecuadas cuando el objetivo es estimar el efecto de cambiar uno o más componentes de X en un individuo determinado. Los GLMM también se conocen como modelos multinivel y modelos mixtos . En general, ajustar GLMM es computacionalmente más complejo e intensivo que ajustar modelos de ecuaciones de estimación generalizadas (GEE).

Modelos aditivos generalizados

Los modelos aditivos generalizados (GAM) son otra extensión de los GLM en la que el predictor lineal η no está restringido a ser lineal en las covariables X , sino que es la suma de funciones de suavizado aplicadas a los x i s:

η=β0+F1(incógnita1)+F2(incógnita2)+{\displaystyle \eta =\beta _{0}+f_{1}(x_{1})+f_{2}(x_{2})+\cdots \,\!}

Las funciones de suavizado f i se estiman a partir de los datos. En general, esto requiere una gran cantidad de puntos de datos y es computacionalmente intensivo. [ 12 ] [ 13 ]

Véase también

Referencias

Citas

  1. Nelder, John ; Wedderburn, Robert (1972). "Modelos lineales generalizados". Journal of the Royal Statistical Society. Serie A (General) . 135 ( 3). Blackwell Publishing: 370–384 . doi : 10.2307/2344614 . JSTOR 2344614. S2CID 14154576 .  
  2. Nelder, JA; Wedderburn, RWM (1972). "Modelos lineales generalizados" . Journal of the Royal Statistical Society. Serie A (General) . 135 (3): 370– 384. doi : 10.2307/2344614 . ISSN 0035-9238 . 
  3. ^ McCullagh y Nelder 1989 , Capítulo 2.
  4. Gourieroux, C.; Monfort, A.; Trognon, A. (1984). "Métodos de pseudo máxima verosimilitud: teoría" . Econometrica . 52 (3): 681–700 . doi : 10.2307/1913471 . ISSN 0012-9682 . 
  5. ^ McCullagh y Nelder 1989 , pág. 43.
  6. Senn, Stephen (2003). "Una conversación con John Nelder" . Statistical Science . 18 (1): 118– 131. doi : 10.1214/ss/1056397489 . Sospecho que deberíamos haber encontrado un nombre más elegante que se hubiera mantenido y no se hubiera confundido con el modelo lineal general, aunque general y generalizado no son exactamente lo mismo. Entiendo por qué podría haber sido mejor pensar en otra cosa.
  7. "Modelo Log-log complementario" (PDF) .
  8. "¿Qué función de enlace: Logit, Probit o Cloglog?" . Bayesium Analytics . 14 de agosto de 2015 . Consultado el 17 de marzo de 2019 .
  9. 1 2 Lee, Changwoo J.; Dahl, Benjamin K.; Ovaskainen, Otso; Dunson, David B. (2026-05-18). "Modelos de regresión escalables y robustos para datos proporcionales continuos" . Journal of the American Statistical Association . doi : 10.1080/01621459.2026.2626081 . ISSN 0162-1459 . PMC 13188389. PMID 42169758 .   
  10. Zeger, Scott L. ; Liang, Kung-Yee ; Albert, Paul S. (1988). "Modelos para datos longitudinales: un enfoque de ecuaciones de estimación generalizadas". Biometrics . 44 (4). Sociedad Internacional de Biometría: 1049– 1060. doi : 10.2307/2531734 . JSTOR 2531734 . PMID 3233245 .  
  11. Hardin, James; Hilbe, Joseph (2003). Ecuaciones de estimación generalizadas . Londres, Inglaterra: Chapman and Hall/CRC. ISBN 1-58488-307-3.
  12. Hastie y Tibshirani 1990 .
  13. Madera 2006 .

Bibliografía

  • Hastie, TJ ; Tibshirani, RJ (1990). Modelos aditivos generalizados . Chapman & Hall/CRC. ISBN 978-0-412-34390-2.
  • Madsen, Henrik; Thyregod, Poul (2011). Introducción a los modelos lineales generales y generalizados . Chapman & Hall/CRCC. ISBN 978-1-4200-9155-7.
  • McCullagh, Peter ; Nelder, John (1989). Modelos lineales generalizados (2.ª  ed.). Boca Raton , FL: Chapman and Hall/CRC. ISBN 0-412-31760-5.
  • Wood, Simon (2006). Modelos aditivos generalizados: Una introducción con R. Chapman & Hall/CRC. ISBN 1-58488-474-6.

Lecturas adicionales

  • Dunn, PK; Smyth, GK (2018). Modelos lineales generalizados con ejemplos en R. Nueva York: Springer. doi : 10.1007/978-1-4419-0118-7 . ISBN 978-1-4419-0118-7.{{cite book}}: CS1 mantenimiento: ubicación del editor ( enlace )
  • Dobson, AJ; Barnett, AG (2008). Introducción a los modelos lineales generalizados (3.ª  ed.). Boca Raton, FL: Chapman and Hall/CRC. ISBN 978-1-58488-165-0.
  • Hardin, James; Hilbe, Joseph (2007). Modelos lineales generalizados y extensiones (2.ª  ed.). College Station: Stata Press. ISBN 978-1-59718-014-6.{{cite book}}: CS1 mantenimiento: ubicación del editor ( enlace )
  • Logotipo de Wikimedia CommonsContenido multimedia relacionado con modelos lineales generalizados en Wikimedia Commons.
Obtenido de " https://en.wikipedia.org/w/index.php?title=Generalized_linear_model&oldid=1358218294 "