Modelo aditivo generalizado

En estadística , un modelo aditivo generalizado ( GAM ) es un modelo lineal generalizado en el que la variable de respuesta lineal depende linealmente de funciones suaves desconocidas de algunas variables predictoras, y el interés se centra en la inferencia sobre estas funciones suaves.

Los GAM fueron desarrollados originalmente por Trevor Hastie y Robert Tibshirani ^{[ 1 ]} para combinar propiedades de modelos lineales generalizados con modelos aditivos . Pueden interpretarse como la generalización discriminativa del modelo generativo bayesiano ingenuo . ^{[ 2 ]}

El modelo relaciona una variable de respuesta univariada, Y , con algunas variables predictoras, x _i . Se especifica una distribución de la familia exponencial para Y (por ejemplo, distribuciones normal , binomial o de Poisson ) junto con una función de enlace g (por ejemplo, las funciones identidad o logaritmo) que relaciona el valor esperado de Y con las variables predictoras a través de una estructura como

${\displaystyle g(\operatorname {E} (Y))=\beta _{0}+f_{1}(x_{1})+f_{2}(x_{2})+\cdots +f_{m}(x_{m}).\,\!}$

Las funciones f _i pueden tener una forma paramétrica específica (por ejemplo, un polinomio o una spline de regresión sin penalización de una variable) o pueden especificarse de forma no paramétrica o semiparamétrica, simplemente como "funciones suaves", para ser estimadas mediante métodos no paramétricos . Así, un GAM típico podría usar una función de suavizado de diagrama de dispersión, como una media ponderada localmente, para f ₁ ( x ₁ ), y luego usar un modelo factorial para f ₂ ( x ₂ ). Esta flexibilidad para permitir ajustes no paramétricos con supuestos menos estrictos sobre la relación real entre la respuesta y el predictor, ofrece el potencial de mejores ajustes a los datos que los modelos puramente paramétricos, aunque posiblemente con cierta pérdida de interpretabilidad.

Desde la década de 1950 se sabía (a través del teorema de representación de Kolmogorov-Arnold ) que cualquier función continua multivariada podía representarse como sumas y composiciones de funciones univariadas.

${\displaystyle f({\vec {x}})=\sum _{q=0}^{2n}\Phi _{q}\left(\sum _{p=1}^{n}\phi _{q,p}(x_{p})\right)}$.

Desafortunadamente, aunque el teorema de representación de Kolmogorov-Arnold afirma la existencia de una función de esta forma, no proporciona ningún mecanismo mediante el cual se pueda construir. Existen ciertas demostraciones constructivas, pero tienden a requerir funciones muy complicadas (es decir, fractales) y, por lo tanto, no son adecuadas para enfoques de modelado. Por consiguiente, el modelo aditivo generalizado ^{[ 1 ]} elimina la suma externa y exige en su lugar que la función pertenezca a una clase más simple.

${\displaystyle f({\vec {x}})=\Phi \left(\sum _{p=1}^{n}\phi _{p}(x_{p})\right)}$.

dónde${\displaystyle \Phi }$es una función monótona suave . Escribiendo${\displaystyle g}$para el inverso de${\displaystyle \Phi }$, esto se escribe tradicionalmente como

${\displaystyle g(f({\vec {x}}))=\sum _{i}f_{i}(x_{i})}$.

Cuando esta función se aproxima a la esperanza de alguna cantidad observada, podría escribirse como

${\displaystyle g(\operatorname {E} (Y))=\beta _{0}+f_{1}(x_{1})+f_{2}(x_{2})+\cdots +f_{m}(x_{m}).\,\!}$

Esta es la formulación estándar de un modelo aditivo generalizado. Luego se demostró ^{[ 1 ]} que el algoritmo de ajuste inverso siempre convergerá para estas funciones.

La clase de modelos GAM es bastante amplia, dado que la función suave es una categoría bastante amplia. Por ejemplo, una covariable${\displaystyle x_{j}}$puede ser multivariado y el correspondiente${\displaystyle f_{j}}$ una función suave de varias variables, o ${\displaystyle f_{j}}$podría ser la función que asigna el nivel de un factor al valor de un efecto aleatorio. Otro ejemplo es un término de coeficiente variable (regresión geográfica) como${\ Displaystyle z_ {j} f_ {j} (x_ {j})}$dónde${\displaystyle z_{j}}$y${\displaystyle x_{j}}$son ambas covariables. O si${\displaystyle x_{j}(t)}$es en sí misma una observación de una función, podríamos incluir un término como${\displaystyle \int f_{j}(t)x_{j}(t)dt}$(a veces conocido como término de regresión de señal).${\displaystyle f_{j}}$También podría ser una función paramétrica simple como las que se usan en cualquier modelo lineal generalizado. La clase de modelos se ha generalizado en varias direcciones, en particular más allá de las distribuciones de respuesta de la familia exponencial, más allá del modelado solo de la media y más allá de los datos univariados. ^{[ 3 ] [ 4 ] [ 5 ]}

El método de ajuste GAM original estimó los componentes suaves del modelo utilizando suavizadores no paramétricos (por ejemplo, splines de suavizado o suavizadores de regresión lineal local) a través del algoritmo de ajuste inverso . ^{[ 1 ]} El ajuste inverso funciona mediante el suavizado iterativo de residuos parciales y proporciona un método de estimación modular muy general capaz de utilizar una amplia variedad de métodos de suavizado para estimar los${\displaystyle f_{j}(x_{j})}$términos. Una desventaja del backfitting es que es difícil integrarlo con la estimación del grado de suavidad de los términos del modelo, por lo que en la práctica el usuario debe establecerlos o seleccionar entre un conjunto modesto de niveles de suavizado predefinidos.

Si el${\displaystyle f_{j}(x_{j})}$se representan mediante splines de suavizado ^{[ 6 ]} entonces el grado de suavidad se puede estimar como parte del ajuste del modelo usando validación cruzada generalizada, o por máxima verosimilitud restringida (REML, a veces conocida como 'GML') que explota la dualidad entre suavizadores spline y efectos aleatorios gaussianos. ^{[ 7 ]} Este enfoque de spline completo conlleva una${\displaystyle O(n^{3})}$costo computacional, donde${\displaystyle n}$es el número de observaciones para la variable de respuesta, lo que lo hace algo impráctico para conjuntos de datos moderadamente grandes. Métodos más recientes han abordado este costo computacional ya sea mediante la reducción inicial del tamaño de la base utilizada para el suavizado (reducción de rango) ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ]} o mediante la búsqueda de representaciones dispersas de los suavizados utilizando campos aleatorios de Markov , que son susceptibles al uso de métodos de matriz dispersa para el cálculo. ^{[ 13 ]} Estos métodos más eficientes computacionalmente utilizan GCV (o AIC o similar) o REML o toman un enfoque completamente bayesiano para la inferencia sobre el grado de suavidad de los componentes del modelo. Estimar el grado de suavidad a través de REML puede verse como un método bayesiano empírico .

Un enfoque alternativo con ventajas particulares en entornos de alta dimensionalidad es el uso de boosting , aunque esto generalmente requiere bootstrapping para la cuantificación de la incertidumbre. ^{[ 14 ] [ 15 ]} Se ha encontrado que los GAM ajustados usando bagging y boosting generalmente superan a los GAM ajustados usando métodos de spline. ^{[ 16 ]}

Muchas implementaciones modernas de GAM y sus extensiones se basan en el enfoque de suavizado de rango reducido, ya que permite una estimación bien fundamentada de la suavidad de los suavizados componentes con un coste computacional relativamente modesto, y también facilita la implementación de varias extensiones del modelo de una manera más difícil con otros métodos. En su forma más simple, la idea es reemplazar las funciones suaves desconocidas en el modelo con expansiones de base.

${\displaystyle f_{j}(x_{j})=\sum _{k=1}^{K_{j}}\beta _{jk}b_{jk}(x_{j})}$

donde el${\displaystyle b_{jk}(x_{j})}$son funciones base conocidas, generalmente elegidas por buenas propiedades teóricas de aproximación (por ejemplo, splines B o splines de placa delgada de rango reducido ), y la${\displaystyle \beta _{jk}}$son coeficientes que se estimarán como parte del ajuste del modelo. La dimensión base${\displaystyle K_{j}}$se elige de forma que sea suficientemente grande como para que esperemos que se sobreajuste a los datos disponibles (evitando así el sesgo por la simplificación excesiva del modelo), pero lo suficientemente pequeño como para mantener la eficiencia computacional. Si${\displaystyle p=\sum _{j}K_{j}}$entonces el costo computacional de la estimación del modelo de esta manera será${\displaystyle O(np^{2})}$.

Observe que el${\displaystyle f_{j}}$son solo identificables dentro de un término de intersección (podríamos agregar cualquier constante a${\displaystyle f_{1}}$mientras lo resta de${\displaystyle f_{2}}$sin cambiar en absoluto las predicciones del modelo), por lo que se deben imponer restricciones de identificabilidad en los términos suaves para eliminar esta ambigüedad. Inferencia más precisa sobre el${\displaystyle f_{j}}$Generalmente se obtiene mediante el uso de restricciones de suma cero.

${\displaystyle \sum _{i}f_{j}(x_{ji})=0}$

es decir, insistiendo en que la suma de cada uno de los${\displaystyle f_{j}}$evaluado en sus valores de covariables observados debería ser cero. Tales restricciones lineales se pueden imponer más fácilmente mediante la reparametrización en la etapa de configuración de la base, ^{[ 11 ]} por lo que a continuación se supone que esto se ha hecho.

Habiendo reemplazado todos los${\displaystyle f_{j}}$En el modelo con tales expansiones de base hemos convertido el GAM en un modelo lineal generalizado (GLM), con una matriz de modelo que simplemente contiene las funciones base evaluadas en el observado${\displaystyle x_{j}}$valores. Sin embargo, debido a las dimensiones base,${\displaystyle K_{j}}$, se han elegido para que sean algo mayores de lo que se cree necesario para los datos, el modelo está sobreparametrizado y sobreajustará los datos si se estima como un GLM regular. La solución a este problema es penalizar la desviación de la suavidad en el proceso de ajuste del modelo, controlando el peso dado a las penalizaciones de suavizado usando parámetros de suavizado. Por ejemplo, considere la situación en la que todos los suavizados son funciones univariadas. Escribiendo todos los parámetros en un vector,${\displaystyle \beta }$, supongamos que${\displaystyle D(\beta )}$es la desviación (el doble de la diferencia entre la verosimilitud logarítmica saturada y la verosimilitud logarítmica del modelo) para el modelo. Minimizar la desviación mediante los mínimos cuadrados ponderados iterativamente habituales daría como resultado un sobreajuste, por lo que buscamos${\displaystyle \beta }$minimizar

${\displaystyle D(\beta )+\sum _{j}\lambda _{j}\int f_{j}^{\prime \prime }(x)^{2}dx}$

donde las penalizaciones de la segunda derivada cuadrada integrada sirven para penalizar la ondulación (falta de suavidad) de la${\displaystyle f_{j}}$durante el ajuste y los parámetros de suavizado${\displaystyle \lambda _{j}}$controlar el equilibrio entre la bondad de ajuste del modelo y la suavidad del modelo. En el ejemplo${\displaystyle \lambda _ {j}\to \infty }$aseguraría que la estimación de${\displaystyle f_{j}(x_{j})}$sería una línea recta en${\displaystyle x_{j}}$.

Dada la expansión de la base para cada ${\displaystyle f_{j}}$Las penalizaciones por ondulación pueden expresarse como formas cuadráticas en los coeficientes del modelo. ^{[ 11 ]} Es decir, podemos escribir

${\displaystyle \int f_{j}^{\prime \prime }(x)^{2}dx=\beta _{j}^{T}{\bar {S}}_{j}\beta _{j}=\beta ^{T}S_{j}\beta }$,

dónde${\displaystyle {\bar {S}}_{j}}$es una matriz de coeficientes conocidos computable a partir de la penalización y la base,${\displaystyle \beta _{j}}$es el vector de coeficientes para ${\displaystyle f_{j}}$, y${\displaystyle S_{j}}$es solo${\displaystyle {\bar {S}}_{j}}$rellenado con ceros para que se cumpla la segunda igualdad y podamos escribir la penalización en términos del vector de coeficientes completo.${\displaystyle \beta }$Muchas otras penalizaciones de suavizado se pueden escribir de la misma manera, y dados los parámetros de suavizado, el problema de ajuste del modelo ahora se convierte en:

${\displaystyle {\hat {\beta }}={\text{argmin}}_{\beta }\{D(\beta )+\sum _{j}\lambda _{j}\beta ^{T}S_{j}\beta \}}$,

que se puede encontrar utilizando una versión penalizada del algoritmo habitual de mínimos cuadrados ponderados iterativamente (IRLS) para GLM: el algoritmo no cambia excepto que la suma de penalizaciones cuadráticas se agrega al objetivo de mínimos cuadrados de trabajo en cada iteración del algoritmo.

La penalización tiene varios efectos en la inferencia, en comparación con un GLM regular. Por un lado, las estimaciones están sujetas a cierto sesgo de suavizado, que es el precio que debe pagarse por limitar la varianza del estimador mediante la penalización. Sin embargo, si los parámetros de suavizado se seleccionan adecuadamente, el sesgo de suavizado (al cuadrado) introducido por la penalización debería ser menor que la reducción de la varianza que produce, de modo que el efecto neto es una reducción del error cuadrático medio de estimación, en comparación con no penalizar. Un efecto relacionado de la penalización es que la noción de grados de libertad de un modelo debe modificarse para tener en cuenta la acción de las penalizaciones al reducir la libertad de variación de los coeficientes. Por ejemplo, si${\displaystyle W}$es la matriz diagonal de pesos IRLS en la convergencia, y${\displaystyle X}$es la matriz del modelo GAM, entonces los grados de libertad efectivos del modelo vienen dados por${\displaystyle {\text{traza}}(F)}$dónde

${\displaystyle F=(X^{T}WX+\sum _{j}\lambda _{j}S_{j})^{-1}X^{T}WX}$,

es la matriz de grados de libertad efectivos. ^{[ 11 ]} De hecho, sumando solo los elementos diagonales de${\displaystyle F}$correspondientes a los coeficientes de${\displaystyle f_{j}}$proporciona los grados de libertad efectivos para la estimación de ${\displaystyle f_{j}}$.

Los GAM de ajuste inverso fueron proporcionados originalmente por la gamfunción en S, ^{[ 23 ]} ahora portados al lenguaje R como el gampaquete. El procedimiento SAS GAMtambién proporciona GAM de ajuste inverso. El paquete recomendado en R para GAM es mgcv, que significa vehículo computacional GAM mixto , ^{[ 11 ]} que se basa en el enfoque de rango reducido con selección automática de parámetros de suavizado. El procedimiento SAS GAMPLes una implementación alternativa. En Python, está el paquete PyGAM, con características similares a mgcv de R. Alternativamente, está InterpretMLel paquete, que implementa un enfoque de bagging y boosting. ^{[ 24 ]} Hay muchos paquetes alternativos. Ejemplos incluyen los paquetes de R mboost, ^{[ 14 ]} que implementa un enfoque de boosting; gss, que proporciona los métodos de suavizado de spline completos; ^{[ 25 ]}VGAM que proporciona GAM vectoriales; ^{[ 4 ]} y gamlss, que proporciona el modelo aditivo generalizado para ubicación, escala y forma . BayesXy su interfaz de R proporciona GAM y extensiones a través de MCMC y métodos de verosimilitud penalizada. ^{[ 26 ]} El INLAsoftware implementa un enfoque completamente bayesiano basado en representaciones de campos aleatorios de Markov que explotan métodos de matrices dispersas. ^{[ 13 ]}

Como ejemplo de cómo se pueden estimar modelos en la práctica con software, consideremos el paquete R. mgcvSupongamos que nuestro espacio de trabajo R contiene los vectores y , x y z y queremos estimar el modelo.

${\displaystyle y_{i}=\beta _{0}+f_{1}(x_{i})+f_{2}(z_{i})+\epsilon _{i}{\text{ where }}\epsilon _{i}\sim N(0,\sigma ^{2}).}$

Dentro de R podríamos emitir los comandos

biblioteca(mgcv) # cargar el paquete b = gam(y ~ s(x) + s(z))

Al igual que la mayoría de las funciones de modelado de R, gamespera que se proporcione una fórmula de modelo, especificando la estructura del modelo a ajustar. La variable de respuesta se da a la izquierda de la , ~mientras que la especificación del predictor lineal se da a la derecha. gamestablece bases y penalizaciones para los términos suavizados, estima el modelo incluyendo sus parámetros de suavizado y, de la manera estándar de R, devuelve un objeto de modelo ajustado , que luego se puede consultar utilizando varias funciones auxiliares, como summary, plot, predict, y AIC.

Este sencillo ejemplo ha utilizado varias configuraciones predeterminadas que es importante conocer. Por ejemplo, se ha asumido una distribución gaussiana y una función de enlace de identidad, y el criterio de selección del parámetro de suavizado fue GCV. Además, los términos suavizados se representaron utilizando splines de regresión de placa delgada penalizados, y la dimensión base para cada uno se estableció en 10 (lo que implica un máximo de 9 grados de libertad después de que se hayan impuesto las restricciones de identificabilidad). Un segundo ejemplo ilustra cómo podemos controlar estas cosas. Supongamos que queremos estimar el modelo.

${\displaystyle y_{i}\sim {\text{Poi}}(\mu _{i}){\text{ where }}\log \mu _{i}=\beta _{0}+\beta _{1}x_{i}+f_{1}(t_{i})+f_{2}(v_{i},w_{i}).}$

utilizando la selección de parámetros de suavizado REML, y esperamos${\displaystyle f_{1}}$ser una función relativamente complicada que nos gustaría modelar con una spline de regresión cúbica penalizada. Para${\displaystyle f_{2}}$También tenemos que decidir si${\displaystyle v}$y${\displaystyle w}$están naturalmente en la misma escala, por lo que un suavizador isotrópico como el spline de placa delgada es apropiado (especificado a través de `s(v,w)'), o si realmente están en escalas diferentes, por lo que necesitamos penalizaciones de suavizado y parámetros de suavizado separados para${\displaystyle v}$y${\displaystyle w}$como lo proporciona un suavizador de producto tensorial. Supongamos que optamos por este último en este caso, entonces el siguiente código R estimaría el modelo.

b1 = gam(y ~ x + s(t,bs="cr",k=100) + te(v,w),family=poisson,method="REML")

que utiliza un tamaño de base de 100 para el suavizado de${\displaystyle t}$La especificación de la distribución y la función de enlace utiliza los objetos `family`, que son estándar al ajustar modelos lineales generalizados (GLM) en R o S. Cabe destacar que también se pueden añadir efectos aleatorios gaussianos al predictor lineal.

Estos ejemplos solo pretenden ofrecer una idea muy básica de cómo se utiliza el software GAM; para obtener más detalles, consulte la documentación del software para los distintos paquetes y las referencias que aparecen a continuación. ^{[ 11 ] [ 25 ] [ 4 ] [ 23 ] [ 14 ] [ 26 ]}

Como con cualquier modelo estadístico, es importante verificar los supuestos del modelo GAM. Los gráficos de residuos deben examinarse de la misma manera que para cualquier GLM. Es decir, los residuos de desviación (u otros residuos estandarizados) deben examinarse en busca de patrones que puedan sugerir una violación sustancial de los supuestos de independencia o de media-varianza del modelo. Esto generalmente implicará graficar los residuos estandarizados frente a los valores ajustados y las covariables para buscar problemas de media-varianza o patrones faltantes, y también puede implicar examinar correlogramas (ACF) y/o variogramas de los residuos para verificar la violación de la independencia. Si la relación media-varianza del modelo es correcta, entonces los residuos escalados deberían tener una varianza aproximadamente constante. Cabe señalar que, dado que los GLM y GAM pueden estimarse utilizando la cuasi-verosimilitud , se deduce que los detalles de la distribución de los residuos más allá de la relación media-varianza son de importancia relativamente menor.

Un problema más común en los GAM que en otros GLM es el riesgo de concluir erróneamente que los datos están sobreestimados en ceros. La dificultad surge cuando los datos contienen muchos ceros que pueden modelarse mediante una distribución de Poisson o binomial con un valor esperado muy bajo: la flexibilidad de la estructura GAM a menudo permite representar una media muy baja en alguna región del espacio de covariables, pero la distribución de los residuos estandarizados no se parecerá en nada a la normalidad aproximada que nos enseñan a esperar en las clases introductorias de GLM, incluso si el modelo es perfectamente correcto. ^{[ 27 ]}

La única comprobación adicional que introducen los GAM es la necesidad de verificar que los grados de libertad elegidos sean apropiados. Esto es particularmente importante cuando se utilizan métodos que no estiman automáticamente la suavidad de los componentes del modelo. Cuando se utilizan métodos con selección automática de parámetros de suavizado, sigue siendo necesario verificar que la elección de la dimensión base no sea restrictivamente pequeña, aunque si los grados de libertad efectivos de la estimación de un término son considerablemente inferiores a su dimensión base, esto es improbable. En cualquier caso, la verificación${\displaystyle f_{j}(x_{j})}$se basa en examinar el patrón en los residuos con respecto a${\displaystyle x_{j}}$Esto se puede hacer utilizando residuos parciales superpuestos en el gráfico de${\displaystyle {\hat {f}}_{j}(x_{j})}$o bien, utilizando la permutación de los residuos para construir pruebas de patrones residuales.

Cuando los parámetros de suavizado se estiman como parte del ajuste del modelo, gran parte de lo que tradicionalmente se consideraría selección de modelo se ha absorbido en el proceso de ajuste: la estimación de los parámetros de suavizado ya ha seleccionado entre una amplia gama de modelos de diferente complejidad funcional. Sin embargo, la estimación de los parámetros de suavizado no suele eliminar por completo un término suavizado del modelo, ya que la mayoría de las penalizaciones dejan algunas funciones sin penalizar (por ejemplo, las líneas rectas no se ven afectadas por la penalización de la derivada de spline mencionada anteriormente). Por lo tanto, persiste la pregunta de si un término debería estar en el modelo. Un enfoque sencillo para este problema consiste en añadir una penalización adicional a cada término suavizado en el GAM, que penaliza los componentes del suavizado que de otro modo no se verían afectados (y solo esos). Cada penalización adicional tiene su propio parámetro de suavizado y la estimación procede como antes, pero ahora con la posibilidad de que los términos se penalicen completamente a cero. ^{[ 28 ]} En entornos de alta dimensionalidad, puede tener más sentido intentar esta tarea utilizando la regularización lasso o elastic net . Boosting también realiza la selección de términos automáticamente como parte del ajuste. ^{[ 14 ]}

Una alternativa es utilizar métodos de regresión escalonada tradicionales para la selección de modelos. Este es también el método predeterminado cuando no se estiman parámetros de suavizado como parte del ajuste, en cuyo caso a cada término suavizado se le permite tomar uno de un pequeño conjunto de niveles de suavizado predefinidos dentro del modelo, y estos se seleccionan de forma escalonada. Los métodos escalonados operan comparando iterativamente modelos con o sin términos de modelo particulares (o posiblemente con diferentes niveles de complejidad de los términos), y requieren medidas de ajuste del modelo o significancia de los términos para decidir qué modelo seleccionar en cada etapa. Por ejemplo, podríamos usar valores p para probar la igualdad de cada término con respecto a cero para decidir qué términos candidatos eliminar de un modelo, y podríamos comparar los valores del criterio de información de Akaike (AIC) para modelos alternativos.

El cálculo del valor p para suavizados no es sencillo, debido a los efectos de la penalización, pero existen aproximaciones. ^{[ 1 ] [ 11 ]} El AIC se puede calcular de dos maneras para los GAM. El AIC marginal se basa en la verosimilitud marginal (ver arriba) con los coeficientes del modelo integrados. En este caso, la penalización del AIC se basa en el número de parámetros de suavizado (y cualquier parámetro de varianza) en el modelo. Sin embargo, debido al hecho bien conocido de que REML no es comparable entre modelos con diferentes estructuras de efectos fijos, normalmente no podemos usar dicho AIC para comparar modelos con diferentes términos de suavizado (ya que sus componentes no penalizados actúan como efectos fijos). Es posible basar el AIC en la verosimilitud marginal en la que solo se integran los efectos penalizados (el número de coeficientes no penalizados ahora se agrega al recuento de parámetros para la penalización del AIC), pero esta versión de la verosimilitud marginal sufre de la tendencia a sobresuavizar que proporcionó la motivación original para desarrollar REML. Dados estos problemas, los GAM se comparan a menudo utilizando el AIC condicional, en el que se utiliza la verosimilitud del modelo (no la verosimilitud marginal) y el número de parámetros se toma como los grados de libertad efectivos del modelo. ^{[ 1 ] [ 22 ]}

Se ha demostrado que las versiones ingenuas del AIC condicional tienen una probabilidad demasiado alta de seleccionar modelos más grandes en algunas circunstancias, una dificultad atribuible a la negligencia de la incertidumbre del parámetro de suavizado al calcular los grados de libertad efectivos, ^{[ 29 ]} sin embargo, corregir los grados de libertad efectivos para este problema restablece un rendimiento razonable. ^{[ 3 ]}

El sobreajuste puede ser un problema con los GAM, ^{[ 22 ]} especialmente si hay autocorrelación residual no modelada o sobredispersión no modelada . La validación cruzada puede usarse para detectar y/o reducir problemas de sobreajuste con los GAM (u otros métodos estadísticos), ^{[ 30 ]} y el software a menudo permite aumentar el nivel de penalización para forzar ajustes más suaves. Estimar un número muy grande de parámetros de suavizado también puede ser estadísticamente desafiante, y existen tendencias conocidas de que los criterios de error de predicción (GCV, AIC, etc.) a veces no suavizan sustancialmente, particularmente en tamaños de muestra moderados, siendo REML algo menos problemático en este sentido. ^{[ 31 ]}

Cuando sea apropiado, los modelos más simples, como los GLM, pueden ser preferibles a los GAM, a menos que los GAM mejoren sustancialmente la capacidad predictiva (en conjuntos de validación) para la aplicación en cuestión.

• Modelo aditivo
• Algoritmo de ajuste inverso
• Modelo aditivo generalizado para localización, escala y forma (GAMLSS)
• Grados de libertad efectivos residuales
• regresión semiparamétrica

• gam , un paquete de R para GAM mediante ajuste inverso.
• gam , módulo Python en el módulo statsmodels.gam.
• InterpretML , un paquete de Python para ajustar modelos aditivos generalizados (GAM) mediante bagging y boosting.
• mgcv , un paquete de R para GAM que utiliza splines de regresión penalizados.
• mboost , un paquete de R para boosting que incluye modelos aditivos.
• gss , un paquete de R para suavizar el ANOVA mediante splines.
• Software INLA para inferencia bayesiana con GAM y más.
• Software BayesX para enfoques MCMC y de máxima verosimilitud penalizada en modelos aditivos generalizados (GAM).
• Haciendo magia y analizando series temporales estacionales con GAM en R
• GAM: La solución definitiva para el modelado predictivo
• Construcción de GAM mediante proyección descendente