Función predictora lineal

En estadística y aprendizaje automático , una función predictora lineal es una función lineal ( combinación lineal ) de un conjunto de coeficientes y variables explicativas ( variables independientes ), cuyo valor se utiliza para predecir el resultado de una variable dependiente . ^{[ 1 ]} Este tipo de función suele aparecer en la regresión lineal , donde los coeficientes se denominan coeficientes de regresión . Sin embargo, también aparecen en varios tipos de clasificadores lineales (por ejemplo, regresión logística , ^{[ 2 ]} perceptrones , ^{[ 3 ]} máquinas de vectores de soporte , ^{[ 4 ]} y análisis discriminante lineal ^{[ 5 ]} ), así como en otros modelos, como el análisis de componentes principales ^{[ 6 ]} y el análisis factorial . En muchos de estos modelos, los coeficientes se denominan "pesos".

La forma básica de una función predictora lineal${\displaystyle f(i)}$para el punto de datos i (que consta de p variables explicativas ), para i = 1, ..., n , es

${\displaystyle f(i)=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip},}$

dónde${\displaystyle x_{ik}}$, para k = 1, ..., p , es el valor de la k -ésima variable explicativa para el punto de datos i , y${\displaystyle \beta _{0},\ldots ,\beta _{p}}$son los coeficientes (coeficientes de regresión, ponderaciones, etc.) que indican el efecto relativo de una variable explicativa particular sobre el resultado .

Un ejemplo del uso de una función predictora lineal se encuentra en la regresión lineal , donde cada punto de datos está asociado con un resultado continuo y _i , y la relación se escribe

${\displaystyle y_{i}=f(i)+\varepsilon _{i}={\boldsymbol {\beta }}^{\mathrm {T} }\mathbf {x} _{i}\ +\varepsilon _{i},}$

dónde${\displaystyle \varepsilon _ {i}}$es un término de perturbación o variable de error : una variable aleatoria no observada que agrega ruido a la relación lineal entre la variable dependiente y la función predictora.

En algunos modelos (regresión lineal estándar, en particular), las ecuaciones para cada uno de los puntos de datos i = 1, ..., n se apilan y se escriben en forma vectorial como

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

dónde

${\displaystyle \mathbf {y} ={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}},\quad \mathbf {X} ={\begin{pmatrix}\mathbf {x} '_{1}\\\mathbf {x} '_{2}\\\vdots \\\mathbf {x} '_{n}\end{pmatrix}}={\begin{pmatrix}x_{11}&\cdots &x_{1p}\\x_{21}&\cdots &x_{2p}\\\vdots &\ddots &\vdots \\x_{n1}&\cdots &x_{np}\end{pmatrix}},\quad {\boldsymbol {\beta }}={\begin{pmatrix}\beta _{1}\\\vdots \\\beta _{p}\end{pmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}.}$

La matriz X se conoce como matriz de diseño y codifica toda la información conocida sobre las variables independientes . Las variables${\displaystyle \varepsilon _ {i}}$son variables aleatorias , que en la regresión lineal estándar se distribuyen según una distribución normal estándar ; expresan la influencia de cualquier factor desconocido sobre el resultado.

Esto permite encontrar coeficientes óptimos mediante el método de mínimos cuadrados utilizando operaciones matriciales simples. En particular, los coeficientes óptimos${\displaystyle {\boldsymbol {\sombrero {\beta }}}}$Según la estimación por mínimos cuadrados, se puede escribir de la siguiente manera:

${\displaystyle {\boldsymbol {\hat {\beta }}}=(X^{\mathrm {T} }X)^{-1}X^{\mathrm {T} }\mathbf {y} .}$

La matriz${\displaystyle (X^{\mathrm {T} }X)^{-1}X^{\mathrm {T} }}$Se conoce como la pseudoinversa de Moore-Penrose de X. El uso de la inversa de la matriz en esta fórmula requiere que X sea de rango completo , es decir, que no exista multicolinealidad perfecta entre las diferentes variables explicativas (es decir, que ninguna variable explicativa pueda predecirse perfectamente a partir de las demás). En tales casos, se puede utilizar la descomposición en valores singulares para calcular la pseudoinversa.

Cuando se utiliza un conjunto fijo de funciones no lineales para transformar el valor o los valores de un punto de datos, estas funciones se conocen como funciones base . Un ejemplo es la regresión polinómica , que utiliza una función predictora lineal para ajustar una relación polinómica de grado arbitrario (hasta un orden dado) entre dos conjuntos de puntos de datos (es decir, una única variable explicativa de valor real y una variable dependiente relacionada de valor real), mediante la adición de múltiples variables explicativas que corresponden a diversas potencias de la variable explicativa existente. Matemáticamente, la forma es la siguiente:

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{p}x_{i}^{p}.}$

En este caso, para cada punto de datos i , se crea un conjunto de variables explicativas de la siguiente manera:

${\displaystyle (x_{i1}=x_{i},\quad x_{i2}=x_{i}^{2},\quad \ldots ,\quad x_{ip}=x_{i}^{p})}$

y luego se ejecuta la regresión lineal estándar . Las funciones base en este ejemplo serían:

${\displaystyle {\boldsymbol {\phi }}(x)=(\phi _{1}(x),\phi _{2}(x),\ldots ,\phi _{p}(x))=(x,x^{2},\ldots ,x^{p}).}$

Este ejemplo demuestra que una función predictora lineal puede ser mucho más potente de lo que parece a primera vista: solo necesita ser lineal en los coeficientes . El modelo puede ajustar todo tipo de funciones no lineales de las variables explicativas.

No es necesario que las entradas de las funciones base sean univariadas o unidimensionales (ni sus salidas, de hecho, aunque en tal caso, un valor de salida K -dimensional probablemente se trate como K funciones base de salida escalar separadas). Un ejemplo de esto son las funciones de base radial (RBF), que calculan una versión transformada de la distancia a un punto fijo:

${\displaystyle \phi (\mathbf {x}$ ;\mathbf {c} )=\phi (||\mathbf {x} -\mathbf {c} ||)=\phi ({\sqrt {(x_{1}-c_{1})^{2}+\ldots +(x_{K}-c_{K})^{2}}})}

Un ejemplo es la RBF gaussiana , que tiene la misma forma funcional que la distribución normal :

${\displaystyle \phi (\mathbf {x}$ ;\mathbf {c} )=e^{-b||\mathbf {x} -\mathbf {c} ||^{2}}}

que disminuye rápidamente a medida que aumenta la distancia desde c .

Un posible uso de las RBF consiste en crear una para cada punto de datos observado. Esto significa que el resultado de una RBF aplicada a un nuevo punto de datos será cercano a 0, a menos que el nuevo punto esté cerca del punto alrededor del cual se aplicó la RBF. Es decir, la aplicación de las funciones de base radial seleccionará el punto más cercano, y su coeficiente de regresión será dominante. El resultado será una forma de interpolación del vecino más cercano , donde las predicciones se realizan simplemente utilizando la predicción del punto de datos observado más cercano, posiblemente interpolando entre múltiples puntos de datos cercanos cuando todos están a distancias similares. Este tipo de método del vecino más cercano para la predicción a menudo se considera diametralmente opuesto al tipo de predicción utilizado en la regresión lineal estándar: pero, de hecho, las transformaciones que se pueden aplicar a las variables explicativas en una función predictora lineal son tan potentes que incluso el método del vecino más cercano puede implementarse como un tipo de regresión lineal.

Incluso es posible ajustar algunas funciones que parecen no lineales en los coeficientes transformando dichos coeficientes en nuevos coeficientes que sí parecen lineales. Por ejemplo, una función de la forma${\displaystyle a+b^{2}x_{i1}+{\sqrt {c}}x_{i2}}$para coeficientes${\displaystyle a,b,c}$podría transformarse en la función lineal apropiada aplicando las sustituciones${\displaystyle b'=b^{2},c'={\sqrt {c}},}$conduciendo a${\displaystyle a+b'x_{i1}+c'x_{i2},}$que es lineal. Se podrían aplicar técnicas de regresión lineal y similares, y a menudo encontrarán los coeficientes óptimos, pero sus estimaciones de error y demás serán incorrectas.

Las variables explicativas pueden ser de cualquier tipo : reales , binarias , categóricas , etc. La distinción principal radica entre variables continuas (por ejemplo, ingresos, edad, presión arterial , etc.) y variables discretas (por ejemplo, sexo, raza, partido político, etc.). Las variables discretas que se refieren a más de dos opciones posibles se codifican normalmente mediante variables ficticias (o variables indicadoras ), es decir, se crean variables explicativas separadas que toman el valor 0 o 1 para cada valor posible de la variable discreta, donde un 1 significa "la variable tiene el valor dado" y un 0 significa "la variable no tiene el valor dado". Por ejemplo, una variable discreta de cuatro vías para el grupo sanguíneo con los posibles valores "A, B, AB, O" se convertiría en variables ficticias separadas de dos vías, "es-A, es-B, es-AB, es-O", donde solo una de ellas tiene el valor 1 y todas las demás tienen el valor 0. Esto permite que se asignen coeficientes de regresión separados para cada valor posible de la variable discreta.

Nótese que, para K categorías, no todas las K variables ficticias son independientes entre sí. Por ejemplo, en el ejemplo del grupo sanguíneo anterior, solo tres de las cuatro variables ficticias son independientes, en el sentido de que una vez que se conocen los valores de tres de las variables, la cuarta se determina automáticamente. Por lo tanto, en realidad solo es necesario codificar tres de las cuatro posibilidades como variables ficticias, y de hecho, si se codifican las cuatro posibilidades, el modelo general se vuelve no identificable . Esto causa problemas para varios métodos, como la solución simple de forma cerrada utilizada en la regresión lineal. La solución consiste en evitar estos casos eliminando una de las variables ficticias o introduciendo una restricción de regularización (lo que requiere un método más potente, generalmente iterativo, para encontrar los coeficientes óptimos). ^{[ 7 ]}

• Modelo lineal
• Regresión lineal