PCA disperso

El análisis de componentes principales dispersos (SPCA o PCA disperso) es una técnica utilizada en el análisis estadístico y, en particular, en el análisis de conjuntos de datos multivariados . Extiende el método clásico de análisis de componentes principales (PCA) para la reducción de la dimensionalidad de los datos mediante la introducción de estructuras dispersas en las variables de entrada.

Una desventaja particular del PCA convencional es que los componentes principales suelen ser combinaciones lineales de todas las variables de entrada. El SPCA supera esta desventaja al encontrar componentes que son combinaciones lineales de solo unas pocas variables de entrada (SPC). Esto significa que algunos de los coeficientes de las combinaciones lineales que definen los SPC, llamados cargas [ ^{nota 1 ],} son iguales a cero. El número de cargas distintas de cero se denomina cardinalidad del SPC.

Consideremos una matriz de datos ,${\displaystyle X}$, donde cada uno de los${\displaystyle p}$Las columnas representan una variable de entrada, y cada una de las${\displaystyle n}$Las filas representan una muestra independiente de la población de datos. Se supone que cada columna de${\displaystyle X}$tiene media cero, de lo contrario se puede restar la media de cada columna a cada elemento de${\displaystyle X}$. Dejar${\displaystyle \Sigma ={\frac {1}{n-1}}X^{\top }X}$sea ​​la matriz de covarianza empírica de${\displaystyle X}$, que tiene dimensión${\displaystyle p\times p}$.

Dado un número entero${\displaystyle k}$con${\displaystyle 1\leq k\leq p}$El problema de PCA disperso puede formularse como la maximización de la varianza a lo largo de una dirección representada por el vector${\displaystyle v\in \mathbb {R} ^{p}}$mientras se restringe su cardinalidad:

${\displaystyle {\begin{aligned}\max \quad &v^{T}\Sigma v\\{\text{sujeto a}}\quad &\left\Vert v\right\Vert _{2}=1\\&\left\Vert v\right\Vert _{0}\leq k.\end{aligned}}}$Ecuación 1

La primera restricción especifica que v es un vector unitario . En la segunda restricción,${\displaystyle \left\Vert v\right\Vert _{0}}$representa el${\displaystyle \ell _{0}}$pseudonorma de v , que se define como el número de sus componentes no nulas. Por lo tanto, la segunda restricción especifica que el número de componentes no nulas en v es menor o igual que k , que suele ser un entero mucho menor que la dimensión p . El valor óptimo de la ecuación 1 se conoce como el mayor autovalor disperso k .

Si se toma k=p , el problema se reduce al PCA ordinario , y el valor óptimo se convierte en el mayor valor propio de la matriz de covarianza Σ .

Después de encontrar la solución óptima v , se desinfla Σ para obtener una nueva matriz.

${\displaystyle \Sigma _ {1}=\Sigma -(v^{T}\Sigma v)vv^{T},}$

y repetir este proceso para obtener más componentes principales. Sin embargo, a diferencia del PCA, el PCA disperso no puede garantizar que los diferentes componentes principales sean ortogonales . Para lograr la ortogonalidad, se deben imponer restricciones adicionales.

La siguiente definición equivalente está en forma matricial. Sea${\displaystyle V}$Sea una matriz simétrica p×p , se puede reescribir el problema de PCA disperso como

${\displaystyle {\begin{aligned}\max \quad &Tr(\Sigma V)\\{\text{sujeto a}}\quad &Tr(V)=1\\&\Vert V\Vert _{0}\leq k^{2}\\&Rank(V)=1,V\succeq 0.\end{aligned}}}$Ecuación 2

Tr es la traza de la matriz y${\displaystyle \Vert V\Vert _ {0}}$representa los elementos no nulos en la matriz V. La última línea especifica que V tiene rango de matriz uno y es semidefinida positiva . La última línea significa que uno tiene${\displaystyle V=vv^{T}}$, por lo tanto , la ecuación 2 es equivalente a la ecuación 1 .

Además, la restricción de rango en esta formulación es realmente redundante y, por lo tanto, el PCA disperso se puede expresar como el siguiente programa semidefinido de enteros mixtos ^{[ 1 ].}

${\displaystyle {\begin{aligned}\max \quad &Tr(\Sigma V)\\{\text{subject to}}\quad &Tr(V)=1\\&\vert V_{i,i}\vert \leq z_{i},\forall i\in \{1,...,p\},\vert V_{i,j}\vert \leq {\frac {1}{2}}z_{i},\forall i,j\in \{1,...,p\}:i\neq j,\\&V\succeq 0,z\in \{0,1\}^{p},\sum _{i}z_{i}\leq k\end{aligned}}}$Ecuación 3

Debido a la restricción de cardinalidad, el problema de maximización es difícil de resolver exactamente, especialmente cuando la dimensión p es alta. De hecho, el problema PCA disperso en la ecuación 1 es NP-difícil en sentido fuerte. ^{[ 2 ]}

Como la mayoría de los problemas dispersos, la selección de variables en SPCA es un problema NP-difícil no convexo computacionalmente intratable, ^{[ 3 ]} por lo tanto, a menudo se emplean algoritmos subóptimos voraces para encontrar soluciones.

Cabe señalar también que SPCA introduce hiperparámetros que cuantifican en qué medida se penalizan los valores de parámetros grandes. ^{[ 4 ]} Estos podrían requerir ajustes para lograr un rendimiento satisfactorio, lo que aumentaría el costo computacional total.

Se han propuesto varios enfoques alternativos (de la ecuación 1 ), incluyendo:

• un marco de regresión, ^{[ 5 ]}
• un marco de descomposición de matriz penalizada , ^{[ 6 ]}
• un marco de relajación convexa/programación semidefinida, ^{[ 7 ]}
• un marco de método de potencia generalizado ^{[ 8 ]}
• un marco de maximización alternada ^{[ 9 ]}
• búsqueda voraz hacia adelante y hacia atrás y métodos exactos que utilizan técnicas de ramificación y acotación, ^{[ 10 ]}
• un enfoque de ramificación y acotación certificablemente óptimo ^{[ 11 ]}
• Marco de formulación bayesiana. ^{[ 12 ]}
• Un enfoque de ramificación y corte semidefinido de enteros mixtos certificablemente óptimo ^{[ 1 ]}

Los desarrollos metodológicos y teóricos del PCA disperso, así como sus aplicaciones en estudios científicos, se revisan recientemente en un artículo de revisión. ^{[ 13 ]}

• amanpg - Paquete R para PCA disperso utilizando el método de gradiente proximal de variedad alternante ^{[ 16 ]}
• elasticnet – Paquete de R para estimación dispersa y PCA dispersa usando Elastic-Nets ^{[ 17 ]}
• epca – Paquete de R para análisis exploratorio de componentes principales para conjuntos de datos a gran escala, incluyendo análisis de componentes principales dispersos y aproximación de matrices dispersas. ^{[ 18 ]}
• nsprcomp - Paquete de R para PCA disperso y/o no negativo basado en iteraciones de potencia umbralizadas ^{[ 19 ]}
• scikit-learn – Biblioteca de Python para aprendizaje automático que contiene PCA disperso y otras técnicas en el módulo de descomposición. ^{[ 20 ]}