Distribución Marchenko-Pastur

En la teoría matemática de matrices aleatorias , la distribución de Marchenko-Pastur , o ley de Marchenko-Pastur , describe el comportamiento asintótico de los valores singulares de grandes matrices aleatorias rectangulares . El teorema recibe su nombre de los matemáticos soviético- ucranianos Volodymyr Marchenko y Leonid Pastur, quienes demostraron este resultado en 1967.

Si${\displaystyle X}$denota un${\displaystyle m\times n}$matriz aleatoria cuyas entradas son variables aleatorias independientes idénticamente distribuidas con media 0 y varianza ${\displaystyle \sigma ^{2}<\infty }$, dejar

${\displaystyle Y_{n}={\frac {1}{n}}XX^{T}}$

y dejar${\displaystyle \lambda _{1},\,\lambda _{2},\,\dots ,\,\lambda _{m}}$sean los valores propios de${\displaystyle Y_{n}}$(consideradas como variables aleatorias ). Finalmente, consideremos la medida aleatoria.

${\displaystyle \mu _{m}(A)={\frac {1}{m}}\#\left\{\lambda _{j}\in A\right\},\quad A\subset \mathbb {R} ,}$

que es la distribución empírica, contando el número de valores propios en el subconjunto${\displaystyle A}$incluido en${\displaystyle \mathbb {R} }$.

Teorema . Supongamos que${\displaystyle m,\,n\,\to \,\infty }$de modo que la proporción${\displaystyle m/n\,\to \,\lambda \in (0,+\infty )}$. Entonces${\displaystyle \mu _{m}\,\to \,\mu }$(en topología débil* en distribución ), donde

${\displaystyle \mu (A)={\begin{cases}(1-{\frac {1}{\lambda }})\mathbf {1} _{0\in A}+\nu (A),&{\text{si }}\lambda >1\\\nu (A),&{\text{si }}0\leq \lambda \leq 1,\end{cases}}}$

y

${\displaystyle d\nu (x)={\frac {1}{2\pi \sigma ^{2}}}{\frac {\sqrt {(\lambda _{+}-x)(x-\lambda _{-})}}{\lambda x}}\,\mathbf {1} _{x\in [\lambda _{-},\lambda _{+}]}\,dx}$

con

${\displaystyle \lambda _{\pm }=\sigma ^{2}(1\pm {\sqrt {\lambda }})^{2}.}$

La ley de Marchenko-Pastur también surge como la ley de Poisson libre en la teoría de probabilidad libre, teniendo tasa${\displaystyle 1/\lambda }$y tamaño del salto${\displaystyle \lambda \sigma ^{2}}$.

A medida que las dimensiones de una matriz aleatoria${\displaystyle \mathbf {X} }$a medida que crecen, los valores singulares máximos/mínimos convergen a ${\displaystyle \|\mathbf {X} \|_{F}\left({\frac {1}{\sqrt {\min(m,n)}}}\pm {\frac {1}{\sqrt {\max(m,n)}}}\right)}$ .

Estas son aproximaciones útiles de los límites de valores singulares para matrices grandes. Para matrices de tamaño finito, como las que se encuentran habitualmente, son más bien "directrices" que reglas propiamente dichas.

Para cada${\displaystyle k\geq 1}$, es${\displaystyle k}$-ésimo momento es ^{[ 1 ]}

$${\displaystyle \sum _{r=0}^{k-1}{\frac {\sigma ^{2k}}{r+1}}{\binom {k}{r}}{\binom {k-1}{r}}\lambda ^{r}={\frac {\sigma ^{2k}}{k}}\sum _{r=0}^{k-1}{\binom {k}{r}}{\binom {k}{r+1}}\lambda ^{r}}$$

La transformada de Stieltjes viene dada por

${\displaystyle s(z)={\frac {\sigma ^{2}(1-\lambda )-z-{\sqrt {(z-\sigma ^{2}(\lambda +1))^{2}-4\lambda \sigma ^{4}}}}{2\lambda z\sigma ^{2}}}}$

para números complejos z de parte imaginaria positiva, donde la raíz cuadrada compleja también se considera que tiene parte imaginaria positiva. ^{[ 2 ]} Satisface la ecuación cuadrática

${\displaystyle \lambda \sigma ^{2}zs(z)^{2}+\left(z-\sigma ^{2}(1-\lambda )\right)s(z)+1=0.}$

La transformada de Stieltjes se puede reempaquetar en la forma de la transformada R, que viene dada por ^{[ 3 ].}

${\displaystyle R(z)={\frac {\sigma ^{2}}{1-\sigma ^{2}\lambda z}}}$

La transformada S viene dada por ^{[ 3 ].}

${\displaystyle S(z)={\frac {1}{\sigma ^{2}(1+\lambda z)}}.}$

En el caso de${\displaystyle \sigma =1}$, el${\displaystyle \eta }$-transformación ^{[ 3 ]} viene dada por${\displaystyle \mathbb {E} {\frac {1}{1+\gamma X}}}$dónde${\displaystyle X}$Satisface la ley de Marchenko-Pastur.

${\displaystyle \eta (\gamma )=1-{\frac {{\mathcal {F}}(\gamma ,\lambda )}{4\gamma \lambda }}}$

dónde${\displaystyle {\mathcal {F}}(x,z)=\left({\sqrt {x(1+{\sqrt {z}})^{2}+1}}-{\sqrt {x(1-{\sqrt {z}})^{2}+1}}\right)^{2}}$

Para el análisis exacto de la regresión de alta dimensión en el régimen asintótico proporcional, a menudo se utiliza una forma conveniente.${\displaystyle T(u):=\eta \left({\tfrac {1}{u}}\right)}$lo cual se simplifica a

${\displaystyle T(u)={\frac {-1+\lambda -u+{\sqrt {(1+u-\lambda )^{2}+4u\lambda }}}{2\lambda }}}$

Las siguientes funciones${\displaystyle B(u):=\mathbb {E} \left({\frac {u}{X+u}}\right)^{2}}$y${\displaystyle V(u):={\frac {X}{(X+u)^{2}}}}$, dónde${\displaystyle X}$satisface la ley de Marchenko-Pastur, que aparece en el sesgo y la varianza límite, respectivamente, de la regresión de cresta y otros problemas de regresión lineal regularizada. Se puede demostrar que${\displaystyle B(u)=T(u)-u\cdot T'(u)}$y${\displaystyle V(u)=T'(u)}$.

Para el caso especial de matrices de correlación, sabemos que ${\displaystyle \sigma ^{2}=1}$y${\displaystyle \lambda =m/n}$. Esto limita la masa de probabilidad sobre el intervalo definido por

${\displaystyle \lambda _{\pm }=\left(1\pm {\sqrt {\frac {m}{n}}}\right)^{2}.}$

Dado que esta distribución describe el espectro de matrices aleatorias con media 0, los valores propios de las matrices de correlación que caen dentro del intervalo mencionado podrían considerarse espurios o ruido. Por ejemplo, obtener una matriz de correlación de 10 rendimientos de acciones calculados durante un período de 252 días de negociación daría como resultado${\displaystyle \lambda _{+}=\left(1+{\sqrt {\frac {10}{252}}}\right)^{2}\approx 1.43}$Por lo tanto, de los 10 valores propios de dicha matriz de correlación, solo los valores superiores a 1,43 se considerarían significativamente diferentes del azar.

• Distribución semicircular de Wigner
• Distribución de Tracy-Widom
• Distribución Wishart