Распределение Марченко – Пастура

Распределение сингулярных значений больших прямоугольных случайных матриц

График распределения Марченко-Пастура для различных значений лямбда

В математической теории случайных матриц распределение Марченко –Пастура , или закон Марченко–Пастура , описывает асимптотическое поведение сингулярных чисел больших прямоугольных случайных матриц . Теорема названа в честь советских математиков Владимира Марченко и Леонида Пастура , которые доказали этот результат в 1967 году.

Если обозначает случайную матрицу, элементы которой являются независимыми одинаково распределенными случайными величинами со средним значением 0 и дисперсией , пусть ${\displaystyle X}$ ${\displaystyle m\times n}$ ${\displaystyle \sigma ^{2}<\infty }$

${\displaystyle Y_{n}={\frac {1}{n}}XX^{T}}$

и пусть будут собственными значениями ( рассматриваемыми как случайные величины ). Наконец, рассмотрим случайную меру ${\displaystyle \lambda _{1},\,\lambda _{2},\,\dots ,\,\lambda _{m}}$ ${\displaystyle Y_{n}}$

${\displaystyle \mu _{m}(A)={\frac {1}{m}}\#\left\{\lambda _{j}\in A\right\},\quad A\subset \mathbb {R} .}$

подсчет количества собственных значений в подмножестве, включенном в . ${\displaystyle A}$ ${\displaystyle \mathbb {R} }$

Теорема . ^{[ требуется ссылка ]} Предположим, что так что отношение . Тогда (в слабой* топологии в распределении ), где ${\displaystyle m,\,n\,\to \,\infty }$ ${\displaystyle m/n\,\to \,\lambda \in (0,+\infty )}$ ${\displaystyle \mu _{m}\,\to \,\mu }$

${\displaystyle \mu (A)={\begin{cases}(1-{\frac {1}{\lambda }})\mathbf {1} _{0\in A}+\nu (A),&{\text{if }}\lambda >1\\\nu (A),&{\text{if }}0\leq \lambda \leq 1,\end{cases}}}$

и

${\displaystyle d\nu (x)={\frac {1}{2\pi \sigma ^{2}}}{\frac {\sqrt {(\lambda _{+}-x)(x-\lambda _{-})}}{\lambda x}}\,\mathbf {1} _{x\in [\lambda _{-},\lambda _{+}]}\,dx}$

с

${\displaystyle \lambda _{\pm }=\sigma ^{2}(1\pm {\sqrt {\lambda }})^{2}.}$

Закон Марченко–Пастура возникает также как свободный закон Пуассона в свободной теории вероятностей, имеющий скорость и размер скачка . ${\displaystyle 1/\lambda }$ ${\displaystyle \sigma ^{2}}$

Моменты

Для каждого его -й момент равен ^[1] ${\displaystyle k\geq 1}$ ${\displaystyle k}$

$${\displaystyle \sum _{r=0}^{k-1}{\frac {\sigma ^{2k}}{r+1}}{\binom {k}{r}}{\binom {k-1}{r}}\lambda ^{r}={\frac {\sigma ^{2k}}{k}}\sum _{r=0}^{k-1}{\binom {k}{r}}{\binom {k}{r+1}}\lambda ^{r}}$$

Некоторые преобразования этого закона

Преобразование Стилтьеса определяется как

${\displaystyle s(z)={\frac {\sigma ^{2}(1-\lambda )-z-{\sqrt {(z-\sigma ^{2}(\lambda +1))^{2}-4\lambda \sigma ^{4}}}}{2\lambda z\sigma ^{2}}}}$

для комплексных чисел z с положительной мнимой частью, где комплексный квадратный корень также принимается имеющим положительную мнимую часть. ^[2] Преобразование Стилтьеса можно переупаковать в виде R-преобразования, которое задается как ^[3]

${\displaystyle R(z)={\frac {\sigma ^{2}}{1-\sigma ^{2}\lambda z}}}$

S-преобразование определяется как ^[3]

${\displaystyle S(z)={\frac {1}{\sigma ^{2}(1+\lambda z)}}.}$

Для случая -преобразование ^[3] определяется выражением , где удовлетворяет закону Марченко-Пастура. ${\displaystyle \sigma =1}$ ${\displaystyle \eta }$ ${\displaystyle \mathbb {E} {\frac {1}{1+\gamma X}}}$ ${\displaystyle X}$

${\displaystyle \eta (\gamma )=1-{\frac {{\mathcal {F}}(\gamma ,\lambda )}{4\gamma \lambda }}}$

где ${\displaystyle {\mathcal {F}}(x,z)=\left({\sqrt {x(1+{\sqrt {z}})^{2}+1}}-{\sqrt {x(1-{\sqrt {z}})^{2}+1}}\right)^{2}}$

Для точного анализа регрессии высокой размерности в пропорциональном асимптотическом режиме часто удобной формой является упрощение ${\displaystyle T(u):=\eta \left({\tfrac {1}{u}}\right)}$

${\displaystyle T(u)={\frac {-1+\lambda -u+{\sqrt {(1+u-\lambda )^{2}+4u\lambda }}}{2\lambda }}}$

Следующие функции и , где удовлетворяет закону Марченко-Пастура, проявляются в предельных Bias и Variance соответственно, гребневой регрессии и других регуляризованных линейной регрессии. Можно показать, что и . ${\displaystyle B(u):=\mathbb {E} \left({\frac {u}{X+u}}\right)^{2}}$ ${\displaystyle V(u):=\left({\frac {X}{X+u}}\right)^{2}}$ ${\displaystyle X}$ ${\displaystyle B(u)=T(u)-u\cdot T'(u)}$ ${\displaystyle V(u)=T'(u)}$

Применение к корреляционным матрицам

Для частного случая корреляционных матриц мы знаем, что и . Это ограничивает массу вероятности в интервале, определяемом как ${\displaystyle \sigma ^{2}=1}$ ${\displaystyle \lambda =m/n}$

${\displaystyle \lambda _{\pm }=\left(1\pm {\sqrt {\frac {m}{n}}}\right)^{2}.}$

Поскольку это распределение описывает спектр случайных матриц со средним значением 0, собственные значения корреляционных матриц, которые попадают в вышеупомянутый интервал, можно считать ложными или шумовыми. Например, получение корреляционной матрицы 10 доходностей акций, рассчитанных за период в 252 торговых дня, даст . Таким образом, из 10 собственных значений указанной корреляционной матрицы только значения выше 1,43 будут считаться существенно отличающимися от случайных. ${\displaystyle \lambda _{+}=\left(1+{\sqrt {\frac {10}{252}}}\right)^{2}\approx 1.43}$

Смотрите также

• Распределение полукруга Вигнера
• Распределение Трейси–Уидома

Ссылки

1. Бай и Сильверстайн 2010, Раздел 3.1.1.
2. Бай и Сильверстайн 2010, Раздел 3.3.1.
3. Тулино и Верду 2004, Раздел 2.2.

• Бай, Чжидун; Сильверстайн, Джек В. (2010). Спектральный анализ больших размерных случайных матриц . Springer Series in Statistics (Второе издание оригинального издания 2006 г.). Нью-Йорк: Springer . doi :10.1007/978-1-4419-0661-8. ISBN 978-1-4419-0660-1. MR  2567175. Zbl  1301.60002.
• Эппс, Бренден; Кривицки, Эрик М. (2019). «Разложение сингулярных значений зашумленных данных: повреждение мод». Эксперименты по жидкостям . 60 (8): 1–30. Bibcode : 2019ExFl...60..121E. doi : 10.1007/s00348-019-2761-y. S2CID  198436243.
• Гётце, Ф.; Тихомиров, А. (2004). «Скорость сходимости по вероятности к закону Марченко–Пастура». Бернулли . 10 (3): 503–548. doi : 10.3150/bj/1089206408 .
• Марченко В.А.; Пастур, Луизиана (1967). «Распределение собственных значений для некоторых наборов случайных матриц». Мат. Сб. НС (на русском языке). 72 (114:4): 507–536. Бибкод : 1967СбМат...1..457М. doi : 10.1070/SM1967v001n04ABEH001994.Ссылка на бесплатный PDF-файл русской версии
• Ника, А.; Спайхер, Р. (2006). Лекции по комбинаторике свободной теории вероятностей . Cambridge Univ. Press. С. 204, 368. ISBN 0-521-85852-6.Ссылка на бесплатную загрузку Еще один сайт с бесплатным доступом
• Тулино, Антония М.; Верду , Серхио (2004). «Теория случайных матриц и беспроводная связь». Основы и тенденции в теории коммуникаций и информации . 1 (1): 1–182. doi :10.1561/0100000001. Zbl  1143.94303.
• Чжан, В.; Абреу, Г.; Инамори, М.; Санада, Й. (2011). «Алгоритмы определения спектра с помощью конечных случайных матриц». Труды IEEE по коммуникациям . 60 (1): 164–175. doi :10.1109/TCOMM.2011.112311.100721. S2CID  206642535.