Субгауссово распределение

Непрерывное распределение вероятностей

В теории вероятностей субгауссово распределение , распределение субгауссовой случайной величины , представляет собой распределение вероятностей с сильным затуханием хвоста. Более конкретно, в хвостах субгауссова распределения доминируют (т.е. затухают, по крайней мере, так же быстро, как) хвосты гауссова распределения. Это свойство дает субгауссовским распределениям свое название.

Формально распределение вероятностей случайной величины называется субгауссовым, если существует положительная константа C такая, что для каждого , ${\displaystyle X}$ ${\displaystyle t\geq 0}$

${\textstyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/C^{2})}}$.

Альтернативно, случайная величина считается субгауссовой, если ее функция распределения ограничена сверху (с точностью до константы) функцией распределения гауссовой. В частности, мы говорим, что это субгауссово, если, несмотря ни на что, мы имеем следующее: ${\displaystyle X}$ ${\displaystyle s\geq 0}$

${\displaystyle P(|X|\geq s)\leq cP(|Z|\geq s),}$

где – константа и – среднее нулевое гауссовское случайное значение. ^{[1] : Теорема 2.6.} ${\displaystyle c\geq 0}$ ${\displaystyle Z}$

Определения

Субгауссова норма , обозначаемая как , определяется формулой ${\displaystyle X}$ ${\displaystyle \Vert X\Vert _{gauss}}$

$${\displaystyle \Vert X\Vert _{gauss}=\inf \left\{c>0:\operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]\leq 2\right\},}$$

нормой Орлича ${\displaystyle X}$ ${\displaystyle \Phi (u)=e^{u^{2}}-1.}$ ${\displaystyle (2)}$

Субгауссовы свойства

Пусть — случайная величина. Следующие условия эквивалентны: ${\displaystyle X}$

1. ${\displaystyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/K_{1}^{2})}}$для всех , где – положительная константа; ${\displaystyle t\geq 0}$ ${\displaystyle K_{1}}$
2. ${\displaystyle \operatorname {E} [\exp {(X^{2}/K_{2}^{2})}]\leq 2}$, где – положительная константа; ${\displaystyle K_{2}}$
3. ${\displaystyle \operatorname {E} |X|^{p}\leq 2K_{3}^{p}\Gamma \left({\frac {p}{2}}+1\right)}$для всех , где – положительная константа. ${\displaystyle p\geq 1}$ ${\displaystyle K_{3}}$

Доказательство . По представлению слоеного пирога , ${\displaystyle (1)\implies (3)}$

$${\displaystyle {\begin{aligned}\operatorname {E} |X|^{p}&=\int _{0}^{\infty }\operatorname {P} (|X|^{p}\geq t)dt\\&=\int _{0}^{\infty }pt^{p-1}\operatorname {P} (|X|\geq t)dt\\&\leq 2\int _{0}^{\infty }pt^{p-1}\exp \left(-{\frac {t^{2}}{K_{1}^{2}}}\right)dt\\\end{aligned}}}$$

${\displaystyle u=t^{2}/K_{1}^{2}}$

$${\displaystyle {\begin{aligned}\operatorname {E} |X|^{p}&\leq 2K_{1}^{p}{\frac {p}{2}}\int _{0}^{\infty }u^{{\frac {p}{2}}-1}e^{-u}du\\&=2K_{1}^{p}{\frac {p}{2}}\Gamma \left({\frac {p}{2}}\right)\\&=2K_{1}^{p}\Gamma \left({\frac {p}{2}}+1\right).\end{aligned}}}$$

${\displaystyle (3)\implies (2)}$Использование ряда Тейлора для : ${\displaystyle e^{x}}$

$${\displaystyle e^{x}=1+\sum _{p=1}^{\infty }{\frac {x^{p}}{p!}},}$$

$${\displaystyle {\begin{aligned}\operatorname {E} [\exp {(\lambda X^{2})}]&=1+\sum _{p=1}^{\infty }{\frac {\lambda ^{p}\operatorname {E} {[X^{2p}]}}{p!}}\\&\leq 1+\sum _{p=1}^{\infty }{\frac {2\lambda ^{p}K_{3}^{2p}\Gamma \left(p+1\right)}{p!}}\\&=1+2\sum _{p=1}^{\infty }\lambda ^{p}K_{3}^{2p}\\&=2\sum _{p=0}^{\infty }\lambda ^{p}K_{3}^{2p}-1\\&={\frac {2}{1-\lambda K_{3}^{2}}}-1\quad {\text{for }}\lambda K_{3}^{2}<1,\end{aligned}}}$$

${\displaystyle 2}$ ${\displaystyle \lambda \leq {\frac {1}{3K_{3}^{2}}}}$ ${\displaystyle K_{2}\geq 3^{\frac {1}{2}}K_{3}}$

$${\displaystyle \operatorname {E} [\exp {(X^{2}/K_{2}^{2})}]\leq 2.}$$

${\displaystyle (2)\implies (1)}$По неравенству Маркова

$${\displaystyle \operatorname {P} (|X|\geq t)=\operatorname {P} \left(\exp \left({\frac {X^{2}}{K_{2}^{2}}}\right)\geq \exp \left({\frac {t^{2}}{K_{2}^{2}}}\right)\right)\leq {\frac {\operatorname {E} [\exp {(X^{2}/K_{2}^{2})}]}{\exp \left({\frac {t^{2}}{K_{2}^{2}}}\right)}}\leq 2\exp \left(-{\frac {t^{2}}{K_{2}^{2}}}\right).}$$

Более эквивалентные определения

Следующие свойства эквивалентны:

• Распределение субгауссово. ${\displaystyle X}$
• Условие преобразования Лапласа : для некоторого B, b > 0 , выполняется для всех . ${\displaystyle \operatorname {E} e^{\lambda (X-\operatorname {E} [X])}\leq Be^{\lambda ^{2}b}}$ ${\displaystyle \lambda }$
• Моментное условие: для некоторого K > 0 , для всех . ${\displaystyle \operatorname {E} |X|^{p}\leq K^{p}p^{p/2}}$ ${\displaystyle p\geq 1}$
• Условие производящей функции момента : для некоторых , для всех таких, что . ^[2] ${\displaystyle L>0}$ ${\displaystyle \operatorname {E} [\exp(\lambda ^{2}X^{2})]\leq \exp(L^{2}\lambda ^{2})}$ ${\displaystyle \lambda }$ ${\displaystyle |\lambda |\leq {\frac {1}{L}}}$
• Условие объединения: для некоторых c > 0 , для всех n > c , где являются iid- копиями X. ${\displaystyle \ \operatorname {E} [\max\{|X_{1}-\operatorname {E} [X]|,\ldots ,|X_{n}-\operatorname {E} [X]|\}]\leq c{\sqrt {\log n}}}$ ${\displaystyle X_{1},\ldots ,X_{n}}$

Примеры

Стандартная нормальная случайная величина является субгауссовой случайной величиной. ${\displaystyle X\sim N(0,1)}$

Пусть — случайная величина с симметричным распределением Бернулли (или распределением Радемахера) . То есть принимает значения и с вероятностью каждое. Поскольку , то следует, что ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle -1}$ ${\displaystyle 1}$ ${\displaystyle 1/2}$ ${\displaystyle X^{2}=1}$

$${\displaystyle \Vert X\Vert _{gauss}=\inf \left\{c>0:\operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]\leq 2\right\}=\inf \left\{c>0:\operatorname {E} \left[\exp {\left({\frac {1}{c^{2}}}\right)}\right]\leq 2\right\}={\frac {1}{\sqrt {\ln 2}}},}$$

${\displaystyle X}$

Максимум субгауссовских случайных величин

Рассмотрим конечный набор субгауссовских случайных величин X ₁ , ..., X _n с соответствующими субгауссовскими параметрами . Случайная величина M _n = max( X ₁ , ..., X _n ) представляет собой максимум этого набора. Ожидание может быть ограничено сверху . Обратите внимание, что для формирования этой границы не требуется никаких предположений о независимости. ^[1] ${\displaystyle \sigma }$ ${\displaystyle M_{n}}$ ${\displaystyle {\sqrt {2\sigma ^{2}\log n}}}$

Смотрите также

• Платикуртическое распространение

Примечания

1. Уэйнрайт MJ. Многомерная статистика: неасимптотическая точка зрения . Кембридж: Издательство Кембриджского университета; 2019. doi : 10.1017/9781108627771, ISBN 9781108627771 . 
2. Вершинин Р. (2018). Многомерная вероятность: введение в приложения в науке о данных . Кембридж: Издательство Кембриджского университета. стр. 33–34.

Рекомендации

• Кахане, JP (1960). «Локальные свойства функций серии функций Фурье». Студия Математика . 19 :1–25. дои : 10.4064/см-19-1-1-25 .
• Булдыгин В.В.; Козаченко, Ю.В. (1980). «Субгауссовы случайные величины». Украинский математический журнал . 32 (6): 483–489. дои : 10.1007/BF01087176.
• Леду, Мишель; Талагранд, Мишель (1991). Вероятность в банаховых пространствах . Спрингер-Верлаг.
• Стромберг, КР (1994). Вероятность для аналитиков . Чепмен и Холл/CRC.
• Литвак А.Е.; Пайор, А.; Рудельсон, М.; Томчак-Егерманн, Н. (2005). «Наименьшее сингулярное значение случайных матриц и геометрия случайных многогранников» (PDF) . Достижения в математике . 195 (2): 491–523. дои : 10.1016/j.aim.2004.08.004 .
• Рудельсон, Марк; Вершинин, Роман (2010). «Неасимптотическая теория случайных матриц: крайние сингулярные значения». Материалы Международного конгресса математиков 2010 . стр. 1576–1602. arXiv : 1003.2990 . дои : 10.1142/9789814324359_0111.
• Ривасплата, О. (2012). «Субгауссовы случайные величины: пояснительная записка» (PDF) . Неопубликовано .
• Вершинин Р. (2018). «Многомерная вероятность: введение в приложения в науке о данных» (PDF) . Том 47 Кембриджской серии по статистической и вероятностной математике . Издательство Кембриджского университета, Кембридж.
• Зайковским, К. (2020). «О нормах в некотором классе пространств Орлича экспоненциального типа случайных величин». Позитивность. Международный математический журнал, посвященный теории и приложениям позитивности. 24 (5): 1231—1240. arXiv: 1709.02970. doi.org/10.1007/s11117-019-00729-6.