Распределение субгаусса

Непрерывное распределение вероятностей

В теории вероятностей , субгауссовское распределение , распределение субгауссовой случайной величины , является распределением вероятностей с сильным затуханием хвоста. Более конкретно, хвосты субгауссовского распределения доминируются (т.е. затухают по крайней мере так же быстро, как) хвосты гауссовского . Это свойство дало субгауссовским распределениям их название.

Часто при анализе мы делим объект (например, случайную величину) на две части, центральную часть и дальний хвост, а затем анализируем каждую из них по отдельности. В вероятности это разделение обычно выглядит так: «Все интересное происходит около центра. Событие хвоста настолько редко, что мы можем спокойно его игнорировать». Субгауссовы распределения достойны изучения, потому что гауссово распределение хорошо изучено, и поэтому мы можем дать четкие границы редкости события хвоста. Аналогично, субэкспоненциальные распределения также достойны изучения.

Формально распределение вероятностей случайной величины называется субгауссовым, если существует положительная константа C такая, что для каждого , ${\displaystyle X}$ ${\displaystyle t\geq 0}$

${\textstyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/C^{2})}}$.

Существует много эквивалентных определений. Например, случайная величина является субгауссовой, если и только если ее функция распределения ограничена сверху (с точностью до константы) функцией распределения гауссовой: ${\displaystyle X}$

${\displaystyle P(|X|\geq t)\leq cP(|Z|\geq t)\quad \forall t>0}$

где — константа, а — гауссовская случайная величина с нулевым средним. ^{[1] : Теорема 2.6} ${\displaystyle c\geq 0}$ ${\displaystyle Z}$

Определения

Субгауссова норма

Субгауссовская норма , обозначаемая как , равна Другими словами, это норма Орлича , генерируемая функцией Орлича Согласно следующему условию , субгауссовские случайные величины могут быть охарактеризованы как случайные величины с конечной субгауссовой нормой. ${\displaystyle X}$ ${\displaystyle \Vert X\Vert _{\psi _{2}}}$ $${\displaystyle \Vert X\Vert _{\psi _{2}}=\inf \left\{c>0:\operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]\leq 2\right\}.}$$ ${\displaystyle X}$ ${\displaystyle \Phi (u)=e^{u^{2}}-1.}$ ${\displaystyle (2)}$

Прокси-коэффициент дисперсии

Если существует такое , что для всех , то называется прокси-фактором дисперсии , а наименьшее такое называется оптимальным прокси-фактором дисперсии и обозначается . ${\displaystyle s^{2}}$ ${\displaystyle \operatorname {E} [e^{(X-\operatorname {E} [X])t}]\leq e^{\frac {s^{2}t^{2}}{2}}}$ ${\displaystyle t}$ ${\displaystyle s^{2}}$ ${\displaystyle s^{2}}$ ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}}$

Так как когда является гауссовым, то имеем , как и должно быть. ${\displaystyle \operatorname {E} [e^{(X-\operatorname {E} [X])t}]=e^{\frac {\sigma ^{2}t^{2}}{2}}}$ ${\displaystyle X\sim {\mathcal {N}}(\mu ,\sigma ^{2})}$ ${\displaystyle \|X\|_{vp}^{2}=\sigma ^{2}}$

Эквивалентные определения

Пусть — случайная величина. Следующие условия эквивалентны: (Предложение 2.5.2 ^[2] ) ${\displaystyle X}$

1. Граница вероятности хвоста: для всех , где — положительная константа; ${\displaystyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/K_{1}^{2})}}$ ${\displaystyle t\geq 0}$ ${\displaystyle K_{1}}$
2. Конечная субгауссова норма: ; ${\displaystyle \Vert X\Vert _{\psi _{2}}=K_{2}<\infty }$
3. Момент : для всех , где — положительная константа, а — гамма-функция ; ${\displaystyle \operatorname {E} |X|^{p}\leq 2K_{3}^{p}\Gamma \left({\frac {p}{2}}+1\right)}$ ${\displaystyle p\geq 1}$ ${\displaystyle K_{3}}$ ${\displaystyle \Gamma }$
4. Момент : для всех ; ${\displaystyle \operatorname {E} |X|^{p}\leq K^{p}p^{p/2}}$ ${\displaystyle p\geq 1}$
5. Функция, генерирующая момент ( или дисперсионный прокси-фактор) ^{[3] [4]}  : для всех , где — положительная константа; ${\displaystyle X}$ ${\displaystyle \operatorname {E} [e^{(X-\operatorname {E} [X])t}]\leq e^{\frac {K^{2}t^{2}}{2}}}$ ${\displaystyle t}$ ${\displaystyle K}$
6. Функция, производящая момент (от ): для некоторых , для всех ; ${\displaystyle X^{2}}$ ${\displaystyle K>0}$ ${\displaystyle \operatorname {E} [e^{X^{2}t^{2}}]\leq e^{K^{2}t^{2}}}$ ${\displaystyle t\in [-1/K,+1/K]}$
7. Граница объединения : для некоторого c > 0 , для всех n > c , где — iid копии X ; ${\displaystyle \ \operatorname {E} [\max\{|X_{1}-\operatorname {E} [X]|,\ldots ,|X_{n}-\operatorname {E} [X]|\}]\leq c{\sqrt {\log n}}}$ ${\displaystyle X_{1},\ldots ,X_{n}}$
8. Субэкспоненциальный : имеет субэкспоненциальное распределение. ${\displaystyle X^{2}}$

Более того, константа одинакова в определениях (1) - (5) с точностью до абсолютной константы. Так, например, если случайная величина удовлетворяет (1) и (2), минимальные константы в двух определениях удовлетворяют , где - константы, независимые от случайной величины. ${\displaystyle K}$ ${\displaystyle K_{1},K_{2}}$ ${\displaystyle K_{1}\leq cK_{2},K_{2}\leq c'K_{1}}$ ${\displaystyle c,c'}$

Доказательство эквивалентности

Например, первые четыре определения эквивалентны согласно доказательству ниже.

Доказательство . По представлению в виде слоеного пирога , ${\displaystyle (1)\implies (3)}$ $${\displaystyle {\begin{aligned}\operatorname {E} |X|^{p}&=\int _{0}^{\infty }\operatorname {P} (|X|^{p}\geq t)dt\\&=\int _{0}^{\infty }pt^{p-1}\operatorname {P} (|X|\geq t)dt\\&\leq 2\int _{0}^{\infty }pt^{p-1}\exp \left(-{\frac {t^{2}}{K_{1}^{2}}}\right)dt\\\end{aligned}}}$$

После замены переменных находим, что По ряду Тейлора , который меньше или равен для . Пусть , тогда ${\displaystyle u=t^{2}/K_{1}^{2}}$ $${\displaystyle {\begin{aligned}\operatorname {E} |X|^{p}&\leq 2K_{1}^{p}{\frac {p}{2}}\int _{0}^{\infty }u^{{\frac {p}{2}}-1}e^{-u}du\\&=2K_{1}^{p}{\frac {p}{2}}\Gamma \left({\frac {p}{2}}\right)\\&=2K_{1}^{p}\Gamma \left({\frac {p}{2}}+1\right).\end{aligned}}}$$ ${\displaystyle (3)\implies (2)}$ ${\textstyle e^{x}=1+\sum _{p=1}^{\infty }{\frac {x^{p}}{p!}},}$ $${\displaystyle {\begin{aligned}\operatorname {E} [\exp {(\lambda X^{2})}]&=1+\sum _{p=1}^{\infty }{\frac {\lambda ^{p}\operatorname {E} {[X^{2p}]}}{p!}}\\&\leq 1+\sum _{p=1}^{\infty }{\frac {2\lambda ^{p}K_{3}^{2p}\Gamma \left(p+1\right)}{p!}}\\&=1+2\sum _{p=1}^{\infty }\lambda ^{p}K_{3}^{2p}\\&=2\sum _{p=0}^{\infty }\lambda ^{p}K_{3}^{2p}-1\\&={\frac {2}{1-\lambda K_{3}^{2}}}-1\quad {\text{for }}\lambda K_{3}^{2}<1,\end{aligned}}}$$ ${\displaystyle 2}$ ${\displaystyle \lambda \leq {\frac {1}{3K_{3}^{2}}}}$ ${\displaystyle K_{2}\geq 3^{\frac {1}{2}}K_{3}}$ ${\textstyle \operatorname {E} [\exp {(X^{2}/K_{2}^{2})}]\leq 2.}$

${\displaystyle (2)\implies (1)}$По неравенству Маркова , по асимптотической формуле для гамма-функции: . $${\displaystyle \operatorname {P} (|X|\geq t)=\operatorname {P} \left(\exp \left({\frac {X^{2}}{K_{2}^{2}}}\right)\geq \exp \left({\frac {t^{2}}{K_{2}^{2}}}\right)\right)\leq {\frac {\operatorname {E} [\exp {(X^{2}/K_{2}^{2})}]}{\exp \left({\frac {t^{2}}{K_{2}^{2}}}\right)}}\leq 2\exp \left(-{\frac {t^{2}}{K_{2}^{2}}}\right).}$$ ${\displaystyle (3)\iff (4)}$ ${\displaystyle \Gamma (p/2+1)\sim {\sqrt {\pi p}}\left({\frac {p}{2e}}\right)^{p/2}}$

Из доказательства можно извлечь цикл из трех неравенств:

• Если , то для всех . ${\displaystyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/K^{2})}}$ ${\displaystyle \operatorname {E} |X|^{p}\leq 2K^{p}\Gamma \left({\frac {p}{2}}+1\right)}$ ${\displaystyle p\geq 1}$
• Если для всех , то . ${\displaystyle \operatorname {E} |X|^{p}\leq 2K^{p}\Gamma \left({\frac {p}{2}}+1\right)}$ ${\displaystyle p\geq 1}$ ${\displaystyle \|X\|_{\psi _{2}}\leq 3^{\frac {1}{2}}K}$
• Если , то . ${\displaystyle \|X\|_{\psi _{2}}\leq K}$ ${\displaystyle \operatorname {P} (|X|\geq t)\leq 2\exp {(-t^{2}/K^{2})}}$

В частности, константы, указанные в определениях, совпадают с точностью до постоянного множителя, поэтому можно сказать, что определения эквивалентны с точностью до постоянной, не зависящей от . ${\displaystyle K}$ ${\displaystyle X}$

Аналогично, поскольку с точностью до положительной мультипликативной константы для всех , определения (3) и (4) также эквивалентны с точностью до константы. ${\displaystyle \Gamma (p/2+1)=p^{p/2}\times ((2e)^{-1/2}p^{1/2p})^{p}}$ ${\displaystyle p\geq 1}$

Основные свойства

Предложение.

• Если субгауссово, и , то и . ${\displaystyle X}$ ${\displaystyle k>0}$ ${\displaystyle \|kX\|_{\psi _{2}}=k\|X\|_{\psi _{2}}}$ ${\displaystyle \|kX\|_{vp}=k\|X\|_{vp}}$
• Если субгауссовы, то . ${\displaystyle X,Y}$ ${\displaystyle \|X+Y\|_{vp}^{2}\leq (\|X\|_{vp}+\|Y\|_{vp})^{2}}$

Предложение. ( Граница Чернова ) Если является субгауссовой, то для всех . ${\displaystyle X}$ ${\displaystyle Pr(X\geq t)\leq e^{-{\frac {t^{2}}{2\|X\|_{vp}^{2}}}}}$ ${\displaystyle t\geq 0}$

Определение. означает , что , где положительная константа не зависит от и . ${\displaystyle X\lesssim X'}$ ${\displaystyle X\leq CX'}$ ${\displaystyle C}$ ${\displaystyle X}$ ${\displaystyle X'}$

Предложение. Если субгауссово, то . ${\displaystyle X}$ ${\displaystyle \|X-E[X]\|_{\psi _{2}}\lesssim \|X\|_{\psi _{2}}}$

Доказательство. По неравенству треугольника, . Теперь имеем . В силу эквивалентности определений (2) и (4) субгауссовости, приведенных выше, имеем . ${\displaystyle \|X-E[X]\|_{\psi _{2}}\leq \|X\|_{\psi _{2}}+\|E[X]\|_{\psi _{2}}}$ ${\displaystyle \|E[X]\|_{\psi _{2}}={\sqrt {\ln 2}}|E[X]|\leq {\sqrt {\ln 2}}E[|X|]\sim E[|X|]}$ ${\displaystyle E[|X|]\lesssim \|X\|_{\psi _{2}}}$

Предложение. Если субгауссовы и независимы, то . ${\displaystyle X,Y}$ ${\displaystyle \|X+Y\|_{vp}^{2}\leq \|X\|_{vp}^{2}+\|Y\|_{vp}^{2}}$

Доказательство. Если независимы, то используем, что кумулянт независимых случайных величин является аддитивным. То есть, . ${\displaystyle \ln \operatorname {E} [e^{t(X+Y)}]=\ln \operatorname {E} [e^{tX}]+\ln \operatorname {E} [e^{tY}]}$

Если не независимы, то по неравенству Гёльдера для любого имеем Решая задачу оптимизации , получаем результат. ${\displaystyle 1/p+1/q=1}$ $${\displaystyle E[e^{t(X+Y)}]=\|e^{t(X+Y)}\|_{1}\leq e^{{\frac {1}{2}}t^{2}(p\|X\|_{vp}^{2}+q\|Y\|_{vp}^{2})}}$$ ${\displaystyle {\begin{cases}\min p\|X\|_{vp}^{2}+q\|Y\|_{vp}^{2}\\1/p+1/q=1\end{cases}}}$

Следствие. Линейные суммы субгауссовых случайных величин являются субгауссовыми.

Строго субгауссово

Раскрывая кумулянтную производящую функцию : находим, что . На грани возможности определяем, что случайная величина, удовлетворяющая , называется строго субгауссовой. $${\displaystyle {\frac {1}{2}}s^{2}t^{2}\geq \ln \operatorname {E} [e^{tX}]={\frac {1}{2}}\mathrm {Var} [X]t^{2}+\kappa _{3}t^{3}+\cdots }$$ ${\displaystyle \mathrm {Var} [X]\leq \|X\|_{\mathrm {vp} }^{2}}$ ${\displaystyle X}$ ${\displaystyle \mathrm {Var} [X]=\|X\|_{\mathrm {vp} }^{2}}$

Характеристики

Теорема. ^[5] Пусть — субгауссовская случайная величина со средним значением нулевым. Если все нули ее характеристической функции вещественны, то — строго субгауссова. ${\displaystyle X}$ ${\displaystyle X}$

Следствие. Если независимы и строго субгауссовы, то любая их линейная сумма строго субгауссова. ${\displaystyle X_{1},\dots ,X_{n}}$

Примеры

Вычислив характеристические функции, можно показать, что некоторые распределения являются строго субгауссовыми: симметричное равномерное распределение, симметричное распределение Бернулли.

Поскольку симметричное равномерное распределение строго субгауссово, его свертка с самим собой строго субгауссова. То есть симметричное треугольное распределение строго субгауссово.

Поскольку симметричное распределение Бернулли является строго субгауссовым, любое симметричное биномиальное распределение является строго субгауссовым.

Примеры

Оптимальная прокси-функция дисперсии известна для многих стандартных распределений вероятностей, включая бета, Бернулли, Дирихле ^[6] , Кумарасвами, треугольное ^[7] , усеченное гауссово и усеченное экспоненциальное ^{[8] .} ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}}$

Распределение Бернулли

Пусть будет два положительных числа. Пусть будет центрированным распределением Бернулли , так что оно имеет нулевое среднее значение, тогда . ^[5] Его субгауссова норма равна , где — единственное положительное решение для . ${\displaystyle p+q=1}$ ${\displaystyle X}$ ${\displaystyle p\delta _{q}+q\delta _{-p}}$ ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}={\frac {p-q}{2(\log p-\log q)}}}$ ${\displaystyle t}$ ${\displaystyle t}$ ${\displaystyle pe^{(q/t)^{2}}+qe^{(p/t)^{2}}=2}$

Пусть — случайная величина с симметричным распределением Бернулли (или распределением Радемахера ). То есть принимает значения и с вероятностями каждое. Поскольку , то следует, что и, следовательно, является субгауссовой случайной величиной. ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle -1}$ ${\displaystyle 1}$ ${\displaystyle 1/2}$ ${\displaystyle X^{2}=1}$ $${\displaystyle \Vert X\Vert _{\psi _{2}}=\inf \left\{c>0:\operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]\leq 2\right\}=\inf \left\{c>0:\exp {\left({\frac {1}{c^{2}}}\right)}\leq 2\right\}={\frac {1}{\sqrt {\ln 2}}},}$$ ${\displaystyle X}$

Ограниченные распределения

Некоторые часто используемые ограниченные распределения.

Ограниченные распределения вообще не имеют хвоста, поэтому они, очевидно, являются субгауссовыми.

Если ограничено в интервале , лемма Хеффдинга утверждает, что . Неравенство Хеффдинга представляет собой границу Чернова, полученную с использованием этого факта. ${\displaystyle X}$ ${\displaystyle [a,b]}$ ${\displaystyle \Vert X\Vert _{\mathrm {vp} }^{2}\leq \left({\frac {b-a}{2}}\right)^{2}}$

Извилины

Плотность смеси трех нормальных распределений ( μ  = 5, 10, 15, σ  = 2) с равными весами. Каждый компонент показан как взвешенная плотность (каждый интегрируется до 1/3)

Поскольку сумма субгауссовых случайных величин все еще субгауссова, свертка субгауссовых распределений все еще субгауссова. В частности, любая свертка нормального распределения с любым ограниченным распределением является субгауссовой.

Смеси

Учитывая субгауссовские распределения , мы можем построить аддитивную смесь следующим образом: сначала случайным образом выбираем число , затем выбираем . ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ ${\displaystyle X}$ ${\displaystyle i\in \{1,2,\dots ,n\}}$ ${\displaystyle X_{i}}$

Так как у нас , то и смесь является субгауссовой. ${\displaystyle \operatorname {E} \left[\exp {\left({\frac {X^{2}}{c^{2}}}\right)}\right]=\sum _{i}p_{i}\operatorname {E} \left[\exp {\left({\frac {X_{i}^{2}}{c^{2}}}\right)}\right]}$ ${\displaystyle \|X\|_{\psi _{2}}\leq \max _{i}\|X_{i}\|_{\psi _{2}}}$

В частности, любая гауссова смесь является субгауссовой.

В более общем случае смесь бесконечного числа субгауссовых распределений также является субгауссовой, если субгауссова норма имеет конечный супремум: . ${\displaystyle \|X\|_{\psi _{2}}\leq \sup _{i}\|X_{i}\|_{\psi _{2}}}$

Субгауссовские случайные векторы

До сих пор мы обсуждали субгауссовость для действительных случайных величин. Мы также можем определить субгауссовость для случайных векторов. Цель субгауссовости — сделать так, чтобы хвосты быстро затухали, поэтому мы обобщаем соответствующим образом: субгауссов случайный вектор — это случайный вектор, у которого хвост быстро затухает.

Пусть будет случайным вектором, принимающим значения в . ${\displaystyle X}$ ${\displaystyle \mathbb {R} ^{n}}$

Определять.

• ${\displaystyle \|X\|_{\psi _{2}}:=\sup _{v\in S^{n-1}}\|v^{T}X\|_{\psi _{2}}}$, где — единичная сфера в . ${\displaystyle S^{n-1}}$ ${\displaystyle \mathbb {R} ^{n}}$
• ${\displaystyle X}$является субгауссовым тогда и только тогда . ${\displaystyle \|X\|_{\psi _{2}}<\infty }$

Теорема. (Теорема 3.4.6 ^[2] ) Для любого положительного целого числа равномерно распределенный случайный вектор является субгауссовым, причем . ${\displaystyle n}$ ${\displaystyle X\sim U({\sqrt {n}}S^{n-1})}$ ${\displaystyle \|X\|_{\psi _{2}}\lesssim {}1}$

Это не так уж и удивительно, поскольку при проекция на первую координату сходится по распределению к стандартному нормальному распределению. ${\displaystyle n\to \infty }$ ${\displaystyle U({\sqrt {n}}S^{n-1})}$

Максимальные неравенства

Предложение. Если — субгауссианы с нулевым средним, причем , то для любого имеем с вероятностью . ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \|X_{i}\|_{vp}^{2}\leq \sigma ^{2}}$ ${\displaystyle \delta >0}$ ${\displaystyle \max(X_{1},\dots ,X_{n})\leq \sigma {\sqrt {2\ln {\frac {n}{\delta }}}}}$ ${\displaystyle \geq 1-\delta }$

Доказательство. По границе Чернова, . Теперь применим границу объединения . ${\displaystyle Pr(X_{i}\geq \sigma {\sqrt {2\ln(n/\delta )}})\leq \delta /n}$

Предложение. (Упражнение 2.5.10 ^[2] ) Если являются субгауссианами, причем , то Далее, граница точная, поскольку когда являются выборками IID из , то мы имеем . ^[9] ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle \|X_{i}\|_{\psi _{2}}\leq K}$ $${\displaystyle E\left[\sup _{n}{\frac {|X_{n}|}{\sqrt {1+\ln n}}}\right]\lesssim K,\quad E\left[\max _{1\leq n\leq N}|X_{n}|\right]\lesssim K{\sqrt {\ln N}}}$$ ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle {\mathcal {N}}(0,1)}$ ${\displaystyle E\left[\max _{1\leq n\leq N}|X_{n}|\right]\gtrsim {\sqrt {\ln N}}}$

^[10]

Теорема. (над конечным множеством) Если являются субгауссовыми, причем , то Теорема. (над выпуклым многогранником ) Зафиксируем конечное множество векторов . Если — случайный вектор, такой что каждый , то выполнены 4 приведенных выше неравенства с заменой . ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \|X_{i}\|_{vp}^{2}\leq \sigma ^{2}}$ $${\displaystyle {\begin{aligned}E[\max _{i}(X_{i}-E[X_{i}])]\leq \sigma {\sqrt {2\ln n}},&\quad P(\max _{i}X_{i}>t)\leq ne^{-{\frac {t^{2}}{2\sigma ^{2}}}},\\E[\max _{i}|X_{i}-E[X_{i}]|]\leq \sigma {\sqrt {2\ln(2n)}},&\quad P(\max _{i}|X_{i}|>t)\leq 2ne^{-{\frac {t^{2}}{2\sigma ^{2}}}}\end{aligned}}}$$ ${\displaystyle v_{1},\dots ,v_{n}}$ ${\displaystyle X}$ ${\displaystyle \|v_{i}^{T}X\|_{vp}^{2}\leq \sigma ^{2}}$ ${\displaystyle \max _{v\in \mathrm {conv} (v_{1},\dots ,v_{n})}v^{T}X}$ ${\displaystyle \max _{i}X_{i}}$

Здесь — выпуклый многогранник, натянутый на векторы . ${\displaystyle \mathrm {conv} (v_{1},\dots ,v_{n})}$ ${\displaystyle v_{1},\dots ,v_{n}}$

Теорема. (над шаром) Если — случайный вектор в , такой, что для всех на единичной сфере , то Для любого , с вероятностью не менее , ${\displaystyle X}$ ${\displaystyle \mathbb {R} ^{d}}$ ${\displaystyle \|v^{T}X\|_{vp}^{2}\leq \sigma ^{2}}$ ${\displaystyle v}$ ${\displaystyle S}$ $${\displaystyle E[\max _{v\in S}v^{T}X]=E[\max _{v\in S}|v^{T}X|]\leq 4\sigma {\sqrt {d}}}$$ ${\displaystyle \delta >0}$ ${\displaystyle 1-\delta }$ $${\displaystyle \max _{v\in S}v^{T}X=\max _{v\in S}|v^{T}X|\leq 4\sigma {\sqrt {d}}+2\sigma {\sqrt {2\log(1/\delta )}}}$$

Неравенства

Теорема. (Теорема 2.6.1 ^[2] ) Существует положительная константа такая, что для любого числа независимых субгауссовых случайных величин с нулевым средним значением , Теорема. (Неравенство Хеффдинга) (Теорема 2.6.3 ^[2] ) Существует положительная константа такая, что для любого числа независимых субгауссовых случайных величин с нулевым средним значением , Теорема. (Неравенство Бернштейна) (Теорема 2.8.1 ^[2] ) Существует положительная константа такая, что для любого числа независимых субэкспоненциальных случайных величин с нулевым средним значением , Теорема. (Неравенство Хинчина) (Упражнение 2.6.5 ^[2] ) Существует положительная константа такая, что для любого числа независимых субгауссовых случайных величин с нулевым средним значением и единичной дисперсией , любые , и любые , ${\displaystyle C}$ ${\displaystyle X_{1},\dots ,X_{n}}$ $${\displaystyle \left\|\sum _{i=1}^{n}X_{i}\right\|_{\psi _{2}}^{2}\leq C\sum _{i=1}^{n}\left\|X_{i}\right\|_{\psi _{2}}^{2}}$$ ${\displaystyle c}$ ${\displaystyle X_{1},\dots ,X_{N}}$ $${\displaystyle \mathbb {P} \left(\left|\sum _{i=1}^{N}X_{i}\right|\geq t\right)\leq 2\exp \left(-{\frac {ct^{2}}{\sum _{i=1}^{N}\left\|X_{i}\right\|_{\psi _{2}}^{2}}}\right)\quad \forall t>0}$$ ${\displaystyle c}$ ${\displaystyle X_{1},\dots ,X_{N}}$ $${\displaystyle \mathbb {P} \left(\left|\sum _{i=1}^{N}X_{i}\right|\geq t\right)\leq 2\exp \left(-c\min \left({\frac {t^{2}}{\sum _{i=1}^{N}\left\|X_{i}\right\|_{\psi _{1}}^{2}}},{\frac {t}{\max _{i}\left\|X_{i}\right\|_{\psi _{1}}}}\right)\right)}$$ ${\displaystyle C}$ ${\displaystyle X_{1},\dots ,X_{N}}$ ${\displaystyle p\geq 2}$ ${\displaystyle a_{1},\dots ,a_{N}\in \mathbb {R} }$ $${\displaystyle \left(\sum _{i=1}^{N}a_{i}^{2}\right)^{1/2}\leq \left\|\sum _{i=1}^{N}a_{i}X_{i}\right\|_{L^{p}}\leq CK{\sqrt {p}}\left(\sum _{i=1}^{N}a_{i}^{2}\right)^{1/2}}$$

неравенство Хансона-Райта

Неравенство Хансона -Райта утверждает, что если случайный вектор является субгауссовым в определенном смысле, то любая квадратичная форма этого вектора, , также является субгауссовой/субэкспоненциальной. Кроме того, верхняя граница хвоста , является равномерной . ${\displaystyle X}$ ${\displaystyle A}$ ${\displaystyle X^{T}AX}$ ${\displaystyle X^{T}AX}$

Слабая версия следующей теоремы была доказана в (Хэнсон, Райт, 1971). ^[11] Существует множество расширений и вариантов. Подобно центральной предельной теореме, неравенство Хансона-Райта представляет собой скорее кластер теорем с одной и той же целью, чем единую теорему. Цель состоит в том, чтобы взять субгауссовский вектор и равномерно ограничить его квадратичные формы.

Теорема. ^{[12] [13]} Существует константа , такая что: ${\displaystyle c}$

Пусть будет положительным целым числом. Пусть будет независимыми случайными величинами, такими, что каждая удовлетворяет . Объединим их в случайный вектор . Для любой матрицы имеем , где , а — норма Фробениуса матрицы, а — операторная норма матрицы. ${\displaystyle n}$ ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle E[X_{i}]=0}$ ${\displaystyle X=(X_{1},\dots ,X_{n})}$ ${\displaystyle n\times n}$ ${\displaystyle A}$ $${\displaystyle P(|X^{T}AX-E[X^{T}AX]|>t)\leq \max \left(2e^{-{\frac {ct^{2}}{K^{4}\|A\|_{F}^{2}}}},2e^{-{\frac {ct}{K^{2}\|A\|}}}\right)=2\exp \left[-c\min \left({\frac {t^{2}}{K^{4}\|A\|_{F}^{2}}},{\frac {t}{K^{2}\|A\|}}\right)\right]}$$ ${\displaystyle K=\max _{i}\|X_{i}\|_{\psi _{2}}}$ ${\displaystyle \|A\|_{F}={\sqrt {\sum _{ij}A_{ij}^{2}}}}$ ${\displaystyle \|A\|=\max _{\|x\|_{2}=1}\|Ax\|_{2}}$

Другими словами, хвост квадратичной формы равномерно ограничен экспонентой или гауссовой функцией, в зависимости от того, какая из них больше. ${\displaystyle X^{T}AX}$

В формулировке теоремы константа является «абсолютной константой», что означает, что она не зависит от . Это математическая константа, во многом похожая на пи и е . ${\displaystyle c}$ ${\displaystyle n,X_{1},\dots ,X_{n},A}$

Последствия

Теорема (субгауссовская концентрация). ^[12] Существует константа , такая, что: ${\displaystyle c}$

Пусть будут положительными целыми числами. Пусть будут независимыми случайными величинами, такими, что каждая удовлетворяет . Объединим их в случайный вектор . Для любой матрицы , мы имеем Иными словами, случайный вектор сосредоточен на сферической оболочке радиуса , такой что является субгауссовой, с субгауссовой нормой . ${\displaystyle n,m}$ ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle E[X_{i}]=0,E[X_{i}^{2}]=1}$ ${\displaystyle X=(X_{1},\dots ,X_{n})}$ ${\displaystyle m\times n}$ ${\displaystyle A}$ $${\displaystyle P(|\|AX\|_{2}-\|A\|_{F}|>t)\leq 2e^{-{\frac {ct^{2}}{K^{4}\|A\|^{2}}}}}$$ ${\displaystyle AX}$ ${\displaystyle \|A\|_{F}}$ ${\displaystyle \|AX\|_{2}-\|A\|_{F}}$ ${\displaystyle \leq {\sqrt {3/c}}\|A\|K^{2}}$

Смотрите также

• Распределение платикуртиков

Примечания

1. Уэйнрайт М. Дж. Высокомерная статистика: неасимптотическая точка зрения . Кембридж: Издательство Кембриджского университета; 2019. doi : 10.1017/9781108627771, ISBN 9781108627771 . 
2. Вершинин, Р. (2018). Вероятность больших измерений: введение с приложениями в науке о данных . Кембридж: Cambridge University Press.
3. Кахане, Дж. (1960). «Локальные свойства функций серии функций Фурье». Студия Математика . 19 :1–25. дои : 10.4064/см-19-1-1-25.
4. Булдыгин, В.В.; Козаченко, Ю. В. (1980). «Субгауссовы случайные величины». Украинский математический журнал . 32 (6): 483–489. дои : 10.1007/BF01087176.
5. Бобков, СГ; Чистяков, ГП; Гётце, Ф. (2023-08-03). "Строго субгауссовские распределения вероятностей". arXiv : 2308.01749 [math.PR].
6. Маршал, Оливье; Арбель, Жюльен (2017). «О субгауссовости распределений Бета и Дирихле». Электронные коммуникации в теории вероятностей . 22. arXiv : 1705.00048 . doi : 10.1214/17-ECP92 .
7. Арбель, Хулиан; Маршал, Оливье; Нгуен, Хиен Д. (2020). «О строгой субгауссовости, оптимальной прокси-дисперсии и симметрии для ограниченных случайных величин». Esaim: Вероятность и статистика . 24 : 39–55. arXiv : 1901.09188 . doi : 10.1051/ps/2019018.
8. Баррето, Матиас; Маршал, Оливье; Арбель, Жульян (2024). «Оптимальный прокси-сервер субгауссовой дисперсии для усеченных гауссовых и экспоненциальных случайных величин». arXiv : 2403.08628 [math.ST].
9. Камат, Гаутам. «Границы на ожидание максимума выборок из гауссианы». (2015)
10. "MIT 18.S997 | Весна 2015 | Высокомерная статистика, Глава 1. Субгауссовские случайные величины" (PDF) . MIT OpenCourseWare . Получено 2024-04-03 .
11. Хансон, Д. Л.; Райт, Ф. Т. (1971). «Граница хвостовых вероятностей для квадратичных форм от независимых случайных величин». Анналы математической статистики . 42 (3): 1079–1083. doi : 10.1214/aoms/1177693335 . ISSN  0003-4851. JSTOR  2240253.
12. Рудельсон, Марк; Вершинин, Роман (январь 2013 г.). «Неравенство Хансона-Райта и субгауссовская концентрация». Electronic Communications in Probability . 18 (нет): 1–9. arXiv : 1306.2872 . doi :10.1214/ECP.v18-2865. ISSN  1083-589X.
13. Вершинин, Роман (2018). "6. Квадратичные формы, симметризация и контракция". Вероятность высокой размерности: введение с приложениями в науке о данных. Серия Cambridge по статистической и вероятностной математике. Кембридж: Cambridge University Press. стр. 127–146. doi : 10.1017/9781108231596.009. ISBN 978-1-108-41519-4.

Ссылки

• Кахане, JP (1960). «Локальные свойства функций серии функций Фурье». Студия Математика . 19 : 1–25. дои : 10.4064/см-19-1-1-25 .
• Булдыгин В.В.; Козаченко, Ю.В. (1980). «Субгауссовы случайные величины». Украинский математический журнал . 32 (6): 483–489. дои : 10.1007/BF01087176.
• Леду, Мишель; Талагран, Мишель (1991). Вероятность в банаховых пространствах . Springer-Verlag.
• Стромберг, К. Р. (1994). Вероятность для аналитиков . Chapman & Hall/CRC.
• Литвак, А.Е.; Пайор, А.; Рудельсон, М.; Томчак-Йегерманн, Н. (2005). «Наименьшее сингулярное значение случайных матриц и геометрия случайных многогранников» (PDF) . Успехи математики . 195 (2): 491–523. doi : 10.1016/j.aim.2004.08.004 .
• Рудельсон, Марк; Вершинин, Роман (2010). «Неасимптотическая теория случайных матриц: экстремальные сингулярные значения». Труды Международного конгресса математиков 2010 г. С. 1576–1602. arXiv : 1003.2990 . doi :10.1142/9789814324359_0111.
• Ривасплата, О. (2012). "Субгауссовские случайные величины: пояснительная записка" (PDF) . Неопубликовано .
• Вершинин, Р. (2018). «Высокоразмерная вероятность: введение с приложениями в науке о данных» (PDF). Том 47 Кембриджской серии по статистической и вероятностной математике . Cambridge University Press, Кембридж.
• Зайковский, К. (2020). «О нормах в некотором классе пространств Орлича экспоненциального типа случайных величин». Позитивность. Международный математический журнал, посвященный теории и приложениям позитивности. 24 (5): 1231--1240. arXiv :1709.02970. doi :10.1007/s11117-019-00729-6.