Теория больших отклонений

Раздел теории вероятностей

В теории вероятностей теория больших уклонений касается асимптотического поведения удаленных хвостов последовательностей вероятностных распределений. Хотя некоторые основные идеи теории можно отнести к Лапласу , формализация началась с математики страхования, а именно с теории разорения Крамера и Лундберга . Единая формализация теории больших отклонений была разработана в 1966 году в статье Варадхана . ^[1] Теория больших уклонений формализует эвристические идеи концентрации мер и широко обобщает понятие сходимости вероятностных мер .

Грубо говоря, теория больших отклонений занимается экспоненциальным снижением показателей вероятности определенных видов экстремальных или хвостовых событий.

Вводные примеры

Любое большое отклонение совершается наименее вероятным из всех маловероятных способов!

-  Франк ден Холландер, Большие отклонения, с. 10

Элементарный пример

Рассмотрим последовательность независимых подбрасываний честной монеты. Возможные исходы могут быть орел или решка. Обозначим возможный результат i-го испытания через , где голову закодируем как 1, а хвост как 0. Обозначим теперь среднее значение после испытаний, а именно ${\displaystyle X_{i}}$ ${\displaystyle M_{N}}$ ${\displaystyle N}$

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$.

Тогда лежит между 0 и 1. Из закона больших чисел следует, что по мере роста N распределение сходится к (ожидаемому значению одного броска монеты). ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle 0.5=\operatorname {E} [X]}$

Более того, по центральной предельной теореме следует, что при больших распределено приблизительно нормально . Центральная предельная теорема может дать более подробную информацию о поведении, чем закон больших чисел. Например, мы можем приблизительно найти хвостовую вероятность – вероятность, которая больше некоторого значения – для фиксированного значения . Однако аппроксимация центральной предельной теоремой может быть неточной, если она далека от достаточно большой и недостаточно велика. Кроме того, он не дает информации о сходимости хвостовых вероятностей как . Однако теория больших отклонений может дать ответы на такие проблемы. ${\displaystyle M_{N}}$ ${\displaystyle N}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$ ${\displaystyle x}$ ${\displaystyle N}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} [X_{i}]}$ ${\displaystyle N}$ ${\displaystyle N\to \infty }$

Уточним это утверждение. Для данного значения давайте вычислим вероятность хвоста . Определять ${\displaystyle 0.5<x<1}$ ${\displaystyle P(M_{N}>x)}$

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$.

Обратите внимание, что функция является выпуклой неотрицательной функцией, которая равна нулю в точке и увеличивается при приближении к . Это отрицательная энтропия Бернулли с ; То, что он подходит для подбрасывания монеты, следует из свойства асимптотического равнораспределения , примененного к испытанию Бернулли . Тогда с помощью неравенства Чернова можно показать, что . ^[2] Эта оценка довольно точна в том смысле, что ее нельзя заменить большим числом, что привело бы к строгому неравенству для всех положительных . ^[3] (Однако экспоненциальную оценку все же можно уменьшить на субэкспоненциальный множитель порядка ; это следует из приближения Стирлинга , примененного к биномиальному коэффициенту , входящему в распределение Бернулли .) Таким образом, мы получаем следующий результат: ${\displaystyle I(x)}$ ${\displaystyle x={\tfrac {1}{2}}}$ ${\displaystyle x}$ ${\displaystyle 1}$ ${\displaystyle p={\tfrac {1}{2}}}$ ${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$ ${\displaystyle I(x)}$ ${\displaystyle N}$ ${\displaystyle 1/{\sqrt {N}}}$

${\displaystyle P(M_{N}>x)\approx \exp(-NI(x))}$.

Вероятность убывает экспоненциально со скоростью, зависящей от x . Эта формула аппроксимирует любую хвостовую вероятность выборочного среднего переменных iid и дает ее сходимость по мере увеличения количества выборок. ${\displaystyle P(M_{N}>x)}$ ${\displaystyle N\to \infty }$

Большие отклонения сумм независимых случайных величин

В приведенном выше примере подбрасывания монеты мы явно предположили, что каждый подбрасывание представляет собой независимое испытание и вероятность выпадения орла или решки всегда одинакова.

Пусть — независимые и одинаково распределенные (iid) случайные величины, общее распределение которых удовлетворяет определенному условию роста. Тогда существует следующий предел: ${\displaystyle X,X_{1},X_{2},\ldots }$

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$.

Здесь

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$,

как прежде.

Функцию называют « функцией скорости » или «функцией Крамера», а иногда и «функцией энтропии». ${\displaystyle I(\cdot )}$

Вышеупомянутый предел означает, что для больших , ${\displaystyle N}$

${\displaystyle P(M_{N}>x)\approx \exp[-NI(x)]}$,

что является основным результатом теории больших уклонений. ^{[4] [5]}

Если мы знаем распределение вероятностей , можно получить явное выражение для функции скорости. Это дается преобразованием Лежандра–Фенхеля , ^[6] ${\displaystyle X}$

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]}$,

где

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

называется кумулянтной производящей функцией (КГФ) и обозначает математическое ожидание . ${\displaystyle \operatorname {E} }$

Если следовать нормальному распределению , функция скорости становится параболой с вершиной в среднем нормальном распределении. ${\displaystyle X}$

Если — неприводимая и апериодическая цепь Маркова , то вариант основного результата о больших уклонениях, изложенный выше, может иметь место. ^{[ нужна цитата ]} ${\displaystyle \{X_{i}\}}$

Умеренные отклонения сумм независимых случайных величин

В предыдущем примере контролировалась вероятность события , то есть концентрация закона на компакте . Также возможно контролировать вероятность события для некоторой последовательности . Ниже приводится пример принципа умеренных отклонений : ^{[7] [8]} ${\displaystyle [M_{N}>x]}$ ${\displaystyle M_{N}}$ ${\displaystyle [-x,x]}$ ${\displaystyle [M_{N}>xa_{N}]}$ ${\displaystyle a_{N}\to 0}$

Теорема  .  Пусть будет последовательность центрированных переменных iid с конечной дисперсией такая, что . Определять . Тогда для любой последовательности : ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \forall \lambda \in \mathbb {R} ,\ \ln \mathbb {E} [e^{\lambda X_{1}}]<\infty }$ ${\displaystyle M_{N}:={\frac {1}{N}}\sum \limits _{n\leq N}X_{N}}$ ${\displaystyle 1\ll a_{N}\ll {\sqrt {N}}}$

${\displaystyle \lim \limits _{N\to +\infty }{\frac {a_{N}^{2}}{N}}\ln \mathbb {P} [a_{N}M_{N}\geq x]=-{\frac {x^{2}}{2\sigma ^{2}}}}$

В частности, предельным случаем является центральная предельная теорема . ${\displaystyle a_{N}={\sqrt {N}}}$

Формальное определение

В польском пространстве пусть будет последовательность борелевских вероятностных мер на , пусть будет последовательность положительных действительных чисел такая, что , и, наконец, пусть будет полунепрерывный снизу функционал на. Говорят, что последовательность удовлетворяет принципу больших отклонений со скоростью и нормой , если: и только если для каждого измеримого по Борелю множества ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \{a_{N}\}}$ ${\displaystyle \lim _{N}a_{N}=\infty }$ ${\displaystyle I:{\mathcal {X}}\to [0,\infty ]}$ ${\displaystyle {\mathcal {X}}.}$ ${\displaystyle \{\mathbb {P} _{N}\}}$ ${\displaystyle \{a_{n}\}}$ ${\displaystyle I}$ ${\displaystyle E\subset {\mathcal {X}}}$

${\displaystyle -\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)}$,

где и обозначают соответственно замыкание и внутренность . ^{[ нужна цитата ]} ${\displaystyle {\overline {E}}}$ ${\displaystyle E^{\circ }}$ ${\displaystyle E}$

Краткая история

Первые строгие результаты, касающиеся больших отклонений, принадлежат шведскому математику Харальду Крамеру , который применил их для моделирования страхового бизнеса. ^[9] С точки зрения страховой компании, заработок имеет постоянную ставку в месяц (ежемесячная премия), но претензии поступают случайным образом. Чтобы компания была успешной в течение определенного периода времени (желательно многих месяцев), общий доход должен превышать общую сумму претензий. Таким образом, чтобы оценить премию, вам необходимо задать следующий вопрос: «Какую премию нам следует выбрать в качестве премии, чтобы в течение нескольких месяцев общая сумма претензий была меньше ?» Очевидно, это тот же самый вопрос, который задает теория больших уклонений. Крамер дал решение этого вопроса для случайных величин iid , где функция скорости выражается в виде степенного ряда . ${\displaystyle q}$ ${\displaystyle N}$ ${\displaystyle C=\Sigma X_{i}}$ ${\displaystyle Nq}$

Очень неполный список математиков, добившихся важных успехов, включает Петрова , ^[10] Санова , ^[11] С.Р.С. Варадана (лауреата Абелевской премии за вклад в теорию), Д. Рюэля , О.Э. Ланфорда , Амира Дембо , и Офер Зейтуни . ^[12]

Приложения

Принципы больших отклонений могут эффективно применяться для сбора информации из вероятностной модели. Таким образом, теория больших отклонений находит свое применение в теории информации и управлении рисками . В физике наиболее известные приложения теории больших уклонений возникают в термодинамике и статистической механике (в связи с связью энтропии с функцией скорости).

Большие отклонения и энтропия

Функция скорости связана с энтропией в статистической механике. Эвристически это можно увидеть следующим образом. В статистической механике энтропия конкретного макросостояния связана с числом микросостояний, соответствующих этому макросостоянию. В нашем примере с подбрасыванием монеты среднее значение может обозначать определенное макросостояние. И определенная последовательность орлов и решек, которая порождает определенное значение, составляет особое микросостояние. Грубо говоря, макросостояние, имеющее большее количество порождающих его микросостояний, имеет более высокую энтропию. А состояние с более высокой энтропией имеет больше шансов реализоваться в реальных экспериментах. Макросостояние со средним значением 1/2 (столько же орлов, сколько решок) имеет наибольшее количество микросостояний, порождающих его, и это действительно состояние с самой высокой энтропией. И в большинстве практических ситуаций мы действительно получим это макросостояние при большом количестве испытаний. С другой стороны, «функция скорости» измеряет вероятность появления определенного макросостояния. Чем меньше функция скорости, тем выше вероятность появления макросостояния. В нашем подбрасывании монеты значение «функции скорости» для среднего значения, равного 1/2, равно нулю. Таким образом, можно рассматривать «функцию скорости» как отрицательную величину «энтропии». ${\displaystyle M_{N}}$ ${\displaystyle M_{N}}$

Между «функцией скорости» в теории больших уклонений и дивергенцией Кульбака–Лейблера существует связь , связь устанавливается теоремой Санова (см. Санов ^[11] и Новак, ^[13], гл. 14.5).

В частном случае большие отклонения тесно связаны с понятием пределов Громова – Хаусдорфа . ^[14]

Смотрите также

• Принцип большого отклонения
• Теорема Крамера о больших уклонениях
• Неравенство Чернова
• Теорема Санова
• Принцип сокращения (теория больших отклонений) , результат того, как принципы больших отклонений « продвигаются вперед ».
• Теорема Фрейдлина–Вентцелля , принцип больших уклонений для диффузии Ито.
• Преобразование Лежандра , на этом преобразовании основана ансамблевая эквивалентность.
• Принцип Лапласа , принцип больших уклонений в R ^d
• метод Лапласа
• Теорема Шильдера , принцип больших уклонений для броуновского движения.
• Лемма Варадхана
• Теория экстремальных ценностей
• Большие уклонения гауссовских случайных функций

Рекомендации

1. SRS Варадхан, Асимптотическая вероятность и дифференциальные уравнения , Comm. Чистое приложение. Математика. 19 (1966), 261–286.
2. «Большие отклонения для анализа производительности: очереди, связь и вычисления», Шварц, Адам, 1953- TN: 1228486.
3. Варадхан, SRS, Анналы вероятностей 2008, Том. 36, № 2, 397–419, [1]
4. http://math.nyu.edu/faculty/varadhan/Spring2012/Chapters1-2.pdf ^{[ пустой URL-адрес PDF ]}
5. SRS Варадхан, Большие отклонения и приложения (SIAM, Филадельфия, 1984)
6. Тушетт, Хьюго (1 июля 2009 г.). «Подход больших отклонений к статистической механике». Отчеты по физике . 478 (1–3): 1–69. arXiv : 0804.0327 . Бибкод : 2009PhR...478....1T. doi :10.1016/j.physrep.2009.05.002. S2CID  118416390.
7. Дембо, Амир; Зейтуни, Офер (3 ноября 2009 г.). Методы и приложения больших отклонений. Springer Science & Business Media. п. 109. ИСБН 978-3-642-03311-7.
8. Сетураман, Джаярам; О., Роберт (2011), «Умеренные отклонения», в Ловрике, Миодраге (ред.), Международная энциклопедия статистических наук , Берлин, Гейдельберг: Springer Berlin Heidelberg, стр. 847–849, doi : 10.1007/978-3- 642-04898-2_374, ISBN 978-3-642-04897-5, получено 2 июля 2023 г.
9. Крамер, Х. (1944). О новой предельной теореме теории вероятностей. Успехи математических наук, (10), 166-178.
10. Петров В.В. (1954) Обобщение предельной теоремы Крамера. Успехи Матем. Наук, т. 9, № 4(62), 195--202.
11. Санов И. Н. (1957) О вероятности больших отклонений случайных величин. Матем. Сборник, т. 42 (84), 11--44.
12. Дембо А. и Зейтуни О. (2009). Методы и приложения больших отклонений (Том 38). Springer Science & Business Media
13. Новак С.Ю. (2011) Методы экстремальной стоимости с применением к финансированию. Чепмен и Холл/CRC Press. ISBN 978-1-4398-3574-6 . 
14. Котани М., Сунада Т. Большое отклонение и касательный конус на бесконечности кристаллической решетки , Матем. З. 254, (2006), 837-870.

Библиография

• Специальный приглашенный доклад: «Большие отклонения», автор SRS Варадхан. Анналы вероятностей, 2008 г., Том. 36, № 2, 397–419 doi :10.1214/07-AOP348
• Основное введение в большие отклонения: теория, приложения, моделирование, Хьюго Тушетт, arXiv:1106.4146.
• Энтропия, большие отклонения и статистическая механика, Р. С. Эллис, Springer Publication. ISBN 3-540-29059-1 
• «Большие отклонения для анализа производительности», Алан Вайс и Адам Шварц. ISBN Чепмена и Холла 0-412-06311-5 
• Методы и приложения больших отклонений Амира Дембо и Офера Зейтуни. ISBN Спрингера 0-387-98406-2 
• Курс по большим отклонениям с введением в меры Гиббса Фираса Рассула-Аги и Тимо Сеппяляйнена. Град. Стад. Математика, 162. ISBN Американского математического общества 978-0-8218-7578-0. 
• Случайные возмущения динамических систем М.И. Фрейдлина и А.Д. Вентцеля. ISBN Спрингера 0-387-98362-7 
• «Большие отклонения для двумерного уравнения Навье-Стокса с мультипликативным шумом», С. С. Сритаран и П. Сундар, «Стохастические процессы и их приложения», Vol. 116 (2006) 1636–1659.[2]
• «Большие отклонения для стохастической оболочечной модели турбулентности», У. Манна, С.С. Сритаран и П. Сундар, Приложение нелинейных дифференциальных уравнений NoDEA. 16 (2009), вып. 4, 493–521. [3]