Сокращение дисперсии

Дисперсию случайно сгенерированных точек в пределах единичного квадрата можно уменьшить с помощью процесса стратификации.

В математике , а точнее в теории методов Монте-Карло , уменьшение дисперсии — это процедура, используемая для повышения точности оценок , полученных для заданного моделирования или вычислительных усилий. ^[1] Каждая выходная случайная величина из моделирования связана с дисперсией , которая ограничивает точность результатов моделирования. Для того чтобы сделать моделирование статистически эффективным, т. е. получить большую точность и меньшие доверительные интервалы для интересующей выходной случайной величины, можно использовать методы уменьшения дисперсии. Основными методами уменьшения дисперсии являются

• общие случайные числа
• антитетические вариаты
• контрольные переменные
• важность выборки
• стратифицированная выборка
• момент соответствия
• условный Монте-Карло
• и квазислучайные величины (в методе квази-Монте-Карло )

Для моделирования с моделями черного ящика также можно использовать моделирование подмножества и линейную выборку . Под этими заголовками находятся различные специализированные методы; например, моделирование переноса частиц широко использует методы «весовых окон» и «разделения/русской рулетки», которые являются формой выборки по важности.

Грубое моделирование Монте-Карло

Предположим, что кто-то хочет вычислить случайную величину, определенную в вероятностном пространстве . Монте-Карло делает это путем выборки iid . копий и затем оценивает с помощью оценщика выборочного среднего ${\displaystyle z:=E(Z)}$ ${\displaystyle Z}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle Z_{1},...,Z_{R}}$ ${\displaystyle Z}$ ${\displaystyle z}$

${\displaystyle {\overline {z}}={\frac {1}{n}}\sum _{i=1}^{n}Z_{i}}$

При более мягких условиях, таких как , будет применяться центральная предельная теорема , так что для больших распределение сходится к нормальному распределению со средним значением и стандартной ошибкой . Поскольку стандартное отклонение сходится только к со скоростью , что подразумевает необходимость увеличения числа симуляций ( ) в раз, чтобы уменьшить стандартное отклонение вдвое , методы уменьшения дисперсии часто полезны для получения более точных оценок для без необходимости очень большого числа симуляций. ${\displaystyle var(Z)<\infty }$ ${\displaystyle n\rightarrow \infty }$ ${\displaystyle {\overline {z}}}$ ${\displaystyle z}$ ${\displaystyle \sigma /{\sqrt {n}}}$ ${\displaystyle 0}$ ${\displaystyle {\sqrt {n}}}$ ${\displaystyle n}$ ${\displaystyle 4}$ ${\displaystyle {\overline {z}}}$ ${\displaystyle z}$

Общие случайные числа (CRN)

Метод снижения дисперсии обычных случайных чисел — это популярный и полезный метод снижения дисперсии, который применяется, когда мы сравниваем две или более альтернативных конфигурации (системы) вместо исследования одной конфигурации. CRN также называют коррелированной выборкой , согласованными потоками или согласованными парами .

CRN требует синхронизации потоков случайных чисел, что гарантирует, что в дополнение к использованию одних и тех же случайных чисел для моделирования всех конфигураций, определенное случайное число, используемое для определенной цели в одной конфигурации, используется для точно такой же цели во всех других конфигурациях. Например, в теории очередей, если мы сравниваем две разные конфигурации кассиров в банке, мы хотели бы, чтобы (случайное) время прибытия N- го клиента генерировалось с использованием одного и того же выбора из потока случайных чисел для обеих конфигураций.

Основной принцип техники CRN

Предположим, что и являются наблюдениями из первой и второй конфигураций в j -й независимой репликации. ${\displaystyle X_{1j}}$ ${\displaystyle X_{2j}}$

Мы хотим оценить

${\displaystyle \xi =E(X_{1j})-E(X_{2j})=\mu _{1}-\mu _{2}.\,}$

Если мы выполним n репликаций каждой конфигурации и допустим

${\displaystyle Z_{j}=X_{1j}-X_{2j}\quad {\mbox{for }}j=1,2,\ldots ,n,}$

тогда и является несмещенной оценкой . ${\displaystyle E(Z_{j})=\xi }$ ${\displaystyle Z(n)={\frac {\sum _{j=1,\ldots ,n}Z_{j}}{n}}}$ ${\displaystyle \xi }$

И поскольку ' являются независимыми одинаково распределенными случайными величинами, ${\displaystyle Z_{j}}$

${\displaystyle \operatorname {Var} [Z(n)]={\frac {\operatorname {Var} (Z_{j})}{n}}={\frac {\operatorname {Var} [X_{1j}]+\operatorname {Var} [X_{2j}]-2\operatorname {Cov} [X_{1j},X_{2j}]}{n}}.}$

В случае независимой выборки, т.е. когда не используются общие случайные числа, то Cov( X _{1 j} , X _{2 j} ) = 0. Но если нам удастся ввести элемент положительной корреляции между X ₁ и X ₂ такой, что Cov( X _{1 j} , X _{2 j} ) > 0, из приведенного выше уравнения видно, что дисперсия уменьшается.

Также можно заметить, что если CRN вызывает отрицательную корреляцию, т. е. Cov( X _{1 j} , X _{2 j} ) < 0, этот метод может фактически иметь обратный эффект, когда дисперсия увеличивается, а не уменьшается (как предполагалось). ^[2]

Смотрите также

• Объясненная дисперсия
• Регуляризация (математика)

Ссылки

1. Ботев, З.; Риддер, А. (2017). «Снижение дисперсии». Wiley StatsRef: Справочник по статистике онлайн : 1–6. doi : 10.1002/9781118445112.stat07975. ISBN 9781118445112.
2. Хамрик, Джефф. «Метод общих случайных чисел: пример». Wolfram Demonstrations Project . Получено 29 марта 2016 г.

• Hammersley, JM; Handscomb, DC (1964). Методы Монте-Карло . Лондон: Methuen. ISBN 0-416-52340-4.
• Кан, Х.; Маршалл, AW (1953). «Методы сокращения размера выборки в вычислениях Монте-Карло». Журнал Американского общества исследований операций . 1 (5): 263–271. doi :10.1287/opre.1.5.263.
• MCNP — Общий кодекс переноса N-частиц Монте-Карло, версия 5, отчет Лос-Аламоса LA-UR-03-1987