Мультиномиальное распределение

В теории вероятностей мультиномиальное распределение является обобщением биномиального распределения . Например, оно моделирует вероятность выпадения очков для каждой грани k -гранной кости, брошенной n раз. Для n независимых испытаний, каждое из которых приводит к успеху ровно для одной из k категорий, причем каждая категория имеет заданную фиксированную вероятность успеха, мультиномиальное распределение дает вероятность любой конкретной комбинации чисел успехов для различных категорий.

Когда k равно 2, а n равно 1, мультиномиальное распределение — это распределение Бернулли . Когда k равно 2, а n больше 1, это биномиальное распределение . Когда k больше 2, а n равно 1, это категориальное распределение . Термин «мультиноулли» иногда используется для категориального распределения, чтобы подчеркнуть эту четырехстороннюю связь (так, n определяет суффикс, а k — префикс).

Распределение Бернулли моделирует результат одного испытания Бернулли . Другими словами, оно моделирует, приведет ли подбрасывание (возможно, предвзятой ) монеты один раз к успеху (выпадению орла) или неудаче (выпадению решки). Биномиальное распределение обобщает это до количества орлов при выполнении n независимых подбрасываний (испытаний Бернулли) одной и той же монеты. Мультиномиальное распределение моделирует результат n экспериментов, где результат каждого испытания имеет категориальное распределение , например, подбрасывание k -гранной кости n раз.

Пусть k — фиксированное конечное число. Математически у нас есть k возможных взаимоисключающих результатов с соответствующими вероятностями p ₁ , ..., p _k и n независимых испытаний. Поскольку k результатов являются взаимоисключающими и один должен произойти, мы имеем p _i  ≥ 0 для i  = 1, ...,  k и . Тогда, если случайные величины X _i указывают количество раз, когда результат номер i наблюдается в n испытаниях, вектор X  = ( X ₁ , ...,  X _k ) следует полиномиальному распределению с параметрами n и p , где p  = ( p ₁ , ...,  p _k ). Хотя испытания независимы, их результаты X _i зависимы, поскольку они должны быть сложены до n. ${\displaystyle \sum _{i=1}^{k}p_{i}=1}$

Обобщение биномиального распределения

Определения

Функция массы вероятности

Предположим, что проводится эксперимент по извлечению n шариков k разных цветов из мешка, заменяя извлеченные шарики после каждого вытягивания. Шары одного цвета эквивалентны. Обозначим переменную, которая является числом извлеченных шариков цвета i ( i = 1, ..., k ), как X _i , а обозначим как p _i вероятность того, что данное извлечение будет иметь цвет i . Функция массы вероятности этого полиномиального распределения имеет вид:

${\displaystyle {\begin{aligned}f(x_{1},\ldots ,x_{k};n,p_{1},\ldots ,p_{k})&{}=\Pr(X_{1}=x_{1}{\text{ and }}\dots {\text{ and }}X_{k}=x_{k})\\&{}={\begin{cases}{\displaystyle {n! \over x_{1}!\cdots x_{k}!}p_{1}^{x_{1}}\times \cdots \times p_{k}^{x_{k}}},\quad &{\text{when }}\sum _{i=1}^{k}x_{i}=n\\\\0&{\text{otherwise,}}\end{cases}}\end{aligned}}}$

для неотрицательных целых чисел x ₁ , ..., x _k .

Функцию массы вероятности можно выразить с помощью гамма-функции следующим образом:

${\displaystyle f(x_{1},\dots ,x_{k};p_{1},\ldots ,p_{k})={\frac {\Gamma (\sum _{i}x_{i}+1)}{\prod _{i}\Gamma (x_{i}+1)}}\prod _{i=1}^{k}p_{i}^{x_{i}}.}$

Эта форма показывает ее сходство с распределением Дирихле , которое является ее сопряженным априорным распределением .

Пример

Предположим, что на трехсторонних выборах в большой стране кандидат A получил 20% голосов, кандидат B получил 30% голосов, а кандидат C получил 50% голосов. Если случайным образом выбрать шесть избирателей, какова вероятность того, что в выборке будет ровно один сторонник кандидата A, два сторонника кандидата B и три сторонника кандидата C?

Примечание: Поскольку мы предполагаем, что голосующее население велико, разумно и допустимо считать вероятности неизменными после того, как избиратель выбран для выборки. Технически говоря, это выборка без замены, поэтому правильным распределением является многомерное гипергеометрическое распределение , но распределения сходятся по мере увеличения населения по сравнению с фиксированным размером выборки ^[1] .

${\displaystyle \Pr(A=1,B=2,C=3)={\frac {6!}{1!2!3!}}(0.2^{1})(0.3^{2})(0.5^{3})=0.135}$

Характеристики

Нормализация

Мультиномиальное распределение нормализуется по формуле:

${\displaystyle \sum _{\sum _{j=1}^{k}x_{j}=n}f(x_{1},...,x_{k};n,p_{1},...,p_{k})=1}$

где сумма берется по всем перестановкам таким, что . ${\displaystyle x_{j}}$ ${\displaystyle \sum _{j=1}^{k}x_{j}=n}$

Ожидаемое значение и дисперсия

Ожидаемое количество раз , когда результат i наблюдался в ходе n испытаний, равно

${\displaystyle \operatorname {E} (X_{i})=np_{i}.\,}$

Матрица ковариации выглядит следующим образом. Каждый диагональный элемент представляет собой дисперсию биномиально распределенной случайной величины, и поэтому

${\displaystyle \operatorname {Var} (X_{i})=np_{i}(1-p_{i}).\,}$

Недиагональные элементы — это ковариации :

${\displaystyle \operatorname {Cov} (X_{i},X_{j})=-np_{i}p_{j}\,}$

для i , j различны.

Все ковариации отрицательны, поскольку при фиксированном n увеличение одного компонента полиномиального вектора требует уменьшения другого компонента.

Когда эти выражения объединяются в матрицу с элементами i, j , результатом является положительно-полуопределенная ковариационная матрица размером k × k ранга k  − 1. В особом случае, когда k  =  n и все p _i равны, ковариационная матрица является центрирующей матрицей . ${\displaystyle \operatorname {cov} (X_{i},X_{j}),}$

Записи соответствующей корреляционной матрицы :

${\displaystyle \rho (X_{i},X_{i})=1.}$

${\displaystyle \rho (X_{i},X_{j})={\frac {\operatorname {Cov} (X_{i},X_{j})}{\sqrt {\operatorname {Var} (X_{i})\operatorname {Var} (X_{j})}}}={\frac {-p_{i}p_{j}}{\sqrt {p_{i}(1-p_{i})p_{j}(1-p_{j})}}}=-{\sqrt {\frac {p_{i}p_{j}}{(1-p_{i})(1-p_{j})}}}.}$

Обратите внимание, что число испытаний n выпадает из этого выражения.

Каждый из k компонентов в отдельности имеет биномиальное распределение с параметрами n и p _i для соответствующего значения индекса i .

Носителем полиномиального распределения является множество

${\displaystyle \{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}\mid n_{1}+\cdots +n_{k}=n\}.\,}$

Число его элементов равно

${\displaystyle {n+k-1 \choose k-1}.}$

Матричная запись

В матричной записи,

${\displaystyle \operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,}$

и

${\displaystyle \operatorname {Var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace ,\,}$

где p ^T = вектор-строка, транспонированный к вектору-столбцу p .

Визуализация

Как части обобщенного треугольника Паскаля

Точно так же, как можно интерпретировать биномиальное распределение как (нормализованные) одномерные (1D) срезы треугольника Паскаля , так же можно интерпретировать полиномиальное распределение как двумерные (треугольные) срезы пирамиды Паскаля или трехмерные/четырехмерные/+ (пирамидальные) срезы более многомерных аналогов треугольника Паскаля. Это раскрывает интерпретацию диапазона распределения : дискретизированные равносторонние «пирамиды» в произвольном измерении — т. е. симплекс с сеткой. ^{[ необходима цитата ]}

Как полиномиальные коэффициенты

Аналогично, так же как можно интерпретировать биномиальное распределение как коэффициенты полинома при разложении, можно интерпретировать полиномиальное распределение как коэффициенты при разложении, отметив, что только коэффициенты должны в сумме давать 1. ${\displaystyle (p+q)^{n}}$ ${\displaystyle (p_{1}+p_{2}+p_{3}+\cdots +p_{k})^{n}}$

Теория больших отклонений

Асимптотика

По формуле Стирлинга в пределе имеем где относительные частоты в данных можно интерпретировать как вероятности из эмпирического распределения , а — расхождение Кульбака–Лейблера . ${\displaystyle n,x_{1},...,x_{k}\to \infty }$ $${\displaystyle \ln {\binom {n}{x_{1},\cdots ,x_{k}}}+\sum _{i=1}^{k}x_{i}\ln p_{i}=-nD_{KL}({\hat {p}}\|p)-{\frac {k-1}{2}}\ln(2\pi n)-{\frac {1}{2}}\sum _{i=1}^{k}\ln({\hat {p}}_{i})+o(1)}$$ ${\displaystyle {\hat {p}}_{i}=x_{i}/n}$ ${\displaystyle {\hat {p}}}$ ${\displaystyle D_{KL}}$

Эту формулу можно интерпретировать следующим образом.

Рассмотрим , пространство всех возможных распределений по категориям . Это симплекс . После независимых выборок из категориального распределения (именно так мы строим мультиномиальное распределение) получаем эмпирическое распределение . ${\displaystyle \Delta _{k}}$ ${\displaystyle \{1,2,...,k\}}$ ${\displaystyle n}$ ${\displaystyle p}$ ${\displaystyle {\hat {p}}}$

Согласно асимптотической формуле, вероятность того, что эмпирическое распределение отклоняется от фактического распределения, убывает экспоненциально, со скоростью . Чем больше экспериментов и чем больше отличается от , тем меньше вероятность увидеть такое эмпирическое распределение. ${\displaystyle {\hat {p}}}$ ${\displaystyle p}$ ${\displaystyle nD_{KL}({\hat {p}}\|p)}$ ${\displaystyle {\hat {p}}}$ ${\displaystyle p}$

Если — замкнутое подмножество , то, разделив его на части и рассуждая о скорости роста на каждой части , получаем теорему Санова , которая утверждает, что ${\displaystyle A}$ ${\displaystyle \Delta _{k}}$ ${\displaystyle A}$ ${\displaystyle Pr({\hat {p}}\in A_{\epsilon })}$ ${\displaystyle A_{\epsilon }}$ $${\displaystyle \lim _{n\to \infty }{\frac {1}{n}}\ln Pr({\hat {p}}\in A)=-\inf _{{\hat {p}}\in A}D_{KL}({\hat {p}}\|p)}$$

Концентрация в целомн

Из-за экспоненциального распада, при больших , почти вся масса вероятности сосредоточена в малой окрестности . В этой малой окрестности мы можем взять первый ненулевой член в разложении Тейлора , чтобы получить Это напоминает гауссово распределение, что предполагает следующую теорему: ${\displaystyle n}$ ${\displaystyle p}$ ${\displaystyle D_{KL}}$ $${\displaystyle \ln {\binom {n}{x_{1},\cdots ,x_{k}}}p_{1}^{x_{1}}\cdots p_{k}^{x_{k}}\approx -{\frac {n}{2}}\sum _{i=1}^{k}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}=-{\frac {1}{2}}\sum _{i=1}^{k}{\frac {(x_{i}-np_{i})^{2}}{np_{i}}}}$$

Теорема. В пределе сходится по распределению к распределению хи-квадрат . ${\displaystyle n\to \infty }$ ${\displaystyle n\sum _{i=1}^{k}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}=\sum _{i=1}^{k}{\frac {(x_{i}-np_{i})^{2}}{np_{i}}}}$ ${\displaystyle \chi ^{2}(k-1)}$

Если мы выберем из полиномиального распределения и построим тепловую карту выборок в пределах двумерного симплекса (здесь показанного в виде черного треугольника), мы заметим, что при распределение сходится к гауссову распределению вокруг точки , при этом контуры сходятся по форме к эллипсам, а радиусы сходятся как . Между тем, расстояние между дискретными точками сходится как , и поэтому дискретное полиномиальное распределение сходится к непрерывному гауссову распределению. ${\displaystyle \mathrm {Multinomial} (n;0.2,0.3,0.5)}$ ${\displaystyle n\to \infty }$ ${\displaystyle (0.2,0.3,0.5)}$ ${\displaystyle 1/{\sqrt {n}}}$ ${\displaystyle 1/n}$

[Доказательство]

Пространство всех распределений по категориям представляет собой симплекс : , а множество всех возможных эмпирических распределений после экспериментов является подмножеством симплекса: . То есть, это пересечение между и решеткой . ${\displaystyle \{1,2,\ldots ,k\}}$ ${\displaystyle \Delta _{k}=\left\{(y_{1},\ldots ,y_{k})\colon y_{1},\ldots ,y_{k}\geq 0,\sum _{i}y_{i}=1\right\}}$ ${\displaystyle n}$ ${\displaystyle \Delta _{k,n}=\left\{(x_{1}/n,\ldots ,x_{k}/n)\colon x_{1},\ldots ,x_{k}\in \mathbb {N} ,\sum _{i}x_{i}=n\right\}}$ ${\displaystyle \Delta _{k}}$ ${\displaystyle (\mathbb {Z} ^{k})/n}$

По мере увеличения большая часть массы вероятности концентрируется в подмножестве вблизи , и распределение вероятности вблизи становится хорошо аппроксимируемым Из этого мы видим, что подмножество, на котором сосредоточена масса, имеет радиус порядка , но точки в подмножестве разделены расстоянием порядка , поэтому при больших , точки сливаются в континуум. Чтобы преобразовать это из дискретного распределения вероятности в непрерывную плотность вероятности, нам нужно умножить на объем, занимаемый каждой точкой в ​​. Однако по симметрии каждая точка занимает точно такой же объем (за исключением незначительного множества на границе), поэтому мы получаем плотность вероятности , где — константа. ${\displaystyle n}$ ${\displaystyle \Delta _{k,n}}$ ${\displaystyle p}$ ${\displaystyle p}$ $${\displaystyle {\binom {n}{x_{1},\cdots ,x_{k}}}p_{1}^{x_{1}}\cdots p_{k}^{x_{k}}\approx e^{-{\frac {n}{2}}\sum _{i}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}}}$$ ${\displaystyle 1/{\sqrt {n}}}$ ${\displaystyle 1/n}$ ${\displaystyle n}$ ${\displaystyle \Delta _{k,n}}$ ${\displaystyle \Delta _{k}}$ ${\displaystyle \rho ({\hat {p}})=Ce^{-{\frac {n}{2}}\sum _{i}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}}}$ ${\displaystyle C}$

Наконец, поскольку симплекс не весь , а только внутри -мерной плоскости, мы получаем желаемый результат. ${\displaystyle \Delta _{k}}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle (k-1)}$

Условная концентрация в целомн

Вышеуказанный феномен концентрации можно легко обобщить на случай, когда мы ставим условия на линейных ограничениях. Это теоретическое обоснование критерия хи-квадрат Пирсона .

Теорема. Учитывая частоты, наблюдаемые в наборе данных с точками, мы накладываем независимые линейные ограничения (обратите внимание, что первое ограничение - это просто требование, чтобы эмпирические распределения в сумме давали единицу), так что эмпирические распределения удовлетворяют всем этим ограничениям одновременно. Пусть обозначает -проекцию априорного распределения на подобласть симплекса, допускаемую линейными ограничениями. В пределе выборочные подсчеты из полиномиального распределения, обусловленного линейными ограничениями, управляются , которое сходится по распределению к распределению хи-квадрат . ${\displaystyle x_{i}\in \mathbb {N} }$ ${\displaystyle n}$ ${\displaystyle \ell +1}$ $${\displaystyle {\begin{cases}\sum _{i}{\hat {p}}_{i}=1,\\\sum _{i}a_{1i}{\hat {p}}_{i}=b_{1},\\\sum _{i}a_{2i}{\hat {p}}_{i}=b_{2},\\\cdots ,\\\sum _{i}a_{\ell i}{\hat {p}}_{i}=b_{\ell }\end{cases}}}$$ ${\displaystyle {\hat {p}}_{i}=x_{i}/n}$ ${\displaystyle q}$ ${\displaystyle I}$ ${\displaystyle p}$ ${\displaystyle n\to \infty }$ ${\displaystyle n{\hat {p}}_{i}}$ ${\displaystyle 2nD_{KL}({\hat {p}}\vert \vert q)\approx n\sum _{i}{\frac {({\hat {p}}_{i}-q_{i})^{2}}{q_{i}}}}$ ${\displaystyle \chi ^{2}(k-1-\ell )}$

[Доказательство]

Аналогичное доказательство применимо в этой диофантовой задаче связанных линейных уравнений в переменных-счетчиках ^[2], но на этот раз это пересечение с и гиперплоскостями, все линейно независимы, поэтому плотность вероятности ограничена -мерной плоскостью. В частности, расширение дивергенции KL вокруг ее минимума ( -проекции на ) в ограниченной задаче гарантирует по теореме Пифагора для -дивергенции, что любой постоянный и линейный член в счетах исчезает из условной вероятности для многонациональной выборки этих счетов. ${\displaystyle n{\hat {p}}_{i}}$ ${\displaystyle \Delta _{k,n}}$ ${\displaystyle (\mathbb {Z} ^{k})/n}$ ${\displaystyle \Delta _{k}}$ ${\displaystyle \ell }$ ${\displaystyle \rho ({\hat {p}})}$ ${\displaystyle (k-\ell -1)}$ ${\displaystyle D_{KL}({\hat {p}}\vert \vert p)}$ ${\displaystyle q}$ ${\displaystyle I}$ ${\displaystyle p}$ ${\displaystyle \Delta _{k,n}}$ ${\displaystyle I}$ ${\displaystyle n{\hat {p}}_{i}}$

Обратите внимание, что по определению каждое из должно быть рациональным числом, тогда как может быть выбрано из любого действительного числа в и не обязательно удовлетворяет диофантовой системе уравнений. Только асимптотически , как , ' могут рассматриваться как вероятности над . ${\displaystyle {\hat {p}}_{1},{\hat {p}}_{2},...,{\hat {p}}_{k}}$ ${\displaystyle p_{1},p_{2},...,p_{k}}$ ${\displaystyle [0,1]}$ ${\displaystyle n\rightarrow \infty }$ ${\displaystyle {\hat {p}}_{i}}$ ${\displaystyle [0,1]}$

Вдали от эмпирически наблюдаемых ограничений (таких как моменты или распространенности) теорему можно обобщить: ${\displaystyle b_{1},\ldots ,b_{\ell }}$

Теорема.

• Даны функции , такие, что они непрерывно дифференцируемы в окрестности , а векторы линейно независимы; ${\displaystyle f_{1},...,f_{\ell }}$ ${\displaystyle p}$ ${\displaystyle (1,1,...,1),\nabla f_{1}(p),...,\nabla f_{\ell }(p)}$
• заданы последовательности , такие, что асимптотически для каждого ; ${\displaystyle \epsilon _{1}(n),...,\epsilon _{\ell }(n)}$ ${\displaystyle {\frac {1}{n}}\ll \epsilon _{i}(n)\ll {\frac {1}{\sqrt {n}}}}$ ${\displaystyle i\in \{1,...,\ell \}}$
• тогда для полиномиального распределения, обусловленного ограничениями , мы имеем величину, сходящуюся по распределению к в пределе. ${\displaystyle f_{1}({\hat {p}})\in [f_{1}(p)-\epsilon _{1}(n),f_{1}(p)+\epsilon _{1}(n)],...,f_{\ell }({\hat {p}})\in [f_{\ell }(p)-\epsilon _{\ell }(n),f_{\ell }(p)+\epsilon _{\ell }(n)]}$ ${\displaystyle n\sum _{i}{\frac {({\hat {p}}_{i}-p_{i})^{2}}{p_{i}}}=\sum _{i}{\frac {(x_{i}-np_{i})^{2}}{np_{i}}}}$ ${\displaystyle \chi ^{2}(k-1-\ell )}$ ${\displaystyle n\to \infty }$

В случае, если все равны, теорема сводится к концентрации энтропий вокруг максимальной энтропии. ^{[3] [4]} ${\displaystyle {\hat {p}}_{i}}$

Связанные дистрибутивы

В некоторых областях, таких как обработка естественного языка , категориальное и полиномиальное распределения являются синонимами, и обычно говорят о полиномиальном распределении, когда на самом деле подразумевают категориальное распределение . Это происходит из-за того, что иногда удобно выражать результат категориального распределения как вектор «1 из k» (вектор с одним элементом, содержащим 1, и всеми остальными элементами, содержащими 0), а не как целое число в диапазоне ; в этой форме категориальное распределение эквивалентно полиномиальному распределению в течение одного испытания. ${\displaystyle 1\dots k}$

• При k = 2 полиномиальное распределение является биномиальным распределением .
• Категориальное распределение , распределение каждого испытания; для k = 2 это распределение Бернулли .
• Распределение Дирихле является сопряженным априорным распределением полинома в байесовской статистике .
• Распределение Дирихле-мультиномиума .
• Бета-биномиальное распределение .
• Отрицательное мультиномиальное распределение
• Принцип Харди–Вайнберга (триномиальное распределение с вероятностями ) ${\displaystyle (\theta ^{2},2\theta (1-\theta ),(1-\theta )^{2})}$

Статистический вывод

Тесты эквивалентности для полиномиальных распределений

Целью проверки эквивалентности является установление соответствия между теоретическим полиномиальным распределением и наблюдаемыми частотами подсчета. Теоретическое распределение может быть полностью определенным полиномиальным распределением или параметрическим семейством полиномиальных распределений.

Пусть обозначает теоретическое полиномиальное распределение и пусть будет истинным базовым распределением. Распределения и считаются эквивалентными, если для расстояния и параметра толерантности . Задача теста эквивалентности — против . Истинное базовое распределение неизвестно. Вместо этого наблюдаются частоты подсчета, где — размер выборки. Тест эквивалентности использует для отклонения . Если может быть отклонено, то эквивалентность между и показывается на заданном уровне значимости. Тест эквивалентности для евклидова расстояния можно найти в учебнике Веллека (2010). ^[5] Тест эквивалентности для расстояния общей вариации разработан в Островски (2017). ^[6] Точный тест эквивалентности для конкретного кумулятивного расстояния предложен в Фрее (2009). ^[7] ${\displaystyle q}$ ${\displaystyle p}$ ${\displaystyle p}$ ${\displaystyle q}$ ${\displaystyle d(p,q)<\varepsilon }$ ${\displaystyle d}$ ${\displaystyle \varepsilon >0}$ ${\displaystyle H_{0}=\{d(p,q)\geq \varepsilon \}}$ ${\displaystyle H_{1}=\{d(p,q)<\varepsilon \}}$ ${\displaystyle p}$ ${\displaystyle p_{n}}$ ${\displaystyle n}$ ${\displaystyle p_{n}}$ ${\displaystyle H_{0}}$ ${\displaystyle H_{0}}$ ${\displaystyle p}$ ${\displaystyle q}$

Расстояние между истинным базовым распределением и семейством мультиномиальных распределений определяется как . Тогда задача проверки эквивалентности задается как и . Расстояние обычно вычисляется с использованием численной оптимизации. Тесты для этого случая были недавно разработаны в Ostrovski (2018). ^[8] ${\displaystyle p}$ ${\displaystyle {\mathcal {M}}}$ ${\displaystyle d(p,{\mathcal {M}})=\min _{h\in {\mathcal {M}}}d(p,h)}$ ${\displaystyle H_{0}=\{d(p,{\mathcal {M}})\geq \varepsilon \}}$ ${\displaystyle H_{1}=\{d(p,{\mathcal {M}})<\varepsilon \}}$ ${\displaystyle d(p,{\mathcal {M}})}$

Доверительные интервалы для разницы двух пропорций

В условиях полиномиального распределения построение доверительных интервалов для разницы между пропорциями наблюдений двух событий требует включения отрицательной ковариации между выборочными оценками и . ${\displaystyle p_{i}-p_{j}}$ ${\displaystyle {\hat {p}}_{i}={\frac {X_{i}}{n}}}$ ${\displaystyle {\hat {p}}_{j}={\frac {X_{j}}{n}}}$

Часть литературы по этой теме была сосредоточена на варианте использования двоичных данных с сопоставленными парами, что требует особого внимания при переводе формул в общий случай для любого мультиномиального распределения. Формулы в текущем разделе будут обобщены, в то время как формулы в следующем разделе будут сосредоточены на варианте использования двоичных данных с сопоставленными парами. ${\displaystyle p_{i}-p_{j}}$

Стандартную ошибку Вальда (SE) разницы пропорций можно оценить с помощью: ^{[9] : 378  [10]}

${\displaystyle {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}={\sqrt {\frac {({\hat {p}}_{i}+{\hat {p}}_{j})-({\hat {p}}_{i}-{\hat {p}}_{j})^{2}}{n}}}}$

Для приблизительного доверительного интервала погрешность может включать соответствующий квантиль из стандартного нормального распределения следующим образом: ${\displaystyle 100(1-\alpha )\%}$

${\displaystyle ({\hat {p}}_{i}-{\hat {p}}_{j})\pm z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}}$

[Доказательство]

По мере увеличения размера выборки ( ) пропорции выборки будут приблизительно следовать многомерному нормальному распределению благодаря многомерной центральной предельной теореме (и это также можно показать с помощью теоремы Крамера–Вольда ). Следовательно, их разность также будет приблизительно нормальной. Кроме того, эти оценки слабо согласованы , и включение их в оценку SE делает ее также слабо согласованной. Следовательно, благодаря теореме Слуцкого , основная величина приблизительно следует стандартному нормальному распределению . И из этого напрямую выводится приведенный выше приблизительный доверительный интервал . ${\displaystyle n}$ ${\displaystyle {\frac {({\hat {p}}_{i}-{\hat {p}}_{j})-(p_{i}-p_{j})}{\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}}}$

SE можно построить, используя исчисление дисперсии разности двух случайных величин : ${\displaystyle {\begin{aligned}{\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}&={\sqrt {{\frac {{\hat {p}}_{i}(1-{\hat {p}}_{i})}{n}}+{\frac {{\hat {p}}_{j}(1-{\hat {p}}_{j})}{n}}-2\left(-{\frac {{\hat {p}}_{i}{\hat {p}}_{j}}{n}}\right)}}\\&={\sqrt {{\frac {1}{n}}\left({\hat {p}}_{i}+{\hat {p}}_{j}-{\hat {p}}_{i}^{2}-{\hat {p}}_{j}^{2}+2{\hat {p}}_{i}{\hat {p}}_{j}\right)}}\\&={\sqrt {\frac {({\hat {p}}_{i}+{\hat {p}}_{j})-({\hat {p}}_{i}-{\hat {p}}_{j})^{2}}{n}}}\end{aligned}}}$

Модификация, включающая коррекцию непрерывности, увеличивает погрешность следующим образом: ^{[11] : 102–3} ${\displaystyle {\frac {1}{n}}}$

${\displaystyle ({\hat {p}}_{i}-{\hat {p}}_{j})\pm \left(z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}+{\frac {1}{n}}\right)}$

Другой альтернативой является использование байесовского оценщика с использованием априорного распределения Джеффри , что приводит к использованию распределения Дирихле , где все параметры равны 0,5, в качестве априорного распределения. Апостериорное распределение будет вычисляться сверху, но после добавления 1/2 к каждому из k элементов, что приведет к общему увеличению размера выборки на . Первоначально это было разработано для мультиномиального распределения с четырьмя событиями и известно как wald+2 для анализа данных согласованных пар (см. следующий раздел для получения более подробной информации). ^[12] ${\displaystyle {\frac {k}{2}}}$

Это приводит к следующему SE:

${\displaystyle {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+{\frac {k}{2}}}={\sqrt {\frac {\left({\hat {p}}_{i}+{\hat {p}}_{j}+{\frac {1}{n}}\right){\frac {n}{n+{\frac {k}{2}}}}-\left({\hat {p}}_{i}-{\hat {p}}_{j}\right)^{2}\left({\frac {n}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}}$

[Доказательство]

${\displaystyle {\begin{aligned}{\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+{\frac {k}{2}}}&={\sqrt {\frac {\left({\frac {x_{i}+1/2}{n+{\frac {k}{2}}}}+{\frac {x_{j}+1/2}{n+{\frac {k}{2}}}}\right)-\left({\frac {x_{i}+1/2}{n+{\frac {k}{2}}}}-{\frac {x_{j}+1/2}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}\\&={\sqrt {\frac {\left({\frac {x_{i}}{n}}+{\frac {x_{j}}{n}}+{\frac {1}{n}}\right){\frac {n}{n+{\frac {k}{2}}}}-\left({\frac {x_{i}}{n}}-{\frac {x_{j}}{n}}\right)^{2}\left({\frac {n}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}\\&={\sqrt {\frac {\left({\hat {p}}_{i}+{\hat {p}}_{j}+{\frac {1}{n}}\right){\frac {n}{n+{\frac {k}{2}}}}-\left({\hat {p}}_{i}-{\hat {p}}_{j}\right)^{2}\left({\frac {n}{n+{\frac {k}{2}}}}\right)^{2}}{n+{\frac {k}{2}}}}}\end{aligned}}}$

Что можно просто подставить в исходную формулу Вальда следующим образом:

${\displaystyle (p_{i}-p_{j}){\frac {n}{n+{\frac {k}{2}}}}\pm z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+{\frac {k}{2}}}}$

Возникновение и применение

Доверительные интервалы для разности двоичных данных в сопоставленных парах (с использованием мультиномиального ск=4)

Для случая бинарных данных с сопоставленными парами распространенной задачей является построение доверительного интервала разницы доли сопоставленных событий. Например, у нас может быть тест на какое-то заболевание, и мы можем захотеть проверить его результаты для некоторой популяции в двух точках времени (1 и 2), чтобы проверить, произошло ли изменение доли положительных результатов для заболевания за это время.

Такие сценарии могут быть представлены с помощью таблицы сопряженности два на два с числом элементов, которые имели каждую из комбинаций событий. Мы можем использовать маленькую f для частот выборки: и большую F для частот популяции: . Эти четыре комбинации могут быть смоделированы как исходящие из мультиномиального распределения (с четырьмя потенциальными результатами). Размеры выборки и популяции могут быть n и N соответственно. И в таком случае есть интерес в построении доверительного интервала для разницы пропорций от маргиналов следующей (выборочной) таблицы сопряженности: ${\displaystyle f_{11},f_{10},f_{01},f_{00}}$ ${\displaystyle F_{11},F_{10},F_{01},F_{00}}$

В этом случае проверка разницы в предельных пропорциях означает, что мы заинтересованы в использовании следующих определений: , . А разница, для которой мы хотим построить доверительные интервалы, равна: ${\displaystyle p_{1*}={\frac {F_{1*}}{N}}={\frac {F_{11}+F_{10}}{N}}}$ ${\displaystyle p_{*1}={\frac {F_{*1}}{N}}={\frac {F_{11}+F_{01}}{N}}}$

${\displaystyle p_{*1}-p_{1*}={\frac {F_{11}+F_{01}}{N}}-{\frac {F_{11}+F_{10}}{N}}={\frac {F_{01}}{N}}-{\frac {F_{10}}{N}}=p_{01}-p_{10}}$

Следовательно, доверительный интервал для предельных положительных пропорций ( ) аналогичен построению доверительного интервала для разности пропорций из вторичной диагонали таблицы сопряженности два на два ( ). ${\displaystyle p_{*1}-p_{1*}}$ ${\displaystyle p_{01}-p_{10}}$

Расчет p-значения для такой разницы известен как тест Макнемара . Построение доверительного интервала вокруг него может быть построено с использованием методов, описанных выше для Доверительных интервалов для разницы двух пропорций.

Доверительные интервалы Вальда из предыдущего раздела могут быть применены к этой настройке и появляются в литературе с использованием альтернативных обозначений. В частности, SE часто представлено на основе частот таблицы сопряженности вместо пропорций выборки. Например, доверительные интервалы Вальда, приведенные выше, могут быть записаны как: ^{[11] : 102–3}

${\displaystyle {\widehat {\operatorname {SE} (p_{*1}-p_{1*})}}={\widehat {\operatorname {SE} (p_{01}-p_{10})}}={\frac {\sqrt {n(f_{10}+f_{01})-(f_{10}-f_{01})^{2}}}{n{\sqrt {n}}}}}$

Дальнейшие исследования литературы выявили ряд недостатков как в методе Вальда, так и в методе Вальда с коррекцией непрерывности, и были предложены другие методы для практического применения. ^[11]

Одна из таких модификаций включает Wald+2 Агрести и Мина (похожую на некоторые из их других работ ^[13] ), в которой к каждой частоте ячейки добавлялось дополнительное значение . ^[12] Это приводит к доверительным интервалам Wald+2 . В байесовской интерпретации это похоже на построение оценок, принимая в качестве априорного распределение Дирихле со всеми параметрами, равными 0,5 (что, по сути, является априорным распределением Джеффриса ). Теперь +2 в названии wald+2 можно понимать так, что в контексте таблицы сопряженности два на два, которая является мультиномиальным распределением с четырьмя возможными событиями, то, поскольку мы добавляем 1/2 наблюдения к каждому из них, то это переводится в общее добавление 2 наблюдений (из-за априорного). ${\displaystyle {\frac {1}{2}}}$

Это приводит к следующей измененной SE для случая сопоставленных пар данных:

${\displaystyle {\widehat {\operatorname {SE} (p_{*1}-p_{1*})}}={\frac {\sqrt {(n+2)(f_{10}+f_{01}+1)-(f_{10}-f_{01})^{2}}}{(n+2){\sqrt {(n+2)}}}}}$

Что можно просто подставить в исходную формулу Вальда следующим образом:

${\displaystyle (p_{*1}-p_{1*}){\frac {n}{n+2}}\pm z_{\alpha /2}\cdot {\widehat {\operatorname {SE} ({\hat {p}}_{i}-{\hat {p}}_{j})}}_{wald+2}}$

Другие модификации включают скорректированную шкалу Вальда Бонетта и Прайса и шкалу Ньюкомба .

Методы расчета

Генерация случайных величин

Сначала переупорядочим параметры так, чтобы они были отсортированы по убыванию (это только для ускорения вычислений и не является строго необходимым). Теперь для каждого испытания извлеките вспомогательную переменную X из равномерного распределения (0, 1). Полученный результат — это компонент ${\displaystyle p_{1},\ldots ,p_{k}}$

${\displaystyle j=\min \left\{j'\in \{1,\dots ,k\}\colon \left(\sum _{i=1}^{j'}p_{i}\right)-X\geq 0\right\}.}$

{ X _j = 1, X _k = 0 для k  ≠  j } — одно наблюдение из полиномиального распределения при и n  = 1. Сумма независимых повторений этого эксперимента — это наблюдение из полиномиального распределения при n, равном числу таких повторений. ${\displaystyle p_{1},\ldots ,p_{k}}$

Выборка с использованием повторных условных биномиальных выборок

При заданных параметрах и общем значении для выборки, таких что , можно последовательно выполнить выборку для числа в произвольном состоянии , разбив пространство состояний на и не- , обусловленную любыми предыдущими выборками, уже взятыми, многократно. ${\displaystyle p_{1},p_{2},\ldots ,p_{k}}$ ${\displaystyle n}$ ${\displaystyle \sum _{i=1}^{k}X_{i}=n}$ ${\displaystyle X_{i}}$ ${\displaystyle i}$ ${\displaystyle i}$

Алгоритм: Последовательная условная биномиальная выборка

S = n rho = 1 для i из [ 1 ,k-1 ] : если rho ! = 0 : X [ i ] ~ Бином ( S,p [ i ] /rho ) иначе X [ i ] = 0 S = S - X [ i ] rho = rho - p [ i ]
X [ k ] = S                               

Эвристически каждое применение биномиальной выборки уменьшает доступное число для выборки, а условные вероятности также обновляются для обеспечения логической согласованности. ^[14]

Реализации программного обеспечения

• Пакет MultinomialCI R позволяет вычислять одновременные доверительные интервалы для вероятностей мультиномиального распределения с учетом набора наблюдений. ^[15]

Смотрите также

• Аддитивное сглаживание

Дальнейшее чтение

• Эванс, Мортон; Гастингс, Николас; Пикок, Брайан (2000). Статистические распределения (3-е изд.). Нью-Йорк: Wiley. С. 134–136. ISBN 0-471-37124-6.
• Вайсштейн, Эрик В. "Мультиномиальное распределение". MathWorld . Wolfram Research .

Ссылки

1. "вероятность - выборка мультиномиального распределения". Перекрестная проверка . Получено 28.07.2022 .
2. Лукас, Орестис; Чунг, Хо Рюн (2023). «Тотальный эмпиризм: обучение на основе данных». arXiv : 2311.08315 [math.ST].
3. Лукас, Орестис; Чунг, Хо Рюн (апрель 2022 г.). «Категорные распределения максимальной энтропии при маргинальных ограничениях». arXiv : 2204.03406 .
4. Лукас, Орестис; Чунг, Хо Рюн (июнь 2022 г.). «Характеристика ограничений моделирования на основе энтропии». arXiv : 2206.14105 .
5. Wellek, Stefan (2010). Проверка статистических гипотез эквивалентности и неполноценности . Chapman and Hall/CRC. ISBN 978-1439808184.
6. Островский, Владимир (май 2017). «Проверка эквивалентности мультиномиальных распределений». Statistics & Probability Letters . 124 : 77–82. doi : 10.1016/j.spl.2017.01.004. S2CID  126293429.Официальная веб-ссылка (требуется подписка). Альтернативная, бесплатная веб-ссылка.
7. Фрей, Джесси (март 2009 г.). «Точный многочленный тест на эквивалентность». Канадский журнал статистики . 37 : 47–59. doi : 10.1002/cjs.10000. S2CID  122486567.Официальная веб-ссылка (требуется подписка).
8. Островский, Владимир (март 2018 г.). «Проверка эквивалентности семействам мультиномиальных распределений с применением к модели независимости». Statistics & Probability Letters . 139 : 61–66. doi :10.1016/j.spl.2018.03.014. S2CID  126261081.Официальная веб-ссылка (требуется подписка). Альтернативная, бесплатная веб-ссылка.
9. Флейсс, Джозеф Л.; Левин, Брюс; Пайк, Мёнхи Чо (2003). Статистические методы для показателей и пропорций (3-е изд.). Хобокен, Нью-Джерси: J. Wiley. стр. 760. ISBN 9780471526292.
10. Ньюкомб, РГ (1998). «Интервальная оценка разницы между независимыми пропорциями: сравнение одиннадцати методов». Статистика в медицине . 17 (8): 873–890. doi :10.1002/(SICI)1097-0258(19980430)17:8<873::AID-SIM779>3.0.CO;2-I. PMID  9595617.
11. "Доверительные интервалы для разницы между двумя коррелированными пропорциями" (PDF) . NCSS . Получено 2022-03-22 .
12. Agresti, Alan; Min, Yongyi (2005). "Простые улучшенные доверительные интервалы для сравнения соответствующих пропорций" (PDF) . Статистика в медицине . 24 (5): 729–740. doi :10.1002/sim.1781. PMID  15696504.
13. Агрести, А.; Каффо, Б. (2000). «Простые и эффективные доверительные интервалы для пропорций и разностей пропорций получаются путем сложения двух успехов и двух неудач». Американский статистик . 54 (4): 280–288. doi :10.1080/00031305.2000.10474560.
14. "11.5: Мультиномиальное распределение". Статистика LibreTexts . 2020-05-05 . Получено 2023-09-13 .
15. "MultinomialCI - Доверительные интервалы для мультиномиальных пропорций". CRAN. 11 мая 2021 г. Получено 23.03.2024 .