stringtranslate.com

Полиномиальное распределение

В теории вероятностей полиномиальное распределение является обобщением биномиального распределения . Например, он моделирует вероятность выпадения очков для каждой стороны k -сторонней игральной кости, брошенной n раз. Для n независимых испытаний, каждое из которых приводит к успеху ровно одной из k категорий, причем каждая категория имеет заданную фиксированную вероятность успеха, полиномиальное распределение дает вероятность любой конкретной комбинации чисел успехов для различных категорий.

Когда k равно 2, а n равно 1, полиномиальное распределение является распределением Бернулли . Когда k равно 2, а n больше 1, это биномиальное распределение . Когда k больше 2 и n равно 1, это категориальное распределение . Термин «мультинолли» иногда используется для категориального распределения, чтобы подчеркнуть эту четырехстороннюю связь (так n определяет суффикс, а k - префикс).

Распределение Бернулли моделирует результат одного испытания Бернулли . Другими словами, он моделирует, приведет ли подбрасывание монеты (возможно, необъективной ) один раз к успеху (получение орла) или неудаче (получение решки). Биномиальное распределение обобщает это на количество решек в результате выполнения n независимых подбросов (испытаний Бернулли) одной и той же монеты. Полиномиальное распределение моделирует результат n экспериментов, где результат каждого испытания имеет категориальное распределение , например, бросок k -сторонней игральной кости n раз.

Пусть k — фиксированное конечное число. Математически у нас есть k возможных взаимоисключающих результатов с соответствующими вероятностями p 1 , ..., p k и n независимых испытаний. Поскольку k исходов являются взаимоисключающими и один из них должен произойти, мы имеем p i  ≥ 0 для i  = 1, ...,  k и . Тогда, если случайные величины X i указывают, сколько раз результат номер i наблюдался в n испытаниях, вектор X  = ( X 1 , ...,  X k ) следует полиномиальному распределению с параметрами n и p , где p  = ( п 1 , ...,  п к ). Хотя испытания независимы, их результаты X i зависимы, поскольку их необходимо просуммировать до n.

Определения

Функция массы вероятности

Предположим, кто-то проводит эксперимент по извлечению из мешка n шаров k разных цветов, заменяя извлеченные шары после каждого розыгрыша. Шары одного цвета эквивалентны. Обозначим переменную, которая представляет собой количество извлеченных шаров цвета i ( i = 1, ..., k ), как X i , и обозначим как pi вероятность того, что данное извлечение будет цвета i . Функция массы вероятности этого полиномиального распределения:

для неотрицательных целых чисел x 1 , ..., x k .

Массовую функцию вероятности можно выразить с помощью гамма-функции как:

Эта форма показывает свое сходство с распределением Дирихле , которое является его сопряженным априором .

Пример

Предположим, что на трехсторонних выборах в большой стране кандидат А получил 20% голосов, кандидат Б — 30% голосов, а кандидат С — 50% голосов. Если шесть избирателей выбраны случайным образом, какова вероятность того, что в выборке окажется ровно один сторонник кандидата А, два сторонника кандидата В и три сторонника кандидата С?

Примечание. Поскольку мы предполагаем, что голосующее население велико, разумно и допустимо считать вероятности неизменными после того, как избиратель выбран для выборки. Технически говоря, это выборка без замещения, поэтому правильным распределением является многомерное гипергеометрическое распределение , но распределения сходятся по мере того, как популяция становится больше по сравнению с фиксированным размером выборки [1] .

Характеристики

Ожидаемое значение и дисперсия

Ожидаемое количество раз , когда результат i наблюдался в n испытаниях, равно

Ковариационная матрица выглядит следующим образом. Каждый диагональный элемент представляет собой дисперсию биномиально распределенной случайной величины и, следовательно,

Внедиагональные записи представляют собой ковариации :

для i , j различны.

Все ковариации отрицательны, поскольку при фиксированном n увеличение одного компонента полиномиального вектора требует уменьшения другого компонента.

Когда эти выражения объединяются в матрицу с элементами i , j, результатом является положительно-полуопределенная ковариационная матрица размера k × k ранга k  - 1. В особом случае, когда k  =  n и все p i равны, ковариация матрица – это центрирующая матрица .

Элементы соответствующей корреляционной матрицы :

Обратите внимание, что количество испытаний n не входит в это выражение.

Каждый из k компонентов в отдельности имеет биномиальное распределение с параметрами n и pi для соответствующего значения индекса i .

Носителем полиномиального распределения является множество

Число его элементов равно

Матричное обозначение

В матричной записи

и

где p T = вектор-строка, транспонированная вектор-столбцу p .

Визуализация

Как срезы обобщенного треугольника Паскаля.

Точно так же, как можно интерпретировать биномиальное распределение как (нормализованные) одномерные (1D) срезы треугольника Паскаля , так же можно интерпретировать полиномиальное распределение как 2D (треугольные) срезы пирамиды Паскаля или 3D/4D/+ (пирамидально- образные) срезы многомерных аналогов треугольника Паскаля. Это открывает интерпретацию диапазона распределения : дискретизированные равносторонние «пирамиды» в произвольном измерении, то есть симплекс с сеткой. [ нужна цитата ]

В качестве полиномиальных коэффициентов

Точно так же, как можно интерпретировать биномиальное распределение как полиномиальные коэффициенты при расширении, можно интерпретировать полиномиальное распределение как коэффициенты при расширении, отметив, что сумма только коэффициентов должна составлять 1.

Теория больших отклонений

Асимптотика

По формуле Стирлинга в пределе имеем

расхождение Кульбака – Лейблера

Эту формулу можно интерпретировать следующим образом.

Рассмотрим пространство всех возможных распределений по категориям . Это симплекс . После независимых выборок из категориального распределения (именно так мы строим полиномиальное распределение) мы получаем эмпирическое распределение .

По асимптотической формуле вероятность отклонения эмпирического распределения от фактического распределения убывает экспоненциально со скоростью . Чем больше экспериментов и чем больше отличается от , тем меньше вероятность увидеть такое эмпирическое распределение.

Если — замкнутое подмножество , то, разделив на части и рассуждая о скорости роста на каждой части , мы получаем теорему Санова , которая утверждает, что

Концентрация в целом N

Из-за экспоненциального затухания при больших почти вся вероятностная масса концентрируется в малой окрестности . В этой небольшой окрестности мы можем взять первый ненулевой член в разложении Тейлора , чтобы получить

Теорема. В пределе сходится по распределению к распределению хи-квадрат .

Если мы произведем выборку из полиномиального распределения и построим тепловую карту выборок в пределах 2-мерного симплекса (здесь показано в виде черного треугольника), мы заметим, что при , распределение сходится к гауссову вокруг точки с контурами, сходящимися в форму эллипса с радиусами, сходящимися как . Между тем, расстояние между дискретными точками сходится при , и поэтому дискретное полиномиальное распределение сходится к непрерывному гауссову распределению.

Доказательство. Пространство всех распределений по категориям представляет собой симплекс : , а множество всех возможных эмпирических распределений после экспериментов является подмножеством симплекса: . То есть это пересечение между и решетка .

По мере увеличения большая часть вероятностной массы концентрируется в подмножестве close и распределение вероятностей close становится хорошо аппроксимируемым

Наконец, поскольку симплекс находится не весь из , а только внутри -мерной плоскости, мы получаем искомый результат.

Условная концентрация при больших N

Вышеописанное явление концентрации можно легко обобщить на случай, когда мы ставим условия на линейные ограничения. Это теоретическое обоснование критерия хи-квадрат Пирсона .

Теорема. Учитывая частоты , наблюдаемые в наборе данных с точками, мы налагаем независимые линейные ограничения.

обусловленногосходится по распределениюраспределению хи-квадрат

Доказательство. Аналогичное доказательство применяется в этой диофантовой задаче о связанных линейных уравнениях со счетными переменными [2] , но на этот раз это пересечение гиперплоскостей с и , все они линейно независимы, поэтому плотность вероятности ограничена -мерной плоскостью. В частности, расширение дивергенции KL вокруг ее минимума ( -проекции on ) в ограниченной задаче гарантирует, согласно теореме Пифагора для -дивергенции, что любой постоянный и линейный член в подсчетах исчезает из условной вероятности для многонациональной выборки этих подсчетов.

Обратите внимание, что по определению каждое из должно быть рациональным числом, тогда как может быть выбрано из любого действительного числа и не обязательно удовлетворять диофантовой системе уравнений. Только асимптотически , поскольку , можно рассматривать как вероятности более . Вдали от эмпирически наблюдаемых ограничений (таких как моменты или преобладания) теорему можно обобщить:

Теорема.

В случае, когда все равны, теорема сводится к концентрации энтропии вокруг максимальной энтропии. [3] [4]

Связанные дистрибутивы

В некоторых областях, таких как обработка естественного языка , категориальные и полиномиальные распределения являются синонимами, и принято говорить о полиномиальном распределении, когда на самом деле имеется в виду категориальное распределение . Это связано с тем, что иногда удобно выразить результат категориального распределения как вектор «1 из K» (вектор, в котором один элемент содержит 1, а все остальные элементы содержат 0), а не как целое число. В диапазоне ; в этой форме категориальное распределение эквивалентно полиномиальному распределению по одному испытанию.

Статистические выводы

Тесты эквивалентности для полиномиальных распределений

Целью проверки эквивалентности является установление соответствия между теоретическим полиномиальным распределением и наблюдаемыми частотами счета. Теоретическое распределение может быть полностью заданным полиномиальным распределением или параметрическим семейством полиномиальных распределений.

Пусть обозначает теоретическое полиномиальное распределение и пусть это истинное базовое распределение. Распределения и считаются эквивалентными, если для расстояния и параметра допуска . Проблема проверки эквивалентности заключается в сравнении . Истинное основное распределение неизвестно. Вместо этого наблюдаются частоты счета , где – размер выборки. Тест на эквивалентность используется для отклонения . Если можно отклонить, то эквивалентность между и отображается на данном уровне значимости. Критерий эквивалентности евклидова расстояния можно найти в учебнике Веллека (2010). [5] Тест эквивалентности для общего вариационного расстояния разработан Островским (2017). [6] Точный тест эквивалентности для конкретного совокупного расстояния предложен Фреем (2009). [7]

Расстояние между истинным базовым распределением и семейством полиномиальных распределений определяется как . Тогда задача проверки эквивалентности определяется как и . Расстояние обычно вычисляется с помощью численной оптимизации. Тесты для этого случая недавно разработаны Островским (2018). [8]

Генерация случайной переменной

Во-первых, измените порядок параметров так, чтобы они были отсортированы по убыванию (это сделано только для ускорения вычислений и не является строго необходимым). Теперь для каждого испытания нарисуйте вспомогательную переменную X из равномерного (0, 1) распределения. Результирующим результатом является компонент

{ X j = 1, X k = 0 для k  ≠  j } — это одно наблюдение из полиномиального распределения с и n  = 1. Сумма независимых повторений этого эксперимента представляет собой наблюдение из полиномиального распределения с n , равным числу такие повторы.

Выборка с использованием повторяющихся условных биномиальных выборок

Учитывая параметры и общее количество выборки, такое , что можно последовательно производить выборку для числа в произвольном состоянии , разделяя пространство состояний на и не- , при условии, что любые предыдущие выборки, уже взятые, неоднократно.

Алгоритм: Последовательная условная биномиальная выборка.

S = N rho = 1 для i в [ 1 ,k-1 ] : если rho ! = 0 : X [ i ] ~ Binom ( S,p [ i ] /rho ) else X [ i ] = 0 S = S - X [ i ] rho = rho - p [ i ]
X [ k ] = S                              

С эвристической точки зрения каждое применение биномиальной выборки уменьшает доступное число для выборки, а условные вероятности также обновляются для обеспечения логической согласованности. [9]

Рекомендации

Цитаты

  1. ^ «Вероятность - выборка полиномиального распределения» . Крест проверен . Проверено 28 июля 2022 г.
  2. ^ Лукас, Орестис; Чунг, Хо Рюн (2023). «Тотальный эмпиризм: обучение на данных». arXiv : 2311.08315 [math.ST].
  3. ^ Лукас, Орестис; Чунг, Хо Рюн (апрель 2022 г.). «Категорические распределения максимальной энтропии при предельных ограничениях». arXiv : 2204.03406 .
  4. ^ Лукас, Орестис; Чунг, Хо Рюн (июнь 2022 г.). «Энтропийная характеристика ограничений моделирования». arXiv : 2206.14105 .
  5. ^ Веллек, Стефан (2010). Проверка статистических гипотез об эквивалентности и не меньшей эффективности . Чепмен и Холл/CRC. ISBN 978-1439808184.
  6. Островский, Владимир (май 2017 г.). «Проверка эквивалентности полиномиальных распределений». Статистика и вероятностные буквы . 124 : 77–82. дои : 10.1016/j.spl.2017.01.004. S2CID  126293429.Официальная веб-ссылка (требуется подписка). Альтернативная бесплатная ссылка.
  7. ^ Фрей, Джесси (март 2009 г.). «Точный полиномиальный критерий эквивалентности». Канадский статистический журнал . 37 : 47–59. дои : 10.1002/cjs.10000. S2CID  122486567.Официальная веб-ссылка (требуется подписка).
  8. Островский, Владимир (март 2018 г.). «Проверка эквивалентности семейств полиномиальных распределений с применением модели независимости». Статистика и вероятностные буквы . 139 : 61–66. дои : 10.1016/j.spl.2018.03.014. S2CID  126261081.Официальная веб-ссылка (требуется подписка). Альтернативная бесплатная ссылка.
  9. ^ «11.5: Полиномиальное распределение». Статистика LibreTexts . 05.05.2020 . Проверено 13 сентября 2023 г.

Источники