В теории вероятностей полиномиальное распределение является обобщением биномиального распределения . Например, он моделирует вероятность выпадения очков для каждой стороны k -сторонней игральной кости, брошенной n раз. Для n независимых испытаний, каждое из которых приводит к успеху ровно одной из k категорий, причем каждая категория имеет заданную фиксированную вероятность успеха, полиномиальное распределение дает вероятность любой конкретной комбинации чисел успехов для различных категорий.
Когда k равно 2, а n равно 1, полиномиальное распределение является распределением Бернулли . Когда k равно 2, а n больше 1, это биномиальное распределение . Когда k больше 2 и n равно 1, это категориальное распределение . Термин «мультинолли» иногда используется для категориального распределения, чтобы подчеркнуть эту четырехстороннюю связь (так n определяет суффикс, а k - префикс).
Распределение Бернулли моделирует результат одного испытания Бернулли . Другими словами, он моделирует, приведет ли подбрасывание монеты (возможно, необъективной ) один раз к успеху (получение орла) или неудаче (получение решки). Биномиальное распределение обобщает это на количество решек в результате выполнения n независимых подбросов (испытаний Бернулли) одной и той же монеты. Полиномиальное распределение моделирует результат n экспериментов, где результат каждого испытания имеет категориальное распределение , например, бросок k -сторонней игральной кости n раз.
Пусть k — фиксированное конечное число. Математически у нас есть k возможных взаимоисключающих результатов с соответствующими вероятностями p 1 , ..., p k и n независимых испытаний. Поскольку k исходов являются взаимоисключающими и один из них должен произойти, мы имеем p i ≥ 0 для i = 1, ..., k и . Тогда, если случайные величины X i указывают, сколько раз результат номер i наблюдался в n испытаниях, вектор X = ( X 1 , ..., X k ) следует полиномиальному распределению с параметрами n и p , где p = ( п 1 , ..., п к ). Хотя испытания независимы, их результаты X i зависимы, поскольку их необходимо просуммировать до n.
Определения
Функция массы вероятности
Предположим, кто-то проводит эксперимент по извлечению из мешка n шаров k разных цветов, заменяя извлеченные шары после каждого розыгрыша. Шары одного цвета эквивалентны. Обозначим переменную, которая представляет собой количество извлеченных шаров цвета i ( i = 1, ..., k ), как X i , и обозначим как pi вероятность того, что данное извлечение будет цвета i . Функция массы вероятности этого полиномиального распределения:
для неотрицательных целых чисел x 1 , ..., x k .
Массовую функцию вероятности можно выразить с помощью гамма-функции как:
Предположим, что на трехсторонних выборах в большой стране кандидат А получил 20% голосов, кандидат Б — 30% голосов, а кандидат С — 50% голосов. Если шесть избирателей выбраны случайным образом, какова вероятность того, что в выборке окажется ровно один сторонник кандидата А, два сторонника кандидата В и три сторонника кандидата С?
Примечание. Поскольку мы предполагаем, что голосующее население велико, разумно и допустимо считать вероятности неизменными после того, как избиратель выбран для выборки. Технически говоря, это выборка без замещения, поэтому правильным распределением является многомерное гипергеометрическое распределение , но распределения сходятся по мере того, как популяция становится больше по сравнению с фиксированным размером выборки [1] .
Характеристики
Ожидаемое значение и дисперсия
Ожидаемое количество раз , когда результат i наблюдался в n испытаниях, равно
Ковариационная матрица выглядит следующим образом. Каждый диагональный элемент представляет собой дисперсию биномиально распределенной случайной величины и, следовательно,
Внедиагональные записи представляют собой ковариации :
для i , j различны.
Все ковариации отрицательны, поскольку при фиксированном n увеличение одного компонента полиномиального вектора требует уменьшения другого компонента.
Обратите внимание, что количество испытаний n не входит в это выражение.
Каждый из k компонентов в отдельности имеет биномиальное распределение с параметрами n и pi для соответствующего значения индекса i .
Носителем полиномиального распределения является множество
Число его элементов равно
Матричное обозначение
В матричной записи
и
где p T = вектор-строка, транспонированная вектор-столбцу p .
Визуализация
Как срезы обобщенного треугольника Паскаля.
Точно так же, как можно интерпретировать биномиальное распределение как (нормализованные) одномерные (1D) срезы треугольника Паскаля , так же можно интерпретировать полиномиальное распределение как 2D (треугольные) срезы пирамиды Паскаля или 3D/4D/+ (пирамидально- образные) срезы многомерных аналогов треугольника Паскаля. Это открывает интерпретацию диапазона распределения : дискретизированные равносторонние «пирамиды» в произвольном измерении, то есть симплекс с сеткой. [ нужна цитата ]
В качестве полиномиальных коэффициентов
Точно так же, как можно интерпретировать биномиальное распределение как полиномиальные коэффициенты при расширении, можно интерпретировать полиномиальное распределение как коэффициенты при расширении, отметив, что сумма только коэффициентов должна составлять 1.
Эту формулу можно интерпретировать следующим образом.
Рассмотрим пространство всех возможных распределений по категориям . Это симплекс . После независимых выборок из категориального распределения (именно так мы строим полиномиальное распределение) мы получаем эмпирическое распределение .
По асимптотической формуле вероятность отклонения эмпирического распределения от фактического распределения убывает экспоненциально со скоростью . Чем больше экспериментов и чем больше отличается от , тем меньше вероятность увидеть такое эмпирическое распределение.
Если — замкнутое подмножество , то, разделив на части и рассуждая о скорости роста на каждой части , мы получаем теорему Санова , которая утверждает, что
Концентрация в целом N
Из-за экспоненциального затухания при больших почти вся вероятностная масса концентрируется в малой окрестности . В этой небольшой окрестности мы можем взять первый ненулевой член в разложении Тейлора , чтобы получить
Доказательство. Пространство всех распределений по категориям представляет собой симплекс : , а множество всех возможных эмпирических распределений после экспериментов является подмножеством симплекса: . То есть это пересечение между и решетка .
По мере увеличения большая часть вероятностной массы концентрируется в подмножестве close и распределение вероятностей close становится хорошо аппроксимируемым
Наконец, поскольку симплекс находится не весь из , а только внутри -мерной плоскости, мы получаем искомый результат.
Условная концентрация при больших N
Вышеописанное явление концентрации можно легко обобщить на случай, когда мы ставим условия на линейные ограничения. Это теоретическое обоснование критерия хи-квадрат Пирсона .
Теорема. Учитывая частоты , наблюдаемые в наборе данных с точками, мы налагаем независимые линейные ограничения.
Доказательство. Аналогичное доказательство применяется в этой диофантовой задаче о связанных линейных уравнениях со счетными переменными [2] , но на этот раз это пересечение гиперплоскостей с и , все они линейно независимы, поэтому плотность вероятности ограничена -мерной плоскостью. В частности, расширение дивергенции KL вокруг ее минимума ( -проекции on ) в ограниченной задаче гарантирует, согласно теореме Пифагора для -дивергенции, что любой постоянный и линейный член в подсчетах исчезает из условной вероятности для многонациональной выборки этих подсчетов.
Обратите внимание, что по определению каждое из должно быть рациональным числом, тогда как может быть выбрано из любого действительного числа и не обязательно удовлетворять диофантовой системе уравнений. Только асимптотически , поскольку , можно рассматривать как вероятности более . Вдали от эмпирически наблюдаемых ограничений (таких как моменты или преобладания) теорему можно обобщить:
Теорема.
Даны функции , такие, что они непрерывно дифференцируемы в окрестности , а векторы линейно независимы;
заданы последовательности , такие что асимптотически для каждой ;
тогда для полиномиального распределения, обусловленного ограничениями , мы имеем величину , сходящуюся по распределению к пределу .
В случае, когда все равны, теорема сводится к концентрации энтропии вокруг максимальной энтропии. [3] [4]
Связанные дистрибутивы
В некоторых областях, таких как обработка естественного языка , категориальные и полиномиальные распределения являются синонимами, и принято говорить о полиномиальном распределении, когда на самом деле имеется в виду категориальное распределение . Это связано с тем, что иногда удобно выразить результат категориального распределения как вектор «1 из K» (вектор, в котором один элемент содержит 1, а все остальные элементы содержат 0), а не как целое число. В диапазоне ; в этой форме категориальное распределение эквивалентно полиномиальному распределению по одному испытанию.
Тесты эквивалентности для полиномиальных распределений
Целью проверки эквивалентности является установление соответствия между теоретическим полиномиальным распределением и наблюдаемыми частотами счета. Теоретическое распределение может быть полностью заданным полиномиальным распределением или параметрическим семейством полиномиальных распределений.
Пусть обозначает теоретическое полиномиальное распределение и пусть это истинное базовое распределение. Распределения и считаются эквивалентными, если для расстояния и параметра допуска . Проблема проверки эквивалентности заключается в сравнении . Истинное основное распределение неизвестно. Вместо этого наблюдаются частоты счета , где – размер выборки. Тест на эквивалентность используется для отклонения . Если можно отклонить, то эквивалентность между и отображается на данном уровне значимости. Критерий эквивалентности евклидова расстояния можно найти в учебнике Веллека (2010). [5] Тест эквивалентности для общего вариационного расстояния разработан Островским (2017). [6] Точный тест эквивалентности для конкретного совокупного расстояния предложен Фреем (2009). [7]
Расстояние между истинным базовым распределением и семейством полиномиальных распределений определяется как . Тогда задача проверки эквивалентности определяется как и . Расстояние обычно вычисляется с помощью численной оптимизации. Тесты для этого случая недавно разработаны Островским (2018). [8]
Генерация случайной переменной
Во-первых, измените порядок параметров так, чтобы они были отсортированы по убыванию (это сделано только для ускорения вычислений и не является строго необходимым). Теперь для каждого испытания нарисуйте вспомогательную переменную X из равномерного (0, 1) распределения. Результирующим результатом является компонент
{ X j = 1, X k = 0 для k ≠ j } — это одно наблюдение из полиномиального распределения с и n = 1. Сумма независимых повторений этого эксперимента представляет собой наблюдение из полиномиального распределения с n , равным числу такие повторы.
Выборка с использованием повторяющихся условных биномиальных выборок
Учитывая параметры и общее количество выборки, такое , что можно последовательно производить выборку для числа в произвольном состоянии , разделяя пространство состояний на и не- , при условии, что любые предыдущие выборки, уже взятые, неоднократно.
S = N rho = 1 для i в [ 1 ,k-1 ] : если rho ! = 0 : X [ i ] ~ Binom ( S,p [ i ] /rho ) else X [ i ] = 0 S = S - X [ i ] rho = rho - p [ i ]
X [ k ] = S
С эвристической точки зрения каждое применение биномиальной выборки уменьшает доступное число для выборки, а условные вероятности также обновляются для обеспечения логической согласованности. [9]
Рекомендации
Цитаты
^ «Вероятность - выборка полиномиального распределения» . Крест проверен . Проверено 28 июля 2022 г.
^ Лукас, Орестис; Чунг, Хо Рюн (2023). «Тотальный эмпиризм: обучение на данных». arXiv : 2311.08315 [math.ST].
^ Лукас, Орестис; Чунг, Хо Рюн (апрель 2022 г.). «Категорические распределения максимальной энтропии при предельных ограничениях». arXiv : 2204.03406 .