Случайные величины, допускающие обмен

Понятие в статистике

В статистике заменяемая последовательность случайных величин (иногда также взаимозаменяемая ) ^[1] — это последовательность X ₁ ,  X ₂ ,  X ₃ , ... (которая может быть конечной или бесконечной длины), совместное распределение вероятностей которой не меняется при изменении позиций в последовательности, в которых появляется конечное число из них. Другими словами, совместное распределение инвариантно к конечной перестановке. Так, например, последовательности

${\displaystyle X_{1},X_{2},X_{3},X_{4},X_{5},X_{6}\quad {\text{ and }}\quad X_{3},X_{6},X_{1},X_{5},X_{2},X_{4}}$

оба имеют одинаковое совместное распределение вероятностей.

Он тесно связан с использованием независимых и одинаково распределенных случайных величин в статистических моделях. Обменные последовательности случайных величин возникают в случаях простой случайной выборки .

Определение

Формально, заменяемая последовательность случайных величин — это конечная или бесконечная последовательность X ₁ ,  X ₂ ,  X ₃ , ... случайных величин, такая, что для любой конечной перестановки σ индексов 1, 2, 3, ..., (перестановка действует только на конечное число индексов, а остальные фиксированы), совместное распределение вероятностей переставленной последовательности

${\displaystyle X_{\sigma (1)},X_{\sigma (2)},X_{\sigma (3)},\dots }$

совпадает с совместным распределением вероятностей исходной последовательности. ^{[1] [2]}

(Последовательность событий E ₁ , E ₂ , E ₃ , ... называется заменяемой в точности тогда, когда заменяема последовательность ее индикаторных функций .) Функция распределения F _{X 1 ,..., X n} ( x ₁ , ..., x _n ) конечной последовательности заменяемых случайных величин симметрична относительно своих аргументов x ₁ , ..., x _n . Олав Калленберг дал подходящее определение заменяемости для непрерывных во времени стохастических процессов. ^{[3] [4]}

История

Эта концепция была введена Уильямом Эрнестом Джонсоном в его книге 1924 года «Логика, часть III: Логические основы науки» . ^[5] Взаимозаменяемость эквивалентна концепции статистического контроля, введенной Уолтером Шухартом также в 1924 году. ^{[6] [7]}

Обмениваемость и статистическая модель iid

Свойство взаимозаменяемости тесно связано с использованием независимых и одинаково распределенных (iid) случайных величин в статистических моделях. ^[8] Последовательность случайных величин, которые являются iid, обусловленная некоторой базовой формой распределения, является взаимозаменяемой. Это следует непосредственно из структуры совместного распределения вероятностей, генерируемого формой iid.

Смеси заменяемых последовательностей (в частности, последовательности переменных iid) заменяемы. Обратное может быть установлено для бесконечных последовательностей с помощью важной теоремы о представлении Бруно де Финетти (позже расширенной другими теоретиками вероятности, такими как Халмош и Сэвидж ). ^[9] Расширенные версии теоремы показывают, что в любой бесконечной последовательности заменяемых случайных величин случайные величины условно независимы и одинаково распределены , учитывая базовую форму распределения. Эта теорема кратко изложена ниже. (Исходная теорема Де Финетти показала, что это верно только для случайных индикаторных переменных, но позже это было расширено, чтобы охватить все последовательности случайных величин.) Другой способ выразить это заключается в том, что теорема Де Финетти характеризует заменяемые последовательности как смеси последовательностей iid — в то время как заменяемая последовательность сама по себе не обязательно должна быть безусловно iid, она может быть выражена как смесь базовых последовательностей iid. ^[1]

Это означает, что бесконечные последовательности заменяемых случайных величин можно рассматривать эквивалентно как последовательности условно iid случайных величин, основанные на некоторой базовой форме распределения. (Обратите внимание, что эта эквивалентность не совсем выполняется для конечной заменяемости. Однако для конечных векторов случайных величин существует близкое приближение к модели iid.) Бесконечная заменяемая последовательность строго стационарна , и поэтому применяется закон больших чисел в форме теоремы Биркгофа–Хинчина . ^[4] Это означает, что базовому распределению можно дать операциональную интерпретацию как предельное эмпирическое распределение последовательности значений. Тесная связь между заменяемыми последовательностями случайных величин и формой iid означает, что последняя может быть обоснована на основе бесконечной заменяемости. Это понятие является центральным для разработки Бруно де Финетти предсказательного вывода и байесовской статистики . Можно также показать, что это полезное основополагающее предположение в частотной статистике и для связи двух парадигм. ^[10]

Теорема представления: Это утверждение основано на представлении в O'Neill (2009) в ссылках ниже. Учитывая бесконечную последовательность случайных величин, мы определяем предельную эмпирическую функцию распределения как ${\displaystyle \mathbf {X} =(X_{1},X_{2},X_{3},\ldots )}$ ${\displaystyle F_{\mathbf {X} }}$

${\displaystyle F_{\mathbf {X} }(x)=\lim _{n\to \infty }{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i}\leq x).}$

(Это предел Чезаро индикаторных функций. В случаях, когда предел Чезаро не существует, эта функция фактически может быть определена как предел Банаха индикаторных функций, который является расширением этого предела. Этот последний предел всегда существует для сумм индикаторных функций, так что эмпирическое распределение всегда хорошо определено.) Это означает, что для любого вектора случайных величин в последовательности мы имеем совместную функцию распределения, заданную как

${\displaystyle \Pr(X_{1}\leq x_{1},X_{2}\leq x_{2},\ldots ,X_{n}\leq x_{n})=\int \prod _{i=1}^{n}F_{\mathbf {X} }(x_{i})\,dP(F_{\mathbf {X} }).}$

Если функция распределения индексируется другим параметром , то (при правильно определенных плотностях) мы имеем ${\displaystyle F_{\mathbf {X} }}$ ${\displaystyle \theta }$

${\displaystyle p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\int \prod _{i=1}^{n}p_{X_{i}}(x_{i}\mid \theta )\,dP(\theta ).}$

Эти уравнения показывают совместное распределение или плотность, характеризуемую как распределение смеси, основанное на базовом предельном эмпирическом распределении (или параметре, индексирующем это распределение).

Обратите внимание, что не все конечные заменяемые последовательности являются смесями iid Чтобы увидеть это, рассмотрим выборку без замены из конечного набора до тех пор, пока не останется ни одного элемента. Полученная последовательность является заменяемой, но не смесью iid Действительно, при условии всех других элементов в последовательности, оставшийся элемент известен.

Ковариация и корреляция

Сменные последовательности имеют некоторые основные свойства ковариации и корреляции, которые означают, что они, как правило, положительно коррелированы. Для бесконечных последовательностей сменных случайных величин ковариация между случайными величинами равна дисперсии среднего значения базовой функции распределения. ^[10] Для конечных сменных последовательностей ковариация также является фиксированным значением, которое не зависит от конкретных случайных величин в последовательности. Существует более слабая нижняя граница, чем для бесконечной сменной величины, и возможно существование отрицательной корреляции.

Ковариация для заменяемых последовательностей (бесконечная): Если последовательность заменяема, то ${\displaystyle X_{1},X_{2},X_{3},\ldots }$

${\displaystyle \operatorname {cov} (X_{i},X_{j})=\operatorname {var} (\operatorname {E} (X_{i}\mid F_{\mathbf {X} }))=\operatorname {var} (\operatorname {E} (X_{i}\mid \theta ))\geq 0\quad {\text{for }}i\neq j.}$

Ковариация для заменяемых последовательностей (конечная): Если заменяемо с , то ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ ${\displaystyle \sigma ^{2}=\operatorname {var} (X_{i})}$

${\displaystyle \operatorname {cov} (X_{i},X_{j})\geq -{\frac {\sigma ^{2}}{n-1}}\quad {\text{for }}i\neq j.}$

Конечный результат последовательности может быть доказан следующим образом. Используя тот факт, что значения являются взаимозаменяемыми, мы имеем

${\displaystyle {\begin{aligned}0&\leq \operatorname {var} (X_{1}+\cdots +X_{n})\\&=\operatorname {var} (X_{1})+\cdots +\operatorname {var} (X_{n})+\underbrace {\operatorname {cov} (X_{1},X_{2})+\cdots \quad {}} _{\text{all ordered pairs}}\\&=n\sigma ^{2}+n(n-1)\operatorname {cov} (X_{1},X_{2}).\end{aligned}}}$

Затем мы можем решить неравенство для ковариации, получая указанную нижнюю границу. Неотрицательность ковариации для бесконечной последовательности может быть получена как предельный результат из этого конечного результата последовательности.

Равенство нижней границы для конечных последовательностей достигается в простой модели урны: урна содержит 1 красный шарик и n  − 1 зеленый шарик, и они выбираются без замены до тех пор, пока урна не опустеет. Пусть X _i  = 1, если красный шарик вытаскивается в i -й попытке, и 0 в противном случае. Конечная последовательность, которая достигает нижней границы ковариации, не может быть расширена до более длинной заменяемой последовательности. ^[11]

Примеры

• Любая выпуклая комбинация или смешанное распределение последовательностей случайных величин iid является взаимозаменяемой. Обратное предложение — теорема де Финетти . ^[12]
• Предположим, что урна содержит красные и синие шарики. Предположим, что шарики вынимаются без возвращения, пока урна не опустеет. Пусть будет индикаторной случайной величиной события, что -й вынутый шарик красный. Тогда — заменяемая последовательность. Эту последовательность нельзя расширить до более длинной заменяемой последовательности. ${\displaystyle n}$ ${\displaystyle m}$ ${\displaystyle X_{i}}$ ${\displaystyle i}$ ${\displaystyle \left\{X_{i}\right\}_{i=1,\dots ,n+m}}$
• Предположим, что урна содержит красные и синие шарики. Далее предположим, что шарик вынимается из урны и затем заменяется дополнительным шариком того же цвета. Пусть будет индикаторной случайной величиной события, что -й вынутый шарик красный. Тогда — это заменяемая последовательность. Эта модель называется урной Полиа . ${\displaystyle n}$ ${\displaystyle m}$ ${\displaystyle X_{i}}$ ${\displaystyle i}$ ${\displaystyle \left\{X_{i}\right\}_{i\in \mathbb {N} }}$
• Пусть имеем двумерное нормальное распределение с параметрами , и произвольный коэффициент корреляции . Тогда случайные величины и являются взаимозаменяемыми, но независимы только если . Функция плотности имеет вид ${\displaystyle (X,Y)}$ ${\displaystyle \mu =0}$ ${\displaystyle \sigma _{x}=\sigma _{y}=1}$ ${\displaystyle \rho \in (-1,1)}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \rho =0}$ ${\displaystyle p(x,y)=p(y,x)\propto \exp \left[-{\frac {1}{2(1-\rho ^{2})}}(x^{2}+y^{2}-2\rho xy)\right].}$

Приложения

Экстрактор фон Неймана — это экстрактор случайности , который зависит от взаимозаменяемости: он дает метод, позволяющий взять взаимозаменяемую последовательность нулей и единиц ( испытания Бернулли ) с некоторой вероятностью p, равной 0 и 1, и создать (более короткую) взаимозаменяемую последовательность нулей и единиц с вероятностью 1/2. ${\displaystyle q=1-p}$

Разбейте последовательность на непересекающиеся пары: если два элемента пары равны (00 или 11), отбросьте ее; если два элемента пары не равны (01 или 10), оставьте первый. Это дает последовательность испытаний Бернулли с так как, по принципу взаимозаменяемости, шансы данной пары быть 01 или 10 равны. ${\displaystyle p=1/2,}$

Случайные величины, допускающие обмен, возникают при изучении статистики U , в частности, при разложении Хеффдинга. ^[13]

Обмениваемость является ключевым предположением метода вывода без распределения конформного предсказания . ^[14]

Смотрите также

• Теорема Де Финетти
• Закон нуля-единицы Хьюитта-Сэвиджа
• Ресэмплинг
• Повторная выборка (статистика) § Тесты перестановки , статистические тесты, основанные на обмене между группами

Ссылки

1. Короче говоря, порядок последовательности случайных величин не влияет на ее совместное распределение вероятностей.
   • Chow, Yuan Shih и Teicher, Henry, Теория вероятностей. Независимость, взаимозаменяемость, мартингалы, Springer Texts in Statistics, 3-е изд., Springer, Нью-Йорк, 1997. xxii+488 стр.  ISBN  0-387-98228-0
2. Олдос, Дэвид Дж., Обмениваемость и смежные темы , в: École d'Été de Probabilités de Saint-Flour XIII — 1983, Конспекты лекций по математике. 1117, стр. 1–198, Springer, Берлин, 1985. ISBN 978-3-540-15203-3 doi : 10.1007/BFb0099421 
3. Диаконис, Перси (2009). «Обзор книги: Вероятностные симметрии и принципы инвариантности (Олав Калленберг, Springer, Нью-Йорк, 2005)». Бюллетень Американского математического общества . Новая серия. 46 (4): 691–696. doi : 10.1090/S0273-0979-09-01262-2 . MR  2525743.
4. Калленберг, О. , Вероятностные симметрии и принципы инвариантности . Springer-Verlag, Нью-Йорк (2005). 510 стр.  ISBN 0-387-25115-4 . 
5. Забелл, СЛ (1992). «Предсказание непредсказуемого». Synthese . 90 (2): 205. doi :10.1007/bf00485351. S2CID  9416747.
6. Барлоу, Р. Э. и Ирони, Т. З. (1992) «Основы статистического контроля качества» в книге Гоша, М. и Патхака, П. К. (ред.) Современные проблемы статистического вывода: эссе в честь Д. Басу , Хейворд, Калифорния: Институт математической статистики, 99-112.
7. Бергман, Б. (2009) «Концептуалистический прагматизм: структура для байесовского анализа?», Труды IIE , 41 , 86–93
8. Кордани, Л.К.; Векслер, С. (2006). «Независимость и взаимозаменяемость преподавания» (PDF) . Труды Международной конференции по преподаванию статистики . Гаага: Международная ассоциация статистического образования.
9. Диаконис, П. (1988). «Последние достижения в области понятий взаимозаменяемости де Финетти». В Бернардо, Дж. М .; и др. (ред.). Байесовская статистика . Том 3. Oxford University Press. С. 111–125. ISBN 0-19-852220-7.
10. O'Neill, B. (2009). «Взаимозаменяемость, корреляция и эффект Байеса». International Statistical Review . 77 (2): 241–250. doi :10.1111/j.1751-5823.2008.00059.x.
11. Тейлор, Роберт Ли; Даффер, Питер З.; Паттерсон, Рональд Ф. (1985). Предельные теоремы для сумм взаимозаменяемых случайных величин. Роуман и Алланхельд. ​​С. 1–152. ISBN 9780847674350.
12. Spizzichino, Fabio Субъективные модели вероятности для продолжительности жизни . Монографии по статистике и прикладной вероятности, 91. Chapman & Hall/CRC , Boca Raton, FL, 2001. xx+248 стр.  ISBN 1-58488-060-0 
13. Боровских, Ю. В. (1996). «Глава 10 Зависимые переменные».U -статистика в банаховых пространствах . Утрехт: VSP. С. 365–376. ISBN 90-6764-200-2. МР  1419498.
14. Шафер, Гленн; Вовк, Владимир (2008). «Учебник по конформному прогнозированию». Журнал исследований машинного обучения . 9 : 371–421.

Дальнейшее чтение

• Олдос, Дэвид Дж., Обмениваемость и смежные темы , в: École d'Été de Probabilités de Saint-Flour XIII — 1983, Конспекты лекций по математике. 1117, стр. 1–198, Springer, Берлин, 1985. ISBN 978-3-540-15203-3 doi : 10.1007/BFb0099421 
• Chow, Yuan Shih и Teicher, Henry, Теория вероятностей. Независимость, взаимозаменяемость, мартингалы, Springer Texts in Statistics, 3-е изд., Springer, Нью-Йорк, 1997. xxii+488 стр.  ISBN 0-387-98228-0 
• Dawid, A. Philip (2013). «Обмениваемость и ее последствия». В Damien, Paul; et al. (ред.). Bayesian Theory and Applications . Oxford University Press. стр. 19–30. ISBN 978-0-19-969560-7.
• Калленберг, О. , Вероятностные симметрии и принципы инвариантности . Springer-Verlag, Нью-Йорк (2005). 510 стр.  ISBN 0-387-25115-4 . 
• Кингман, Дж. Ф. К., Использование обменности , Ann. Probability 6 (1978) 83–197 MR 494344 JSTOR  2243211
• О'Нил, Б. (2009) Обмениваемость, корреляция и эффект Байеса. International Statistical Review 77(2) , стр. 241–250. ISBN 978-3-540-15203-3 doi :10.1111/j.1751-5823.2008.00059.x 
• Тейлор, Роберт Ли; Даффер, Питер З.; Паттерсон, Рональд Ф. (1985). Предельные теоремы для сумм взаимозаменяемых случайных величин. Роуман и Алланхельд. ​​С. 1–152. ISBN 9780847674350.