Байесовское иерархическое моделирование

Статистическая модель, написанная на нескольких уровнях

Байесовское иерархическое моделирование — это статистическая модель , записанная на нескольких уровнях (иерархическая форма), которая оценивает параметры апостериорного распределения с использованием байесовского метода . ^[1] Подмодели объединяются для формирования иерархической модели, а теорема Байеса используется для их интеграции с наблюдаемыми данными и учета всей присутствующей неопределенности. Результатом этой интеграции является апостериорное распределение, также известное как обновленная оценка вероятности, поскольку приобретаются дополнительные доказательства априорного распределения .

Частотная статистика может давать выводы, на первый взгляд несовместимые с выводами, предлагаемыми байесовской статистикой, из-за байесовской трактовки параметров как случайных величин и использования субъективной информации при установлении предположений относительно этих параметров. ^[2] Поскольку подходы отвечают на разные вопросы, формальные результаты технически не противоречат друг другу, но два подхода расходятся во мнениях относительно того, какой ответ имеет отношение к конкретным приложениям. Байесовцы утверждают, что релевантную информацию относительно принятия решений и обновления убеждений нельзя игнорировать и что иерархическое моделирование может перевесить классические методы в приложениях, где респонденты предоставляют множественные данные наблюдений. Более того, модель оказалась надежной , а апостериорное распределение менее чувствительно к более гибким иерархическим априорным данным.

Иерархическое моделирование используется, когда информация доступна на нескольких различных уровнях единиц наблюдения. Например, в эпидемиологическом моделировании для описания траекторий заражения для нескольких стран единицами наблюдения являются страны, и каждая страна имеет свой собственный временной профиль ежедневных случаев заражения. ^[3] В анализе кривой спада для описания кривой спада добычи нефти или газа для нескольких скважин единицами наблюдения являются нефтяные или газовые скважины в регионе резервуара, и каждая скважина имеет свой собственный временной профиль темпов добычи нефти или газа (обычно, баррелей в месяц). ^[4] Структура данных для иерархического моделирования сохраняет вложенную структуру данных. Иерархическая форма анализа и организации помогает в понимании многопараметрических проблем, а также играет важную роль в разработке вычислительных стратегий. ^[5]

Философия

Статистические методы и модели обычно включают в себя несколько параметров, которые можно считать связанными или связанными таким образом, что проблема подразумевает зависимость совместной вероятностной модели от этих параметров. ^[6] Индивидуальные степени убеждения, выраженные в форме вероятностей, сопровождаются неопределенностью. ^[7] Среди этого есть изменение степеней убеждения с течением времени. Как заявили профессор Хосе М. Бернардо и профессор Адриан Ф. Смит , «Действительность процесса обучения заключается в эволюции индивидуальных и субъективных убеждений о реальности». Эти субъективные вероятности более непосредственно вовлечены в разум, чем физические вероятности. ^[7] Следовательно, именно с этой потребностью в обновлении убеждений байесовцы сформулировали альтернативную статистическую модель, которая учитывает предшествующее возникновение определенного события. ^[8]

Теорема Байеса

Предполагаемое возникновение события реального мира обычно изменяет предпочтения между определенными вариантами. Это делается путем изменения степени убежденности, придаваемой индивидуумом событиям, определяющим варианты. ^[9]

Предположим, что в исследовании эффективности лечения сердечных заболеваний у пациентов в больнице j имеется вероятность выживания , причем вероятность выживания будет обновлена ​​с наступлением y , события, при котором создается спорная сыворотка, которая, как полагают некоторые, увеличивает выживаемость сердечных пациентов. ${\displaystyle \theta _{j}}$

Для того чтобы сделать обновленные утверждения о вероятности относительно , ​​учитывая возникновение события y , мы должны начать с модели, обеспечивающей совместное распределение вероятностей для и y . Это можно записать как произведение двух распределений, которые часто называют априорным распределением и распределением выборки соответственно: ${\displaystyle \theta _{j}}$ ${\displaystyle \theta _{j}}$ ${\displaystyle P(\theta )}$ ${\displaystyle P(y\mid \theta )}$

${\displaystyle P(\theta ,y)=P(\theta )P(y\mid \theta )}$

Используя основное свойство условной вероятности , апостериорное распределение даст:

${\displaystyle P(\theta \mid y)={\frac {P(\theta ,y)}{P(y)}}={\frac {P(y\mid \theta )P(\theta )}{P(y)}}}$

Это уравнение, показывающее связь между условной вероятностью и отдельными событиями, известно как теорема Байеса. Это простое выражение инкапсулирует техническое ядро ​​байесовского вывода, который направлен на включение обновленного убеждения, , в соответствующие и решаемые способы. ^[9] ${\displaystyle P(\theta \mid y)}$

Взаимозаменяемость

Обычной отправной точкой статистического анализа является предположение, что значения n являются взаимозаменяемыми. Если нет информации – кроме данных y – для различения любого из ' от любого другого, и невозможно упорядочить или сгруппировать параметры, следует предположить симметрию среди параметров в их предыдущем распределении. ^[10] Эта симметрия вероятностно представлена ​​взаимозаменяемостью. Как правило, полезно и уместно моделировать данные из взаимозаменяемого распределения как независимо и одинаково распределенные , заданные некоторым неизвестным вектором параметров , с распределением . ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ ${\displaystyle \theta _{j}}$ ${\displaystyle \theta }$ ${\displaystyle P(\theta )}$

Конечная взаимозаменяемость

Для фиксированного числа n набор является заменяемым, если совместная вероятность инвариантна относительно перестановок индексов. То есть, для каждой перестановки или (1, 2, …, n ), ^[11] ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ ${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})}$ ${\displaystyle \pi }$ ${\displaystyle (\pi _{1},\pi _{2},\ldots ,\pi _{n})}$ ${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).}$

Ниже приведен пример, допускающий обмен, но не независимый и идентичный (iid): Рассмотрим урну с красным и синим шарами внутри, с вероятностью вытягивания любого из них. Шары вытягиваются без возвращения, т. е. после того, как из n шаров вытащен один,  для следующего вытягивания останется n − 1 шаров. ${\displaystyle {\frac {1}{2}}}$

${\displaystyle {\text{Let }}Y_{i}={\begin{cases}1,&{\text{if the }}i{\text{th ball is red}},\\0,&{\text{otherwise}}.\end{cases}}}$

Поскольку вероятность выбора красного шара при первом извлечении и синего шара при втором извлечении равна вероятности выбора синего шара при первом извлечении и красного шара при втором извлечении, обе из которых равны 1/2 (т.е. ), то и являются взаимозаменяемыми. ${\displaystyle [P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}]}$ ${\displaystyle y_{1}}$ ${\displaystyle y_{2}}$

Но вероятность выбора красного шара во втором броске, учитывая, что красный шар уже был выбран в первом броске, равна 0 и не равна вероятности того, что красный шар будет выбран во втором броске, которая равна 1/2 (т.е. ). Таким образом, и не являются независимыми. ${\displaystyle [P(y_{2}=1\mid y_{1}=1)=0\neq P(y_{2}=1)={\frac {1}{2}}]}$ ${\displaystyle y_{1}}$ ${\displaystyle y_{2}}$

Если они независимы и одинаково распределены, то они взаимозаменяемы, но обратное не обязательно верно. ^[12] ${\displaystyle x_{1},\ldots ,x_{n}}$

Бесконечная взаимозаменяемость

Бесконечная заменимость — это свойство, при котором каждое конечное подмножество бесконечной последовательности является заменимым. То есть, для любого n последовательность является заменимой. ^[12] ${\displaystyle y_{1}}$ ${\displaystyle y_{2},\ldots }$ ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$

Иерархические модели

Компоненты

Байесовское иерархическое моделирование использует две важные концепции при выводе апостериорного распределения ^[1] , а именно:

1. Гиперпараметры : параметры априорного распределения
2. Гиперприоры : распределения гиперпараметров

Предположим, что случайная величина Y следует нормальному распределению с параметром в качестве среднего значения и 1 в качестве дисперсии , то есть . Отношение тильды можно прочитать как «имеет распределение» или «распределено как». Предположим также, что параметр имеет распределение, заданное нормальным распределением со средним значением и дисперсией 1, то есть . Кроме того, следует другому распределению, заданному, например, стандартным нормальным распределением , . Параметр называется гиперпараметром, в то время как его распределение, заданное является примером гипераприорного распределения. Обозначение распределения Y изменяется по мере добавления другого параметра, то есть . Если есть еще один этап, скажем, следует другому нормальному распределению со средним значением и дисперсией , то есть , и также могут называться гиперпараметрами, в то время как их распределения также являются гипераприорными распределениями. ^[6] ${\displaystyle \theta }$ ${\displaystyle Y\mid \theta \sim N(\theta ,1)}$ ${\displaystyle \sim }$ ${\displaystyle \theta }$ ${\displaystyle \mu }$ ${\displaystyle \theta \mid \mu \sim N(\mu ,1)}$ ${\displaystyle \mu }$ ${\displaystyle {\text{N}}(0,1)}$ ${\displaystyle \mu }$ ${\displaystyle {\text{N}}(0,1)}$ ${\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}$ ${\displaystyle \mu }$ ${\displaystyle \beta }$ ${\displaystyle \epsilon }$ ${\displaystyle \mu \sim N(\beta ,\epsilon )}$ ${\displaystyle {\mbox{ }}}$ ${\displaystyle \beta }$ ${\displaystyle \epsilon }$

Рамки

Пусть будет наблюдением и параметром, управляющим процессом генерации данных для . Предположим далее, что параметры генерируются взаимозаменяемо из общей популяции, с распределением, управляемым гиперпараметром . Байесовская иерархическая модель содержит следующие этапы: ${\displaystyle y_{j}}$ ${\displaystyle \theta _{j}}$ ${\displaystyle y_{j}}$ ${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j}}$ ${\displaystyle \phi }$

${\displaystyle {\text{Stage I: }}y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )}$

${\displaystyle {\text{Stage II: }}\theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )}$

${\displaystyle {\text{Stage III: }}\phi \sim P(\phi )}$

Вероятность, как видно на этапе I , равна , с ее априорным распределением. Обратите внимание, что вероятность зависит только от . ${\displaystyle P(y_{j}\mid \theta _{j},\phi )}$ ${\displaystyle P(\theta _{j},\phi )}$ ${\displaystyle \phi }$ ${\displaystyle \theta _{j}}$

Предыдущее распределение на этапе I можно разбить на:

${\displaystyle P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )}$ [из определения условной вероятности]

Имея в качестве гиперпараметра с гипераприорным распределением, . ${\displaystyle \phi }$ ${\displaystyle P(\phi )}$

Таким образом, апостериорное распределение пропорционально:

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )}$ [используя теорему Байеса]

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )}$^[13]

Пример

Чтобы проиллюстрировать это, рассмотрим пример: учитель хочет оценить, насколько хорошо ученик сдал SAT . Учитель использует информацию об оценках ученика в старшей школе и текущем среднем балле (GPA), чтобы получить оценку. Текущий средний балл ученика, обозначенный как , имеет вероятность, заданную некоторой функцией вероятности с параметром , то есть . Этот параметр - балл SAT ученика. Балл SAT рассматривается как выборка из общего распределения популяции, индексированного другим параметром , который является баллом ученика в старшей школе (первокурсник, второкурсник, третий или последний). ^[14] То есть, . Более того, гиперпараметр следует своему собственному распределению, заданному , гиперприором. Чтобы найти балл SAT с учетом информации о среднем балле, ${\displaystyle Y}$ ${\displaystyle \theta }$ ${\displaystyle Y\mid \theta \sim P(Y\mid \theta )}$ ${\displaystyle \theta }$ ${\displaystyle \phi }$ ${\displaystyle \theta \mid \phi \sim P(\theta \mid \phi )}$ ${\displaystyle \phi }$ ${\displaystyle P(\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

Вся информация в задаче будет использована для решения апостериорного распределения. Вместо решения только с использованием априорного распределения и функции правдоподобия, использование гиперприоров дает больше информации для создания более точных убеждений в поведении параметра. ^[15]

2-х ступенчатая иерархическая модель

В общем случае совместное апостериорное распределение интереса в двухэтапных иерархических моделях выглядит следующим образом:

${\displaystyle P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$^[15]

3-х ступенчатая иерархическая модель

Для трехэтапных иерархических моделей апостериорное распределение определяется по формуле:

${\displaystyle P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}}$

${\displaystyle P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)}$^[15]

Байесовская нелинейная модель смешанных эффектов

Байесовский цикл исследований с использованием байесовской нелинейной модели смешанных эффектов: (а) стандартный цикл исследований и (б) байесовский рабочий процесс ^[16] .

Структура байесовского иерархического моделирования часто используется в различных приложениях. В частности, байесовские нелинейные модели смешанных эффектов недавно ^{[ когда? ]} получили значительное внимание. ^{[ кем? ]} Базовая версия байесовских нелинейных моделей смешанных эффектов представлена ​​в виде следующей трехэтапной:

Этап 1: Модель индивидуального уровня

${\displaystyle {y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.}$

Этап 2: Модель населения

${\displaystyle \theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.}$

Этап 3: Предшествующий

${\displaystyle \sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.}$

Здесь обозначает непрерывную реакцию -го субъекта в момент времени , а - -й ковариат -го субъекта. Параметры, участвующие в модели, записаны греческими буквами. - известная функция, параметризованная -мерным вектором . Обычно - `нелинейная' функция, описывающая временную траекторию индивидуумов. В модели и описывают внутрииндивидуальную и межиндивидуальную изменчивость соответственно. Если этап 3: априорный не рассматривается, то модель сводится к частотной нелинейной модели со смешанными эффектами. ${\displaystyle y_{ij}}$ ${\displaystyle i}$ ${\displaystyle t_{ij}}$ ${\displaystyle x_{ib}}$ ${\displaystyle b}$ ${\displaystyle i}$ ${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$ ${\displaystyle K}$ ${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$ ${\displaystyle f}$ ${\displaystyle \epsilon _{ij}}$ ${\displaystyle \eta _{li}}$

Центральной задачей при применении байесовских нелинейных моделей смешанного эффекта является оценка апостериорной плотности:

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}$

${\displaystyle =\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{Stage1:Individual-LevelModel}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage2:PopulationModel}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage3:Prior}}$

Панель справа отображает байесовский исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов. ^[16] Исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов состоит из двух этапов: (a) стандартный исследовательский цикл и (b) байесовский рабочий процесс. Стандартный исследовательский цикл включает обзор литературы, определение проблемы и указание исследовательского вопроса и гипотезы. Байесовский рабочий процесс состоит из трех подэтапов: (b)–(i) формализация априорных распределений на основе фоновых знаний и априорного выявления; (b)–(ii) определение функции правдоподобия на основе нелинейной функции ; и (b)–(iii) выполнение апостериорного вывода. Полученный апостериорный вывод может быть использован для начала нового исследовательского цикла. ${\displaystyle f}$

Ссылки

1. Allenby, Rossi, McCulloch (январь 2005 г.). "Иерархическая байесовская модель: руководство для практиков". Журнал байесовских приложений в маркетинге, стр. 1–4. Получено 26 апреля 2014 г., стр. 3
2. Гельман, Эндрю ; Карлин, Джон Б.; Стерн, Хэл С. и Рубин, Дональд Б. (2004). Байесовский анализ данных (второе изд.). Бока-Ратон, Флорида: CRC Press. стр. 4–5. ISBN 1-58488-388-X.
3. Ли, Се Юн; Лей, Боуэн; Маллик, Бани (2020). «Оценка кривых распространения COVID-19 с учетом глобальных данных и заимствованной информации». PLOS ONE . 15 (7): e0236860. arXiv : 2005.00662 . doi : 10.1371/journal.pone.0236860 . PMC 7390340. PMID  32726361 . 
4. Ли, Се Юн; Маллик, Бани (2021). «Байесовское иерархическое моделирование: применение к результатам добычи в сланцевом месторождении Игл-Форд в Южном Техасе». Санкхья Б. 84 : 1–43. doi : 10.1007/s13571-020-00245-8 .
5. Гельман и др. 2004, стр. 6.
6. Гельман и др. 2004, с. 117.
7. Гуд, IJ (1980). «Немного истории иерархической байесовской методологии». Trabajos de Estadistica y de Investigacion Operativa . 31 : 489–519. дои : 10.1007/BF02888365. S2CID  121270218.
8. Бернардо, Смит (1994). Байесовская теория. Чичестер, Англия: John Wiley & Sons, ISBN 0-471-92416-4 , стр. 23 
9. Гельман и др. 2004, стр. 6–8.
10. Бернардо, Дегроот, Линдли (сентябрь 1983 г.). «Труды Второй международной встречи в Валенсии». Байесовская статистика 2. Амстердам: Elsevier Science Publishers BV, ISBN 0-444-87746-0 , стр. 167–168 
11. Гельман и др. 2004, стр. 121–125.
12. Diaconis, Freedman (1980). «Конечные заменяемые последовательности». Annals of Probability, стр. 745–747
13. Бернардо, Дегроот, Линдли (сентябрь 1983 г.). «Труды Второй международной встречи в Валенсии». Байесовская статистика 2. Амстердам: Elsevier Science Publishers BV, ISBN 0-444-87746-0 , стр. 371–372 
14. Гельман и др. 2004, стр. 120–121.
15. Box GEP , Tiao GC (1965). "Многопараметрическая проблема с байесовской точки зрения". Многопараметрические проблемы с байесовской точки зрения Том 36 Номер 5. Нью-Йорк: John Wiley & Sons, ISBN 0-471-57428-7 
16. Lee, Se Yoon (2022). «Байесовские нелинейные модели для данных повторных измерений: обзор, реализация и приложения». Математика . 10 (6): 898. arXiv : 2201.12430 . doi : 10.3390/math10060898 .