Байесовский экспериментальный дизайн

Байесовский экспериментальный дизайн обеспечивает общую вероятностно-теоретическую структуру, из которой могут быть выведены другие теории экспериментального дизайна . Он основан на байесовском выводе для интерпретации наблюдений/данных, полученных в ходе эксперимента. Это позволяет учитывать как любые предыдущие знания о параметрах, которые должны быть определены, так и неопределенности в наблюдениях.

Теория байесовского экспериментального дизайна ^[1] в определенной степени основана на теории принятия оптимальных решений в условиях неопределенности . Целью при планировании эксперимента является максимизация ожидаемой полезности результата эксперимента. Полезность чаще всего определяется в терминах меры точности информации, предоставленной экспериментом (например, информации Шеннона или отрицательной дисперсии ) , но может также включать такие факторы, как финансовые затраты на проведение эксперимента. Каким будет оптимальный дизайн эксперимента, зависит от конкретного выбранного критерия полезности.

Связь с более специализированной теорией оптимального проектирования

Линейная теория

Если модель линейна, априорная функция плотности вероятности (PDF) однородна, а ошибки наблюдений распределены нормально , теория упрощается до классической теории оптимального экспериментального планирования .

Приблизительная нормальность

В многочисленных публикациях по байесовскому экспериментальному плану (часто неявно) предполагается, что все апостериорные вероятности будут приблизительно нормальными. Это позволяет рассчитывать ожидаемую полезность с использованием линейной теории, усредняя по пространству параметров модели. ^[2] Однако следует проявлять осторожность при применении этого метода, поскольку приблизительную нормальность всех возможных апостериорных вероятностей трудно проверить, даже в случаях нормальных ошибок наблюдений и равномерной априорной вероятности.

Апостериорное распределение

Во многих случаях апостериорное распределение недоступно в закрытой форме и должно быть приближено с использованием численных методов. Наиболее распространенным подходом является использование методов Монте-Карло с цепями Маркова для генерации выборок из апостериорного распределения, которые затем могут быть использованы для приближения ожидаемой полезности.

Другой подход заключается в использовании вариационного байесовского приближения апостериора, которое часто можно вычислить в замкнутой форме. Преимущество этого подхода в том, что он вычислительно более эффективен, чем методы Монте-Карло, но недостаток в том, что приближение может быть не очень точным.

Некоторые авторы предложили подходы, которые используют апостериорное предсказательное распределение для оценки влияния новых измерений на неопределенность прогноза, ^{[3] [4],} в то время как другие предлагают максимизировать взаимную информацию между параметрами, прогнозами и потенциальными новыми экспериментами. ^[5]

Математическая формулировка

При наличии вектора параметров для определения, априорной вероятности по этим параметрам и вероятности проведения наблюдения , заданных значений параметров и плана эксперимента , апостериорную вероятность можно рассчитать с помощью теоремы Байеса. ${\displaystyle \theta }$ ${\displaystyle p(\theta )}$ ${\displaystyle p(y\mid \theta ,\xi )}$ ${\displaystyle y}$ ${\displaystyle \theta }$ ${\displaystyle \xi }$

${\displaystyle p(\theta \mid y,\xi )={\frac {p(y\mid \theta ,\xi )p(\theta )}{p(y\mid \xi )}}\,,}$

где — предельная плотность вероятности в пространстве наблюдения ${\displaystyle p(y\mid \xi )}$

${\displaystyle p(y\mid \xi )=\int p(\theta )p(y\mid \theta ,\xi )\,d\theta \,.}$

Затем можно определить ожидаемую полезность эксперимента с дизайном. ${\displaystyle \xi }$

${\displaystyle U(\xi )=\int p(y\mid \xi )U(y,\xi )\,dy,}$

где — некоторый действительный функционал апостериорной вероятности после проведения наблюдения с использованием экспериментального плана . ${\displaystyle U(y,\xi )}$ ${\displaystyle p(\theta \mid y,\xi )}$ ${\displaystyle y}$ ${\displaystyle \xi }$

Прирост в информации Шеннона как полезность

Полезность может быть определена как априорный и апостериорный прирост информации Шеннона.

${\displaystyle U(y,\xi )=\int \log(p(\theta \mid y,\xi ))\,p(\theta |y,\xi )\,d\theta -\int \log(p(\theta ))\,p(\theta )\,d\theta \,.}$

Другая возможность — определить полезность как

${\displaystyle U(y,\xi )=D_{KL}(p(\theta \mid y,\xi )\|p(\theta ))\,,}$

расхождение Кульбака -Лейблера априорного распределения от апостериорного. Линдли (1956) отметил, что ожидаемая полезность тогда будет независимой от координат и может быть записана в двух формах

${\displaystyle {\begin{alignedat}{2}U(\xi )&=\int \int \log(p(\theta \mid y,\xi ))\,p(\theta ,y\mid \xi )\,d\theta \,dy-\int \log(p(\theta ))\,p(\theta )\,d\theta \\&=\int \int \log(p(y\mid \theta ,\xi ))\,p(\theta ,y\mid \xi )\,dy\,d\theta -\int \log(p(y\mid \xi ))\,p(y\mid \xi )\,dy,\end{alignedat}}\,}$

из которых последний может быть оценен без необходимости оценки индивидуальной апостериорной вероятности для всех возможных наблюдений . ^[6] Стоит отметить, что второй член во второй строке уравнения не будет зависеть от дизайна , пока не будет зависеть неопределенность наблюдений. С другой стороны, интеграл в первой форме постоянен для всех , поэтому, если цель состоит в том, чтобы выбрать дизайн с наибольшей полезностью, член вообще не нужно вычислять. Несколько авторов рассматривали численные методы оценки и оптимизации этого критерия. ^{[7] [8]} Обратите внимание, что ${\displaystyle p(\theta \mid y,\xi )}$ ${\displaystyle y}$ ${\displaystyle \xi }$ ${\displaystyle p(\theta )\log p(\theta )}$ ${\displaystyle \xi }$

${\displaystyle U(\xi )=I(\theta ;y)\,,}$

ожидаемый прирост информации представляет собой в точности взаимную информацию между параметром θ и наблюдением y . Пример байесовского дизайна для линейной динамической дискриминации модели приведен в работе Bania (2019). ^[9] Поскольку было трудно вычислить, его нижняя граница использовалась в качестве функции полезности. Затем нижняя граница максимизируется при ограничении энергии сигнала. Предложенный байесовский дизайн также сравнивался с классическим средним D-оптимальным дизайном. Было показано, что байесовский дизайн превосходит D-оптимальный дизайн. ${\displaystyle I(\theta ;y)\,,}$

Критерий Келли также описывает такую ​​функцию полезности для игрока, стремящегося максимизировать прибыль, которая используется в теории азартных игр и информации ; ситуация Келли идентична предыдущей, только вместо эксперимента используется побочная информация или «частный провод».

Смотрите также

• Байесовская оптимизация
• Оптимальный дизайн
• Активное обучение
• Ожидаемая ценность выборочной информации

Ссылки

1. Ли, Се Юн (2024). «Использование байесовской статистики в подтверждающих клинических испытаниях в регулирующих условиях: обзор руководства». BMC Med Res Methodol . 24 (1): 110. doi : 10.1186/s12874-024-02235-0 . PMC  11077897. PMID  38714936 .
2. Подход, рассмотренный в Chaloner, Kathryn; Verdinelli, Isabella (1995), "Байесовский экспериментальный дизайн: обзор" (PDF) , Statistical Science , 10 (3): 273–304, doi : 10.1214/ss/1177009939
3. Ванлиер; Тиман; Хильберс; ван Риль (2012), «Байесовский подход к целевому планированию эксперимента», Биоинформатика , 28 (8): 1136–1142, doi :10.1093/bioinformatics/bts092, PMC 3324513 , PMID  22368245 
4. Тибо; Лалой; Херманс (2021), «Новая структура для экспериментального проектирования с использованием байесовского доказательного обучения: случай области защиты устья скважины», Журнал гидрологии , 603 : 126903, arXiv : 2105.05539 , Bibcode : 2021JHyd..60326903T, doi : 10.1016/j.jhydrol.2021.126903, hdl : 1854/LU-8759542 , S2CID  234469903
5. Лиепе; Филиппи; Коморовски; Штумпф (2013), «Максимизация информационного содержания экспериментов в системной биологии», PLOS Computational Biology , 9 (1): e1002888, Bibcode : 2013PLSCB...9E2888L, doi : 10.1371/journal.pcbi.1002888 , PMC 3561087 , PMID  23382663 
6. Линдли, Д.В. (1956), «О мере информации, полученной в результате эксперимента», Annals of Mathematical Statistics , 27 (4): 986–1005, doi : 10.1214/aoms/1177728069
7. Ван ден Берг; Кертис; Трамперт (2003), «Оптимальный нелинейный байесовский экспериментальный план: применение к экспериментам по амплитуде и смещению», Geophysical Journal International , 155 (2): 411–421, Bibcode : 2003GeoJI.155..411V, doi : 10.1046/j.1365-246x.2003.02048.x
8. Райан, К. Дж. (2003), «Оценка ожидаемого прироста информации для экспериментальных проектов с применением к модели случайного предела усталости», Журнал вычислительной и графической статистики , 12 (3): 585–603, doi : 10.1198/1061860032012, S2CID  119889630
9. Баня, П. (2019), «Байесовский входной дизайн для линейной динамической модели дискриминации», Энтропия , 21 (4): 351, Bibcode : 2019Entrp..21..351B, doi : 10.3390/e21040351 , PMC 7514835 , PMID  33267065 

Дальнейшее чтение

• DasGupta, A. (1996), «Обзор оптимальных байесовских планов» (PDF) , в Ghosh, S.; Rao, CR (ред.), Design and Analysis of Experiments , Handbook of Statistics, т. 13, North-Holland, стр. 1099–1148, ISBN 978-0-444-82061-7
• Рейнфорт, Том и др. (2023), Современный байесовский экспериментальный дизайн , arXiv : 2302.14545