stringtranslate.com

Оптимальный экспериментальный дизайн

Фотография человека, проводящего измерения с помощью теодолита в условиях замерзания.
Густав Эльфвинг разработал оптимальную схему экспериментов и таким образом свел к минимуму необходимость геодезистов в измерениях с помощью теодолита (на фото) , находясь в ловушке в своей палатке в охваченной штормом Гренландии . [1]

В планировании экспериментов оптимальные экспериментальные планы (или оптимальные планы [2] ) представляют собой класс экспериментальных планов , которые являются оптимальными относительно некоторого статистического критерия . Создание этой области статистики приписывают датскому статистику Кирстине Смит . [3] [4]

При планировании экспериментов для оценки статистических моделей оптимальные планы позволяют оценивать параметры без смещения и с минимальной дисперсией . Неоптимальный план требует большего числа экспериментальных запусков для оценки параметров с той же точностью, что и оптимальный план. С практической точки зрения оптимальные эксперименты могут снизить затраты на экспериментирование.

Оптимальность дизайна зависит от статистической модели и оценивается по статистическому критерию, который связан с матрицей дисперсии оценщика. Определение подходящей модели и указание подходящей критериальной функции требуют понимания статистической теории и практических знаний по планированию экспериментов .

Преимущества

Оптимальные проекты имеют три преимущества по сравнению с неоптимальными экспериментальными проектами : [5]

  1. Оптимальные конструкции сокращают затраты на эксперименты, позволяя оценивать статистические модели с меньшим количеством экспериментальных запусков.
  2. Оптимальные конструкции могут учитывать различные типы факторов, такие как факторы процесса, смеси и дискретные факторы.
  3. Проектирование можно оптимизировать, когда пространство проектирования ограничено, например, когда математическое пространство процесса содержит параметры, которые практически неосуществимы (например, из-за проблем безопасности).

Минимизация дисперсии оценок

Экспериментальные проекты оцениваются с использованием статистических критериев. [6]

Известно, что оценка наименьших квадратов минимизирует дисперсию оценок, не смещенных относительно среднего (в условиях теоремы Гаусса-Маркова ). В теории оценки статистических моделей с одним действительным параметром обратная величина дисперсии ( "эффективной" ) оценки называется " информацией Фишера " для этой оценки. [7] Из - за этой взаимности минимизация дисперсии соответствует максимизации информации .

Однако, когда статистическая модель имеет несколько параметров , среднее значение оценщика параметров является вектором , а его дисперсия — матрицей . Обратная матрица дисперсионной матрицы называется «информационной матрицей». Поскольку дисперсия оценщика вектора параметров является матрицей, проблема «минимизации дисперсии» усложняется. Используя статистическую теорию , статистики сжимают информационную матрицу, используя вещественнозначные сводные статистики ; будучи вещественнозначными функциями, эти «информационные критерии» могут быть максимизированы. [8] Традиционные критерии оптимальности являются инвариантами информационной матрицы; алгебраически традиционные критерии оптимальности являются функционалами собственных значений информационной матрицы.

Другие критерии оптимальности связаны с дисперсией прогнозов :

Контрасты

Во многих приложениях статистик больше всего озабочен «параметром интереса», чем «параметрами помех» . В более общем смысле, статистики рассматривают линейные комбинации параметров, которые оцениваются с помощью линейных комбинаций средних значений обработки при планировании экспериментов и в дисперсионном анализе ; такие линейные комбинации называются контрастами . Статистики могут использовать соответствующие критерии оптимальности для таких параметров интереса и для контрастов . [12]

Выполнение

Каталоги оптимальных конструкций можно найти в книгах и библиотеках программного обеспечения.

Кроме того, основные статистические системы, такие как SAS и R, имеют процедуры для оптимизации дизайна в соответствии со спецификацией пользователя. Экспериментатор должен указать модель для дизайна и критерий оптимальности, прежде чем метод сможет вычислить оптимальный дизайн. [13]

Практические соображения

Некоторые сложные темы оптимального проектирования требуют больше статистической теории и практических знаний по планированию экспериментов.

Зависимость и надежность модели

Поскольку критерий оптимальности большинства оптимальных конструкций основан на некоторой функции информационной матрицы, «оптимальность» данной конструкции зависит от модели : в то время как оптимальная конструкция является лучшей для этой модели , ее производительность может ухудшиться на других моделях . На других моделях оптимальная конструкция может быть как лучше, так и хуже неоптимальной конструкции. [14] Поэтому важно сравнивать производительность конструкций с альтернативными моделями . [15]

Выбор критерия оптимальности и надежности

Выбор подходящего критерия оптимальности требует некоторого размышления, и полезно сравнить производительность проектов с несколькими критериями оптимальности. Корнелл пишет, что

поскольку критерии [традиционной оптимальности]... являются критериями минимизации дисперсии,... план, который является оптимальным для данной модели с использованием одного из... критериев, обычно является близким к оптимальному для той же модели по отношению к другим критериям.

—  [16]

Действительно, существует несколько классов конструкций, для которых все традиционные критерии оптимальности согласуются, согласно теории «универсальной оптимальности» Кифера . [17] Опыт практиков, таких как Корнелл, и теория «универсальной оптимальности» Кифера предполагают, что устойчивость по отношению к изменениям в критерии оптимальности намного выше, чем устойчивость по отношению к изменениям в модели .

Гибкие критерии оптимальности и выпуклый анализ

Высококачественное статистическое программное обеспечение обеспечивает комбинацию библиотек оптимальных конструкций или итерационных методов для построения приблизительно оптимальных конструкций в зависимости от указанной модели и критерия оптимальности. Пользователи могут использовать стандартный критерий оптимальности или могут запрограммировать индивидуальный критерий.

Все традиционные критерии оптимальности являются выпуклыми (или вогнутыми) функциями , и поэтому оптимальные конструкции поддаются математической теории выпуклого анализа , и их вычисление может использовать специализированные методы выпуклой минимизации . [18] Практикующему не нужно выбирать только один традиционный критерий оптимальности, но он может указать свой критерий. В частности, практик может указать выпуклый критерий, используя максимумы выпуклых критериев оптимальности и неотрицательные комбинации критериев оптимальности (поскольку эти операции сохраняют выпуклые функции ). Для выпуклых критериев оптимальности теорема эквивалентности Кифера - Вольфовица позволяет практикующему проверить, что данная конструкция является глобально оптимальной. [19] Теорема эквивалентности Кифера - Вольфовица связана с сопряженностью Лежандра - Фенхеля для выпуклых функций . [20]

Если критерий оптимальности не обладает выпуклостью , то нахождение глобального оптимума и проверка его оптимальности часто оказываются затруднительными.

Неопределенность модели и байесовский подход

Выбор модели

Когда ученые хотят проверить несколько теорий, статистик может разработать эксперимент, который позволяет проводить оптимальные тесты между указанными моделями. Такие «дискриминационные эксперименты» особенно важны в биостатистике, поддерживающей фармакокинетику и фармакодинамику , следуя работам Кокса и Аткинсона. [21]

Байесовский экспериментальный дизайн

Когда практикующим специалистам необходимо рассмотреть несколько моделей , они могут указать вероятностную меру для моделей, а затем выбрать любой дизайн, максимизирующий ожидаемое значение такого эксперимента. Такие оптимальные дизайны, основанные на вероятности, называются оптимальными байесовскими дизайнами . Такие байесовские дизайны используются, в частности, для обобщенных линейных моделей (где отклик следует экспоненциальному распределению семейства ). [22]

Однако использование байесовского плана не заставляет статистиков использовать байесовские методы для анализа данных. Действительно, ярлык «байесовский» для экспериментальных планов, основанных на вероятности, не нравится некоторым исследователям. [23] Альтернативная терминология для «байесовского» оптимального подхода включает «в среднем» оптимальность или «популяционную» оптимальность.

Итеративное экспериментирование

Научное экспериментирование — это итеративный процесс, и статистики разработали несколько подходов к оптимальному планированию последовательных экспериментов.

Последовательный анализ

Последовательный анализ был впервые предложен Абрахамом Вальдом . [24] В 1972 году Герман Чернофф написал обзор оптимальных последовательных планов, [25] в то время как адаптивные планы были рассмотрены позже С. Заксом. [26] Конечно, большая часть работы по оптимальному планированию экспериментов связана с теорией оптимальных решений , особенно с теорией статистических решений Абрахама Вальда . [27]

Методология поверхности отклика

Оптимальные конструкции для моделей поверхности отклика обсуждаются в учебнике Аткинсона, Донева и Тобиаса, а также в обзоре Гаффке и Хайлигерса и в математическом тексте Пукельсхайма. Блокировка оптимальных конструкций обсуждается в учебнике Аткинсона, Донева и Тобиаса, а также в монографии Гуса.

Самые ранние оптимальные конструкции были разработаны для оценки параметров регрессионных моделей с непрерывными переменными, например, Дж. Д. Жергоном в 1815 году (Стиглер). На английском языке два ранних вклада были сделаны Чарльзом С. Пирсом и Кирстиной Смит.

Новаторские проекты для многомерных поверхностей отклика были предложены Джорджем Э. П. Боксом . Однако проекты Бокса имеют мало оптимальных свойств. Действительно, проект Бокса–Бенкена требует чрезмерных экспериментальных запусков, когда число переменных превышает три. [28] «Центрально-композитные» проекты Бокса требуют большего количества экспериментальных запусков, чем оптимальные проекты Коно. [29]

Системная идентификация и стохастическая аппроксимация

Оптимизация последовательного экспериментирования изучается также в стохастическом программировании и в системах и управлении . Популярные методы включают стохастическую аппроксимацию и другие методы стохастической оптимизации . Большая часть этих исследований была связана с поддисциплиной идентификации систем . [30] В вычислительном оптимальном управлении Д. Юдин и А. Немировский и Борис Поляк описали методы, которые более эффективны, чем правила размера шага ( стиля Армийо ) , введенные GEP Box в методологии поверхности отклика . [31]

Адаптивные дизайны используются в клинических испытаниях , а оптимальные адаптивные дизайны рассматриваются в главе «Справочник по экспериментальным дизайнам» Шелемьяху Закса.

Указание количества экспериментальных запусков

Использование компьютера для поиска хорошего дизайна

Существует несколько методов поиска оптимального дизайна, учитывая априорное ограничение на количество экспериментальных запусков или репликаций. Некоторые из этих методов обсуждаются Аткинсоном, Доневым и Тобиасом, а также в статье Хардина и Слоана . Конечно, фиксация количества экспериментальных запусков априори была бы непрактичной. Благоразумные статистики изучают другие оптимальные дизайны, количество экспериментальных запусков которых отличается.

Дискретизация вероятностно-мерных конструкций

В математической теории оптимальных экспериментов оптимальным планом может быть вероятностная мера , которая поддерживается на бесконечном наборе мест наблюдения. Такие оптимальные планы вероятностной меры решают математическую задачу, которая не учитывает стоимость наблюдений и экспериментальных запусков. Тем не менее, такие оптимальные планы вероятностной меры могут быть дискретизированы для получения приблизительно оптимальных планов. [32]

В некоторых случаях конечного набора точек наблюдения достаточно для поддержки оптимального дизайна. Такой результат был доказан Коно и Кифером в их работах по дизайнам поверхностей отклика для квадратичных моделей. Анализ Коно–Кифера объясняет, почему оптимальные дизайны для поверхностей отклика могут иметь дискретные опоры, которые очень похожи, как и менее эффективные дизайны, которые были традиционными в методологии поверхностей отклика . [33]

История

По словам Стиглера , в 1815 году Жозеф Диас Жергонн опубликовал статью об оптимальных планах для полиномиальной регрессии .

Чарльз С. Пирс предложил экономическую теорию научного эксперимента в 1876 году, которая стремилась максимизировать точность оценок. Оптимальное распределение Пирса немедленно улучшило точность гравитационных экспериментов и использовалось в течение десятилетий Пирсом и его коллегами. В своей опубликованной в 1882 году лекции в Университете Джонса Хопкинса Пирс представил экспериментальное проектирование следующими словами:

Логика не возьмется сообщить вам, какие эксперименты вам следует провести, чтобы наилучшим образом определить ускорение свободного падения или значение Ома; но она подскажет вам, как приступить к составлению плана эксперимента.

[...] К сожалению, практика обычно предшествует теории, и обычная судьба человечества — сначала делать что-то каким-то ошеломляющим образом, а затем выяснять, как это можно было бы сделать гораздо легче и совершеннее. [34]

Кирстина Смит предложила оптимальные конструкции для полиномиальных моделей в 1918 году. (Кирстина Смит была ученицей датского статистика Торвальда Н. Тиле и работала с Карлом Пирсоном в Лондоне.)

Смотрите также

Примечания

  1. ^ Нордстрём (1999, стр. 176)
  2. ^ Прилагательное «optimum» (а не «optimal») «является немного более старой формой в английском языке и избегает конструкции «optim(um) + al» — в латыни нет слова «optimalis»» (страница x в книге «Optimum Experimental Designs, with SAS» Аткинсона, Донева и Тобиаса).
  3. ^ Гутторп, П.; Линдгрен, Г. (2009). «Карл Пирсон и скандинавская школа статистики». International Statistical Review . 77 : 64. CiteSeerX  10.1.1.368.8328 . doi :10.1111/j.1751-5823.2009.00069.x. S2CID  121294724.
  4. ^ Смит, Кирстин (1918). «О стандартных отклонениях скорректированных и интерполированных значений наблюдаемой полиномиальной функции и ее константах и ​​о руководстве, которое они дают для правильного выбора распределения наблюдений». Biometrika . 12 (1/2): 1–85. doi :10.2307/2331929. JSTOR  2331929.
  5. ^ Эти три преимущества (оптимальных конструкций) описаны в учебнике Аткинсона, Донева и Тобиаса.
  6. ^ Такие критерии в теории оптимизации называются целевыми функциями .
  7. ^ Информация Фишера и другие « информационные » функционалы являются фундаментальными концепциями в статистической теории .
  8. ^ Традиционно статистики оценивали оценщики и планы, рассматривая некоторую сводную статистику матрицы ковариации (среднего - несмещенного оценщика ), обычно с положительными действительными значениями (например, определитель или след матрицы ). Работа с положительными действительными числами дает несколько преимуществ: если оценщик одного параметра имеет положительную дисперсию, то дисперсия и информация Фишера являются положительными действительными числами; следовательно, они являются членами выпуклого конуса неотрицательных действительных чисел (чьи ненулевые члены имеют обратные величины в этом же конусе).
    Для нескольких параметров матрицы ковариации и информационные матрицы являются элементами выпуклого конуса неотрицательно определенных симметричных матриц в частично упорядоченном векторном пространстве под порядком Левнера (Löwner). Этот конус замкнут относительно сложения матриц-матриц, относительно обращения матриц и относительно умножения положительных действительных чисел и матриц. Изложение теории матриц и порядка Лёвнера приводится в работе Пукельсхайма.
  9. ^ Shin, Yeonjong; Xiu, Dongbin (2016). «Неадаптивный квазиоптимальный выбор точек для линейной регрессии наименьших квадратов». Журнал SIAM по научным вычислениям . 38 (1): A385–A411. Bibcode : 2016SJSC...38A.385S. doi : 10.1137/15M1015868.
  10. ^ Аткинсон, AC; Федоров, VV (1975). «Планирование экспериментов для различения двух конкурирующих моделей». Biometrika . 62 (1): 57–70. doi :10.1093/biomet/62.1.57. ISSN  0006-3444.
  11. ^ Вышеуказанные критерии оптимальности являются выпуклыми функциями на областях симметричных положительно-полуопределенных матриц : см. онлайн-учебник для практиков, который содержит множество иллюстраций и статистических приложений:
    • Бойд, Стивен П.; Ванденберг, Ливен (2004). Выпуклая оптимизация (PDF) . Cambridge University Press. ISBN 978-0-521-83378-3. Получено 15 октября 2011 г. . (книга в формате PDF)
    Бойд и Ванденберг обсуждают оптимальные экспериментальные планы на страницах 384–396.
  12. ^ Критерии оптимальности для «параметров интереса» и для контрастов обсуждаются Аткинсоном, Доневым и Тобиасом.
  13. ^ Итерационные методы и алгоритмы приближения рассматриваются в учебнике Аткинсона, Донева и Тобиаса, в монографиях Федорова (историческая часть) и Пукельсхайма, а также в обзорной статье Гаффке и Хайлигерса.
  14. ^ См. Кифер («Оптимальные конструкции для подгонки смещенных многоотвечающих поверхностей», страницы 289–299).
  15. ^ Такой бенчмаркинг обсуждается в учебнике Аткинсона и др. и в статьях Кифера. Модели - надежные конструкции (включая "байесовские" конструкции) рассматриваются Чангом и Нотцем.
  16. ^ Корнелл, Джон (2002). Эксперименты со смесями: проекты, модели и анализ данных по смесям (третье изд.). Wiley. ISBN 978-0-471-07916-3.(Страницы 400-401)
  17. ^ Введение в «универсальную оптимальность» появляется в учебнике Аткинсона, Донева и Тобиаса. Более подробные изложения встречаются в продвинутом учебнике Пукельсхайма и статьях Кифера.
  18. ^ Вычислительные методы обсуждаются Пукельсхаймом, Гаффке и Хайлигерсом.
  19. ^ Теорема эквивалентности Кифера - Вулфовица обсуждается в главе 9 книги Аткинсона, Донева и Тобиаса .
  20. ^ Пукельсхейм использует выпуклый анализ для изучения теоремы эквивалентности Кифера - Вольфовица в отношении сопряженности Лежандра - Фенхеля для выпуклых функций. Минимизация выпуклых функций на областях симметричных положительно-полуопределенных матриц объясняется в онлайн-учебнике для практиков, который содержит множество иллюстраций и статистических приложений:
    • Выпуклая оптимизация. Издательство Кембриджского университета. 2004. (книга в формате PDF)
    Бойд и Ванденберг обсуждают оптимальные экспериментальные планы на страницах 384–396.
  21. ↑ См. главу 20 в работе Аткинсона, Донева и Тобиаса.
  22. ^ Байесовские планы обсуждаются в главе 18 учебника Аткинсона, Донева и Тобиаса. Более продвинутые обсуждения встречаются в монографии Федорова и Хакла, а также в статьях Чалонера и Вердинелли и Даса Гупты. Байесовские планы и другие аспекты «модельно-устойчивых» планов обсуждаются Чангом и Нотцем.
  23. ^ В качестве альтернативы « байесовской оптимальности» Федоров и Хаккл отстаивают «оптимальность в среднем ».
  24. ↑ Уолд, Абрахам (июнь 1945 г.). «Последовательные проверки статистических гипотез». Анналы математической статистики . 16 (2): 117–186. doi : 10.1214/aoms/1177731118 . JSTOR  2235829.
  25. ^ Чернофф, Х. (1972) Последовательный анализ и оптимальное проектирование, монография SIAM.
  26. ^ Zacks, S. (1996) «Адаптивные проекты для параметрических моделей». В: Ghosh, S. и Rao, CR, (редакторы) (1996). Планирование и анализ экспериментов, Справочник по статистике, том 13. Северная Голландия. ISBN 0-444-82061-2 . (страницы 151–180) 
  27. ^ Генри П. Уинн писал: «Современная теория оптимального проектирования берет свое начало в школе теории принятия решений в статистике США, основанной Абрахамом Уолдом » в своем введении «Вклад Джека Кифера в экспериментальное проектирование», страницы xvii–xxiv которого находятся в следующем томе:Кифер признает влияние Уолда и его результаты на многих страницах – 273 (стр. 55 в переизданном томе), 280 (62), 289-291 (71-73), 294 (76), 297 (79), 315 (97) 319 (101) – в этой статье:
    • Кифер, Дж. (1959). «Оптимальные экспериментальные планы». Журнал Королевского статистического общества, Серия B. 21 : 272–319.
  28. ^ В области методологии поверхности отклика неэффективность плана Бокса–Бенкена отмечена Ву и Хамадой (стр. 422) .
    • Wu, CF Jeff & Hamada, Michael (2002). Эксперименты: планирование, анализ и оптимизация проектирования параметров . Wiley. ISBN 978-0-471-25511-6.
    Оптимальные планы для «последующих» экспериментов обсуждаются Ву и Хамадой.
  29. ^ Неэффективность "центрально-композитных" конструкций Бокса обсуждается в соответствии с Аткинсоном, Доневым и Тобиасом (стр. 165). Эти авторы также обсуждают блокировку конструкций типа Коно для квадратичных поверхностей отклика .
  30. ^ В следующих книгах по системной идентификации есть главы об оптимальном экспериментальном планировании:
  31. ^ Некоторые правила размера шага для Юдина и Немировского и Поляка, архив 2007-10-31 на Wayback Machine, объясняются в учебнике Кушнера и Иня:
  32. ^ Дискретизация оптимальных вероятностных мер для получения приблизительно оптимальных конструкций обсуждается Аткинсоном, Доневым и Тобиасом, а также Пукельсхаймом (особенно в главе 12) .
  33. ^ Что касается конструкций для квадратичных поверхностей отклика , результаты Коно и Кифера обсуждаются в Аткинсоне, Доневе и Тобиасе. Математически такие результаты связаны с полиномами Чебышева , «системами Маркова» и «пространствами моментов»: см.
  34. ↑ Peirce, CS (1882), «Вводная лекция по изучению логики», прочитанная в сентябре 1882 г., опубликовано в Johns Hopkins University Circulars , т. 2, прим. 19, стр. 11–12, ноябрь 1882 г., см. стр. 11, Google Books Eprint. Перепечатано в Collected Papers v. 7, параграфы 59–76, см. 59, 63, Writings of Charles S. Peirce v. 4, стр. 378–82, см. 378, 379 и The Essential Peirce v. 1, стр. 210–14, см. 210–1, также ниже на 211.

Ссылки

Дальнейшее чтение

Учебники для практиков и студентов

Учебники, в которых особое внимание уделяется регрессии и методологии поверхности отклика

Учебник Аткинсона, Донева и Тобиаса использовался как на краткосрочных курсах для специалистов-практиков, так и в университетских курсах.

Учебники, в которых особое внимание уделяется блочным конструкциям

Оптимальные блочные конструкции обсуждаются Бейли и Бапатом. Первая глава книги Бапата рассматривает линейную алгебру, используемую Бейли (или продвинутые книги ниже). Упражнения Бейли и обсуждение рандомизации подчеркивают статистические концепции (а не алгебраические вычисления).

Оптимальные конструкции блоков обсуждаются в расширенной монографии Шаха и Синхи, а также в обзорных статьях Ченга и Маджумдара.

Книги для профессиональных статистиков и исследователей

Статьи и главы

Исторический