Планирование экспериментов

Разработка задач

Планирование экспериментов с полным факторным планом (слева), поверхность отклика с полиномом второй степени (справа)

Планирование экспериментов ( DOE или DOX ), также известное как проектирование эксперимента или экспериментальный дизайн , представляет собой проектирование любой задачи, направленной на описание и объяснение вариации информации в условиях, которые, как предполагается, отражают вариацию. Термин обычно ассоциируется с экспериментами , в которых план вводит условия, которые напрямую влияют на вариацию, но может также относиться к планированию квазиэкспериментов , в которых для наблюдения выбираются естественные условия, которые влияют на вариацию.

В своей простейшей форме эксперимент направлен на предсказание результата путем введения изменения предпосылок, которые представлены одной или несколькими независимыми переменными , также называемыми «входными переменными» или «переменными-предикторами». Изменение одной или нескольких независимых переменных, как правило, гипотетически приводит к изменению одной или нескольких зависимых переменных , также называемых «выходными переменными» или «переменными отклика». Экспериментальный план может также определять контрольные переменные , которые должны поддерживаться постоянными, чтобы предотвратить влияние внешних факторов на результаты. Экспериментальный план включает в себя не только выбор подходящих независимых, зависимых и контрольных переменных, но и планирование проведения эксперимента в статистически оптимальных условиях с учетом ограничений доступных ресурсов. Существует несколько подходов для определения набора точек проектирования (уникальных комбинаций настроек независимых переменных), которые будут использоваться в эксперименте.

Основные проблемы в экспериментальном дизайне включают установление валидности , надежности и воспроизводимости . Например, эти проблемы можно частично решить, тщательно выбрав независимую переменную, снизив риск ошибки измерения и обеспечив достаточно подробную документацию метода. Связанные проблемы включают достижение соответствующих уровней статистической мощности и чувствительности .

Правильно разработанные эксперименты расширяют знания в области естественных и социальных наук и инженерии, при этом методология проектирования экспериментов признана ключевым инструментом для успешной реализации структуры Quality by Design (QbD). ^[1] Другие приложения включают маркетинг и разработку политики. Изучение проектирования экспериментов является важной темой в метанауке .

История

Статистические эксперименты по Чарльзу С. Пирсу

Теория статистического вывода была разработана Чарльзом С. Пирсом в « Иллюстрациях логики науки » (1877–1878) ^[2] и « Теории вероятного вывода » (1883) ^[3] , двух публикациях, в которых подчеркивалась важность вывода на основе рандомизации в статистике. ^[4]

Рандомизированные эксперименты

Чарльз С. Пирс случайным образом распределил добровольцев по слепому , повторяющемуся эксперименту , чтобы оценить их способность различать веса. ^{[5] [6] [7] [8]} Эксперимент Пирса вдохновил других исследователей в области психологии и образования, которые разработали исследовательскую традицию рандомизированных экспериментов в лабораториях и специализированных учебниках в 1800-х годах. ^{[5] [6] [7] [8]}

Оптимальные конструкции для регрессионных моделей

Чарльз С. Пирс также внес вклад в первую англоязычную публикацию об оптимальном дизайне для моделей регрессии в 1876 году. ^[9] Новаторский оптимальный дизайн для полиномиальной регрессии был предложен Жергоном в 1815 году. В 1918 году Кирстин Смит опубликовала оптимальные дизайны для полиномов шестой степени (и ниже). ^{[10] [11]}

Последовательности экспериментов

Использование последовательности экспериментов, где дизайн каждого может зависеть от результатов предыдущих экспериментов, включая возможное решение прекратить эксперимент, входит в сферу последовательного анализа , области, которая была впервые разработана ^[12] Абрахамом Вальдом в контексте последовательных проверок статистических гипотез. ^[13] Герман Чернофф написал обзор оптимальных последовательных дизайнов, ^[14] в то время как адаптивные дизайны были рассмотрены С. Заксом. ^[15] Одним из конкретных типов последовательного дизайна является «двурукий бандит», обобщенный до многорукого бандита , ранняя работа над которым была проделана Гербертом Роббинсом в 1952 году. ^[16]

Принципы Фишера

Методология разработки экспериментов была предложена Рональдом Фишером в его новаторских книгах: «Организация полевых экспериментов» (1926) и «Разработка экспериментов» (1935). Большая часть его новаторских работ была посвящена сельскохозяйственному применению статистических методов. В качестве обыденного примера он описал, как проверить гипотезу о леди, дегустирующей чай , о том, что некая леди могла по одному только вкусу отличить, было ли молоко или чай первым налито в чашку. Эти методы широко использовались в биологических, психологических и сельскохозяйственных исследованиях. ^[17]

Сравнение

В некоторых областях исследований невозможно иметь независимые измерения в соответствии с прослеживаемым метрологическим стандартом . Сравнения между методами лечения гораздо более ценны и обычно предпочтительны, и часто сравниваются с научным контролем или традиционным методом лечения, который выступает в качестве исходного уровня.

Рандомизация

Случайное распределение — это процесс распределения людей случайным образом по группам или по разным группам в эксперименте, так что каждый человек из популяции имеет одинаковые шансы стать участником исследования. Случайное распределение людей по группам (или условиям внутри группы) отличает строгий, «истинный» эксперимент от наблюдательного исследования или «квазиэксперимента». ^[18] Существует обширный корпус математической теории, которая исследует последствия распределения единиц по видам лечения с помощью некоторого случайного механизма (например, таблиц случайных чисел или использования устройств рандомизации, таких как игральные карты или игральные кости). Случайное распределение единиц по видам лечения имеет тенденцию смягчать смешение , которое заставляет эффекты, вызванные факторами, отличными от лечения, казаться результатом лечения.

Риски, связанные со случайным распределением (например, наличие серьезного дисбаланса в ключевой характеристике между группой лечения и контрольной группой), поддаются расчету и, следовательно, могут быть снижены до приемлемого уровня путем использования достаточного количества экспериментальных единиц. Однако, если популяция разделена на несколько субпопуляций, которые каким-то образом различаются, и исследование требует, чтобы каждая субпопуляция была одинаковой по размеру, можно использовать стратифицированную выборку. Таким образом, рандомизируются единицы в каждой субпопуляции, но не вся выборка. Результаты эксперимента могут быть надежно обобщены из экспериментальных единиц на более крупную статистическую совокупность единиц, только если экспериментальные единицы являются случайной выборкой из более крупной совокупности; вероятная ошибка такой экстраполяции зависит, среди прочего, от размера выборки.

Статистическая репликация

Измерения обычно подвержены вариации и неопределенности измерений ; поэтому они повторяются, и полные эксперименты воспроизводятся, чтобы помочь определить источники вариации, лучше оценить истинные эффекты лечения, еще больше повысить надежность и обоснованность эксперимента и добавить к существующим знаниям по теме. ^[19] Однако, перед началом воспроизведения эксперимента должны быть выполнены определенные условия: исходный вопрос исследования был опубликован в рецензируемом журнале или широко цитировался, исследователь независим от исходного эксперимента, исследователь должен сначала попытаться воспроизвести исходные результаты, используя исходные данные, и в описании должно быть указано, что проведенное исследование является исследованием-репликацией, которое пыталось следовать исходному исследованию как можно строже. ^[20]

Блокировка

Блокировка (справа)

Блокировка — это неслучайное расположение экспериментальных единиц в группы (блоки), состоящие из единиц, которые похожи друг на друга. Блокировка уменьшает известные, но нерелевантные источники вариации между единицами и, таким образом, позволяет с большей точностью оценить источник изучаемой вариации.

Ортогональность

Пример ортогонального факторного плана

Ортогональность касается форм сравнения (контрастов), которые могут быть законно и эффективно выполнены. Контрасты могут быть представлены векторами, а наборы ортогональных контрастов некоррелированы и распределены независимо, если данные нормальны. Из-за этой независимости каждая ортогональная обработка предоставляет другую информацию. Если есть T обработок и T – 1 ортогональных контрастов, вся информация, которая может быть получена из эксперимента, может быть получена из набора контрастов.

Многофакторные эксперименты

Использование многофакторных экспериментов вместо метода «один фактор за раз». Они эффективны при оценке эффектов и возможных взаимодействий нескольких факторов (независимых переменных). Анализ дизайна эксперимента строится на основе дисперсионного анализа — набора моделей, которые разделяют наблюдаемую дисперсию на компоненты в соответствии с тем, какие факторы эксперимент должен оценить или проверить.

Пример

Этот пример экспериментов по проектированию приписывается Гарольду Хотеллингу , основанному на примерах Фрэнка Йейтса . ^{[21] [22] [14]} Эксперименты, разработанные в этом примере, включают комбинаторные проекты . ^[23]

Весы восьми объектов измеряются с помощью чашечных весов и набора стандартных гирь. Каждое взвешивание измеряет разницу веса между объектами на левой чашке и любыми объектами на правой чашке путем добавления калиброванных гирь к более легкой чашке до тех пор, пока весы не придут в равновесие. Каждое измерение имеет случайную погрешность . Средняя погрешность равна нулю; стандартные отклонения распределения вероятностей ошибок равны одному и тому же числу σ при разных взвешиваниях; ошибки при разных взвешиваниях независимы . Обозначим истинные веса как

${\displaystyle \theta _{1},\dots ,\theta _{8}.\,}$

Рассмотрим два разных эксперимента:

1. Взвесьте каждый объект на одной чаше, оставив другую чашу пустой. Пусть X _i будет измеренным весом объекта, для i  = 1, ..., 8.
2. Проведите восемь взвешиваний в соответствии со следующим графиком — матрицей взвешивания :

${\displaystyle {\begin{array}{lcc}&{\text{left pan}}&{\text{right pan}}\\\hline {\text{1st weighing:}}&1\ 2\ 3\ 4\ 5\ 6\ 7\ 8&{\text{(empty)}}\\{\text{2nd:}}&1\ 2\ 3\ 8\ &4\ 5\ 6\ 7\\{\text{3rd:}}&1\ 4\ 5\ 8\ &2\ 3\ 6\ 7\\{\text{4th:}}&1\ 6\ 7\ 8\ &2\ 3\ 4\ 5\\{\text{5th:}}&2\ 4\ 6\ 8\ &1\ 3\ 5\ 7\\{\text{6th:}}&2\ 5\ 7\ 8\ &1\ 3\ 4\ 6\\{\text{7th:}}&3\ 4\ 7\ 8\ &1\ 2\ 5\ 6\\{\text{8th:}}&3\ 5\ 6\ 8\ &1\ 2\ 4\ 7\end{array}}}$

Пусть Y _i будет измеренной разностью для i = 1, ..., 8. Тогда расчетное значение веса θ ₁ равно

${\displaystyle {\widehat {\theta }}_{1}={\frac {Y_{1}+Y_{2}+Y_{3}+Y_{4}-Y_{5}-Y_{6}-Y_{7}-Y_{8}}{8}}.}$

Аналогичные оценки можно найти для веса других предметов:

${\displaystyle {\begin{aligned}{\widehat {\theta }}_{2}&={\frac {Y_{1}+Y_{2}-Y_{3}-Y_{4}+Y_{5}+Y_{6}-Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{3}&={\frac {Y_{1}+Y_{2}-Y_{3}-Y_{4}-Y_{5}-Y_{6}+Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{4}&={\frac {Y_{1}-Y_{2}+Y_{3}-Y_{4}+Y_{5}-Y_{6}+Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{5}&={\frac {Y_{1}-Y_{2}+Y_{3}-Y_{4}-Y_{5}+Y_{6}-Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{6}&={\frac {Y_{1}-Y_{2}-Y_{3}+Y_{4}+Y_{5}-Y_{6}-Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{7}&={\frac {Y_{1}-Y_{2}-Y_{3}+Y_{4}-Y_{5}+Y_{6}+Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{8}&={\frac {Y_{1}+Y_{2}+Y_{3}+Y_{4}+Y_{5}+Y_{6}+Y_{7}+Y_{8}}{8}}.\end{aligned}}}$

Вопрос дизайна экспериментов заключается в следующем: какой эксперимент лучше?

Дисперсия оценки X ₁ для θ ₁ равна σ ² , если мы используем первый эксперимент. Но если мы используем второй эксперимент, дисперсия приведенной выше оценки равна σ ² /8. Таким образом, второй эксперимент дает нам в 8 раз большую точность для оценки одного элемента и оценивает все элементы одновременно с той же точностью. То, чего достигает второй эксперимент с восемью, потребовало бы 64 взвешиваний, если бы элементы взвешивались по отдельности. Однако обратите внимание, что оценки для элементов, полученные во втором эксперименте, имеют ошибки, которые коррелируют друг с другом.

Многие проблемы планирования экспериментов включают комбинаторные планы , как в этом примере и других. ^[23]

Избежание ложных срабатываний

Ложные положительные выводы, часто возникающие из-за давления, связанного с необходимостью публикации , или из-за предвзятости подтверждения автором , представляют собой неотъемлемую опасность во многих областях. ^[24]

Использование двойного слепого дизайна может предотвратить предвзятость , потенциально приводящую к ложным положительным результатам на этапе сбора данных . При использовании двойного слепого дизайна участники случайным образом распределяются по экспериментальным группам, но исследователь не знает, какие участники принадлежат к какой группе. Таким образом, исследователь не может повлиять на реакцию участников на вмешательство. ^[25]

Экспериментальные проекты с нераскрытыми степенями свободы ^{[ жаргон ]} являются проблемой, ^[26] поскольку они могут привести к сознательному или бессознательному " p-хакингу ": попыткам сделать несколько вещей, пока не получите желаемый результат. Обычно это включает в себя манипуляцию — возможно, бессознательную — процессом статистического анализа и степенями свободы , пока они не вернут цифру ниже уровня статистической значимости p <.05 . ^{[27] [28]}

P-хакерство можно предотвратить с помощью предварительной регистрации исследований, при которой исследователи должны отправить свой план анализа данных в журнал, в котором они хотят опубликовать свою статью, еще до того, как они начнут сбор данных, поэтому никакие манипуляции данными невозможны. ^{[29] [30]}

Другой способ предотвратить это — использовать двойной слепой метод на этапе анализа данных, сделав исследование тройным слепым, когда данные отправляются аналитику данных, не связанному с исследованием, который перемешивает данные, чтобы не было возможности узнать, к какому исследованию относятся участники, прежде чем они будут потенциально исключены как выбросы. ^[25]

Четкое и полное документирование экспериментальной методологии также важно для поддержки воспроизведения результатов . ^[31]

Темы для обсуждения при разработке экспериментального проекта

Экспериментальный дизайн или рандомизированное клиническое исследование требуют тщательного рассмотрения нескольких факторов перед фактическим проведением эксперимента. ^[32] Экспериментальный дизайн — это составление подробного экспериментального плана до проведения эксперимента. Некоторые из следующих тем уже обсуждались в разделе принципов экспериментального дизайна:

1. Сколько факторов включено в план и являются ли уровни этих факторов фиксированными или случайными?
2. Нужны ли условия контроля и какими они должны быть?
3. Проверка на манипуляцию: действительно ли манипуляция сработала?
4. Каковы фоновые переменные?
5. Каков размер выборки? Сколько единиц необходимо собрать, чтобы эксперимент был обобщаемым и имел достаточную мощность ?
6. Какова значимость взаимодействия между факторами?
7. Каково влияние отсроченных эффектов существенных факторов на результаты?
8. Как сдвиги в ответах влияют на показатели самоотчета?
9. Насколько осуществимо повторное применение одних и тех же измерительных приборов к одним и тем же единицам измерения в разное время с последующим тестированием и последующими испытаниями?
10. А как насчет использования прокси-предварительного тестирования?
11. Есть ли скрытые переменные ?
12. Должен ли клиент/пациент, исследователь или даже аналитик данных не обращать внимания на условия?
13. Какова возможность последующего применения различных условий к тем же единицам?
14. Сколько факторов контроля и шума следует учитывать?

Независимая переменная исследования часто имеет много уровней или разных групп. В настоящем эксперименте исследователи могут иметь экспериментальную группу, в которой реализуется их вмешательство, проверяющее гипотезу, и контрольную группу, которая имеет все те же элементы, что и экспериментальная группа, без интервенционного элемента. Таким образом, когда все остальное, за исключением одного вмешательства, остается неизменным, исследователи могут с некоторой уверенностью подтвердить, что именно этот элемент вызвал наблюдаемое изменение. В некоторых случаях наличие контрольной группы неэтично. Иногда это решается с помощью двух разных экспериментальных групп. В некоторых случаях независимые переменные не могут быть изменены, например, при проверке разницы между двумя группами, имеющими разные заболевания, или при проверке разницы между полами (очевидно, переменные, к которым было бы трудно или неэтично отнести участников). В этих случаях может использоваться квазиэкспериментальный дизайн.

Причинно-следственные связи

В чистом экспериментальном дизайне независимая (предикторная) переменная манипулируется исследователем, то есть каждый участник исследования выбирается случайным образом из популяции, и каждый выбранный участник назначается случайным образом в условия независимой переменной. Только когда это сделано, можно с высокой вероятностью подтвердить, что причина различий в выходных переменных вызвана различными условиями. Поэтому исследователи должны выбирать экспериментальный дизайн среди других типов дизайна, когда это возможно. Однако природа независимой переменной не всегда допускает манипуляцию. В этих случаях исследователи должны знать, что не следует подтверждать причинную атрибуцию, когда их дизайн не допускает этого. Например, в наблюдательных дизайнах участники не назначаются случайным образом в условия, и поэтому, если обнаружены различия в выходных переменных между условиями, вероятно, что есть что-то иное, чем различия между условиями, что вызывает различия в результатах, то есть третья переменная. То же самое касается исследований с корреляционным дизайном (Adér & Mellenbergh, 2008).

Статистический контроль

Лучше всего, чтобы процесс находился под разумным статистическим контролем до проведения запланированных экспериментов. Когда это невозможно, надлежащая блокировка, репликация и рандомизация позволяют тщательно проводить запланированные эксперименты. ^[33] Для контроля мешающих переменных исследователи вводят контрольные проверки в качестве дополнительных мер. Исследователи должны гарантировать, что неконтролируемые влияния (например, восприятие достоверности источника) не искажают результаты исследования. Проверка манипуляции является одним из примеров контрольной проверки. Проверки манипуляции позволяют исследователям изолировать главные переменные, чтобы усилить поддержку того, что эти переменные работают так, как запланировано.

Одним из важнейших требований экспериментальных исследовательских проектов является необходимость устранения эффектов ложных , промежуточных и предшествующих переменных . В самой базовой модели причина (X) приводит к следствию (Y). Но может быть третья переменная (Z), которая влияет на (Y), и X может вообще не быть истинной причиной. Z называется ложной переменной и должна контролироваться. То же самое относится к промежуточным переменным (переменной между предполагаемой причиной (X) и следствием (Y)) и предшествующим переменным (переменной, предшествующей предполагаемой причине (X), которая является истинной причиной). Когда задействована третья переменная и не контролируется, говорят, что связь является связью нулевого порядка. В большинстве практических приложений экспериментальных исследовательских проектов есть несколько причин (X1, X2, X3). В большинстве проектов одновременно манипулируют только одной из этих причин.

Экспериментальные разработки по Фишеру

Некоторые эффективные конструкции для оценки нескольких основных эффектов были найдены независимо и почти последовательно Раджем Чандрой Бозе и К. Кишеном в 1940 году в Индийском статистическом институте , но оставались малоизвестными до тех пор, пока конструкции Плакетта–Бермана не были опубликованы в Biometrika в 1946 году. Примерно в то же время CR Rao представил концепции ортогональных массивов в качестве экспериментальных конструкций. Эта концепция сыграла центральную роль в разработке методов Тагучи Геничи Тагучи , которая состоялась во время его визита в Индийский статистический институт в начале 1950-х годов. Его методы были успешно применены и приняты японской и индийской промышленностью, а впоследствии также были приняты промышленностью США, хотя и с некоторыми оговорками.

В 1950 году Гертруда Мэри Кокс и Уильям Джеммелл Кокран опубликовали книгу «Экспериментальные планы», которая на долгие годы стала основным справочным трудом по планированию экспериментов для статистиков.

Развитие теории линейных моделей охватило и превзошло случаи, которые интересовали ранних авторов. Сегодня теория опирается на продвинутые темы в линейной алгебре , алгебре и комбинаторике .

Как и в других разделах статистики, экспериментальное проектирование осуществляется с использованием как частотного , так и байесовского подходов: при оценке статистических процедур, таких как экспериментальные планы, частотная статистика изучает распределение выборки , тогда как байесовская статистика обновляет распределение вероятностей в пространстве параметров.

Некоторые важные вкладчики в область экспериментальных разработок: CS Peirce , RA Fisher , F. Yates , RC Bose , AC Atkinson, RA Bailey , DR Cox , GEP Box , WG Cochran , WT Federer, VV Fedorov, AS Hedayat, J. Kiefer , O. Kempthorne , JA Nelder , Andrej Pázman, Friedrich Pukelsheim, D. Raghavarao , CR Rao , Shrikhande SS , JN Srivastava , William J. Studden, G. Taguchi и HP Wynn. ^[34]

Учебники Д. Монтгомери, Р. Майерса и Г. Бокса/У. Хантера/Дж. С. Хантера достигли поколений студентов и практиков. ^{[35] [36] [37] [38] [39]} Кроме того, продолжается обсуждение экспериментального проектирования в контексте построения моделей для статических или динамических моделей, также известных как идентификация системы . ^{[40] [41]}

Ограничения человеческого участия

Законы и этические соображения исключают некоторые тщательно разработанные эксперименты с участием людей. Правовые ограничения зависят от юрисдикции . Ограничения могут включать институциональные наблюдательные комиссии , информированное согласие и конфиденциальность, влияющие как на клинические (медицинские) испытания, так и на поведенческие и социальные эксперименты. ^[42] Например, в области токсикологии эксперименты проводятся на лабораторных животных с целью определения безопасных пределов воздействия для людей . ^[43] Уравновешиванием ограничений являются взгляды из медицинской области. ^[44] Что касается рандомизации пациентов, «... если никто не знает, какая терапия лучше, нет этического императива использовать ту или иную терапию». (стр. 380) Что касается экспериментального дизайна, «... явно неэтично подвергать субъектов риску для сбора данных в плохо разработанном исследовании, когда этой ситуации можно легко избежать...». (стр. 393)

Смотрите также

• Соперническое сотрудничество
• Байесовский экспериментальный дизайн
• Блочная конструкция
• Конструкция Box–Behnken
• Центральный композитный дизайн
• Клиническое исследование
• Дизайн клинического исследования
• Компьютерный эксперимент
• Управляющая переменная
• Контроль переменной
• Экспериметрика ( эксперименты, связанные с эконометрикой )
• Факторный анализ
• Дробный факторный дизайн
• Глоссарий экспериментального дизайна
• Модель серого ящика
• Промышленное машиностроение
• Эффект инструмента
• Закон больших чисел
• Проверка на манипуляции
• Программное обеспечение для многофакторного проектирования экспериментов
• Метод «один фактор за раз»
• Оптимальный дизайн
• Дизайн Плакетта–Бермана
• Вероятностный дизайн
• Протокол (естественные науки)
• Квазиэкспериментальный дизайн
• Рандомизированный блочный дизайн
• Рандомизированное контролируемое исследование
• Дизайн исследования
• Надежная конструкция параметров
• Определение размера выборки
• Перенасыщенный дизайн
• Королевская комиссия по животному магнетизму
• Выборка обследования
• Системная идентификация
• Методы Тагучи

Ссылки

1. "Последовательная природа классического планирования экспериментов | Prism". prismtc.co.uk . Получено 10 марта 2023 г. .
2. Пирс, Чарльз Сандерс (1887). «Иллюстрации логики науки». Открытый суд (10 июня 2014 г.). ISBN 0812698495 . 
3. Пирс, Чарльз Сандерс (1883). "Теория вероятного вывода". В CS Peirce (ред.), Исследования по логике членами Университета Джонса Хопкинса (стр. 126–181). Little, Brown and Co (1883)
4. Stigler, Stephen M. (1978). "Математическая статистика в ранних государствах". Annals of Statistics . 6 (2): 239–65 [248]. doi : 10.1214/aos/1176344123 . JSTOR  2958876. MR  0483118. Действительно, работа Пирса содержит одно из самых ранних явных одобрений математической рандомизации как основы для вывода, о которых я знаю (Peirce, 1957, страницы 216–219
5. Пирс, Чарльз Сандерс ; Джастров, Джозеф (1885). «О малых различиях в ощущениях». Мемуары Национальной академии наук . 3 : 73–83.
6. из Hacking, Ian (сентябрь 1988 г.). «Телепатия: истоки рандомизации в экспериментальном проектировании». Isis . 79 (3): 427–451. doi :10.1086/354775. JSTOR  234674. MR  1013489. S2CID  52201011.
7. Stephen M. Stigler (ноябрь 1992 г.). «Исторический взгляд на статистические концепции в психологии и образовательных исследованиях». American Journal of Education . 101 (1): 60–70. doi :10.1086/444032. JSTOR  1085417. S2CID  143685203.
8. Труди Дехью (декабрь 1997 г.). «Обман, эффективность и случайные группы: психология и постепенное возникновение случайного группового дизайна». Isis . 88 (4): 653–673. doi :10.1086/383850. PMID  9519574. S2CID  23526321.
9. Пирс, CS (1876). «Заметка о теории экономики исследований». Отчет береговой службы : 197–201., фактически опубликовано в 1879 г., NOAA PDF Eprint Архивировано 2 марта 2017 г. в Wayback Machine .
   Перепечатано в Collected Papers 7 , параграфы 139–157, а также в Writings 4 , стр. 72–78 и в Peirce, CS (июль–август 1967 г.). «Note on the Theory of the Economy of Research». Operations Research . 15 (4): 643–648. doi :10.1287/opre.15.4.643. JSTOR  168276.
10. Гутторп, П.; Линдгрен, Г. (2009). «Карл Пирсон и скандинавская школа статистики». International Statistical Review . 77 : 64. CiteSeerX 10.1.1.368.8328 . doi :10.1111/j.1751-5823.2009.00069.x. S2CID  121294724. 
11. Смит, Кирстин (1918). «О стандартных отклонениях скорректированных и интерполированных значений наблюдаемой полиномиальной функции и ее константах и ​​о руководстве, которое они дают для правильного выбора распределения наблюдений». Biometrika . 12 (1–2): 1–85. doi :10.1093/biomet/12.1-2.1.
12. Джонсон, Н. Л. (1961). «Последовательный анализ: обзор». Журнал Королевского статистического общества , Серия A. Том 124 (3), 372–411. (страницы 375–376)
13. Вальд, А. (1945) «Последовательные проверки статистических гипотез», Анналы математической статистики , 16 (2), 117–186.
14. Герман Чернофф , Последовательный анализ и оптимальное проектирование , Монография SIAM , 1972.
15. Zacks, S. (1996) "Адаптивные проекты для параметрических моделей". В: Ghosh, S. и Rao, CR, (редакторы) (1996). "Планирование и анализ экспериментов", Справочник по статистике , том 13. Северная Голландия. ISBN 0-444-82061-2 . (страницы 151–180) 
16. Роббинс, Х. (1952). «Некоторые аспекты последовательного планирования экспериментов». Бюллетень Американского математического общества . 58 (5): 527–535. doi : 10.1090/S0002-9904-1952-09620-8 .
17. Миллер, Джеффри (2000). The Mating Mind: how sexual choice shaped the evolution of human nature , Лондон: Heineman, ISBN 0-434-00741-2 (также Doubleday, ISBN 0-385-49516-1 ) «Для биологов он был архитектором «современного синтеза», который использовал математические модели для интеграции менделевской генетики с теориями отбора Дарвина. Для психологов Фишер был изобретателем различных статистических тестов, которые до сих пор должны использоваться по возможности в психологических журналах. Для фермеров Фишер был основателем экспериментальных сельскохозяйственных исследований, спасших миллионы людей от голода с помощью рациональных программ селекции сельскохозяйственных культур». стр. 54.  
18. Кресвелл, Дж. В. (2008), Образовательные исследования: планирование, проведение и оценка количественных и качественных исследований (3-е издание) , Аппер Сэддл Ривер, Нью-Джерси: Prentice Hall. 2008, стр. 300. ISBN 0-13-613550-1 
19. Д-р Хани (2009). "Исследование репликации". Архивировано из оригинала 2 июня 2012 года . Получено 27 октября 2011 года .
20. Берман, Леонард Э.; Роберт В. Рид; Джеймс Альм (2010), «Призыв к исследованиям по репликации», Public Finance Review , 38 (6): 787–793, doi :10.1177/1091142110385210, S2CID  27838472 , получено 27 октября 2011 г.
21. Хотеллинг, Гарольд (1944). «Некоторые улучшения во взвешивании и других экспериментальных методах». Annals of Mathematical Statistics . 15 (3): 297–306. doi : 10.1214/aoms/1177731236 .
22. Гири, Нараян С.; Дас, МН (1979). Планирование и анализ экспериментов. Нью-Йорк, Нью-Йорк: Wiley. С. 350–359. ISBN 9780852269145.
23. Джек Сифри (8 декабря 2014 г.). «Как использовать дизайн экспериментов для создания надежных конструкций с высокой доходностью». youtube.com . Получено 11 февраля 2015 г. .
24. Форстмайер, Вольфганг; Вагенмакерс, Эрик-Ян; Паркер, Тимоти Х. (23 ноября 2016 г.). «Обнаружение и предотвращение вероятных ложноположительных результатов — практическое руководство». Biological Reviews . 92 (4): 1941–1968. doi : 10.1111/brv.12315 . hdl : 11245.1/31f84a5b-4439-4a4c-a690-6e98354199f5 . ISSN  1464-7931. PMID  27879038. S2CID  26793416.
25. Дэвид, Шарун; Кхандхар1, Парас Б. (17 июля 2023 г.). «Двойное слепое исследование». StatPearls Publishing . PMID  31536248.{{cite journal}}: CS1 maint: numeric names: authors list (link)
26. Симмонс, Джозеф; Лейф Нельсон; Ури Симонсон (ноябрь 2011 г.). «Психология ложного позитива: нераскрытая гибкость в сборе и анализе данных позволяет представлять что угодно как значимое». Психологическая наука . 22 (11): 1359–1366. doi :10.1177/0956797611417632. ISSN  0956-7976. PMID  22006061.
27. "Наука, доверие и психология в кризисе". KPLU . 2 июня 2014 г. Архивировано из оригинала 14 июля 2014 г. Получено 12 июня 2014 г.
28. «Почему статистически значимые исследования могут быть незначимыми». Pacific Standard . 4 июня 2014 г. Получено 12 июня 2014 г.
29. Носек, Брайан А.; Эберсоул, Чарльз Р.; ДеХейвен, Александр К.; Меллор, Дэвид Т. (13 марта 2018 г.). «Революция предварительной регистрации». Труды Национальной академии наук . 115 (11): 2600–2606. Bibcode : 2018PNAS..115.2600N. doi : 10.1073/pnas.1708274114 . ISSN  0027-8424. PMC 5856500. PMID 29531091  . 
30. «Предварительная регистрация исследований — что это такое, как это сделать и почему?». www.acf.hhs.gov . Получено 29 августа 2023 г. .
31. Крис Чемберс (10 июня 2014 г.). «Физическая зависть: содержат ли «точные» науки решение кризиса репликации в психологии?». theguardian.com . Получено 12 июня 2014 г.
32. Адер, Мелленберг и Хэнд (2008) «Консультирование по методам исследования: спутник консультанта»
33. Бисгаард, С. (2008) «Должен ли процесс находиться под статистическим контролем перед проведением запланированных экспериментов?», Quality Engineering , ASQ, 20 (2), стр. 143–176
34. Гири, Нараян С.; Дас, МН (1979). Планирование и анализ экспериментов. Нью-Йорк, Нью-Йорк: Wiley. С. 53, 159, 264. ISBN 9780852269145.
35. Монтгомери, Дуглас (2013). Планирование и анализ экспериментов (8-е изд.). Хобокен, Нью-Джерси: John Wiley & Sons, Inc. ISBN 9781118146927.
36. Уолпол, Рональд Э.; Майерс, Рэймонд Х.; Майерс, Шэрон Л.; Йе, Кейинг (2007). Вероятность и статистика для инженеров и ученых (8-е изд.). Верхняя Сэддл-Ривер, Нью-Джерси: Pearson Prentice Hall. ISBN 978-0131877115.
37. Майерс, Рэймонд Х.; Монтгомери, Дуглас К.; Вининг, Г. Джеффри; Робинсон, Тимоти Дж. (2010). Обобщенные линейные модели: с приложениями в инженерии и науках (2-е изд.). Хобокен, Нью-Джерси: Wiley. ISBN 978-0470454633.
38. Бокс, Джордж Э.П.; Хантер, Уильям Г.; Хантер, Дж. Стюарт (1978). Статистика для экспериментаторов: Введение в проектирование, анализ данных и построение моделей. Нью-Йорк: Wiley. ISBN 978-0-471-09315-2.
39. Бокс, Джордж Э.П.; Хантер, Уильям Г.; Хантер, Дж. Стюарт (2005). Статистика для экспериментаторов: дизайн, инновации и открытия (2-е изд.). Хобокен, Нью-Джерси: Wiley. ISBN 978-0471718130.
40. Сполл, Дж. К. (2010). «Факторное проектирование для эффективного экспериментирования: создание информативных данных для идентификации системы». Журнал IEEE Control Systems . 30 (5): 38–53. doi :10.1109/MCS.2010.937677. S2CID  45813198.
41. Pronzato, L (2008). «Оптимальный экспериментальный дизайн и некоторые связанные с ним проблемы управления». Automatica . 44 (2): 303–325. arXiv : 0802.4381 . doi : 10.1016/j.automatica.2007.05.016. S2CID  1268930.
42. Мур, Дэвид С.; Нотц, Уильям И. (2006). Статистика: концепции и противоречия (6-е изд.). Нью-Йорк: WH Freeman. стр. Глава 7: Этика данных. ISBN 9780716786368.
43. Оттобони, М. Элис (1991). Доза делает яд: руководство по токсикологии на простом языке (2-е изд.). Нью-Йорк, Нью-Йорк: Van Nostrand Reinhold. ISBN 978-0442006600.
44. Гланц, Стэнтон А. (1992). Букварь биостатистики (3-е изд.). ISBN 978-0-07-023511-3.

Источники

• Пирс, CS (1877–1878), «Иллюстрации логики науки» (серия), Popular Science Monthly , т. 12–13. Соответствующие отдельные статьи:
  • (1878 март), «Доктрина случайностей», Popular Science Monthly , т. 12, мартовский выпуск, стр. 604–615. Интернет-архив Eprint.
  • (1878 Апрель), «Вероятность индукции», Popular Science Monthly , т. 12, стр. 705–718. Интернет-архив Eprint.
  • (1878 июнь), «Порядок природы», Popular Science Monthly , т. 13, стр. 203–217. Интернет-архив Eprint.
  • (1878 Август), «Дедукция, индукция и гипотеза», Popular Science Monthly , т. 13, стр. 470–482. Интернет-архив Eprint.
  • (1883), «Теория вероятного вывода», Исследования по логике , стр. 126–181, Little, Brown, and Company. (Переиздано в 1983 году издательством John Benjamins Publishing Company, ISBN 90-272-3271-7 ) 

Внешние ссылки

• Глава из «Справочника NIST/SEMATECH по инженерной статистике» на сайте NIST
• Проекты Бокса–Бенкена из «Справочника NIST/SEMATECH по инженерной статистике» в NIST
• Подробные математические разработки наиболее распространенных DoE в онлайн-справочнике Opera Magistris v3.6, Глава 15, раздел 7.4, ISBN 978-2-8399-0932-7 .