Планирование экспериментов

Проектирование задач

Планирование экспериментов с полным факторным планом (слева), поверхность отклика с полиномом второй степени (справа)

План экспериментов ( DOE или DOX ), также известный как план эксперимента или план эксперимента , — это план любой задачи, целью которой является описание и объяснение изменения информации в условиях, которые, как предполагается, отражают это изменение. Этот термин обычно ассоциируется с экспериментами , в которых план вводит условия, которые непосредственно влияют на вариации, но может также относиться к плану квазиэкспериментов , в которых для наблюдения выбираются естественные условия, влияющие на вариации.

В своей простейшей форме эксперимент направлен на предсказание результата путем внесения изменения в предварительные условия, которые представлены одной или несколькими независимыми переменными , также называемыми «входными переменными» или «переменными-предикторами». Обычно предполагается, что изменение одной или нескольких независимых переменных приведет к изменению одной или нескольких зависимых переменных , также называемых «выходными переменными» или «переменными отклика». В плане эксперимента можно также определить контрольные переменные , которые необходимо поддерживать постоянными, чтобы внешние факторы не влияли на результаты. Планирование эксперимента включает не только выбор подходящих независимых, зависимых и контрольных переменных, но и планирование проведения эксперимента в статистически оптимальных условиях с учетом ограничений доступных ресурсов. Существует несколько подходов к определению набора расчетных точек (уникальных комбинаций настроек независимых переменных), которые будут использоваться в эксперименте.

Основные проблемы при планировании экспериментов включают установление достоверности , надежности и воспроизводимости . Например, эти проблемы можно частично решить, тщательно выбрав независимую переменную, уменьшив риск ошибки измерения и обеспечив достаточно подробную документацию метода. Связанные с этим проблемы включают достижение соответствующего уровня статистической мощности и чувствительности .

Правильно спланированные эксперименты расширяют знания в области естественных, социальных наук и техники, а методология разработки экспериментов признана ключевым инструментом в успешной реализации структуры « Качество через дизайн» (QbD). ^[1] Другие приложения включают маркетинг и разработку политики. Изучение планирования экспериментов является важной темой метанауки .

История

Статистические эксперименты по Чарльзу С. Пирсу

Теория статистического вывода была развита Чарльзом С. Пирсом в « Иллюстрациях логики науки » (1877–1878) ^[2] и « Теории вероятного вывода » (1883) ^[3] , двух публикациях, в которых подчеркивалась важность выводов на основе рандомизации в статистике. ^[4]

Рандомизированные эксперименты

Чарльз С. Пирс случайным образом распределил добровольцев на слепое исследование с повторными измерениями , чтобы оценить их способность различать вес. ^{[5] [6] [7] [8]} Эксперимент Пирса вдохновил других исследователей в области психологии и образования, которые в 1800-х годах развили исследовательскую традицию рандомизированных экспериментов в лабораториях и специализированных учебниках. ^{[5] [6] [7] [8]}

Оптимальные планы для регрессионных моделей

Чарльз С. Пирс также опубликовал первую англоязычную публикацию об оптимальном планировании регрессионных моделей в 1876 году. [ 9 ^] Новаторский оптимальный план полиномиальной регрессии был предложен Жергонном в 1815 году. В 1918 году Кирстин Смит опубликовала оптимальные планы для полиномов шестая степень (и меньше). ^{[10] [11]}

Последовательность экспериментов

Использование последовательности экспериментов, где план каждого из них может зависеть от результатов предыдущих экспериментов, включая возможное решение о прекращении экспериментов, находится в рамках последовательного анализа , области, которая была впервые открыта ^[12] Абрахамом Вальдом в в контексте последовательных проверок статистических гипотез. ^[13] Герман Чернофф написал обзор оптимальных последовательных проектов, ^[14] в то время как адаптивные проекты были рассмотрены С. Заксом. ^[15] Одним из конкретных типов последовательного дизайна является «двурукий бандит», обобщенный до многорукого бандита , ранняя работа над которым была проведена Гербертом Роббинсом в 1952 году. ^[16]

Принципы Фишера

Методику планирования экспериментов предложил Рональд Фишер в своих новаторских книгах: «Планирование полевых экспериментов» (1926) и «План экспериментов» (1935). Большая часть его новаторской работы была связана с применением статистических методов в сельском хозяйстве. В качестве обыденного примера он описал, как проверить гипотезу о том, что женщина пробует чай : некая женщина могла отличить только по вкусу, было ли сначала помещено в чашку молоко или чай. Эти методы нашли широкое применение в биологических, психологических и сельскохозяйственных исследованиях. ^[17]

Сравнение

В некоторых областях исследований невозможно провести независимые измерения в соответствии с прослеживаемым метрологическим стандартом . Сравнение методов лечения гораздо более ценно и обычно предпочтительнее, и часто сравнивается с научным контролем или традиционным лечением, которое действует в качестве базового уровня.

Рандомизация

Случайное распределение — это процесс случайного распределения людей по группам или разным группам в эксперименте, так что каждый человек из популяции имеет одинаковые шансы стать участником исследования. Случайное распределение людей по группам (или условиям внутри группы) отличает строгий «настоящий» эксперимент от наблюдательного исследования или «квазиэксперимента». ^[18] Существует обширная математическая теория, которая исследует последствия распределения единиц лечения с помощью некоторого случайного механизма (например, таблиц случайных чисел или использования устройств рандомизации, таких как игральные карты или игральные кости). . Случайное назначение единиц лечения имеет тенденцию смягчать смешивание , в результате чего эффекты, вызванные факторами, отличными от лечения, кажутся результатом лечения.

Риски, связанные со случайным распределением (например, серьезный дисбаланс ключевой характеристики между экспериментальной и контрольной группой), поддаются расчету и, следовательно, могут быть снижены до приемлемого уровня путем использования достаточного количества экспериментальных единиц. Однако если популяция разделена на несколько субпопуляций, которые каким-то образом различаются, и исследование требует, чтобы каждая субпопуляция была одинаковой по размеру, можно использовать стратифицированную выборку. Таким образом, рандомизируются единицы в каждой субпопуляции, а не вся выборка. Результаты эксперимента можно надежно обобщить с экспериментальных единиц на более крупную статистическую совокупность единиц только в том случае, если экспериментальные единицы представляют собой случайную выборку из более крупной совокупности; вероятная ошибка такой экстраполяции зависит, среди прочего, от размера выборки.

Статистическая репликация

Измерения обычно подвержены изменениям и неопределенности измерений ; таким образом, они повторяются и воспроизводятся полные эксперименты, чтобы помочь выявить источники вариаций, лучше оценить истинные эффекты лечения, еще больше повысить надежность и достоверность эксперимента, а также расширить существующие знания по этой теме. ^[19] Однако перед началом повторения эксперимента должны быть выполнены определенные условия: исходный вопрос исследования был опубликован в рецензируемом журнале или широко цитировался, исследователь независим от исходного эксперимента, исследователь должен сначала попробовать воспроизвести первоначальные результаты с использованием исходных данных, и в описании должно быть указано, что проведенное исследование является повторным исследованием, в котором пытались максимально строго следовать оригинальному исследованию. ^[20]

Блокировка

Блокировка (справа)

Блокирование – это неслучайное расположение экспериментальных единиц в группы (блоки), состоящие из единиц, сходных друг с другом. Блокирование уменьшает количество известных, но нерелевантных источников вариаций между единицами и, таким образом, позволяет более точно оценить источник исследуемой вариации.

Ортогональность

Пример ортогонального факторного плана

Ортогональность касается форм сравнения (контрасты), которые могут быть законно и эффективно проведены. Контрасты могут быть представлены векторами, а наборы ортогональных контрастов некоррелированы и независимо распределены, если данные нормальные. Из-за этой независимости каждое ортогональное лечение предоставляет различную информацию другим. Если есть T- обработки и ортогональные контрасты T -1, вся информация, которую можно получить в ходе эксперимента, можно получить из набора контрастов.

Многофакторные эксперименты

Использование многофакторных экспериментов вместо однофакторного метода. Они эффективны при оценке эффектов и возможных взаимодействий нескольких факторов (независимых переменных). Анализ планирования эксперимента построен на основе дисперсионного анализа — набора моделей, которые разделяют наблюдаемую дисперсию на компоненты в зависимости от того, какие факторы эксперимент должен оценить или проверить.

Пример

Этот пример дизайнерских экспериментов приписывается Гарольду Хотеллингу , основанному на примерах Фрэнка Йейтса . ^{[21] [22] [14]} Эксперименты, разработанные в этом примере, включают в себя комбинаторные планы . ^[23]

Вес восьми предметов измеряется с помощью чашечных весов и набора эталонных гирь. При каждом взвешивании измеряется разница в весе между объектами в левой чашке и любыми объектами в правой чашке путем добавления калиброванных гирь к более легкой чашке до тех пор, пока весы не придут в равновесие. Каждое измерение имеет случайную погрешность . Средняя ошибка равна нулю; стандартные отклонения распределения вероятностей ошибок - одно и то же число σ при разных взвешиваниях; ошибки при разных взвешиваниях независимы . Обозначим истинные веса через

${\displaystyle \theta _{1},\dots ,\theta _{8}.\,}$

Мы рассмотрим два разных эксперимента:

1. Взвесьте каждый предмет на одной чашке, оставив другую пустой. Пусть X _i будет измеренным весом объекта для i  = 1,..., 8.
2. Выполните восемь взвешиваний в соответствии со следующим графиком — матрицей взвешивания :

${\displaystyle {\begin{array}{lcc}&{\text{left pan}}&{\text{right pan}}\\\hline {\text{1st weighing:}}&1\ 2\ 3\ 4\ 5\ 6\ 7\ 8&{\text{(empty)}}\\{\text{2nd:}}&1\ 2\ 3\ 8\ &4\ 5\ 6\ 7\\{\text{3rd:}}&1\ 4\ 5\ 8\ &2\ 3\ 6\ 7\\{\text{4th:}}&1\ 6\ 7\ 8\ &2\ 3\ 4\ 5\\{\text{5th:}}&2\ 4\ 6\ 8\ &1\ 3\ 5\ 7\\{\text{6th:}}&2\ 5\ 7\ 8\ &1\ 3\ 4\ 6\\{\text{7th:}}&3\ 4\ 7\ 8\ &1\ 2\ 5\ 6\\{\text{8th:}}&3\ 5\ 6\ 8\ &1\ 2\ 4\ 7\end{array}}}$

Пусть Y _i — измеренная разность для i = 1,..., 8. Тогда оценочное значение веса θ ₁ равно

${\displaystyle {\widehat {\theta }}_{1}={\frac {Y_{1}+Y_{2}+Y_{3}+Y_{4}-Y_{5}-Y_{6}-Y_{7}-Y_{8}}{8}}.}$

Аналогичные оценки можно найти и для веса других предметов:

${\displaystyle {\begin{aligned}{\widehat {\theta }}_{2}&={\frac {Y_{1}+Y_{2}-Y_{3}-Y_{4}+Y_{5}+Y_{6}-Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{3}&={\frac {Y_{1}+Y_{2}-Y_{3}-Y_{4}-Y_{5}-Y_{6}+Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{4}&={\frac {Y_{1}-Y_{2}+Y_{3}-Y_{4}+Y_{5}-Y_{6}+Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{5}&={\frac {Y_{1}-Y_{2}+Y_{3}-Y_{4}-Y_{5}+Y_{6}-Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{6}&={\frac {Y_{1}-Y_{2}-Y_{3}+Y_{4}+Y_{5}-Y_{6}-Y_{7}+Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{7}&={\frac {Y_{1}-Y_{2}-Y_{3}+Y_{4}-Y_{5}+Y_{6}+Y_{7}-Y_{8}}{8}}.\\[5pt]{\widehat {\theta }}_{8}&={\frac {Y_{1}+Y_{2}+Y_{3}+Y_{4}+Y_{5}+Y_{6}+Y_{7}+Y_{8}}{8}}.\end{aligned}}}$

Вопрос планирования эксперимента заключается в следующем: какой эксперимент лучше?

Дисперсия оценки X ₁ θ ₁ равна σ ² , если мы используем первый эксперимент. Но если воспользоваться вторым экспериментом, то дисперсия приведенной выше оценки составит σ ² /8. Таким образом, второй эксперимент дает нам в 8 раз большую точность оценки одного элемента и оценивает все элементы одновременно с одинаковой точностью. То, что достигается во втором эксперименте с восемью предметами, потребует 64 взвешиваний, если предметы взвешиваются отдельно. Однако обратите внимание, что оценки предметов, полученные во втором эксперименте, имеют ошибки, коррелирующие друг с другом.

Многие проблемы планирования экспериментов связаны с комбинаторными планами , как в этом примере и других. ^[23]

Как избежать ложных срабатываний

Ложноположительные выводы, часто возникающие в результате давления с целью публикации или предвзятости автора в подтверждении , представляют собой неотъемлемую опасность во многих областях. ^[24]

Использование двойного слепого дизайна может предотвратить систематические ошибки , которые могут привести к ложноположительным результатам на этапе сбора данных . При использовании двойного слепого метода участников случайным образом распределяют по экспериментальным группам, но исследователь не знает, какие участники к какой группе принадлежат. Следовательно, исследователь не может повлиять на реакцию участников на вмешательство. ^[25]

Экспериментальные проекты с нераскрытыми степенями свободы ^{[ жаргон ]} представляют собой проблему, ^[26] поскольку они могут привести к сознательному или бессознательному « п-хакингу »: попыткам выполнения нескольких задач до тех пор, пока не будет получен желаемый результат. Обычно это включает в себя манипулирование – возможно, неосознанное – процессом статистического анализа и степенями свободы до тех пор, пока они не дадут цифру ниже уровня статистической значимости p<0,05 . ^{[27] [28]}

P-хакинг можно предотвратить путем предварительной регистрации исследований, при которой исследователи должны отправить свой план анализа данных в журнал, в котором они хотят опубликовать свою статью, еще до того, как они начнут сбор данных, поэтому никакие манипуляции с данными невозможны. ^{[29] [30]}

Другой способ предотвратить это — использовать двойной слепой дизайн на этапе анализа данных, сделав исследование тройным слепым, когда данные отправляются аналитику данных, не имеющему отношения к исследованию, который шифрует данные, чтобы не было возможности чтобы знать, к каким участникам принадлежат, прежде чем они потенциально будут исключены как выбросы. ^[25]

Четкая и полная документация экспериментальной методологии также важна для поддержки воспроизведения результатов . ^[31]

Темы для обсуждения при постановке экспериментальной конструкции

План эксперимента или рандомизированное клиническое исследование требует тщательного рассмотрения нескольких факторов перед фактическим проведением эксперимента. ^[32] План эксперимента – это составление подробного плана эксперимента перед его проведением. Некоторые из следующих тем уже обсуждались в разделе «Принципы планирования эксперимента»:

1. Сколько факторов имеет проект, и являются ли уровни этих факторов фиксированными или случайными?
2. Нужны ли условия контроля и какими они должны быть?
3. Проверка манипуляции: действительно ли манипуляция сработала?
4. Каковы фоновые переменные?
5. Каков размер выборки? Сколько единиц необходимо собрать, чтобы эксперимент был обобщаемым и имел достаточную мощность ?
6. Какова значимость взаимодействия между факторами?
7. Каково влияние отсроченных эффектов существенных факторов на результаты?
8. Как изменения в ответах влияют на показатели самоотчета?
9. Насколько осуществимо повторное использование одних и тех же измерительных приборов в одних и тех же учреждениях в разное время с проведением послетестовых и последующих тестов?
10. А как насчет использования предварительного тестирования прокси?
11. Есть ли скрытые переменные ?
12. Должен ли клиент/пациент, исследователь или даже аналитик данных быть слеп к условиям?
13. Какова целесообразность последующего применения разных условий к одним и тем же единицам?
14. Сколько факторов управления и шума следует учитывать?

Независимая переменная исследования часто имеет много уровней или разные группы. В настоящем эксперименте исследователи могут иметь экспериментальную группу, в которой реализуется их интервенционная проверка гипотезы, и контрольную группу, которая имеет все те же элементы, что и экспериментальная группа, но без интервенционного элемента. Таким образом, если все остальное, за исключением одного вмешательства, остается неизменным, исследователи могут с некоторой уверенностью подтвердить, что именно этот элемент и вызвал наблюдаемое изменение. В некоторых случаях наличие контрольной группы неэтично. Иногда эту проблему решают с использованием двух разных экспериментальных групп. В некоторых случаях независимыми переменными невозможно манипулировать, например, при проверке разницы между двумя группами, страдающими разными заболеваниями, или при проверке разницы между полами (очевидно, это переменные, к которым было бы сложно или неэтично отнести участников). В таких случаях можно использовать квазиэкспериментальный план.

Причинно-следственные связи

В чистом плане эксперимента исследователь манипулирует независимой (прогностической) переменной, то есть каждый участник исследования выбирается случайным образом из совокупности, и каждому выбранному участнику случайным образом назначаются условия независимой переменной. Только когда это будет сделано, можно с высокой вероятностью подтвердить, что причина различий в результирующих переменных вызвана разными условиями. Поэтому исследователям следует, когда это возможно, отдавать предпочтение экспериментальному плану перед другими типами планов. Однако природа независимой переменной не всегда позволяет манипулировать ею. В таких случаях исследователи должны помнить о том, что нельзя подтверждать причинную атрибуцию, если ее конструкция не позволяет этого. Например, в планах наблюдения участники не распределяются по условиям случайным образом, и поэтому, если есть различия, обнаруженные в переменных результата между условиями, вполне вероятно, что существует что-то иное, чем различия между условиями, что вызывает различия в результатах, что is – третья переменная. То же самое касается исследований с корреляционным дизайном (Adér & Mellenbergh, 2008).

Статистический контроль

Лучше всего, чтобы процесс находился под разумным статистическим контролем до проведения запланированных экспериментов. Когда это невозможно, правильное блокирование, репликация и рандомизация позволяют тщательно провести запланированные эксперименты. ^[33] Чтобы контролировать неприятные переменные, исследователи в качестве дополнительных мер вводят контрольные проверки . Исследователи должны гарантировать, что неконтролируемые воздействия (например, восприятие достоверности источника) не искажают результаты исследования. Проверка манипуляции является одним из примеров контрольной проверки. Проверки манипулирования позволяют исследователям изолировать основные переменные, чтобы усилить подтверждение того, что эти переменные работают по плану.

Одним из наиболее важных требований к планированию экспериментальных исследований является необходимость устранения влияния ложных , промежуточных и предшествующих переменных . В самой базовой модели причина (X) приводит к следствию (Y). Но может быть третья переменная (Z), которая влияет на (Y), а X может вообще не быть истинной причиной. Говорят, что Z является ложной переменной и ее необходимо контролировать. То же самое верно для промежуточных переменных (переменная между предполагаемой причиной (X) и следствием (Y)), а также предшествующих переменных (переменная, предшествующая предполагаемой причине (X), которая является истинной причиной). Когда задействована третья переменная, но она не контролируется, отношение называется отношением нулевого порядка. В большинстве практических применений экспериментальных исследований существует несколько причин (X1, X2, X3). В большинстве проектов одновременно манипулируют только одной из этих причин.

Экспериментальные разработки по Фишеру

Некоторые эффективные схемы оценки нескольких основных эффектов были независимо друг от друга и практически последовательно найдены Раджем Чандрой Босом и К. Кишеном в 1940 году в Индийском статистическом институте , но оставались малоизвестными до тех пор, пока схемы Плакетта-Бермана не были опубликованы в журнале «Биометрика» в 1946 году. В то же время Ч.Р. Рао представил концепцию ортогональных массивов в качестве экспериментального проекта. Эта концепция сыграла центральную роль в разработке методов Тагучи Геничи Тагучи , которая произошла во время его визита в Индийский статистический институт в начале 1950-х годов. Его методы были успешно применены и приняты промышленными предприятиями Японии и Индии, а впоследствии, хотя и с некоторыми оговорками, были приняты промышленностью США.

В 1950 году Гертруда Мэри Кокс и Уильям Джеммел Кокран опубликовали книгу «Экспериментальные планы», которая на долгие годы стала основным справочником по планированию экспериментов для статистиков.

Развитие теории линейных моделей охватило и превзошло те случаи, которые касались ранних авторов. Сегодня теория опирается на продвинутые темы линейной алгебры , алгебры и комбинаторики .

Как и в других областях статистики, при планировании эксперимента используются как частотный, так и байесовский подходы: при оценке статистических процедур, таких как планы экспериментов, частотная статистика изучает распределение выборки , в то время как байесовская статистика обновляет распределение вероятностей в пространстве параметров.

Некоторыми важными специалистами в области экспериментальных планов являются К.С. Пирс , Р.А. Фишер , Ф. Йейтс , Р.К. Бозе , А.С. Аткинсон , Р.А. Бэйли , Д.Р. Кокс , Дж.П. Бокс , У.Г. Кокран , У.Т. Федерер, В.В. Федоров, А.С. Хедаят, Дж. Кифер. , О. Кемпторн , Дж. А. Нелдер , Андрей Пазман, Фридрих Пукельсхайм, Д. Рагхаварао , Ч.Р. Рао , Шриханде С.С. , Дж. Н. Шривастава , Уильям Дж. Стадден, Г. Тагучи и Х. П. Винн. ^[34]

Учебники Д. Монтгомери, Р. Майерса и Г. Бокса/У. Hunter/JS Hunter охватили несколько поколений студентов и практиков.^{[35] [36] [37] [38] [39]}

Некоторое обсуждение планирования эксперимента в контексте идентификации системы (построение статических или динамических моделей) приведено в ^[40] и. ^[41]

Ограничения участия человека

Законы и этические соображения исключают проведение некоторых тщательно спланированных экспериментов на людях. Правовые ограничения зависят от юрисдикции . Ограничения могут включать институциональные наблюдательные комиссии , информированное согласие и конфиденциальность , затрагивающие как клинические (медицинские) испытания, так и поведенческие и социальные эксперименты. ^[42] Например, в области токсикологии эксперименты проводятся на лабораторных животных с целью определения безопасных пределов воздействия для человека . ^[43] Уравновешивающими ограничениями являются взгляды из области медицины. ^[44] Что касается рандомизации пациентов, «...если никто не знает, какая терапия лучше, нет этического императива использовать ту или иную терапию». (стр. 380) Что касается планирования эксперимента, «... явно неэтично подвергать испытуемых риску сбора данных в плохо спланированном исследовании, когда этой ситуации можно легко избежать...». (с. 393)

Смотрите также

• Состязательное сотрудничество
• Байесовский экспериментальный план
• Блочный дизайн
• Дизайн коробки – Бенкена
• Центральная композитная конструкция
• Клиническое исследование
• Дизайн клинического исследования
• Компьютерный эксперимент
• Управляющая переменная
• Управление переменной
• Экспериметрика ( эксперименты, связанные с эконометрикой )
• Факторный анализ
• Дробный факторный дизайн
• Глоссарий экспериментального дизайна
• Модель серого ящика
• Промышленная инженерия
• Эффект инструмента
• Закон больших чисел
• Проверки манипуляций
• Программное обеспечение для многофакторного проектирования экспериментов
• Однофакторный метод
• Оптимальный дизайн
• Дизайн Плакетта – Бермана
• Вероятностный дизайн
• Протокол (естественные науки)
• Квазиэкспериментальный дизайн
• Рандомизированный дизайн блоков
• Рандомизированное контролируемое исследование
• Дизайн исследования
• Надежная конструкция параметров
• Определение размера выборки
• Перенасыщенный дизайн
• Королевская комиссия по животному магнетизму
• Выборка опроса
• Идентификация системы
• Методы Тагучи

Рекомендации

1. «Последовательный характер классического планирования экспериментов | Призма» . prismtc.co.uk . Проверено 10 марта 2023 г.
2. Пирс, Чарльз Сандерс (1887). «Иллюстрации логики науки». Открытый суд (10 июня 2014 г.). ISBN 0812698495 . 
3. Пирс, Чарльз Сандерс (1883). «Теория вероятного вывода». В К.С. Пирсе (ред.), Исследования по логике, проведенные сотрудниками Университета Джонса Хопкинса (стр. 126–181). Литтл, Браун и компания (1883)
4. Стиглер, Стивен М. (1978). «Математическая статистика в ранних государствах». Анналы статистики . 6 (2): 239–65 [248]. дои : 10.1214/aos/1176344123 . JSTOR  2958876. MR  0483118. Действительно, работа Пирса содержит одно из первых явных подтверждений математической рандомизации как основы для выводов, о которой мне известно (Peirce, 1957, стр. 216–219).
5. Пирс, Чарльз Сандерс ; Ястроу, Джозеф (1885). «О малых различиях в ощущениях». Мемуары Национальной академии наук . 3 : 73–83.
6. Хакинга , Ян (сентябрь 1988 г.). «Телепатия: истоки рандомизации в экспериментальном дизайне». Исида . 79 (3): 427–451. дои : 10.1086/354775. JSTOR  234674. MR  1013489. S2CID  52201011.
7. Стивен М. Стиглер (ноябрь 1992 г.). «Исторический взгляд на статистические концепции в психологии и исследованиях в области образования». Американский журнал образования . 101 (1): 60–70. дои : 10.1086/444032. JSTOR  1085417. S2CID  143685203.
8. Труди Деуэ (декабрь 1997 г.). «Обман, эффективность и случайные группы: психология и постепенное возникновение конструкции случайных групп». Исида . 88 (4): 653–673. дои : 10.1086/383850. PMID  9519574. S2CID  23526321.
9. Пирс, CS (1876). «Записка по теории экономики исследований». Отчет берегового обследования : 197–201., фактически опубликовано в 1879 году, NOAA PDF Eprint. Архивировано 2 марта 2017 года в Wayback Machine .
   Перепечатано в Сборнике статей 7 , параграфы 139–157, а также в Писаниях 4 , стр. 72–78 и в Пирсе, CS (июль – август 1967 г.). «Записка по теории экономики исследований». Исследование операций . 15 (4): 643–648. дои : 10.1287/опре.15.4.643. JSTOR  168276.
10. Гутторп, П.; Линдгрен, Г. (2009). «Карл Пирсон и скандинавская школа статистики». Международный статистический обзор . 77:64 . CiteSeerX 10.1.1.368.8328 . дои : 10.1111/j.1751-5823.2009.00069.x. S2CID  121294724. 
11. Смит, Кирстин (1918). «О стандартных отклонениях скорректированных и интерполированных значений наблюдаемой полиномиальной функции и ее констант, а также о рекомендациях, которые они дают для правильного выбора распределения наблюдений». Биометрика . 12 (1–2): 1–85. дои : 10.1093/biomet/12.1-2.1.
12. Джонсон, Нидерланды (1961). «Последовательный анализ: опрос». Журнал Королевского статистического общества , серия A. Vol. 124 (3), 372–411. (страницы 375–376)
13. Уолд, А. (1945) «Последовательные проверки статистических гипотез», Анналы математической статистики , 16 (2), 117–186.
14. Герман Чернофф , Последовательный анализ и оптимальное проектирование , Монография SIAM , 1972.
15. Закс, С. (1996) «Адаптивные проекты для параметрических моделей». В: Гош С. и Рао ЧР (ред.) (1996). «Планирование и анализ экспериментов», Статистический справочник , том 13. Северная Голландия. ISBN 0-444-82061-2 . (стр. 151–180) 
16. Роббинс, Х. (1952). «Некоторые аспекты последовательного планирования экспериментов». Бюллетень Американского математического общества . 58 (5): 527–535. дои : 10.1090/S0002-9904-1952-09620-8 .
17. Миллер, Джеффри (2000). Брачный разум: как сексуальный выбор повлиял на эволюцию человеческой природы , Лондон: Heineman, ISBN 0-434-00741-2 (также Doubleday, ISBN 0-385-49516-1 ). «Для биологов он был архитектором современный синтез", который использовал математические модели для интеграции менделевской генетики с теориями отбора Дарвина. Для психологов Фишер был изобретателем различных статистических тестов, которые до сих пор должны использоваться, когда это возможно, в психологических журналах. Для фермеров Фишер был основателем экспериментального сельскохозяйственного метода. исследования, спасающие миллионы людей от голода посредством программ рационального селекции сельскохозяйственных культур». стр.54.  
18. Кресвелл, JW (2008), Образовательные исследования: планирование, проведение и оценка количественных и качественных исследований (3-е издание) , Аппер-Сэддл-Ривер, Нью-Джерси: Прентис-Холл. 2008, с. 300. ISBN 0-13-613550-1 . 
19. Доктор Хани (2009). «Исследование репликации». Архивировано из оригинала 2 июня 2012 года . Проверено 27 октября 2011 г.
20. Берман, Леонард Э.; Роберт В. Рид; Джеймс Алм (2010), «Призыв к повторным исследованиям», Public Finance Review , 38 (6): 787–793, doi : 10.1177/1091142110385210, S2CID  27838472 , получено 27 октября 2011 г.
21. Хотеллинг, Гарольд (1944). «Некоторые улучшения в взвешивании и других экспериментальных методах». Анналы математической статистики . 15 (3): 297–306. дои : 10.1214/aoms/1177731236 .
22. Гири, Нараян К.; Дас, Миннесота (1979). Планирование и анализ экспериментов. Нью-Йорк, штат Нью-Йорк: Уайли. стр. 350–359. ISBN 9780852269145.
23. Джек Сифри (8 декабря 2014 г.). «Как использовать планирование экспериментов для создания надежных проектов с высокой доходностью». youtube.com . Проверено 11 февраля 2015 г.
24. Форстмайер, Вольфганг; Вагенмейкерс, Эрик-Ян; Паркер, Тимоти Х. (23 ноября 2016 г.). «Обнаружение и предотвращение вероятных ложноположительных результатов – практическое руководство». Биологические обзоры . 92 (4): 1941–1968. дои : 10.1111/brv.12315 . ISSN  1464-7931. PMID  27879038. S2CID  26793416.
25. Давид, Шарун; Хандхар1, Парас Б. (17 июля 2023 г.). «Двойное слепое исследование». Издательство StatPearls . ПМИД  31536248.{{cite journal}}: CS1 maint: numeric names: authors list (link)
26. Симмонс, Джозеф; Лейф Нельсон; Ури Симонсон (ноябрь 2011 г.). «Ложноположительная психология: нераскрытая гибкость в сборе и анализе данных позволяет представить все что угодно как значимое». Психологическая наука . 22 (11): 1359–1366. дои : 10.1177/0956797611417632. ISSN  0956-7976. ПМИД  22006061.
27. «Наука, доверие и психология в кризисе». КПЛУ . 2 июня 2014 года. Архивировано из оригинала 14 июля 2014 года . Проверено 12 июня 2014 г.
28. «Почему статистически значимые исследования могут быть незначительными» . Тихоокеанский стандарт . 4 июня 2014 года . Проверено 12 июня 2014 г.
29. Носек, Брайан А.; Эберсол, Чарльз Р.; ДеХейвен, Александр К.; Меллор, Дэвид Т. (13 марта 2018 г.). «Революция предварительной регистрации». Труды Национальной академии наук . 115 (11): 2600–2606. Бибкод : 2018PNAS..115.2600N. дои : 10.1073/pnas.1708274114 . ISSN  0027-8424. ПМК 5856500 . ПМИД  29531091. 
30. «Предварительная регистрация исследований - что это такое, как вы это делаете и почему?». www.acf.hhs.gov . Проверено 29 августа 2023 г.
31. Крис Чемберс (10 июня 2014 г.). «Физическая зависть: есть ли в «точных» науках решение кризиса репликации в психологии?». theguardian.com . Проверено 12 июня 2014 г.
32. Адер, Мелленберг и Хэнд (2008) «Консультирование по методам исследования: спутник консультанта»
33. Бисгаард, С. (2008) «Должен ли процесс находиться под статистическим контролем перед проведением запланированных экспериментов?», Quality Engineering , ASQ, 20 (2), стр. 143–176
34. Гири, Нараян К.; Дас, Миннесота (1979). Планирование и анализ экспериментов. Нью-Йорк, штат Нью-Йорк: Уайли. стр. 53, 159, 264. ISBN. 9780852269145.
35. Монтгомери, Дуглас (2013). Планирование и анализ экспериментов (8-е изд.). Хобокен, Нью-Джерси: ISBN John Wiley & Sons, Inc. 9781118146927.
36. Уолпол, Рональд Э.; Майерс, Рэймонд Х.; Майерс, Шэрон Л.; Йе, Кейинг (2007). Вероятность и статистика для инженеров и ученых (8-е изд.). Река Аппер-Сэддл, Нью-Джерси: Пирсон Прентис Холл. ISBN 978-0131877115.
37. Майерс, Раймонд Х.; Монтгомери, Дуглас К.; Вининг, Дж. Джеффри; Робинсон, Тимоти Дж. (2010). Обобщенные линейные модели: с приложениями в технике и науке (2-е изд.). Хобокен, Нью-Джерси: Уайли. ISBN 978-0470454633.
38. Бокс, Джордж EP; Хантер, Уильям Г.; Хантер, Дж. Стюарт (1978). Статистика для экспериментаторов: введение в проектирование, анализ данных и построение моделей. Нью-Йорк: Уайли. ISBN 978-0-471-09315-2.
39. Бокс, Джордж EP; Хантер, Уильям Г.; Хантер, Дж. Стюарт (2005). Статистика для экспериментаторов: дизайн, инновации и открытия (2-е изд.). Хобокен, Нью-Джерси: Уайли. ISBN 978-0471718130.
40. Сполл, Дж. К. (2010). «Факторный дизайн для эффективного экспериментирования: создание информативных данных для идентификации системы». Журнал IEEE Control Systems . 30 (5): 38–53. дои : 10.1109/MCS.2010.937677. S2CID  45813198.
41. Пронцато, Л (2008). «Оптимальный план эксперимента и некоторые связанные с ним проблемы управления». Автоматика . 44 (2): 303–325. arXiv : 0802.4381 . doi :10.1016/j.automatica.2007.05.016. S2CID  1268930.
42. Мур, Дэвид С.; Нотц, Уильям И. (2006). Статистика: концепции и противоречия (6-е изд.). Нью-Йорк: WH Freeman. стр. Глава 7: Этика данных. ISBN 9780716786368.
43. Оттобони, М. Алиса (1991). Доза делает яд: простое руководство по токсикологии (2-е изд.). Нью-Йорк, штат Нью-Йорк: Ван Ностранд Рейнхольд. ISBN 978-0442006600.
44. Гланц, Стэнтон А. (1992). Букварь биостатистики (3-е изд.). ISBN 978-0-07-023511-3.

Источники

• Пирс, CS (1877–1878), «Иллюстрации логики науки» (серия), Popular Science Monthly , тт. 12–13. Соответствующие отдельные документы:
  • (Март 1878 г.), «Доктрина шансов», Popular Science Monthly , т. 12, мартовский выпуск, стр. 604–615. Интернет-архив Эпринт.
  • (апрель 1878 г.), «Вероятность индукции», Popular Science Monthly , т. 12, стр. 705–718. Интернет-архив Эпринт.
  • (июнь 1878 г.), «Порядок природы», Popular Science Monthly , т. 13, стр. 203–217. Интернет-архив Эпринт.
  • (август 1878 г.), «Дедукция, индукция и гипотеза», Popular Science Monthly , т. 13, стр. 470–482. Интернет-архив Эпринт.
  • (1883), «Теория вероятного вывода», Исследования по логике , стр. 126–181, Little, Brown and Company. (Перепечатано в 1983 г., издательство John Benjamins Publishing Company, ISBN 90-272-3271-7 ) 

Внешние ссылки

• Глава из «Справочника NIST/SEMATECH по инженерной статистике» в NIST.
• Проекты Бокса-Бенкена взяты из «Справочника NIST/SEMATECH по инженерной статистике» NIST .
• Подробные математические разработки наиболее распространенных DoE в онлайн-справке Opera Magistris v3.6, глава 15, раздел 7.4, ISBN 978-2-8399-0932-7 .