Воспроизводимость , тесно связанная с воспроизводимостью и повторяемостью , является основным принципом, лежащим в основе научного метода . Воспроизводимость результатов исследования означает, что результаты, полученные в ходе эксперимента , обсервационного исследования или статистического анализа набора данных, должны быть достигнуты снова с высокой степенью надежности при повторении исследования. Существуют разные виды репликации [1] , но обычно в исследованиях репликации участвуют разные исследователи, использующие одну и ту же методологию. Только после одной или нескольких таких успешных повторений результат следует признать научным знанием.
В более узком смысле воспроизводимость была введена в вычислительную науку : любые результаты должны быть документированы путем предоставления всех данных и кода таким образом, чтобы вычисления можно было выполнить снова с идентичными результатами.
В последние десятилетия растет беспокойство по поводу того, что многие опубликованные научные результаты не проходят тест на воспроизводимость, вызывая кризис воспроизводимости или репликации .
Первым, кто подчеркнул важность воспроизводимости в науке, был англо-ирландский химик Роберт Бойль в Англии в 17 веке. Воздушный насос Бойля был разработан для создания и исследования вакуума , что в то время было очень спорной концепцией. Действительно, такие выдающиеся философы, как Рене Декарт и Томас Гоббс, отрицали саму возможность существования вакуума. Историки науки Стивен Шапин и Саймон Шаффер в своей книге 1985 года «Левиафан и воздушный насос » описывают спор между Бойлем и Гоббсом, якобы о природе вакуума, как фундаментальный спор о том, как следует получать полезные знания. Бойль, пионер экспериментального метода , утверждал, что основы знания должны составлять экспериментально полученные факты, которые можно сделать правдоподобными для научного сообщества благодаря их воспроизводимости. Повторяя один и тот же эксперимент снова и снова, утверждал Бойль, появится уверенность в фактах.
Воздушный насос, который в 17 веке представлял собой сложный и дорогой в изготовлении аппарат, также привел к одному из первых задокументированных споров о воспроизводимости того или иного научного явления . В 1660-х годах голландский учёный Христиан Гюйгенс построил в Амстердаме собственный воздушный насос , первый за пределами непосредственного руководства Бойля и его тогдашнего помощника Роберта Гука . Гюйгенс сообщил об эффекте, который он назвал «аномальной взвесью», при котором вода, казалось, левитировала в стеклянной банке внутри его воздушного насоса (фактически подвешенной над воздушным пузырем), но Бойль и Гук не смогли воспроизвести это явление в своих собственных насосах. Как описывают Шапин и Шаффер, «стало ясно, что, если это явление не может быть получено в Англии с помощью одного из двух имеющихся насосов, тогда никто в Англии не примет заявления Гюйгенса или его компетентность в работе с насосом». Наконец Гюйгенс был приглашен в Англию в 1663 году, и под его личным руководством Гуку удалось воспроизвести аномальную взвесь воды. После этого Гюйгенс был избран иностранным членом Королевского общества . Однако Шапин и Шаффер также отмечают, что «осуществление репликации зависело от случайных суждений. Невозможно записать формулу, говорящую, когда репликация была достигнута, а когда нет». [2]
Философ науки Карл Поппер кратко заметил в своей знаменитой книге 1934 года «Логика научных открытий» , что «невоспроизводимые единичные явления не имеют никакого значения для науки». [3] Статистик Рональд Фишер написал в своей книге 1935 года «План экспериментов» , которая заложила основы современной научной практики проверки гипотез и статистической значимости , что «мы можем сказать, что явление экспериментально доказуемо, когда мы знаем, как проводить эксперименты» . эксперимент, который редко не даст нам статистически значимых результатов». [4] Такие утверждения выражают распространенную в современной науке догму о том, что воспроизводимость является необходимым условием (хотя и не обязательно достаточным ) для установления научного факта, а на практике — для установления научного авторитета в любой области знаний. Однако, как отмечали выше Шапин и Шаффер, эта догма недостаточно четко сформулирована в количественном отношении, например, в отношении статистической значимости, и поэтому явно не установлено, сколько раз должен быть воспроизведен факт, чтобы считаться воспроизводимым.
Воспроизводимость и повторяемость — это родственные термины, широко или условно синонимы воспроизводимости (например, среди широкой публики), но их часто полезно дифференцировать в более точных смыслах, как показано ниже.
В связи с воспроизводимостью экспериментальных или наблюдательных исследований естественным образом выделяются два основных этапа: когда в попытке добиться этого получаются новые данные, часто используется термин « воспроизводимость» , а новое исследование представляет собой повторение или повторение исходного. Получая те же результаты при повторном анализе набора данных исходного исследования с использованием тех же процедур, многие авторы используют термин воспроизводимость в узком, техническом смысле, исходя из его использования в вычислительных исследованиях. Повторяемость связана с повторением эксперимента в рамках одного и того же исследования одними и теми же исследователями. Воспроизводимость в первоначальном, широком смысле признается только в том случае, если репликация, выполненная независимой исследовательской группой, оказалась успешной.
К сожалению, термины «воспроизводимость» и «реплицируемость» иногда встречаются даже в научной литературе с обратным значением, [5] [6] , поскольку разные области исследований придерживаются собственных определений одних и тех же терминов.
В химии термины воспроизводимость и повторяемость используются с конкретным количественным значением. [7] В межлабораторных экспериментах концентрация или другое количество химического вещества измеряется повторно в разных лабораториях для оценки изменчивости результатов измерений. Тогда стандартное отклонение разницы между двумя значениями, полученными в одной лаборатории, называется повторяемостью. Стандартное отклонение разницы между двумя измерениями, проведенными в разных лабораториях, называется воспроизводимостью . [8] Эти меры связаны с более общей концепцией компонентов дисперсии в метрологии .
Термин «воспроизводимые исследования» относится к идее, согласно которой научные результаты должны быть документированы таким образом, чтобы их выводы были полностью прозрачными. Это требует подробного описания методов, используемых для получения данных [9] [10] , а также обеспечения легкого доступа к полному набору данных и коду для расчета результатов. [11] [12] [13] [14] [15] [16] Это важнейшая часть открытой науки .
Чтобы сделать любой исследовательский проект вычислительно воспроизводимым, общая практика предполагает, что все данные и файлы четко разделены, маркированы и документированы. Все операции должны быть полностью документированы и автоматизированы, насколько это возможно, избегая ручного вмешательства, где это возможно. Рабочий процесс должен быть спроектирован как последовательность более мелких шагов, которые объединены таким образом, чтобы промежуточные результаты одного шага напрямую использовались в качестве входных данных для следующего шага. Следует использовать контроль версий, поскольку он позволяет легко просматривать историю проекта и позволяет прозрачно документировать и отслеживать изменения.
Базовый рабочий процесс воспроизводимых исследований включает сбор, обработку и анализ данных. Сбор данных в первую очередь состоит из получения первичных данных из первоисточника, такого как опросы, полевые наблюдения, экспериментальные исследования, или получения данных из существующего источника. Обработка данных включает обработку и анализ необработанных данных, собранных на первом этапе, и включает ввод данных, манипулирование данными и фильтрацию и может выполняться с использованием программного обеспечения. Данные должны быть оцифрованы и подготовлены для анализа данных. Данные могут быть проанализированы с использованием программного обеспечения для интерпретации или визуализации статистических данных или данных для получения желаемых результатов исследования, таких как количественные результаты, включая рисунки и таблицы. Использование программного обеспечения и автоматизации повышает воспроизводимость методов исследования. [17]
Существуют системы, упрощающие такую документацию, например язык R Markdown [18] или блокнот Jupyter . [19] [20] [21] Open Science Framework предоставляет платформу и полезные инструменты для поддержки воспроизводимых исследований.
В психологии возобновились внутренние опасения по поводу невоспроизводимости результатов ( эмпирические результаты об успешности повторений см. в статье о кризисе воспроизводимости ). В исследовании 2006 года исследователи показали, что из 141 автора публикации эмпирических статей Американской психологической ассоциации (APA) 103 (73%) не предоставили свои данные в течение шестимесячного периода. [22] В последующем исследовании, опубликованном в 2015 году, было обнаружено, что 246 из 394 авторов статей в журналах APA, с которыми связались, не поделились своими данными по запросу (62%). [23] В статье 2012 года было предложено исследователям публиковать данные вместе со своими работами, и в качестве демонстрации был выпущен набор данных. [24] В 2017 году в статье, опубликованной в журнале Scientific Data , говорилось, что этого может быть недостаточно и что следует раскрыть весь контекст анализа. [25]
В экономике были высказаны опасения по поводу достоверности и надежности опубликованных исследований. В других науках воспроизводимость считается фундаментальной и часто является предпосылкой для публикации исследований, однако в экономических науках она не рассматривается как приоритет первостепенной важности. Большинство рецензируемых экономических журналов не принимают никаких существенных мер для обеспечения воспроизводимости публикуемых результатов, однако ведущие экономические журналы переходят к обязательному архивированию данных и кодов. [26] У исследователей мало или вообще нет стимулов делиться своими данными, и авторам придется нести расходы по компиляции данных в многоразовые формы. Экономические исследования часто не воспроизводимы, поскольку только часть журналов имеет адекватную политику раскрытия наборов данных и программного кода, а даже если и существует, авторы часто не соблюдают ее или издатели не соблюдают ее. Исследование 599 статей, опубликованных в 37 рецензируемых журналах, показало, что, хотя некоторые журналы достигли значительных показателей соответствия, значительная часть соблюдает требования лишь частично или не соблюдает их вообще. На уровне статьи средний уровень соблюдения требований составил 47,5%; а на уровне журнала средний уровень соблюдения требований составил 38% в диапазоне от 13% до 99%. [27]
Исследование 2018 года, опубликованное в журнале PLOS ONE, показало, что 14,4% выборки исследователей статистики общественного здравоохранения поделились своими данными или кодом, или и тем, и другим. [28]
В течение многих лет в медицинской литературе предпринимались инициативы по улучшению отчетности и, следовательно, воспроизводимости, начиная с инициативы CONSORT , которая сейчас является частью более широкой инициативы — сети EQUATOR . Эта группа недавно обратила свое внимание на то, как более качественная отчетность может сократить потери в исследованиях, [29] особенно в биомедицинских исследованиях.
Воспроизводимые исследования являются ключом к новым открытиям в фармакологии . За открытием фазы I последует воспроизводство фазы II по мере того, как лекарство будет развиваться в направлении коммерческого производства. За последние десятилетия успешность фазы II упала с 28% до 18%. Исследование 2011 года показало, что 65% медицинских исследований оказались противоречивыми при повторном тестировании, и только 6% оказались полностью воспроизводимыми. [30]
Хидэё Ногучи прославился тем, что правильно определил бактериальный возбудитель сифилиса , но также утверждал, что может культивировать этот возбудитель в своей лаборатории. Никто другой не смог добиться этого последнего результата. [31]
В марте 1989 года химики из Университета Юты Стэнли Понс и Мартин Флейшман сообщили о выделении избыточного тепла, которое можно объяснить только ядерным процессом (« холодный синтез »). Отчет был ошеломляющим, учитывая простоту оборудования: по существу это была электролитическая ячейка, содержащая тяжелую воду и палладиевый катод , который быстро поглощал дейтерий , образующийся в ходе электролиза. Средства массовой информации широко освещали эксперименты, и эта статья была на первых страницах многих газет по всему миру (см. « Наука за пресс-конференцией »). В течение следующих нескольких месяцев другие пытались повторить эксперимент, но безуспешно. [32]
Никола Тесла утверждал еще в 1899 году, что использовал ток высокой частоты для зажигания газонаполненных ламп на расстоянии более 25 миль (40 км) без использования проводов . В 1904 году он построил башню Уорденклиф на Лонг-Айленде , чтобы продемонстрировать способы передачи и получения энергии без подключения проводов. Установка так и не заработала на полную мощность и не была достроена из-за экономических проблем, поэтому никаких попыток воспроизвести его первый результат так и не было предпринято. [33]
Другие примеры, опровергающие первоначальное утверждение:
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка )(требуется подписка)