Метанаука (также известная как метаисследование ) — это использование научной методологии для изучения самой науки . Метанаука стремится повысить качество научных исследований, одновременно снижая неэффективность . Она также известна как «исследование исследований» и «наука о науке», поскольку использует методы исследования для изучения того, как проводятся исследования , и поиска мест, где можно внести улучшения. Метанаука касается всех областей исследований и была описана как « взгляд на науку с высоты птичьего полета ». [1] По словам Джона Иоаннидиса , «Наука — это лучшее, что случилось с людьми ... но мы можем сделать это лучше». [2]
В 1966 году в ранней мета-исследовательской работе были рассмотрены статистические методы 295 статей, опубликованных в десяти известных медицинских журналах. Было обнаружено, что «почти в 73% прочитанных отчетов ... выводы были сделаны, когда обоснование этих выводов было недействительным». Мета-исследования в последующие десятилетия обнаружили множество методологических недостатков, неэффективности и плохой практики в исследованиях во многих научных областях. Многие научные исследования не могли быть воспроизведены , особенно в медицине и гуманитарных науках . Термин « кризис репликации » был придуман в начале 2010-х годов как часть растущего осознания проблемы. [3]
Были приняты меры для решения проблем, выявленных метанаукой. Эти меры включают предварительную регистрацию научных исследований и клинических испытаний , а также создание организаций, таких как CONSORT и EQUATOR Network , которые выпускают руководящие принципы по методологии и отчетности. Продолжаются усилия по сокращению неправильного использования статистики , устранению порочных стимулов со стороны академических кругов, улучшению процесса рецензирования , систематическому сбору данных о системе научных публикаций, [4] борьбе с предвзятостью в научной литературе и повышению общего качества и эффективности научного процесса. Таким образом, метанаука является большой частью методов, лежащих в основе движения Open Science .
В 1966 году в ранней мета-исследовательской работе были рассмотрены статистические методы 295 статей, опубликованных в десяти известных медицинских журналах. Было обнаружено, что «почти в 73% прочитанных отчетов ... выводы были сделаны, когда обоснование этих выводов было недействительным». [6] В статье 1976 года содержался призыв к финансированию мета-исследований: «Поскольку сама природа исследований в области исследований, особенно если они перспективные, требует длительных периодов времени, мы рекомендуем создавать независимые, высококомпетентные группы с достаточной долгосрочной поддержкой для проведения и поддержки ретроспективных и перспективных исследований природы научных открытий». [7] В 2005 году Джон Иоаннидис опубликовал статью под названием « Почему большинство опубликованных результатов исследований ложны », в которой утверждалось, что большинство статей в области медицины приводят к неверным выводам. [5] Статья стала самой скачиваемой статьей в Публичной научной библиотеке [8] [9] и считается основополагающей для области метанауки. [10] В родственном исследовании с Джереми Хоуиком и Деспиной Колетси Иоаннидис показал, что только меньшинство медицинских вмешательств подкреплено доказательствами «высокого качества» в соответствии с подходом GRADE (The Grading of Recommendations Assessment, Development and Evaluation) . [11] Более поздние мета-исследования выявили широко распространенные трудности в воспроизведении результатов во многих научных областях, включая психологию и медицину . Эта проблема была названа « кризисом репликации ». Метанаука выросла как реакция на кризис репликации и на опасения по поводу отходов в исследованиях. [12]
Многие известные издатели заинтересованы в метаисследованиях и в улучшении качества своих публикаций. Ведущие журналы, такие как Science , The Lancet и Nature , постоянно освещают метаисследования и проблемы с воспроизводимостью. [13] В 2012 году PLOS ONE запустила Инициативу по воспроизводимости. В 2015 году Biomed Central представила контрольный список минимальных стандартов отчетности для четырех изданий.
Первой международной конференцией в широкой области метаисследований стала конференция Research Waste/ EQUATOR, состоявшаяся в Эдинбурге в 2015 году; первой международной конференцией по рецензированию стал Peer Review Congress, состоявшийся в 1989 году. [14] В 2016 году был запущен Research Integrity and Peer Review . Вступительная редакционная статья журнала призвала к «исследованиям, которые увеличат наше понимание и предложат потенциальные решения проблем, связанных с рецензированием, отчетностью об исследованиях, а также этикой исследований и публикаций». [15]
Метанауку можно разделить на пять основных областей интересов: Методы, Отчетность, Воспроизводимость, Оценка и Стимулы. Они соответствуют тому, как выполнять, сообщать, проверять, оценивать и вознаграждать исследования. [1]
Мета-наука стремится выявить плохие методы исследования, включая предвзятость в исследовании, плохой дизайн исследования, злоупотребление статистикой , а также найти методы для уменьшения этих методов. [1] Мета-исследования выявили многочисленные предвзятости в научной литературе. [16] Особо следует отметить широко распространенное неправильное использование p-значений и злоупотребление статистической значимостью . [17]
Научная наука о данных — это использование науки о данных для анализа исследовательских работ. Она охватывает как качественные , так и количественные методы. Исследования в области науки о данных включают обнаружение мошенничества [18] и анализ сетей цитирования . [19]
Журналистика, также известная как наука о публикациях, является научным изучением всех аспектов процесса академической публикации . [20] [21] Область стремится улучшить качество научных исследований путем внедрения основанных на доказательствах практик в академические публикации. [ 22] Термин «журналистика» был придуман Стивеном Локком , бывшим главным редактором BMJ . Первый Конгресс по рецензированию, состоявшийся в 1989 году в Чикаго , штат Иллинойс , считается поворотным моментом в основании журналистики как отдельной области. [22] Область журналистики оказала влияние на продвижение предварительной регистрации исследований в науке, особенно в клинических испытаниях . Регистрация клинических испытаний теперь ожидается в большинстве стран. [22]
Мета-исследования выявили плохие практики в отчетности, объяснении, распространении и популяризации исследований, особенно в социальных и медицинских науках. Плохая отчетность затрудняет точную интерпретацию результатов научных исследований, воспроизведение исследований и выявление предвзятости и конфликта интересов у авторов. Решения включают внедрение стандартов отчетности и большую прозрачность в научных исследованиях (включая лучшие требования к раскрытию конфликта интересов). Существует попытка стандартизировать отчетность данных и методологию путем создания руководящих принципов отчетными агентствами, такими как CONSORT и более крупная сеть EQUATOR . [1]
Кризис репликации — это продолжающийся методологический кризис, в ходе которого было обнаружено, что многие научные исследования трудно или невозможно воспроизвести . [23] [24] Хотя кризис берет свое начало в метаисследованиях середины и конца 20-го века, фраза «кризис репликации» не была придумана до начала 2010-х годов [25] как часть растущего осознания проблемы. [1] Кризис репликации тщательно изучался в психологии (особенно социальной психологии ) и медицине , [26] [27] включая исследования рака. [28] [29] Репликация является неотъемлемой частью научного процесса, и широко распространенная неудача репликации ставит под сомнение надежность затронутых областей. [30]
Более того, повторение исследования (или неудача в повторении) считается менее влиятельным, чем оригинальное исследование, и с меньшей вероятностью будет опубликовано во многих областях. Это препятствует публикации и даже попыткам повторения исследований. [31] [32]
Мета-наука стремится создать научную основу для рецензирования. Мета-исследование оценивает системы рецензирования , включая рецензирование до публикации , рецензирование после публикации и открытое рецензирование . Оно также стремится разработать лучшие критерии финансирования исследований. [1]
Метанаука стремится продвигать лучшие исследования с помощью лучших систем стимулирования. Это включает в себя изучение точности, эффективности, затрат и выгод различных подходов к ранжированию и оценке исследований и тех, кто их выполняет. [1] Критики утверждают, что порочные стимулы создали среду «опубликуй или умри» в академической среде, которая способствует производству мусорной науки , низкокачественных исследований и ложноположительных результатов . [33] [34] По словам Брайана Носека , «проблема, с которой мы сталкиваемся, заключается в том, что система стимулирования почти полностью сосредоточена на публикации исследований, а не на том, чтобы сделать исследования правильными». [35] Сторонники реформы стремятся структурировать систему стимулирования так, чтобы она благоприятствовала более качественным результатам. [36] Например, оценивая качество на основе экспертных оценок («а не [только или в основном] индексов»), институциональных критериев оценки, гарантий прозрачности и профессиональных стандартов. [37]
Исследования предложили машиночитаемые стандарты и (таксономию) значков для систем управления научными публикациями, которые фокусируются на вкладе — кто внес какой вклад и в каком объеме исследовательского труда — вместо использования традиционной концепции простого авторства — кто каким-либо образом был вовлечен в создание публикации. [38] [39] [40] [41] Исследование указало на одну из проблем, связанных с продолжающимся пренебрежением нюансами вклада — оно обнаружило, что «количество публикаций перестало быть хорошим показателем в результате более длинных списков авторов, более коротких статей и резкого увеличения числа публикаций». [42]
Факторы, не относящиеся к достоинствам заявки, могут существенно влиять на оценки рецензентов. [43] Однако такие факторы также могут быть важны, например, использование послужных списков о достоверности предыдущих публикаций исследователей и их соответствие общественным интересам. Тем не менее, системы оценки, включая системы рецензирования, могут в значительной степени не иметь механизмов и критериев, которые ориентированы или эффективно ориентированы на заслуги, реальное положительное влияние, прогресс и общественную полезность, а не на аналитические показатели, такие как количество цитирований или альтметрики, даже если они могут использоваться в качестве частичных показателей таких целей. [44] [45] Переосмысление структуры академического вознаграждения «для предоставления более формального признания промежуточных продуктов, таких как данные» может иметь положительные последствия и сократить сокрытие данных. [46]
В комментарии отмечено, что академические рейтинги не учитывают, где (страна и институт) обучались соответствующие исследователи. [47]
Наукометрия занимается измерением библиографических данных в научных публикациях. Основные исследовательские вопросы включают измерение влияния исследовательских работ и академических журналов, понимание научных цитат и использование таких измерений в контексте политики и управления. [48] Исследования показывают, что «показатели, используемые для измерения академического успеха, такие как количество публикаций, число цитирований и импакт-фактор, не менялись десятилетиями» и в некоторой степени «перестали» быть хорошими мерами, [42] что приводит к таким проблемам, как «перепроизводство, ненужная фрагментация, перепродажа, хищные журналы (плати и публикуй), умный плагиат и преднамеренное сокрытие научных результатов с целью продажи и перепродажи». [49]
Новые инструменты в этой области включают системы для количественной оценки того, насколько цитируемый узел информирует цитирующий узел. [50] Это может быть использовано для преобразования невзвешенных сетей цитирования во взвешенные, а затем для оценки важности , выводя «показатели воздействия для различных вовлеченных сущностей, таких как публикации, авторы и т. д.» [51], а также, среди прочих инструментов, для поисковых систем и рекомендательных систем .
Финансирование науки и управление наукой также могут быть изучены и проинформированы метанаукой. [52]
Различные вмешательства, такие как расстановка приоритетов, могут иметь важное значение.Например, концепция дифференциального технологического развития относится к преднамеренной разработке технологий — например, технологий контроля, безопасности и политики в сравнении с рискованными биотехнологиями — с разной скоростью предосторожности для снижения рисков, в основном глобального катастрофического риска , путем влияния на последовательность разработки технологий. [53] [54] Опора только на установленную форму законодательства и стимулов для обеспечения правильных результатов может быть недостаточной, поскольку они часто могут быть слишком медленными [55] или неподходящими.
Другие стимулы для управления наукой и связанными с ней процессами, в том числе посредством реформ, основанных на метанауке, могут включать обеспечение подотчетности перед общественностью (например, с точки зрения доступности исследований, особенно финансируемых государством, или их серьезного рассмотрения различных исследовательских тем, представляющих общественный интерес), увеличение квалифицированной производительной научной рабочей силы, повышение эффективности науки для улучшения решения проблем в целом и содействие тому, чтобы недвусмысленные общественные потребности, основанные на надежных научных данных, например, о физиологии человека, были адекватно расставлены по приоритетам и удовлетворены. Такие вмешательства, стимулы и проекты вмешательств могут быть предметом метанауки.
Научные награды являются одной из категорий научных стимулов. Метанаука может исследовать существующие и гипотетические системы научных наград. Например, было обнаружено, что работа, отмеченная Нобелевскими премиями, кластеризуется только в нескольких научных областях , и только 36/71 получили по крайней мере одну Нобелевскую премию из 114/849 областей науки, на которые можно разделить науку в соответствии с их системами классификации DC2 и DC3. Было показано, что пять из 114 областей составляют более половины Нобелевских премий, присужденных в 1995–2017 годах (физика элементарных частиц [14%], клеточная биология [12,1%], атомная физика [10,9%], нейронаука [10,1%], молекулярная химия [5,3%]). [57] [58]
Исследование показало, что делегирование ответственности политиками (централизованный подход сверху вниз, основанный на власти) за производство знаний и соответствующее финансирование науки, с последующей поставкой наукой «надежных и полезных знаний обществу» слишком просто. [52]
Измерения показывают, что распределение биомедицинских ресурсов может быть более тесно связано с предыдущим распределением и исследованиями, чем с бременем болезней . [59]
Исследование предполагает, что «[е]сли рецензирование сохраняется как основной механизм арбитража при конкурсном отборе исследовательских отчетов и финансирования, то научному сообществу необходимо убедиться, что оно не является произвольным» [43] .
Исследования показывают, что необходимо «пересмотреть то, как мы измеряем успех» (
). [42]Информация о финансировании из баз данных грантов и разделов подтверждения финансирования может быть источником данных для наукометрических исследований, например, для изучения или признания влияния финансирующих организаций на развитие науки и технологий. [60]
Утверждалось, что «наука имеет два фундаментальных атрибута, которые подкрепляют ее ценность как глобального общественного блага: что утверждения о знаниях и доказательства, на которых они основаны, открыто доступны для изучения, и что результаты научных исследований передаются быстро и эффективно». [61] Метанаучные исследования изучают такие темы научной коммуникации , как освещение науки в СМИ , научная журналистика и онлайн-передача результатов преподавателями науки и учеными. [62] [63] [64] [65] Исследование показало, что «главным стимулом, предлагаемым ученым для использования социальных сетей, является усиление» и что она должна «двигаться к институциональной культуре, которая больше фокусируется на том, как эти [или такие] платформы могут способствовать реальному взаимодействию с исследованиями». [66] Научная коммуникация может также включать в себя сообщение общественных потребностей, проблем и запросов ученым.
Альтернативные инструменты метрик могут использоваться не только для помощи в оценке (производительность и воздействие) [59] и находимости, но также объединяют многие публичные обсуждения научной статьи в социальных сетях, таких как reddit , цитаты в Wikipedia и отчеты об исследовании в новостных СМИ, которые затем могут быть проанализированы в метанауке или предоставлены и использованы связанными инструментами. [67] С точки зрения оценки и находимости, альтметрики оценивают производительность или воздействие публикаций по взаимодействиям, которые они получают через социальные сети или другие онлайн-платформы, [68] которые могут, например, использоваться для сортировки недавних исследований по измеренному воздействию, в том числе до того, как другие исследования будут ссылаться на них. Конкретные процедуры установленных альтметрик не являются прозрачными [68] , и используемые алгоритмы не могут быть настроены или изменены пользователем, как это может сделать программное обеспечение с открытым исходным кодом. Исследование описало различные ограничения альтметрик и указывает «на пути к продолжению исследований и разработок». [69] Они также ограничены в своем использовании в качестве основного инструмента для исследователей, чтобы найти полученную конструктивную обратную связь.
Было высказано предположение, что науке может быть полезно, если «интеллектуальный обмен — особенно в отношении социальных последствий и применения науки и технологий — будет лучше цениться и стимулироваться в будущем» [59] .
Первичные исследования «без контекста, сравнения или резюме в конечном итоге имеют ограниченную ценность», и различные типы [ необходимы дополнительные ссылки ] исследовательских синтезов и резюме интегрируют первичные исследования. [70] Прогресс в ключевых социально-экологических проблемах глобальной экологической повестки дня «затрудняется отсутствием интеграции и синтеза существующих научных доказательств», «быстро растущим объемом данных», разрозненной информацией и в целом нерешенными проблемами синтеза доказательств. [71] По словам Халила, исследователи сталкиваются с проблемой слишком большого количества статей — например, в марте 2014 года в arXiv было отправлено более 8000 статей — и чтобы «идти в ногу с огромным объемом литературы, исследователи используют программное обеспечение для управления ссылками, они делают резюме и заметки и полагаются на обзорные статьи, чтобы предоставить обзор определенной темы». Он отмечает, что обзорные статьи обычно (только) «для тем, по которым уже написано много статей, и они могут быстро устареть», и предлагает «вики-обзорные статьи», которые постоянно обновляются новыми исследованиями по теме, обобщают результаты многих исследований и предлагают будущие исследования. [72] Исследование предполагает, что если научная публикация цитируется в статье Википедии, это потенциально может рассматриваться как показатель некоторой формы влияния этой публикации, [68] например, поскольку это может со временем указывать на то, что ссылка способствовала высокому уровню резюме данной темы.
Научные журналисты играют важную роль в научной экосистеме и в научной коммуникации с общественностью и должны «знать, как использовать соответствующую информацию при принятии решения о том, доверять ли результатам исследования, а также сообщать ли о них и как это делать», проверяя результаты, которые передаются общественности. [73]
Некоторые исследования изучают научное образование , например, преподавание отдельных научных противоречий [74] и исторический процесс открытия основных научных выводов [75] и распространенные научные заблуждения [76] . Образование может также быть темой более общего характера, например, как улучшить качество научных результатов и сократить время, необходимое для научной работы, или как расширить и сохранить различные научные кадры.
Многие студенты имеют неправильные представления о том, что такое наука и как она работает. [77] Антинаучные взгляды и убеждения также являются предметом исследования. [78] [79] Хотез предполагает, что антинаука «стала доминирующей и крайне смертоносной силой, которая угрожает глобальной безопасности», и что существует необходимость в «новой инфраструктуре», которая смягчит ее. [80]
Метанаука может исследовать, как научные процессы развиваются с течением времени. Исследование показало, что команды растут в размерах, «увеличиваясь в среднем на 17% за десятилетие». [59] (
)Было обнаружено, что распространенные формы публикаций в закрытом доступе и цены, взимаемые за многие традиционные журналы — даже за статьи, финансируемые государством — являются необоснованными, ненужными — или неоптимальными — и пагубными барьерами для научного прогресса. [61] [83] [84] [85] Открытый доступ может сэкономить значительные суммы финансовых ресурсов, которые могли бы быть использованы в других целях, и уравнять условия игры для исследователей в развивающихся странах. [86] Существуют значительные расходы на подписку, получение доступа к определенным исследованиям и на сборы за обработку статей . Paywall: The Business of Scholarship — документальный фильм на эту тему. [87]
Еще одной темой являются устоявшиеся стили научной коммуникации (например, исследования и обзоры в форме длинных текстов) и практика научных публикаций — существуют опасения по поводу «медленного темпа» традиционных публикаций. [88] Использование серверов препринтов для ранней публикации черновиков исследований растет, а открытое рецензирование , [89] новые инструменты для отбора исследований, [90] и улучшенное сопоставление представленных рукописей с рецензентами [91] входят в число предложений по ускорению публикации.
Исследования имеют различные виды метаданных , которые могут быть использованы, дополнены и сделаны доступными полезными способами. OpenAlex — это бесплатный онлайн-индекс более 200 миллионов научных документов, который объединяет и предоставляет метаданные, такие как источники, цитаты , информацию об авторах , научные области и темы исследований . Его API и веб-сайт с открытым исходным кодом могут использоваться для метанауки, наукометрии и новых инструментов, которые запрашивают эту семантическую паутину статей . [93] [94] [95] Другой проект, находящийся в стадии разработки, Scholia, использует метаданные научных публикаций для различных визуализаций и функций агрегации, таких как предоставление простого пользовательского интерфейса, обобщающего литературу о конкретной особенности вируса SARS-CoV-2, используя свойство «главный субъект» Wikidata . [96]
Помимо метаданных, явно назначенных исследованиям людьми, обработка естественного языка и ИИ могут использоваться для назначения тем научным публикациям . В одном исследовании, посвященном изучению влияния научных наград, они использовались для связывания текста статьи (а не только ключевых слов) с лингвистическим содержанием страниц научных тем Википедии («страницы создаются и обновляются учеными и пользователями посредством краудсорсинга»), что позволяет создавать осмысленные и правдоподобные классификации высокоточных научных тем для дальнейшего анализа или навигации. [97]
Исследования метанауки изучают рост науки в целом, используя, например, данные о количестве публикаций в библиографических базах данных . Исследование показало, что сегменты с разными темпами роста, по-видимому, связаны с фазами «экономики (например, индустриализация)» — деньги считаются необходимым вкладом в научную систему — «и/или политическими событиями (например, Вторая мировая война)». Оно также подтвердило недавний экспоненциальный рост объема научной литературы и вычислило средний период удвоения в 17,3 года. [99]
Однако другие отметили, что научный прогресс трудно измерить осмысленными способами, отчасти потому, что трудно точно оценить, насколько важно то или иное научное открытие. Различные точки зрения на траектории науки в целом (влияние, количество крупных открытий и т. д.) были описаны в книгах и статьях, включая то, что наука становится все сложнее (за каждый потраченный доллар или час), что если наука «замедляется сегодня, то это потому, что наука слишком сосредоточена на устоявшихся областях», что статьи и патенты все меньше и меньше склонны быть «подрывными» с точки зрения разрыва с прошлым, как измеряется «индексом CD» [81] , и что существует большая стагнация — возможно, как часть более широкой тенденции [100] — когда, например, «все почти не изменилось с 1970-х годов», если исключить компьютер и Интернет.
Лучшее понимание потенциальных замедлений в соответствии с некоторыми мерами может стать важной возможностью для улучшения будущего человечества. [101] Например, акцент на цитировании при измерении научной производительности, информационные перегрузки, [100] опора на более узкий набор существующих знаний (который может включать узкую специализацию и связанные с ними современные практики) на основе трех показателей «использования предыдущих знаний» [ 81] и структуры финансирования, избегающие риска [102], могут иметь «направление к инкрементальной науке и отход от исследовательских проектов, которые с большей вероятностью потерпят неудачу». [103] Исследование, в котором был представлен «индекс CD», предполагает, что общее количество статей возросло, в то время как общее количество «крайне разрушительных» статей, измеряемых индексом, не возросло (в частности, открытие 1998 года ускоряющегося расширения Вселенной имеет индекс CD, равный 0). Их результаты также предполагают, что ученые и изобретатели «могут изо всех сил пытаться идти в ногу с темпами расширения знаний». [104] [81]
Различные способы измерения «новизны» исследований, метрики новизны [103] были предложены для того, чтобы сбалансировать потенциальную предвзятость против новизны – например, текстовый анализ [103] или измерение того, создает ли он впервые комбинации ссылочных журналов, принимая во внимание сложность. [105] Другие подходы включают в себя активное финансирование рискованных проектов. [59]
Карты науки могут показывать основные взаимосвязанные темы в рамках определенной научной области, их изменение с течением времени и их ключевых участников (исследователей, институты, журналы). Они могут помочь найти факторы, определяющие появление новых научных областей и развитие междисциплинарных областей, и могут быть актуальны для целей научной политики. [106] Теории научных изменений могут направлять «исследование и интерпретацию визуализированных интеллектуальных структур и динамических моделей». [107] Карты могут показывать интеллектуальную, социальную или концептуальную структуру области исследований. [108] Помимо визуальных карт, исследования, основанные на экспертных опросах , и аналогичные подходы могут выявлять недостаточно изученные или игнорируемые общественно важные области, проблемы на уровне темы (такие как стигма или догма) или потенциальные неправильные приоритеты. [ необходимы дополнительные ссылки ] Примерами таких исследований являются исследования политики в отношении общественного здравоохранения [109] и социальной науки о смягчении последствий изменения климата [110] , где, по оценкам , только 0,12% всего финансирования исследований, связанных с климатом, тратится на это, несмотря на то, что самой неотложной задачей на данном этапе является разработка способов смягчения последствий изменения климата, в то время как естественная наука об изменении климата уже хорошо известна. [110]
Существуют также исследования, которые отображают научную область или тему, например, изучение использования научных данных в политике и практике , частично с использованием опросов . [111]
Некоторые исследования изучают научные противоречия или разногласия и могут выявить текущие основные дебаты (например, открытые вопросы) и разногласия между учеными или исследованиями. [ необходимы дополнительные ссылки ] Одно исследование предполагает, что уровень разногласий был самым высоким в социальных и гуманитарных науках (0,61%), за которыми следуют биомедицинские и медицинские науки (0,41%), науки о жизни и Земле (0,29%); физические науки и инженерия (0,15%), а также математика и компьютерные науки (0,06%). [112] Такие исследования также могут показать, где находятся разногласия, особенно если они группируются, в том числе визуально, например, с помощью диаграмм кластеров.
Исследования по конкретному исследовательскому вопросу или теме исследования часто рассматриваются в форме обзоров более высокого уровня, в которых результаты различных исследований интегрируются, сравниваются, критически анализируются и интерпретируются. Примерами таких работ являются научные обзоры и метаанализы . Эти и связанные с ними практики сталкиваются с различными проблемами и являются предметом метанауки.
Различные проблемы с включенными или доступными исследованиями, такие как, например, неоднородность используемых методов, могут привести к ошибочным выводам метаанализа. [113]
Различные проблемы требуют быстрой интеграции новых и существующих научных знаний. Особенно в условиях, когда существует большое количество слабо связанных проектов и инициатив, выгода от общей почвы или «общего достояния». [96]
Синтез доказательств может быть применен к важным и, в частности, как относительно срочным, так и определенным глобальным проблемам : « изменение климата , энергетические переходы, потеря биоразнообразия, устойчивость к противомикробным препаратам , искоренение нищеты и т. д.». Было высказано предположение, что лучшая система будет обновлять резюме исследовательских доказательств с помощью живых систематических обзоров – например, как живые документы . В то время как количество научных статей и данных (или информации и онлайн-знаний) существенно возросло , [ необходимы дополнительные ссылки ] количество опубликованных академических систематических обзоров возросло с «примерно 6000 в 2011 году до более чем 45000 в 2021 году». [114] Подход , основанный на доказательствах , важен для прогресса в науке, политике , медицине и других практиках. Например, метаанализы могут количественно оценить то, что известно, и определить то, что еще неизвестно [70] и поместить «действительно инновационные и высоко междисциплинарные идеи» в контекст устоявшихся знаний, что может усилить их воздействие. [59]
Была выдвинута гипотеза, что более глубокое понимание факторов, лежащих в основе успеха науки, может «улучшить перспективы науки в целом для более эффективного решения общественных проблем» [59] .
Два метаученых сообщили, что «структуры, способствующие прорывной научной деятельности и фокусирующие внимание на новых идеях », могут быть важны, поскольку в растущей научной области потоки цитирования непропорционально консолидируются в уже хорошо цитируемых работах, возможно, замедляя и препятствуя каноническому прогрессу . [115] [116] Исследование пришло к выводу, что для усиления влияния действительно инновационных и в высшей степени междисциплинарных новых идей их следует поместить в контекст устоявшихся знаний. [59]
Другие исследователи сообщили, что наиболее успешные — с точки зрения «вероятности получения награды , вступления в Национальную академию наук (NAS) или статуса суперзвезды» — подопечные учились у наставников , которые опубликовали исследование , за которое они получили премию после наставничества подопечных. Изучение оригинальных тем, а не исследовательских тем этих наставников, также было положительно связано с успехом. [117] [118] Высокопродуктивные партнерства также являются темой исследования — например, «суперсвязи» частого соавторства двух людей, которые могут дополнять навыки, вероятно, также являются результатом других факторов, таких как взаимное доверие, убежденность, приверженность и веселье. [119] [59]
Возникновение или происхождение идей успешными учеными также является темой исследования, например, рассмотрение существующих идей о том, как Мендель сделал свои открытия , [120] – или, в более общем плане, процесс открытия учеными. Наука – это «многогранный процесс присвоения, копирования , расширения или объединения идей и изобретений » [и других типов знаний или информации], а не изолированный процесс. [59] Также есть несколько исследований, изучающих привычки ученых, общие способы мышления, привычки чтения, использование источников информации, навыки цифровой грамотности и рабочие процессы . [121] [122] [123] [124] [125]
Исследование выдвинуло теорию, что во многих дисциплинах большую научную производительность или успех элитных университетов можно объяснить их большим пулом доступных финансируемых работников. [126] [127] Исследование показало, что престиж университета был связан только с более высокой производительностью для преподавателей с членами группы, а не только для публикаций преподавателей или самих членов группы. Это представлено как доказательство того, что чрезмерная производительность элитных исследователей обусловлена не более строгим отбором талантов ведущими университетами, а трудовыми преимуществами, полученными за счет большего доступа к финансированию и привлекательности для аспирантов и постдокторантов.
Успех в науке (как указано в процессах обзора пожизненного контракта) часто измеряется с точки зрения таких показателей, как цитирование, а не с точки зрения возможного или потенциального влияния на жизнь и общество, [128] как это иногда делают награды обзоры заменяют цитирования основных исследований. [70] Существуют также предложения по внесению изменений в академические системы стимулирования, которые повышают признание общественного влияния в исследовательском процессе. [129]
. Проблемы с такими показателями в общих чертах изложены в другом месте этой статьи и включают то, чтоПредлагаемая область «Исследования прогресса» могла бы исследовать, как должны действовать ученые (или спонсоры или оценщики ученых), «выясняя вмешательства» и изучая сам прогресс . [130] Область была явно предложена в эссе 2019 года и описана как прикладная наука , которая предписывает действия. [131]
Исследование предполагает, что улучшение способа ведения науки может ускорить темпы научных открытий и их применения, что может быть полезно для поиска неотложных решений проблем человечества, улучшения условий жизни человечества и углубления понимания природы. Метанаучные исследования могут стремиться выявить аспекты науки, которые нуждаются в улучшении, и разработать способы их улучшения. [72] Если наука будет принята как фундаментальный двигатель экономического роста и социального прогресса, это может поднять «вопрос о том, что мы — как общество — можем сделать для ускорения науки и направить ее на решение важнейших проблем общества». [132] Однако один из авторов пояснил, что подход «один размер подходит всем» не считается правильным ответом — например, в финансировании, моделях DARPA, методах, основанных на любопытстве, позволяющих «одному рецензенту отстаивать проект, даже если его или ее коллеги не согласны», и различных других подходах все они имеют свое применение. Тем не менее, их оценка может помочь сформировать знания о том, что работает или работает лучше всего. [102]
Мета-исследование, выявляющее недостатки в научной практике, вдохновило реформы в науке. Эти реформы направлены на решение и исправление проблем в научной практике, которые приводят к низкокачественным или неэффективным исследованиям.
В исследовании 2015 года перечислены «фрагментированные» усилия в метаисследованиях. [1]
Практика регистрации научного исследования до его проведения называется предварительной регистрацией . Она возникла как средство решения кризиса репликации . Предварительная регистрация требует подачи зарегистрированного отчета, который затем принимается к публикации или отклоняется журналом на основе теоретического обоснования, экспериментального дизайна и предлагаемого статистического анализа. Предварительная регистрация исследований служит для предотвращения предвзятости публикации (например, непубликации отрицательных результатов), уменьшения искажения данных и повышения воспроизводимости. [133] [134]
Исследования, демонстрирующие низкую согласованность и качество отчетности, продемонстрировали необходимость стандартов и руководств по отчетности в науке, что привело к появлению организаций, разрабатывающих такие стандарты, таких как CONSORT (Консолидированные стандарты отчетности об испытаниях) и Сеть EQUATOR .
Сеть EQUATOR ( Повышение качества и прозрачности исследований в области здравоохранения ) [135] является международной инициативой, направленной на содействие прозрачному и точному представлению отчетов об исследованиях в области здравоохранения для повышения ценности и надежности медицинской исследовательской литературы. [136] Сеть EQUATOR была создана с целью повышения осведомленности о важности качественного представления отчетов об исследованиях, оказания помощи в разработке, распространении и внедрении руководств по представлению отчетов для различных типов дизайнов исследований, мониторинга статуса качества представления отчетов об исследованиях в литературе по медицинским наукам и проведения исследований, касающихся вопросов, которые влияют на качество представления отчетов об исследованиях в области здравоохранения. [137] Сеть действует как «зонтичная» организация, объединяющая разработчиков руководств по представлению отчетов, редакторов медицинских журналов и рецензентов, организации по финансированию исследований и других ключевых заинтересованных сторон, имеющих взаимный интерес в повышении качества исследовательских публикаций и самих исследований.
Метанаука используется для создания и улучшения технических систем ( ИКТ ) и стандартов оценки, стимулирования, коммуникации, ввода в эксплуатацию, финансирования, регулирования, производства, управления, использования и публикации науки. Это можно назвать «прикладной метанаукой» [138] [ нужен лучший источник ] и она может быть направлена на изучение способов увеличения количества, качества и положительного воздействия исследований. Одним из примеров этого является разработка альтернативных метрик . [59]
Различные веб-сайты или инструменты также выявляют ненадлежащие исследования и/или позволяют получать обратную связь, такие как PubPeer , Cochrane 's Risk of Bias Tool [139] и RetractionWatch . Медицинские и академические споры столь же древние, как и античность, и исследование призывает к исследованию «конструктивной и навязчивой критики» и политики, чтобы «помочь укрепить социальные сети в живой форум для обсуждения, а не просто арену для гладиаторских боев». [140] Обратная связь по исследованиям может быть найдена с помощью altmetrics, которая часто интегрирована на веб-сайте исследования — чаще всего в виде встроенного значка Altmetrics — но часто может быть неполной, например, показывая только обсуждения в социальных сетях, которые напрямую связаны с исследованием, но не те, которые связаны с новостными сообщениями об исследовании.
Инструменты могут быть разработаны с помощью метаисследований или могут быть использованы или исследованы такими. Известные примеры могут включать:
Согласно исследованию, «простой способ проверить, как часто повторялись исследования и подтверждаются ли первоначальные результаты», необходим из-за проблем с воспроизводимостью в науке. [152] [153] Исследование предлагает инструмент для скрининга исследований на предмет ранних признаков мошенничества в исследованиях. [154]
Клинические исследования в медицине часто бывают низкого качества, и многие исследования невозможно воспроизвести. [155] [156] По оценкам, 85% финансирования исследований тратится впустую. [157] Кроме того, наличие предвзятости влияет на качество исследований. [158] Фармацевтическая промышленность оказывает существенное влияние на разработку и проведение медицинских исследований. Конфликты интересов распространены среди авторов медицинской литературы [159] и среди редакторов медицинских журналов. Хотя почти все медицинские журналы требуют от своих авторов раскрывать конфликты интересов, редакторы не обязаны этого делать. [160] Финансовые конфликты интересов связаны с более высокими показателями положительных результатов исследований. В испытаниях антидепрессантов фармацевтическое спонсорство является лучшим предиктором исхода испытания. [161]
Ослепление является еще одним направлением мета-исследований, поскольку ошибка, вызванная плохим ослеплением, является источником экспериментальной предвзятости . Ослепление недостаточно хорошо описано в медицинской литературе, и широко распространенное непонимание предмета привело к плохому внедрению ослепления в клинических испытаниях . [162] Кроме того, неудачи ослепления редко измеряются или сообщаются. [163] Исследования, показывающие неудачи ослепления в испытаниях антидепрессантов, привели некоторых ученых к утверждению, что антидепрессанты не лучше плацебо . [164] [165] В свете мета-исследований, показывающих неудачи ослепления, стандарты CONSORT рекомендуют, чтобы все клинические испытания оценивали и сообщали о качестве ослепления. [166]
Исследования показали, что систематические обзоры существующих исследовательских данных неоптимально используются при планировании нового исследования или обобщении результатов. [167] Кумулятивные метаанализы исследований, оценивающих эффективность медицинских вмешательств, показали, что многих клинических испытаний можно было бы избежать, если бы систематический обзор существующих доказательств был проведен до проведения нового испытания. [168] [169] [170] Например, Лау и др. [168] проанализировали 33 клинических испытания (с участием 36974 пациентов), оценивающих эффективность внутривенной стрептокиназы при остром инфаркте миокарда . Их кумулятивный метаанализ показал, что 25 из 33 испытаний можно было бы избежать, если бы систематический обзор был проведен до проведения нового испытания. Другими словами, рандомизация 34542 пациентов была потенциально ненужной. В одном исследовании [171] были проанализированы 1523 клинических испытания, включенных в 227 метаанализов , и сделан вывод, что «было процитировано менее четверти соответствующих предыдущих исследований». Они также подтвердили более ранние выводы о том, что большинство отчетов о клинических испытаниях не представляют систематического обзора для обоснования исследования или суммирования результатов. [171]
Многие методы лечения, используемые в современной медицине, оказались неэффективными или даже вредными. Исследование Джона Иоаннидиса, проведенное в 2007 году, показало, что медицинскому сообществу потребовалось в среднем десять лет, чтобы прекратить ссылаться на популярные практики после того, как их эффективность была однозначно опровергнута. [172] [173]
Метанаука выявила существенные проблемы в психологических исследованиях. Область страдает от высокой предвзятости, низкой воспроизводимости и широко распространенного неправильного использования статистики . [174] [175] [176] Кризис репликации влияет на психологию сильнее, чем на любую другую область; около двух третей широко разрекламированных результатов могут оказаться невозможными для воспроизведения. [177] Мета-исследования показывают, что 80-95% психологических исследований подтверждают свои первоначальные гипотезы, что явно подразумевает существование предвзятости публикации . [178]
Кризис репликации привел к возобновлению усилий по повторной проверке важных результатов. [179] [180] В ответ на опасения по поводу предвзятости публикации и p -хакинга более 140 психологических журналов приняли слепое к результатам рецензирование коллег , в котором исследования предварительно регистрируются и публикуются без учета их результатов. [181] Анализ этих реформ показал, что 61 процент слепых к результатам исследований дают нулевые результаты , в отличие от 5-20 процентов в более ранних исследованиях. Этот анализ показывает, что слепое к результатам рецензирование коллег существенно снижает предвзятость публикации. [178]
Психологи обычно путают статистическую значимость с практической важностью, с энтузиазмом сообщая о большой уверенности в незначительных фактах. [182] Некоторые психологи отреагировали более широким использованием статистики размера эффекта , а не исключительной опорой на значения p . [ необходима цитата ]
Ричард Фейнман отметил, что оценки физических констант были ближе к опубликованным значениям, чем можно было бы ожидать случайно. Считалось, что это было результатом предвзятости подтверждения : результаты, которые согласуются с существующей литературой, с большей вероятностью были приняты к сведению и, следовательно, опубликованы. Физики теперь применяют ослепление, чтобы предотвратить этот вид предвзятости. [183]
Исследования веб-измерений необходимы для понимания работы современной Сети, особенно в области безопасности и конфиденциальности. Однако эти исследования часто требуют индивидуально разработанных или модифицированных настроек сканирования, что приводит к появлению множества инструментов анализа для аналогичных задач. В статье Нуруллы Демира и др. авторы рассмотрели 117 последних исследовательских работ, чтобы вывести лучшие практики для исследований веб-измерений и установить критерии воспроизводимости и воспроизводимости. Они обнаружили, что экспериментальные установки и другая важная информация для воспроизведения и копирования результатов часто отсутствуют. В крупномасштабном исследовании веб-измерений на 4,5 миллионах страниц с 24 различными настройками измерений авторы продемонстрировали влияние небольших различий в экспериментальных установках на общие результаты, подчеркнув необходимость точной и всеобъемлющей документации. [184]
Существует несколько организаций и университетов по всему миру, которые работают над метаисследованиями – в их число входят Центр инноваций метаисследований в Берлине, [185] Центр инноваций метаисследований в Стэнфорде , [186] [187] Центр метаисследований в Тилбургском университете , Подразделение синтеза метаисследований и доказательств, Институт глобального здравоохранения Джорджа в Индии и Центр открытой науки . Организации, которые разрабатывают инструменты для метанауки, включают OurResearch , Центр научной целостности и компании altmetrics . Ежегодно проводится конференция по метанауке, организованная Ассоциацией междисциплинарных метаисследований и открытой науки (AIMOS), и дважды в год проводится конференция, организованная Центром открытой науки. [188] [189]
{{cite book}}
: |work=
проигнорировано ( помощь ){{cite web}}
: CS1 maint: числовые имена: список авторов ( ссылка ){{cite journal}}
: Цитировать журнал требует |journal=
( помощь )