Research Excellence Framework ( REF ) — это оценка воздействия исследований британских высших учебных заведений (ВУЗов). Она является преемником Research Assessment Exercise и впервые была использована в 2014 году для оценки периода 2008–2013 годов. [1] [2] REF проводится четырьмя органами финансирования высшего образования Великобритании: Research England , Scottish Funding Council (SFC), Higher Education Funding Council for Wales (HEFCW) и Department for Economic , Northern Ireland (DfE).
Заявленные цели:
Критики утверждают, в частности, что слишком много внимания уделяется влиянию исследований за пределами университетской системы, и что это влияние не имеет реального отношения к качеству исследований. [ необходима цитата ] Предполагается, что REF на самом деле поощряет посредственность в опубликованных исследованиях и препятствует исследованиям, которые могли бы иметь ценность в долгосрочной перспективе. [ необходима цитата ] Неоднократно утверждалось, что REF приносит больше вреда, чем пользы высшему образованию. [4]
Последний REF был в 2021 году, а результаты были опубликованы в мае 2022 года, продолжая предыдущую модель оценки, сосредоточенную на результатах исследований, влиянии исследований и исследовательской среде. [5] Этот процесс был немного отложен из-за пандемии COVID-19 . [6]
В июне 2023 года было объявлено, что следующие учения завершатся в 2028 году, а заявки будут поданы в 2027 году. [7]
В июне 2007 года Совет по финансированию высшего образования Англии (HEFCE) выпустил циркулярное письмо, в котором сообщалось, что новая структура оценки качества исследований в университетах Великобритании заменит Research Assessment Exercise (RAE) после RAE 2008 года. [8] Следующая цитата из письма указывает на некоторые из первоначальных мотивов:
Нашими основными целями новой структуры будут:
- разработать надежные общебританские показатели научного совершенства по всем дисциплинам, которые можно использовать для сравнения качества с международными стандартами и для стимулирования финансирования исследований Советом
- обеспечить основу для распределения финансирования, в первую очередь, на основе выдающихся результатов исследований, а также финансировать выдающиеся исследования во всех их формах, где бы они ни проводились
- значительно снизить административную нагрузку на учреждения по сравнению с РАЕ
- чтобы избежать создания нежелательных поведенческих стимулов
- содействовать равенству и разнообразию
- обеспечить стабильную основу для нашей постоянной поддержки ведущей в мире исследовательской базы в сфере высшего образования.
В письме также был изложен график разработки REF. HEFCE провела консультационное мероприятие в сентябре-декабре 2009 года, запрашивая ответы заинтересованных сторон на предложения. [9] К ним относятся, например, ответ от Universities UK , [10] и ответ от University and College Union . [11]
В июле 2010 года (после всеобщих выборов в мае 2010 года ) министр по делам университетов и науки Дэвид Уиллеттс объявил, что REF будет отложен на год, чтобы оценить эффективность этой меры воздействия. [12]
В июле 2016 года был опубликован обзор лорда Николаса Стерна , в котором были изложены общие рекомендации для следующего REF в 2021 году. [13] В целом обзор поддержал методологию, использованную в 2014 году для оценки исследований университетов, однако он подчеркнул необходимость более тесного взаимодействия с широкой общественностью и увеличения числа тематических исследований, в которых использовался междисциплинарный подход. [13] Команда Research-impact.org в Школе бизнеса и экономики Университета Лафборо экспериментировала с краудфандингом для исследований, чтобы повысить вовлеченность исследователей университета в общественную деятельность. [14]
Влияние REF определяется как «влияние, изменение или выгода для экономики, общества, культуры, государственной политики или услуг, здравоохранения, окружающей среды или качества жизни, за пределами академической сферы». [15]
Заявки оцениваются по следующим критериям: [16]
Два издательства, Times Higher Education [ 17] (THE) и Research Professional News [18] (RPN; используется The Guardian и другими газетами) [19] [20], составили общие рейтинги институциональных результатов в REF 2021 года на основе исследовательской мощности, доли рынка и качества (GPA). Институциональный GPA THE представляет собой среднее значение GPA каждого учреждения по единицам оценки, взвешенное по количеству сотрудников, работающих полный рабочий день, представленных в каждой единице оценки, мера «исследовательской мощности» представляет собой этот институциональный GPA, умноженный на количество сотрудников, работающих полный рабочий день, представленных учреждением, а мера «рыночной доли» использует вес, используемый для расчета блочных грантов из институциональных профилей, при этом оценкам 4* присваивается вес четыре, оценкам 3* — вес один, а оценкам 2* и ниже — вес ноль. [21]
Особым источником критики стал элемент REF, который касается «влияния» исследований. В статьях ниже выдвигаются два возражения. Главное из них заключается в том, что «влияние» было определено как влияние за пределами академии. Если бы исследователи были обязаны преследовать эту форму влияния, это подорвало бы академическую свободу . Другое заключается в том, что влияние — в его нынешнем толковании — трудно измерить каким-либо образом, который считался бы справедливым и беспристрастным. [22] [23] [24]
Совет по финансированию высшего образования Англии утверждает, что их мера «влияния» является широкой и будет охватывать влияние на «экономику, общество, государственную политику, культуру и качество жизни». [22] Однако структура оценки делает то, что влияние на практике может быть заявлено довольно узким (ограничение в 4 страницы, нет раздела о методах, 10 ссылок на влияние, 10 ссылок на исследования и только 1 страница для резюме исследования и влияния соответственно). Эти строгие дискурсивные руководящие принципы наряду с устаревшим представлением REF о том, как функционирует влияние исследования (исключено влияние преподавания исследований, линейная модель и т. д.), ограничивают то, какое влияние на практике больше подходит для оценки. [ необходима ссылка ]
Еще одна область критики, которую REF унаследовал от структуры RAE, заключается в том, что для большинства штатных сотрудников подача обычно состоит из четырех опубликованных «результатов исследований». Не признается разница между книгой и статьей с точки зрения исследовательской ценности. Поэтому система REF препятствует долгосрочным проектам, которые стремятся к совершенству. Эта проблема особенно очевидна в гуманитарных науках, где большинство новаторских исследований традиционно не публикуются в статьях. Поэтому многие исследователи подталкиваются к относительно посредственной деятельности, которая позволит им выпустить одну или две книги в течение периода оценки, но не монографию, которая обычно требует четырех или пяти лет исследований и написания. [ необходима цитата ]
Более того, система из четырех опубликованных статей также препятствует долгосрочным проектам с относительно высоким исследовательским риском в науке, поскольку исследователи неохотно участвуют в проектах или экспериментах, которые могут оказаться неуспешными и не привести к публикации. Поскольку большинство новаторских исследований в науке происходит именно в таких рискованных и творческих проектах, тип исследовательской деятельности, поощряемый структурой REF, довольно консервативен. Кроме того, с точки зрения воздействия рассматриваемого исследования, в истории наук и гуманитарных наук не является чем-то необычным, чтобы прошло некоторое время, пока не будет сделано полное воздействие открытия. Текущая система имеет перспективу всего в четыре или пять лет. [ необходима цитата ]
Times Higher Education также выявила, что некоторые университеты, по-видимому, «играли» с системой REF. Это включало «REF Poaching», когда сотрудники с установленными исследовательскими записями переманивались из своих университетов непосредственно перед REF, при этом переманивающее учреждение отдавало все заслуги за их публикации, не рискуя при этом поддерживать исследователя. Это также включало найм большого количества сотрудников по контрактам 0,2 FTE, самого низкого уровня занятости, который дает им право подавать REF. [25]
В дополнение к таким опасениям относительно того, что на самом деле можно измерить четырьмя элементами результатов исследования и как можно измерить воздействие, всю систему часто критикуют как неоправданно сложную и дорогостоящую, в то время как оценка качества в цифровую эпоху могла бы быть намного проще и эффективнее. [26]
Система, с ее связанными финансовыми последствиями, также подвергалась критике за отвлечение ресурсов от преподавания. Таким образом, увеличение платы за обучение часто не приводило к увеличению времени, которое сотрудники тратили на преподавание. [ необходима цитата ]
В июле 2016 года был опубликован обзор лорда Николаса Стерна , в котором были изложены общие рекомендации для следующего REF в 2021 году. [27] Одной из рекомендаций было повышение вовлеченности общественности в исследования. Вовлечение общественности в исследования означает улучшение предоставления выгод от исследований. Это также означает повышение осведомленности общественности о результатах исследований и их последствиях. Одним из механизмов вовлечения общественности является краудфандинг исследований, где специализированные платформы проводят кампании по краудфандингу для университетских исследований по ряду тем. Краудфандинг исследований имеет два преимущества: во-первых, это источник относительно высокого гарантированного финансирования со ставкой около 50%, во-вторых, это очень эффективный инструмент для взаимодействия с широкой общественностью. [14]
Одна из проблем, которую обзор Стерна не затронул в отношении оценки воздействия исследований, заключается в том, что структура шаблона дизайна исследования случая, на основе которого оценивается воздействие, не содержит раздела метода, и, таким образом, оценка того, какой тип воздействия был заявлен, становится риторической игрой в то, кто может заявить больше всего (ср. Brauer, 2018). [28] Таким образом, грандиозные заявления стимулируются структурой оценки. Проблема возникает, потому что качественные суждения о значимости и охвате воздействия (без учета лежащего в основе метода) закрепляют современные ценности в оценке как таковой; «[…] называйте это социально сконструированным, взаимным обучением, социальной практикой как угодно, ключ в том, что мы не можем отделить характеристики воздействия от процесса, навязанного ценности, и признать его таковым ». (Derrick, 2018:160) [29] При проверке ссылок на текущие заявления они были либо недоступны (например, соответствующие веб-сайты были удалены), либо ссылались таким образом, что это не отражало самоавторство или свидетельства лиц, связанных с исследователем (Brauer, 2018:142-147). Аналогичным образом, Sayer (2014) [30] критикует общую экспертную оценку процесса REF, описывая ее как плохую имитацию стандартного академического качества и что процесс оценки еще больше усложняется чистой рабочей нагрузкой оценки (стр. 35). Аналогичное исследование RAND показало, что большинство ссылок никогда не рассматривалось, некоторым группам оценки не рекомендовалось использовать Интернет, а справочной структуре REF иногда требовалось две недели, чтобы подготовить соответствующие ссылки. [31] Таким образом, фокус на внешнем воздействии дисциплинирует оценку, заставляя ее фокусироваться на внешних ценностях. [32]
В 2018 году было заявлено, что REF оказывает негативное влияние на гуманитарные науки. [33]
Несмотря на критику, система оценки воздействия исследований в Великобритании, оценивающая качество результатов исследований, воздействие исследований и исследовательскую среду, вдохновила разработчиков на разработку систем оценки научного совершенства и/или финансирования исследований на основе результатов в других европейских странах, включая Италию, Норвегию, Португалию и Словакию. [34]