Research Excellence Framework ( REF ) — это оценка воздействия исследований британских высших учебных заведений (ВУЗов). Он является преемником программы оценки исследований и впервые был использован в 2014 году для оценки периода 2008–2013 годов. [1] [2] REF проводится четырьмя британскими организациями, финансирующими высшее образование: Research England , Шотландским советом по финансированию (SFC), Советом по финансированию высшего образования Уэльса (HEFCW) и Министерством экономики Северной Ирландии ( ДфЕ).
Его заявленные цели заключаются в следующем:
Критики, в частности, утверждают, что слишком много внимания уделяется влиянию исследований за пределами университетской системы и что это влияние не имеет реального отношения к качеству исследований. [ нужна цитация ] Предполагается, что REF на самом деле поощряет посредственность в опубликованных исследованиях и препятствует исследованиям, которые могут иметь ценность в долгосрочной перспективе. [ нужна цитата ] Неоднократно утверждалось, что REF приносит больше вреда, чем пользы высшему образованию. [4]
Последний REF состоялся в 2021 году, а результаты были опубликованы в мае 2022 года, продолжая предыдущую модель оценки, в которой основное внимание уделялось результатам исследований, их влиянию и исследовательской среде. [5] Этот процесс немного задержался из-за пандемии COVID-19 . [6]
В июне 2023 года было объявлено, что следующие учения завершатся в 2028 году, а документы будут представлены в 2027 году. [7]
В июне 2007 года Совет по финансированию высшего образования Англии (HEFCE) опубликовал циркулярное письмо, в котором объявил, что новая система оценки качества исследований в университетах Великобритании заменит программу оценки исследований (RAE) после RAE 2008 года. [8] Следующая цитата из письма указывает на некоторые первоначальные мотивы:
Нашими ключевыми целями новой структуры будут:
- разработать надежные общебританские показатели качества исследований для всех дисциплин, которые можно использовать для сравнения качества с международными стандартами и для стимулирования финансирования исследований Советом.
- обеспечить основу для распределения финансирования, прежде всего, с учетом высоких результатов исследований, а также финансировать отличные исследования во всех их формах, где бы они ни проводились.
- существенно снизить административную нагрузку на учреждения по сравнению с РАЭ
- избегать создания каких-либо нежелательных поведенческих стимулов
- способствовать равенству и многообразию
- обеспечить стабильную основу для нашей постоянной поддержки ведущей мировой исследовательской базы в рамках высшего образования.
В письме также изложен график развития REF. HEFCE провел консультации в сентябре – декабре 2009 г., собирая ответы заинтересованных сторон на предложения. [9] К ним относятся, например, ответ Университетов Великобритании , [10] и ответ Союза университетов и колледжей . [11]
В июле 2010 года (после всеобщих выборов в мае 2010 года ) министр университетов и науки Дэвид Уиллеттс объявил, что REF будет отложен на год, чтобы оценить эффективность меры воздействия. [12]
В июле 2016 года был опубликован обзор лорда Николаса Стерна , в котором содержатся общие рекомендации для следующего REF в 2021 году. [13] В целом обзор поддержал методологию, использованную в 2014 году для оценки исследований университетов, однако в нем подчеркивалась необходимость большего взаимодействие с широкой общественностью и увеличение количества тематических исследований, в которых использовался междисциплинарный подход. [13] Команда Research-impact.org Школы бизнеса и экономики Университета Лафборо экспериментировала с краудфандингом исследований, чтобы повысить активность университетских исследователей среди общественности. [14]
Влияние REF определяется как «влияние, изменение или польза для экономики, общества, культуры, государственной политики или услуг, здоровья, окружающей среды или качества жизни за пределами академических кругов». [15]
Представленные материалы оцениваются по следующим критериям: [16]
Два издательства, Times Higher Education , [17] (THE) и Research Professional News [18] (RPN; используется The Guardian и другими газетами) [19] [20] составили общий рейтинг институциональных результатов в REF 2021 года на основе исследований. мощность, доля рынка и качество (GPA). Институциональный средний балл THE представляет собой среднее значение среднего балла каждого учреждения по единицам оценки, взвешенное по количеству сотрудников в эквиваленте полной занятости, представленных на каждую единицу оценки, мерой «исследовательской мощности» является этот институциональный средний балл, умноженный на количество сотрудников, эквивалентных полной занятости. сотрудников, представленных учреждением, а в показателе «доли рынка» используются веса, используемые для расчета блоков грантов на основе институциональных профилей, при этом оценкам 4* присваивается весовой коэффициент четыре, оценкам 3* присваивается весовой коэффициент один, а 2* и ниже с нулевым весом. [21]
Особым источником критики стал элемент REF, посвященный «влиянию» исследований. Статьи ниже вызывают два возражения. Главный из них заключается в том, что «воздействие» определяется как влияние за пределами академии. Если бы исследователям пришлось оказывать такое влияние, это бы подорвало академическую свободу . Во-вторых, воздействие – в его нынешнем понимании – трудно измерить каким-либо способом, который можно было бы считать справедливым и беспристрастным. [22] [23] [24]
Совет по финансированию высшего образования Англии утверждает, что их мера «воздействия» является широкой и будет охватывать влияние на «экономику, общество, государственную политику, культуру и качество жизни». [22] Тем не менее, структура оценки делает то влияние, о котором практически можно заявить, довольно узким (ограничение в 4 страницы, отсутствие раздела о методах, 10 ссылок на влияние, 10 ссылок на исследования и только 1 страница для обобщения исследования и воздействия соответственно). Эти строгие дискурсивные рекомендации наряду с устаревшим представлением REF о том, как функционирует воздействие исследования (исключение воздействия исследования в обучении, линейная модель и т. д.), действительно ограничивают то, какое воздействие практически больше подходит для оценки. [ нужна цитата ]
Еще одна область критики, унаследованная REF от структуры RAE, заключается в том, что для большинства штатных сотрудников отчеты обычно состоят из четырех опубликованных «результатов исследования». Нет признания разницы между книгой и статьей с точки зрения исследовательской ценности. Таким образом, система REF не поощряет долгосрочные проекты, стремящиеся к совершенству. Особенно очевидна эта проблема в гуманитарных науках, где большая часть новаторских исследований традиционно не публикуется в статьях. Таким образом, многие исследователи вынуждены заниматься относительно посредственной деятельностью, которая позволит им написать одну-две книги за период оценки, но не ту монографию, для которой обычно потребовалось бы четыре или пять лет исследований и написания. [ нужна цитата ]
Более того, система четырех опубликованных статей препятствует долгосрочным проектам с относительно высоким исследовательским риском и в науке, поскольку исследователи неохотно участвуют в проектах или экспериментах, которые могут оказаться неуспешными и не привести к публикации. Поскольку большая часть новаторских исследований в области науки происходит именно с такими рискованными и изобретательными проектами, тип исследовательской деятельности, поощряемый структурой РЭФ, довольно консервативен. Кроме того, с точки зрения влияния рассматриваемых исследований, в истории естественных и гуманитарных наук нередко требуется некоторое время, прежде чем открытие окажет полное влияние. Существующая система рассчитана всего на четыре или пять лет. [ нужна цитата ]
The Times Higher Education также сообщила, что некоторые университеты, похоже, «играют» в систему REF. Это включало в себя «браконьерство REF», когда сотрудники с установленным научным опытом набирались из своих университетов непосредственно перед REF, что давало браконьерскому учреждению полную оценку своих публикаций, не принимая на себя риск поддержки исследователя. Это также включало в себя найм большого количества сотрудников по контрактам с 0,2 полной занятости, самым низким уровнем занятости, который дает им право на подачу заявки в REF. [25]
В дополнение к таким опасениям по поводу того, что на самом деле можно измерить с помощью четырех показателей результатов исследования и как можно измерить воздействие, всю систему часто критикуют как излишне сложную и дорогую, тогда как оценка качества в эпоху цифровых технологий могла бы быть намного проще и эффективнее. [26]
Эту систему и связанные с ней финансовые последствия также критиковали за отвлечение ресурсов от преподавания. Таким образом, увеличение платы за обучение часто не приводило к увеличению времени, затрачиваемого сотрудниками на преподавание. [ нужна цитата ]
В июле 2016 года был опубликован обзор лорда Николаса Стерна , в котором содержатся общие рекомендации для следующего REF в 2021 году. [27] Одна из рекомендаций заключалась в расширении участия общественности в исследованиях. Участие в исследованиях означает повышение эффективности результатов исследований. Это также означает повышение осведомленности общественности о результатах исследований и их последствиях. Одним из механизмов вовлечения общественности является краудфандинг исследований, когда на специализированных платформах проводятся краудфандинговые кампании для университетских исследований по ряду тем. Краудфандинг исследований имеет два преимущества: во-первых, это источник относительно высокого гарантированного финансирования (около 50%), во-вторых, это очень эффективный инструмент взаимодействия с широкой общественностью. [14]
Одна из проблем, которую не затронул обзор Стерна в отношении оценки воздействия исследования, заключается в том, что структура шаблона тематического исследования, по которому оценивается воздействие, не содержит раздела методов, что позволяет оценить, какой тип воздействия был утверждал, что это риторическая игра о том, кто может претендовать больше всего (см. Brauer, 2018). [28] Таким образом, структура оценки стимулирует крупные претензии. Проблема возникает потому, что качественные суждения о значимости и масштабах воздействия (без учета лежащего в их основе метода) закрепляют современные ценности в оценке как таковой; «[…] назовите это социально сконструированным, взаимным обучением, социальной практикой как угодно, ключ в том, что мы не можем отделить характеристики Воздействия от процесса, налагаемого на ценность, и признать его как таковой » (Деррик, 2018: 160) [29 ] При проверке ссылок на текущие утверждения выяснилось, что они либо были недоступны (например, соответствующие веб-сайты были закрыты), либо ссылки на них были сделаны таким образом, что не отражали авторство или свидетельства лиц, связанных с исследователем (Brauer, 2018). :142-147). Точно так же Сэйер (2014) [30] критикует общую экспертную оценку процесса REF, описывая его как плохую имитацию стандартного академического качества и что процесс оценки еще больше усложняется из-за огромной рабочей нагрузки по оценке (стр. 35). Аналогичным образом, исследование RAND показало, что к большинству ссылок никогда не обращались, некоторым комиссиям по оценке не рекомендовалось использовать Интернет, а справочной структуре REF иногда требовалось две недели для создания соответствующих ссылок. [31] Таким образом, фокус на внешнем воздействии заставляет оценку фокусироваться на внешних ценностях. [32]
В 2018 году говорилось, что РЭФ негативно влияет на гуманитарные науки. [33]