Research Assessment Exercise ( RAE ) — это мероприятие, проводимое примерно каждые пять лет от имени четырех советов по финансированию высшего образования Великобритании ( HEFCE , SHEFC , HEFCW , DELNI ) для оценки качества исследований, проводимых британскими высшими учебными заведениями. Заявкам RAE по каждой предметной области (или единице оценки ) присваивается рейтинг экспертной комиссией по предметным специалистам. Рейтинги используются для информирования о распределении взвешенного по качеству финансирования исследований (QR), которое каждое высшее учебное заведение получает от своего национального совета по финансированию. Предыдущие RAE проводились в 1986, 1989, 1992, 1996 и 2001 годах. Самые последние результаты были опубликованы в декабре 2008 года. [1] В 2014 году он был заменен Research Excellence Framework (REF).
Различные СМИ составили рейтинговые таблицы учреждений и дисциплин на основе результатов RAE 2008. Различные методологии приводят к схожим, но неидентичным рейтингам.
Первая оценка исследований в сфере высшего образования в Великобритании состоялась в 1986 году при правительстве Маргарет Тэтчер . Она была проведена Комитетом по университетским грантам под председательством кембриджского математика Питера Суиннертона-Дайера . Целью оценки было определить распределение финансирования для университетов Великобритании в период жестких бюджетных ограничений. Комитет получил заявки на исследовательские заявления из 37 предметных областей («центров затрат») в университетах, а также пять выбранных исследовательских результатов. Он выдал рейтинги качества с пометками «выдающийся», «выше среднего», «средний» или «ниже среднего». Исследовательское финансирование, выделяемое университетам (так называемое финансирование «связанное с качеством»), зависело от рейтингов качества предметных областей. По словам Суиннертона-Дайера, целью было установить меру прозрачности распределения финансирования в период сокращения бюджетов. [2]
Последующая оценка исследований была проведена в 1989 году под названием «исследование селективности» Советом по финансированию университетов . В ответ на жалобу университетов о том, что им не разрешалось представлять свои «полные силы», Суиннертон-Дайер разрешил подавать два исследовательских результата на каждого члена персонала. Оценка также была расширена до 152 предметных областей («единиц оценки»). По словам Роджера Брауна и Хелен Карассо, только около 40 процентов финансирования, связанного с исследованиями, было выделено на основе оценки представленных заявок. Остальное было выделено на основе численности персонала и студентов и дохода от исследовательских грантов. [2]
В 1992 году различие между университетами и политехническими институтами было отменено . Совет по финансированию университетов был заменен региональными советами по финансированию, такими как HEFCE . Бехрам Бехрадния, директор политики в HEFCE, пришел к выводу, что оценка исследований должна стать «гораздо более надежной и строгой». Это привело к учреждению Исследования по оценке исследований в 1992 году. Результаты исследования 1992 года, тем не менее, были оспорены в суде Институтом стоматологической хирургии, и судья предупредил, что система должна стать более прозрачной. Оценочные комиссии в последующих исследованиях должны были быть гораздо более явными в отношении критериев оценки и методов работы. В 1996 году все оценки, основанные на объеме, были отменены, чтобы учесть критику, что объем, а не качество, вознаграждается. [2]
В упражнении 1992 года также было предусмотрено, что персонал, представленный для оценки, должен был быть на должности к определенной дате («дате переписи»), чтобы противостоять критике, что сотрудники, которые переместились, все еще учитывались в оценке. Это привело к явлению «переманивания» высококвалифицированных сотрудников другими университетами до даты переписи. В упражнении 2001 года заслуги сотрудников, которые перешли в другой институт в середине цикла, могли быть разделены между двумя институтами. В упражнении 2008 года это было отменено. [2]
Оценка 2008 года также внесла существенные изменения. Вместо единой оценки для всей предметной области («единицы оценки»), оценка была присвоена каждому результату исследования. Это было сделано для того, чтобы противостоять критике, что крупные отделы могли скрыть «очень длинный хвост» менее значимой работы и все равно получать высокие оценки, и, наоборот, превосходный персонал в низкооцененных отделах не мог получить адекватное финансирование. Таким образом, единые оценки для единиц оценки были заменены «профилями качества», которые указывали долю исследований каждого отдела по каждой категории качества. [2]
RAE 2008 использовал четырехбалльную шкалу качества и выдал профиль, а не единый совокупный балл качества для каждого блока. Уровни качества — основанные на оценке результатов исследований, исследовательской среды и индикаторов уважения — определяются следующим образом:
Каждой единице оценки был присвоен профиль качества — пятиколоночная гистограмма, указывающая долю исследований, которые соответствуют каждому из четырех уровней качества или являются неклассифицированными.
В 1992, 1996 и 2001 годах для каждого рейтинга использовались следующие описания.
Эти рейтинги были применены к «единицам оценки», таким как французский язык или химия, которые часто в целом соответствуют факультетам университета. Были созданы различные неофициальные таблицы рейтингов университетских исследовательских возможностей путем агрегирования результатов единиц оценки. [ необходима цитата ] Составление таблиц рейтингов университетов на основе RAE проблематично, поскольку объем и качество являются значимыми факторами.
Процесс оценки для RAE фокусируется на качестве результатов исследований (что обычно означает статьи, опубликованные в академических журналах и материалы конференций), исследовательской среде и показателях репутации. Каждая предметная группа определяет точные правила в рамках общего руководства. Для RAE 2008 учреждениям предлагается представить четыре результата исследований, опубликованных в период с января 2001 года по декабрь 2007 года, для каждого штатного сотрудника, выбранного для включения. [3]
В ответ на критику более ранних оценок и изменений в трудовом законодательстве RAE 2008 года делает больше для того, чтобы учитывать работников, работающих неполный рабочий день, или тех, кто недавно достиг достаточного уровня трудового стажа для включения в процесс.
RAE не обошлось без критики. В разных своих итерациях он разделил мнения исследователей, менеджеров и политиков. [4] Среди критических замечаний — тот факт, что он явно игнорирует публикации большинства штатных исследователей в Великобритании на том основании, что они работают по срочным контрактам. Согласно руководящим принципам RAE 2008, большинство научных сотрудников «не имеют права быть указанными как активный исследовательский персонал». [5] Публикации исследователей по срочным контрактам исключаются из Оценочного упражнения, если только эти публикации не могут быть зачислены на счет сотрудника, который имеет право на RAE. Это применимо даже в том случае, если оцениваемый сотрудник внес лишь незначительный вклад в статью. [6] Обратное явление также верно, когда неактивный исследовательский персонал по постоянным контрактам, например, преподаватели, которые в основном отвечали за преподавательскую деятельность, также оказались под более сильным контрактным давлением со стороны своих университетов-работодателей, чтобы производить исследовательские результаты. Другая проблема заключается в том, что сомнительно, что группы экспертов обладают необходимыми знаниями и опытом для оценки качества результатов исследований, поскольку эксперты работают гораздо хуже, как только они выходят за рамки своей конкретной области специализации. [7]
С 1996 года AUT , ныне входящий в состав UCU , придерживается политики оппозиции к Исследованию Оценки. [8] По его мнению,
RAE оказала катастрофическое влияние на систему высшего образования Великобритании, что привело к закрытию факультетов с сильными исследовательскими профилями и здоровым набором студентов. Она несет ответственность за потерю рабочих мест, дискриминационные практики, широко распространенную деморализацию персонала, сужение исследовательских возможностей из-за чрезмерной концентрации финансирования и подрыв связи между преподаванием и исследованиями.
В официальном Обзоре оценки исследований, «Докладе Робертса» 2003 года, подготовленном по заказу финансирующих органов Великобритании [9] , рекомендовалось внести изменения в оценку исследований, отчасти в ответ на такую критику.
Комитет по науке и технологиям Палаты общин рассмотрел доклад Робертса и занял более оптимистичную позицию, [10] заявив, что «RAE оказала положительное влияние: она стимулировала университеты к управлению своими исследованиями и обеспечила направление средств в области передового опыта в области исследований», он пришел к выводу, что «наблюдалось заметное улучшение в результатах исследований университетов». Тем не менее, он утверждал, что «RAE в его нынешнем виде отжил свое», и предложил реформированную RAE, в значительной степени основанную на рекомендациях Робертса.
В бюджете 2006 года было объявлено [11] , что после учений 2008 года будет разработана система показателей для информирования о будущих ассигнованиях финансирования QR. После первоначальных консультаций с сектором высшего образования предполагается, что Советы по финансированию высшего образования введут систему оценки на основе показателей для предметов в области науки, технологий, инженерии и медицины. Процесс рецензирования, вероятно, сохранится для предметов по математике, статистике, искусству, гуманитарным наукам и общественным наукам.
HEFCE разработал новый набор мер, известный как Research Excellence Framework (REF) [12] , который был введен в качестве продолжения RAE 2008 года.