Исследование по оценке исследований ( RAE ) — мероприятие, проводимое примерно каждые пять лет от имени четырех советов по финансированию высшего образования Великобритании ( HEFCE , SHEFC , HEFCW , DELNI ) для оценки качества исследований, проводимых британскими высшими учебными заведениями. Заявкам RAE по каждой предметной области (или единице оценки ) присваивается рейтинг экспертной группой экспертов по предмету. Рейтинги используются для информирования о распределении финансирования исследований (QR), взвешенного по качеству, которое каждое высшее учебное заведение получает от своего национального совета по финансированию. Предыдущие RAE проводились в 1986, 1989, 1992, 1996 и 2001 годах. Самые последние результаты были опубликованы в декабре 2008 года. [1] В 2014 году она была заменена системой Research Excellence Framework (REF).
Различные средства массовой информации составили рейтинговые таблицы учебных заведений и дисциплин на основе результатов RAE 2008 года. Различные методологии приводят к схожим, но неидентичным рейтингам.
Первое мероприятие по оценке исследований в сфере высшего образования в Великобритании состоялось в 1986 году при правительстве Маргарет Тэтчер . Его проводил Комитет по университетским грантам под председательством кембриджского математика Питера Суиннертона-Дайера . Целью исследования было определить распределение финансирования британским университетам в период жестких бюджетных ограничений. Комитет получил отчеты об исследованиях из 37 предметных областей («центров затрат») университетов, а также пять избранных результатов исследований. Он выдавал рейтинги качества с пометками «выдающееся», «выше среднего», «среднее» или «ниже среднего». Финансирование исследований, выделяемое университетам (так называемое «финансирование, связанное с качеством»), зависело от рейтингов качества предметных областей. По словам Суиннертона-Дайера, цель заключалась в том, чтобы обеспечить определенную степень прозрачности распределения финансирования во время сокращения бюджетов. [2]
Последующая оценка исследования была проведена в 1989 году под названием «Исследовательская избирательность» Советом по финансированию университетов . В ответ на жалобу университетов на то, что им не разрешили представить свой «полный состав», Суиннертон-Дайер разрешил подавать по два результата исследования на каждого сотрудника. Оценка также была расширена до 152 предметных областей («единиц оценки»). По словам Роджера Брауна и Хелен Карассо, только около 40 процентов финансирования исследований было выделено на основе оценки представленных материалов. Остальное было распределено на основе количества сотрудников и студентов, а также доходов от исследовательских грантов. [2]
В 1992 году различие между университетами и политехническими институтами было отменено . Совет по финансированию университетов был заменен региональными советами по финансированию, такими как HEFCE . Бехрам Бехрадния, директор по политике HEFCE, пришел к выводу, что оценка исследований должна стать «гораздо более надежной и строгой». Это привело к учреждению исследования по оценке исследований в 1992 году. Результаты исследования 1992 года, тем не менее, были оспорены в суде Институтом стоматологической хирургии, и судья предупредил, что система должна стать более прозрачной. В последующих упражнениях группам по оценке пришлось гораздо более четко излагать критерии оценки и методы работы. В 1996 году все оценки, основанные на объеме, были отменены, чтобы учесть критику в отношении того, что вознаграждался объем, а не качество. [2]
В 1992 году также предусматривалось, что сотрудники, представленные для оценки, должны были занять должность к определенной дате («дате переписи»), чтобы противостоять критике по поводу того, что ушедшие сотрудники все еще учитывались при оценке. Это привело к явлению «переманивания» высококвалифицированных кадров другими университетами накануне даты переписи населения. В эксперименте 2001 года заслуга персонала, перешедшего в другое учреждение в середине цикла, могла быть разделена между двумя учреждениями. В учениях 2008 года это было отменено. [2]
Оценка 2008 года также принесла серьезные изменения. Вместо единой оценки за всю предметную область («единица оценки») оценка присваивалась каждому результату исследования. Это было сделано, чтобы противостоять критике о том, что крупные отделы могли скрыть «очень длинный хвост» меньшей работы и при этом получать высокие рейтинги, и, наоборот, отличные сотрудники в отделах с низким рейтингом не могли получить адекватное финансирование. Таким образом, отдельные оценки за единицы оценки были заменены «профилями качества», которые указывали долю исследований каждого факультета по каждой категории качества. [2]
RAE 2008 года использовала четырехбалльную шкалу качества и возвращала профиль, а не единый совокупный показатель качества для каждой единицы. Уровни качества, основанные на оценке результатов исследований, исследовательской среды и показателей уважения, определяются как:
Каждой единице оценки был присвоен профиль качества – гистограмма из пяти столбцов, – указывающая долю исследований, соответствующих каждому из четырех уровней качества или неклассифицированных.
В 1992, 1996 и 2001 годах для каждого из рейтингов использовались следующие описания.
Эти рейтинги были применены к «единицам оценки», таким как французский язык или химия, которые часто приравниваются к факультетам университета. Были созданы различные неофициальные рейтинговые таблицы исследовательских возможностей университетов путем агрегирования результатов по единицам оценки. [ нужна ссылка ] Составление рейтинговых таблиц университетов на основе RAE проблематично, поскольку объем и качество являются важными факторами.
Процесс оценки RAE фокусируется на качестве результатов исследований (что обычно означает статьи, опубликованные в научных журналах и материалах конференций), исследовательской среде и показателях уважения. Каждая предметная группа определяет точные правила в рамках общего руководства. Для участия в RAE 2008 учреждениям предлагается представить четыре результатов исследования, опубликованных в период с января 2001 г. по декабрь 2007 г., для каждого штатного сотрудника, выбранного для включения. [3]
В ответ на критику предыдущих оценок и изменений в трудовом законодательстве RAE 2008 года делает больше для учета работников, работающих неполный рабочий день, или тех, кто недавно достиг достаточного уровня трудового стажа, чтобы быть включенным в этот процесс.
RAE не осталась без критиков. В ходе различных его версий мнения исследователей, менеджеров и политиков разделились. [4] Среди критических замечаний можно назвать тот факт, что он явно игнорирует публикации большинства штатных исследователей в Великобритании на том основании, что они работают по срочным контрактам. Согласно руководящим принципам RAE 2008, большинство научных сотрудников «не имеют права числиться в качестве активных научных сотрудников». [5] Публикации исследователей по срочным контрактам исключаются из оценочного упражнения, если только эти публикации не могут быть зачислены на счет сотрудника, имеющего право на RAE. Это применимо, даже если оцениваемый сотрудник внес лишь незначительный вклад в статью. [6] Верно и обратное явление: активные сотрудники, не занимающиеся исследованиями и работающие по постоянным контрактам, например, преподаватели, которые отвечали в первую очередь за преподавательскую деятельность, также оказались под более глубоким контрактным давлением со стороны нанимающих их университетов для производства исследовательской продукции. Другая проблема заключается в том, что сомнительно, что группы экспертов обладают необходимым опытом для оценки качества результатов исследований, поскольку эксперты работают гораздо хуже, когда они выходят за рамки своей конкретной области специализации. [7]
С 1996 года AUT , теперь включенный в состав UCU , поддерживает политику противодействия программе оценки исследований. [8] По его мнению,
RAE оказало катастрофическое влияние на систему высшего образования Великобритании, что привело к закрытию факультетов с сильным исследовательским профилем и здоровому набору студентов. Оно несет ответственность за потерю рабочих мест, дискриминационную практику, повсеместную деморализацию персонала, сужение исследовательских возможностей из-за чрезмерной концентрации финансирования и подрыв связи между преподаванием и исследованиями.
Официальный обзор оценки исследований, «Отчет Робертса» 2003 года, подготовленный по заказу финансирующих органов Великобритании [9] , рекомендовал внести изменения в оценку исследований, отчасти в ответ на такую критику.
Специальный комитет Палаты общин по науке и технологиям рассмотрел отчет Робертса и занял более оптимистичную точку зрения, [10] утверждая, что «RAE имело положительные эффекты: оно стимулировало университеты к управлению своими исследованиями и обеспечило целевое распределение средств. в областях передовых исследований» он пришел к выводу, что «произошло заметное улучшение исследовательской деятельности университетов». Тем не менее, он утверждал, что «RAE в ее нынешнем виде отжила свое», и предложил реформировать RAE, в основном на основе рекомендаций Робертса.
В бюджете на 2006 год было объявлено [11] , что после мероприятий 2008 года будет разработана система показателей для информирования о будущих распределениях финансирования QR. Предполагается, что после первоначальных консультаций с сектором высшего образования Советы по финансированию высшего образования введут систему оценки, основанную на метриках, по предметам в области науки, техники, техники и медицины. Процесс экспертной оценки, вероятно, сохранится по предметам математики, статистики, искусства, гуманитарных и социальных наук.
HEFCE разработал новый набор механизмов, известный как «Система передового опыта исследований» (REF), [12] который был введен в развитие RAE 2008 года.