Исследование по оценке исследований ( RAE ) — мероприятие, проводимое примерно каждые пять лет от имени четырех советов по финансированию высшего образования Великобритании ( HEFCE , SHEFC , HEFCW , DELNI ) для оценки качества исследований, проводимых британскими высшими учебными заведениями. Заявкам RAE по каждой предметной области (или единице оценки ) присваивается рейтинг экспертной группой экспертов по предмету. Рейтинги используются для информирования о распределении финансирования исследований, взвешенного по качеству (QR), которое каждое высшее учебное заведение получает от своего национального совета по финансированию. Предыдущие RAE проводились в 1986, 1989, 1992, 1996 и 2001 годах. Самые последние результаты были опубликованы в декабре 2008 года. [1] В 2014 году она была заменена системой Research Excellence Framework (REF).
Различные средства массовой информации составили рейтинговые таблицы учебных заведений и дисциплин на основе результатов RAE 2008 года. Различные методологии приводят к схожим, но неидентичным рейтингам.
Первое мероприятие по оценке исследований в сфере высшего образования в Великобритании состоялось в 1986 году при правительстве Маргарет Тэтчер . Его проводил Комитет по университетским грантам под председательством кембриджского математика Питера Суиннертона-Дайера . Целью исследования было определить распределение финансирования британским университетам в период жестких бюджетных ограничений. Комитет получил отчеты об исследованиях из 37 предметных областей («центров затрат») университетов, а также пять избранных результатов исследований. Он выдавал рейтинги качества с пометками «выдающееся», «выше среднего», «среднее» или «ниже среднего». Финансирование исследований, выделяемое университетам (так называемое «финансирование, связанное с качеством»), зависело от рейтингов качества предметных областей. По словам Суиннертона-Дайера, цель заключалась в том, чтобы обеспечить определенную степень прозрачности распределения финансирования во время сокращения бюджетов. [2]
Последующая оценка исследования была проведена в 1989 году под названием «Исследовательская избирательность» Советом по финансированию университетов . В ответ на жалобу университетов на то, что им не разрешили представить свой «полный состав», Суиннертон-Дайер разрешил подачу двух результатов исследований на каждого сотрудника. Оценка также была расширена до 152 предметных областей («единиц оценки»). По словам Роджера Брауна и Хелен Карассо, только около 40 процентов финансирования исследований было выделено на основе оценки представленных материалов. Остальное было распределено на основе количества сотрудников и студентов, а также доходов от исследовательских грантов. [2]
В 1992 году различие между университетами и политехническими институтами было отменено . Совет по финансированию университетов был заменен региональными советами по финансированию, такими как HEFCE . Бехрам Бехрадния, директор по политике HEFCE, пришел к выводу, что оценка исследований должна стать «гораздо более надежной и строгой». Это привело к учреждению исследования по оценке исследований в 1992 году. Результаты исследования 1992 года, тем не менее, были оспорены в суде Институтом стоматологической хирургии, и судья предупредил, что система должна стать более прозрачной. В последующих упражнениях группам по оценке пришлось гораздо более четко излагать критерии оценки и методы работы. В 1996 году все оценки, основанные на объеме, были удалены, чтобы учесть критику в отношении того, что вознаграждался объем, а не качество. [2]
В 1992 году также предусматривалось, что сотрудники, представленные для оценки, должны были занять должность к определенной дате («дате переписи»), чтобы противостоять критике по поводу того, что ушедшие сотрудники все еще учитывались при оценке. Это привело к явлению «переманивания» высококвалифицированных кадров другими университетами накануне даты переписи населения. В эксперименте 2001 года заслуга персонала, перешедшего в другое учреждение в середине цикла, могла быть разделена между двумя учреждениями. В учениях 2008 года это было отменено. [2]
Оценка 2008 года также принесла серьезные изменения. Вместо единой оценки за всю предметную область («единица оценки») оценка присваивалась каждому результату исследования. Это было сделано, чтобы противостоять критике о том, что крупные отделы могли скрыть «очень длинный хвост» меньшей работы и при этом получать высокие рейтинги, и, наоборот, отличные сотрудники в отделах с низким рейтингом не могли получить адекватное финансирование. Таким образом, отдельные оценки за единицы оценки были заменены «профилями качества», которые указывали долю исследований каждого факультета по каждой категории качества. [2]
RAE 2008 года использовала четырехбалльную шкалу качества и возвращала профиль, а не единый совокупный показатель качества для каждой единицы. Уровни качества, основанные на оценке результатов исследований, исследовательской среды и показателей уважения, определяются как:
Каждой единице оценки был присвоен профиль качества – гистограмма из пяти столбцов, – указывающая долю исследований, которые соответствуют каждому из четырех уровней качества или не классифицированы.
В 1992, 1996 и 2001 годах для каждого из рейтингов использовались следующие описания.
Эти рейтинги были применены к «единицам оценки», таким как французский язык или химия, которые часто приравниваются к факультетам университета. Были созданы различные неофициальные рейтинговые таблицы исследовательских возможностей университетов путем агрегирования результатов по единицам оценки. [ нужна ссылка ] Составление рейтинговых таблиц университетов на основе RAE проблематично, поскольку объем и качество являются важными факторами.
Процесс оценки RAE фокусируется на качестве результатов исследований (что обычно означает статьи, опубликованные в научных журналах и материалах конференций), исследовательской среде и показателях уважения. Каждая предметная группа определяет точные правила в рамках общего руководства. Для участия в RAE 2008 учреждениям предлагается представить четыре результатов исследования, опубликованных в период с января 2001 г. по декабрь 2007 г., для каждого штатного сотрудника, выбранного для включения. [3]
В ответ на критику предыдущих оценок и изменений в трудовом законодательстве RAE 2008 года делает больше для того, чтобы учитывать работников, работающих неполный рабочий день, или тех, кто недавно достиг достаточного уровня трудового стажа, чтобы быть включенным в этот процесс.
RAE не осталась без критиков. В ходе различных его версий мнения исследователей, менеджеров и политиков разделились. [4] Среди критических замечаний можно назвать тот факт, что он явно игнорирует публикации большинства штатных исследователей в Великобритании на том основании, что они работают по срочным контрактам. Согласно руководящим принципам RAE 2008, большинство научных сотрудников «не имеют права числиться в качестве активных научных сотрудников». [5] Публикации исследователей по срочным контрактам исключаются из оценочного упражнения, за исключением случаев, когда эти публикации могут быть зачислены на счет сотрудника, имеющего право на участие в RAE. Это применимо, даже если оцениваемый сотрудник внес лишь незначительный вклад в статью. [6] Верно и обратное явление: неисследовательский активный персонал, работающий по постоянным контрактам, например, преподаватели, которые отвечали в первую очередь за преподавательскую деятельность, также оказались под более глубоким контрактным давлением со стороны нанимающих их университетов для производства исследовательской продукции. Другая проблема заключается в том, что сомнительно, что группы экспертов обладают необходимым опытом для оценки качества результатов исследований, поскольку эксперты работают гораздо хуже, когда они выходят за рамки своей конкретной области специализации. [7]
С 1996 года AUT , теперь включенный в состав UCU , поддерживает политику противодействия программе оценки исследований. [8] По его мнению,
RAE оказало катастрофическое влияние на систему высшего образования Великобритании, что привело к закрытию факультетов с сильным исследовательским профилем и здоровому набору студентов. Оно несет ответственность за потерю рабочих мест, дискриминационную практику, повсеместную деморализацию персонала, сужение исследовательских возможностей из-за чрезмерной концентрации финансирования и подрыв связи между преподаванием и исследованиями.
Официальный обзор оценки исследований, «Отчет Робертса» 2003 года, подготовленный по заказу финансирующих органов Великобритании [9] , рекомендовал внести изменения в оценку исследований, отчасти в ответ на такую критику.
Специальный комитет Палаты общин по науке и технологиям рассмотрел отчет Робертса и занял более оптимистичную точку зрения, [10] утверждая, что «RAE имело положительные эффекты: оно стимулировало университеты к управлению своими исследованиями и обеспечило целевое распределение средств. в областях передовых исследований» он пришел к выводу, что «произошло заметное улучшение исследовательской деятельности университетов». Тем не менее, он утверждал, что «RAE в ее нынешнем виде отжила свое», и предложил реформировать RAE, в основном на основе рекомендаций Робертса.
В бюджете на 2006 год было объявлено [11] , что после мероприятий 2008 года будет разработана система показателей для информирования о будущих распределениях финансирования QR. Предполагается, что после первоначальных консультаций с сектором высшего образования Советы по финансированию высшего образования введут систему оценки, основанную на метриках, по предметам в области науки, техники, техники и медицины. Процесс экспертной оценки, вероятно, сохранится по предметам математики, статистики, искусства, гуманитарных и социальных наук.
HEFCE разработал новый набор механизмов, известный как « Система передового опыта исследований» (REF), [12] который был введен в развитие RAE 2008 года.