Teaching Excellence and Student Outcomes Framework ( TEF ) — это правительственная оценка качества обучения в бакалавриате в университетах и других учреждениях высшего образования в Англии , которая может использоваться с 2020 года для определения того, разрешено ли финансируемым государством учреждениям повышать плату за обучение. Учреждениям высшего образования из других регионов Соединенного Королевства разрешено участвовать, но рейтинг не влияет на их финансирование. TEF оценивает университеты как «золотые» , «серебряные» или «бронзовые» в порядке качества преподавания. [1] [2] [3] Первые результаты были опубликованы в июне 2017 года. Это считалось «испытательным годом» (хотя присвоенные непредварительные рейтинги действительны в течение 3 лет [4] ), и за ним должно последовать «упражнение по извлеченным урокам», которое будет учтено в TEF 2018 года и более долгосрочных планах по рейтингам на уровне предметов. [5] [6]
В октябре 2017 года официальное название проекта было официально переименовано из «Структуры педагогического совершенства» в « Структуру педагогического совершенства и результатов обучения студентов» . [7]
Рейтинги TEF основаны на таких статистических данных, как уровень отсева, результаты опросов об удовлетворенности студентов и уровень трудоустройства выпускников. [1] Они оцениваются экспертами в области преподавания и обучения, которые дают рекомендации комиссии TEF, в которую входят преподаватели и студенты, которые примут окончательное решение. Университеты оцениваются по трем направлениям: качество преподавания, учебная среда, результаты студентов и прирост знаний. [8] В 2017 году всем учреждениям, соответствующим основным стандартам, будет разрешено повышать плату за обучение. [2] Первые рейтинги должны были быть объявлены 14 июня 2017 года, публикация была отложена с мая из-за всеобщих выборов в Великобритании , [9] но были отложены до 22 июня после того, как выборы привели к подвешенному парламенту . [10] Ожидалось, что 20–30% учреждений получат золотой рейтинг, 50–60% серебряный и 20% бронзовый. [11] Фактическое распределение по всем рейтингуемым учреждениям, включая учреждения дополнительного образования и альтернативных поставщиков, составило 26% золота, 50% серебра, 24% бронзы. [12]
Рейтинги описываются Министерством образования следующим образом: [13]
Учреждения, не вошедшие в TEF или не соответствующие минимальному порогу качества, не получат награду. [14] Учреждения, у которых недостаточно данных для полной оценки, но которые соответствуют стандартам качества, могут получить предварительную награду без рейтинга. [15]
Рейтинги TEF не измеряют абсолютную производительность, как традиционные университетские рейтинговые таблицы, а скорее производительность по сравнению с контрольными показателями, основанными на приеме студентов. [16] Таким образом, университет с низким абсолютным уровнем отсева в 2% и контрольным показателем в 2% будет оценен по этому показателю хуже, чем университет с гораздо более высоким абсолютным уровнем отсева в 8%, но контрольным показателем в 11%. Таким образом, рейтинги являются мерой того, превосходит ли университет ожидания, соответствует или не соответствует им на основе профиля принятых студентов и преподаваемых предметов. [17]
«Первоначальная гипотеза» для рейтингов основана на шести основных показателях, по которым учреждения получают двойной положительный флаг, положительный флаг, отсутствие флага, отрицательный флаг или двойной отрицательный флаг в зависимости от того, превышают ли они или не достигают своего эталона по определенным пороговым значениям. Это: [18]
Учреждения, получившие три или более положительных флага и ни одного отрицательного флага, изначально считаются золотыми; учреждения с двумя или более отрицательными флагами изначально считаются бронзовыми; все остальные учреждения изначально считаются серебряными. Эта первоначальная гипотеза затем может быть изменена группой на основе письменных представлений и «разделенных» метрик (разбивка основных метрик по полу, этнической принадлежности, возрасту, инвалидности и т. д.). Хотя ожидалось, что степень этих изменений будет ограниченной, изменения в первоначальную гипотезу были внесены в 22% случаев. Среди высших учебных заведений и альтернативных поставщиков три были понижены, 17 были повышены с бронзового до серебряного, 15 были повышены с серебряного до золотого и один был повышен с бронзового до золотого. [19]
После публикации результатов «испытательного года» 2017 года TEF должен пройти «обобщение извлеченных уроков», результаты которого будут учтены в исследовании 2018 года, а также полную независимую проверку использования статистических данных к 2020 году. [5] [6] [20]
После публикации результатов исполняющий обязанности директора Russell Group заявил, что «TEF не измеряет абсолютное качество, и мы выразили обеспокоенность тем, что текущий подход к флагам и бенчмаркингу может иметь значительное непреднамеренное воздействие» [21] , в то время как вице-канцлер Университета Саутгемптона , получившего бронзовый рейтинг, сказал: «В нашем результате вообще нет никакой логики», и что у него «глубокая обеспокоенность по поводу его субъективной оценки, отсутствия прозрачности и того, что разные бенчмарки для каждого учреждения устраняют всякое чувство справедливости и равенства оценки». Он также указал, что превышение бенчмарка на то, что TEF посчитало значительным отрывом, было намного проще для учреждений с более низкими бенчмарками — чтобы превзойти свой бенчмарк по уровню отсева в 4,5% на требуемые два процентных пункта, Саутгемптону пришлось бы достичь уровня отсева всего в 2,5% — что привело его к выводу, что «бенчмаркинг в корне ошибочен» [22] .
Анализ результатов и заявлений комиссии, проведенный аналитическим центром по вопросам политики в области высшего образования Вонкхе, отметил, что Ноттингемский университет , у которого был положительный флаг за высококвалифицированную занятость и отрицательный флаг за удовлетворенность студентов, был награжден золотом, «предположение о том, что отрицательный флаг исключит золото, было отменено комиссией, возможно, потому, что руководство TEF также уводило комиссию от чрезмерной зависимости от оценок NSS». Аналогичным образом, Бристольский университет преодолел два отрицательных флага — оба в категориях, связанных с NSS, — и получил серебро, а Ливерпульский университет с таким же количеством отрицательных флагов получил бронзу, «возможно, потому, что один из них не был в категории, производной от NSS». Вонкхе далее отметил, что «кажется извращением, что учреждение — в случае Бристоля — которое было «заметно» ниже контрольного показателя, должно получить более высокий результат, чем Ливерпуль, для которого заявление более мягкое», и что «для учреждений с похожей моделью данных, как у Бристоля, таких как Саутгемптон (с двумя отрицательными флагами в тех же категориях, но который не был повышен до Серебряного), может возникнуть заслуженный гнев. А если вы посмотрите на Дарем, с его одним положительным флагом и без отрицательных, то у него только Серебряный результат по сравнению с Ноттингемским Золотом». [23] [22] [24]
Ник Хиллман , директор Института политики высшего образования (HEPI), сказал после публикации результатов, что «тот факт, что некоторые результаты кажутся удивительными, говорит о том, что это работает», поскольку это было разработано, чтобы отличаться от других рейтинговых таблиц. Однако он добавил, что «в этом раннем облике TEF далек от идеальной оценки преподавания и обучения. Хотя он сообщает нам много полезного, ни одно из них не отражает в точности то, что происходит в лекционных залах». [25]
В ответ на некоторые из этих пунктов Крис Хасбендс , председатель комиссии TEF, сказал, что TEF не должен был быть «прямым измерением преподавания», а скорее «мерой, основанной на некоторых результатах преподавания», что различные результаты для учреждений со схожими метриками должны были быть направлены, поскольку «TEF управляется метриками, а не определяется метриками» и что TEF был «относительным, а не абсолютным измерением эффективности университетов и колледжей». Он также отметил, что «хотя университеты были впечатляющими в расширении участия, они были менее усердны в борьбе с влиянием неблагоприятного положения после зачисления студентов», и сказал, что TEF был с тем, чтобы сделать, поскольку он «повысил профиль преподавания» и «сосредоточил внимание на вещах, которые нужно делать лучше». [26]
На конференции, состоявшейся в конце июня, вице-проректор Имперского колледжа Лондона Симона Буйтендийк заявила, что TEF является «находкой» для высшего образования. Она заявила: «Для таких людей, как я, вице-проректор, упражнения TEF на самом деле являются находкой, потому что впервые президент и проректор начинают уделять пристальное внимание качеству преподавания... Это не так уж плохо, если очень пристальное внимание уделяется преподаванию в университетах с интенсивной исследовательской деятельностью». Президент Лондонского университетского колледжа Майкл Артур предположил, что TEF принесет пользу университетам в долгосрочной перспективе. [27]
Восемнадцать учреждений решили подать апелляцию на свои рейтинги 2017 года, включая по крайней мере четыре из Russell Group. Из одиннадцати учреждений, которые заявили, что подали апелляцию, три получили серебряную награду и восемь бронзовую. Апелляции должны продемонстрировать «существенное процессуальное нарушение» и не могут оспаривать академическое решение групп TEF. По крайней мере одно учреждение, Университет Суонси , подало намерение подать апелляцию, но его дело было признано неприемлемым. [28] Только Университет Восточной Англии был переоценен в результате апелляции, перейдя с серебряного на золотой, и единственным другим изменением, внесенным в заявление о результатах, был пересмотр заявления о результатах для Университета Дарема ; все остальные апелляции были отклонены. Кроме того, четыре учреждения подали апелляцию на свое право на временные награды TEF, из которых три были удовлетворены. [29]
До публикации ожидалось, что результаты TEF будут существенно отличаться от обычных рейтингов университетов Соединенного Королевства . The Guardian сообщила в мае 2017 года, что ряд «всемирно известных» университетов рискуют получить бронзовый рейтинг; в частности, лондонские учреждения, которые обычно имеют более низкие баллы удовлетворенности студентов. The Times Higher Education также сообщила в начале июня 2017 года, что члены Russell Group (два в Лондоне) рискуют получить бронзовый рейтинг, в то время как университеты, созданные после 1992 года, как ожидается, будут иметь хорошие результаты. Однако университеты также представили в TEF дополнительную письменную информацию, чтобы прояснить свой институциональный контекст: глава King's College London сказал, что он надеется, что это поднимет институт с бронзового до серебряного рейтинга, в то время как SOAS отметила, что финансовая стоимость жизни в Лондоне означает, что уровень удержания студентов в городе ниже, чем в среднем по стране. Директор HEPI Ник Хиллман сказал, что в Лондоне может не быть университетов с золотым рейтингом, но для таких учреждений, как Лондонская школа экономики, это не окажет существенного влияния, поскольку «[е]го имя и репутация в области научных исследований превзойдут любые негативные отзывы от TEF». [9] [30] Аналогичным образом, «Пробный TEF», проведенный группой аналитиков данных в Times Higher Education в 2016 году, показал, что, хотя учреждения Russell Group показали хорошие результаты по абсолютным результатам, после того, как результаты были скорректированы с учетом набора студентов, только Кембридж , Дарем , Бирмингем , Эксетер и Ньюкасл (в порядке их рейтинга) определенно получили золотой рейтинг, хотя это не включало никаких корректировок, которые могут быть сделаны для качественных представлений учреждений. [31]
Связь между TEF и платой за обучение подверглась критике, и Национальный союз студентов (NUS) проголосовал в 2016 году за бойкот Национального студенческого опроса (NSS), результаты которого вносятся в TEF, если только связь не будет нарушена. [32] Были предположения, что бойкот мог иметь обратный эффект, поскольку уровень участия в Национальном студенческом опросе вырос по всей стране, и некоторые комментаторы связывали это с дополнительной рекламой от бойкота. [33] Однако 12 учреждений, включая Кембридж , Оксфорд и несколько других университетов Russell Group , были исключены из результатов NSS в 2017 году из-за того, что опрос прошли менее требуемых 50% студентов последнего года обучения; это рассматривается как доказательство того, что бойкот был успешным, по крайней мере, в некоторых из этих учреждений. Однако, поскольку бойкот был объявлен слишком поздно, чтобы предотвратить использование NSS в TEF 2017 года, его необходимо было бы поддерживать еще два года, чтобы иметь какой-либо эффект, и национальная конференция NUS проголосовала в 2017 году не обсуждать продолжение бойкота или не направлять его в свой Национальный исполнительный комитет. Бойкот может также принести пользу таким университетам, как университет Бристоля , в котором удовлетворенность студентов традиционно была низкой. [34] Также подвергается сомнению, являются ли такие показатели, как удовлетворенность студентов и данные о трудоустройстве, действительными мерами качества преподавания. [35]
Некоторые ведущие университеты пригрозили бойкотировать TEF, опасаясь, что репутационный ущерб может перевесить потенциальную выгоду. [36] Однако в январе 2017 года, как раз перед крайним сроком регистрации, министр высшего образования заявил, что «почти все» университеты, в конце концов, примут участие, и Times Higher Education удалось подтвердить, что все, кроме пяти университетов English Russell Group, обязались участвовать, а остальные еще не определились. [37]
будет действительна в течение трех лет.
Как указано в его белой книге Success as a knowledge economy (май 2016 г.), правительство вскоре начнет упражнение по извлечению уроков в этот первый испытательный год TEF. Результаты упражнения по извлечению уроков будут использованы для работы TEF в 2018 г. и намерения перейти к оценкам на уровне предметов.
Правительство ввело TEF в 2016 году в качестве испытательного года, из которого будут извлечены уроки на будущие годы.
Поставщики, которые соответствуют строгим национальным требованиям к качеству, но у которых еще нет достаточных данных для полной оценки, могут подать заявку на получение предварительной награды.