Программа международной оценки учащихся ( PISA ) — всемирное исследование, проводимое Организацией экономического сотрудничества и развития (ОЭСР) в странах-членах и странах, не являющихся членами, целью которого является оценка образовательных систем путем измерения успеваемости 15-летних школьников по математике, естественным наукам и чтению. [1] Впервые оно было проведено в 2000 году, а затем повторялось каждые три года. Его цель — предоставить сопоставимые данные, чтобы позволить странам улучшить свою политику в области образования и результаты. Оно измеряет решение проблем и познавательные способности. [2]
Результаты сбора данных за 2022 год были опубликованы в декабре 2023 года. [3]
PISA и аналогичные международные стандартизированные оценки образовательных достижений все чаще используются в процессе разработки образовательной политики как на национальном, так и на международном уровнях. [4]
PISA была задумана для того, чтобы представить в более широком контексте информацию, полученную в результате национального мониторинга эффективности системы образования посредством регулярных оценок в рамках общей, согласованной на международном уровне структуры; исследуя взаимосвязи между обучением учащихся и другими факторами, они могут «предложить информацию об источниках различий в результатах внутри стран и между ними». [5]
До 1990-х годов лишь немногие европейские страны использовали национальные тесты. В 1990-х годах десять стран/регионов ввели стандартизированную оценку, а с начала 2000-х годов еще десять последовали их примеру. К 2009 году только пять европейских систем образования не имели национальных оценок учащихся. [4]
Влияние этих международных стандартизированных оценок на образовательную политику было значительным с точки зрения создания новых знаний , изменений в политике оценки и внешнего влияния на национальную образовательную политику в более широком смысле. [6] [7] [8]
Данные международных стандартизированных оценок могут быть полезны при исследовании причинных факторов в системах образования или между ними. [4] Монс отмечает, что базы данных, созданные в результате крупномасштабных международных оценок, позволили провести инвентаризацию и сравнение систем образования в беспрецедентном масштабе* по темам, начиная от условий обучения математике и чтению и заканчивая институциональной автономией и политикой приема. [9] Они позволяют разрабатывать типологии, которые можно использовать для сравнительного статистического анализа показателей эффективности образования, тем самым выявляя последствия различных политических выборов. Они дали новые знания об образовании: результаты PISA бросили вызов глубоко укоренившимся образовательным практикам, таким как раннее отслеживание учащихся в профессиональных или академических направлениях. [10]
Баррозу и де Карвалью обнаружили, что PISA обеспечивает общую ссылку, связывающую академические исследования в образовании и политическую сферу государственной политики, выступая в качестве посредника между различными направлениями знаний из сферы образования и государственной политики. [11] Однако, хотя основные результаты сравнительных оценок широко распространены в исследовательском сообществе [4], знания, которые они создают, не обязательно соответствуют программам государственных реформ; это приводит к некоторым ненадлежащим использованиям данных оценки.
Новые исследования показывают, что международные стандартизированные оценки оказывают влияние на национальную политику и практику оценки. PISA интегрируется в национальную политику и практику оценки, стандартов учебных программ и целевых показателей эффективности; ее оценочные рамки и инструменты используются в качестве моделей передовой практики для улучшения национальных оценок; многие страны явно включили и подчеркнули компетенции, подобные PISA, в пересмотренных национальных стандартах и учебных программах; другие используют данные PISA для дополнения национальных данных и проверки национальных результатов на основе международного эталона. [10]
PISA может влиять на выбор национальной политики в области образования различными способами. Участие в международных оценках, таких как PISA, было связано со значительными изменениями в политике в области образования и результатами, такими как более высокий уровень набора учащихся и реформы образования. [6] Однако критики утверждают, что участие может привести к нежелательным результатам, таким как более высокий уровень повторения и сужение учебных программ. [7] Влияние PISA также может варьироваться в зависимости от конкретного контекста страны. [12]
Политики в большинстве стран-участниц рассматривают PISA как важный показатель эффективности системы; отчеты PISA могут определять проблемы политики и устанавливать повестку дня для национальных политических дебатов; политики, похоже, принимают PISA как действительный и надежный инструмент для международного сравнительного анализа эффективности системы и изменений с течением времени; большинство стран — независимо от того, показали ли они результаты выше, на уровне или ниже среднего балла PISA — начали реформы политики в ответ на отчеты PISA. [10]
На фоне этого влияние на национальные системы образования заметно различается. Например, в Германии результаты первой оценки PISA вызвали так называемый «шок PISA»: переосмысление ранее принятой образовательной политики; в государстве, отмеченном ревностно охраняемыми различиями в региональной политике, это в конечном итоге привело к соглашению всех земель о введении общих национальных стандартов и даже институционализированной структуры для обеспечения их соблюдения. [13] В Венгрии, для сравнения, где условия схожи с условиями Германии, результаты PISA не привели к значительным изменениям в образовательной политике. [14]
Поскольку многие страны установили национальные целевые показатели эффективности на основе своего относительного рейтинга или абсолютного балла PISA, оценки PISA увеличили влияние их (невыборного) уполномоченного органа, ОЭСР, как международного образовательного монитора и политического субъекта, что подразумевает важную степень «переноса политики» с международного на национальный уровень; PISA, в частности, оказывает «влиятельное нормативное воздействие на направление национальной образовательной политики». [10] Таким образом, утверждается, что использование международных стандартизированных оценок привело к сдвигу в сторону международной внешней ответственности за эффективность национальной системы; Рей утверждает, что исследования PISA, представленные как объективные, сторонние диагнозы систем образования, на самом деле служат для продвижения определенных ориентаций по вопросам образования. [4]
Национальные политические деятели ссылаются на страны с высокими показателями PISA, чтобы «помочь легитимировать и оправдать свою предполагаемую программу реформ в рамках спорных национальных политических дебатов». [15] Данные PISA могут «использоваться для подпитки давних дебатов вокруг уже существующих конфликтов или соперничества между различными вариантами политики, например, во франкоязычном сообществе Бельгии». [16] В таких случаях данные оценки PISA используются выборочно: в публичном дискурсе правительства часто используют только поверхностные характеристики опросов PISA, такие как рейтинги стран, а не более подробный анализ. Рей (2010:145, ссылаясь на Грегера, 2008) отмечает, что часто реальные результаты оценок PISA игнорируются, поскольку политики выборочно ссылаются на данные, чтобы легитимировать политику, введенную по другим причинам. [17]
Кроме того, международные сравнения PISA могут быть использованы для обоснования реформ, с которыми сами данные не имеют никакой связи; в Португалии, например, данные PISA использовались для обоснования новых мер по оценке учителей (основанных на выводах, которые не были обоснованы самими оценками и данными); они также подпитывали правительственный дискурс о проблеме повторного обучения учеников (что, согласно исследованиям, не улучшает результаты учащихся). [18] В Финляндии результаты PISA страны (которые в других странах считаются отличными) использовались министрами для продвижения новой политики для «одаренных» учеников. [19] Такое использование и интерпретация часто предполагают причинно-следственные связи, которые не могут быть законно основаны на данных PISA, которые обычно требуют более полного расследования посредством качественных глубоких исследований и продольных опросов, основанных на смешанных количественных и качественных методах, [20] которые политики часто неохотно финансируют.
В последние десятилетия мы стали свидетелями расширения использования PISA и подобных оценок, от оценки обучения учащихся до связи «образовательной сферы (их традиционной компетенции) с политической сферой». [21] Это поднимает вопрос о том, достаточно ли надежны данные PISA, чтобы выдерживать вес основных политических решений, которые на них основываются, поскольку, по словам Брейкспира, данные PISA «стали все больше формировать, определять и оценивать ключевые цели национальной/федеральной системы образования». [10] Это подразумевает, что те, кто устанавливает тесты PISA — например, выбирая содержание для оценки и неоценки — находятся в положении, когда они обладают значительной властью, чтобы устанавливать условия дебатов об образовании и направлять образовательную реформу во многих странах по всему миру. [10]
PISA следует традиции международных школьных исследований, проводимых с конца 1950-х годов Международной ассоциацией по оценке образовательных достижений (IEA). Большая часть методологии PISA следует примеру исследования тенденций в международных математических и естественных науках (TIMSS, начатого в 1995 году), которое, в свою очередь, во многом находилось под влиянием Национальной оценки образовательного прогресса США (NAEP). Компонент чтения PISA вдохновлен исследованием прогресса в международных исследованиях грамотности чтения (PIRLS) IEA .
Целью PISA является проверка грамотности и компетентности учащихся в трех областях: чтение, математика, естественные науки по неопределенной шкале. [22]
Тест PISA по математической грамотности требует от учащихся применять свои математические знания для решения задач, поставленных в реальных условиях. Для решения задач учащиеся должны активировать ряд математических компетенций, а также широкий спектр знаний математического содержания. TIMSS, с другой стороны, измеряет более традиционное содержание класса, такое как понимание дробей и десятичных дробей и взаимосвязь между ними (усвоение учебной программы). PISA утверждает, что измеряет применение образования к реальным проблемам и непрерывному обучению (знания рабочей силы).
В тесте по чтению «ОЭСР/PISA не измеряет степень, в которой 15-летние учащиеся свободно читают или насколько они компетентны в задачах по распознаванию слов или правописанию». Вместо этого они должны быть способны «конструировать, расширять и размышлять о смысле прочитанного в широком диапазоне непрерывных и ненепрерывных текстов». [23]
PISA также оценивает учащихся в инновационных областях. В 2012 и 2015 годах в дополнение к чтению, математике и естествознанию их тестировали в совместном решении проблем. В 2018 году дополнительной инновационной областью стала глобальная компетентность.
PISA спонсируется, управляется и координируется ОЭСР, но финансируется странами-участницами. [ необходима ссылка ]
Возраст учащихся, проходящих тестирование PISA, составляет от 15 лет и 3 месяцев до 16 лет и 2 месяцев на начало периода оценки. Учебный год, в котором находятся ученики, не принимается во внимание. Тестируются только учащиеся в школе, а не те, кто обучается дома. Однако в PISA 2006 несколько стран также использовали выборку учащихся на основе классов. Это позволило изучить, как взаимодействуют возраст и учебный год.
Чтобы выполнить требования ОЭСР, каждая страна должна провести выборку из не менее 5000 студентов. В небольших странах, таких как Исландия и Люксембург , где в год обучается менее 5000 студентов, тестируется вся возрастная когорта. Некоторые страны использовали гораздо большие выборки, чем требовалось, чтобы провести сравнения между регионами.
Каждый ученик проходит двухчасовой компьютерный тест. Часть теста — с выбором ответа, а часть — с более полными ответами. На оценочный материал отводится шесть с половиной часов, но каждый ученик не тестируется по всем частям. После когнитивного теста участвующие ученики тратят еще около часа на ответы на вопросы анкеты о своем прошлом, включая привычки обучения, мотивацию и семью. Директора школ заполняют анкету, описывающую демографию школы, финансирование и т. д. В 2012 году участникам впервые в истории крупномасштабного тестирования и оценки был предложен новый тип задач, т. е. интерактивные (сложные) задачи, требующие исследования нового виртуального устройства. [24] [25]
В некоторых странах PISA начала эксперименты с компьютерным адаптивным тестированием .
Странам разрешено объединять PISA с дополнительными национальными тестами.
Германия делает это очень обширным образом: на следующий день после международного теста учащиеся сдают национальный тест под названием PISA-E (E=Ergänzung=complement). Тестовые задания PISA-E ближе к TIMSS, чем к PISA. В то время как только около 5000 немецких учащихся участвуют в международном и национальном тесте, еще 45000 сдают только национальный тест. Эта большая выборка необходима для проведения анализа федеральными землями. После столкновения по поводу интерпретации результатов 2006 года ОЭСР предупредила Германию, что она может отозвать право использовать ярлык «PISA» для национальных тестов. [26]
С самого начала PISA была разработана с учетом одного конкретного метода анализа данных. Поскольку студенты работают с разными тестовыми буклетами, сырые баллы должны быть «масштабированы», чтобы обеспечить осмысленные сравнения. Таким образом, баллы масштабируются таким образом, чтобы средний балл ОЭСР в каждой области (математика, чтение и естественные науки) составлял 500, а стандартное отклонение — 100. [27] Это справедливо только для начального цикла PISA, когда шкала была впервые введена, хотя последующие циклы связаны с предыдущими циклами с помощью методов связывания шкал IRT. [28]
Это формирование оценок уровня владения языком осуществляется с использованием расширения латентной регрессии модели Раша , модели теории ответов на вопросы (IRT), также известной как модель обусловливания или модель популяции. Оценки уровня владения языком предоставляются в форме так называемых правдоподобных значений, которые позволяют проводить непредвзятые оценки различий между группами. Латентная регрессия вместе с использованием гауссовского априорного распределения вероятностей компетенций учащихся позволяет оценивать распределения уровня владения языком групп участвующих учащихся. [29] Процедуры масштабирования и обусловливания описаны почти идентичными терминами в технических отчетах PISA 2000, 2003, 2006. NAEP и TIMSS используют схожие методы масштабирования.
Все результаты PISA сведены в таблицы по странам; недавние циклы PISA имеют отдельные провинциальные или региональные результаты для некоторых стран. Большая часть общественного внимания сосредоточена только на одном результате: средних баллах стран и их рейтингах стран по отношению друг к другу. Однако в официальных отчетах рейтинги стран приводятся не в виде простых таблиц лиг, а в виде перекрестных таблиц, указывающих для каждой пары стран, являются ли различия в средних баллах статистически значимыми (маловероятно, что они связаны со случайными колебаниями в выборке учащихся или в функционировании элементов). В благоприятных случаях разница в 9 баллов достаточна, чтобы считаться значимой. [ необходима цитата ]
PISA никогда не объединяет баллы по математике, естественным наукам и чтению в общий балл. Однако комментаторы иногда объединяли результаты тестов по всем трем областям в общий рейтинг страны. Такой метаанализ не одобрен ОЭСР, хотя официальные сводки иногда используют баллы по основной области цикла тестирования в качестве показателя общих способностей учащихся.
Результаты PISA 2022 были представлены 5 декабря 2023 года и включали данные примерно по 700 000 участвующих учащихся из 81 страны и экономики, при этом Сингапур оказался лидером по всем показателям. [30]
В этом выпуске приняли участие Ливан и китайские провинции/муниципалитеты Пекин , Шанхай , Цзянсу и Чжэцзян , но их результаты не были опубликованы, поскольку они не смогли полностью собрать данные из-за ограничений, связанных с COVID. [31]
Из-за полномасштабного вторжения России в Украину , только 18 из 27 украинских регионов собрали свои данные, поэтому результаты не являются репрезентативными для следующих регионов: Днепропетровская область , Донецкая область , Харьковская область , Луганская область , Запорожская область , Херсонская область , Николаевская область , Автономная Республика Крым и город Севастополь . [32]
Участие Китая в тесте 2012 года было ограничено Шанхаем , Гонконгом и Макао как отдельными субъектами. В 2012 году Шанхай участвовал во второй раз, снова возглавив рейтинг по всем трем предметам, а также улучшив результаты по предметам по сравнению с тестами 2009 года. Результат Шанхая в 613 баллов по математике был на 113 баллов выше среднего балла, что поставило успеваемость шанхайских школьников примерно на 3 учебных года выше, чем у школьников в средних странах. Эксперты в области образования спорили о том, в какой степени этот результат отражает качество общей образовательной системы в Китае , указывая на то, что Шанхай имеет большее богатство и более высокооплачиваемых учителей, чем остальной Китай. [39] Гонконг занял второе место по чтению и естествознанию и третье место по математике.
Андреас Шлейхер , руководитель и координатор отдела PISA, заявил, что тесты PISA, проведенные в сельских районах Китая, дали некоторые результаты, приближающиеся к среднему показателю ОЭСР. Ссылаясь на еще не опубликованные исследования ОЭСР, он сказал: «Мы фактически провели Pisa в 12 провинциях Китая. Даже в некоторых очень бедных районах вы получаете результаты, близкие к среднему показателю ОЭСР». [40] Шлейхер считает, что Китай также расширил доступ к школам и отошел от зубрежки, [41] показав хорошие результаты как в зубрежке, так и в более широких оценках. [40]
В 2018 году в исследовании приняли участие следующие китайские провинции: Пекин , Шанхай , Цзянсу и Чжэцзян . В 2015 году в исследовании приняли участие провинции Цзянсу, Гуандун , Пекин и Шанхай. [42] В 2015 году когорта Пекин-Шанхай-Цзянсу-Гуандун набрала в среднем 518 баллов по науке, а в 2012 году когорта Шанхая набрала в среднем 580 баллов.
Критики PISA возражают, что в Шанхае и других китайских городах большинство детей рабочих-мигрантов могут посещать городские школы только до девятого класса и должны возвращаться в родные города своих родителей для поступления в старшую школу из-за ограничений хукоу , тем самым искажая состав учащихся старших классов города в пользу более богатых местных семей. Диаграмма населения Шанхая, воспроизведенная в The New York Times, показывает резкое падение числа проживающих там 15-летних детей. [43] По словам Шлейхера, 27% 15-летних детей Шанхая исключены из школьной системы (и, следовательно, из тестирования). В результате процент 15-летних детей Шанхая, протестированных PISA, составил 73%, что ниже 89%, протестированных в США. [44] После тестирования 2015 года ОЭСР опубликовала углубленные исследования систем образования нескольких выбранных стран, включая Китай. [45]
В 2014 году Лиз Трасс , заместитель министра образования Великобритании , провела ознакомительный визит в школы и центры подготовки учителей в Шанхае. [46] Великобритания расширила обмены с китайскими учителями и школами, чтобы выяснить, как улучшить качество. В 2014 году 60 учителей из Шанхая были приглашены в Великобританию, чтобы поделиться своими методами обучения, поддержать учеников, которые испытывают трудности, и помочь в обучении других учителей. [47] В 2016 году Великобритания пригласила 120 китайских учителей, планируя внедрить китайские стили обучения в 8000 субсидируемых школ. [48] К 2019 году около 5000 из 16000 начальных школ Великобритании внедрили шанхайские методы обучения. [49] Результаты британских школ в PISA улучшились после внедрения китайских стилей обучения. [50] [51]
Финляндия, которая получила несколько верхних позиций в первых тестах, упала по всем трем предметам в 2012 году, но осталась страной с лучшими результатами в целом в Европе, достигнув своего лучшего результата по естествознанию с 545 баллами (5-е место) и худшего по математике с 519 баллами (12-е место), в которой страна уступила четырем другим европейским странам. Падение по математике составило 25 баллов с 2003 года, когда в последний раз математика была в центре внимания тестов. Впервые финские девочки превзошли мальчиков по математике с небольшим отрывом. Это также был первый случай, когда ученики в финноязычных школах не показали лучших результатов, чем ученики в шведоязычных школах. Бывший министр образования и науки Криста Киуру выразила обеспокоенность общим падением, а также тем фактом, что количество неуспевающих увеличилось с 7% до 12%. [52]
Индия участвовала в раунде тестирования 2009 года, но вышла из тестирования PISA 2012 года, поскольку индийское правительство объяснило свои действия несправедливостью тестирования PISA по отношению к индийским студентам. [53] Индия заняла 72-е место из 73 стран, протестированных в 2009 году. [54] Indian Express сообщила: «Министерство (образования) пришло к выводу, что между вопросами и индийскими студентами существует социально-культурный разрыв. Министерство напишет в ОЭСР и донесет до них необходимость учитывать «социально-культурную среду» Индии. Участие Индии в следующем цикле PISA будет зависеть от этого». [55] Indian Express также отметила, что «Учитывая, что в PISA участвуют более 70 стран, неизвестно, будет ли сделано исключение для Индии».
Индия не участвовала в раундах PISA 2012, 2015 и 2018 годов. [56]
Комитет Kendriya Vidyalaya Sangathan (KVS), а также группа секретарей по образованию, созданная премьер-министром Индии Нарендрой Моди, рекомендовали Индии принять участие в PISA. Соответственно, в феврале 2017 года Министерство развития человеческих ресурсов под руководством Пракаша Джавадекара приняло решение прекратить бойкот и принять участие в PISA с 2020 года. Чтобы устранить социально-культурный разрыв между вопросами теста и студентами, сообщалось, что ОЭСР обновит некоторые вопросы. Например, слово авокадо в вопросе может быть заменено на более популярный индийский фрукт, такой как манго. [57]
Индия не участвовала в раундах PIS 2022 года, сославшись на сбои в работе из-за пандемии COVID-19 . [58]
В 2015 году ОЭСР обнаружила, что результаты опроса в Малайзии не достигли максимального уровня ответов. [59] Оппозиционный политик Онг Киан Мин заявил, что министерство образования пыталось провести избыточную выборку среди учащихся с высокими показателями в богатых школах. [60] [61]
Результаты Швеции упали по всем трем предметам в тесте 2012 года, что стало продолжением тенденции 2006 и 2009 годов. Самое резкое падение было зафиксировано в успеваемости по математике: с 509 баллов в 2003 году до 478 баллов в 2012 году. Оценка по чтению упала с 516 баллов в 2000 году до 483 баллов в 2012 году. Страна показала результаты ниже среднего показателя по ОЭСР по всем трем предметам. [62] Лидер оппозиции, социал-демократ Стефан Лёвен , охарактеризовал ситуацию как национальный кризис. [63] Вместе с представителем партии по вопросам образования Ибрагимом Байланом он указал на тенденцию к снижению показателей чтения как на самую серьезную. [63]
В 2020 году шведская газета Expressen сообщила, что Швеция завысила свои баллы в PISA 2018, не соответствуя стандартам ОЭСР. По словам профессора Магнуса Хенрексона, большое количество иностранных студентов не прошли тестирование. [64] Согласно статье Sveriges Radio, плохие баллы детей-иммигрантов являются существенной причиной недавнего снижения шведских баллов Pisa.
В тесте 2012 года, как и в 2009 году, результат был немного выше среднего для Соединенного Королевства, причем рейтинг по науке был самым высоким (20). [65] Англия , Уэльс , Шотландия и Северная Ирландия также участвовали как отдельные субъекты, показав худший результат для Уэльса, который по математике был 43-м из 65 стран и экономик. Министр образования Уэльса Хью Льюис выразил разочарование результатами, сказал, что не было никаких «быстрых исправлений», но надеялся, что несколько образовательных реформ, которые были реализованы в последние несколько лет, дадут лучшие результаты в следующем раунде тестов. [66] В Соединенном Королевстве разрыв между учениками с высокими и низкими баллами был больше, чем в среднем. Была небольшая разница между государственными и частными школами, если скорректировать социально-экономическое положение учеников. Гендерное различие в пользу девочек было меньше, чем в большинстве других стран, как и разница между коренными жителями и иммигрантами. [65]
В своей статье в Daily Telegraph Эмброуз Эванс-Притчард предостерег от чрезмерного акцента на международном рейтинге Великобритании, утверждая, что чрезмерный акцент на академических достижениях в Восточной Азии мог способствовать низкому уровню рождаемости в регионе , что, по его мнению, может нанести больший вред экономическим показателям в будущем, чем перевесит хороший результат PISA. [67]
В 2013 году в Times Educational Supplement (TES) была опубликована статья Уильяма Стюарта «Имеет ли PISA фундаментальные недостатки?», в которой подробно излагалась серьезная критика концептуальных основ и методов PISA, предложенных статистиками из крупных университетов. [68]
В статье цитируется профессор Харви Голдштейн из Бристольского университета , который сказал, что когда ОЭСР пытается исключить вопросы, подозреваемые в предвзятости, это может иметь эффект «сглаживания» ключевых различий между странами. «Это упускает из виду многие важные вещи», — предупредил он. «Их просто не комментируют. То, на что вы смотрите, — это то, что случается часто. Но (стоит ли это) смотреть? Результаты PISA принимаются за чистую монету, как предоставление некоего общего стандарта для стран. Но как только вы начинаете это разбирать, я думаю, все разваливается».
Математик из Университета Квинс в Белфасте доктор Хью Моррисон заявил, что он обнаружил, что статистическая модель, лежащая в основе PISA, содержит фундаментальную, неразрешимую математическую ошибку, которая делает рейтинги Pisa «бесполезными». [69] Голдштейн заметил, что возражение доктора Моррисона подчеркивает «важную техническую проблему», если не «глубокую концептуальную ошибку». Однако Голдштейн предупредил, что PISA «использовалась ненадлежащим образом», утверждая, что часть вины за это «лежит на самой PISA. Я думаю, что она имеет тенденцию говорить слишком много о том, что она может сделать, и имеет тенденцию не публиковать негативные или слабые аспекты». Профессора Моррисон и Голдштейн выразили тревогу по поводу реакции ОЭСР на критику. Моррисон сказал, что когда он впервые опубликовал свою критику PISA в 2004 году, а также лично спросил нескольких «старших людей» ОЭСР о них, его доводы были встречены «абсолютным молчанием» и до сих пор не рассмотрены. «Я был поражен тем, насколько они были необщительны», — сказал он TES. «Это вызывает у меня подозрения». «Pisa упорно игнорировала многие из этих проблем», — говорит он. «Я все еще обеспокоен». [70]
Профессор Свенд Крайнер из Копенгагенского университета согласился: «Одна из проблем, с которой сталкиваются все, связанная с PISA, заключается в том, что они не хотят обсуждать вопросы с людьми, критикующими или задающими вопросы относительно результатов. Они вообще не хотели со мной разговаривать. Я уверен, что это потому, что они не могут защитить себя». [70]
С 2012 года несколько штатов участвовали в тестах PISA как отдельные субъекты. Только результаты 2012 и 2015 годов доступны на уровне штатов. Пуэрто-Рико также участвовал в 2015 году как отдельный субъект США.
Хотя должностные лица и исследователи PISA и TIMSS обычно воздерживаются от выдвижения гипотез о больших и стабильных различиях в успеваемости учащихся между странами, с 2000 года появилась литература о различиях в результатах PISA и TIMSS и их возможных причинах. [72] Данные PISA предоставили нескольким исследователям, в частности Эрику Ханушеку , Людгеру Вёссманну , Хайнеру Риндерманну и Стивену Дж. Сеси, материал для книг и статей о взаимосвязи между успеваемостью учащихся и экономическим развитием, [73] демократизацией и здоровьем; [74] а также о роли таких отдельных образовательных факторов, как экзамены с высокими ставками, [75] наличие или отсутствие частных школ и эффекты и сроки отслеживания способностей. [76]
Дэвид Шпигельхальтер из Кембриджа писал: «Pisa действительно демонстрирует неопределенность в оценках и рейтингах — например, рейтинг Соединенного Королевства среди 65 стран, как говорят, находится между 23 и 31. Странам неразумно основывать образовательную политику на своих результатах Pisa, как это сделали Германия , Норвегия и Дания после неудачных результатов в 2001 году» . [77]
Согласно статье Forbes , некоторые страны, такие как Китай , Гонконг , Макао и Аргентина, отбирают образцы для PISA только из наиболее образованных регионов или из своих наиболее успевающих учеников, искажая результаты. [78]
Согласно открытому письму Андреасу Шлейхеру , директору PISA, различные ученые и педагоги утверждали, что «тесты ОЭСР и PISA наносят ущерб образованию во всем мире». [79]
По данным O Estado de São Paulo , в Бразилии наблюдается большое неравенство при классификации результатов между государственными и частными школами: государственные школы оказались бы хуже, чем в Перу, а частные школы — лучше, чем в Финляндии. [80]
Результаты PISA 2006 по грамотности чтения не сообщаются для Соединенных Штатов из-за ошибки в печати тестовых буклетов. Кроме того, из-за ошибки в печати средняя успеваемость по математике и естественным наукам может быть неверно оценена примерно на 1 балл. Влияние ниже одной стандартной ошибки.