Программа международной оценки учащихся ( PISA ) — это всемирное исследование, проводимое Организацией экономического сотрудничества и развития (ОЭСР) в странах-членах и не входящих в нее странах, целью которого является оценка систем образования путем измерения успеваемости 15-летних школьников. по математике, естествознанию и чтению. [1] Впервые оно было исполнено в 2000 году, а затем повторялось каждые три года. Его цель – предоставить сопоставимые данные, которые позволят странам улучшить свою политику и результаты в области образования. Он измеряет решение проблем и познание. [2]
Результаты сбора данных за 2022 год были опубликованы в декабре 2023 года. [3]
PISA и аналогичные международные стандартизированные оценки уровня образования все чаще используются в процессе разработки политики в области образования как на национальном, так и на международном уровне. [4]
PISA была задумана для того, чтобы представить в более широком контексте информацию, предоставляемую национальным мониторингом эффективности системы образования посредством регулярных оценок в рамках общей, согласованной на международном уровне структуры; исследуя взаимосвязь между обучением учащихся и другими факторами, они могут «предложить понимание источников различий в успеваемости внутри стран и между ними». [5]
До 1990-х годов лишь немногие европейские страны использовали национальные тесты. В 1990-х годах десять стран/регионов ввели стандартизированное оценивание, а с начала 2000-х годов этому примеру последовали еще десять. К 2009 году только пять европейских систем образования не имели национальных оценок учащихся. [4]
Влияние этих международных стандартизированных оценок в области образовательной политики было значительным с точки зрения создания новых знаний , изменений в политике оценивания и внешнего влияния на национальную образовательную политику в более широком смысле. [6] [7] [8]
Данные международных стандартизированных оценок могут быть полезны при исследовании причинных факторов внутри или между системами образования. [4] Монс отмечает, что базы данных, созданные в результате крупномасштабных международных оценок, позволили провести инвентаризацию и сравнение систем образования в беспрецедентном масштабе* по различным темам, от условий обучения математике и чтению до институциональной автономии и приема. политики. [9] Они позволяют разрабатывать типологии, которые можно использовать для сравнительного статистического анализа показателей эффективности образования, тем самым определяя последствия различных политических решений. Они породили новые знания об образовании: результаты PISA поставили под сомнение глубоко укоренившиеся образовательные практики, такие как раннее сопровождение учащихся к профессиональному или академическому пути. [10]
Баррозу и де Карвальо считают, что PISA обеспечивает общий справочник, соединяющий академические исследования в области образования и политическую сферу государственной политики, действуя в качестве посредника между различными направлениями знаний из сферы образования и государственной политики. [11] Однако, хотя ключевые выводы сравнительных оценок широко разделяются в исследовательском сообществе [4], знания, которые они создают, не обязательно соответствуют программам правительственных реформ; это приводит к ненадлежащему использованию данных оценки.
Новые исследования показывают, что международные стандартизированные оценки оказывают влияние на национальную политику и практику оценки. PISA интегрируется в национальную политику и практику оценки, стандартов учебной программы и целевых показателей эффективности; ее системы и инструменты оценки используются в качестве моделей передового опыта для улучшения национальных оценок; многие страны явно включили и подчеркивают компетенции, подобные PISA, в пересмотренные национальные стандарты и учебные программы; другие используют данные PISA для дополнения национальных данных и проверки национальных результатов по сравнению с международными контрольными показателями. [10]
PISA может влиять на выбор национальной политики в области образования различными способами. Участие в международных оценках, таких как PISA, связано со значительными изменениями и результатами политики в области образования, такими как более высокий набор студентов и реформы образования. [6] Однако критики утверждают, что участие может привести к нежелательным результатам, таким как более высокий уровень второгодничества и сужение учебных программ. [7] Влияние PISA также может варьироваться в зависимости от условий конкретной страны. [12]
Политики в большинстве стран-участниц рассматривают PISA как важный индикатор эффективности системы; Отчеты PISA могут определить политические проблемы и определить повестку дня для дебатов по национальной политике; политики, похоже, принимают PISA как действительный и надежный инструмент для международного сравнительного анализа эффективности системы и изменений с течением времени; большинство стран – независимо от того, достигли ли они среднего балла PISA, на уровне или ниже – начали политические реформы в ответ на отчеты PISA. [10]
При этом воздействие на национальные системы образования заметно различается. Например, в Германии результаты первой оценки PISA вызвали так называемый «шок PISA»: сомнение в ранее принятой образовательной политике; в государстве, характеризующемся ревностно охраняемыми региональными политическими различиями, это в конечном итоге привело к соглашению всех земель о введении общих национальных стандартов и даже институционализированной структуры для обеспечения их соблюдения. [13] Для сравнения, в Венгрии, где условия схожи с Германией, результаты PISA не привели к существенным изменениям в образовательной политике. [14]
Поскольку многие страны установили национальные целевые показатели, основанные на их относительном рейтинге или абсолютном балле PISA, оценки PISA увеличили влияние их (неизбираемого) уполномоченного органа, ОЭСР, как международного наблюдателя за образованием и политического субъекта, что подразумевает важную роль степень «переноса политики» с международного уровня на национальный; PISA, в частности, оказывает «влиятельное нормативное влияние на направление национальной политики в области образования». [10] Таким образом, утверждается, что использование международных стандартизированных оценок привело к сдвигу в сторону международной, внешней подотчетности за эффективность национальной системы; Рей утверждает, что опросы PISA, изображаемые как объективные, сторонние диагнозы систем образования, на самом деле способствуют развитию определенных взглядов на образовательные вопросы. [4]
Представители национальной политики обращаются к странам с высокими показателями PISA, чтобы «помочь легитимизировать и оправдать намеченную программу реформ в рамках оспариваемых национальных политических дебатов». [15] Данные PISA могут «использоваться для разжигания давних дебатов вокруг уже существовавших конфликтов или соперничества между различными вариантами политики, например, во Французском сообществе Бельгии». [16] В таких случаях данные оценки PISA используются выборочно: в публичном дискурсе правительства часто используют лишь поверхностные характеристики исследований PISA, такие как рейтинги стран, а не более детальный анализ. Рей (2010:145, цитируя Грегера, 2008) отмечает, что часто реальные результаты оценок PISA игнорируются, поскольку политики выборочно обращаются к данным, чтобы узаконить политику, проводимую по другим причинам. [17]
Кроме того, международные сравнения PISA могут использоваться для обоснования реформ, с которыми сами данные не имеют никакого отношения; в Португалии, например, данные PISA использовались для обоснования новых механизмов оценки учителей (на основе выводов, которые не были подтверждены самими оценками и данными); они также подпитывали дискуссию правительства о проблеме повторного обучения учащихся (что, согласно исследованиям, не улучшает успеваемость учащихся). [18] В Финляндии результаты PISA (которые в других странах считаются отличными) использовались министрами для продвижения новой политики в отношении «одаренных» учащихся. [19] Такое использование и интерпретация часто предполагают причинно-следственные связи, которые не могут быть обоснованно основаны на данных PISA, которые обычно требуют более полного изучения посредством качественных углубленных исследований и лонгитудинальных исследований, основанных на смешанных количественных и качественных методах, [20] которым политики часто сопротивляются. финансировать.
В последние десятилетия произошло расширение использования PISA и подобных оценок: от оценки успеваемости учащихся до соединения «образовательной сферы (их традиционной компетенции) с политической сферой». [21] Это поднимает вопрос о том, являются ли данные PISA достаточно надежными, чтобы выдержать вес основных политических решений, которые основаны на них, поскольку, по мнению Брейкспира, данные PISA «приходят во все большей степени формировать, определять и оценивать ключевые цели национальной/федеральной системы образования». [10] Это означает, что те, кто разрабатывает тесты PISA – например, выбирая содержание, которое будет оцениваться, а не оценивается – обладают значительной властью, чтобы определять условия дебатов в области образования и ориентировать образовательную реформу во многих странах вокруг Глобус. [10]
PISA является продолжением традиции международных школьных исследований, проводимых с конца 1950-х годов Международной ассоциацией по оценке образовательных достижений (IEA). Большая часть методологии PISA следует примеру « Тенденций в международных исследованиях в области математики и естественных наук» (TIMSS, начатого в 1995 году), на который, в свою очередь, большое влияние оказала Национальная оценка прогресса в образовании США (NAEP). Компонент чтения PISA основан на результатах Международного исследования читательской грамотности (PIRLS), проведенного МЭА.
PISA направлена на проверку грамотности и компетентности учащихся в трех областях: чтение, математика, естественные науки по неопределенному масштабу. [22]
Тест PISA на математическую грамотность предлагает учащимся применять свои математические знания для решения задач, возникающих в реальных условиях. Для решения задач студенты должны активизировать ряд математических компетенций, а также широкий спектр знаний математического содержания. TIMSS, с другой стороны, измеряет более традиционное содержание занятий, такое как понимание дробей и десятичных знаков и взаимосвязь между ними (усвоение учебной программы). PISA утверждает, что измеряет применение образования для решения реальных проблем и обучения на протяжении всей жизни (знания рабочей силы).
В тесте по чтению «ОЭСР/PISA не измеряет, насколько 15-летние учащиеся свободно читают или насколько они компетентны в задачах по распознаванию слов или написанию». Вместо этого они должны быть способны «конструировать, расширять и размышлять над смыслом прочитанного в широком диапазоне непрерывных и прерывистых текстов». [23]
PISA также оценивает учащихся в инновационных областях. В 2012 и 2015 годах, помимо чтения, математики и естественных наук, они прошли тестирование на совместное решение задач. В 2018 году дополнительным инновационным направлением стала глобальная компетенция.
PISA спонсируется, управляется и координируется ОЭСР, но оплачивается странами-участницами. [ нужна цитата ]
Учащиеся, прошедшие тестирование PISA, имеют возраст от 15 лет и 3 месяцев до 16 лет и 2 месяцев на начало периода оценки. Год обучения учащихся не учитывается. Тестированию подвергаются только учащиеся школы, а не обучающиеся на дому. Однако в исследовании PISA 2006 несколько стран также использовали выборку учащихся по классам. Это позволило изучить, как взаимодействуют возраст и учебный год.
Чтобы выполнить требования ОЭСР, каждая страна должна собрать выборку из не менее 5000 студентов. В небольших странах, таких как Исландия и Люксембург , где обучается менее 5000 студентов в год, тестируется вся возрастная группа. Некоторые страны использовали гораздо большие выборки, чем требовалось для сравнения между регионами.
Каждый студент проходит двухчасовой компьютерный тест. Часть теста предполагает выбор из нескольких вариантов, а часть предполагает более полные ответы. Оценочный материал рассчитан на шесть с половиной часов, но каждый студент не проверяется по всем частям. После когнитивного теста участвующие учащиеся тратят еще почти час, отвечая на анкету о своем прошлом, включая привычки обучения, мотивацию и семью. Директора школ заполняют анкету, описывающую демографические данные школы, финансирование и т. д. В 2012 году участникам впервые в истории крупномасштабного тестирования и оценки был предложен новый тип задач, то есть интерактивные (сложные) задачи, требующие исследования. нового виртуального устройства. [24] [25]
В отдельных странах PISA начала экспериментировать с компьютерным адаптивным тестированием .
Странам разрешено комбинировать PISA с дополнительными национальными тестами.
Германия делает это очень широко: на следующий день после международного теста учащиеся сдают национальный тест под названием PISA-E (E = Ergänzung = дополнение). Тестовые задания PISA-E ближе к TIMSS, чем к PISA. В то время как только около 5000 немецких студентов участвуют в международном и национальном тесте, еще 45 000 сдают только национальный тест. Эта большая выборка необходима для проведения анализа по федеральным штатам. После разногласий по поводу интерпретации результатов 2006 года ОЭСР предупредила Германию, что она может лишить права использовать маркировку «PISA» для национальных тестов. [26]
С самого начала PISA разрабатывалась с учетом одного конкретного метода анализа данных. Поскольку учащиеся работают над разными тестовыми буклетами, исходные баллы необходимо «масштабировать», чтобы обеспечить возможность значимого сравнения. Таким образом, баллы масштабируются таким образом, чтобы средний балл по ОЭСР в каждой области (математика, чтение и естествознание) составлял 500, а стандартное отклонение составляло 100. [27] Это верно только для начального цикла PISA, когда шкала была впервые введена, однако последующие циклы связаны с предыдущими циклами с помощью методов привязки шкалы IRT. [28]
Эта генерация оценок квалификации выполняется с использованием скрытого регрессионного расширения модели Раша , модели теории ответа на предмет (IRT), также известной как модель кондиционирования или популяционная модель. Оценки квалификации предоставляются в форме так называемых правдоподобных значений, которые позволяют объективно оценить различия между группами. Скрытая регрессия вместе с использованием гауссовского априорного распределения вероятностей компетенций студентов позволяет оценить распределение навыков групп участвующих студентов. [29] Процедуры масштабирования и кондиционирования описаны почти идентичными терминами в Технических отчетах PISA 2000, 2003, 2006 гг. NAEP и TIMSS используют схожие методы масштабирования.
Все результаты PISA сгруппированы по странам; последние циклы PISA имеют отдельные провинциальные или региональные результаты для некоторых стран. Основное внимание общественности концентрируется только на одном результате: средних баллах стран и их рейтингах стран по отношению друг к другу. Однако в официальных отчетах рейтинги по странам приводятся не в виде простых рейтинговых таблиц, а в виде перекрестных таблиц, показывающих для каждой пары стран, являются ли различия в средних баллах статистически значимыми (вряд ли это связано со случайными колебаниями в выборке студентов). или в работе изделия). В благоприятных случаях разница в 9 баллов достаточна, чтобы считаться значимой. [ нужна цитата ]
PISA никогда не объединяет оценки по математике, естествознанию и чтению в общий балл. Однако комментаторы иногда объединяли результаты тестов по всем трем областям в общий рейтинг страны. Подобный метаанализ не одобряется ОЭСР, хотя в официальных отчетах иногда используются баллы по основной области цикла тестирования в качестве показателя общих способностей учащихся.
Результаты PISA 2018 были представлены 3 декабря 2019 года и включали данные примерно по 600 000 участвующих студентов из 79 стран и экономик, при этом экономические районы Китая Пекин , Шанхай , Цзянсу и Чжэцзян стали лидерами по всем категориям. [30] Обратите внимание, что это не весь материковый Китай. [31] Результаты чтения по Испании не были опубликованы из-за предполагаемых аномалий. [32]
(Китай) Участие Китая в испытаниях 2012 года ограничивалось Шанхаем , Гонконгом и Макао как отдельными субъектами. В 2012 году Шанхай участвовал во второй раз, снова возглавив рейтинг по всем трем предметам, а также улучшив результаты по этим предметам по сравнению с тестами 2009 года. Результат Шанхая по математике, равный 613, на 113 баллов выше среднего балла, в результате чего успеваемость шанхайских учеников примерно на 3 учебных года выше, чем у учеников в средних странах. Эксперты в области образования обсуждали, в какой степени этот результат отражает качество общей образовательной системы в Китае , отмечая, что в Шанхае больше богатства и более высокооплачиваемые учителя, чем в остальном Китае. [39] Гонконг занял второе место по чтению и естествознанию и третье место по математике.
Андреас Шлейхер , руководитель и координатор отдела PISA, заявил, что тесты PISA, проведенные в сельских районах Китая, дали некоторые результаты, приближающиеся к средним показателям по ОЭСР. Ссылаясь на еще неопубликованные исследования ОЭСР, он сказал: «На самом деле мы реализовали Пизанскую программу в 12 провинциях Китая. Даже в некоторых очень бедных районах результаты близки к средним показателям по ОЭСР». [40] Шлейхер считает, что Китай также расширил доступ к школе и отошел от механического обучения, [41] продемонстрировав хорошие результаты как при механическом, так и при более широком оценивании. [40]
В 2018 году в нем участвовали китайские провинции Пекин , Шанхай , Цзянсу и Чжэцзян . В 2015 году участниками проекта были Цзянсу, Гуандун , Пекин и Шанхай. [42] В 2015 году когорта Пекин-Шанхай-Цзянсу-Гуандун в 2015 году набрала средний балл по науке 518, а в Шанхае 2012 года — 580.
Критики PISA возражают, что в Шанхае и других городах Китая большинство детей рабочих-мигрантов могут посещать городские школы только до девятого класса и должны вернуться в родные города своих родителей для получения средней школы из-за ограничений Хукоу , тем самым искажая состав старшеклассников города в пользу более богатых местных семей. Карта населения Шанхая, воспроизведенная в The New York Times, показывает резкое снижение числа проживающих там 15-летних подростков. [43] По данным Шлейхера, 27% 15-летних шанхайских школьников исключены из школьной системы (и, следовательно, из тестирования). В результате процент 15-летних шанхайцев, прошедших тестирование PISA, составил 73%, что ниже, чем 89%, протестированных в США. [44] После тестирования 2015 года ОЭСР опубликовала углубленные исследования систем образования в нескольких избранных странах, включая Китай. [45]
В 2014 году Лиз Трасс , заместитель государственного секретаря британского парламента в Министерстве образования , провела ознакомительную поездку в школы и центры подготовки учителей в Шанхае. [46] Великобритания активизировала обмены с китайскими учителями и школами, чтобы выяснить, как улучшить качество обучения. В 2014 году 60 учителей из Шанхая были приглашены в Великобританию, чтобы поделиться своими методами обучения, поддержать учеников, которые испытывают трудности, и помочь в обучении других учителей. [47] В 2016 году Великобритания пригласила 120 китайских учителей, планируя внедрить китайский стиль преподавания в 8000 финансируемых школ. [48] К 2019 году примерно 5000 из 16000 начальных школ Великобритании переняли шанхайские методы обучения. [49] Показатели британских школ в PISA улучшились после принятия китайского стиля преподавания. [50] [51]
Финляндия, получившая несколько верхних позиций в первых тестах, в 2012 году упала по всем трем предметам, но осталась страной с лучшими показателями в целом в Европе, достигнув лучшего результата по естествознанию с 545 баллами (5-е место) и худшего по математике с 519 (12-е место). ), в котором страна уступила четырем другим европейским странам. Падение по математике составило 25 баллов с 2003 года, когда в последний раз математика была в центре внимания тестов. Впервые финские девочки незначительно превзошли мальчиков по математике. Кроме того, это был первый случай, когда ученики финноязычных школ показали не лучшие результаты, чем ученики шведоязычных школ. Бывший министр образования и науки Криста Киуру выразила обеспокоенность по поводу общего падения, а также того, что число неуспевающих увеличилось с 7% до 12%. [52]
Индия участвовала в тестировании 2009 года, но отказалась от тестирования PISA 2012 года, а правительство Индии объяснило свои действия несправедливостью тестирования PISA по отношению к индийским учащимся. [53] Индия заняла 72-е место из 73 стран, протестированных в 2009 году. [54] Газета Indian Express сообщила: «Министерство (образования) пришло к выводу, что существует социокультурный разрыв между вопросами и индийскими студентами. напишите в ОЭСР и докажите необходимость учитывать «социо-культурную среду» Индии. От этого будет зависеть участие Индии в следующем цикле PISA». [55] Газета Indian Express также отметила, что «учитывая, что в PISA участвуют более 70 стран, неясно, будет ли сделано исключение для Индии».
Индия не участвовала в раундах PISA 2012, 2015 и 2018 годов. [56]
Комитет Кендрии Видьялая Сангатан (KVS), а также группа секретарей по образованию, созданная премьер- министром Индии Нарендрой Моди, рекомендовали Индии принять участие в PISA. Соответственно, в феврале 2017 года Министерство развития человеческих ресурсов под руководством Пракаша Джавадекара решило прекратить бойкот и участвовать в PISA с 2020 года. Сообщалось, что, чтобы устранить социокультурный разрыв между тестовыми вопросами и учащимися, ОЭСР обновит некоторые вопросы. Например, слово авокадо в вопросе можно заменить более популярным индийским фруктом, например манго. [57]
В 2015 году ОЭСР обнаружила, что результаты из Малайзии не соответствуют максимальному уровню ответов. [58] Оппозиционный политик Онг Киан Минг заявил, что министерство образования пыталось отобрать высокоуспевающих учащихся в богатых школах. [59] [60]
Результат Швеции упал по всем трем предметам в тесте 2012 года, что стало продолжением тенденции 2006 и 2009 годов. В Швеции наблюдалось самое резкое падение успеваемости по математике: баллы упали с 509 в 2003 году до 478 в 2012 году. Результаты по чтению показатель снизился с 516 в 2000 году до 483 в 2012 году. По всем трем предметам страна оказалась ниже среднего показателя по ОЭСР. [61] Лидер оппозиции, социал-демократ Стефан Лёвен , назвал ситуацию национальным кризисом. [62] Вместе с представителем партии по вопросам образования Ибрагимом Байланом он указал на тенденцию к снижению уровня чтения как на наиболее серьезную. [62]
В 2020 году шведская газета Expressen сообщила, что Швеция завысила свой балл в PISA 2018 из-за несоответствия стандартам ОЭСР. По словам профессора Магнуса Хенрексона, большое количество студентов иностранного происхождения не прошли тестирование. [63] Согласно статье Sveriges Radio, плохие оценки детей-иммигрантов являются важной причиной недавнего снижения результатов шведской Пизы.
В тесте 2012 года, как и в 2009 году, результат был немного выше среднего по Великобритании, при этом научный рейтинг был самым высоким (20). [64] Англия , Уэльс , Шотландия и Северная Ирландия также участвовали как отдельные образования, показав худший результат для Уэльса, который по математике был 43-м из 65 стран и экономик. Министр образования Уэльса Хью Льюис выразил разочарование результатами, заявил, что «быстрых решений» не существует, но выразил надежду, что несколько образовательных реформ, реализованных за последние несколько лет, дадут лучшие результаты в следующем раунде испытаний. [65] В Соединенном Королевстве разрыв между студентами с высокими и низкими баллами был больше, чем в среднем. С учетом социально-экономического положения учащихся разница между государственными и частными школами была небольшой. Гендерная разница в пользу девочек была меньше, чем в большинстве других стран, как и разница между местными жителями и иммигрантами. [64]
В статье для Daily Telegraph Эмброуз Эванс-Притчард предостерег от слишком большого внимания к международному рейтингу Великобритании, утверждая, что чрезмерный акцент на научных достижениях в Восточной Азии мог способствовать низкому уровню рождаемости в этом регионе, что, по его мнению, может нанести вред экономическим показателям в будущее перевесит не только хорошая оценка PISA. [66]
В 2013 году образовательное приложение Times (TES) опубликовало статью «Является ли PISA фундаментально ошибочным?» Уильям Стюарт, подробно критикующий концептуальные основы и методы PISA, предложенные статистиками крупных университетов. [67]
В статье профессор Харви Гольдштейн из Бристольского университета заявил, что, когда ОЭСР пытается исключить вопросы, подозреваемые в предвзятости, это может привести к «сглаживанию» ключевых различий между странами. «Это упускает из виду многие важные вещи», - предупредил он. «Их просто не комментируют. То, на что вы смотрите, является чем-то общим. Но (стоит ли на это) смотреть? Результаты PISA принимаются за чистую монету как обеспечивающие некий общий стандарт для всех стран. Но как только начнешь его расковыривать, я думаю, что все развалится».
Математик из Королевского университета в Белфасте доктор Хью Моррисон заявил, что он обнаружил, что статистическая модель, лежащая в основе PISA, содержит фундаментальную, неразрешимую математическую ошибку, которая делает рейтинги PISA «бесполезными». [68] Гольдштейн заметил, что возражение доктора Моррисона подчеркивает «важную техническую проблему», если не «глубокую концептуальную ошибку». Однако Гольдштейн предупредил, что PISA «использовалась ненадлежащим образом», заявив, что часть вины за это «возлагается на саму PISA. более слабые стороны». Профессора Моррисон и Гольдштейн выразили тревогу по поводу реакции ОЭСР на критику. Моррисон сказал, что, когда он впервые опубликовал свою критику PISA в 2004 году, а также лично расспросил о ней нескольких «высокопоставленных лиц» ОЭСР, его замечания были встречены «абсолютным молчанием» и до сих пор не были рассмотрены. «Я был поражен тем, насколько они неразговорчивы», — сказал он TES. «Это вызывает у меня подозрения». «Пиза упорно игнорировала многие из этих проблем», — говорит он. «Я все еще обеспокоен». [69]
Профессор Свенд Крейнер из Копенгагенского университета согласился: «Одна из проблем, с которой каждый сталкивается с PISA, заключается в том, что они не хотят обсуждать вещи с людьми, критикующими или задающими вопросы относительно результатов. Я вообще. Я уверен, что это потому, что они не могут защитить себя. [69]
С 2012 года несколько штатов приняли участие в тестах PISA как отдельные организации. По штатам доступны только результаты за 2012 и 2015 годы. Пуэрто-Рико также участвовало в 2015 году как отдельная организация США.
Хотя сами чиновники и исследователи PISA и TIMSS обычно воздерживаются от выдвижения гипотез о больших и стабильных различиях в успеваемости учащихся между странами, с 2000 года появилась литература о различиях в результатах PISA и TIMSS и их возможных причинах. [71] Данные PISA предоставили нескольким исследователям, в частности Эрику Ханушеку , Людгеру Вёссману , Хайнеру Риндерманну и Стивену Дж. Сеси, материал для книг и статей о взаимосвязи между успеваемостью учащихся и экономическим развитием, [72] демократизацией и здоровьем. ; [73] , а также роль таких отдельных образовательных факторов, как экзамены с высокими ставками, [74] наличие или отсутствие частных школ, а также влияние и сроки отслеживания способностей. [75]
Дэвид Шпигельхальтер из Кембриджа писал: «Пиза действительно представляет собой неопределенность в оценках и рейтингах - например, рейтинг Соединенного Королевства среди 65 стран, как говорят, находится между 23 и 31. Со стороны стран неразумно основывать образовательную политику на своих результатах в Пизе. как это сделали Германия , Норвегия и Дания после неудач в 2001 году». [76]
Согласно статье Forbes , некоторые страны, такие как Китай , Гонконг , Макао и Аргентина , отбирают образцы PISA только из наиболее образованных регионов или из своих лучших учеников, искажая результаты. [77]
Согласно открытому письму Андреасу Шляйхеру , директору PISA, различные ученые и преподаватели утверждают, что «тесты ОЭСР и Пизы наносят ущерб образованию во всем мире». [78]
По данным O Estado de São Paulo , Бразилия демонстрирует большое неравенство при классификации результатов между государственными и частными школами, где государственные школы будут хуже, чем Перу, а частные школы будут лучше, чем Финляндия. [79]
Результаты PISA 2006 по грамотности чтения не являются зарегистрировано для США из-за ошибки при печати тестовых буклетов.
Кроме того, из-за опечатки средняя успеваемость по математике и естественным наукам может быть неверно оценена примерно на 1 балл.
Влияние ниже одной стандартной ошибки.