Аудит чувствительности – это расширение анализа чувствительности для использования в исследованиях моделирования, имеющих важное значение для политики. [1] Его использование рекомендуется – в том числе в Руководстве Европейской комиссии по оценке воздействия [2] и Европейских академиях наук [3] – когда анализ чувствительности (SA) исследования на основе модели призван продемонстрировать надежность доказательства, предоставляемые моделью в контексте, в котором выводы используются в политике или процессе принятия решений.
В условиях, когда научная работа влияет на политику, структура анализа, его институциональный контекст и мотивы его автора могут стать весьма актуальными, а чистого СА - с его акцентом на количественной неопределенности - может быть недостаточно. Акцент на формулировке может, среди прочего, происходить из-за актуальности политического исследования для различных групп населения, которые характеризуются разными нормами и ценностями, и, следовательно, из-за разной истории о том, «в чем проблема» и, прежде всего, о том, «кто является проблемой». рассказывая историю». Чаще всего формулировка включает в себя неявные предположения, которые могут быть как политическими (например, какая группа нуждается в защите), так и техническими (например, какую переменную можно рассматривать как константу).
Чтобы принять эти опасения во внимание, аудит чувствительности расширяет инструменты анализа чувствительности , обеспечивая оценку всего процесса создания знаний и моделей. Он черпает вдохновение из NUSAP , [4] метода, используемого для передачи качества количественной информации с созданием «родословных» чисел. Аналогичным образом, аудит чувствительности был разработан для получения родословных моделей и выводов на их основе. Аудит чувствительности особенно подходит в состязательном контексте, когда не только характер доказательств, но также степень определенности и неопределенности, связанных с доказательствами, является предметом партийных интересов. Это параметры, рассматриваемые в постнормальной науке [5] или в науке режима 2 [6] . Постнормальная наука (ПНС) — это концепция, разработанная Сильвио Фунтовичем и Джеромом Раветцем [5] [7] [8] , которая предлагает методологию исследования, подходящую, когда «факты неопределенны, ценности спорны, ставки высоки, а решения срочно» (Фунтович и Равец, 1992: [8] 251–273). Способ 2 «Наука», придуманный в 1994 году Гиббонсом и др., относится к способу производства научных знаний, который является контекстно-ориентированным, проблемно-ориентированным и междисциплинарным. Аудит чувствительности состоит из контрольного списка из семи пунктов:
1. Используйте математику с умом. Спросите, используется ли сложная математика, когда более простая математика могла бы помочь. Проверьте, не растягивается ли модель за пределы ее предполагаемого использования.
2. Ищите предположения. Узнайте, какие предположения были сделаны в исследовании, и посмотрите, были ли они четко сформулированы или скрыты.
3. Избегайте «мусора на входе и вывоза мусора». Проверьте, не манипулировались ли данные, используемые в модели, чтобы результаты выглядели более достоверными, чем они есть на самом деле, или они были сделаны слишком неопределенными, чтобы избежать регулирования.
4. Готовьтесь к критике. Лучше найти проблемы в учебе раньше, чем это сделают другие. Перед публикацией проведите тщательную проверку на предмет неопределенности и чувствительности.
5. Будьте прозрачны: не держите свою модель в секрете. Сделайте это ясным и понятным для общественности.
6. Сосредоточьтесь на правильной проблеме. Убедитесь, что ваша модель решает правильную проблему, а не просто решает проблему, которой на самом деле нет.
7. Проведите тщательный анализ. Проведите углубленные тесты для измерения неопределенности и чувствительности, используя лучшие доступные методы.
Эти правила призваны помочь аналитику предвидеть критику, в частности, касающуюся выводов на основе моделей, входящих в оценку воздействия. Какие вопросы и возражения могут возникнуть у моделиста? Вот возможный список:
Аудит чувствительности описан в Руководстве Европейской комиссии по оценке воздействия. [2] Соответствующие выдержки (стр. 392):
Ассоциация европейских академий науки для политики SAPEA подробно описывает аудит чувствительности в своем отчете за 2019 год, озаглавленном «Осмысление науки для политики в условиях сложности и неопределенности». [3]