Оценка программы — это систематический метод сбора, анализа и использования информации для ответа на вопросы о проектах, политике и программах , [1] особенно об их эффективности и результативности .
Как в государственном, так и в частном секторе , а также в добровольном секторе , заинтересованные стороны могут быть обязаны оценить – в соответствии с законом или уставом – или захотеть узнать, приводят ли программы, которые они финансируют, реализуют, голосуют за, получают или противостоят, обещанный эффект. В некоторой степени оценка программы подпадает под традиционный анализ затрат и выгод , касающийся справедливой отдачи от затрат экономических и других активов; однако социальные результаты может быть более сложным для оценки, чем рыночные, и требуется другой набор навыков. Принимаются во внимание, сколько стоит программа на одного участника, влияние программы , как программу можно улучшить, есть ли лучшие альтернативы, есть ли непредвиденные последствия , а также являются ли цели программы уместными и полезными. [2] Оценщики помогают ответить на эти вопросы. Наилучшая практика заключается в том, чтобы оценка представляла собой совместный проект специалистов по оценке и заинтересованных сторон. [3]
К оценщикам программ применяется широкий спектр различных названий, возможно, иногда бессистемно, но есть некоторые устоявшиеся обычаи: те, кто регулярно использует навыки и методы оценки программ на работе, известны как программные аналитики ; те, чьи должности сочетают в себе обязанности административного помощника или секретаря с оценкой программ, известны как ассистенты программ, клерки программ (Соединенное Королевство), специалисты по поддержке программ или сотрудники программ; Те, чьи должности добавляют к обязанностям по управлению проектами более низкого уровня , известны как координаторы программ.
Процесс оценки считается относительно недавним явлением. Однако зарегистрировано, что запланированная социальная оценка датируется еще 2200 годом до нашей эры. [4] Оценка стала особенно актуальной в США в 1960-х годах, в период социальных программ «Великого общества» , связанных с администрациями Кеннеди и Джонсона . [5] [6] Чрезвычайные суммы были инвестированы в социальные программы, но последствия этих инвестиций были в значительной степени неизвестны. [ нужна цитата ]
Оценки программ могут включать как количественные , так и качественные методы социальных исследований . Люди, которые занимаются оценкой программ, имеют разный опыт, например, социологию , психологию , экономику , социальную работу , а также подотрасли политологии , такие как государственная политика и государственное управление , которые изучали аналогичную методологию, известную как анализ политики . В некоторых университетах также есть специальные программы обучения, особенно на последипломном уровне по оценке программ, для тех, кто изучал предметную область бакалавриата и не обладает навыками оценки программ. [7]
Оценка программы может проводиться на нескольких этапах в течение срока действия программы. Каждый из этих этапов ставит разные вопросы, на которые должен ответить оценщик, и, соответственно, необходимы разные подходы к оценке. Росси, Липси и Фриман (2004) предлагают следующие виды оценки, которые могут быть уместны на этих различных этапах:
При оценке потребностей изучается население, на которое рассчитана программа, чтобы увидеть, действительно ли у населения существует потребность, сформулированная в программе; действительно ли это проблема; и если да, то как с этим лучше всего справиться. Это включает в себя выявление и диагностику фактической проблемы, которую пытается решить программа, кого или что затрагивает проблема, насколько широко распространена проблема и каковы измеримые последствия, вызванные этой проблемой. Например, для жилищной программы, направленной на сокращение бездомности, специалист по оценке программы может захотеть выяснить, сколько людей являются бездомными в данном географическом районе и каковы их демографические данные. Росси, Липси и Фриман (2004) предостерегают от проведения вмешательства без должной оценки его необходимости, поскольку это может привести к потере большого количества средств, если необходимость не существовала или была неправильно понята.
Оценка потребностей включает в себя процессы или методы, используемые оценщиками для описания и диагностики социальных потребностей [8]. Это важно для оценщиков, поскольку им необходимо определить, эффективны ли программы, и они не могут сделать этого, пока не определят, в чем заключается проблема/потребность. Программы, которые не проводят оценку потребностей, могут иметь иллюзию, что они устранили проблему/потребность, хотя на самом деле в этом не было никакой необходимости. Оценка потребностей включает в себя исследования и регулярные консультации с заинтересованными сторонами сообщества и людьми, которые получат выгоду от проекта, прежде чем программа может быть разработана и реализована. Следовательно, это должен быть подход «снизу вверх». Таким образом, потенциальные проблемы могут быть реализованы на раннем этапе, поскольку этот процесс вовлек бы сообщество в определение потребностей и тем самым дал бы возможность выявить потенциальные препятствия.
Таким образом, важной задачей оценщика программы является: Во-первых, дать точное определение проблемы. [8] Оценщикам необходимо сначала определить проблему/потребность. Наиболее эффективно это достигается путем совместного включения всех возможных заинтересованных сторон, т. е. сообщества, на которое воздействует потенциальная проблема, агентов/действующих лиц, работающих над решением и решением проблемы, спонсоров и т. д. Включение участия в процессе на ранних этапах снижает вероятность откат, недопонимание и неполная информация в дальнейшем.
Во-вторых, оцените масштабы проблемы. [8] Четко определив, в чем состоит проблема, оценщикам необходимо затем оценить масштабы проблемы. Им нужно ответить на вопросы «где» и «насколько масштабны». Оценщикам необходимо выяснить, где находится проблема и насколько она велика. Гораздо проще указать на наличие проблемы, чем указывать, где она находится и насколько она распространена. Росси, Липси и Фриман (2004) привели следующий пример: человек, идентифицирующий некоторых избитых детей, может быть достаточным доказательством, чтобы убедить его в существовании жестокого обращения с детьми. Но указание того, сколько детей оно затрагивает и где оно расположено в географическом и социальном плане, потребует знаний о детях, подвергшихся насилию, характеристиках преступников и влиянии проблемы на всю политическую власть, о которой идет речь.
Это может быть сложно, учитывая, что жестокое обращение с детьми не является публичным поведением, а также иметь в виду, что оценка уровня частного поведения обычно невозможна из-за таких факторов, как незарегистрированные случаи. В этом случае оценщикам придется использовать данные из нескольких источников и применять разные подходы для оценки уровня заболеваемости. Есть еще два вопроса, на которые необходимо ответить: [9] Оценщикам необходимо также ответить на вопросы «как» и «что». [9] Вопрос «как» требует, чтобы оценщики определили, как будет решена эта потребность. Выявив потребность и ознакомившись с оценщиками сообщества, следует провести анализ эффективности, чтобы определить, сможет ли предлагаемый план в программе действительно устранить потребность. Вопрос «что» требует, чтобы оценщики провели анализ задачи, чтобы выяснить, каким будет лучший способ ее выполнения. Например, установлены ли стандарты выполнения работы организацией или необходимо учитывать некоторые правительственные правила при выполнении задачи. [9]
В-третьих, определите и определите цель вмешательств и точно опишите характер потребностей в услугах этой группы населения. [8] Важно знать, что/кто является целевой группой населения – это могут быть отдельные лица, группы, сообщества и т. д. Выделяют три единицы населения: население группы риска, нуждающееся население и население, пользующееся спросом [8].
Возможность указать, что/кто является целью, поможет установить соответствующие границы, чтобы вмешательства могли правильно адресовать целевую группу населения и быть возможными для применения < [ 8]
Проведение оценки потребностей состоит из четырех этапов: [10]
Таким образом, анализ потребностей является очень важным шагом в оценке программ, поскольку эффективность программы невозможно оценить, если мы не знаем, в чем изначально заключалась проблема.
Теория программы, также называемая логической моделью , картой знаний [11] или траекторией воздействия [12], представляет собой предположение, неявное в способе разработки программы, о том, как действия программы должны достичь намеченных результатов. Эта «логическая модель» часто не формулируется явно людьми, которые запускают программы, она просто предполагается, и поэтому оценщику необходимо выяснить у сотрудников программы, как именно программа должна достичь своих целей, и оценить, соответствует ли эта логика правдоподобно. Например, в программе профилактики ВИЧ можно предположить, что просвещение людей о передаче ВИЧ/СПИДа, рисках и практиках безопасного секса приведет к более безопасному сексу. Однако исследования в Южной Африке все чаще показывают, что, несмотря на повышение уровня образования и знаний, люди по-прежнему часто не практикуют безопасный секс. [13] Таким образом, логика программы, которая опирается на образование как средство побудить людей использовать презервативы, может быть ошибочной. Вот почему важно читать исследования, проведенные в этой области. Объяснение этой логики также может выявить непреднамеренные или непредвиденные последствия программы, как положительные, так и отрицательные. Теория программ выдвигает гипотезы для проверки и оценки воздействия. Разработка логической модели может также обеспечить общее понимание среди сотрудников программы и заинтересованных сторон того, что на самом деле должна делать программа и как она должна это делать, чего часто не хватает (см. Анализ путей воздействия с участием участников ). Конечно, также возможно, что в процессе попытки выявить логическую модель программы оценщики могут обнаружить, что такая модель либо не полностью разработана, внутренне противоречива, либо (в худшем случае) по существу не существует. Это решительно ограничивает эффективность оценки, хотя и не обязательно сокращает или отменяет программу. [14]
Создание логической модели — прекрасный способ помочь визуализировать важные аспекты программы, особенно при подготовке к оценке. Оценщику следует создать логическую модель с учетом вклада множества различных заинтересованных сторон. Логические модели состоят из 5 основных компонентов: ресурсы или входы, действия, результаты, краткосрочные результаты и долгосрочные результаты. [15] Создание логической модели помогает сформулировать проблему, ресурсы и возможности, которые в настоящее время используются для решения проблемы. и измеримые результаты программы. Рассмотрение различных компонентов программы по отношению к общим краткосрочным и долгосрочным целям позволяет выявить потенциальные несоответствия. Создание реальной логической модели особенно важно, поскольку она помогает разъяснить всем заинтересованным сторонам: определение проблемы, основные цели, а также возможности и результаты программы. [15]
Росси, Липси и Фриман (2004) предлагают четыре подхода и процедуры, которые можно использовать для оценки теории программ. [8] Эти подходы обсуждаются ниже.
Это влечет за собой оценку теории программы путем ее сопоставления с потребностями целевой группы населения, для обслуживания которой предназначена программа. Если теория программы не сможет удовлетворить потребности целевой группы населения, она окажется неэффективной, даже если она будет хорошо реализована. [8]
Эта форма оценки включает в себя обращение к группе экспертов-рецензентов критически рассмотреть логику и правдоподобность предположений и ожиданий, заложенных в дизайне программы. [8] Процесс рассмотрения является неструктурированным и открытым, что позволяет решать определенные вопросы, связанные с разработкой программы. Рутман (1980), Смит (1989) и Уолли (1994) предложили перечисленные ниже вопросы, чтобы помочь в процессе обзора. [8]
Эта форма оценки требует получения информации из исследовательской литературы и существующей практики для оценки различных компонентов теории программы. Оценщик может оценить, соответствует ли теория программы научным данным и практическому опыту программ со схожими концепциями. [8]
Этот подход предполагает включение в процесс оценки наблюдений из первых рук, поскольку он обеспечивает проверку реальности соответствия между теорией программы и самой программой. [8] Наблюдения могут быть сосредоточены на достижимости результатов, обстоятельствах целевой группы населения, а также достоверности программных мероприятий и вспомогательных ресурсов. [8]
Эти различные формы оценки теории программ могут проводиться для того, чтобы убедиться в ее правильности.
Райт и Уоллис (2019) описали дополнительный метод оценки теории программ, основанный на ее структуре . Этот подход, известный как интегративный анализ высказываний (IPA), основан на исследовательских потоках, обнаруживающих, что теории с большей вероятностью будут работать так, как ожидалось, когда они имеют лучшую структуру (помимо значения и данных). IPA включает в себя, во-первых, выявление предложений (утверждений о причине и следствии) и создание визуальной диаграммы этих предложений. Затем исследователь изучает количество понятий и причинно-следственные связи между ними (круги и стрелки на схеме), чтобы измерить широту и глубину понимания, отраженного в структуре теории. Мерой широты является количество понятий. Это основано на идее, что реальные программы включают в себя множество взаимосвязанных частей, поэтому теория, которая показывает большее количество концепций, показывает большую широту понимания программы. Глубина — это процент концепций , которые являются результатом более чем одной другой концепции. Это основано на идее, что в реальных программах события имеют более одной причины. Следовательно, концепция, которая является результатом более чем одной другой концепции теории, показывает лучшее понимание этой концепции; теория с более высоким процентом более понятных концепций показывает большую глубину понимания программы.
Анализ процесса выходит за рамки теории того, что должна делать программа, и вместо этого оценивает, как программа реализуется. Эта оценка определяет, реализуются ли компоненты, определенные как критически важные для успеха программы. Оценка определяет, охвачены ли целевые группы населения, люди получают намеченные услуги, имеет ли персонал соответствующую квалификацию. Оценка процесса – это непрерывный процесс, в ходе которого можно использовать повторяющиеся измерения для оценки эффективности реализации программы. Эта проблема особенно остра, поскольку многие инновации, особенно в таких областях, как образование и государственная политика, состоят из довольно сложных цепочек действий. Например, оценку процесса можно использовать в исследованиях в области общественного здравоохранения. [16] Многие из этих элементов полагаются на предварительную правильную реализацию других элементов и потерпят неудачу, если предыдущая реализация не была выполнена правильно. Это было убедительно продемонстрировано Джином В. Глассом и многими другими в 1980-х годах. Поскольку неправильное или неэффективное внедрение приведет к таким же нейтральным или отрицательным результатам, как и правильное внедрение плохой инновации, важно, чтобы оценочные исследования оценивали сам процесс внедрения. [17] В противном случае хорошая инновационная идея может быть ошибочно охарактеризована как неэффективная, тогда как на самом деле она просто никогда не была реализована так, как задумано.
Оценка воздействия определяет причинные последствия программы. Это предполагает попытку измерить, достигла ли программа запланированных результатов, то есть результатов программы.
Результатом является состояние целевой группы населения или социальные условия, которые, как ожидается, изменится в результате реализации программы. [8] Результаты программы – это наблюдаемые характеристики целевой группы населения или социальных условий, а не самой программы. Таким образом, концепция результата не обязательно означает, что цели программы фактически изменились или что программа каким-либо образом вызвала их изменение. [8]
Существует два типа результатов, а именно уровень результатов и изменение результатов, которые также связаны с эффектом программы. [8]
Измерение результата – это вопрос представления обстоятельств, определяемых как результат, с помощью наблюдаемых показателей, которые систематически изменяются в зависимости от изменений или различий в этих обстоятельствах. [8] Измерение результатов – это систематический способ оценить степень, в которой программа достигла намеченных результатов. [18] Согласно Мутону (2009), измерение воздействия программы означает демонстрацию или оценку накопленного дифференцированного непосредственного и возникающего эффекта, некоторые из которых могут быть непреднамеренными и, следовательно, непредвиденными. [19]
Измерение результатов помогает понять, эффективна ли программа или нет. Это также помогает прояснить понимание программы. Но самая важная причина предпринять усилия – это понять влияние работы на людей, которым она обслуживается. [19] На основе собранной информации можно определить, какие мероприятия следует продолжать и развивать, а какие необходимо изменить, чтобы повысить эффективность программы.
Это может включать использование сложных статистических методов для измерения эффекта программы и обнаружения причинно-следственной связи между программой и различными результатами.
Наконец, анализ затрат и выгод или экономической эффективности оценивает эффективность программы. Оценщики описывают преимущества и стоимость программы для сравнения. Эффективная программа имеет более низкое соотношение затрат и выгод. Существует два типа эффективности: статическая и динамическая. В то время как статическая эффективность касается достижения целей с наименьшими затратами, динамическая эффективность касается постоянного улучшения.[20]
Возможно, самая сложная часть оценки – это определить, вызывает ли сама программа те изменения, которые наблюдаются среди населения, на которое она была нацелена. События или процессы вне программы могут быть реальной причиной наблюдаемого результата (или реальным предотвращением ожидаемого результата).
Причинно-следственную связь определить сложно. Одной из основных причин этого является предвзятость самоотбора . [21] Люди сами выбирают участие в программе. Например, в программе профессионального обучения одни люди решают участвовать, а другие нет. Те, кто участвует, могут существенно отличаться от тех, кто не участвует. Они могут быть более решительными в поиске работы или иметь лучшие ресурсы поддержки. Эти характеристики на самом деле могут быть причиной наблюдаемого результата увеличения занятости, а не программы профессионального обучения.
Оценки, проводимые методом случайного распределения, позволяют сделать более убедительные выводы о причинно-следственной связи. Случайное распределение людей для участия или неучастия в программе уменьшает или устраняет предвзятость при самостоятельном выборе . Таким образом, группа людей, которые участвуют, вероятно, будет более сопоставима с группой, которая не участвовала.
Однако, поскольку большинство программ не могут использовать случайное присвоение, причинно-следственную связь определить невозможно. Анализ воздействия по-прежнему может предоставить полезную информацию. Например, можно описать результаты программы. Таким образом, оценка может показать, что люди, принимавшие участие в программе, с большей вероятностью добились определенного результата, чем люди, которые не участвовали.
Если программа достаточно велика и данных достаточно, статистический анализ можно использовать для обоснования программы, показав, например, что другие причины маловероятны.
Важно обеспечить, чтобы инструменты (например, тесты, анкеты и т. д.), используемые при оценке программ, были максимально надежными, валидными и чувствительными. По данным Росси и др. (2004, стр. 222), [8] «Плохо выбранная или плохо продуманная мера может полностью подорвать ценность оценки воздействия, производя вводящие в заблуждение оценки. Только если показатели результатов действительны, надежны и достаточно чувствительны, оценка воздействия может считаться заслуживающей доверия».
Надежность измерительного инструмента – это «степень, в которой эта мера дает одни и те же результаты при многократном использовании для измерения одной и той же вещи» (Росси и др., 2004, стр. 218). [8] Чем более надежен показатель, тем выше его статистическая мощность и тем более достоверны его выводы. Если измерительный прибор ненадежен, он может ослабить и скрыть реальные эффекты программы, и программа «будет казаться менее эффективной, чем она есть на самом деле» (Росси и др., 2004, стр. 219). [8] Следовательно, важно обеспечить максимально надежную оценку.
Валидность средства измерения – это «степень, в которой он измеряет то, для измерения чего предназначен» (Росси и др., 2004, стр. 219). [8] Эту концепцию сложно точно измерить: при общем использовании в оценках инструмент может считаться действительным, если он признан действительным заинтересованными сторонами (к заинтересованным сторонам могут относиться, например, спонсоры, администраторы программ и т. д.).
Основная цель процесса оценки – определить, оказывает ли программа влияние на социальную проблему, которую она пытается решить; следовательно, измерительный прибор должен быть достаточно чувствительным, чтобы распознать эти потенциальные изменения (Росси и др., 2004). [8] Инструмент измерения может быть нечувствительным, если он содержит элементы, измеряющие результаты, на которые программа не могла повлиять, или если инструмент изначально был разработан для применения к отдельным лицам (например, стандартизированные психологические измерения), а не для групповых условий (Росси и др., 2004). [8] Эти факторы могут привести к появлению «шума», который может скрыть любой эффект, который могла оказать программа.
Только те меры, которые адекватно соответствуют критериям надежности, обоснованности и чувствительности, можно назвать заслуживающими доверия оценками. Обязанность специалистов по оценке состоит в том, чтобы давать заслуживающие доверия оценки, поскольку их выводы могут иметь далеко идущие последствия. Позорная оценка, которая не может показать, что программа достигает своей цели, хотя на самом деле она приводит к положительным изменениям, может привести к незаслуженной потере финансирования программы. [ неправильный синтез? ]
Центр по контролю заболеваний (CDC) выделяет шесть шагов для полной оценки программы. Описанные шаги таковы: вовлечь заинтересованные стороны, описать программу, сфокусировать дизайн оценки, собрать достоверные доказательства, обосновать выводы, а также обеспечить использование и обмен извлеченными уроками. [22] Эти шаги могут осуществляться в рамках цикла, представляющего непрерывный процесс оценки.
Хотя упомянутые здесь процессы оценки программ подходят для большинства программ, очень сложные нелинейные инициативы, например, использующие модель коллективного воздействия (CI), требуют динамического подхода к оценке. Коллективное воздействие — это «приверженность группы важных участников из разных секторов общей программе решения конкретной социальной проблемы» [23] и обычно включает в себя три этапа, каждый из которых имеет свой рекомендуемый подход к оценке:
Рекомендуемый подход к оценке: Оценка развития, чтобы помочь партнерам по CI понять контекст инициативы и ее развития: [24] «Оценка развития включает в себя обратную связь в режиме реального времени о том, что происходит в сложных динамических системах, когда новаторы стремятся вызвать системные изменения». [25]
Рекомендуемый подход к оценке: формативная оценка для уточнения и улучшения прогресса, а также постоянная оценка развития для изучения новых элементов по мере их появления. Формативная оценка включает в себя «тщательный мониторинг процессов, чтобы реагировать на возникающие свойства и любые неожиданные результаты». [26]
Рекомендуемый подход к оценке: Суммативная оценка «использует как количественные, так и качественные методы, чтобы лучше понять, чего достиг [проект] и как и почему это произошло». [27]
Планирование оценки программы можно разбить на четыре части: фокусировка оценки, сбор информации, использование информации и управление оценкой. [28] Оценка программы включает в себя размышление над вопросами о целях оценки, о том, какие вопросы необходимо задать и что будет сделано с собранной информацией. Критические вопросы для рассмотрения включают в себя:
«Недостаточный подход к оценке» разработан, чтобы помочь оценщикам, работающим в условиях ограниченного бюджета, ограниченного доступа или доступности данных и ограниченного времени выполнения, проводить эффективные оценки, которые являются методологически строгими (Bamberger, Rugh, Church & Fort, 2004). [29] Этот подход стал ответом на продолжающуюся растущую потребность в процессах оценки, которые были бы более быстрыми и экономичными в сложных условиях бюджета, ограниченности времени и ограниченной доступности данных. Однако не всегда возможно спланировать оценку так, чтобы достичь самых высоких стандартов. Многие программы не включают процедуру оценки в свой дизайн или бюджет. Следовательно, многие процессы оценки не начинаются до тех пор, пока программа уже запущена, что может привести к ограничению времени, бюджета или данных для оценщиков, что, в свою очередь, может повлиять на надежность, достоверность или чувствительность оценки. > Подход с ограниченными возможностями помогает обеспечить максимально возможную методологическую строгость в условиях этих ограничений.
Часто программы сталкиваются с бюджетными ограничениями, поскольку большинство первоначальных проектов не включают бюджет для проведения оценки (Bamberger et al., 2004). Таким образом, это автоматически приводит к тому, что на оценки выделяется меньший бюджет, которого недостаточно для тщательной оценки. Из-за бюджетных ограничений может быть сложно эффективно применять наиболее подходящие методологические инструменты. Эти ограничения могут, следовательно, повлиять на время, необходимое для проведения оценки (Bamberger et al., 2004). [29] Бюджетные ограничения можно решить, упростив схему оценки, пересмотрев размер выборки, изучив экономичные методы сбора данных (например, использование волонтеров для сбора данных, сокращение опросов или использование фокус-групп и ключевых информаторов) или поиск надежных вторичных данных. (Бамбергер и др., 2004). [29]
Наибольшее ограничение во времени, с которым может столкнуться оценщик, — это когда оценщика вызывают для проведения оценки, когда проект уже находится в стадии реализации, если ему дается ограниченное время для проведения оценки по сравнению с продолжительностью исследования, или если он не было предоставлено достаточно времени для адекватного планирования. Ограничения по времени особенно проблематичны, когда оценщик не знаком с территорией или страной, в которой реализуется программа (Bamberger et al., 2004). [29] Временные ограничения можно решить с помощью методов, перечисленных выше в разделе «Бюджетные ограничения», а также путем тщательного планирования для обеспечения эффективного сбора и анализа данных в ограниченном временном пространстве.
Если оценка начинается на позднем этапе программы, исходные данные о состоянии целевой группы до начала вмешательства могут отсутствовать (Bamberger et al., 2004). [29] Другая возможная причина ограничений данных заключается в том, что данные были собраны сотрудниками программы и содержат систематические ошибки в отчетности или плохие стандарты ведения учета и впоследствии малопригодны (Bamberger et al., 2004). [29] Другой источник ограничений данных может возникнуть, если трудно охватить целевую группу для сбора данных - например, бездомные, наркоманы, рабочие-мигранты и т. д. (Bamberger et al., 2004). [29] Ограничения данных можно устранить путем восстановления исходных данных из вторичных данных или путем использования нескольких методов. Несколько методов, таких как сочетание качественных и количественных данных, могут повысить достоверность за счет триангуляции и сэкономить время и деньги. Кроме того, эти ограничения можно преодолеть путем тщательного планирования и консультаций с заинтересованными сторонами программы. Четкое определение и понимание потребностей клиента до проведения оценки позволяет оптимизировать и сократить затраты и время процесса оценки, сохраняя при этом доверие.
В целом, ограничения по времени, деньгам и данным могут иметь негативные последствия для достоверности, надежности и возможности переноса оценки. Подход с ограниченными возможностями был создан, чтобы помочь оценщикам исправить указанные выше ограничения путем определения способов сокращения затрат и времени, восстановления исходных данных и обеспечения максимального качества при существующих ограничениях (Bamberger et al., 2004).
Пятиуровневый подход к оценке развивает стратегии, на которых основан ограниченный подход к оценке. [30] Первоначально он был разработан Джейкобсом (1988) как альтернативный способ оценки программ на уровне сообщества и как таковой был применен к программе для детей и семей в штате Массачусетс, США. [31] Пятиуровневый подход предлагается в качестве концептуальную основу для более точного соответствия оценок характеристикам самих программ, а также конкретным ресурсам и ограничениям, присущим каждому контексту оценки. [30] Другими словами, пятиуровневый подход направлен на то, чтобы адаптировать оценку к конкретным потребностям каждого контекста оценки.
Более ранние уровни (1–3) генерируют описательную и ориентированную на процесс информацию, а более поздние уровни (4–5) определяют как краткосрочные, так и долгосрочные эффекты программы. [32] Пять уровней организованы следующим образом:
Для каждого уровня определяются цель(и) и соответствующие задачи, которые позволяют достичь указанной цели уровня. [34] Например, целью первого уровня, «Оценка потребностей», будет документирование потребности в программе в сообществе. Задачей этого уровня будет оценка потребностей и активов сообщества путем работы со всеми соответствующими заинтересованными сторонами. [34]
Хотя уровни структурированы для последовательного использования, а это означает, что информация, собранная на более ранних уровнях, необходима для задач на более высоких уровнях, это признает гибкий характер оценки. [32] Таким образом, можно переходить с более поздних уровней обратно на предыдущие или даже работать на двух уровнях одновременно. [34] Однако оценщикам программ важно отметить, что программа должна оцениваться на соответствующем уровне. [33]
Говорят, что пятиуровневый подход полезен для программ поддержки семьи, в которых особое внимание уделяется расширению прав и возможностей сообщества и участников. Это связано с тем, что он поощряет подход, основанный на участии всех заинтересованных сторон, и именно благодаря этому процессу размышлений достигается расширение прав и возможностей. [31]
Цель этого раздела – привлечь внимание к некоторым методологическим проблемам и дилеммам, с которыми потенциально могут столкнуться оценщики при проведении оценки программы в развивающейся стране. Во многих развивающихся странах основными спонсорами оценки являются донорские агентства из развитого мира, и этим агентствам требуются регулярные отчеты об оценке, чтобы поддерживать подотчетность и контроль над ресурсами, а также собирать доказательства успеха или неудачи программы. [35] Однако существует множество препятствий и проблем, с которыми сталкиваются оценщики при попытке реализовать программу оценки, которая пытается использовать методы и системы, которые не разработаны в контексте, в котором они применяются. [36] Некоторые из проблем включают различия в культуре, отношениях, языке и политических процессах. [36] [37]
Культура определяется Эббаттом (1998, стр. 416) как «созвездие как письменных, так и неписаных ожиданий, ценностей, норм, правил, законов, артефактов, ритуалов и поведения, которые пронизывают общество и влияют на то, как люди ведут себя в обществе». [37] Культура может влиять на многие аспекты процесса оценки, включая сбор данных, реализацию программы оценки, а также анализ и понимание результатов оценки. [37] В частности, инструменты, которые традиционно используются для сбора данных, такие как анкеты и полуструктурированные интервью, должны быть чувствительны к различиям в культуре, если они изначально были разработаны в другом культурном контексте. [38] Понимание и значение конструкций, которые оценщик пытается измерить, не могут быть общими между оценщиком и выборочной совокупностью, и, таким образом, перенос концепций является важным понятием, поскольку это повлияет на качество проводимого сбора данных. оценщиками, а также анализ и результаты, полученные на основе данных. [38]
Язык также играет важную роль в процессе оценки, поскольку язык тесно связан с культурой. [38] Язык может быть основным барьером для передачи понятий, к которым пытается получить доступ оценщик, и часто требуется перевод. [37] Существует множество проблем с переводом, включая потерю смысла, а также преувеличение или усиление смысла переводчиками. [37] Например, термины, специфичные для контекста, могут не переводиться на другой язык с тем же весом или значением. В частности, инструменты сбора данных должны учитывать смысл, поскольку предмет исследования может не считаться конфиденциальным в определенном контексте и может оказаться чувствительным в контексте, в котором проводится оценка. [38] Таким образом, оценщикам необходимо учитывать две важные концепции при использовании инструментов сбора данных: лексическую эквивалентность и концептуальную эквивалентность. [38] Лексическая эквивалентность задает вопрос: как можно сформулировать вопрос на двух языках, используя одни и те же слова? Это трудная задача, и использование таких методов, как обратный перевод, может помочь оценщику, но не может привести к идеальной передаче смысла. [38] Это приводит к следующему пункту: концептуальной эквивалентности. Однозначный перенос концепций из одной культуры в другую не является обычным явлением. [38] Инструменты сбора данных, которые не прошли адекватных испытаний и пилотных испытаний, могут, следовательно, давать бесполезные результаты, поскольку концепции, измеряемые с помощью этого инструмента, могли принять другое значение и, таким образом, сделать инструмент ненадежным и недействительным. [38]
Таким образом, можно видеть, что оценщикам необходимо принимать во внимание методологические проблемы, создаваемые различиями в культуре и языке при попытке провести оценку программы в развивающейся стране.
Существует три традиционных способа использования результатов оценки: убедительное использование , прямое (инструментальное) использование и концептуальное использование .
Убеждающее использование – это использование результатов оценки с целью убедить аудиторию либо поддержать программу, либо выступить против нее. Если «убеждающим» не является тот же человек, который проводил оценку, эта форма использования не представляет большого интереса для оценщиков, поскольку они часто не могут предвидеть возможные будущие попытки убеждения. [8]
Специалисты по оценке часто адаптируют свои оценки для получения результатов, которые могут оказать прямое влияние на улучшение структуры или процесса программы. Например, оценка нового образовательного вмешательства может привести к результатам, которые не указывают на улучшение оценок учащихся. Это может быть связано с тем, что вмешательство не имеет прочной теоретической основы, или вмешательство может быть проведено не так, как первоначально предполагалось. Мы надеемся, что результаты оценки заставят создателей вмешательства вернуться к чертежной доске, чтобы воссоздать основную структуру вмешательства или даже изменить процессы реализации. [8]
Но даже если результаты оценки не оказывают прямого влияния на изменение программы, их все равно можно использовать для информирования людей о проблемах, которые программа пытается решить. Возвращаясь к примеру оценки нового образовательного вмешательства, результаты также можно использовать для информирования преподавателей и учащихся о различных барьерах, которые могут влиять на трудности обучения учащихся. Эта новая информация может затем инициировать ряд исследований этих барьеров. [8]
Существует пять условий, которые, по всей видимости, влияют на полезность результатов оценки, а именно актуальность , связь между оценщиками и пользователями результатов , обработка информации пользователями , правдоподобность результатов , а также уровень участия или пропаганды результатов оценки. пользователи . [8]
Цитируется непосредственно из Росси и др. (2004, с. 416).: [8]
Выбор оценщика, выбранного для оценки программы, можно считать столь же важным, как и сам процесс оценки. Оценщики могут быть внутренними (лица, связанные с выполняемой программой) или внешними (лица, не связанные с какой-либо частью выполнения/реализации программы). (Отдел надзорных служб, 2004 г.). Ниже приводится краткое описание преимуществ и недостатков внутренних и внешних оценщиков, адаптированное из Отдела надзорных служб (2004 г.). Более полный список преимуществ и недостатков внутренних и внешних оценщиков см. в (Отдел надзорных служб, 2004 г.). ).
Преимущества
Недостатки
Преимущества
Недостатки
Поттер (2006) [39] выделяет и описывает три широкие парадигмы оценки программ. Первым и, вероятно, наиболее распространенным является позитивистский подход, при котором оценка может происходить только там, где существуют «объективные», наблюдаемые и измеримые аспекты программы, требующие преимущественно количественных доказательств. Позитивистский подход включает такие аспекты оценки, как оценка потребностей, оценка теории программы, оценка программного процесса, оценка воздействия и оценка эффективности (Росси, Липси и Фриман, 2004). [40] Подробным примером позитивистского подхода является исследование, проведенное Калифорнийским институтом государственной политики в отчете под названием «Оценка академических программ в общественных колледжах Калифорнии», в котором специалисты по оценке изучают измеримые действия (т.е. данные о зачислении) и проводят количественные оценки, такие как факторный анализ. [41]
Вторая парадигма, определенная Поттером (2006), – это интерпретативные подходы, в которых утверждается, что очень важно, чтобы оценщик развивал понимание точки зрения, опыта и ожиданий всех заинтересованных сторон. Это приведет к лучшему пониманию различных значений и потребностей заинтересованных сторон, что имеет решающее значение, прежде чем можно будет сделать суждение о достоинствах или ценности программы. Контакт оценщика с программой часто длится в течение длительного периода времени, и, хотя стандартизированного метода не существует, обычно используются наблюдение, интервью и фокус-группы. В отчете, подготовленном по заказу Всемирного банка, подробно описаны 8 подходов, в которых качественные и количественные методы могут быть интегрированы и, возможно, дать понимание, которого невозможно достичь с помощью только одного метода. [42]
Поттер (2006) также выделяет критически-эмансипаторские подходы к оценке программ, которые в значительной степени основаны на исследованиях действий в целях социальных преобразований. Этот тип подхода гораздо более идеологичен и часто включает в себя большую степень социальной активности со стороны оценщика. Этот подход будет подходящим для качественных и коллективных оценок. Поттер утверждает, что из-за критического внимания к структурам общественной власти и акцента на участии и расширении прав и возможностей этот тип оценки может быть особенно полезен в развивающихся странах.
Несмотря на парадигму, которая используется при оценке любой программы, будь то позитивистская, интерпретативная или критически-эмансипаторская, важно признать, что оценка происходит в конкретных социально-политических контекстах. Оценка не существует в вакууме, и все оценки, осознают они это или нет, подвержены влиянию социально-политических факторов. Важно осознавать, что оценки и выводы, полученные в результате такого рода процесса оценки, могут быть использованы в пользу или против определенных идеологических, социальных и политических программ (Weiss, 1999). [43] Это особенно актуально в эпоху, когда ресурсы ограничены и между организациями существует конкуренция за приоритетность одних проектов над другими (Louw, 1999). [44]
Оценка расширения прав и возможностей использует концепции, методы и результаты оценки для содействия совершенствованию и самоопределению конкретной программы, нацеленной на конкретную целевую группу населения/участников программы. [45] Оценка расширения прав и возможностей ориентирована на вовлечение участников программы в внесение изменений в программы, на которые они нацелены. Одним из основных направлений оценки расширения прав и возможностей является вовлечение участников программы в проведение процесса оценки. За этим процессом часто следует своего рода критическое осмысление программы. В таких случаях внешний/сторонний оценщик выступает в роли консультанта/тренера/фасилитатора для участников программы и стремится понять программу с точки зрения участников. Как только будет получено четкое понимание точки зрения участников, можно разработать соответствующие шаги и стратегии (с ценным вкладом участников) и реализовать их для достижения желаемых результатов.
Согласно Феттерману (2002) [45] оценка полномочий состоит из трех этапов;
На первом этапе оценщики просят участников программы и сотрудников (программы) определить миссию программы. Оценщики могут решить сделать этот шаг, собрав такие стороны вместе и попросив их сформулировать и обсудить миссию программы. Логика этого подхода заключается в том, чтобы показать каждой стороне, что могут быть разные взгляды на то, в чем на самом деле заключается миссия программы.
Подведение итогов в качестве второго шага состоит из двух важных задач. Первая задача связана с составлением участниками программы и персоналом программы списка текущих ключевых мероприятий, которые имеют решающее значение для функционирования программы. Вторая задача связана с ранжированием выявленных ключевых мероприятий, также известным как расстановка приоритетов . Например, каждого члена партии можно попросить оценить каждое ключевое действие по шкале от 1 до 10, где 10 — самое важное, а 1 — наименее важное. Роль оценщика при выполнении этой задачи заключается в содействии интерактивному обсуждению между участниками в попытке установить некую основу общего значения и понимания, относящегося к ключевым видам деятельности. Кроме того, соответствующая документация (например, финансовые отчеты и информация об учебной программе) может быть вынесена на обсуждение при рассмотрении некоторых ключевых мероприятий.
После определения приоритетов ключевых мероприятий следующим шагом является планирование будущего. Здесь оценщик спрашивает участников программы и сотрудников программы, как они хотели бы улучшить программу в отношении перечисленных ключевых мероприятий. Цель состоит в том, чтобы создать нить согласованности, посредством которой созданная миссия (шаг 1) направляет подведение итогов (шаг 2), которые формируют основу для планов на будущее (шаг 3). Таким образом, при планировании будущего конкретные цели согласовываются с соответствующими ключевыми видами деятельности. В дополнение к этому участникам и сотрудникам программы также важно определить возможные формы фактических данных (измеримые показатели), которые можно использовать для мониторинга прогресса в достижении конкретных целей. Цели должны быть связаны с деятельностью программы, талантами, ресурсами и объемом возможностей – короче говоря, сформулированные цели должны быть реалистичными.
Эти три этапа оценки расширения возможностей создают потенциал для более эффективной работы программы и большего соответствия потребностям целевой группы населения. Оценка расширения прав и возможностей как процесс, которому способствует квалифицированный оценщик, вооружает и расширяет возможности участников, предоставляя им «новый» способ критического мышления и размышлений о программах. Кроме того, это дает участникам и сотрудникам программы возможность осознать свою способность добиться изменений в программе посредством коллективных действий. [46]
Трансформационная парадигма является неотъемлемой частью включения социальной справедливости в оценку. Донна Мертенс, главный исследователь в этой области, утверждает, что преобразовательная парадигма «фокусируется в первую очередь на точках зрения маргинализированных групп и анализе системных властных структур с помощью смешанных методов в целях содействия социальной справедливости и правам человека». [47] Трансформационная парадигма возникла после того, как маргинализированные группы, которые исторически были оттеснены в сторону при оценке, начали сотрудничать с учёными, выступая за социальную справедливость и права человека при оценке. Трансформирующая парадигма вводит в процесс оценки множество различных парадигм и подходов, что приводит к тому, что процесс оценки постоянно подвергается сомнению.
И Американская ассоциация оценки , и Национальная ассоциация социальных работников обращают внимание на этическую обязанность обладать культурной компетентностью при проведении оценок. Культурная компетентность в оценке может быть широко определена как системный ответный запрос, который активно осознает, понимает и ценит культурный контекст, в котором происходит оценка; который формирует и формулирует эпистемологию оценочной деятельности; который использует методологию, соответствующую культуре и контексту; и в котором используются средства интерпретации, созданные заинтересованными сторонами, для получения результатов и их дальнейшего использования. [48] Многие руководители в области здравоохранения и оценки осторожно отмечают, что культурная компетентность не может быть определена с помощью простого контрольного списка, а, скорее, является атрибутом, который развивается с течением времени. В основе культурной компетентности при оценке лежит подлинное уважение к изучаемым сообществам и открытость к поиску глубины в понимании различных культурных контекстов, практик и парадигм мышления. Это включает в себя творческий подход и гибкость для учета различных культурных контекстов, а также повышенное понимание различий во власти, существующих в контексте оценки. Важные навыки включают в себя: способность выстраивать взаимопонимание, преодолевая различия, завоевывать доверие членов сообщества, а также размышлять над собой и признавать свои собственные предубеждения. [49]
Парадигмы аксиология , онтология , эпистемология и методология отражают практику социальной справедливости в оценке. Эти примеры направлены на устранение неравенства и несправедливости в обществе путем содействия инклюзивности и равенству в правах человека.
Аксиологическое предположение трансформационной парадигмы основано на четырех основных принципах: [47]
Различия во взглядах на то, что реально, определяются различными ценностями и жизненным опытом. В свою очередь, эти ценности и жизненный опыт часто связаны с различиями в доступе к привилегиям, основанным на таких характеристиках, как инвалидность, пол, сексуальная идентичность, религия, раса/этническая принадлежность, национальное происхождение, политическая партия, уровень дохода, возраст, язык и иммиграция. или статус беженца. [47]
Знание конструируется в контексте власти и привилегий, и последствия зависят от того, какой версии знания предоставляется привилегия. [47] «Знания социально и исторически расположены в сложном культурном контексте». [50]
Методологические решения направлены на определение подхода, который наилучшим образом облегчит использование процесса и результатов для повышения социальной справедливости; определить системные силы, которые поддерживают статус-кво, и те, которые позволят произойти изменениям; и признать необходимость критических и рефлексивных отношений между оценщиком и заинтересованными сторонами. [47]
Действуя в рамках социальной справедливости, крайне важно иметь возможность смотреть на мир через призму тех, кто испытывает несправедливость. Критическая расовая теория, феминистская теория и теория квир/ЛГБТК — это основы того, как, по нашему мнению, другие должны думать об обеспечении справедливости для маргинализированных групп. Эти линзы создают возможность сделать каждую теорию приоритетной в решении проблемы неравенства.
Критическая расовая теория (CRT) является расширением критической теории, которая фокусируется на неравенстве, основанном на расе и этнической принадлежности. Дэниел Солорзано описывает роль CRT как основу для исследования и выявления тех системных аспектов общества, которые позволяют сохранять дискриминационный и репрессивный статус-кво расизма. [51]
Суть феминистских теорий заключается в «разоблачении индивидуальных и институциональных практик, которые лишают женщин и других угнетенных групп доступа и игнорируют или обесценивают женщин» [52].
Теоретики квир/ЛГБТК подвергают сомнению гетеросексистские предубеждения, которые пронизывают общество с точки зрения власти и дискриминации в отношении меньшинств сексуальной ориентации. Из-за деликатности вопросов, связанных со статусом ЛГБТК, специалисты по оценке должны знать о безопасных способах защиты личности таких людей и обеспечивать выявление дискриминационной практики, чтобы построить более справедливое общество. [47]
Учитывая дефицит федерального бюджета, администрация Обамы перешла к применению «подхода, основанного на фактических данных» к государственным расходам, включая строгие методы оценки программ. В бюджете президента на 2011 год предусмотрено финансирование 19 оценок государственных программ для таких агентств, как Министерство образования и Агентство США по международному развитию (USAID). Межведомственная группа достигает цели повышения прозрачности и подотчетности путем создания эффективных сетей оценки и использования передового опыта. [53] Шестиэтапная схема проведения оценки программ общественного здравоохранения, опубликованная Центрами по контролю и профилактике заболеваний (CDC), первоначально увеличила акцент на программной оценке государственных программ в США. Структура такова:
В январе 2019 года Закон об основах разработки политики, основанной на фактических данных , ввел новые требования к федеральным агентствам, такие как назначение главного специалиста по оценке. Руководство, опубликованное Управлением управления и бюджета по реализации этого закона, требует от агентств разработать многолетнюю программу обучения, в которой есть конкретные вопросы, на которые агентство хочет ответить для улучшения стратегических и операционных результатов. [54] Агентства также должны составить годовой план оценки, обобщающий конкретные оценки, которые агентство планирует провести для решения вопросов, включенных в программу обучения.
Существует множество различных подходов к оценке программ. Каждый служит разной цели.
Модель оценки CIPP была разработана Дэниелом Стаффлбимом и его коллегами в 1960-х годах. CIPP — это аббревиатура от «Контекст», «Ввод», «Процесс» и «Продукт». CIPP — это модель оценки, которая требует оценки контекста , входных данных , процесса и продукта при определении ценности программы. CIPP представляет собой подход к оценке, ориентированный на принятие решений, который подчеркивает систематическое предоставление информации для управления и эксплуатации программы . [55]
Структура CIPP была разработана как средство увязки оценки с принятием решений по программе . Его цель – обеспечить аналитическую и рациональную основу для принятия решений по программе, основанную на цикле планирования, структурирования, реализации, анализа и пересмотра решений, каждое из которых рассматривается через различные аспекты оценки – контекст, входные данные, оценку процесса и продукта. [55]
Модель CIPP представляет собой попытку сделать оценку непосредственно связанной с потребностями лиц, принимающих решения, на этапах и мероприятиях программы. [55] Модель оценки контекста, вклада , процесса и продукта (CIPP) Stufflebeam рекомендуется в качестве основы для систематического руководства концепцией, проектированием, реализацией и оценкой проектов сервисного обучения, а также обеспечения обратной связи и оценки эффективности проекта для постоянное улучшение. [55]
Этими аспектами являются контекст, входные данные, процесс и продукт. Эти четыре аспекта оценки CIPP помогают лицу, принимающему решения, ответить на четыре основных вопроса:
Это включает сбор и анализ данных оценки потребностей для определения целей, приоритетов и задач. Например, контекстная оценка программы повышения грамотности может включать в себя анализ существующих целей программы повышения грамотности, результатов тестов на достижение грамотности, проблем персонала (общих и частных), политики и планов в области грамотности, а также проблем сообщества, представлений или отношений и потребностей. [55]
Это включает в себя шаги и ресурсы, необходимые для достижения новых целей и задач, и может включать определение успешных внешних программ и материалов, а также сбор информации. [55]
Это дает лицам, принимающим решения, информацию о том, насколько хорошо реализуется программа. Постоянно контролируя программу, лица, принимающие решения, узнают такие вещи, как то, насколько хорошо она следует планам и руководящим принципам, возникающие конфликты, поддержка и моральный дух персонала, сильные и слабые стороны материалов, проблемы с доставкой и бюджетированием. [55]
Измеряя фактические результаты и сравнивая их с ожидаемыми, лица, принимающие решения, могут лучше решить, следует ли продолжать программу, изменять ее или вообще прекратить. В этом суть оценки продукта. [55]
В качестве руководства по оценке модель CIPP позволяет оценщикам оценивать программу на разных этапах, а именно: до начала программы, помогая оценщикам оценить потребность, и в конце программы оценить, дала ли программа эффект.
Модель CIPP позволяет оценщикам задавать формативные вопросы в начале программы, а затем поддерживать оценку воздействия программы путем постановки обобщающих вопросов по всем аспектам программы.
{{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: location missing publisher (link) CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link)