stringtranslate.com

Оценка

В обычном использовании оценка представляет собой систематическое определение и оценку достоинств, ценности и значимости субъекта с использованием критериев, регулируемых набором стандартов . Он может помочь организации, программе, дизайну, проекту или любому другому вмешательству или инициативе оценить любую цель, реализуемую концепцию/предложение или любую альтернативу, чтобы помочь в принятии решений ; или для определения степени достижения или ценности в отношении цели, задач и результатов любого такого действия, которое было завершено. [1]

Основная цель оценки, помимо получения информации о предыдущих или существующих инициативах, состоит в том, чтобы дать возможность поразмышлять и помочь в выявлении будущих изменений. [2] Оценка часто используется для характеристики и оценки объектов, представляющих интерес в широком спектре человеческих предприятий, включая искусство , уголовное правосудие , фонды , некоммерческие организации , правительство , здравоохранение и другие социальные услуги. Это долгосрочный и делается в конце определенного периода времени.

Определение

Оценка – это структурированная интерпретация и придание смысла прогнозируемым или фактическим воздействиям предложений или результатов. Он рассматривает первоначальные цели, а также то, что было предсказано или что было достигнуто, и как это было достигнуто. Таким образом, оценка может быть формативной , то есть проводиться во время разработки концепции или предложения, проекта или организации с целью повышения ценности или эффективности предложения, проекта или организации. Он также может быть суммирующим , извлекая уроки из завершенного действия, проекта или организации в более поздний момент времени или обстоятельств. [3]

Оценка по своей сути является теоретически обоснованным подходом (явно или нет), и, следовательно, любое конкретное определение оценки должно быть адаптировано к его контексту – теории, потребностям, цели и методологии самого процесса оценки. При этом оценка определяется как:

Цель

Основная цель оценки программы может состоять в том, чтобы «определить качество программы путем формулирования суждения» Марта Юрто, Сильвен Уль, Стефани Монгиа (2009). [6] Альтернативная точка зрения заключается в том, что «проекты, оценщики и другие заинтересованные стороны (включая спонсоров) будут потенциально иметь разные идеи о том, как лучше всего оценить проект, поскольку каждый из них может иметь разное определение« заслуги ». Суть проблемы таким образом, речь идет об определении того, что имеет ценность». [5] С этой точки зрения, оценка «является спорным термином», поскольку «оценщики» используют термин «оценка» для описания оценки или исследования программы, в то время как другие просто понимают оценку как синоним прикладного исследования.

Есть две функции, учитывающие цель оценки. Формативная оценка предоставляет информацию об улучшении продукта или процесса. Суммативные оценки предоставляют информацию о краткосрочной эффективности или долгосрочном влиянии для принятия решения о внедрении продукта или процесса. [7]

Не все оценки служат одной и той же цели, некоторые оценки выполняют функцию мониторинга, а не фокусируются исключительно на измеримых результатах программы или результатах оценок, и полный список типов оценок составить будет сложно. [5] Это связано с тем, что оценка не является частью единой теоретической основы, [8] опираясь на ряд дисциплин, которые включают теорию управления и организации , анализ политики , образование , социологию , социальную антропологию и социальные изменения . [9]

Обсуждение

Однако строгое следование набору методологических предположений может сделать область оценки более приемлемой для основной аудитории, но такая приверженность будет способствовать предотвращению разработки оценщиками новых стратегий для решения множества проблем, с которыми сталкиваются программы. [9] Утверждается, что лишь малая часть отчетов об оценке используется оценщиком (клиентом) (Датта, 2006). [6] Одним из оправданий этого является то, что «когда результаты оценки оспариваются или их использование не удалось, это происходит потому, что заинтересованные стороны и клиенты сочли выводы слабыми или обоснования неубедительными» (Fournier and Smith, 1993). [6] Некоторыми причинами этой ситуации может быть неспособность оценщика установить ряд общих целей с оценщиком или постановка слишком амбициозных целей, а также неспособность найти компромисс и включить культурные различия людей и программ в оценку. цели и процесс. [5] Ни одна из этих проблем не связана с отсутствием определения оценки, а скорее связана с попытками оценщиков навязать клиентам предрасположенные представления и определения оценок. Основная причина плохого использования оценок, возможно, [ кем? ] из-за отсутствия адаптации оценок к потребностям клиента, из-за заранее определенной идеи (или определения) того, что такое оценка, а не того, что нужно клиенту (House, 1980). [6] Разработка стандартной методологии оценки потребует выработки применимых способов постановки и формулирования результатов вопросов об этике, таких как агент-принципал, конфиденциальность, определение заинтересованных сторон, ограниченная ответственность; и вопросы о том, можно ли потратить деньги более разумно.

Стандарты

В зависимости от интересующей темы существуют профессиональные группы, которые проверяют качество и строгость процессов оценки.

Оценка программ и проектов с точки зрения их ценности и воздействия в контексте их реализации может быть сложной с этической точки зрения. Оценщики могут столкнуться со сложными, культурно-специфичными системами, устойчивыми к внешней оценке. Более того, проектная организация или другие заинтересованные стороны могут быть заинтересованы в конкретном результате оценки. Наконец, сами оценщики могут столкнуться с проблемами « конфликта интересов (КИ) » или столкнуться с вмешательством или давлением с целью представления результатов, подтверждающих конкретную оценку.

Общие профессиональные кодексы поведения , определенные организацией-работодателем, обычно охватывают три широких аспекта стандартов поведения и включают межколлегиальные отношения (например, уважение многообразия и конфиденциальности ), оперативные вопросы (должная компетентность , точность документации и надлежащее использование ресурсы) и конфликты интересов ( кумовство , принятие подарков и другие виды фаворитизма). [10] Однако необходимы конкретные руководящие принципы, касающиеся роли оценщика, которые можно использовать при решении уникальных этических проблем. Объединенный комитет по стандартам оценки образования разработал стандарты оценки программ, персонала и студентов. Стандарты Объединенного комитета разбиты на четыре раздела: полезность, осуществимость, правомерность и точность. Различные европейские учреждения также подготовили свои собственные стандарты, более или менее похожие на стандарты, разработанные Объединенным комитетом. Они содержат рекомендации по основанию оценочных суждений на систематических исследованиях, компетентности и добросовестности оценщиков, уважении к людям и заботе об общем и общественном благосостоянии. [11]

Американская ассоциация оценки разработала набор руководящих принципов для оценщиков. [12] Порядок этих принципов не подразумевает приоритета между ними; приоритет будет зависеть от ситуации и роли оценщика. Принципы заключаются в следующем:

Независимость достигается за счет обеспечения независимости суждений, так что выводы оценки не подвергаются влиянию или давлению со стороны другой стороны, а также избегания конфликта интересов, так что оценщик не заинтересован в конкретном выводе. Конфликт интересов возникает, в частности, в тех случаях, когда финансирование оценок обеспечивается конкретными органами, заинтересованными в выводах оценки, и это рассматривается как потенциально ставящий под угрозу независимость оценщика. Хотя признается, что оценщики могут быть знакомы с агентствами или проектами, которые они должны оценивать, независимость требует, чтобы они не участвовали в планировании или реализации проекта. Декларация о заинтересованности должна быть сделана там, где указаны любые выгоды или связь с проектом. Независимость суждений должна сохраняться вопреки любому давлению, оказываемому на оценщиков, например, со стороны спонсоров проекта, желающих изменить оценки таким образом, чтобы проект выглядел более эффективным, чем

выводы можно проверить. [10]

Беспристрастность подразумевает, что выводы представляют собой справедливую и тщательную оценку сильных и слабых сторон проекта или программы. Это требует принятия надлежащего вклада со стороны всех вовлеченных заинтересованных сторон и представления результатов без предвзятости и с прозрачной, пропорциональной и убедительной связью между выводами и рекомендациями. Таким образом, оценщики должны ограничивать свои выводы доказательствами. Механизмом обеспечения беспристрастности является внешний и внутренний обзор. Такой анализ необходим для существенных (определяемых с точки зрения стоимости или чувствительности) оценок. Обзор основан на качестве работы и степени, в которой обеспечивается очевидная связь между выводами.

и рекомендации. [10]

Прозрачность требует, чтобы заинтересованные стороны знали причину оценки, критерии, по которым проводится оценка, и цели, к которым будут применяться результаты. Доступ к документу оценки должен быть облегчен за счет легко читаемости результатов с четкими объяснениями методологий оценки, подходов, источников информации и затрат.

понесенные. [10]

Более того, такие международные организации, как МВФ и Всемирный банк, имеют независимые функции оценки. Различные фонды, программы и учреждения Организации Объединенных Наций имеют сочетание независимых, полунезависимых функций и функций самооценки, которые организовались в виде общесистемной группы ООН по оценке (UNEG), [13] которая работает вместе для укрепить эту функцию и установить нормы и стандарты ООН для оценки. В рамках ОЭСР-DAC также существует группа оценки, которая стремится улучшить стандарты оценки развития. [15] Независимые подразделения оценки крупных многонациональных банков развития (МБР) также создали Группу сотрудничества в области оценки [16] для усиления использования оценки для повышения эффективности и подотчетности МБР, обмена уроками из оценок МБР, а также содействия гармонизации оценок и сотрудничество.

Перспективы

Слово «оценка» имеет различное значение для разных людей, поднимая вопросы, связанные с этим процессом, которые включают в себя; какой тип оценки следует проводить; почему должен быть процесс оценки и как оценка интегрирована в программу с целью получения большего количества знаний и осведомленности? Существуют также различные факторы, присущие процессу оценки, например; критически исследовать влияния внутри программы, которые включают сбор и анализ соответствующей информации о программе.

Майкл Куинн Паттон мотивировал концепцию, согласно которой процедура оценки должна быть направлена ​​на:

Основываясь на другой перспективе оценки, предложенной Томсоном и Хоффманом в 2003 году, можно столкнуться с ситуацией, в которой этот процесс нельзя будет считать целесообразным; например, в случае, если программа непредсказуема или ненадежна. Это включает в себя отсутствие последовательного распорядка дня; или заинтересованные стороны не могут прийти к соглашению относительно цели программы. Кроме того, влиятельный человек или менеджер отказывается включать в оценку соответствующие, важные центральные вопросы.

Подходы

Существует несколько концептуально различных способов мышления, планирования и проведения мероприятий по оценке. Многие из используемых сегодня подходов к оценке вносят поистине уникальный вклад в решение важных проблем, тогда как другие в некотором роде совершенствуют существующие подходы.

Классификация подходов

Две классификации подходов к оценке, предложенные Хаусом [17] и Стаффлбимом и Вебстером [18], могут быть объединены в управляемое количество подходов с точки зрения их уникальных и важных основополагающих принципов. [ нужны разъяснения ]

Хаус считает, что все основные подходы к оценке основаны на общей идеологии под названием либеральная демократия . Важные принципы этой идеологии включают свободу выбора, уникальность личности и эмпирическое исследование , основанное на объективности . Он также утверждает, что все они основаны на субъективистской этике, согласно которой этическое поведение основано на субъективном или интуитивном опыте человека или группы. Одной из форм субъективистской этики является утилитарная , в которой « добро » определяется тем, что максимизирует единую, явную интерпретацию счастья для общества в целом. Другая форма субъективистской этики — интуиционистская / плюралистическая , в которой не предполагается единой интерпретации «благо», и такие интерпретации не нуждаются в явном формулировании или обосновании.

Этим этическим позициям соответствуют эпистемологиифилософии получения знаний . Объективистская эпистемология связана с утилитарной этикой; в общем, он используется для приобретения знаний, которые могут быть проверены извне (межсубъектное соглашение) с помощью общедоступных методов и данных . Субъективистская эпистемология связана с интуиционистской/плюралистической этикой и используется для приобретения новых знаний на основе существующих личных знаний, а также опыта, который (явно) или недоступен (неявно) доступен для публичного изучения. Затем Хаус разделяет каждый эпистемологический подход на две основные политические перспективы. Во-первых, подходы могут основываться на элитарной перспективе и фокусироваться на интересах менеджеров и специалистов; или они также могут принять массовую перспективу, сосредоточив внимание на потребителях и подходах, основанных на участии .

Стаффлбим и Вебстер относят подходы к одной из трех групп в зависимости от их ориентации на роль ценностей и этических соображений. Политическая ориентация способствует положительному или отрицательному взгляду на объект независимо от того, какова его ценность на самом деле и могла бы быть — они называют это псевдооценкой . Ориентация на вопросы включает в себя подходы, которые могут давать или не давать ответы, конкретно связанные с ценностью объекта — они называют это квазиоценкой. Ценностная ориентация включает в себя подходы, направленные прежде всего на определение ценности объекта, — это называют истинной оценкой.

Когда вышеупомянутые концепции рассматриваются одновременно, можно выделить пятнадцать подходов к оценке с точки зрения эпистемологии, основной точки зрения (Хауса) и ориентации. [18] Представлены два подхода к псевдооценке: политически контролируемый и пиар-исследования. Они основаны на объективистской эпистемологии с точки зрения элиты. Шесть подходов квазиоценки используют объективистскую эпистемологию. Пять из них — экспериментальные исследования, информационные системы управления , программы тестирования, целевые исследования и контент-анализ — придерживаются элитарной точки зрения. Подотчетность принимает массовую перспективу. Включены семь истинных подходов к оценке. Два подхода, ориентированные на принятие решений и политические исследования, основаны на объективистской эпистемологии с точки зрения элиты. Исследования, ориентированные на потребителя, основаны на объективистской эпистемологии с массовой точки зрения. Два подхода – аккредитация/сертификация и исследования знатоков – основаны на субъективистской эпистемологии с точки зрения элиты. Наконец, состязательные и клиентоориентированные исследования основаны на субъективистской эпистемологии с точки зрения масс.

Краткое изложение подходов

Следующая таблица используется для обобщения каждого подхода с точки зрения четырех атрибутов : организатор, цель, сильные и слабые стороны. Организатор представляет основные соображения или сигналы, которые практикующие специалисты используют при организации исследования. Цель представляет собой желаемый результат исследования на самом общем уровне. Сильные и слабые стороны представляют собой другие характеристики, которые следует учитывать при принятии решения о том, следует ли использовать этот подход для конкретного исследования. Следующее описание подчеркивает различия между подходами, сгруппированными вместе.

Псевдооценка

Политически контролируемые исследования и исследования связей с общественностью основаны на объективистской эпистемологии с точки зрения элиты . [ необходимо разъяснение ] Хотя оба этих подхода направлены на искажение интерпретации ценности объекта, они функционируют по-разному друг от друга. Информация , полученная в ходе политически контролируемых исследований, раскрывается или скрывается для удовлетворения особых интересов владельца, тогда как информация по связям с общественностью создает положительный имидж объекта независимо от реальной ситуации. Несмотря на применение обоих исследований в реальных сценариях, ни один из этих подходов не является приемлемой практикой оценки.

Объективист, элита, квазиоценка

В совокупности эти пять подходов представляют собой весьма уважаемую коллекцию дисциплинированных исследовательских подходов. Их считают подходами квазиоценки, поскольку отдельные исследования на законных основаниях могут фокусироваться только на вопросах знаний, не затрагивая каких-либо вопросов ценности. Такие исследования по определению не являются оценками. Эти подходы могут дать характеристики без проведения оценок, хотя конкретные исследования могут дать и то, и другое. Каждый из этих подходов хорошо служит своей цели. Они обсуждаются примерно в порядке того, насколько они приближаются к объективистскому идеалу.

Объективистская, массовая, квазиоценка

Объективист, элита, истинная оценка

Объективистская, массовая, истинная оценка

Субъективистская, элитарная, истинная оценка

Предмет, массовость, истинная оценка

Клиентоориентированность

Методы и техники

Оценка методологически разнообразна. Методы могут быть качественными или количественными и включают тематические исследования , опросы , статистический анализ , построение моделей и многое другое, например:

Смотрите также

Рекомендации

  1. ^ Персонал (1995–2012). «2. Что такое оценка?». Международный центр алкогольной политики - Анализ. Баланс. Партнерство . Международный центр алкогольной политики. Архивировано из оригинала 4 мая 2012 г. Проверено 13 мая 2012 г.
  2. ^ Сара дель Туфо (13 марта 2002 г.). «ЧТО такое оценка?». Оценочный трест . Оценочный трест. Архивировано из оригинала 30 апреля 2012 года . Проверено 13 мая 2012 г.
  3. ^ Майкл Скривен (1967). «Методология оценки». В Стейке, RE (ред.). Оценка учебной программы . Чикаго: Рэнд МакНелли. Американская ассоциация исследований в области образования (серия монографий по оценке, № 1.
  4. ^ Росс, PH; Эллипс, МВт; Фриман, HE (2004). Оценка: системный подход (7-е изд.). Таузенд-Оукс: Сейдж. ISBN 978-0-7619-0894-4.
  5. ^ abcde Рив, Дж; Разносчик газет, Д. (2007). «Оценка оценки: понимание полезности и ограничений оценки как инструмента организационного обучения». Журнал санитарного просвещения . 66 (2): 120–131. дои : 10.1177/0017896907076750. S2CID  73248087.
  6. ^ abcd Юрто, М.; Хоул, С.; Монгиат, С. (2009). «Насколько законны и оправданы суждения при оценке программ?». Оценка . 15 (3): 307–319. дои : 10.1177/1356389009105883. S2CID  145812003.
  7. ^ Персонал (2011). «Цель оценки». дизайншоп – уроки эффективного преподавания . Технологии обучения в Технологическом институте Вирджинии. Архивировано из оригинала 30 мая 2012 г. Проверено 13 мая 2012 г.
  8. ^ Алкин; Эллетт (1990). не дано . п. 454.
  9. ^ аб Поттер, К. (2006). «Психология и искусство оценки программ». Южноафриканский журнал психологии . 36 (1): 82ХГГФГИР–102. дои : 10.1177/008124630603600106. S2CID  145698028.
  10. ^ abcdefgh Дэвид Тодд (2007). Этические руководящие принципы Отдела оценки ГЭФ (PDF) . Вашингтон, округ Колумбия, США: Управление оценки Глобального экологического фонда. Архивировано из оригинала (PDF) 24 марта 2012 г. Проверено 20 ноября 2011 г.
  11. ^ Персонал (2012). "Новости и события". Объединенный комитет по стандартам оценки образования . Объединенный комитет по стандартам оценки образования. Архивировано из оригинала 15 октября 2009 года . Проверено 13 мая 2012 г.
  12. ^ Персонал (июль 2004 г.). «РУКОВОДЯЩИЕ ПРИНЦИПЫ ДЛЯ ОЦЕНЧИКОВ АМЕРИКАНСКОЙ АССОЦИАЦИИ ОЦЕНКИ». Американская ассоциация оценки . Американская ассоциация оценки. Архивировано из оригинала 29 апреля 2012 года . Проверено 13 мая 2012 г.
  13. ^ Персонал abc (2012). «ЮНЕГ Дом». Группа ООН по оценке . Группа ООН по оценке. Архивировано из оригинала 13 мая 2012 года . Проверено 13 мая 2012 г.
  14. ^ Институт Всемирного банка (2007). «Мониторинг и оценка результатов. Этика оценки. Чего ожидать от ваших оценщиков» (PDF) . Институт Всемирного банка . Группа Всемирного банка. Архивировано (PDF) из оригинала 1 ноября 2012 года . Проверено 13 мая 2012 г.
  15. ^ Персонал. «Сеть DAC по оценке развития». ОЭСР – Лучшая политика для лучшей жизни . ОЭСР. Архивировано из оригинала 2 июня 2012 года . Проверено 13 мая 2012 г.
  16. ^ Персонал. «Группа оценочного сотрудничества». Веб-сайт Группы сотрудничества по оценке . ЭКГ. Архивировано из оригинала 13 июня 2006 года . Проверено 31 мая 2013 г.
  17. ^ Хаус, скорая помощь (1978). Предположения, лежащие в основе моделей оценки. Исследователь образования . 7(3), 4-12.
  18. ^ abc Stufflebeam, DL, и Вебстер, WJ (1980). «Анализ альтернативных подходов к оценке». Архивировано 9 ноября 2016 г. на Wayback Machine . Оценка образования и анализ политики . 2(3), 5-19. ОСЛК  482457112

Внешние ссылки