stringtranslate.com

Оценка

В общем смысле , оценка — это систематическое определение и оценка заслуг, ценности и значимости субъекта с использованием критериев, регулируемых набором стандартов . Она может помочь организации, программе, дизайну, проекту или любому другому вмешательству или инициативе оценить любую цель, реализуемую концепцию/предложение или любую альтернативу, чтобы помочь в принятии решений ; или сформировать степень достижения или ценности в отношении цели и задач и результатов любого такого действия, которое было завершено. [1]

Основная цель оценки, помимо получения информации о предыдущих или существующих инициативах, заключается в том, чтобы дать возможность для размышлений и помочь в определении будущих изменений. [2] Оценка часто используется для характеристики и оценки субъектов интереса в широком диапазоне человеческих предприятий, включая начало периода месяцев

Определение

Оценка — это структурированная интерпретация и придание смысла прогнозируемым или фактическим воздействиям предложений или результатов. Она рассматривает исходные цели, а также то, что прогнозируется или что было достигнуто и как это было достигнуто. Таким образом, оценка может быть формативной , то есть происходящей во время разработки концепции или предложения, проекта или организации с намерением улучшить ценность или эффективность предложения, проекта или организации . Она также может быть суммирующей , извлекающей уроки из завершенного действия или проекта или организации в более поздний момент времени или обстоятельств. [3]

Оценка по своей сути является теоретически обоснованным подходом (явно или нет), и, следовательно, любое конкретное определение оценки будет адаптировано к ее контексту – теории, потребностям, цели и методологии самого процесса оценки. Сказав это, оценка была определена как:

Цель

Основной целью оценки программы может быть «определение качества программы путем формулирования суждения» Марта Юрто, Сильвен Уль, Стефани Монжиа (2009). [6] Альтернативная точка зрения заключается в том, что «проекты, оценщики и другие заинтересованные стороны (включая спонсоров) будут иметь потенциально разные идеи о том, как лучше всего оценить проект, поскольку у каждого может быть разное определение «заслуги». Таким образом, суть проблемы заключается в определении того, что имеет ценность». [5] С этой точки зрения оценка «является спорным термином», поскольку «оценщики» используют термин оценка для описания оценки или исследования программы, в то время как другие просто понимают оценку как синоним прикладного исследования.

Существуют две функции, учитывающие цель оценки. Формирующие оценки предоставляют информацию об улучшении продукта или процесса. Суммативные оценки предоставляют информацию о краткосрочной эффективности или долгосрочном воздействии для принятия решения о принятии продукта или процесса. [7]

Не все оценки служат одной и той же цели, некоторые оценки выполняют функцию мониторинга, а не фокусируются исключительно на измеримых результатах программы или результатах оценки, и полный список типов оценок будет сложно составить. [5] Это связано с тем, что оценка не является частью единой теоретической структуры, [8] опираясь на ряд дисциплин, которые включают теорию управления и организации , анализ политики , образование , социологию , социальную антропологию и социальные изменения . [9]

Обсуждение

Тем не менее, строгое соблюдение набора методологических предположений может сделать область оценки более приемлемой для основной аудитории, но это соблюдение будет работать на то, чтобы помешать оценщикам разрабатывать новые стратегии для решения множества проблем, с которыми сталкиваются программы. [9] Утверждается, что только меньшинство отчетов об оценке используется оценщиком (клиентом) (Data, 2006). [6] Одним из оправданий этого является то, что «когда результаты оценки оспариваются или их использование не удается, это происходит потому, что заинтересованные стороны и клиенты находят выводы слабыми или гарантии неубедительными» (Fournier and Smith, 1993). [6] Некоторые причины такой ситуации могут заключаться в неспособности оценщика установить набор общих целей с оценщиком или в создании чрезмерно амбициозных целей, а также в неспособности пойти на компромисс и включить культурные различия людей и программ в цели и процесс оценки. [5] Ни одна из этих проблем не связана с отсутствием определения оценки, а скорее с попытками оценщиков навязать клиентам предвзятые понятия и определения оценок. Основная причина плохого использования оценок, возможно, [ кем? ] связана с отсутствием адаптации оценок к потребностям клиента, из-за предопределенной идеи (или определения) того, что такое оценка, а не того, что нужно клиенту (House, 1980). [6] Разработка стандартной методологии оценки потребует разработки применимых способов постановки и формулирования результатов вопросов об этике, таких как агент-принципал, конфиденциальность, определение заинтересованных сторон, ограниченная ответственность; и вопросы «могли бы деньги быть потрачены более разумно».

Стандарты

В зависимости от интересующей темы существуют профессиональные группы, которые проверяют качество и строгость процессов оценки.

Оценка программ и проектов с точки зрения их ценности и воздействия в контексте их реализации может быть этически сложной. Оценщики могут столкнуться со сложными, культурно-специфическими системами, устойчивыми к внешней оценке. Кроме того, организация проекта или другие заинтересованные стороны могут быть заинтересованы в конкретном результате оценки. Наконец, сами оценщики могут столкнуться с проблемами « конфликта интересов (COI) » или столкнуться с помехами или давлением, чтобы представить выводы, которые поддерживают конкретную оценку.

Общие профессиональные кодексы поведения , определяемые организацией-работодателем, обычно охватывают три широких аспекта поведенческих стандартов и включают межколлективные отношения (такие как уважение к разнообразию и конфиденциальности ), операционные вопросы (должная компетентность , точность документации и надлежащее использование ресурсов) и конфликты интересов ( непотизм , принятие подарков и другие виды фаворитизма). [10] Однако требуются конкретные руководящие принципы, относящиеся к роли оценщика, которые могут быть использованы при управлении уникальными этическими проблемами. Объединенный комитет по стандартам образовательной оценки разработал стандарты для оценки программ, персонала и студентов. Стандарты Объединенного комитета разбиты на четыре раздела: полезность, осуществимость, уместность и точность. Различные европейские учреждения также подготовили свои собственные стандарты, более или менее связанные с теми, которые были разработаны Объединенным комитетом. Они предоставляют руководящие принципы относительно обоснования оценочных суждений на основе систематического исследования, компетентности и честности оценщика, уважения к людям и внимания к общему и общественному благосостоянию. [11]

Американская ассоциация оценки создала набор руководящих принципов для оценщиков. [12] Порядок этих принципов не подразумевает приоритет среди них; приоритет будет варьироваться в зависимости от ситуации и роли оценщика. Принципы звучат следующим образом:

Независимость достигается путем обеспечения независимости суждений, которая поддерживается таким образом, что выводы оценки не находятся под влиянием или давлением другой стороны, и избегания конфликта интересов, таким образом, что оценщик не имеет заинтересованности в конкретном заключении. Конфликт интересов является предметом обсуждения, особенно когда финансирование оценок предоставляется определенными органами, заинтересованными в выводах оценки, и это рассматривается как потенциальное нарушение независимости оценщика. Хотя признается, что оценщики могут быть знакомы с агентствами или проектами, которые они должны оценить, независимость требует, чтобы они не были вовлечены в планирование или реализацию проекта. Декларация об интересах должна быть сделана, когда указаны какие-либо выгоды или связь с проектом. Независимость суждений должна поддерживаться в отношении любого давления, оказываемого на оценщиков, например, со стороны спонсоров проекта, желающих изменить оценки таким образом, чтобы проект казался более эффективным, чем могут подтвердить выводы. [10]

Беспристрастность относится к выводам, являющимся справедливой и тщательной оценкой сильных и слабых сторон проекта или программы. Это требует принятия надлежащего вклада от всех заинтересованных сторон, вовлеченных в процесс, и представления выводов без предвзятости и с прозрачной, пропорциональной и убедительной связью между выводами и рекомендациями. Таким образом, оценщики должны разграничивать свои выводы с доказательствами. Механизмом обеспечения беспристрастности является внешний и внутренний обзор. Такой обзор требуется для существенных (определяемых с точки зрения стоимости или чувствительности) оценок. Обзор основан на качестве работы и степени, в которой обеспечивается демонстрируемая связь между выводами и рекомендациями. [10]

Прозрачность требует, чтобы заинтересованные стороны знали причину оценки, критерии, по которым происходит оценка, и цели, к которым будут применяться результаты. Доступ к оценочному документу должен быть облегчен за счет того, что результаты должны быть легко читаемыми, с четкими объяснениями методологий оценки, подходов, источников информации и понесенных затрат. [10]

Кроме того, международные организации, такие как МВФ и Всемирный банк, имеют независимые функции оценки. Различные фонды, программы и агентства Организации Объединенных Наций имеют сочетание независимых, полунезависимых и самооценочных функций, которые организовались в общесистемную Группу оценки ООН (UNEG), [13] которая работает вместе для укрепления функции и установления норм и стандартов ООН для оценки. Существует также группа оценки в рамках ОЭСР-КСР, которая стремится улучшить стандарты оценки развития. [15] Независимые подразделения оценки основных многонациональных банков развития (МБР) также создали Группу сотрудничества по оценке [16] для укрепления использования оценки для большей эффективности и подотчетности МБР, обмена уроками из оценок МБР и содействия гармонизации и сотрудничеству в оценке.

Перспективы

Слово «оценка» имеет различные коннотации для разных людей, поднимая вопросы, связанные с этим процессом, которые включают; какой тип оценки следует проводить; почему должен быть процесс оценки и как оценка интегрируется в программу с целью получения больших знаний и осведомленности? Существуют также различные факторы, присущие процессу оценки, например; критически исследовать влияния в рамках программы, которые включают сбор и анализ относительной информации о программе.

Майкл Куинн Паттон обосновал концепцию, согласно которой процедура оценки должна быть направлена ​​на:

Основываясь на другой точке зрения оценки Томсона и Хоффмана в 2003 году, можно столкнуться с ситуацией, в которой процесс не может считаться целесообразным; например, в случае, если программа непредсказуема или несостоятельна. Это может включать в себя отсутствие последовательной рутины; или заинтересованные стороны не могут достичь соглашения относительно цели программы. Кроме того, влиятельный человек или менеджер, отказывающийся включать соответствующие, важные центральные вопросы в оценку

Подходы

Существует несколько концептуально различных способов размышления, проектирования и проведения оценочных усилий. Многие из используемых сегодня подходов к оценке вносят действительно уникальный вклад в решение важных проблем, в то время как другие каким-то образом совершенствуют существующие подходы.

Классификация подходов

Две классификации подходов к оценке, предложенные Хаусом [17] и Стаффлбимом и Вебстером [18], можно объединить в управляемое количество подходов с точки зрения их уникальных и важных основополагающих принципов. [ необходимо разъяснение ]

Хаус считает, что все основные подходы к оценке основаны на общей идеологии под названием либеральная демократия . Важные принципы этой идеологии включают свободу выбора, уникальность личности и эмпирическое исследование , основанное на объективности . Он также утверждает, что все они основаны на субъективистской этике, в которой этическое поведение основано на субъективном или интуитивном опыте личности или группы. Одной из форм субъективистской этики является утилитаристская , в которой « благо » определяется тем, что максимизирует единую, явную интерпретацию счастья для общества в целом. Другой формой субъективистской этики является интуитивистская / плюралистическая , в которой не предполагается единой интерпретации «блага», и такие интерпретации не должны быть явно заявлены или обоснованы.

Эти этические позиции имеют соответствующие эпистемологии — философии получения знаний . Объективистская эпистемология связана с утилитаристской этикой; в целом она используется для получения знаний, которые могут быть внешне проверены (межсубъективное соглашение) посредством публично представленных методов и данных . Субъективистская эпистемология связана с интуиционистской/плюралистической этикой и используется для получения новых знаний, основанных на существующих личных знаниях, а также опыте, который (явно) или не (неявно) доступен для публичного ознакомления. Затем Хаус делит каждый эпистемологический подход на две основные политические перспективы. Во-первых, подходы могут принимать элитарную перспективу, фокусируясь на интересах менеджеров и профессионалов; или они также могут принимать массовую перспективу, фокусируясь на потребителях и подходах , предполагающих участие .

Стаффлбим и Вебстер помещают подходы в одну из трех групп в соответствии с их ориентацией на роль ценностей и этических соображений. Политическая ориентация продвигает позитивный или негативный взгляд на объект независимо от того, какова его фактическая ценность и может ли она быть — они называют это псевдооценкой . Ориентация вопросов включает подходы, которые могут или не могут дать ответы, конкретно связанные со ценностью объекта — они называют это квазиоценкой. Ориентация ценностей включает подходы, в первую очередь направленные на определение ценности объекта — они называют это истинной оценкой.

Если рассматривать вышеуказанные концепции одновременно, можно выделить пятнадцать подходов к оценке с точки зрения эпистемологии, основной перспективы (от Хауса) и ориентации. [18] Представлены два псевдооценочных подхода, политически контролируемые и исследования связей с общественностью. Они основаны на объективистской эпистемологии с точки зрения элиты. Шесть квазиоценочных подходов используют объективистскую эпистемологию. Пять из них — экспериментальные исследования, системы управленческой информации , программы тестирования, исследования, основанные на целях, и контент-анализ — принимают элитарную точку зрения. Подотчетность принимает массовую точку зрения. Включены семь истинных подходов к оценке. Два подхода, ориентированные на принятие решений и политические исследования, основаны на объективистской эпистемологии с точки зрения элиты. Исследования, ориентированные на потребителя, основаны на объективистской эпистемологии с точки зрения масс. Два подхода — аккредитация/сертификация и исследования знатоков — основаны на субъективистской эпистемологии с точки зрения элиты. Наконец, исследования, ориентированные на противника и клиента, основаны на субъективистской эпистемологии с точки зрения масс.

Резюме подходов

Следующая таблица используется для обобщения каждого подхода с точки зрения четырех атрибутов — организатора, цели, сильных и слабых сторон. Организатор представляет основные соображения или сигналы, которые практикующие специалисты используют для организации исследования. Цель представляет желаемый результат исследования на самом общем уровне. Сильные и слабые стороны представляют другие атрибуты, которые следует учитывать при принятии решения об использовании подхода для конкретного исследования. В следующем описании подчеркиваются различия между подходами, сгруппированными вместе.

Псевдооценка

Политически контролируемые и пиар- исследования основаны на объективистской эпистемологии с точки зрения элиты . [ необходимо разъяснение ] Хотя оба эти подхода стремятся исказить интерпретации ценностей об объекте, они функционируют по-разному. Информация , полученная в ходе политически контролируемых исследований, раскрывается или скрывается для удовлетворения особых интересов держателя, тогда как пиар-информация создает положительный образ объекта независимо от фактической ситуации. Несмотря на применение обоих исследований в реальных сценариях, ни один из этих подходов не является приемлемой практикой оценки.

Объективистский, элитарный, квазиоценочный

Как группа, эти пять подходов представляют собой весьма уважаемую коллекцию дисциплинированных исследовательских подходов. Они считаются квазиоценочными подходами, поскольку конкретные исследования законно могут фокусироваться только на вопросах знания, не затрагивая никаких вопросов ценности. Такие исследования по определению не являются оценками. Эти подходы могут производить характеристики, не производя оценок, хотя конкретные исследования могут производить и то, и другое. Каждый из этих подходов хорошо служит своей предполагаемой цели. Они обсуждаются примерно в порядке степени, в которой они приближаются к идеалу объективиста.

Объективистский, массовый, квазиоценочный

Объективист, элита, истинная оценка

Объективистская, массовая, истинная оценка

Субъективист, элита, истинная оценка

Субъект, масса, истинная оценка

Клиентоориентированный

Методы и приемы

Оценка методологически разнообразна. Методы могут быть качественными или количественными и включают в себя тематические исследования , обзорные исследования , статистический анализ , построение моделей и многое другое, например:

Смотрите также

Ссылки

  1. ^ Сотрудники (1995–2012). "2. Что такое оценка?". Международный центр алкогольной политики - Анализ. Баланс. Партнерство . Международный центр алкогольной политики. Архивировано из оригинала 2012-05-04 . Получено 13 мая 2012 г.
  2. ^ Сара дель Туфо (13 марта 2002 г.). "ЧТО такое оценка?". Evaluation Trust . Evaluation Trust. Архивировано из оригинала 30 апреля 2012 г. Получено 13 мая 2012 г.
  3. ^ Майкл Скривен (1967). «Методология оценки». В Stake, RE (ред.). Оценка учебной программы . Чикаго: Rand McNally. Американская ассоциация образовательных исследований (серия монографий по оценке, № 1.
  4. ^ Росс, PH; Эллипс, MW; Фримен, HE (2004). Оценка: систематический подход (7-е изд.). Thousand Oaks: Sage. ISBN 978-0-7619-0894-4.
  5. ^ a b c d e Reeve, J; Paperboy, D. (2007). "Evaluating the evaluation: Understanding the utility and limitations of evaluation as a tool for organizational learning". Health Education Journal. 66 (2): 120–131. doi:10.1177/0017896907076750. S2CID 73248087.
  6. ^ a b c d Hurteau, M.; Houle, S.; Mongiat, S. (2009). "How Legitimate and Justified are Judgments in Program Evaluation?". Evaluation. 15 (3): 307–319. doi:10.1177/1356389009105883. S2CID 145812003.
  7. ^ Staff (2011). "Evaluation Purpose". designshop – lessons in effective teaching. Learning Technologies at Virginia Tech. Archived from the original on 2012-05-30. Retrieved 13 May 2012.
  8. ^ Alkin; Ellett (1990). not given. p. 454.
  9. ^ a b Potter, C. (2006). "Psychology and the art of program evaluation". South African Journal of Psychology. 36 (1): 82HGGFGYR–102. doi:10.1177/008124630603600106. S2CID 145698028.
  10. ^ a b c d e f g h David Todd (2007). GEF Evaluation Office Ethical Guidelines (PDF). Washington, DC, United States: Global Environment Facility Evaluation Office. Archived from the original (PDF) on 2012-03-24. Retrieved 2011-11-20.
  11. ^ Staff (2012). "News and Events". Joint Committee on Standards for Educational Evaluation. Joint Committee on Standards for Educational Evaluation. Archived from the original on October 15, 2009. Retrieved 13 May 2012.
  12. ^ Staff (July 2004). "AMERICAN EVALUATION ASSOCIATION GUIDING PRINCIPLES FOR EVALUATORS". American Evaluation Association. American Evaluation Association. Archived from the original on 29 April 2012. Retrieved 13 May 2012.
  13. ^ a b c Staff (2012). "UNEG Home". United Nations Evaluation Group. United Nations Evaluation Group. Archived from the original on 13 May 2012. Retrieved 13 May 2012.
  14. ^ World Bank Institute (2007). "Monitoring & Evaluation for Results Evaluation Ethics What to expect from your evaluators" (PDF). World Bank Institute. The World Bank Group. Archived (PDF) from the original on 1 November 2012. Retrieved 13 May 2012.
  15. ^ Сотрудники. "DAC Network On Development Evaluation". OECD - Better Policies For Better Lives . OECD. Архивировано из оригинала 2 июня 2012 года . Получено 13 мая 2012 года .
  16. ^ Сотрудники. "Evaluation Cooperation Group". Веб-сайт Evaluation Cooperation Group . ECG. Архивировано из оригинала 13 июня 2006 года . Получено 31 мая 2013 года .
  17. ^ Хаус, Э. Р. (1978). Предположения, лежащие в основе моделей оценки. Educational Researcher . 7(3), 4-12.
  18. ^ abc Stufflebeam, DL, & Webster, WJ (1980). "Анализ альтернативных подходов к оценке" Архивировано 2016-11-09 в Wayback Machine . Оценка образования и анализ политики . 2(3), 5-19. OCLC  482457112

Внешние ссылки