Рецензирование — это оценка работы одним или несколькими людьми с аналогичными компетенциями, как и у создателей работы (коллегами). [1] Оно функционирует как форма саморегулирования квалифицированных представителей профессии в соответствующей области . Методы рецензирования используются для поддержания стандартов качества, повышения производительности и обеспечения авторитета. В академической среде научное рецензирование часто используется для определения пригодности научной работы для публикации. Рецензирование можно классифицировать по типу деятельности и по области или профессии, в которой происходит деятельность, например, медицинское рецензирование. Его также можно использовать в качестве учебного пособия, чтобы помочь студентам улучшить письменные задания. [2]
Генри Ольденбург (1619–1677) был британским философом немецкого происхождения, которого считают «отцом» современной научной экспертной оценки. [3] [4] [5] Она развивалась в течение последующих столетий, например, журнал Nature сделал ее стандартной практикой в 1973 году. Термин «экспертная оценка» был впервые использован в начале 1970-х годов. [6] С 2017 года памятник экспертной оценке находится в Высшей школе экономики в Москве. [7]
Профессиональная экспертная оценка фокусируется на производительности профессионалов с целью улучшения качества, поддержания стандартов или предоставления сертификации. В академической среде экспертная оценка используется для принятия решений, связанных с продвижением преподавателей и сроком их полномочий. [8]
Прототип процесса профессиональной коллегиальной оценки был рекомендован в « Этике врача», написанной Исхаком ибн Али аль-Рухави (854–931). Он утверждал, что приходящий врач должен делать дубликаты записей о состоянии пациента при каждом посещении. Когда пациент выздоравливал или умирал, записи врача проверялись местным медицинским советом других врачей, которые решали, соответствовало ли лечение требуемым стандартам медицинской помощи. [9]
Профессиональная экспертная оценка распространена в сфере здравоохранения, где ее обычно называют клинической экспертной оценкой . [10] Кроме того, поскольку деятельность по экспертной оценке обычно сегментируется по клиническим дисциплинам, существует также экспертная оценка врачей, экспертная оценка медсестер, экспертная оценка стоматологов и т. д. [11] Во многих других профессиональных областях есть определенный уровень процесса экспертной оценки: бухгалтерский учет, [12] юриспруденция, [13] [14] инженерия (например, экспертная оценка программного обеспечения , техническая экспертная оценка ), авиация и даже борьба с лесными пожарами. [15]
Рецензирование используется в образовании для достижения определенных учебных целей, в частности, как инструмент для достижения процессов более высокого порядка в аффективных и когнитивных областях, как определено таксономией Блума . Это может принимать различные формы, включая близкое копирование научных процессов рецензирования, используемых в науке и медицине. [16] [17]
Научная экспертная оценка или академическая экспертная оценка (также известная как рецензирование) — это процесс рассмотрения черновой версии методов и результатов исследователя (обычно анонимно) экспертами (или «коллегами») в той же области. Экспертная оценка широко используется для оказания помощи академическому издателю (то есть главному редактору , редакционной коллегии или программному комитету ) в решении о том, следует ли принять работу, считать ее приемлемой с исправлениями или отклонить для официальной публикации в академическом журнале , монографии или в трудах научной конференции . Если личности авторов не раскрываются друг другу, процедура называется двойной анонимной экспертной оценкой.
Академическая экспертная оценка требует сообщества экспертов в данной (и часто узко определенной) академической области , которые квалифицированы и способны выполнять разумно беспристрастную оценку. Беспристрастная оценка, особенно работы в менее узко определенных или междисциплинарных областях, может быть трудновыполнимой, и значимость (хорошая или плохая) идеи может никогда не быть широко оценена среди ее современников. Экспертная оценка, как правило, считается необходимой для академического качества и используется в большинстве крупных научных журналов. Однако экспертная оценка не предотвращает публикацию недействительных исследований, [18] и поскольку экспериментально контролируемые исследования этого процесса трудно организовать, прямых доказательств того, что экспертная оценка улучшает качество опубликованных статей, мало. [19]Медицинскую экспертную оценку можно разделить на четыре категории: [20]
Кроме того, «медицинское рецензирование» использовалось Американской медицинской ассоциацией для обозначения не только процесса улучшения качества и безопасности в организациях здравоохранения, но и процесса оценки клинического поведения или соответствия стандартам членства в профессиональном обществе. [25] [26] Клиническая сеть считает, что это самый идеальный метод, гарантирующий, что распределенное исследование является надежным и что любые клинические лекарства, которые она пропагандирует, защищены и жизнеспособны для отдельных лиц. Таким образом, терминология имеет плохую стандартизацию и специфичность, особенно в качестве поискового термина в базе данных. [27]
В инженерии техническая экспертная оценка является типом инженерной экспертизы. Технические экспертные оценки представляют собой четко определенный процесс проверки для поиска и устранения дефектов, проводимый командой экспертов с назначенными ролями. Технические экспертные оценки проводятся экспертами, представляющими области жизненного цикла, затронутые рассматриваемым материалом (обычно ограничены 6 или менее людьми). Технические экспертные оценки проводятся в рамках фаз разработки, между обзорами этапов, на завершенных продуктах или завершенных частях продуктов. [28]
Европейский союз использует экспертную оценку в «Открытом методе координации» политики в области активной политики рынка труда с 1999 года . [29] В 2004 году программа экспертных оценок началась в области социальной интеграции . [30] Каждая программа спонсирует около восьми встреч экспертной оценки в год, на которых «принимающая страна» представляет определенную политику или инициативу для изучения полудюжиной других стран и соответствующими НПО европейского уровня . Обычно они встречаются в течение двух дней и включают посещения местных сайтов, где можно увидеть политику в действии. Встрече предшествует составление экспертного отчета , по которому участвующие «страны-участники» представляют свои комментарии. Результаты публикуются в Интернете.
Европейская экономическая комиссия ООН посредством Обзоров результативности экологической деятельности ЕЭК ООН использует коллегиальную оценку, называемую «коллективным обучением», для оценки прогресса, достигнутого ее странами-членами в совершенствовании своей экологической политики.
Штат Калифорния является единственным штатом США, который требует обязательной научной экспертной оценки. В 1997 году губернатор Калифорнии подписал закон Сенатского законопроекта 1320 (Sher), Глава 295, Статуты 1997 года, который предписывает, что до того, как любой Совет, Департамент или Офис CalEPA примет окончательную версию правил, научные выводы, заключения и предположения, на которых основаны предлагаемые правила, должны быть представлены для независимой внешней научной экспертной оценки. Это требование включено в раздел 57004 Кодекса охраны здоровья и безопасности Калифорнии. [31]
Рецензирование коллегами или студенческая оценка коллегами — это метод, с помощью которого редакторы и авторы работают вместе в надежде помочь автору создать и далее конкретизировать и развить свое собственное письмо. [32] Рецензирование коллегами широко используется в среднем и послесреднем образовании как часть процесса письма. Этот инструмент совместного обучения включает в себя группы студентов, которые рецензируют работы друг друга и предоставляют отзывы и предложения по доработке. [33] Вместо того, чтобы быть средством критики работ друг друга, рецензирование коллегами часто оформляется как способ наладить связь между студентами и помочь развить личность писателя. [34] Хотя рецензирование коллегами широко используется в классах английского языка и сочинения , оно приобрело популярность и в других дисциплинах, которые требуют письма как части учебной программы, включая социальные и естественные науки . [35] [36]
Рецензирование в классах помогает студентам больше вкладываться в свою работу и в обстановку в классе в целом. [37] Понимание того, как их работа читается разнообразной читательской аудиторией до того, как ее оценит учитель, может также помочь студентам прояснить идеи и понять, как убедительно донести свою работу до разных членов аудитории. Это также дает студентам профессиональный опыт, который они могут использовать позже, когда их попросят оценить работу коллеги перед публикацией. [38] [39] Этот процесс также может укрепить уверенность студентов по обе стороны процесса. Было обнаружено, что студенты более позитивны, чем негативны, когда оценивают работы своих одноклассников. [40] Рецензирование в классе может помочь студентам не отчаиваться, а скорее чувствовать решимость улучшить свои работы. [40]
Критики рецензирования в классах говорят, что оно может быть неэффективным из-за отсутствия у студентов практики конструктивной критики или отсутствия опыта в писательском ремесле в целом. [41] Рецензирование может быть проблематичным для авторов, занимающихся развитием, особенно если студенты считают свои работы хуже, чем у других в классе, поскольку они могут не желать предлагать предложения или просить других авторов о помощи. [42] Рецензирование может повлиять на мнение студента о себе, а также о других, поскольку иногда студенты чувствуют личную связь с работой, которую они выполнили, что также может заставить их не желать получать или предлагать критику. [34] Использование учителями рецензирования в качестве задания может привести к поспешной обратной связи со стороны коллег, использованию некорректной похвалы или критики, тем самым не позволяя писателю или редактору извлечь много пользы из этой деятельности. [12] В ответ на эти опасения преподаватели могут приводить примеры, моделировать рецензирование с классом или сосредотачиваться на определенных областях обратной связи в процессе рецензирования. [43] Преподаватели также могут экспериментировать с рецензированием коллег в классе и рецензированием коллег в качестве домашнего задания или рецензированием коллег с использованием технологий, предоставляемых системами управления обучением в Интернете. Студенты постарше могут давать более качественную обратную связь своим коллегам, извлекая больше пользы из рецензирования коллег, но это все еще метод, используемый в классах, чтобы помочь студентам, молодым и старым, научиться пересматривать. [2] С развитием и изменением технологий будет развиваться и рецензирование коллег. Новые инструменты могут помочь изменить процесс рецензирования коллег. [44]
Семинар коллег — это метод, который включает в себя оратора, представляющего идеи аудитории, которая также действует как «конкурс». [45] Если говорить более подробно, есть несколько ораторов, которых вызывают по одному за раз и дают им определенное время, чтобы представить тему, которую они исследовали. Каждый оратор может говорить или не говорить об одной и той же теме, но у каждого оратора есть что-то, что он может приобрести или потерять, что может способствовать созданию атмосферы соревнования. [45] Такой подход позволяет ораторам выступать в более личном тоне, пытаясь при этом обратиться к аудитории, объясняя свою тему.
Семинары коллег могут быть чем-то похожи на то, что делают докладчики на конференциях, однако здесь больше времени для представления своих точек зрения, и докладчиков могут прерывать члены аудитории, чтобы задать вопросы и высказать свое мнение по теме или по поводу того, насколько хорошо докладчик представил свою тему. [45]
Профессиональная экспертная оценка фокусируется на работе профессионалов с целью повышения качества, поддержания стандартов или предоставления сертификации. Экспертная оценка в письменной форме является ключевым компонентом среди различных механизмов экспертной оценки, часто возглавляемых преподавателями и предполагающих участие студентов, особенно в академических условиях. Она представляет собой фундаментальный процесс в академическом и профессиональном письме, служащий систематическим средством обеспечения качества, эффективности и достоверности научной работы. Однако, несмотря на ее широкое распространение, она является одной из самых разрозненных, непоследовательных и неоднозначных практик, связанных с обучением письму. [46] Многие ученые подвергают сомнению ее эффективность и конкретные методологии. Критики экспертной оценки в классах выражают обеспокоенность по поводу ее неэффективности из-за отсутствия у студентов практики конструктивной критики или их ограниченного опыта в писательском ремесле в целом.
Академическая экспертная оценка подверглась значительной критике, и многие исследования выявили неотъемлемые проблемы в процессе экспертной оценки. Это особенно очевидно в университетских аудиториях, где наиболее распространенным источником отзывов о письме в студенческие годы часто являются преподаватели, чьи комментарии часто высоко ценятся. Студенты могут решать различные проблемы письма на основе отзывов преподавателей, таких как грамматика и структура. Эффективность обратной связи во многом обусловлена ее высоким авторитетом. Бенджамин Китинг в своей статье «Хорошая вещь для развития: лонгитюдный анализ экспертной оценки и авторитета в студенческом письме» провел лонгитюдное исследование, сравнивая две группы студентов (одну, специализирующуюся на письме, и одну нет), чтобы изучить восприятие авторитета студентами. Это исследование, включающее обширный анализ студенческих текстов, приходит к выводу, что студенты, специализирующиеся в областях, не связанных с письмом, склонны недооценивать обязательную экспертную оценку в классе, в то время как те, кто специализируется на письме, больше ценят комментарии однокурсников. Это отражает то, что обратная связь экспертной оценки имеет определенный порог, и эффективная экспертная оценка требует определенного уровня знаний. Для непрофессиональных писателей обратная связь экспертной оценки может быть проигнорирована, что влияет на ее эффективность. [47]
Элизабет Эллис Миллер, Кэмерон Мозафари, Джастин Лор и Джессика Энох утверждают: «Хотя рецензирование является неотъемлемой частью занятий по написанию текстов, студентам часто трудно эффективно участвовать в нем». Авторы иллюстрируют некоторые причины неэффективности рецензирования на основе исследований, проведенных во время сессий рецензирования в университетских аудиториях:
Это исследование показывает, что помимо проблем, связанных с экспертизой, многочисленные объективные факторы способствуют плохой успеваемости студентов на сессиях рецензирования, что приводит к обратной связи от рецензентов, которая может неэффективно помогать авторам. Кроме того, это исследование подчеркивает влияние эмоций на сессии рецензирования, предполагая, что как рецензенты, так и авторы не могут полностью исключить эмоции при предоставлении и получении обратной связи. Это может привести к тому, что рецензенты и авторы будут подходить к обратной связи с положительным или отрицательным отношением к тексту, что приводит к выборочной или предвзятой обратной связи и рецензии, что еще больше влияет на их способность объективно оценивать статью. Это подразумевает, что субъективные эмоции также могут влиять на эффективность обратной связи рецензентов. [48]
Памела Бедор и Брайан О'Салливан также скептически относятся к рецензированию в большинстве контекстов письма. Авторы приходят к выводу, основываясь на сравнении различных форм рецензирования после систематического обучения в двух университетах, что «суть в том, что рецензирование заключается не только в улучшении письма, но и в помощи авторам в достижении их видения письма». Отзывы большинства непрофессиональных писателей во время сессий рецензирования часто имеют тенденцию быть поверхностными, такими как простые исправления грамматики и вопросы. Это точно отражает вывод в заключении о том, что внимание уделяется только улучшению навыков письма. Содержательное рецензирование включает в себя понимание намерения автора в письме, постановку ценных вопросов и точек зрения, а также руководство автором для достижения его целей письма. [49]
Магда Тигчелаар сравнивает рецензирование с самооценкой с помощью эксперимента, в котором студенты были разделены на три группы: самооценка, рецензирование и отсутствие рецензии. В четырех письменных проектах она наблюдала изменения в каждой группе, и, что удивительно, результаты показали значительное улучшение только в группе самооценки. Анализ автора предполагает, что самооценка позволяет людям четко понимать цели пересмотра на каждом этапе, поскольку автор лучше всего знаком со своим собственным письмом. Таким образом, самопроверка естественным образом следует за систематическим и спланированным подходом к пересмотру. Напротив, эффективность рецензирования часто ограничена из-за отсутствия структурированной обратной связи, характеризующейся разрозненными, бессмысленными резюме и оценками, которые не соответствуют ожиданиям автора относительно пересмотра его работы. [50]
Стефани Коннер и Дженнифер Грей подчеркивают ценность отзывов большинства студентов во время рецензирования. Они утверждают, что многие сессии рецензирования не оправдывают ожиданий студентов, поскольку студенты, даже будучи рецензентами, чувствуют себя неуверенно в предоставлении конструктивной обратной связи из-за отсутствия уверенности в собственном письме. Авторы далее предлагают многочисленные стратегии улучшения в различных измерениях, таких как содержание курса и конкретные шаги реализации. Например, процесс рецензирования может быть сегментирован в группы, где студенты представляют документы для рецензирования, в то время как другие члены группы делают заметки и анализируют их. Затем область рецензирования может быть расширена на весь класс. Это расширяет источники рецензирования и еще больше повышает уровень профессионализма. [51]
С развитием и изменением технологий ожидается, что рецензирование также будет развиваться. Новые инструменты могут преобразовать процесс рецензирования. Мими Ли обсуждает эффективность и обратную связь программного обеспечения для рецензирования онлайн, используемого на их занятиях по письму для первокурсников. В отличие от традиционных методов рецензирования, обычно используемых в классах, программное обеспечение для рецензирования онлайн предлагает множество инструментов для редактирования статей, а также всестороннее руководство. Например, оно перечисляет многочисленные вопросы, которые могут задать рецензенты, и позволяет добавлять различные комментарии к выбранному тексту. Основываясь на наблюдениях в течение семестра, студенты показали различную степень улучшения своих навыков письма и оценок после использования программного обеспечения для рецензирования онлайн. Кроме того, они высоко оценили технологию рецензирования онлайн. [52]
Процесс рецензирования был двойным слепым, чтобы обеспечить анонимность как авторов, так и рецензентов, но в остальном обрабатывался способом, аналогичным тому, который используется в научных журналах.
{{cite web}}: CS1 maint: неподходящий URL ( ссылка )
