stringtranslate.com

Метод Дельфи

Метод Дельфи или техника Дельфи ( / ˈ d ɛ l f aɪ / DEL -fy ; также известный как Estimate-Talk-Estimate или ETE ) — это структурированная коммуникационная техника или метод, изначально разработанный как систематический интерактивный метод прогнозирования , который опирается на группу экспертов. [1] [2] [3] [4] [5] Метод Дельфи широко используется для бизнес-прогнозирования и имеет определенные преимущества по сравнению с другим структурированным подходом к прогнозированию — рынками прогнозирования . [6]

Delphi также может использоваться для достижения экспертного консенсуса и разработки профессиональных рекомендаций. [7] Он используется для таких целей во многих областях, связанных со здоровьем, включая клиническую медицину, общественное здравоохранение и исследования. [7] [8]

Delphi основан на принципе, что прогнозы (или решения) структурированной группы лиц более точны, чем прогнозы неструктурированных групп. [9] Эксперты отвечают на вопросы анкет в двух или более раундах. После каждого раунда координатор или агент изменений [10] предоставляет анонимное резюме прогнозов экспертов из предыдущего раунда, а также причины, по которым они сделали свои суждения. Таким образом, экспертам предлагается пересмотреть свои предыдущие ответы в свете ответов других членов их группы. Считается, что в ходе этого процесса диапазон ответов уменьшится, и группа сойдется к «правильному» ответу. Наконец, процесс останавливается после предопределенного критерия остановки (например, количество раундов, достижение консенсуса, стабильность результатов), и средние или срединные баллы финальных раундов определяют результаты. [11]

Особое внимание следует уделять формулировке тезисов Дельфи, а также определению и отбору экспертов, чтобы избежать методологических недостатков, которые серьезно угрожают достоверности и надежности результатов. [12] [13]

История

Название «Дельфи» происходит от Дельфийского оракула , хотя авторы метода были недовольны пророческим подтекстом названия, «немного отдающим оккультизмом». [14] Метод «Дельфи» предполагает, что групповые суждения более обоснованы, чем индивидуальные суждения.

Метод Дельфи был разработан в начале Холодной войны для прогнозирования влияния технологий на ведение войны . [15] В 1944 году генерал Генри Х. Арнольд приказал создать отчет для Воздушного корпуса армии США о будущих технологических возможностях, которые могут быть использованы военными.

Были испробованы различные подходы, но недостатки традиционных методов прогнозирования , таких как теоретический подход , количественные модели или экстраполяция тренда, быстро стали очевидны в областях, где точные научные законы еще не были установлены. Для борьбы с этими недостатками в рамках проекта RAND в 1950-1960-х годах (1959) был разработан метод Дельфи Олафом Хелмером , Норманом Далки и Николасом Решером . [16] Он используется с тех пор вместе с различными модификациями и переформулировками, такими как процедура Имэн-Дельфи . [17]

Экспертам было предложено высказать свое мнение о вероятности, частоте и интенсивности возможных атак противника. Другие эксперты могли анонимно дать обратную связь. Этот процесс повторялся несколько раз, пока не был достигнут консенсус.

В 2021 году междисциплинарное исследование Бейдербека и др. было сосредоточено на новых направлениях и достижениях метода Дельфи, включая форматы Дельфи в реальном времени . Авторы предоставляют методологический набор инструментов для разработки опросов Дельфи, включая, среди прочего, анализ настроений в области психологии. [18]

Основные характеристики

Структура коммуникации метода Дельфи

Следующие ключевые характеристики метода Delphi помогают участникам сосредоточиться на текущих вопросах и отделить Delphi от других методологий: в этой методике группа экспертов формируется как из числа сотрудников организации, так и извне. Группа состоит из экспертов, обладающих знаниями в области, требующей принятия решений. Каждому эксперту предлагается сделать анонимные прогнозы.

Анонимность участников

Обычно все участники остаются анонимными. Их личность не раскрывается даже после завершения окончательного отчета. Это не позволяет авторитету, личности или репутации некоторых участников доминировать над другими в процессе. Можно утверждать, что это также освобождает участников (в некоторой степени) от их личных предубеждений, минимизирует « эффект подножки » или « эффект ореола », позволяет свободно выражать мнения, поощряет открытую критику и облегчает признание ошибок при пересмотре предыдущих суждений.

Структурирование информационного потока

Первоначальные вклады экспертов собираются в форме ответов на вопросы анкет и их комментариев к этим ответам. Директор панели контролирует взаимодействие между участниками, обрабатывая информацию и отфильтровывая нерелевантный контент. Это позволяет избежать негативных эффектов очных панельных дискуссий и решает обычные проблемы групповой динамики .

Регулярная обратная связь

Метод Дельфи позволяет участникам комментировать ответы других, ход работы группы в целом, а также пересматривать собственные прогнозы и мнения в режиме реального времени.

Роль посредника

Человек, координирующий метод Дельфи, обычно известен как фасилитатор или лидер, и содействует ответам своей группы экспертов , которые выбираются по определенной причине, обычно потому, что они обладают знаниями о мнении или взгляде. Фасилитатор рассылает анкеты, опросы и т. д., и если группа экспертов принимает, они следуют инструкциям и представляют свои взгляды. Ответы собираются и анализируются, затем определяются общие и противоречивые точки зрения. Если консенсус не достигается, процесс продолжается через тезис и антитезис, чтобы постепенно работать над синтезом и построением консенсуса.

В течение последних десятилетий посредники использовали множество различных мер и порогов для измерения степени консенсуса или несогласия. Полный обзор литературы и резюме собраны в статье фон дер Грахта. [19]

Приложения

Использование в прогнозировании

Первые применения метода Дельфи были в области прогнозирования науки и технологий. Целью метода было объединить экспертные мнения о вероятности и ожидаемом времени разработки конкретной технологии в одном индикаторе. Один из первых таких отчетов, подготовленный в 1964 году Гордоном и Хелмером, оценивал направление долгосрочных тенденций в развитии науки и технологий, охватывая такие темы, как научные прорывы, контроль населения , автоматизация , космический прогресс, предотвращение войн и системы вооружений. Другие прогнозы технологий касались систем транспортных средств и автомагистралей, промышленных роботов, интеллектуального Интернета, широкополосных соединений и технологий в образовании.

Позже метод Дельфи применялся и в других местах, особенно в тех, которые касались вопросов государственной политики, таких как экономические тенденции , здравоохранение и образование. Он также успешно и с высокой точностью применялся в бизнес-прогнозировании. Например, в одном случае, описанном Басу и Шредером (1977), [20] метод Дельфи предсказал продажи нового продукта в течение первых двух лет с неточностью 3–4% по сравнению с фактическими продажами. Количественные методы давали ошибки в 10–15%, а традиционные неструктурированные методы прогнозирования имели ошибки около 20%. (Это только один пример; общая точность метода неоднозначна.)

Метод Дельфи также использовался в качестве инструмента для внедрения многосторонних подходов для участия в разработке политики в развивающихся странах. Правительства стран Латинской Америки и Карибского бассейна успешно использовали метод Дельфи в качестве открытого подхода государственного и частного секторов для выявления наиболее неотложных проблем для своих региональных планов действий eLAC в области ИКТ для развития . [21] В результате правительства широко признали ценность коллективного интеллекта от гражданского общества, академических кругов и участников частного сектора Дельфи, особенно в области быстрых изменений, такой как технологическая политика.

Использование в идентификации патентного участия

В начале 1980-х годов Джеки Аверман из Jackie Awerman Associates, Inc. разработала модифицированный метод Дельфи для определения ролей различных участников в создании патентоспособного продукта. (Epsilon Corporation, Chemical Vapor Deposition Reactor) Затем результаты были использованы патентными поверенными для определения процентного распределения бонусов к общему удовлетворению всех членов команды. [ необходима ссылка ]

Использование в разработке политики

С 1970-х годов использование метода Дельфи в разработке государственной политики вносит ряд методологических новшеств. В частности:

Дальнейшие инновации приходят с использованием компьютерных (а позже и веб-) конференций Delphi. Согласно Туроффу и Хилтцу, [22] в компьютерном Delphis:

По словам Болоньини, [23] веб-ориентированные Delphis предлагают еще две возможности, актуальные в контексте интерактивного принятия политических решений и электронной демократии . Это:

Веб-коммуникационная структура (Hyperdelphi) [23]

Одним из успешных примеров (частично) веб-ориентированной политики Delphi является пятираундовое упражнение Delphi (с 1454 вкладами) для создания Планов действий eLAC в Латинской Америке. Считается, что это самое масштабное онлайн-упражнение по форсайту в области разработки политики с участием в истории межправительственных процессов в развивающемся мире на данный момент. [21] В дополнение к конкретным рекомендациям по политике авторы перечисляют следующие извлеченные уроки: «(1) потенциал методов Policy Delphi для внедрения прозрачности и подотчетности в процесс принятия государственных решений, особенно в развивающихся странах; (2) полезность упражнений по форсайту для содействия межведомственному сетевому взаимодействию в сообществе развития; (3) полезность внедрения упражнений по форсайту в устоявшиеся механизмы представительной демократии и международной многосторонности, такие как Организация Объединенных Наций; (4) потенциал онлайн-инструментов для содействия участию в развивающихся странах с дефицитом ресурсов; и (5) эффективность ресурсов, вытекающая из масштаба международных упражнений по форсайту, и, следовательно, их адекватность для регионов с дефицитом ресурсов». [21]

Использование в медицинских учреждениях

Метод Дельфи широко используется для достижения экспертного консенсуса в вопросах, связанных со здоровьем. [7] Например, его часто используют при разработке медицинских рекомендаций и протоколов . [7]

Использование в здравоохранении

Некоторые примеры его применения в контексте общественного здравоохранения включают неалкогольную жировую болезнь печени, [24] расстройства, связанные с дефицитом йода, [25] создание адаптивных систем здравоохранения для сообществ, затронутых миграцией, [26] роль систем здравоохранения в повышении благополучия людей, живущих с ВИЧ, [27] и создание документа 2022 года о рекомендациях по прекращению пандемии COVID-19 . [28]

Использовать в рекомендациях по отчетности

Рекомендуется использовать метод Дельфи при разработке руководств по отчетности медицинских исследований [8] , особенно для опытных разработчиков. [29] С тех пор как этот совет был дан в 2010 году, два систематических обзора показали, что менее 30% опубликованных руководств по отчетности включали методы Дельфи в процесс разработки. [30] [31]

Онлайн-системы Delphi

Ряд прогнозов Delphi выполняется с использованием веб-сайтов, которые позволяют проводить процесс в режиме реального времени. Например, проект TechCast использует группу из 100 экспертов по всему миру для прогнозирования прорывов во всех областях науки и техники. Другим примером является проект Horizon , где футуристы в сфере образования сотрудничают онлайн, используя метод Delphi, чтобы придумать технологические достижения, на которые следует обратить внимание в образовании в течение следующих нескольких лет.

Вариации

Традиционно метод Дельфи был нацелен на консенсус наиболее вероятного будущего путем итерации. Другие версии, такие как Policy Delphi, [32] [33] предлагают методы поддержки принятия решений, направленные на структурирование и обсуждение различных взглядов на предпочтительное будущее.

В Европе более поздние веб-эксперименты использовали метод Дельфи в качестве коммуникационной техники для интерактивного принятия решений и электронной демократии . [34]

Argument Delphi, разработанный Осмо Кууси, фокусируется на текущем обсуждении и поиске соответствующих аргументов, а не на выводе. Disaggregative Policy Delphi, разработанный Петри Тапио, использует кластерный анализ как систематический инструмент для построения различных сценариев будущего в последнем раунде Delphi. [35] Мнение респондента о вероятном и предпочтительном будущем рассматривается как отдельные случаи. Компьютеризация Argument Delphi относительно сложна из-за нескольких проблем, таких как разрешение аргументов, агрегация аргументов и оценка аргументов. Компьютеризация Argument Delphi, разработанная Сади Эвреном Секером , предлагает решения таких проблем. [36]

Точность

Сегодня метод Дельфи является широко распространенным инструментом прогнозирования и успешно использовался в тысячах исследований в различных областях, от прогнозирования технологий до злоупотребления наркотиками . [37] В целом послужной список метода Дельфи неоднозначен. [38] Было много случаев, когда метод давал плохие результаты. Тем не менее, некоторые авторы связывают это с плохим применением метода, а не со слабыми сторонами самого метода. Методологическое руководство RAND по проведению и критической оценке групп Дельфи представляет собой руководство по проведению исследований Дельфи, которое предоставляет руководство по проведению исследований и предлагает инструмент оценки [38] . Это руководство дает рекомендации по передовым методам, которые помогут избежать или смягчить потенциальные недостатки исследований методом Дельфи; оно также помогает понять, насколько можно доверять результатам исследования.

Также необходимо понимать, что в таких областях, как прогнозирование науки и технологий, степень неопределенности настолько велика, что точные и всегда правильные прогнозы невозможны, поэтому следует ожидать высокой степени ошибки. Важной задачей для метода является обеспечение достаточно осведомленных экспертов. Если эксперты дезинформированы о теме, использование Delphi может только добавить уверенности в их невежестве. [6]

Одной из первоначальных проблем метода была его неспособность делать сложные прогнозы с несколькими факторами. Потенциальные будущие результаты обычно рассматривались так, как будто они не влияли друг на друга. Позже было разработано несколько расширений метода Дельфи для решения этой проблемы, таких как анализ перекрестного воздействия , который учитывает возможность того, что возникновение одного события может изменить вероятности других событий, охваченных исследованием. Тем не менее, метод Дельфи может быть наиболее успешно использован для прогнозирования отдельных скалярных показателей.

Delphi против рынков предсказаний

Delphi имеет характеристики, схожие с рынками прогнозирования , поскольку оба подхода являются структурированными, которые объединяют различные мнения групп. Тем не менее, существуют различия, которые могут быть решающими для их относительной применимости к различным проблемам. [6]

Некоторые преимущества рынков прогнозов вытекают из возможности предоставления стимулов для участия.

  1. Они могут мотивировать людей к участию в течение длительного периода времени и раскрытию своих истинных убеждений.
  2. Они автоматически агрегируют информацию и мгновенно включают новую информацию в прогноз.
  3. Участники не должны быть отобраны и набраны вручную организатором. Они сами решают, участвовать ли им, если считают, что их личная информация еще не включена в прогноз.

Похоже, что Delphi имеет следующие преимущества перед рынками прогнозирования:

  1. Участники раскрывают свои доводы
  2. Легче сохранять конфиденциальность
  3. Прогнозы могут быть составлены быстрее, если эксперты будут доступны.
  4. Метод Дельфи применим в ситуациях, когда ставки могут повлиять на стоимость валюты, используемой в ставках (например, ставка на крах доллара, сделанная в долларах, может исказить коэффициенты).

Более поздние исследования также были сосредоточены на объединении как метода Дельфи, так и рынков прогнозирования. Более конкретно, в исследовании Deutsche Börse элементы метода Дельфи были интегрированы в рынок прогнозирования. [39]

Смотрите также

Ссылки

  1. ^ Dalkey N, Helmer O (1963). «Экспериментальное применение метода Дельфи к использованию экспертов». Management Science . 9 (3): 458–467. doi :10.1287/mnsc.9.3.458. hdl : 2027/inu.30000029301680 .
  2. ^ Браун BB (сентябрь 1968 г.). Процесс Дельфи: Методология, используемая для получения мнений экспертов (Отчет). Санта-Моника, Калифорния: Rand Corp. P-3925.
  3. ^ Сэкман Х. (1974). Оценка Дельфи: Мнение экспертов, прогнозирование и групповой процесс (Отчет). Санта-Моника, Калифорния: The Rand Corporation. R-1283-PR.
  4. ^ Браун Т. (1972). Эксперимент по вероятностному прогнозированию (отчет). Санта-Моника, Калифорния: Rand Corporation. R-944-ARPA.
  5. ^ Linstone HA, Turoff M, ред. (1975). Метод Дельфи: Методы и приложения. Reading, Mass.: Addison-Wesley. ISBN 978-0-201-04294-8. Архивировано из оригинала 2008-05-20.
  6. ^ abc Green KC, Armstrong JS, Graefe A (июнь 2008 г.). «Методы получения прогнозов от групп: сравнение Delphi и рынков прогнозирования». Foresight: The International Journal of Applied Forecasting . 8 : 17–20. doi :10.2139/ssrn.1153124.
  7. ^ abcd Taylor E (2020). «Мы согласны, не так ли? Метод Дельфи для исследования окружающей среды в области здравоохранения». HERD . 13 (1): 11–23. doi :10.1177/1937586719887709. PMID  31887097. S2CID  209519275.
  8. ^ ab Moher D, Schulz KF, Simera I, Altman DG (февраль 2010 г.). «Руководство для разработчиков руководств по отчетности в области здравоохранения». PLOS Medicine . 7 (2): e1000217. doi : 10.1371/journal.pmed.1000217 . PMC 2821895. PMID  20169112 . 
  9. ^ Rowe G, Wright G (2001). "Экспертные мнения в прогнозировании: роль метода Дельфи" (PDF) . В Armstrong (ред.). Принципы прогнозирования: Справочник исследователей и практиков . Международная серия по исследованию операций и науке управления. Том 30. Бостон: Kluwer Academic Publishers. стр. 125–144. doi :10.1007/978-0-306-47630-3_7. ISBN 978-0-7923-7401-5.
  10. ^ Маклафлин М. В. (1990). «Повторное рассмотрение исследования Rand Change Agent: макроперспективы и микрореальности». Educational Researcher . 19 (9): 11–16. ISSN  0013-189X. JSTOR  1176973.
  11. ^ Rowe G, Wright G (октябрь 1999 г.). «Метод Дельфи как инструмент прогнозирования: проблемы и анализ». International Journal of Forecasting . 15 (4): 353–375. doi :10.1016/S0169-2070(99)00018-7. S2CID  10745965.
  12. ^ Markmann C, Spickermann A, von der Gracht HA, Brem A (март 2021 г.). «Улучшение формулировки вопроса в опросах типа Delphi: анализ влияния абстрактного языка и количества информации на поведение ответов». Futures & Foresight Science . 3 (1): e56. doi : 10.1002/ffo2.56 . S2CID  225273393.
  13. ^ Mauksch S, Heiko A, Gordon TJ (май 2020 г.). «Кто является экспертом по форсайту? Обзор методов идентификации». Технологическое прогнозирование и социальные изменения . 154 : 119982. doi : 10.1016/j.techfore.2020.119982. S2CID  216161197.
  14. ^ Ziglio E (1996). "Метод Дельфи и его вклад в принятие решений". В Adler M, Ziglio E (ред.). Взгляд в оракул: метод Дельфи и его применение в социальной политике и здравоохранении . Jessica Kingsley Publishers. стр. 5. ISBN 978-1-85302-104-6.
  15. ^ Custer RL, Scarcella JA, Stewart BR (весна 1999 г.). «Модифицированная методика Дельфи — ротационная модификация». Журнал профессионального и технического образования . 15 (2). Метод Дельфи, разработанный Олафом Хелмером и Норманом Далки.
  16. ^ Решер Н. (1998). Предсказание будущего: Введение в теорию прогнозирования . Олбани: Издательство государственного университета Нью-Йорка. ISBN 978-0-7914-3553-3.
  17. ^ Passig D (весна 1997 г.). «Imen Delphi: A Delphi Variant Procedure for Emergence». Организация человека: Журнал Общества прикладной антропологии . 56 (1). Даллас, Техас: Южный методистский университет: 53–63. doi : 10.17730/humo.56.1.a3676826366nx556.
  18. ^ Бейдербек Д., Фревель Н., фон дер Грахт Х.А., Шмидт С.Л., Швейцер В.М. (2021). «Подготовка, проведение и анализ опросов Дельфи: междисциплинарные практики, новые направления и достижения». MethodsX . 8 : 101401. doi :10.1016/j.mex.2021.101401. PMC 8374446 . PMID  34430297. 
  19. ^ фон дер Грахт Х (2012). «Измерение консенсуса в исследованиях Дельфи — обзор и последствия для будущего обеспечения качества». Технологическое прогнозирование и социальные изменения . 79 (8): 1525–1536. doi :10.1016/j.techfore.2012.04.013.
  20. ^ Basu S, Schroeder RG (май 1977). «Включение суждений в прогнозы продаж: применение метода Дельфи в American Hoist & Derrick». Интерфейсы . 7 (3): 18–27. doi :10.1287/inte.7.3.18.
  21. ^ abc Hilbert M, Miles I, Othmer J (2009). "Инструменты форсайта для участия в разработке политики в межправительственных процессах в развивающихся странах: уроки, извлеченные из приоритетов политики eLAC Delphi" (PDF) . Технологическое прогнозирование и социальные изменения . 15 (2): 880–896. doi :10.1016/j.techfore.2009.01.001. S2CID  154784808.
  22. ^ Turoff M, Hiltz SR (1996). «Компьютерные процессы Delphi». В Adler M, Ziglio E (ред.). Взгляд в оракул: метод Delphi и его применение в социальной политике и здравоохранении . С. 56–85.
  23. ^ аб Болоньини М (2001). Электронная демократия. Metodo Delphi e politiche pubbliche (Электронная демократия. Метод Дельфи и разработка государственной политики) (на итальянском языке). Рим: Carocci Editore. ISBN 978-88-430-2035-5.. Резюме также в Glenn JC, Gordon TJ, ред. (2009). "23". Проект тысячелетия. Методология исследования будущего . Нью-Йорк: Американский совет по Организации Объединенных Наций. ISBN 978-0-9818941-1-9.
  24. ^ Lazarus JV, Mark HE, Anstee QM, Arab JP, Batterham RL, Castera L и др. (январь 2022 г.). «Продвижение глобальной повестки дня общественного здравоохранения по НАЖБП: консенсусное заявление». Nature Reviews. Гастроэнтерология и гепатология . 19 (1): 60–78. doi : 10.1038/s41575-021-00523-4 . hdl : 11424/243850 . PMID  34707258. S2CID  239891445.
  25. ^ Шаффнер М., Рохау У., Стойков И., Керими Рушай В., Фёльцке Х., Маркманн Г. и др. (апрель 2021 г.). «Препятствия к программам профилактики заболеваний, связанных с дефицитом йода, в Европе: исследование Дельфи». Thyroid . 31 (4): 649–657. doi :10.1089/thy.2020.0065. PMID  32912084. S2CID  221622474.
  26. ^ Pottie K, Hui C, Rahman P, Ingleby D, Akl EA, Russell G, et al. (Февраль 2017). «Создание адаптивных систем здравоохранения для помощи сообществам, пострадавшим от миграции: международный консенсус Дельфи». Международный журнал исследований окружающей среды и общественного здравоохранения . 14 (2): 144. doi : 10.3390/ijerph14020144 . PMC 5334698. PMID  28165380 . 
  27. ^ Lazarus JV, Safreed-Harmon K, Kamarulzaman A, Anderson J, Leite RB, Behrens G и др. (Июль 2021 г.). «Консенсусное заявление о роли систем здравоохранения в продвижении долгосрочного благополучия людей, живущих с ВИЧ». Nature Communications . 12 (1): 4450. Bibcode :2021NatCo..12.4450L. doi :10.1038/s41467-021-24673-w. PMC 8285468 . PMID  34272399. 
  28. ^ Lazarus JV, Romero D, Kopka CJ, Karim SA, Abu-Raddad LJ, Almeida G и др. (ноябрь 2022 г.). «Многонациональный Дельфийский консенсус по прекращению угрозы общественному здоровью COVID-19». Nature . 611 (7935): 332–345. Bibcode :2022Natur.611..332L. doi :10.1038/s41586-022-05398-2. PMC 9646517 . PMID  36329272. 
  29. ^ "Developing your reporting guideline". www.equator-network.org . EQUATOR Network . Архивировано из оригинала 29 сентября 2022 г.
  30. ^ Wang X, Chen Y, Yang N, Deng W, Wang Q, Li N и др. (сентябрь 2015 г.). «Методология и качество отчетности руководств по отчетности: систематический обзор». BMC Medical Research Methodology . 15 (74): 74. doi : 10.1186/s12874-015-0069-z . PMC 4579604. PMID  26395179 . 
  31. ^ Banno M, Tsujimoto Y, Kataoka Y (август 2020 г.). «Большинство руководств по отчетности не разрабатываются с использованием метода Delphi: систематический обзор руководств по отчетности». Журнал клинической эпидемиологии . 124 : 50–57. doi : 10.1016/j.jclinepi.2020.04.010. PMID  32302679. S2CID  215809096.
  32. ^ Turoff M (январь 1970). «Проект политики Дельфи» (PDF) . Технологическое прогнозирование и социальные изменения . 2 (2): 149–171. doi :10.1016/0040-1625(70)90161-7.
  33. ^ Адлер М., Зиглио Э., ред. (1996), Взгляд в оракул: метод Дельфи и его применение в социальной политике и здравоохранении , Лондон: Kingsley Publishers, ISBN 978-1-85302-104-6
  34. ^ Болоньини М (2001). Электронная демократия. Электронная демократия. Метод Delphi e politiche pubbliche . Метод Дельфи и разработка государственной политики ] (на итальянском языке). Рим: Carocci Editore. ISBN 978-88-430-2035-5.Примером приложения электронной демократии является DEMOS (Delphi Mediation Online System), прототип которой был представлен на 3-м Всемирном форуме по электронной демократии в 2002 году.
  35. ^ Тапио П (2003). «Дезагрегированная политика Дельфи: использование кластерного анализа как инструмента для систематического формирования сценария». Технологическое прогнозирование и социальные изменения . 70 (1): 83–101. doi :10.1016/S0040-1625(01)00177-9. S2CID  53516828.
  36. ^ Seker SE (2015). «Компьютеризированный метод аргументации Delphi». IEEE Access . 3 (2): 368–380. Bibcode : 2015IEEEEA...3..368S. doi : 10.1109/ACCESS.2015.2424703 .
  37. ^ Jillson IA (2002). "II.B.3. Национальная политика в области злоупотребления наркотиками Delphi: отчет о ходе работы и результаты на сегодняшний день". В Turoff M, Linstone HA (ред.). Метод Delphi: методы и применение . Архивировано из оригинала 6 февраля 2012 г.
  38. ^ ab Ходяков, Д., Грант, С., Крогер, Дж., Бауман, М. (2023). Методическое руководство RAND по проведению и критической оценке панелей Delphi. Корпорация RAND. www.rand.org/t/TLA3082-1 ​​https://doi.org/10.7249/tla3082-1
  39. ^ Prokesch T, von der Gracht H, Wohlenberg H (2015). «Интеграция рынка прогнозирования и методологии Delphi в систему поддержки прогнозирования — выводы из онлайн-игры». Технологическое прогнозирование и социальные изменения . 97 : 47–64. doi :10.1016/j.techfore.2014.02.021.

Дальнейшее чтение

Внешние ссылки