Автоматизированное принятие решений ( ADM ) подразумевает использование данных, машин и алгоритмов для принятия решений в различных контекстах, включая государственное управление , бизнес, здравоохранение, образование, юриспруденцию, занятость, транспорт, средства массовой информации и развлечения, с различной степенью человеческого контроля или вмешательства. ADM подразумевает крупномасштабные данные из различных источников, таких как базы данных, текст, социальные сети, датчики, изображения или речь, которые обрабатываются с использованием различных технологий, включая компьютерное программное обеспечение, алгоритмы, машинное обучение , обработку естественного языка , искусственный интеллект , дополненный интеллект и робототехнику . Растущее использование автоматизированных систем принятия решений (ADMS) в различных контекстах представляет множество преимуществ и проблем для человеческого общества, требуя рассмотрения технических, правовых, этических, социальных, образовательных, экономических и медицинских последствий. [1] [2] [3]
Существуют различные определения ADM в зависимости от уровня задействованной автоматизации. Некоторые определения предполагают, что ADM включает решения, принимаемые с помощью чисто технологических средств без участия человека, [4], например, Общий регламент ЕС о защите данных (статья 22). Однако технологии и приложения ADM могут принимать различные формы, начиная от систем поддержки принятия решений , которые дают рекомендации для лиц, принимающих решения, чтобы действовать в соответствии с ними, иногда называемые дополненным интеллектом [5] или «совместным принятием решений» [2] , до полностью автоматизированных процессов принятия решений, которые принимают решения от имени отдельных лиц или организаций без участия человека. [6] Модели, используемые в автоматизированных системах принятия решений, могут быть такими простыми, как контрольные списки и деревья решений, вплоть до искусственного интеллекта и глубоких нейронных сетей (DNN).
С 1950-х годов компьютеры прошли путь от возможности выполнять базовую обработку до способности выполнять сложные, неоднозначные и требующие высокой квалификации задачи, такие как распознавание изображений и речи, игровой процесс, научный и медицинский анализ и вывод на основе множества источников данных. В настоящее время ADM все чаще внедряется во всех секторах общества и во многих различных областях от развлечений до транспорта.
Система ADM (ADMS) может включать несколько точек принятия решений, наборов данных и технологий (ADMT) и может находиться в более крупной административной или технической системе, такой как система уголовного правосудия или бизнес-процесс.
Автоматизированное принятие решений подразумевает использование данных в качестве входных данных для анализа в рамках процесса, модели или алгоритма или для обучения и создания новых моделей. [7] Системы ADM могут использовать и подключать широкий спектр типов данных и источников в зависимости от целей и контекста системы, например, данные датчиков для беспилотных автомобилей и робототехники, идентификационные данные для систем безопасности, демографические и финансовые данные для государственного управления, медицинские записи в здравоохранении, записи о судимостях в юриспруденции. Иногда это может включать огромные объемы данных и вычислительную мощность.
Качество доступных данных и их способность использоваться в системах ADM имеют основополагающее значение для результатов. Это часто весьма проблематично по многим причинам. Наборы данных часто сильно различаются; корпорации или правительства могут контролировать крупномасштабные данные, ограниченные по соображениям конфиденциальности или безопасности, неполные, предвзятые, ограниченные по времени или охвату, измеряющие и описывающие термины разными способами и многие другие проблемы.
Для того чтобы машины могли обучаться на основе данных, часто требуются большие массивы данных, которые может быть сложно получить или вычислить; однако, там, где они доступны, они обеспечивают значительные прорывы, например, в диагностике рентгенограмм грудной клетки. [8]
Технологии автоматизированного принятия решений (ADMT) — это программно-кодированные цифровые инструменты, которые автоматизируют преобразование входных данных в выходные данные, способствуя функционированию автоматизированных систем принятия решений. [7] Существует широкий спектр технологий, используемых в приложениях и системах ADM.
ADMT, включающие базовые вычислительные операции
ADMT для оценки и группировки:
ADMT, относящиеся к пространству и потокам:
ADMT для обработки сложных форматов данных
Другие АДМТ
Машинное обучение (ML) включает в себя обучение компьютерных программ посредством воздействия на большие наборы данных и примеры для обучения на опыте и решения проблем. [2] Машинное обучение может использоваться для генерации и анализа данных, а также для выполнения алгоритмических вычислений и применялось для распознавания изображений и речи, переводов, текста, данных и моделирования. Хотя машинное обучение существует уже некоторое время, оно становится все более мощным из-за недавних прорывов в обучении глубоких нейронных сетей (DNN) и резкого увеличения емкости хранения данных и вычислительной мощности с помощью сопроцессоров GPU и облачных вычислений. [2]
Системы машинного обучения, основанные на базовых моделях, работают на глубоких нейронных сетях и используют сопоставление с образцом для обучения единой огромной системы на больших объемах общих данных, таких как текст и изображения. Ранние модели, как правило, начинались с нуля для каждой новой проблемы, однако с начала 2020-х годов многие из них могут быть адаптированы к новым проблемам. [9] Примерами этих технологий являются DALL-E (программа создания изображений) от Open AI и их различные языковые модели GPT , а также программа языковой модели PaLM от Google.
ADM используется для замены или дополнения человеческого принятия решений как в государственных, так и в частных организациях по ряду причин, в том числе для повышения согласованности, улучшения эффективности, снижения затрат и обеспечения новых решений сложных проблем. [10]
Ведутся исследования и разработки в области использования технологий для оценки качества аргументации, [11] [12] [13] оценки аргументативных эссе [14] [15] и оценки дебатов. [16] [17] [18] [19] Потенциальные приложения этих технологий аргументации охватывают образование и общество. Сценарии для рассмотрения в этом отношении включают те, которые включают оценку и анализ разговорной , математической , научной , интерпретационной , юридической и политической аргументации и дебатов.
В правовых системах по всему миру алгоритмические инструменты, такие как инструменты оценки риска (RAI), используются для дополнения или замены человеческого суждения судей, государственных служащих и сотрудников полиции во многих контекстах. [20] В Соединенных Штатах RAI используются для генерации оценок с целью прогнозирования риска рецидивизма в предварительном заключении и решениях о вынесении приговоров, [21] оценки условно-досрочного освобождения заключенных и прогнозирования «горячих точек» будущей преступности. [22] [23] [24] Эти оценки могут приводить к автоматическим эффектам или могут использоваться для информирования решений, принимаемых должностными лицами в системе правосудия. [20] В Канаде ADM используется с 2014 года для автоматизации определенных действий, проводимых иммиграционными чиновниками, и для поддержки оценки некоторых заявлений иммигрантов и посетителей. [25]
Автоматизированные системы принятия решений используются в определенных компьютерных программах для создания заказов на покупку и продажу, связанных с определенными финансовыми транзакциями, и автоматической отправки заказов на международных рынках. Компьютерные программы могут автоматически генерировать заказы на основе предопределенного набора правил, используя торговые стратегии, основанные на техническом анализе, расширенных статистических и математических вычислениях или входных данных из других электронных источников.
Непрерывный аудит использует передовые аналитические инструменты для автоматизации процессов аудита . Он может использоваться в частном секторе коммерческими предприятиями, а в государственном секторе — правительственными организациями и муниципалитетами. [26] По мере того, как искусственный интеллект и машинное обучение продолжают развиваться, бухгалтеры и аудиторы могут использовать все более сложные алгоритмы, которые принимают решения, например, включающие определение того, что является аномальным, следует ли уведомлять персонал и как расставлять приоритеты в задачах, порученных персоналу.
Цифровые медиа, развлекательные платформы и информационные сервисы все чаще предоставляют контент аудитории через автоматизированные рекомендательные системы , основанные на демографической информации, предыдущих выборках, совместной фильтрации или фильтрации на основе контента. [27] Сюда входят музыкальные и видеоплатформы, публикации, информация о здоровье, базы данных продуктов и поисковые системы. Многие рекомендательные системы также предоставляют пользователям некоторую агентность в принятии рекомендаций и включают управляемые данными алгоритмические циклы обратной связи, основанные на действиях пользователя системы. [6]
Масштабные модели языка машинного обучения и программы создания изображений, разрабатываемые такими компаниями, как OpenAI и Google в 2020-х годах, имеют ограниченный доступ, однако они, вероятно, найдут широкое применение в таких областях, как реклама, копирайтинг, стоковые изображения и графический дизайн, а также в других областях, таких как журналистика и юриспруденция. [9]
Онлайн-реклама тесно интегрирована со многими цифровыми медиа-платформами, веб-сайтами и поисковыми системами и часто включает в себя автоматическую доставку дисплейной рекламы в различных форматах. «Программная» онлайн-реклама включает в себя автоматическую продажу и доставку цифровой рекламы на веб-сайтах и платформах с помощью программного обеспечения, а не прямого принятия решений человеком. [27] Иногда это называют каскадной моделью, которая включает в себя последовательность шагов в различных системах и игроках: издатели и платформы управления данными, пользовательские данные, рекламные серверы и их данные доставки, системы управления запасами, торговцы рекламой и рекламные биржи. [27] С этой системой связаны различные проблемы, включая отсутствие прозрачности для рекламодателей, непроверяемые показатели, отсутствие контроля над рекламными площадками, отслеживание аудитории и проблемы конфиденциальности. [27] Интернет-пользователи, которым не нравится реклама, приняли контрмеры, такие как технологии блокировки рекламы , которые позволяют пользователям автоматически фильтровать нежелательную рекламу с веб-сайтов и некоторых интернет-приложений. В 2017 году у 24% австралийских интернет-пользователей были блокировщики рекламы. [28]
Модели изображений на основе глубокого обучения с использованием искусственного интеллекта используются для анализа рентгеновских снимков и выявления заболеваний глаз, таких как дегенерация желтого пятна.
Правительства внедряют цифровые технологии для предоставления более эффективных административных и социальных услуг с начала 2000-х годов, часто называемых электронным правительством . Многие правительства по всему миру в настоящее время используют автоматизированные алгоритмические системы для профилирования и таргетирования политик и услуг, включая алгоритмическую полицию на основе рисков, сортировку наблюдения за людьми, такую как досмотр в аэропортах, предоставление услуг на основе профилей риска в области защиты детей, предоставление услуг по трудоустройству и управление безработными. [29] Значительное применение ADM в социальных услугах связано с использованием предиктивной аналитики — например, прогнозирование рисков для детей от жестокого обращения/пренебрежения в области защиты детей , прогнозирование рецидивизма или преступности в полиции и уголовном правосудии, прогнозирование мошенничества в сфере социального обеспечения/налоговых выплат в системах соответствия, прогнозирование долгосрочной безработицы в службах занятости. Исторически эти системы были основаны на стандартном статистическом анализе, однако с начала 2000-х годов все чаще разрабатывается и внедряется машинное обучение. Ключевые проблемы с использованием ADM в социальных службах включают предвзятость, справедливость, подотчетность и объяснимость, что относится к прозрачности причин принятия решения и способности объяснить основу, на которой машина приняла решение. [29] Например, федеральное агентство социального обеспечения Австралии Centrelink разработало и внедрило автоматизированные процессы для обнаружения и взыскания задолженности, что привело к многочисленным случаям неправомерного взыскания задолженности в рамках так называемой схемы RoboDebt . [30]
Подключенная и автоматизированная мобильность (CAM) включает в себя автономные транспортные средства , такие как беспилотные автомобили и другие виды транспорта, которые используют автоматизированные системы принятия решений для замены различных аспектов человеческого контроля над транспортным средством. [31] Это может варьироваться от уровня 0 (полное человеческое вождение) до уровня 5 (полная автономность). [2] На уровне 5 машина способна принимать решения для управления транспортным средством на основе моделей данных и геопространственного картирования, а также датчиков в реальном времени и обработки окружающей среды. Автомобили с уровнями 1–3 уже доступны на рынке в 2021 году. В 2016 году правительство Германии создало «Комиссию по этике автоматизированного и подключенного вождения», которая рекомендовала разрабатывать подключенные и автоматизированные транспортные средства (CAV), если системы вызывают меньше аварий, чем водители-люди (положительный баланс риска). Она также предоставила 20 этических правил для адаптации автоматизированного и подключенного вождения. [32] В 2020 году стратегия Европейской комиссии по CAM рекомендовала принять их в Европе для снижения смертности на дорогах и снижения выбросов, однако беспилотные автомобили также поднимают множество политических, безопасных и правовых вопросов с точки зрения ответственности и этического принятия решений в случае аварий, а также вопросов конфиденциальности. [31] Вопросы доверия к автономным транспортным средствам и обеспокоенность общества их безопасностью являются ключевыми факторами, которые необходимо учитывать, если беспилотные автомобили должны получить широкое распространение. [33]
Автоматизированный сбор цифровых данных с помощью датчиков, камер, онлайн-транзакций и социальных сетей значительно расширил сферу, масштаб и цели практики и учреждений наблюдения в государственном и коммерческом секторах. [34] В результате произошел значительный сдвиг от целевого мониторинга подозреваемых к возможности мониторинга целых групп населения. [35] Уровень наблюдения, который теперь возможен в результате автоматизированного сбора данных, был описан как капитализм наблюдения или экономика наблюдения, чтобы указать на то, как цифровые медиа включают в себя крупномасштабное отслеживание и накопление данных о каждом взаимодействии.
Существует множество социальных, этических и правовых последствий автоматизированных систем принятия решений. Высказанные опасения включают в себя отсутствие прозрачности и оспариваемости решений, вторжение в частную жизнь и наблюдение, усугубление системной предвзятости и неравенства из-за предвзятости данных и алгоритмов , права интеллектуальной собственности, распространение дезинформации через медиа-платформы, административную дискриминацию, риск и ответственность, безработицу и многое другое. [36] [37] Поскольку ADM становится все более распространенным, все больше возникает необходимость решать этические проблемы для обеспечения надлежащего управления в информационных обществах. [38]
Системы ADM часто основаны на машинном обучении и алгоритмах, которые нелегко просматривать или анализировать, что приводит к опасениям, что они представляют собой системы «черного ящика», которые непрозрачны и не подотчетны. [2]
В отчете лаборатории Citizen в Канаде утверждается необходимость критического анализа прав человека при применении ADM в различных областях, чтобы гарантировать, что использование автоматизированного принятия решений не приведет к нарушению прав, включая права на равенство и недискриминацию; свободу передвижения, выражения мнений, вероисповедания и объединений; права на неприкосновенность частной жизни и права на жизнь, свободу и безопасность личности. [25]
Законодательные меры реагирования на ADM включают:
ADM может включать в себя алгоритмическую предвзятость, возникающую из-за:
Вопросы предвзятых или неверных данных или алгоритмов и опасения, что некоторые ADM являются технологиями черного ящика, закрытыми для человеческого контроля или допроса, привели к тому, что называется проблемой объяснимости или права на объяснение автоматизированных решений и ИИ. Это также известно как объяснимый ИИ (XAI) или интерпретируемый ИИ, в котором результаты решения могут быть проанализированы и поняты людьми. Считается, что алгоритмы XAI следуют трем принципам: прозрачность, интерпретируемость и объяснимость.
Автоматизированное принятие решений может увеличить информационную асимметрию между людьми, чьи данные поступают в систему, и платформами и системами принятия решений, способными выводить информацию из этих данных. С другой стороны, было замечено, что в финансовой торговле информационная асимметрия между двумя искусственными интеллектуальными агентами может быть намного меньше, чем между двумя человеческими агентами или между человеческими и машинными агентами. [45]
Многие академические дисциплины и области все больше обращают внимание на разработку, применение и последствия ADM, включая бизнес, компьютерные науки, взаимодействие человека с компьютером (HCI), право, государственное управление, а также медиа и коммуникации. Автоматизация медиаконтента и алгоритмически управляемых новостей, видео и другого контента через поисковые системы и платформы является основным направлением академических исследований в области медиа. [27]
Конференция ACM по вопросам справедливости, подотчетности и прозрачности (ACM FAccT) была создана в 2018 году для изучения прозрачности и объяснимости в контексте социально-технических систем, многие из которых включают ADM и ИИ.
Основные исследовательские центры, изучающие АДМ, включают:
{{cite book}}
: CS1 maint: отсутствует местоположение издателя ( ссылка ){{cite book}}
: CS1 maint: отсутствует местоположение издателя ( ссылка )