Автоматизированное принятие решений ( ADM ) предполагает использование данных, машин и алгоритмов для принятия решений в различных контекстах, включая государственное управление , бизнес, здравоохранение, образование, право, занятость, транспорт, средства массовой информации и развлечения, с различной степенью человеческого участия. надзор или вмешательство. ADM включает в себя крупномасштабные данные из различных источников, таких как базы данных, текст, социальные сети, датчики, изображения или речь, которые обрабатываются с использованием различных технологий, включая компьютерное программное обеспечение, алгоритмы, машинное обучение , обработку естественного языка , искусственный интеллект , дополненную реальность . интеллект и робототехника . Растущее использование автоматизированных систем принятия решений (ADMS) в различных контекстах представляет множество преимуществ и проблем для человеческого общества, требуя рассмотрения технических, юридических, этических, социальных, образовательных, экономических и медицинских последствий. [1] [2] [3]
Существуют разные определения ADM в зависимости от уровня автоматизации. Некоторые определения предполагают, что ADM предполагает решения, принимаемые с помощью чисто технологических средств без участия человека, [4] например , Общий регламент ЕС по защите данных (статья 22). Тем не менее, технологии и приложения ADM могут принимать разные формы: от систем поддержки принятия решений , которые дают рекомендации людям, принимающим решения, действовать, иногда называемых расширенным интеллектом [5] или «совместным принятием решений» [2] до полностью автоматизированных процессы принятия решений, которые принимают решения от имени отдельных лиц или организаций без участия человека. [6] Модели, используемые в автоматизированных системах принятия решений, могут быть как простыми, от контрольных списков и деревьев решений, так и до искусственного интеллекта и глубоких нейронных сетей (DNN).
С 1950-х годов компьютеры прошли путь от базовой обработки до способности выполнять сложные, неоднозначные и высококвалифицированные задачи, такие как распознавание изображений и речи, игровой процесс, научный и медицинский анализ и выводы из нескольких источников данных. ADM в настоящее время все чаще применяется во всех секторах общества и во многих различных областях, от развлечений до транспорта.
Система ADM (ADMS) может включать в себя несколько точек принятия решений, наборов данных и технологий (ADMT) и может находиться в более крупной административной или технической системе, такой как система уголовного правосудия или бизнес-процесс.
Автоматизированное принятие решений предполагает использование данных в качестве входных данных для анализа в рамках процесса, модели или алгоритма или для обучения и создания новых моделей. [7] Системы ADM могут использовать и подключать широкий спектр типов и источников данных в зависимости от целей и контекста системы, например, данные датчиков для беспилотных автомобилей и робототехники, идентификационные данные для систем безопасности, демографические и финансовые данные. для государственного управления, медицинские записи в области здравоохранения, судимости по закону. Иногда для этого могут потребоваться огромные объемы данных и вычислительные мощности.
Качество доступных данных и их возможность использования в системах ADM имеют основополагающее значение для результатов. Зачастую это весьма проблематично по многим причинам. Наборы данных часто сильно варьируются; корпорации или правительства могут контролировать крупномасштабные данные, ограниченные по соображениям конфиденциальности или безопасности, неполные, предвзятые, ограниченные по времени или охвату, измеряющие и описывающие термины по-разному, а также многие другие проблемы.
Чтобы машины могли учиться на данных, часто требуются большие корпуса, получить или вычислить которые может быть сложно; однако там, где они были доступны, они обеспечили значительные прорывы, например, в диагностике рентгенологического исследования грудной клетки. [8]
Технологии автоматизированного принятия решений (ADMT) — это цифровые инструменты с программным кодированием, которые автоматизируют преобразование входных данных в выходные данные, способствуя функционированию автоматизированных систем принятия решений. [7] В приложениях и системах ADM используется широкий спектр технологий.
ADMT, включающие базовые вычислительные операции
ADMT для оценки и группировки:
ADMT, относящиеся к пространству и потокам:
ADMT для обработки сложных форматов данных
Другой АДМТ
Машинное обучение (МО) включает в себя обучение компьютерных программ с использованием больших наборов данных и примеров для изучения опыта и решения проблем. [2] Машинное обучение может использоваться для генерации и анализа данных, а также для выполнения алгоритмических вычислений и применяется для распознавания изображений и речи, перевода, текста, данных и моделирования. Хотя машинное обучение существует уже некоторое время, оно становится все более мощным благодаря недавним достижениям в обучении глубоких нейронных сетей (DNN), а также резкому увеличению емкости хранения данных и вычислительной мощности с помощью сопроцессоров графического процессора и облачных вычислений. [2]
Системы машинного обучения, основанные на базовых моделях, работают на глубоких нейронных сетях и используют сопоставление с образцом для обучения одной огромной системы на больших объемах общих данных, таких как текст и изображения. Ранние модели, как правило, начинались с нуля для каждой новой проблемы, однако с начала 2020-х годов многие из них можно адаптировать к новым проблемам. [9] Примерами таких технологий являются DALL-E компании Open AI (программа создания изображений) и различные языковые модели GPT , а также программа языковых моделей Google PaLM.
ADM используется для замены или расширения человеческого процесса принятия решений как государственными, так и частными организациями по ряду причин, в том числе для повышения согласованности, повышения эффективности, сокращения затрат и предоставления новых решений сложных проблем. [10]
Ведутся исследования и разработки в области использования технологий для оценки качества аргументов, [11] [12] [13] оценки аргументативных эссе [14] [15] и судейства дебатов. [16] [17] [18] [19] Потенциальные применения этих технологий аргументации охватывают образование и общество. Сценарии, которые следует учитывать в этом отношении, включают в себя оценку и оценку разговорной , математической , научной , интерпретационной , юридической и политической аргументации и дебатов.
В правовых системах по всему миру алгоритмические инструменты, такие как инструменты оценки рисков (RAI), используются для дополнения или замены человеческих суждений судей, государственных служащих и полицейских во многих контекстах. [20] В Соединенных Штатах RAI используются для получения оценок для прогнозирования риска рецидива при предварительном заключении и вынесении приговоров, [21] для оценки условно-досрочного освобождения заключенных и для прогнозирования «горячих точек» для будущих преступлений. [22] [23] [24] Эти оценки могут привести к автоматическим последствиям или могут использоваться для обоснования решений, принимаемых должностными лицами в системе правосудия. [20] В Канаде ADM используется с 2014 года для автоматизации определенных действий, проводимых сотрудниками иммиграционной службы, а также для поддержки оценки некоторых заявлений иммигрантов и посетителей. [25]
Автоматизированные системы принятия решений используются в определенных компьютерных программах для создания заказов на покупку и продажу, связанных с конкретными финансовыми операциями, и автоматического представления заказов на международных рынках. Компьютерные программы могут автоматически генерировать заказы на основе заранее определенного набора правил, используя торговые стратегии, основанные на техническом анализе, сложных статистических и математических вычислениях или входных данных из других электронных источников.
Непрерывный аудит использует передовые аналитические инструменты для автоматизации процессов аудита . Он может использоваться в частном секторе коммерческими предприятиями и в государственном секторе государственными организациями и муниципалитетами. [26] Поскольку искусственный интеллект и машинное обучение продолжают развиваться, бухгалтеры и аудиторы могут использовать все более сложные алгоритмы, которые принимают решения, например, касающиеся определения того, что является аномальным, следует ли уведомлять персонал и как расставлять приоритеты задач, возложенных на персонал.
Цифровые СМИ, развлекательные платформы и информационные службы все чаще предоставляют контент аудитории через автоматизированные рекомендательные системы на основе демографической информации, предыдущего выбора, совместной фильтрации или фильтрации на основе контента. [27] Сюда входят музыкальные и видеоплатформы, издательское дело, медицинская информация, базы данных продуктов и поисковые системы. Многие рекомендательные системы также предоставляют пользователям некоторую свободу действий при принятии рекомендаций и включают управляемые данными алгоритмические циклы обратной связи, основанные на действиях пользователя системы. [6]
Крупномасштабные языковые модели машинного обучения и программы создания изображений, разрабатываемые такими компаниями, как OpenAI и Google, в 2020-х годах имеют ограниченный доступ, однако они, вероятно, найдут широкое применение в таких областях, как реклама, копирайтинг, стоковые изображения и графический дизайн, а также другие области, такие как журналистика и право. [9]
Интернет-реклама тесно интегрирована со многими цифровыми медиа-платформами, веб-сайтами и поисковыми системами и часто предполагает автоматическую доставку рекламных объявлений в различных форматах. «Программатическая» онлайн-реклама предполагает автоматизацию продажи и доставки цифровой рекламы на веб-сайтах и платформах с помощью программного обеспечения, а не прямого принятия решений человеком. [27] Иногда ее называют каскадной моделью, которая включает в себя последовательность шагов в различных системах и игроках: издателях и платформах управления данными, пользовательских данных, рекламных серверах и данных об их доставке, системах управления запасами, рекламных трейдерах и рекламных биржах. [27] У этой системы есть различные проблемы, включая отсутствие прозрачности для рекламодателей, непроверяемые показатели, отсутствие контроля над рекламными площадками, отслеживание аудитории и проблемы конфиденциальности. [27] Интернет-пользователи, которым не нравится реклама, приняли контрмеры, такие как технологии блокировки рекламы , которые позволяют пользователям автоматически фильтровать нежелательную рекламу с веб-сайтов и некоторых интернет-приложений. В 2017 году у 24% австралийских интернет-пользователей были блокировщики рекламы. [28]
Модели изображений искусственного интеллекта с глубоким обучением используются для анализа рентгеновских снимков и выявления дегенерации желтого пятна при состоянии глаз.
Правительства внедряют цифровые технологии для обеспечения более эффективного управления и социальных услуг с начала 2000-х годов, которые часто называют электронным правительством . Многие правительства во всем мире в настоящее время используют автоматизированные, алгоритмические системы для профилирования и таргетирования политики и услуг, включая алгоритмическую полицейскую деятельность, основанную на рисках, слежку за сортировкой людей, такую как проверка в аэропортах, предоставление услуг на основе профилей риска в области защиты детей, предоставление услуг по трудоустройству и управлению. безработный. [29] Значительное применение ADM в социальных службах связано с использованием прогнозной аналитики – например, прогнозирование рисков для детей от жестокого обращения/пренебрежения в сфере защиты детей , прогнозирование рецидивизма или преступлений в полиции и уголовном правосудии, прогнозирование мошенничества с социальным обеспечением/налогами. в системах соответствия, прогнозы долгосрочной безработицы в службах занятости. Исторически эти системы основывались на стандартном статистическом анализе, однако с начала 2000-х годов машинное обучение получило все большее развитие и внедрение. Ключевые проблемы, связанные с использованием ADM в социальных службах, включают предвзятость, справедливость, подотчетность и объяснимость , что относится к прозрачности причин решения и способности объяснить основу, на которой машина приняла решение. [29] Например, федеральное агентство социального обеспечения Австралии Centrelink разработало и внедрило автоматизированные процессы обнаружения и взыскания долгов, что привело ко многим случаям неправомерного взыскания долгов по так называемой схеме RoboDebt . [30]
Подключенная и автоматизированная мобильность (CAM) включает в себя автономные транспортные средства , такие как беспилотные автомобили и другие виды транспорта, которые используют автоматизированные системы принятия решений для замены различных аспектов управления транспортным средством человеком. [31] Уровень может варьироваться от уровня 0 (полное вождение человеком) до уровня 5 (полная автономия). [2] На уровне 5 машина способна принимать решения по управлению транспортным средством на основе моделей данных и геопространственных карт, а также датчиков реального времени и обработки окружающей среды. Автомобили с уровнями от 1 до 3 уже доступны на рынке в 2021 году. В 2016 году правительство Германии учредило «Комиссию по этике автоматизированного и подключенного вождения», которая рекомендовала разрабатывать подключенные и автоматизированные транспортные средства (CAV), если эти системы вызывают меньше аварий, чем люди. драйверы (положительный баланс рисков). Он также предоставил 20 этических правил для адаптации автоматизированного и подключенного вождения. [32] В 2020 году стратегия Европейской комиссии по CAM рекомендовала принять их в Европе для снижения смертности на дорогах и снижения выбросов, однако беспилотные автомобили также вызывают множество политических, безопасности и юридических вопросов с точки зрения ответственности и этического принятия решений в случай несчастных случаев, а также вопросы конфиденциальности. [31] Вопросы доверия к автономным транспортным средствам и обеспокоенность сообщества по поводу их безопасности являются ключевыми факторами, которые необходимо решить, если беспилотные автомобили получат широкое распространение. [33]
Автоматизированный сбор цифровых данных с помощью датчиков, камер, онлайн-транзакций и социальных сетей значительно расширил масштабы и цели практики и учреждений наблюдения в государственном и коммерческом секторах. [34] В результате произошел серьезный переход от целевого наблюдения за подозреваемыми к возможности контролировать все население. [35] Уровень наблюдения, который теперь возможен в результате автоматизированного сбора данных, был описан как капитализм наблюдения или экономика наблюдения, чтобы указать, что цифровые медиа включают крупномасштабное отслеживание и накопление данных о каждом взаимодействии.
Автоматизированные системы принятия решений имеют множество социальных, этических и юридических последствий. Высказанные опасения включают отсутствие прозрачности и оспариваемости решений, посягательство на частную жизнь и наблюдение, усиление системной предвзятости и неравенства из-за предвзятости данных и алгоритмов , права интеллектуальной собственности, распространение дезинформации через медиа-платформы, административную дискриминацию, риск и ответственность, безработицу и многие другие. [36] [37] Поскольку ADM становится все более повсеместным, возрастает необходимость решения этических проблем для обеспечения надлежащего управления в информационных обществах. [38]
Системы ADM часто основаны на машинном обучении и алгоритмах, которые нелегко просмотреть или проанализировать, что приводит к опасениям, что они представляют собой системы «черного ящика», которые не являются прозрачными и подотчетными. [2]
В отчете лаборатории Citizen в Канаде содержится призыв к критическому анализу применения ADM в различных областях с точки зрения прав человека, чтобы гарантировать, что использование автоматизированного принятия решений не приводит к нарушениям прав, включая права на равенство и недискриминацию; свобода передвижения, выражения мнений, религии и ассоциаций; права на неприкосновенность частной жизни и права на жизнь, свободу и безопасность личности. [25]
Законодательные меры реагирования на ADM включают:
ADM может включать в себя алгоритмическую предвзятость , возникающую из-за:
Вопросы предвзятых или неправильных данных или алгоритмов, а также опасения, что некоторые ADM представляют собой технологии «черного ящика», закрытые для человеческого контроля или допроса, привели к тому, что называется проблемой объяснимости или права на объяснение автоматических решений и ИИ. Это также известно как объяснимый ИИ (XAI) или интерпретируемый ИИ, при котором результаты решения могут быть проанализированы и поняты людьми. Считается, что алгоритмы XAI следуют трем принципам: прозрачность, интерпретируемость и объяснимость.
Автоматизированное принятие решений может увеличить информационную асимметрию между людьми, чьи данные поступают в систему, и платформами и системами принятия решений, способными выводить информацию из этих данных. С другой стороны, было замечено, что в финансовой торговле асимметрия информации между двумя агентами с искусственным интеллектом может быть намного меньше, чем между двумя агентами-людьми или между агентами-человеком и машиной. [45]
Многие академические дисциплины и области все чаще обращают свое внимание на разработку, применение и последствия ADM, включая бизнес, информатику, взаимодействие человека с компьютером (HCI), право, государственное управление, а также средства массовой информации и коммуникации. Автоматизация медиаконтента и алгоритмически управляемых новостей, видео и другого контента через поисковые системы и платформы является основным направлением академических исследований в области медиаисследований. [27]
Конференция ACM по справедливости, подотчетности и прозрачности (ACM FAccT) была создана в 2018 году для изучения прозрачности и объяснимости в контексте социотехнических систем, многие из которых включают ADM и ИИ.
Ключевые исследовательские центры, исследующие ADM, включают:
{{cite book}}
: CS1 maint: отсутствует местоположение издателя ( ссылка ){{cite book}}
: CS1 maint: отсутствует местоположение издателя ( ссылка )