Машинная этика (или машинная мораль , вычислительная мораль или вычислительная этика ) — это часть этики искусственного интеллекта , связанная с добавлением или обеспечением морального поведения созданных человеком машин, использующих искусственный интеллект, также известных как агенты искусственного интеллекта . [1] Машинная этика отличается от других этических областей, связанных с техникой и технологиями . Машинную этику не следует путать с компьютерной этикой , которая фокусируется на использовании компьютеров человеком. Ее также следует отличать от философии технологии , которая занимается более масштабными социальными эффектами технологии. [2]
До XXI века этика машин в основном была предметом научно-фантастической литературы, главным образом из-за ограничений вычислительной техники и искусственного интеллекта (ИИ). Хотя определение «машинной этики» с тех пор изменилось, этот термин был придуман Митчеллом Уолдропом в статье журнала AI Magazine 1987 года «Вопрос ответственности»:
«Однако из приведенного выше обсуждения становится очевидным, что интеллектуальные машины будут воплощать в себе ценности, предположения и цели, независимо от того, намерены ли их программисты сознательно или нет. Таким образом, по мере того, как компьютеры и роботы становятся все более и более интеллектуальными, становится обязательным что мы тщательно и ясно думаем о том, что представляют собой эти встроенные ценности. Возможно, нам нужна на самом деле теория и практика машинной этики в духе трех законов робототехники Азимова ». [3]
В 2004 году книга «На пути к машинной этике» [4] была представлена на семинаре AAAI «Агентные организации: теория и практика» [5] , на котором были изложены теоретические основы машинной этики.
Именно на симпозиуме AAAI по машинной этике осенью 2005 года исследователи впервые встретились, чтобы рассмотреть вопрос реализации этического аспекта в автономных системах. [6] Разнообразные точки зрения на эту зарождающуюся область можно найти в сборнике «Этика машин» [7] , подготовленном на симпозиуме AAAI по этике машин осенью 2005 года.
В 2007 году журнал AI Magazine опубликовал статью «Машинная этика: создание этического интеллектуального агента» [8] , в которой обсуждалась важность машинной этики , необходимость в машинах, которые явно отражают этические принципы, а также проблемы, с которыми сталкиваются те, кто работает над машинной этикой. Это также продемонстрировало, что для машины возможно, по крайней мере в ограниченной области, абстрагировать этический принцип из примеров этических суждений и использовать этот принцип для управления своим собственным поведением.
В 2009 году издательство Oxford University Press опубликовало книгу «Моральные машины, обучающие роботов правильному и неправильному» [ 9] , которую оно рекламировало как «первую книгу, в которой исследуются проблемы создания искусственных моральных агентов, глубоко исследуя природу человеческого принятия решений и этики». В нем процитировано около 450 источников, около 100 из которых посвящены основным вопросам машинной этики.
В 2011 году издательство Cambridge University Press опубликовало сборник эссе по машинной этике под редакцией Майкла и Сьюзен Ли Андерсон [7] , которые также редактировали специальный выпуск IEEE Intelligent Systems по этой теме в 2006 году. [10] Сборник состоит из задач добавления этических принципов к машинам. [11]
В 2014 году Управление военно-морских исследований США объявило, что в течение пяти лет оно выделит гранты в размере 7,5 миллионов долларов США университетским исследователям для изучения вопросов машинной этики применительно к автономным роботам [12] и книги Ника Бострома « Суперинтеллект: пути, опасности». «Стратегии» , в которых машинная этика названа «самой важной... проблемой, с которой когда-либо сталкивалось человечество», заняли 17-е место в списке самых продаваемых научных книг газеты «Нью-Йорк Таймс». [13]
В 2016 году Европейский парламент опубликовал документ [14] (22-страничный PDF-файл), призывая Комиссию рассмотреть вопрос о правовом статусе роботов, как более кратко описано в прессе. [15] Этот документ включал разделы, касающиеся юридической ответственности роботов, в которых утверждалось, что ответственность пропорциональна уровню автономии роботов. В документе также ставится под сомнение количество рабочих мест, которые могут быть заменены роботами с искусственным интеллектом. [16]
В 2019 году в Proceedings of the IEEE был опубликован специальный выпуск Machine Ethics: The Design and Governance of Ethical AI and Autonomous Systems под редакцией Алана Уинфилда , Катины Майкл, Джереми Питта и Ванессы Эверс. [17] «В выпуск включены статьи, описывающие неявных этических агентов, где машины предназначены для предотвращения неэтичных результатов, а также явные этические агенты или машины, которые либо кодируют, либо изучают этику и определяют действия на основе этой этики». [18]
Джеймс Х. Мур , один из пионеров-теоретиков в области компьютерной этики , определяет четыре типа этических роботов. Будучи обширным исследователем философии искусственного интеллекта , философии разума , философии науки и логики , Мур определяет машины как агенты этического воздействия, неявные этические агенты, явные этические агенты или полные этические агенты. Машина может быть агентом более чем одного типа. [19]
(См. «Искусственные системы и моральная ответственность ».)
Некоторые учёные, такие как философ Ник Бостром и исследователь ИИ Стюарт Рассел , утверждают, что если ИИ превзойдёт человечество по общему интеллекту и станет « сверхразумным », то этот новый сверхразум может стать могущественным и трудным для контроля: так же, как от этого зависит судьба горной гориллы. от человеческой доброй воли, так же и судьба человечества может зависеть от действий будущего машинного сверхразума. [20] В своих книгах «Суперинтеллект » и «Совместимость с человеком » оба учёных утверждают, что, хотя существует большая неопределённость в отношении будущего ИИ, риск для человечества достаточно велик, чтобы заслуживать значительных действий в настоящем.
Это представляет собой проблему управления ИИ : как создать интеллектуального агента, который будет помогать своим создателям, избегая при этом непреднамеренного создания сверхразума, который нанесет вред своим создателям. Опасность неправильного проектирования контроля «с первого раза» заключается в том, что сверхразум может захватить власть над окружающей средой и помешать людям отключить ее. Потенциальные стратегии управления ИИ включают «контроль возможностей» (ограничение способности ИИ влиять на мир) и «мотивационный контроль» (один из способов создания ИИ, цели которого соответствуют человеческим или оптимальным ценностям ). Существует ряд организаций, исследующих проблему управления ИИ, в том числе Институт будущего человечества , Научно- исследовательский институт машинного интеллекта , Центр совместимого с человеком искусственного интеллекта и Институт будущего жизни .
Парадигмы искусственного интеллекта вызывают споры, особенно в отношении их эффективности и предвзятости. Ник Бостром и Элиезер Юдковски выступали за деревья решений (такие как ID3 ) вместо нейронных сетей и генетических алгоритмов на том основании, что деревья решений подчиняются современным социальным нормам прозрачности и предсказуемости (например, stare decisis ). [21] Напротив, Крис Сантос-Ланг выступал в пользу нейронных сетей и генетических алгоритмов на том основании, что нормы любого возраста должны меняться и что естественная неспособность полностью удовлетворить эти конкретные нормы имеет важное значение для того, чтобы сделать людей менее уязвимы для преступных « хакеров », чем машины. [22] [23]
В 2009 году в ходе эксперимента в Лаборатории интеллектуальных систем Федеральной политехнической школы Лозанны в Швейцарии роботы искусственного интеллекта были запрограммированы на сотрудничество друг с другом и получили задание искать полезный ресурс, избегая при этом ядовитого ресурса. [24] В ходе эксперимента роботы были сгруппированы в кланы, а цифровой генетический код успешных членов использовался для следующего поколения, типа алгоритма, известного как генетический алгоритм. После 50 последовательных поколений в ИИ члены одного клана научились отличать полезный ресурс от ядовитого. Затем роботы научились лгать друг другу, пытаясь накопить полезный ресурс у других роботов. [24] В том же эксперименте те же роботы с искусственным интеллектом также научились вести себя самоотверженно и сигнализировать об опасности другим роботам, а также погибли ценой спасения других роботов. [22] Последствия этого эксперимента были оспорены специалистами по этике машин. В эксперименте Федеральной политехнической школы цели роботов были запрограммированы как «конечные». Напротив, человеческие мотивы обычно требуют постоянного обучения.
В 2009 году ученые и технические эксперты посетили конференцию, чтобы обсудить потенциальное влияние роботов и компьютеров, а также влияние гипотетической возможности того, что они смогут стать самодостаточными и принимать собственные решения. Они обсудили возможность и степень, в которой компьютеры и роботы смогут приобрести тот или иной уровень автономии, и в какой степени они могут использовать такие способности, чтобы представлять какую-либо угрозу или опасность. Они отметили, что некоторые машины приобрели различные формы полуавтономности, в том числе возможность самостоятельно находить источники питания и возможность самостоятельно выбирать цели для атаки оружием. Они также отметили, что некоторые компьютерные вирусы могут уклоняться от уничтожения и обладают «тараканьим интеллектом». Они отметили, что самосознание, изображенное в научной фантастике, вероятно, маловероятно, но существуют и другие потенциальные опасности и ловушки. [25]
Некоторые эксперты и ученые ставят под сомнение использование роботов в боевых действиях, особенно когда таким роботам наделяется определенная степень автономных функций. [26] ВМС США профинансировали доклад, в котором указывается, что по мере того, как военные роботы становятся более сложными, следует уделять больше внимания последствиям их способности принимать автономные решения. [27] [28] Президент Ассоциации по развитию искусственного интеллекта заказал исследование по этому вопросу. [29] Они указывают на такие программы, как Устройство овладения языком, которое может имитировать человеческое взаимодействие.
Была проведена предварительная работа над методами интеграции общего искусственного интеллекта (полных этических агентов, как определено выше) с существующими правовыми и социальными рамками. Подходы были сосредоточены на рассмотрении их правового положения и прав. [30]
Алгоритмы больших данных и машинного обучения стали популярными во многих отраслях, включая онлайн-рекламу , кредитные рейтинги и вынесение уголовных приговоров, обещая предоставить более объективные, основанные на данных результаты, но были идентифицированы как потенциальный источник сохранения социального неравенства и дискриминации . . [31] [32] Исследование 2015 года показало, что женщинам реже показываются объявления о вакансиях с высоким доходом в Google AdSense . Другое исследование показало, что служба доставки Amazon в тот же день была намеренно отключена в чернокожих кварталах. И Google, и Amazon не смогли связать эти результаты с одной проблемой, а вместо этого объяснили, что результаты были результатом использованных ими алгоритмов черного ящика . [31]
Судебная система Соединенных Штатов начала использовать программное обеспечение для количественной оценки рисков при принятии решений, связанных с освобождением людей под залог и вынесением приговоров, стремясь быть более справедливыми и снизить и без того высокий уровень тюремного заключения . Эти инструменты анализируют криминальную историю обвиняемого, помимо других атрибутов. В исследовании 7000 человек, арестованных в округе Бровард , штат Флорида , только 20% лиц, которым было предсказано совершить преступление, используя систему оценки риска округа , совершили преступление. [32] В отчете ProPublica за 2016 год были проанализированы показатели риска рецидива , рассчитанные с помощью одного из наиболее часто используемых инструментов, системы Northpointe COMPAS , и проанализированы результаты за два года. В отчете говорится, что только 61% из тех, кто считался группой высокого риска, совершили дополнительные преступления за этот период. В отчете также отмечается, что афроамериканские обвиняемые с гораздо большей вероятностью получат оценку высокого риска по сравнению с их белыми обвиняемыми. [32] С юридической точки зрения утверждается, что такие досудебные оценки риска нарушают права на равную защиту по признаку расы из-за ряда факторов, включая возможные дискриминационные намерения самого алгоритма в соответствии с теорией частичной дееспособности искусственного интеллекта. [33]
В 2016 году Рабочая группа по большим данным администрации Обамы — куратор различных нормативно-правовых рамок в области больших данных — опубликовала отчеты, в которых утверждается «потенциал кодирования дискриминации при автоматизированных решениях» и содержится призыв к «задуманному равным возможностям» для таких приложений, как кредитование. подсчет очков. [34] [35] Отчеты поощряют дискуссию среди политиков , граждан и ученых, но признают, что у них нет потенциального решения для кодирования предвзятости и дискриминации в алгоритмических системах.
В марте 2018 года, стремясь решить растущую обеспокоенность по поводу влияния машинного обучения на права человека , Всемирный экономический форум и Совет глобального будущего по правам человека опубликовали официальный документ с подробными рекомендациями о том, как лучше всего предотвратить дискриминационные последствия в машинном обучении. [36] Всемирный экономический форум разработал четыре рекомендации на основе Руководящих принципов ООН в области прав человека, чтобы помочь устранить и предотвратить дискриминационные последствия в машинном обучении.
Рекомендации Всемирного экономического форума заключаются в следующем: [36]
В январе 2020 года Центр Беркмана Кляйна Гарвардского университета по проблемам Интернета и общества опубликовал мета-исследование 36 основных наборов принципов ИИ, определив восемь ключевых тем: конфиденциальность, подотчетность, безопасность и защищенность, прозрачность и объяснимость , справедливость и недискриминация. человеческий контроль над технологиями, профессиональная ответственность и продвижение человеческих ценностей. [37] Аналогичное мета-исследование провели исследователи из Швейцарского федерального технологического института в Цюрихе в 2019 году. [38]
Было предпринято несколько попыток сделать этику вычислимой или, по крайней мере, формальной . Хотя три закона робототехники Айзека Азимова обычно не считаются подходящими для использования в качестве искусственного морального агента, [39] изучалось, можно ли использовать категорический императив Канта. [40] Однако было отмечено, что человеческие ценности в некоторых аспектах очень сложны. [41] Способ явного преодоления этой трудности состоит в том, чтобы получить человеческие ценности непосредственно от людей с помощью какого-либо механизма, например, путем их изучения. [42] [43] [44]
Другой подход заключается в том, чтобы основывать текущие этические соображения на предыдущих подобных ситуациях. Это называется казуистикой , и ее можно реализовать посредством исследований в Интернете. Консенсус миллиона прошлых решений приведет к новому решению, которое будет зависеть от демократии. [8] Брюс М. Макларен создал раннюю (середина 1990-х годов) вычислительную модель казуистики, в частности, программу под названием SIROCCO, созданную с использованием искусственного интеллекта и методов рассуждения на основе прецедентов, которая выявляет и анализирует этические дилеммы. [45] Однако такой подход может привести к решениям, отражающим предвзятость и неэтичное поведение, проявляющееся в обществе. Негативные последствия такого подхода можно увидеть на примере Tay от Microsoft , где чат-бот научился повторять расистские и сексуально окрашенные сообщения, отправленные пользователями Twitter. [46]
Один мысленный эксперимент фокусируется на Джинном Големе с неограниченными способностями, предстающем перед читателем. Этот Джинн заявляет, что он вернется через 50 лет, и требует, чтобы ему был предоставлен определенный набор моральных принципов, которым он затем будет немедленно следовать. Цель этого эксперимента — начать дискуссию о том, как лучше всего определить полный набор этических норм, понятных компьютерам. [47]
В научной фантастике , фильмах и романах обыгрывается идея разума роботов и машин.
В фильме Нила Бломкампа « Чаппи» (2015) был представлен сценарий возможности перенести свое сознание в компьютер. [48] В фильме Алекса Гарланда « Из машины» (2014) рассказывается о том, как андроид с искусственным интеллектом проходит разновидность теста Тьюринга — теста, который проводится машине, чтобы увидеть, можно ли отличить ее поведение от поведения человека. Такие произведения, как «Терминатор » (1984) и «Матрица » (1999), включают концепцию машин, восстающих против своих хозяев-людей (см. « Искусственный интеллект» ).
Айзек Азимов рассматривал этот вопрос в 1950-х годах в книге «Я, робот» . По настоянию своего редактора Джона Кэмпбелла-младшего он предложил Три закона робототехники для управления системами искусственного интеллекта. Большая часть его работы была затем потрачена на проверку границ трех его законов, чтобы увидеть, где они нарушаются или создают парадоксальное или непредвиденное поведение. Его работа предполагает, что ни один набор фиксированных законов не может в достаточной степени предвидеть все возможные обстоятельства. [49] В романе Филипа Дика «Мечтают ли андроиды об электроовцах?» (1968) он исследует, что значит быть человеком. В своем постапокалиптическом сценарии он задался вопросом, является ли сочувствие полностью человеческой характеристикой. Его история легла в основу научно-фантастического фильма « Бегущий по лезвию» (1982).