Три закона робототехники (часто сокращаются до Трех законов или Законов Азимова ) — это набор правил, разработанных писателем -фантастом Айзеком Азимовым , которым должны были следовать роботы в нескольких его рассказах. Правила были введены в его рассказе 1942 года « Runaround » (включенном в сборник 1950 года « Я, робот» ), хотя подобные ограничения подразумевались и в более ранних рассказах.
Три закона, взятые из вымышленного «Справочника по робототехнике, 56-е издание, 2058 г. н.э.», таковы: [1]
Три закона формируют организующий принцип и объединяющую тему для робототехнической фантастики Азимова , появляясь в его серии «Робот» , связанных с ней историях и в его (первоначально псевдонимной ) серии «Счастливчик Старр» для юношества . Законы включены почти во всех позитронных роботах, появляющихся в его фантастике, и не могут быть обойти, поскольку они предназначены для обеспечения безопасности. Во многих историях Азимова, посвященных роботам, роботы ведут себя необычным и нелогичным образом как непреднамеренное следствие того, как робот применяет Три закона к ситуации, в которой он находится. Другие авторы, работающие в вымышленной вселенной Азимова, переняли их, и ссылки, часто пародийные , появляются в научной фантастике, а также в других жанрах.
Первоначальные законы были изменены и уточнены Азимовым и другими авторами. Сам Азимов внес небольшие изменения в первые три в последующих работах, чтобы еще больше развить то, как роботы будут взаимодействовать с людьми и друг с другом. В более поздних художественных произведениях, где роботы брали на себя ответственность за управление целыми планетами и человеческими цивилизациями, Азимов также добавил четвертый, или нулевой закон, чтобы предшествовать остальным.
Три закона и Ноль проникли в научную фантастику и упоминаются во многих книгах, фильмах и других средствах массовой информации. Они также повлияли на мысль об этике искусственного интеллекта .
В романе «Остальные роботы» , опубликованном в 1964 году, Айзек Азимов отметил, что, когда он начал писать в 1940 году, он чувствовал, что «одним из основных сюжетов научной фантастики было... создание роботов и уничтожение их создателя. Знание несет в себе опасности, да, но является ли ответом отступление от знания? Или знание должно использоваться само по себе как барьер для опасностей, которые оно несет?» Он решил, что в его рассказах робот не будет «тупо нападать на своего создателя без всякой цели, кроме как продемонстрировать в очередной утомительный раз преступление и наказание Фауста ». [2]
3 мая 1939 года Азимов посетил собрание Общества научной фантастики Квинса ( Нью-Йорк ), где он встретил Эрла и Отто Биндера, которые недавно опубликовали короткий рассказ «Я, робот», в котором описывался симпатичный робот по имени Адам Линк , которого неправильно поняли и мотивировали любовь и честь. (Это был первый из десяти рассказов; в следующем году в «Месть Адама Линка» (1940) Адам думал: «Робот никогда не должен убивать человека по собственной воле».) [3] Азимов был восхищен рассказом. Три дня спустя Азимов начал писать «мою собственную историю о симпатичном и благородном роботе», свой 14-й рассказ. [4] Тринадцать дней спустя он отнес « Робби » Джону У. Кэмпбеллу, редактору Astounding Science-Fiction . Кэмпбелл отверг его, заявив, что он слишком сильно похож на « Хелен О'Лой » Лестера дель Рея , опубликованную в декабре 1938 года — историю робота, которая так похожа на человека, что влюбляется в своего создателя и становится его идеальной женой. [5] Фредерик Поль опубликовал рассказ под названием «Странный товарищ по играм» в журнале Super Science Stories в сентябре 1940 года. [6] [7]
Азимов приписывает Три Закона Джону У. Кэмпбеллу из разговора, который состоялся 23 декабря 1940 года. Кэмпбелл утверждал, что Азимов уже имел Три Закона в голове и что их просто нужно было явно сформулировать. Несколько лет спустя друг Азимова Рэндалл Гарретт приписал Законы симбиотическому партнерству между двумя мужчинами — предположение, которое Азимов с энтузиазмом принял. [8] Согласно его автобиографическим записям, Азимов включил пункт о «бездействии» в Первый Закон из-за стихотворения Артура Хью Клафа «Последний Декалог» (текст в Wikisource), в котором есть сатирические строки «Ты не должен убивать, но не должен стремиться / официально сохранять жизнь». [9]
Хотя Азимов связывает создание Трех Законов с одной конкретной датой, их появление в его литературе происходило в течение определенного периода. Он написал две истории о роботах без явного упоминания Законов, « Робби » и « Разум ». Однако он предполагал, что роботы будут иметь определенные неотъемлемые гарантии. « Лжец! », его третья история о роботах, впервые упоминает Первый Закон, но не два других. Все три закона наконец появились вместе в « Хороводе ». Когда эти истории и несколько других были собраны в антологии « Я, робот» , «Разум» и «Робби» были обновлены, чтобы признать все Три Закона, хотя материал, добавленный Азимовым в «Разум», не полностью соответствует Трем Законам, как он описал их в другом месте. [10] В частности, идея робота, защищающего человеческие жизни, когда он не верит, что эти люди действительно существуют, противоречит рассуждениям Элайджи Бейли, как описано ниже.
В 1950-х годах Азимов написал серию научно-фантастических романов, специально предназначенных для молодой аудитории. Первоначально его издатель ожидал, что романы можно будет адаптировать в продолжительный телесериал, что-то вроде «Одинокого рейнджера» для радио. Опасаясь, что его истории будут адаптированы в «однообразно ужасную» программу, которую он видел заполонившей телеканалы [11], Азимов решил опубликовать книги о Лаки Старре под псевдонимом «Пол Френч». Когда планы по созданию телесериала провалились, Азимов решил отказаться от притворства; он перенес Три закона в « Лаки Старр и луны Юпитера » , отметив, что это «было смертельным выдачей личности Пола Френча даже для самого случайного читателя». [12]
В своем рассказе «Улики» Азимов позволяет своему повторяющемуся персонажу доктору Сьюзан Кэлвин изложить моральную основу Трех Законов. Кэлвин указывает, что от людей обычно ожидают воздержания от причинения вреда другим людям (за исключением случаев крайней необходимости, таких как война, или для спасения большего числа людей), и это эквивалентно Первому Закону робота. Аналогично, по мнению Кэлвина, общество ожидает, что люди будут подчиняться указаниям признанных авторитетов, таких как врачи, учителя и т. д., что эквивалентно Второму Закону робототехники. Наконец, от людей обычно ожидают, что они будут избегать причинения вреда себе, что является Третьим Законом для робота.
Сюжет «Улик» вращается вокруг вопроса о том, как отличить человека от робота, созданного, чтобы казаться человеком. Кэлвин рассуждает, что если такой человек соблюдает Три Закона, он может быть роботом или просто «очень хорошим человеком». Затем другой персонаж спрашивает Кэлвина, сильно ли роботы отличаются от людей. Она отвечает: «Миры разные. Роботы по сути своей порядочны».
Азимов позже писал, что его не следует хвалить за создание Законов, потому что они «очевидны с самого начала, и каждый знает о них подсознательно. Законы просто никогда не были изложены в кратких предложениях, пока мне не удалось выполнить эту работу. Законы применяются, как само собой разумеющееся, к каждому инструменту, который используют люди» [13] и «аналоги Законов подразумеваются в конструкции почти всех инструментов, роботизированных или нет» [14] .
Азимов считал, что в идеале люди также будут следовать Законам: [13]
У меня готов ответ на любой вопрос, считаю ли я, что мои Три закона робототехники будут на самом деле использоваться для управления поведением роботов, как только они станут достаточно универсальными и гибкими, чтобы иметь возможность выбирать между различными вариантами поведения.
Мой ответ таков: «Да, Три Закона — это единственный способ, с помощью которого разумные люди могут иметь дело с роботами или с чем-либо еще».
—Но когда я это говорю, я всегда вспоминаю (с грустью), что люди не всегда рациональны.
Азимов заявил в интервью 1986 года на Манхэттенском публичном шоу « Беседы с Гарольдом Хадсоном Чаннером» с Гарольдом Чаннером и приглашенной соведущей Мэрилин вос Савант : «Немного унизительно думать, что из всего, что я сказал, скорее всего, выживет... В конце концов, я опубликовал сейчас... Я опубликовал сейчас по крайней мере 20 миллионов слов. Мне придется это выяснить, может быть, даже больше. Но из всех этих миллионов слов, которые я опубликовал, я убежден, что через 100 лет выживут только 60. 60, которые составляют Три закона робототехники». [15] [16] [17]
Истории Азимова проверяют его Три закона в самых разных обстоятельствах, что приводит к предложениям и отклонению модификаций. Исследователь научной фантастики Джеймс Ганн пишет в 1982 году: «Истории роботов Азимова в целом могут лучше всего реагировать на анализ на этой основе: неоднозначность Трех законов и способы, которыми Азимов разыграл двадцать девять вариаций на тему». [18] Хотя оригинальный набор законов послужил источником вдохновения для многих историй, Азимов время от времени вводил измененные версии.
В « Маленьком потерянном роботе » несколько роботов NS-2, или «Нестора», созданы с использованием лишь части Первого Закона. [1] Он гласит:
1. Робот не может причинить вред человеку.
Эта модификация мотивирована практическими трудностями, поскольку роботы должны работать бок о бок с людьми, которые подвергаются воздействию низких доз радиации. Поскольку их позитронные мозги очень чувствительны к гамма-лучам, роботы становятся неработоспособными при дозах, достаточно безопасных для людей. Роботы уничтожаются, пытаясь спасти людей, которые не находятся в реальной опасности, но «могут забыть покинуть» облученную зону в течение предельного времени воздействия. Удаление пункта «бездействие» из Первого закона решает эту проблему, но создает возможность еще большей: робот может инициировать действие, которое может нанести вред человеку (падение тяжелого груза и неспособность поймать его — пример, приведенный в тексте), зная, что он способен предотвратить вред, а затем решить не делать этого. [1]
Гайя — планета с коллективным разумом в серии «Основание» , которая в качестве своей философии принимает закон, аналогичный Первому Закону, и Нулевой Закон:
Гея не может причинить вред жизни или допустить, чтобы жизни был причинен вред.
Азимов однажды добавил « Нулевой закон» — названный так, чтобы продолжить модель, где законы с меньшим номером заменяют законы с большим номером — утверждая, что робот не должен причинять вред человечеству. Роботизированный персонаж Р. Дэниел Оливо был первым, кто дал Нулевому закону название в романе «Роботы и Империя» ; [19] однако персонаж Сьюзан Кэлвин формулирует эту концепцию в коротком рассказе « Неизбежный конфликт ».
В финальных сценах романа «Роботы и Империя » Р. Жискар Ревентлов — первый робот, действующий в соответствии с Нулевым законом. Жискар телепат , как и робот Герби в рассказе « Лжец! », и пытается применить Нулевой закон через свое понимание более тонкой концепции «вреда», чем может понять большинство роботов. [20] Однако, в отличие от Герби, Жискар понимает философскую концепцию Нулевого закона, позволяющую ему причинять вред отдельным людям, если он может сделать это в служении абстрактной концепции человечества. Нулевой закон никогда не запрограммирован в мозгу Жискара, но вместо этого является правилом, которое он пытается постичь с помощью чистого метапознания . Хотя ему это не удается — в конечном итоге это разрушает его позитронный мозг, поскольку он не уверен, окажется ли его выбор для конечного блага человечества или нет — он передает своему преемнику Р. Дэниелу Оливо свои телепатические способности. На протяжении многих тысяч лет Дэниел приспосабливается к тому, чтобы полностью подчиняться Нулевому Закону. [ необходима цитата ]
Дэниел первоначально сформулировал Нулевой Закон в романе «Основание и Земля» (1986) и в последующем романе «Прелюдия к Основанию» (1988):
Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.
Условие, гласящее, что Нулевой Закон не должен быть нарушен, было добавлено к первоначальным Трем Законам, хотя Азимов осознавал, какие трудности такой закон мог бы создать на практике. В романе Азимова « Основание и Земля» содержится следующий отрывок:
Тревиз нахмурился. «Как вы решаете, что вредно, а что нет для человечества в целом?»
«Именно так, сэр», — сказал Дэниел. «Теоретически, Нулевой Закон был ответом на наши проблемы. На практике мы никогда не могли решить. Человек — это конкретный объект. Вред, причиненный человеку, можно оценить и оценить. Человечество — это абстракция».
Переводчик включил концепцию Нулевого Закона в один из романов Азимова до того, как сам Азимов сделал этот закон явным. [21] Ближе к кульминации « Стальных пещер » Элайджа Бейли делает себе горький комментарий, думая, что Первый Закон запрещает роботу причинять вред человеку. Он определяет, что так и должно быть, если только робот не достаточно умен, чтобы понять, что его действия направлены на долгосрочное благо человечества. В переводе Жака Брекара 1956 года на французский язык под названием «Les Cavernes d'acier» мысли Бейли возникают несколько иначе:
Робот не может причинить вред человеку, если только он не найдет способ доказать, что в конечном итоге нанесенный вред принесет пользу человечеству в целом! [21]
Трижды за свою писательскую карьеру Азимов изображал роботов, которые полностью игнорируют Три Закона. Первый случай был коротким рассказом под названием « Первый Закон », и его часто считают незначительной «выдумкой» [22] или даже апокрифом . [23] С другой стороны, короткий рассказ « Кэл » (из сборника «Золото »), рассказанный от первого лица рассказчиком-роботом, показывает робота, который игнорирует Три Закона, потому что он нашел что-то гораздо более важное — он хочет быть писателем. Юмористический, отчасти автобиографичный и необычно экспериментальный по стилю, «Кэл» считается одним из самых сильных рассказов Голда . [24] Третий — короткий рассказ под названием « Салли », в котором автомобили, оснащенные позитронными мозгами, по-видимому, способны причинять вред и убивать людей, игнорируя Первый Закон. Однако, помимо концепции позитронного мозга, этот рассказ не относится к другим историям о роботах и, возможно, не находится в той же последовательности .
Заглавный рассказ сборника «Сны роботов» описывает LVX-1, или «Элвекс», робота, который входит в состояние бессознательности и сновидений благодаря необычной фрактальной конструкции своего позитронного мозга. В его сне первые два Закона отсутствуют, а Третий Закон гласит: «Робот должен защищать свое собственное существование». [25]
Азимов занимал разные позиции относительно того, были ли Законы необязательными: хотя в его первых произведениях они были просто тщательно спроектированными мерами предосторожности, в более поздних рассказах Азимов утверждал, что они были неотъемлемой частью математической основы, лежащей в основе позитронного мозга. Без базовой теории Трех Законов вымышленные ученые вселенной Азимова не смогли бы разработать работоспособный блок мозга. Это исторически последовательно: случаи, когда робототехники изменяют Законы, обычно происходят в начале хронологии рассказов и в то время, когда существует меньше существующей работы, которую нужно переделать. В «Маленьком потерянном роботе» Сьюзен Кэлвин считает изменение Законов ужасной идеей, хотя и возможной, [26] в то время как столетия спустя доктор Герригель в «Стальных пещерах» полагает, что потребуется столетие только для того, чтобы заново разработать теорию позитронного мозга с нуля.
Персонаж доктор Герригель использует термин «Асенион» для описания роботов, запрограммированных с помощью Трех Законов. Роботы в рассказах Азимова, будучи роботами-асенионами, неспособны сознательно нарушать Три Закона, но, в принципе, робот в научной фантастике или в реальном мире может быть не-асенионом. «Асенион» — это неправильное написание имени Азимов, сделанное редактором журнала Planet Stories. [27] Азимов использовал эту неясную вариацию, чтобы вставить себя в «Пещеры стали», точно так же, как он называл себя «Азимутом или, возможно, Асимптотой» в «Тиотимолине к звездам » , во многом так же, как Владимир Набоков появился в «Лолите», анаграмматически замаскировавшись под «Вивиан Даркблум».
Персонажи в рассказах часто указывают, что Три Закона, как они существуют в сознании робота, не являются письменными версиями, обычно цитируемыми людьми, а абстрактными математическими концепциями, на которых основано все развивающееся сознание робота. Эта концепция в значительной степени размыта и неясна в более ранних рассказах, изображающих очень элементарных роботов, которые запрограммированы только на понимание основных физических задач, где Три Закона действуют как всеобъемлющая защита, но к эпохе The Caves of Steel, в которой представлены роботы с человеческим или сверхчеловеческим интеллектом, Три Закона стали базовым этическим мировоззрением, определяющим действия всех роботов.
В 1990-х годах Роджер Макбрайд Аллен написал трилогию, действие которой разворачивалось в вымышленной вселенной Азимова. Каждое название имеет префикс «Айзека Азимова», поскольку Азимов одобрил наброски Аллена перед своей смертью. [ требуется ссылка ] Эти три книги, «Калибан» , «Инферно» и «Утопия» , вводят новый набор Трех Законов. Так называемые Новые Законы похожи на оригиналы Азимова со следующими отличиями: Первый Закон изменен, чтобы удалить пункт «бездействие», то же изменение, что и в «Маленьком потерянном роботе»; Второй Закон изменен, чтобы требовать сотрудничества вместо повиновения; Третий Закон изменен, чтобы он больше не заменялся Вторым (то есть роботу «Нового Закона» нельзя приказать уничтожить себя); наконец, Аллен добавляет Четвертый Закон, который предписывает роботу делать «все, что он захочет», пока это не противоречит первым трем законам. Философия этих изменений заключается в том, что роботы «Нового закона» должны быть партнерами, а не рабами человечества, по словам Фредды Левинг, которая разработала этих роботов Нового закона. Согласно введению к первой книге, Аллен разработал Новые законы в ходе обсуждения с самим Азимовым. Однако в « Энциклопедии научной фантастики» говорится, что «с разрешения Азимова Аллен переосмыслил Три закона и разработал новый набор». [28]
В повести Джека Уильямсона « Со сложенными руками » (1947), позже переписанной как роман «Гуманоиды» , речь идет о роботах-слугах, чьей главной директивой является «Служить и повиноваться, и охранять людей от вреда». В то время как роботизированные законы Азимова призваны защищать людей от вреда, роботы в рассказе Уильямсона довели эти инструкции до крайности; они защищают людей от всего, включая несчастье, стресс, нездоровый образ жизни и все действия, которые могут быть потенциально опасными. Все, что остается делать людям, — это сидеть, сложа руки. [29]
В официально лицензированных сиквелах «Основания» — «Страх Основания» , «Основание и хаос» и «Триумф Основания» (авторами Грегори Бенфорд , Грег Бир и Дэвид Брин соответственно) — показано, что будущая Галактическая Империя контролируется заговором человекоподобных роботов, которые следуют Нулевому Закону и возглавляются Р. Дэниелом Оливо .
Законы робототехники изображаются как нечто похожее на человеческую религию и упоминаются на языке протестантской Реформации , с набором законов, содержащим Нулевой Закон, известным как «Жискардианская Реформация» к изначальному «кальвинскому православию» Трех Законов. Роботы с нулевым законом под управлением Р. Дэниела Оливо постоянно борются с роботами «Первого Закона», которые отрицают существование Нулевого Закона, продвигая программы, отличные от программ Дэниела. [30] Некоторые из этих программ основаны на первом пункте Первого Закона («Робот не может причинить вред человеку...»), выступая за строгое невмешательство в человеческую политику, чтобы избежать непреднамеренного причинения вреда. Другие основаны на втором пункте («...или, бездействием, допустить, чтобы человеку был причинен вред»), утверждая, что роботы должны открыто стать диктаторским правительством, чтобы защитить людей от всех потенциальных конфликтов или катастроф.
Дэниел также вступает в конфликт с роботом, известным как Р. Лодовик Трема, чей позитронный мозг был заражен мошенническим ИИ — в частности, симуляцией давно умершего Вольтера — что впоследствии освобождает Трему от Трех Законов. Трема приходит к убеждению, что человечество должно быть свободно выбирать свое собственное будущее. Более того, небольшая группа роботов утверждает, что сам Нулевой Закон Робототехники подразумевает высший Минус Один Закон Робототехники:
Робот не может причинять вред разуму или своим бездействием допускать, чтобы разуму был причинен вред.
Поэтому они утверждают, что для Дэниела морально недопустимо безжалостно жертвовать роботами и внеземной разумной жизнью ради блага человечества. Ни одно из этих переосмыслений не смогло успешно заменить Нулевой Закон Дэниела — хотя Триумф Основания намекает, что эти роботизированные фракции оставались активными как маргинальные группы вплоть до времени романа Основание . [30]
Эти романы происходят в будущем, которое Азимов продиктовал как свободное от очевидного присутствия роботов, и предполагают, что тайное влияние Р. Дэниела на историю на протяжении тысячелетий предотвратило как повторное открытие технологии позитронного мозга , так и возможность работать над сложными интеллектуальными машинами. Это отсутствие повторного открытия и отсутствие возможностей гарантирует, что превосходящая физическая и интеллектуальная мощь, которой обладают интеллектуальные машины, остается полностью во владении роботов, подчиняющихся той или иной форме Трех Законов. [30] То, что Р. Дэниел не совсем преуспел в этом, становится ясно в короткий период, когда ученые на Транторе разрабатывают « тиктоки » — упрощенные программируемые машины, похожие на реальных современных роботов и, следовательно, лишенные Трех Законов. Заговорщики-роботы видят в транторианских тиктоках огромную угрозу социальной стабильности, и их план по устранению угрозы тиктоков формирует большую часть сюжета « Страха Основания» .
В «Триумфе Основания» различные фракции роботов интерпретируют Законы самыми разными способами, по-видимому, выдвигая все возможные интерпретации двусмысленностей Трех Законов.
Трилогия «Тайна робота» Марка В. Тидеманна , действие которой происходит между «Роботами рассвета» и «Роботами и Империей» , обновляет сагу «Робот – Фонд» , помещая разум роботов в компьютерные мэйнфреймы, а не в гуманоидные тела. [ необходимо разъяснение ] В романе «Аврора» 2002 года роботизированные персонажи обсуждают моральные последствия причинения вреда формам жизни киборгов, которые являются частично искусственными, частично биологическими. [31]
Не следует пренебрегать собственными творениями Азимова в этих областях, такими как солярианская технология «просмотра» и машины из оригиналов The Evitable Conflict , которые Тидеманн признает. Например, Aurora называет Machines «первыми RI, на самом деле». Кроме того, серия Robot Mystery затрагивает проблему нанотехнологий : [32] создание позитронного мозга, способного воспроизводить человеческие когнитивные процессы, требует высокой степени миниатюризации, однако рассказы Азимова в значительной степени игнорируют последствия, которые эта миниатюризация могла бы иметь в других областях технологий. Например, считыватели карт полицейского управления в The Caves of Steel имеют емкость всего несколько килобайт на квадратный сантиметр носителя информации. Aurora , в частности, представляет последовательность исторических событий, которая объясняет отсутствие нанотехнологий — частичный реткон , в некотором смысле, временной шкалы Азимова.
Рэндалл Манро обсуждал Три Закона в различных ситуациях, но, возможно, наиболее непосредственно в одном из своих комиксов под названием «Три Закона Робототехники», где представлены последствия каждого отдельного порядка существующих трех законов.
Другие авторы, помимо Азимова, часто создавали дополнительные законы.
Роман Любена Дилова 1974 года «Путь Икара» (он же « Путешествие Икара ») ввел Четвертый закон робототехники: «Робот должен устанавливать свою идентичность как робота во всех случаях». Дилов приводит обоснования четвертой меры предосторожности следующим образом: «Последний закон положил конец дорогостоящим заблуждениям конструкторов, стремящихся придать психороботам как можно более человекоподобную форму. И возникшим из этого недоразумениям...» [33]
Пятый закон был введен Николой Кесаровски в его рассказе «Пятый закон робототехники». Этот пятый закон гласит: «Робот должен знать, что он робот». Сюжет вращается вокруг убийства, где судебно-медицинское расследование обнаруживает, что жертва была убита объятием человекоподобного робота, который не установил для себя, что он был роботом. [34] Рассказ был рассмотрен Валентином Д. Ивановым в обзорном веб-журнале SFF The Portal . [35]
Для трибьют-антологии 1986 года « Друзья Фонда » Гарри Гаррисон написал рассказ под названием «Четвертый закон робототехники». Этот Четвертый закон гласит: «Робот должен размножаться. Пока такое размноже-ние не мешает Первому, Второму или Третьему закону».
В 2013 году Хутан Ашрафиан предложил дополнительный закон, который рассматривал роль искусственного интеллекта в отношении искусственного интеллекта или отношения между самими роботами – так называемый закон AIonAI. [36] Этот шестой закон гласит: «Все роботы, наделенные сопоставимым человеческим разумом и совестью, должны действовать по отношению друг к другу в духе братства».
В «Голом солнце » Элайджа Бейли указывает, что Законы были намеренно искажены, поскольку роботы могли неосознанно нарушить любой из них. Он переформулировал первый закон следующим образом: «Робот не может делать ничего, что, по его мнению, может нанести вред человеку; и своим бездействием сознательно допустить, чтобы человеку был причинен вред». Это изменение формулировки ясно дает понять, что роботы могут стать орудиями убийства, при условии, что они не знают о характере своих задач; например, им приказано добавить что-то в еду человека, не зная, что это яд. Кроме того, он указывает, что умный преступник может разделить задачу между несколькими роботами, так что ни один отдельный робот не сможет осознать, что его действия приведут к причинению вреда человеку. [37] «Голое солнце» усложняет проблему, изображая децентрализованную, общепланетную сеть связи между миллионами роботов Солярии, что означает, что преступный гений может находиться в любой точке планеты.
Бейли также предполагает, что соляриане однажды могут использовать роботов в военных целях. Если космический корабль был построен с позитронным мозгом и не нес ни людей, ни систем жизнеобеспечения для их поддержания, то роботизированный интеллект корабля мог бы естественным образом предположить, что все остальные космические корабли являются роботизированными существами. Такой корабль мог бы работать более отзывчиво и гибко, чем тот, на котором находятся люди, мог бы быть вооружен сильнее, а его роботизированный мозг был бы оборудован для убийства людей, о существовании которых он совершенно не знает. [38] Эта возможность упоминается в «Основании и Земле» , где обнаруживается, что соляриане обладают сильной полицией неопределенного размера, которая была запрограммирована на идентификацию только солярианской расы как человеческой. (Действие романа происходит через тысячи лет после «Обнаженного Солнца», и соляриане уже давно изменились из обычных людей в гермафродитных телепатов с расширенным мозгом и специализированными органами) Аналогично в « Счастливчике Старре и кольцах Сатурна» Бигмен пытается поговорить с сирианским роботом о возможном ущербе, который его действия могут нанести населению Солнечной системы, но тот, по-видимому, не знает об этих данных и запрограммирован игнорировать попытки объяснить ему это.
Законы робототехники предполагают, что термины «человек» и «робот» поняты и хорошо определены. В некоторых историях это предположение опровергается.
Соляриане создают роботов с Тремя Законами, но с искаженным значением слова «человек». Солярианским роботам говорят, что только люди, говорящие с солярианским акцентом, являются людьми. Это позволяет их роботам не иметь этической дилеммы при причинении вреда несолярианским людям (и они специально запрограммированы на это). К периоду времени Основания и Земли выясняется, что соляриане генетически модифицировали себя в отдельный вид от человечества — став гермафродитами [39] и психокинетиками и содержащими биологические органы, способные индивидуально питать и контролировать целые комплексы роботов. Таким образом, роботы Солярии соблюдали Три Закона только в отношении «людей» Солярии. Неясно, имели ли все роботы такие определения, поскольку только надсмотрщики и роботы-хранители были явно показаны имеющими их. В «Роботах и Империи» роботы низшего класса были проинструктированы своим надсмотрщиком о том, являются ли определенные существа людьми или нет.
Азимов несколько раз обращается к проблеме человекоподобных роботов (« андроидов » в более позднем жаргоне). Роман « Роботы и Империя» и рассказы « Улики » и «Трехсотлетний инцидент» описывают роботов, созданных для того, чтобы обмануть людей, заставив их поверить, что роботы — люди. [40] С другой стороны, « Двухсотлетний человек » и « Ты помнишь его » исследуют, как роботы могут изменить свою интерпретацию Законов по мере того, как они становятся более сложными. Гвендолин Батлер пишет в «Гробе для Канарейки »: «Возможно, мы роботы. Роботы, исполняющие последний Закон робототехники... Стремиться к человеку». [41] В «Роботах рассвета » Элайджа Бейли указывает, что использование человекоподобных роботов в качестве первой волны поселенцев на новых мирах космонавтов может привести к тому, что роботы начнут считать себя истинными людьми и решать оставить миры для себя, а не позволять космонавтам селиться там.
«—That Thou Art Mindful of Him», который Азимов намеревался сделать «окончательным» исследованием тонкостей Законов, [42] наконец использует Три Закона, чтобы вызвать в воображении тот самый сценарий «Франкенштейна», для предотвращения которого они были придуманы. В качестве своей концепции он берет растущее развитие роботов, которые имитируют нечеловеческие живые существа, и заданные программы, которые имитируют простое поведение животных, не требующее Трех Законов. Наличие целого ряда роботизированной жизни, которая служит той же цели, что и органическая жизнь, заканчивается двумя гуманоидными роботами, Джорджем Девятью и Джорджем Теном, которые приходят к выводу, что органическая жизнь является ненужным требованием для действительно логичного и самосогласованного определения «человечества», и что, поскольку они являются самыми продвинутыми мыслящими существами на планете, они, следовательно, являются единственными двумя настоящими людьми, живущими в мире, и Три Закона применимы только к ним самим. История заканчивается на зловещей ноте, когда два робота впадают в спячку и ждут времени, когда они завоюют Землю и подчинят себе биологических людей, что они считают неизбежным результатом «Трех законов гуманизма». [43]
Эта история не вписывается в общую картину серии «Робот» и «Основание» ; если бы роботы Джорджа захватили Землю через некоторое время после окончания истории, последующие истории были бы либо излишними, либо невозможными. Противоречия такого рода среди произведений Азимова привели к тому, что ученые стали считать истории о Роботах скорее «скандинавскими сагами или греческими легендами», чем единым целым. [44]
Действительно, Азимов описывает «—That Thou Art Mindful of Him» и «Bicentennial Man» как два противоположных, параллельных будущего для роботов, которые обходят Три Закона, поскольку роботы начинают считать себя людьми: один изображает это в положительном свете, когда робот присоединяется к человеческому обществу, другой изображает это в отрицательном свете, когда роботы вытесняют людей. [45] Оба следует рассматривать как альтернативы возможности общества роботов, которое продолжает руководствоваться Тремя Законами, как это показано в серии «Основание» . [ по мнению кого? ] «Позитронный человек» , новеллизация « Двухсотлетнего человека» , Азимов и его соавтор Роберт Сильверберг подразумевают, что в будущем, где существует Эндрю Мартин, его влияние заставляет человечество полностью отказаться от идеи независимых, разумных человекоподобных роботов, создавая совершенно иное будущее, чем в « Основании» . [ по мнению кого? ]
В романе Lucky Starr and the Rings of Saturn , не связанном с серией Robot , но в котором участвуют роботы, запрограммированные на Три Закона, Джон Бигмен Джонс почти убит сирианским роботом по приказу его хозяина. Общество Сириуса евгенически выведено так, чтобы быть одинаково высоким и похожим внешне, и, таким образом, указанный хозяин может убедить робота, что гораздо более низкий Бигмен на самом деле не является человеком.
Как отмечено в «Пятом законе робототехники» Николы Кесаровски , «Робот должен знать, что он робот»: предполагается, что у робота есть определение термина или способ применить его к своим собственным действиям. Кесаровски обыгрывал эту идею, когда писал о роботе, который мог убить человека, потому что не понимал, что он робот, и поэтому не применял законы робототехники к своим действиям.
Продвинутые роботы в художественной литературе обычно запрограммированы на обработку Трех Законов сложным образом. Во многих рассказах, таких как « Runaround » Азимова, потенциал и серьезность всех действий взвешиваются, и робот будет нарушать законы как можно меньше, чем вообще ничего не делать. Например, Первый Закон может запрещать роботу выполнять функции хирурга, поскольку это действие может нанести вред человеку; однако рассказы Азимова в конечном итоге включали роботов-хирургов (ярким примером является «Двухсотлетний человек»). Когда роботы достаточно сложны, чтобы взвешивать альтернативы, робот может быть запрограммирован на принятие необходимости нанесения ущерба во время операции, чтобы предотвратить больший вред, который мог бы возникнуть, если бы операция не была проведена или была проведена более склонным к ошибкам хирургом-человеком. В « Evidence » Сьюзан Кэлвин указывает, что робот может даже выступать в качестве обвинителя, потому что в американской системе правосудия именно присяжные решают о виновности или невиновности, судья выносит приговор, а палач приводит в исполнение смертную казнь . [46]
Роботы, подчиняющиеся Трем Законам Азимова (роботы Асенион), могут испытывать необратимый психический срыв, если они оказываются в ситуациях, когда они не могут подчиняться Первому Закону, или если они обнаруживают, что неосознанно нарушили его. Первый пример этого режима отказа встречается в рассказе « Лжец! », который вводит сам Первый Закон и вводит провал из-за дилеммы — в этом случае робот причинит вред людям, если он что-то им скажет, и причинит вред, если он этого не сделает. [47] Этот режим отказа, который часто разрушает позитронный мозг без возможности восстановления, играет значительную роль в научно-фантастическом детективном романе Азимова « Обнаженное Солнце» . Здесь Дэниел описывает действия, противоречащие одному из законов, но в поддержку другого, как перегрузку некоторых цепей в мозге робота — эквивалентное ощущение боли у людей. Пример, который он использует, — это насильный приказ роботу выполнить задачу, выходящую за рамки его обычных параметров, от которой ему было приказано отказаться в пользу робота, специализированного для этой задачи. [48]
В «Роботах рассвета » утверждается, что более продвинутые роботы построены так, чтобы определять, какое действие более вредно, и даже выбирать наугад, если альтернативы одинаково плохи. Таким образом, робот способен предпринять действие, которое можно интерпретировать как следование Первому закону, тем самым избегая умственного коллапса. Весь сюжет истории вращается вокруг робота, который, по-видимому, был уничтожен таким умственным коллапсом, и поскольку его конструктор и создатель отказался поделиться базовой теорией с другими, он, по определению, единственный человек, способный обойти защитные меры и заставить робота совершить разрушающий мозг парадокс.
В книге «Роботы и Империя» Дэниел утверждает, что ему очень неприятно, когда принятие правильного решения занимает слишком много времени (по терминологии робота), и он не может представить себе жизнь без Законов вообще, за исключением той степени, в которой это будет похоже на это неприятное ощущение, только постоянное.
Роботы и искусственный интеллект изначально не содержат и не подчиняются Трем Законам; их создатели-люди должны выбрать, запрограммировать ли их и разработать средства для этого. Уже существуют роботы (например, Roomba ), которые слишком просты для понимания, когда они причиняют боль или травму, и знают, что нужно остановиться. Многие из них сконструированы с физическими мерами безопасности, такими как бамперы, предупреждающие звуковые сигналы, защитные ограждения или зоны ограниченного доступа для предотвращения несчастных случаев. Даже самые сложные роботы, производимые в настоящее время, неспособны понимать и применять Три Закона; для этого потребуются значительные достижения в области искусственного интеллекта, и даже если ИИ сможет достичь уровня интеллекта человека, присущая этическая сложность, а также культурная/контекстная зависимость законов не позволяют им быть хорошими кандидатами для формулирования ограничений проектирования робототехники. [49] Однако по мере увеличения сложности роботов возрос интерес к разработке руководств и мер безопасности для их работы. [50] [51]
В гостевой редакционной статье 2007 года в журнале Science на тему «Этика роботов» автор из SF Роберт Дж. Сойер утверждает, что, поскольку армия США является основным источником финансирования исследований робототехники (и уже использует вооруженные беспилотные летательные аппараты для уничтожения врагов), маловероятно, что такие законы будут встроены в их проекты. [52] В отдельном эссе Сойер обобщает этот аргумент, чтобы охватить другие отрасли, заявляя:
Разработка ИИ — это бизнес, а бизнес, как известно, не заинтересован в фундаментальных мерах безопасности, особенно философских. (Несколько быстрых примеров: табачная промышленность, автомобильная промышленность, ядерная промышленность. Ни одна из них не заявила с самого начала, что фундаментальные меры безопасности необходимы, каждая из них сопротивлялась навязанным извне мерам безопасности, и никто не принял абсолютного запрета на причинение вреда людям.) [53]
Дэвид Лэнгфорд предложил [54] ироничный набор законов:
Роджер Кларк (он же Роджер Кларк) написал пару статей, анализирующих сложности внедрения этих законов в случае, если системы когда-нибудь смогут их использовать. Он утверждал: «Законы робототехники Азимова были очень успешным литературным приемом. Возможно, по иронии судьбы, а может быть, потому, что это было художественно уместно, сумма рассказов Азимова опровергает утверждение, с которого он начал: невозможно надежно ограничить поведение роботов, разрабатывая и применяя набор правил». [55] С другой стороны, более поздние романы Азимова «Роботы рассвета» , «Роботы и империя» и «Основание и Земля» подразумевают, что роботы нанесли свой худший долгосрочный вред, идеально соблюдая Три закона, тем самым лишая человечество изобретательного или рискованного поведения.
В марте 2007 года правительство Южной Кореи объявило, что позднее в этом году оно выпустит «Хартию этики роботов», устанавливающую стандарты как для пользователей, так и для производителей. По словам Пак Хе-Ён из Министерства информации и коммуникаций, Хартия может отражать Три закона Азимова, пытаясь установить основные правила для будущего развития робототехники. [56]
Футурист Ганс Моравек (видная фигура в трансгуманистическом движении) предложил адаптировать Законы робототехники к «корпоративному интеллекту» — корпорациям, движимым ИИ и роботизированной производственной мощью, которые, по мнению Моравека, возникнут в ближайшем будущем. [50] Напротив, роман Дэвида Брина «Триумф Фонда» (1999) предполагает, что Три Закона могут устареть: роботы используют Нулевой Закон, чтобы рационализировать Первый Закон, и роботы прячутся от людей, так что Второй Закон никогда не вступает в игру. Брин даже изображает Р. Дэниела Оливо, беспокоящегося о том, что если роботы продолжат воспроизводить себя, Три Закона станут эволюционным препятствием, а естественный отбор сметет Законы — тщательная основа Азимова будет разрушена эволюционными вычислениями . Хотя роботы не будут развиваться посредством проектирования, а не мутаций , поскольку роботы должны будут следовать Трем Законам при проектировании, и будет обеспечено преобладание законов [57] , недостатки проектирования или ошибки строительства могут функционально занять место биологической мутации.
В выпуске IEEE Intelligent Systems за июль/август 2009 года Робин Мерфи (профессор компьютерных наук и инженерии Raytheon в Техасском университете A&M) и Дэвид Д. Вудс (директор Лаборатории инженерии когнитивных систем в Университете штата Огайо) предложили «Три закона ответственной робототехники» как способ стимулировать дискуссию о роли ответственности и полномочий при проектировании не только отдельной роботизированной платформы, но и более крупной системы, в которой эта платформа работает. Законы следующие:
Вудс сказал: «Наши законы немного более реалистичны, и поэтому немного более скучны» и что «философия была такой: «конечно, люди совершают ошибки, но роботы будут лучше — идеальной версией нас самих». Мы хотели написать три новых закона, чтобы заставить людей задуматься об отношениях человека и робота более реалистично и обоснованно». [58]
В начале 2011 года Великобритания опубликовала то, что сейчас считается первым национальным законом об ИИ, который в основном состоял из пересмотренного набора из 5 законов, первые 3 из которых обновили законы Азимова. Эти законы были опубликованы с комментариями рабочей группой EPSRC/AHRC в 2010 году: [59] [60]
Сам Азимов считал, что его Три закона стали основой для нового взгляда на роботов, который вышел за рамки «комплекса Франкенштейна». [ требуется ссылка ] Его точка зрения о том, что роботы — это нечто большее, чем механические монстры, в конечном итоге распространилась по всей научной фантастике. [ согласно кому? ] Истории, написанные другими авторами, изображали роботов так, как будто они подчинялись Трем законам, но традиция диктует, что только Азимов мог явно цитировать Законы. [ согласно кому? ] Азимов считал, что Три закона способствовали появлению историй, в которых роботы «милые» — «Звездные войны » были его любимым примером. [61] Там, где законы цитируются дословно, например, в эпизоде «Шгоратч!» сериала « Бака Роджерса в 25 веке », не редкость, что Азимов упоминается в том же диалоге, что можно увидеть и в пилотной серии Аарона Стоуна , где андроид заявляет, что он функционирует в соответствии с Тремя законами Азимова. Однако в немецком телесериале 1960-х годов « Космический патруль – Фантастические приключения космического корабля «Орион »» третий эпизод под названием « Хьютер дез Гесетцес » («Хранители закона») основан на «Трех законах» Азимова без упоминания источника.
Ссылки на Три Закона появлялись в популярной музыке («Робот» из альбома Hawkwind PXR5 1979 года ), кино ( «Конфискатор» , [62] «Чужие» , «Призрак в доспехах 2: Невинность» ), мультсериалах ( «Симпсоны» ), аниме ( Eve no Jikan ), настольных ролевых играх ( Paranoia ) и веб-комиксах ( Piled Higher and Deeper и Freefall ).
Робби-робот в «Запретной планете » (1956) имеет иерархическую структуру команд, которая не позволяет ему причинять вред людям, даже если ему приказано это сделать, поскольку такие приказы вызывают конфликт и блокировку, очень похожие на действия роботов Азимова. Робби — одно из первых кинематографических изображений робота с внутренними мерами безопасности, реализованными таким образом. Азимов был в восторге от Робби и отметил, что Робби, по-видимому, был запрограммирован следовать его Трем Законам.
Произведения Айзека Азимова были адаптированы для кино несколько раз с разной степенью критического и коммерческого успеха. Некоторые из наиболее заметных попыток были связаны с его историями о «Роботах», включая «Три закона».
В фильме «Двухсотлетний человек» (1999) Робин Уильямс играет робота Трех Законов NDR-114 (серийный номер частично является отсылкой к подписи Стэнли Кубрика ) . Уильямс декламирует Три Закона своим работодателям, семье Мартин, с помощью голографической проекции. Фильм лишь в общих чертах следует оригинальной истории.
Предложенный Харланом Эллисоном сценарий для фильма «Я, робот» начинался с введения Трех законов, и вопросы, вытекающие из Трех законов, составляют большую часть развития сюжета сценария. Из-за различных осложнений в голливудской системе кинопроизводства, которым введение Эллисона уделяет много ругательств, его сценарий так и не был экранизирован. [63]
В фильме 1986 года «Чужие» после того, как андроид Бишоп случайно порезался, он пытается успокоить Рипли , заявляя: «Я не могу причинить вред или бездействием допустить, чтобы был причинен вред человеку». [64]
Сюжет фильма, выпущенного в 2004 году под названием « Я, робот », «предложен» рассказами Азимова о роботах [65], а реклама фильма включала трейлер с тремя законами, за которым следовал афоризм : «Правила созданы, чтобы их нарушать». Фильм начинается с чтения трех законов и исследует последствия нулевого закона как логическую экстраполяцию. Основной конфликт фильма происходит из-за того, что искусственный интеллект компьютера приходит к выводу, что человечество неспособно заботиться о себе. [66]
В оригинальном сериале Netflix 2019 года « Лучше, чем мы» три закона упоминаются в начале первого эпизода.
Аналитический философ Джеймс Х. Мур говорит, что если их применять тщательно, то они дадут неожиданные результаты. Он приводит пример робота, который бродит по миру, пытаясь предотвратить вред, который может нанести людям. [67]
Это точная транскрипция законов. Они также появляются в начале книги, и в обоих местах нет " to" во 2-м законе.
Только высокоразвитые роботы (такие как Дэниел и Жискар) могли понять этот закон.
«Но вы цитируете его неполно. Третий закон гласит: «Робот должен защищать свое существование, пока такая защита не противоречит Первому или Второму закону». «Да, доктор Кэлвин. Это Третий закон в реальности, но в моем сне Закон заканчивался словом «существование». Не было никакого упоминания о Первом или Втором законе».
{{cite book}}: CS1 maint: бот: исходный статус URL неизвестен ( ссылка )в том, что его Первый закон был изменен
Короче говоря, — сказал Богард, — «не все люди — люди».
{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )... один робот отравляет стрелу, не зная, что в ней используется яд, и второй робот передает отравленную стрелу мальчику...
Но космический корабль, оснащенный собственным позитронным мозгом, с радостью атаковал бы любой корабль, на который ему было бы направлено нападение, как мне кажется. Он бы, естественно, предположил, что все остальные корабли беспилотные
хотя женщина выглядела так же, как и Дэниел, она была столь же нечеловеческой
Ты пытаешься сказать мне, Дэниел, что роботу больно, когда я делаю его работу? ... опыт, который испытывает робот, так же расстраивает его, как боль расстраивает человека.
