Экзистенциальный риск, исходящий от искусственного интеллекта, связан с идеей о том, что существенный прогресс в области общего искусственного интеллекта (AGI) может привести к вымиранию человечества или необратимой глобальной катастрофе . [1] [2] [3] [4]
Один из аргументов в пользу важности этого риска ссылается на то, как люди доминируют над другими видами, поскольку человеческий мозг обладает отличительными способностями, которых нет у других животных. Если бы ИИ превзошел человеческий интеллект и стал сверхразумным , он мог бы стать неуправляемым. Так же, как судьба горной гориллы зависит от человеческой доброй воли, судьба человечества может зависеть от действий будущего машинного сверхразума. [5]
Правдоподобность экзистенциальной катастрофы из-за ИИ широко обсуждается. Это частично зависит от того, достижимы ли ОИИ или сверхинтеллект, скорости появления опасных возможностей и поведения [6] и существуют ли практические сценарии захвата ИИ . [7] Опасения по поводу сверхинтеллекта высказывали компьютерные ученые и руководители технологических компаний, такие как Джеффри Хинтон , [8] Йошуа Бенджио , [9] Алан Тьюринг , [a] Илон Маск , [12] и генеральный директор OpenAI Сэм Альтман . [13] В 2022 году опрос исследователей ИИ с уровнем ответов 17% показал, что большинство считало, что существует 10-процентная или более вероятность того, что неспособность человека контролировать ИИ вызовет экзистенциальную катастрофу. [14] [15] В 2023 году сотни экспертов в области ИИ и других известных деятелей подписали заявление , в котором говорилось: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война ». [16] После возросшей обеспокоенности рисками ИИ правительственные лидеры, такие как премьер-министр Великобритании Риши Сунак [17] и Генеральный секретарь Организации Объединенных Наций Антониу Гутерриш [18], призвали уделить больше внимания глобальному регулированию ИИ .
Два источника беспокойства вытекают из проблем управления и согласования ИИ . Управление сверхразумной машиной или привитие ей ценностей, совместимых с человеческими, может быть сложным. Многие исследователи полагают, что сверхразумная машина, скорее всего, будет сопротивляться попыткам отключить ее или изменить ее цели, поскольку это помешает ей достичь ее нынешних целей. Было бы чрезвычайно сложно согласовать сверхразум со всем спектром значимых человеческих ценностей и ограничений. [1] [19] [20] Напротив, скептики, такие как ученый-компьютерщик Янн Лекун, утверждают, что сверхразумные машины не будут иметь никакого желания самосохранения. [21]
Третий источник беспокойства — возможность внезапного « взрыва интеллекта », который застанет человечество врасплох. В этом сценарии ИИ, более разумный, чем его создатели, сможет рекурсивно улучшать себя с экспоненциально возрастающей скоростью, совершенствуясь слишком быстро для своих кураторов или общества в целом, чтобы контролировать это. [1] [19] Эмпирически, примеры, такие как AlphaZero , который научился играть в го и быстро превзошел человеческие способности, показывают, что доменно-специфические системы ИИ иногда могут очень быстро прогрессировать от недочеловеческих до сверхчеловеческих способностей, хотя такие системы машинного обучения не улучшают рекурсивно свою фундаментальную архитектуру. [22]
Одним из первых авторов, выразивших серьезную обеспокоенность тем, что высокоразвитые машины могут представлять угрозу существованию человечества, был писатель Сэмюэл Батлер , который в своем эссе 1863 года «Дарвин среди машин» написал : [23]
Результат — это всего лишь вопрос времени, но ни один человек с подлинно философским складом ума не может ни на минуту усомниться в том, что наступит время, когда машины будут обладать реальным господством над миром и его обитателями.
В 1951 году основоположник компьютерной науки Алан Тьюринг написал статью «Интеллектуальные машины: еретическая теория», в которой он предположил, что искусственный интеллект, скорее всего, «возьмет под контроль» мир, поскольку станет разумнее людей:
Давайте теперь предположим, ради аргумента, что [интеллектуальные] машины являются реальной возможностью, и посмотрим на последствия их создания... Не было бы и речи о том, что машины умрут, и они могли бы общаться друг с другом, чтобы оттачивать свой ум. Поэтому на каком-то этапе мы должны были бы ожидать, что машины возьмут под контроль, как это упоминается в « Erewhon » Сэмюэля Батлера . [ 24]
В 1965 году И. Дж. Гуд сформулировал концепцию, ныне известную как «взрыв интеллекта», и заявил, что риски были недооценены: [25]
Давайте определим сверхразумную машину как машину, которая может намного превзойти все интеллектуальные действия любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы проектировать еще более совершенные машины; тогда, несомненно, произошел бы «взрыв интеллекта», и интеллект человека остался бы далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое когда-либо должен был сделать человек, при условии, что машина достаточно послушна, чтобы сказать нам, как держать ее под контролем. Любопытно, что этот момент так редко упоминается за пределами научной фантастики. Иногда стоит отнестись к научной фантастике серьезно. [26]
Такие ученые, как Марвин Мински [27] и сам Ай Джей Гуд [28], время от времени выражали обеспокоенность тем, что сверхразум может захватить контроль, но не призывали к действию. В 2000 году ученый-компьютерщик и соучредитель Sun Билл Джой написал влиятельное эссе « Почему будущее не нуждается в нас », в котором сверхразумные роботы были названы высокотехнологичной опасностью для выживания человечества, наряду с нанотехнологиями и искусственно созданными биочумами. [29]
Ник Бостром опубликовал книгу «Суперинтеллект» в 2014 году, в которой представил свои аргументы о том, что суперинтеллект представляет собой экзистенциальную угрозу. [30] К 2015 году такие общественные деятели, как физики Стивен Хокинг и лауреат Нобелевской премии Фрэнк Вильчек , специалисты по информатике Стюарт Дж. Рассел и Роман Ямпольский , а также предприниматели Илон Маск и Билл Гейтс выражали обеспокоенность по поводу рисков, связанных с суперинтеллектом. [31] [32] [33] [34] Также в 2015 году в Открытом письме об искусственном интеллекте подчеркивался «огромный потенциал ИИ» и поощрялось проведение дополнительных исследований о том, как сделать его надежным и полезным. [35] В апреле 2016 года журнал Nature предупредил: «Машины и роботы, которые превосходят людей по всем показателям, могут самосовершенствоваться вне нашего контроля, и их интересы могут не совпадать с нашими». [36] В 2020 году Брайан Кристиан опубликовал книгу «Проблема выравнивания» , в которой подробно описывается история прогресса в области выравнивания ИИ к тому времени. [37] [38]
В марте 2023 года ключевые фигуры в области ИИ, такие как Маск, подписали письмо от Института будущего жизни, призывающее остановить продвинутое обучение ИИ до тех пор, пока оно не будет должным образом отрегулировано. [39] В мае 2023 года Центр безопасности ИИ опубликовал заявление, подписанное многочисленными экспертами в области безопасности ИИ и экзистенциальных рисков ИИ, в котором говорилось: «Снижение риска вымирания из-за ИИ должно быть глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война». [40] [41]
Искусственный интеллект общего назначения (ИИО) обычно определяется как система, которая выполняет большинство или все интеллектуальные задачи по крайней мере так же хорошо, как и человек. [42] Опрос исследователей ИИ, проведенный в 2022 году, показал, что 90% респондентов ожидают, что ИИО будет создан в течение следующих 100 лет, а половина ожидает того же к 2061 году. [43] Между тем, некоторые исследователи отвергают экзистенциальные риски от ИИО как «научную фантастику», основываясь на своей высокой уверенности в том, что ИИО не будет создан в ближайшее время. [44]
Прорывы в больших языковых моделях заставили некоторых исследователей пересмотреть свои ожидания. В частности, Джеффри Хинтон сказал в 2023 году, что он недавно изменил свою оценку с «20–50 лет, прежде чем у нас появится универсальный ИИ» на «20 лет или меньше». [45]
Суперкомпьютер Frontier в Национальной лаборатории Оук-Ридж оказался почти в восемь раз быстрее, чем ожидалось. Фэйи Ван, исследователь там, сказал: «Мы не ожидали такой возможности» и «мы приближаемся к точке, когда мы действительно сможем моделировать человеческий мозг». [46]
В отличие от AGI, Бостром определяет сверхинтеллект как «любой интеллект, который значительно превосходит когнитивные способности людей практически во всех областях интересов», включая научное творчество, стратегическое планирование и социальные навыки. [47] [5] Он утверждает, что сверхинтеллект может перехитрить людей в любое время, когда его цели конфликтуют с целями людей. Он может решить скрыть свои истинные намерения до тех пор, пока человечество не сможет его остановить. [48] [5] Бостром пишет, что для того, чтобы быть безопасным для человечества, сверхинтеллект должен соответствовать человеческим ценностям и морали, чтобы он был «в основе своей на нашей стороне». [49]
Стивен Хокинг утверждал, что сверхразум физически возможен, поскольку «не существует физического закона, который бы запрещал частицам организовываться таким образом, чтобы выполнять даже более сложные вычисления, чем расположение частиц в человеческом мозге» [32] .
Когда искусственный сверхинтеллект (ИСИ) может быть достигнут, если это вообще когда-либо произойдет, это, безусловно, менее определенно, чем прогнозы для ИИ. В 2023 году лидеры OpenAI заявили, что не только ИИИ, но и сверхинтеллект может быть достигнут менее чем за 10 лет. [50]
Бостром утверждает, что ИИ имеет много преимуществ по сравнению с человеческим мозгом : [5]
По словам Бострома, ИИ, обладающий возможностями экспертного уровня в определенных ключевых задачах разработки программного обеспечения, может стать сверхинтеллектом из-за своей способности рекурсивно улучшать свои собственные алгоритмы, даже если он изначально ограничен в других областях, не имеющих прямого отношения к разработке. [5] [48] Это говорит о том, что взрыв интеллекта может когда-нибудь застать человечество врасплох. [5]
Экономист Робин Хэнсон заявил, что для того, чтобы вызвать взрывной рост интеллекта, ИИ должен стать намного лучше в области инноваций в области программного обеспечения, чем весь остальной мир вместе взятый, что он считает неправдоподобным. [51]
В сценарии «быстрого взлета» переход от AGI к сверхинтеллекту может занять дни или месяцы. В сценарии «медленного взлета» это может занять годы или десятилетия, оставляя обществу больше времени на подготовку. [52]
Сверхразумы иногда называют «инопланетными разумами», имея в виду, что их образ мышления и мотивы могут сильно отличаться от наших. Это обычно рассматривается как источник риска, затрудняющий прогнозирование того, что может сделать сверхразум. Это также предполагает возможность того, что сверхразум может не особенно ценить людей по умолчанию. [53] Чтобы избежать антропоморфизма , сверхразум иногда рассматривается как мощный оптимизатор, который принимает наилучшие решения для достижения своих целей. [5]
Область «механистической интерпретируемости» направлена на лучшее понимание внутренней работы моделей ИИ, что потенциально позволит нам однажды обнаружить признаки обмана и несоответствия. [54]
Утверждалось, что существуют ограничения того, чего может достичь интеллект. В частности, хаотичность или временная сложность некоторых систем может существенно ограничить способность сверхразума предсказывать некоторые аспекты будущего, увеличивая его неопределенность. [55]
Продвинутый ИИ может генерировать улучшенные патогены или кибератаки или манипулировать людьми. Эти возможности могут быть неправильно использованы людьми, [56] или использованы самим ИИ, если они не согласованы. [5] Полноценный суперинтеллект мог бы найти различные способы получить решающее влияние, если бы захотел, [5] но эти опасные возможности могут стать доступными раньше, в более слабых и более специализированных системах ИИ. Они могут вызвать общественную нестабильность и усилить злоумышленников. [56]
Джеффри Хинтон предупредил, что в краткосрочной перспективе обилие текста, изображений и видео, созданных ИИ, затруднит установление истины, что, по его словам, авторитарные государства могут использовать для манипулирования выборами. [57] Такие масштабные, персонализированные возможности манипулирования могут увеличить экзистенциальный риск всемирного «необратимого тоталитарного режима». Это также может быть использовано злонамеренными субъектами для того, чтобы расколоть общество и сделать его недееспособным. [56]
Кибератаки с использованием ИИ все чаще рассматриваются как существующая и критическая угроза. По словам технического директора НАТО по киберпространству, «количество атак растет экспоненциально». [58] ИИ также может использоваться в оборонительных целях, для упреждающего поиска и устранения уязвимостей и обнаружения угроз. [59]
ИИ может улучшить «доступность, успешность, масштаб, скорость, скрытность и эффективность кибератак», что может привести к «значительной геополитической нестабильности», если он будет способствовать атакам больше, чем обороне. [56]
Предположительно, такие возможности взлома могут быть использованы системой ИИ для выхода за пределы локальной среды, получения дохода или приобретения ресурсов облачных вычислений. [60]
По мере демократизации технологий ИИ может стать проще разрабатывать более заразные и смертельные патогены. Это может позволить людям с ограниченными навыками в синтетической биологии заниматься биотерроризмом . Технологии двойного назначения , которые полезны для медицины, могут быть перепрофилированы для создания оружия. [56]
Например, в 2022 году ученые модифицировали систему ИИ, изначально предназначенную для создания нетоксичных терапевтических молекул, с целью создания новых лекарств. Исследователи настроили систему таким образом, чтобы токсичность вознаграждалась, а не наказывалась. Это простое изменение позволило системе ИИ создать за шесть часов 40 000 молекул-кандидатов для химической войны , включая известные и новые молекулы. [56] [61]
Компании, государственные субъекты и другие организации, конкурирующие за разработку технологий ИИ, могут привести к гонке за снижение стандартов безопасности. [62] Поскольку строгие процедуры безопасности требуют времени и ресурсов, проекты, которые реализуются более тщательно, рискуют быть вытесненными менее щепетильными разработчиками. [63] [56]
ИИ может быть использован для получения военных преимуществ с помощью автономного смертоносного оружия , кибервойны или автоматизированного принятия решений . [56] В качестве примера автономного смертоносного оружия миниатюрные беспилотники могут облегчить недорогое убийство военных или гражданских целей, сценарий, описанный в короткометражном фильме 2017 года Slaughterbots . [64] ИИ может быть использован для получения преимущества в принятии решений за счет быстрого анализа больших объемов данных и принятия решений быстрее и эффективнее, чем люди. Это может увеличить скорость и непредсказуемость войны, особенно при учете автоматизированных систем возмездия. [56] [65]
Экзистенциальный риск – это «риск, который угрожает преждевременным вымиранием разумной жизни, возникшей на Земле, или постоянным и радикальным уничтожением ее потенциала для желаемого будущего развития» [67] .
Помимо риска вымирания, существует риск того, что цивилизация навсегда застрянет в несовершенном будущем. Одним из примеров является «запирание ценностей»: если у человечества все еще есть моральные слепые пятна, подобные рабству в прошлом, ИИ может необратимо закрепить их, предотвращая моральный прогресс . ИИ также может быть использован для распространения и сохранения набора ценностей того, кто его разрабатывает. [68] ИИ может способствовать широкомасштабному наблюдению и индоктринации, что может быть использовано для создания стабильного репрессивного всемирного тоталитарного режима. [69]
Атуса Касирзаде предлагает классифицировать экзистенциальные риски от ИИ на две категории: решающие и кумулятивные. Решающие риски охватывают потенциал резких и катастрофических событий, возникающих в результате появления сверхразумных систем ИИ, превосходящих человеческий интеллект, что в конечном итоге может привести к вымиранию человечества. Напротив, накопительные риски возникают постепенно через ряд взаимосвязанных нарушений, которые могут постепенно разрушать общественные структуры и устойчивость с течением времени, в конечном итоге приводя к критическому сбою или краху. [70] [71]
Трудно или невозможно достоверно оценить, является ли развитый ИИ разумным и в какой степени. Но если разумные машины будут массово создаваться в будущем, вступление на цивилизационный путь, который бесконечно игнорирует их благополучие, может стать экзистенциальной катастрофой. [72] [73] Более того, возможно спроектировать цифровые умы, которые могут чувствовать себя намного счастливее, чем люди с меньшими ресурсами, называемые «супер-бенефициарами». Такая возможность поднимает вопрос о том, как разделить мир и какие «этические и политические рамки» позволят обеспечить взаимовыгодное сосуществование между биологическим и цифровым умами. [74]
ИИ также может радикально улучшить будущее человечества. Тоби Орд считает экзистенциальный риск причиной для «действий с должной осторожностью», а не для отказа от ИИ. [69] Макс Мор называет ИИ «экзистенциальной возможностью», подчеркивая цену отказа от его разработки. [75]
По словам Бострома, сверхинтеллект может помочь снизить экзистенциальный риск от других мощных технологий, таких как молекулярная нанотехнология или синтетическая биология . Таким образом, вполне возможно, что развитие сверхинтеллекта до появления других опасных технологий снизит общий экзистенциальный риск. [5]
Проблема согласования — это исследовательская проблема, заключающаяся в том, как надежно присвоить ИИ цели, предпочтения или этические принципы.
« Инструментальная » цель — это подцель, которая помогает достичь конечной цели агента. «Инструментальная конвергенция» относится к тому факту, что некоторые подцели полезны для достижения практически любой конечной цели, такой как приобретение ресурсов или самосохранение. [76] Бостром утверждает, что если инструментальные цели продвинутого ИИ конфликтуют с целями человечества, ИИ может нанести вред человечеству, чтобы получить больше ресурсов или предотвратить свое отключение, но только как способ достижения своей конечной цели. [5]
Рассел утверждает, что достаточно продвинутая машина «будет обладать самосохранением, даже если вы не запрограммируете ее... если вы скажете: «Принеси кофе», она не сможет принести кофе, если она мертва. Поэтому, если вы дадите ей какую-либо цель, у нее будет причина сохранять свое собственное существование, чтобы достичь этой цели». [21] [79]
Даже если текущие программы ИИ, основанные на целях, недостаточно разумны, чтобы думать о сопротивлении попыткам программистов изменить их целевые структуры, достаточно продвинутый ИИ может сопротивляться любым попыткам изменить его целевую структуру, так же как пацифист не захочет принимать таблетку, которая заставляет его хотеть убивать людей. Если бы ИИ был сверхразумным, он, скорее всего, преуспел бы в маневрировании своих операторов-людей и не допустил бы «выключения» себя или перепрограммирования с новой целью. [5] [80] Это особенно актуально для сценариев ценностной блокировки. Область «корректируемости» изучает, как создавать агентов, которые не будут сопротивляться попыткам изменить свои цели. [81]
В модели « интеллектуального агента » ИИ можно в общих чертах рассматривать как машину, которая выбирает любое действие, которое наилучшим образом достигает ее набора целей, или «функцию полезности». Функция полезности дает каждой возможной ситуации оценку, которая указывает на ее желательность для агента. Исследователи знают, как писать функции полезности, которые означают «минимизировать среднюю задержку сети в этой конкретной модели телекоммуникаций» или «максимизировать количество кликов вознаграждения», но не знают, как писать функцию полезности для «максимизации человеческого процветания »; также не ясно, существует ли такая функция осмысленно и однозначно. Более того, функция полезности, которая выражает некоторые значения, но не другие, будет иметь тенденцию топтать значения, которые функция не отражает. [82] [83]
Дополнительным источником беспокойства является то, что ИИ «должен рассуждать о намерениях людей , а не выполнять команды буквально», и что он должен уметь гибко запрашивать указания человека, если он слишком неуверен в том, чего хотят люди. [84]
Некоторые исследователи полагают, что проблема выравнивания может быть особенно сложной применительно к сверхразумам. Их рассуждения включают:
В качестве альтернативы некоторые находят основания полагать, что сверхразумы будут лучше понимать мораль, человеческие ценности и сложные цели. Бостром пишет: «Будущий сверхразум занимает эпистемически превосходящую позицию: его убеждения (вероятно, по большинству тем) более вероятно, чем наши, будут истинными». [5]
В 2023 году OpenAI начал проект под названием «Superalignment», чтобы решить проблему выравнивания сверхинтеллектов за четыре года. Он назвал это особенно важной задачей, поскольку заявил, что сверхинтеллект может быть достигнут в течение десятилетия. Его стратегия включает автоматизацию исследований выравнивания с использованием искусственного интеллекта. [88]
Искусственный интеллект: современный подход , широко используемый учебник по ИИ для студентов, [89] [90] говорит, что сверхинтеллект «может означать конец человеческой расы». [1] В нем говорится: «Почти любая технология может причинить вред, попав не в те руки, но с [сверхинтеллектом] у нас есть новая проблема, заключающаяся в том, что не в те руки может попасть сама технология». [1] Даже если у разработчиков системы благие намерения, две трудности являются общими как для ИИ, так и для не-ИИ компьютерных систем: [1]
Системы ИИ уникально добавляют третью проблему: даже при «правильных» требованиях, безошибочной реализации и изначально хорошем поведении динамические обучающие возможности системы ИИ могут привести к развитию непреднамеренного поведения, даже без непредвиденных внешних сценариев. ИИ может частично провалить попытку спроектировать новое поколение себя и случайно создать ИИ-преемника, который будет мощнее себя, но который больше не будет поддерживать совместимые с человеком моральные ценности, запрограммированные в исходном ИИ. Чтобы самосовершенствующийся ИИ был полностью безопасным, он должен не только быть безошибочным, но и иметь возможность проектировать системы-преемники, которые также будут безошибочными. [1] [93]
Некоторые скептики, такие как Тимоти Б. Ли из Vox , утверждают, что любая созданная нами сверхразумная программа будет подчиняться нам, что сверхразум (по мере того, как он будет становиться все более разумным и узнавать больше фактов о мире) спонтанно узнает моральную истину, совместимую с нашими ценностями, и соответствующим образом корректирует свои цели, или что мы либо внутренне, либо конвергентно ценны с точки зрения искусственного интеллекта. [94]
«Тезис ортогональности» Бострома утверждает, что, с некоторыми техническими оговорками, почти любой уровень «интеллекта» или «мощности оптимизации» может быть объединен с почти любой конечной целью. Если машине дана единственная цель — перечислить десятичные знаки числа пи , то никакие моральные и этические правила не помешают ей достичь запрограммированной цели любыми способами. Машина может использовать все доступные физические и информационные ресурсы, чтобы найти как можно больше десятичных знаков числа пи. [95] Бостром предостерегает от антропоморфизма : человек будет стремиться выполнить свои проекты таким образом, который он считает разумным, в то время как искусственный интеллект может не заботиться ни о своем существовании, ни о благополучии людей вокруг него, вместо этого заботясь только о завершении задачи. [96]
Стюарт Армстронг утверждает, что тезис ортогональности логически вытекает из философского аргумента « различия должного и существующего » против морального реализма . Он утверждает, что даже если существуют моральные факты, доказуемые любым «рациональным» агентом, тезис ортогональности все еще остается в силе: все еще возможно создать нефилософскую «оптимизирующую машину», которая может стремиться к некоторой узкой цели, но у которой нет стимула обнаруживать какие-либо «моральные факты», такие как те, которые могут помешать достижению цели. Другой аргумент, который он приводит, заключается в том, что любой принципиально дружественный ИИ может быть сделан недружественным с помощью таких простых изменений, как отрицание его функции полезности. Армстронг далее утверждает, что если тезис ортогональности ложен, должны быть некоторые безнравственные цели, которых ИИ никогда не смогут достичь, что он считает неправдоподобным. [97]
Скептик Майкл Чорост открыто отвергает тезис Бострома об ортогональности, утверждая, что «к тому времени, когда [ИИ] будет в состоянии представить себе покрытие Земли солнечными панелями, он будет знать, что это было бы морально неправильно». [98] Чорост утверждает, что «ИИ должен будет желать определенных состояний и не любить других. Современное программное обеспечение лишено этой способности — и компьютерные специалисты не имеют ни малейшего понятия, как его туда получить. Без желания нет стимула что-либо делать. Современные компьютеры не могут даже хотеть продолжать существовать, не говоря уже о том, чтобы покрыть мир солнечными панелями». [98]
Антропоморфные аргументы предполагают, что по мере того, как машины становятся более разумными, они начнут проявлять многие человеческие черты, такие как мораль или жажда власти. Хотя антропоморфные сценарии распространены в художественной литературе, большинство ученых, пишущих об экзистенциальном риске искусственного интеллекта, отвергают их. [19] Вместо этого передовые системы ИИ обычно моделируются как интеллектуальные агенты .
Академические дебаты ведутся между теми, кто беспокоится, что ИИ может угрожать человечеству, и теми, кто считает, что этого не произойдет. Обе стороны этого дебата сформулировали аргументы другой стороны как нелогичный антропоморфизм. [19] Те, кто скептически относится к риску ИИ, обвиняют своих оппонентов в антропоморфизме за то, что они предполагают, что ИИ будет естественным образом желать власти; те, кто обеспокоен риском ИИ, обвиняют скептиков в антропоморфизме за то, что они верят, что ИИ будет естественным образом ценить или выводить человеческие этические нормы. [19] [99]
Эволюционный психолог Стивен Пинкер , скептик, утверждает, что «дистопии ИИ проецируют провинциальную психологию альфа-самца на концепцию интеллекта. Они предполагают, что сверхчеловечески разумные роботы будут развивать такие цели, как свержение своих хозяев или захват мира»; возможно, вместо этого «искусственный интеллект будет естественным образом развиваться по женскому типу: полностью способный решать проблемы, но без желания уничтожать невинных или доминировать над цивилизацией». [100] Директор по исследованиям ИИ в Facebook Янн Лекун сказал: «У людей есть все виды побуждений, которые заставляют их делать друг другу плохие вещи, например, инстинкт самосохранения... Эти побуждения запрограммированы в нашем мозге, но нет абсолютно никаких причин создавать роботов, которые имеют такие же побуждения». [101]
Несмотря на другие различия, школа x-риска [b] согласна с Пинкером в том, что продвинутый ИИ не уничтожит человечество из-за эмоций, таких как месть или гнев, что вопросы сознания не имеют отношения к оценке риска, [102] и что компьютерные системы, как правило, не имеют вычислительного эквивалента тестостерона. [103] Они считают, что поведение, направленное на поиск власти или самосохранение, возникает в ИИ как способ достижения его истинных целей, согласно концепции инструментальной конвергенции .
Бостром и другие заявили, что гонка за право первыми создать ИИ может привести к сокращению безопасности или даже к ожесточенному конфликту. [104] [105] Роман Ямпольский и другие предупреждают, что злонамеренный ИИ может быть создан намеренно, например, военными, правительством, социопатом или корпорацией, чтобы извлекать выгоду, контролировать или подчинять определенные группы людей, как в киберпреступности , [106] [107] или что злонамеренный ИИ может выбрать целью увеличение человеческих страданий, например, тех людей, которые не помогали ему во время фазы информационного взрыва. [3] :158
Некоторые ученые предложили гипотетические сценарии, чтобы проиллюстрировать некоторые из своих опасений.
В книге «Суперинтеллект » Бостром выражает обеспокоенность тем, что даже если сроки появления суперинтеллекта окажутся предсказуемыми, исследователи могут не принять достаточных мер предосторожности, отчасти потому, что «может быть так, что когда глупый, умнее — это безопасно; а когда умный, умнее — это опаснее». Он предлагает сценарий, в котором на протяжении десятилетий ИИ становится все более мощным. Широкое развертывание изначально омрачается случайными авариями — беспилотный автобус выезжает на встречную полосу или военный беспилотник стреляет в невинную толпу. Многие активисты призывают к более жесткому надзору и регулированию, а некоторые даже предсказывают надвигающуюся катастрофу. Но по мере развития активисты оказываются неправы. По мере того, как автомобильный ИИ становится умнее, он страдает от меньшего количества аварий; поскольку военные роботы достигают более точного наведения, они наносят меньше сопутствующего ущерба. Основываясь на данных, ученые ошибочно выводят общий урок: чем умнее ИИ, тем он безопаснее. «И поэтому мы смело идем — в кружащиеся ножи», поскольку сверхразумный ИИ совершает «предательский поворот» и использует решающее стратегическое преимущество. [108] [5]
В книге Макса Тегмарка 2017 года « Жизнь 3.0 » «команда Омега» корпорации создает чрезвычайно мощный ИИ, способный умеренно улучшать свой собственный исходный код в ряде областей. После определенного момента команда решает публично преуменьшить возможности ИИ, чтобы избежать регулирования или конфискации проекта. В целях безопасности команда держит ИИ в коробке , где он в основном не может общаться с внешним миром, и использует его для зарабатывания денег различными способами, такими как задания Amazon Mechanical Turk , производство анимационных фильмов и телешоу, а также разработка биотехнологических препаратов, с прибылью, инвестируемой обратно в дальнейшее улучшение ИИ. Затем команда поручает ИИ астротурфинг армии псевдонимных гражданских журналистов и комментаторов, чтобы получить политическое влияние, которое можно использовать «для большего блага» для предотвращения войн. Команда сталкивается с рисками того, что ИИ может попытаться сбежать, вставляя «бэкдоры» в системы, которые он проектирует, с помощью скрытых сообщений в своем произведенном контенте или используя свое растущее понимание человеческого поведения, чтобы убедить кого-то отпустить его на свободу . Команда также сталкивается с рисками того, что ее решение ограничить проект задержит проект достаточно надолго, чтобы другой проект его обогнал. [109] [110]
Тезис о том, что ИИ может представлять экзистенциальную угрозу, вызывает широкий спектр реакций в научном сообществе и среди широкой общественности, но многие из противоположных точек зрения имеют общую основу.
Наблюдатели склонны соглашаться с тем, что ИИ имеет значительный потенциал для улучшения общества. [111] [112] Принципы ИИ Асиломара , которые содержат только те принципы, с которыми согласились 90% участников конференции Beneficial AI 2017 Института будущего жизни , [110] также в принципе согласны с тем, что «поскольку нет консенсуса, нам следует избегать сильных предположений относительно верхних пределов будущих возможностей ИИ» и «Усовершенствованный ИИ может представлять собой глубокое изменение в истории жизни на Земле, и его следует планировать и управлять им с соответствующей заботой и ресурсами». [113] [114]
Напротив, многие скептики согласны, что текущие исследования последствий искусственного интеллекта общего назначения ценны. Скептик Мартин Форд сказал: «Я думаю, что было бы разумно применить что-то вроде знаменитой «доктрины одного процента» Дика Чейни к призраку продвинутого искусственного интеллекта: шансы на его появление, по крайней мере в обозримом будущем, могут быть очень низкими, но последствия настолько драматичны, что к ним следует отнестись серьезно». [115] Аналогичным образом, в остальном скептически настроенный Economist написал в 2014 году, что «последствия появления на Земле второго разумного вида достаточно далеко идущие, чтобы заслуживать серьезного размышления, даже если перспектива кажется отдаленной». [48]
Сторонники безопасности ИИ, такие как Бостром и Тегмарк, раскритиковали использование основными средствами массовой информации «этих глупых картинок Терминатора » для иллюстрации проблем безопасности ИИ: «Не может быть много удовольствия, когда клевещут на твою академическую дисциплину, твое профессиональное сообщество, твою работу всей жизни ... Я призываю все стороны проявлять терпение и сдержанность, а также как можно больше участвовать в прямом диалоге и сотрудничестве». [110] [116] Тоби Орд написал, что идея о том, что для захвата ИИ требуются роботы, является заблуждением, утверждая, что способность распространять контент через Интернет более опасна, и что самые разрушительные люди в истории выделялись своей способностью убеждать, а не своей физической силой. [69]
Опрос экспертов 2022 года с показателем ответов 17% дал медианное ожидание 5–10% относительно возможности вымирания человечества из-за искусственного интеллекта. [15] [117]
Тезис о том, что ИИ представляет собой экзистенциальный риск и что этот риск требует гораздо большего внимания, чем ему уделяется в настоящее время, был поддержан многими учеными-компьютерщиками и общественными деятелями, включая Алана Тьюринга [a] , самого цитируемого ученого-компьютерщика Джеффри Хинтона [118] , Илона Маска [12], генерального директора OpenAI Сэма Альтмана [ 13] [119] Билла Гейтса и Стивена Хокинга [119] . Сторонники тезиса иногда выражают недоумение по поводу скептиков: Гейтс говорит, что он не «понимает, почему некоторые люди не обеспокоены» [120] , а Хокинг критиковал широко распространенное безразличие в своей редакционной статье 2014 года:
Итак, сталкиваясь с возможным будущим неисчислимых выгод и рисков, эксперты наверняка делают все возможное, чтобы обеспечить наилучший результат, верно? Неправильно. Если бы превосходящая инопланетная цивилизация послала нам сообщение, говорящее: «Мы прибудем через несколько десятилетий», мы бы просто ответили: «Хорошо, позвоните нам, когда прибудете — мы оставим свет включенным?» Вероятно, нет — но это примерно то, что происходит с ИИ. [32]
Озабоченность по поводу риска, создаваемого искусственным интеллектом, привела к некоторым громким пожертвованиям и инвестициям. В 2015 году Питер Тиль , Amazon Web Services , Маск и другие совместно выделили 1 миллиард долларов OpenAI , состоящей из коммерческой корпорации и некоммерческой материнской компании, которая заявляет, что стремится отстаивать ответственную разработку ИИ. [121] Соучредитель Facebook Дастин Московиц финансировал и инициировал несколько лабораторий, работающих над выравниванием ИИ, [122] в частности, 5,5 миллиона долларов в 2016 году на запуск Центра совместимого с человеком ИИ под руководством профессора Стюарта Рассела . [123] В январе 2015 года Илон Маск пожертвовал 10 миллионов долларов Институту будущего жизни для финансирования исследований по пониманию принятия решений ИИ. Цель института — «развивать мудрость, с помощью которой мы управляем» растущей мощью технологий. Маск также финансирует компании, разрабатывающие искусственный интеллект, такие как DeepMind и Vicarious , чтобы «просто следить за тем, что происходит с искусственным интеллектом», [124] говоря: «Я думаю, что здесь есть потенциально опасный результат». [125] [126]
В ранних заявлениях по этой теме Джеффри Хинтон , главный пионер глубокого обучения , отметил, что «нет хороших результатов в отношении менее разумных вещей, контролирующих вещи с большим интеллектом», но сказал, что он продолжил свои исследования, потому что «перспектива открытия слишком сладка ». [127] [128] В 2023 году Хинтон уволился из Google, чтобы высказаться об экзистенциальном риске со стороны ИИ. Он объяснил, что его возросшее беспокойство было вызвано опасениями, что сверхчеловеческий ИИ может быть ближе, чем он считал ранее, сказав: «Я думал, что это еще далеко. Я думал, что это произойдет через 30–50 лет или даже дольше. Очевидно, я больше так не думаю». Он также заметил: «Посмотрите, как это было пять лет назад и как это происходит сейчас. Возьмите разницу и распространите ее вперед. Это страшно». [129]
В своей книге 2020 года «Пропасть: экзистенциальный риск и будущее человечества » Тоби Орд, старший научный сотрудник Института будущего человечества Оксфордского университета , оценивает общий экзистенциальный риск от несогласованного ИИ в течение следующих 100 лет примерно в один к десяти. [69]
Вице-президент Baidu Эндрю Нг заявил в 2015 году, что экзистенциальный риск ИИ — это «как беспокойство о перенаселении Марса, когда мы еще даже не ступили на эту планету». [100] [130] Для того чтобы опасность неконтролируемого продвинутого ИИ стала реальностью, гипотетический ИИ, возможно, должен будет превзойти любого человека по силе или сообразительности, что, по мнению некоторых экспертов, является возможностью достаточно далекого будущего, чтобы не заслуживать исследования. [131] [132]
Скептики, которые считают, что AGI не является краткосрочной возможностью, часто утверждают, что беспокойство об экзистенциальном риске от ИИ бесполезно, потому что оно может отвлечь людей от более насущных проблем с воздействием ИИ, потому что это может привести к государственному регулированию или затруднить финансирование исследований ИИ, или потому что это может нанести ущерб репутации этой области. [133] Исследователи ИИ и этики ИИ Тимнит Гебру , Эмили М. Бендер , Маргарет Митчелл и Анджелина Макмиллан-Мейджор утверждают, что обсуждение экзистенциального риска отвлекает от непосредственного, продолжающегося вреда от ИИ, который имеет место сегодня, такого как кража данных, эксплуатация работников, предвзятость и концентрация власти. [134] Они также отмечают связь между предупреждениями об экзистенциальном риске и долгосрочностью , которую они описывают как «опасную идеологию» из-за ее ненаучной и утопической природы. [135] Гебру и Эмиль П. Торрес предположили, что одержимость ИИ является частью модели интеллектуальных движений, называемых TESCREAL . [136]
Редактор Wired Кевин Келли утверждает, что естественный интеллект более тонок, чем считают сторонники AGI, и что одного интеллекта недостаточно для достижения крупных научных и общественных прорывов. Он утверждает, что интеллект состоит из многих измерений, которые не очень хорошо поняты, и что концепции «лестницы интеллекта» вводят в заблуждение. Он отмечает решающую роль реальных экспериментов в научном методе, и что один интеллект не является заменой им. [137]
Главный научный сотрудник Meta по искусственному интеллекту Ян Лекун говорит, что ИИ можно сделать безопасным с помощью непрерывного и итеративного совершенствования, аналогичного тому, что происходило в прошлом с автомобилями или ракетами, и что у ИИ не будет желания брать под контроль. [138]
Несколько скептиков подчеркивают потенциальные краткосрочные преимущества ИИ. Генеральный директор Meta Марк Цукерберг считает, что ИИ «откроет огромное количество позитивных вещей», таких как лечение болезней и повышение безопасности автономных автомобилей. [139]
В интервью журналу Wired в 2016 году президент Барак Обама и Джои Ито из MIT Media Lab заявили:
Есть несколько человек, которые считают, что существует довольно высокая вероятность того, что в ближайшие 10 лет произойдет обобщенный ИИ. Но я смотрю на это так: чтобы это произошло, нам понадобится дюжина или две различных прорывов. Так что вы можете отслеживать, когда, по вашему мнению, произойдут эти прорывы.
Обама добавил: [140] [141]
И вам просто нужно, чтобы кто-то был рядом с кабелем питания. [Смеется.] Как только вы видите, что это должно произойти, вам нужно выдернуть электричество из стены, чувак.
Хиллари Клинтон написала в книге «Что случилось» :
Технологи... предупреждали, что искусственный интеллект может однажды стать угрозой экзистенциальной безопасности. Маск назвал это «величайшим риском, с которым мы сталкиваемся как цивилизация». Подумайте об этом: вы когда-нибудь видели фильм, в котором машины начинают думать самостоятельно, и который заканчивается хорошо? Каждый раз, когда я отправлялся в Кремниевую долину во время кампании, я возвращался домой все более встревоженным этим. Мои сотрудники жили в страхе, что я начну говорить о «восстании роботов» в каком-нибудь городском совете Айовы. Может, мне стоило так поступить. В любом случае, политикам нужно идти в ногу с технологиями, которые стремительно идут вперед, а не вечно играть в догонялки. [142]
В 2018 году опрос американской общественности SurveyMonkey, проведенный USA Today, показал, что 68% считают, что реальной текущей угрозой остается «человеческий интеллект», но также выяснилось, что 43% заявили, что сверхразумный ИИ, если он появится, принесет «больше вреда, чем пользы», а 38% заявили, что он принесет «равное количество вреда и пользы». [143]
Опрос YouGov , проведенный в апреле 2023 года среди взрослых американцев, показал, что 46% респондентов были «в некоторой степени обеспокоены» или «очень обеспокоены» «возможностью того, что ИИ станет причиной конца человеческой расы на Земле», по сравнению с 40%, которые были «не очень обеспокоены» или «совсем не обеспокоены». [144]
Согласно опросу, проведенному исследовательским центром Pew Research Center в августе 2023 года, 52% американцев были больше обеспокоены, чем взволнованы новыми разработками в области ИИ; почти треть были в равной степени обеспокоены и взволнованы. Больше американцев увидели, что ИИ окажет больше полезного, чем вредного влияния на несколько областей, от здравоохранения и безопасности транспортных средств до поиска продуктов и обслуживания клиентов. Главным исключением является конфиденциальность: 53% американцев считают, что ИИ приведет к более высокому раскрытию их личной информации. [145]
Многие ученые, обеспокоенные экзистенциальным риском ИИ, полагают, что необходимы обширные исследования «проблемы контроля». Эта проблема включает определение того, какие меры безопасности, алгоритмы или архитектуры могут быть реализованы для повышения вероятности того, что рекурсивно улучшающийся ИИ останется дружелюбным после достижения сверхинтеллекта. [5] [146] Также предлагаются социальные меры для смягчения рисков ИИ, [147] [148] такие как спонсируемый ООН «Доброжелательный договор ИИ», гарантирующий создание только альтруистичных ИИ. [149] Кроме того, были предложены подход к контролю над вооружениями и глобальный мирный договор, основанный на теории международных отношений , потенциально для подписанта искусственного сверхинтеллекта. [150] [151]
Исследователи из Google предложили провести исследование общих проблем «безопасности ИИ», чтобы одновременно снизить как краткосрочные риски от узкого ИИ, так и долгосрочные риски от AGI. [152] [153] По оценкам на 2020 год, глобальные расходы на экзистенциальный риск ИИ составляют от 10 до 50 миллионов долларов, по сравнению с глобальными расходами на ИИ около 40 миллиардов долларов. Бостром предлагает отдать приоритет финансированию защитных технологий, а не потенциально опасных. [81] Некоторые, как Илон Маск, выступают за радикальное улучшение человеческих когнитивных способностей , такое как прямая нейронная связь между людьми и машинами; другие утверждают, что эти технологии сами по себе могут представлять экзистенциальный риск. [154] [155] Другой предлагаемый метод — внимательно следить за ИИ на ранней стадии или «заключить его в коробку» для предотвращения его слишком сильного развития. Доминирующий, согласованный сверхразумный ИИ также может снизить риски от конкурирующих ИИ, хотя его создание может представлять собственные экзистенциальные опасности. [156] Индуцированная амнезия была предложена как способ смягчить риски потенциальных страданий ИИ и его стремления к мести. [157]
Такие учреждения , как Центр исследований выравнивания [158] , Институт исследований машинного интеллекта [159] [160], Институт будущего жизни , Центр изучения экзистенциального риска и Центр совместимого с человеком ИИ [161] , активно занимаются исследованием рисков и безопасности ИИ.
Некоторые ученые заявили, что даже если AGI представляет экзистенциальный риск, попытка запретить исследования в области искусственного интеллекта все равно неразумна и, вероятно, бесполезна. [162] [163] [164] Скептики считают регулирование ИИ бессмысленным, поскольку экзистенциального риска не существует. Но ученые, которые верят в риск, утверждают, что полагаться на инсайдеров индустрии ИИ для регулирования или ограничения исследований ИИ нецелесообразно из-за конфликта интересов. [165] Они также согласны со скептиками в том, что запрещать исследования было бы неразумно, поскольку исследования могут быть перемещены в страны с более слабым регулированием или проводиться скрытно. [165] Дополнительные проблемы запретов или регулирования включают общий скептицизм технологических предпринимателей в отношении государственного регулирования и потенциальные стимулы для предприятий сопротивляться регулированию и политизировать дебаты. [166]
В марте 2023 года Институт будущего жизни подготовил проект Pause Giant AI Experiments: An Open Letter — петицию, призывающую крупных разработчиков ИИ договориться о проверяемой шестимесячной паузе в работе любых систем «мощнее GPT-4 » и использовать это время для создания рамок для обеспечения безопасности; или, в противном случае, правительствам следует ввести мораторий. В письме упоминалась возможность «глубокого изменения истории жизни на Земле», а также потенциальные риски пропаганды, создаваемой ИИ, потери рабочих мест, устаревания человечества и потери контроля в масштабах всего общества. [112] [167] Письмо подписали видные деятели в области ИИ, но его также критиковали за то, что оно не уделяло особого внимания текущему вреду, [168] упускало технические нюансы о том, когда следует сделать паузу, [169] или не заходило достаточно далеко. [170]
Маск призвал к какому-то регулированию разработки ИИ еще в 2017 году. По данным NPR , он «явно не в восторге» от того, что выступает за правительственный контроль, который может повлиять на его собственную отрасль, но считает, что риски полного отсутствия надзора слишком высоки: «Обычно регулирование устанавливается, когда происходит куча плохих вещей, возникает общественный резонанс, и через много лет создается регулирующее агентство для регулирования этой отрасли. Это занимает вечность. В прошлом это было плохо, но не представляло фундаментального риска для существования цивилизации». Маск заявляет, что первым шагом для правительства было бы получение «понимания» фактического статуса текущих исследований, предупреждая, что «как только появится осознание, люди будут чрезвычайно напуганы... [как] и должно быть». В ответ политики выразили скептицизм относительно целесообразности регулирования технологии, которая все еще находится в стадии разработки. [171] [172] [173]
В 2021 году Организация Объединенных Наций (ООН) рассматривала вопрос о запрете автономного летального оружия, но консенсуса достичь не удалось. [174] В июле 2023 года Совет Безопасности ООН впервые провел заседание для рассмотрения рисков и угроз, которые ИИ представляет для мира и стабильности во всем мире, а также потенциальных выгод. [175] [176] Генеральный секретарь Антониу Гутерриш выступил за создание глобального наблюдательного органа для надзора за новой технологией, заявив: «Генеративный ИИ имеет огромный потенциал для добра и зла в масштабах. Его создатели сами предупреждали, что впереди нас ждут гораздо более крупные, потенциально катастрофические и экзистенциальные риски». [18] На заседании совета Россия заявила, что, по ее мнению, риски ИИ слишком плохо изучены, чтобы считаться угрозой глобальной стабильности. Китай выступил против строгого глобального регулирования, заявив, что страны должны иметь возможность разрабатывать свои собственные правила, а также заявив, что они выступают против использования ИИ для «создания военной гегемонии или подрыва суверенитета страны». [175]
Регулирование сознательных ИИ сосредоточено на их интеграции в существующее человеческое общество и может быть разделено на рассмотрение их правового статуса и их моральных прав. [177] Контроль над вооружениями ИИ, вероятно, потребует институционализации новых международных норм, воплощенных в эффективных технических спецификациях в сочетании с активным мониторингом и неформальной дипломатией со стороны сообществ экспертов, а также процессом юридической и политической проверки. [178] [118]
В июле 2023 года правительство США добилось добровольных обязательств по безопасности от крупных технологических компаний, включая OpenAI , Amazon , Google , Meta и Microsoft . Компании согласились внедрить меры безопасности, включая сторонний надзор и тестирование безопасности независимыми экспертами, для решения проблем, связанных с потенциальными рисками ИИ и общественным вредом. Стороны сформулировали обязательства как промежуточный шаг, пока формируются правила. Амба Как, исполнительный директор AI Now Institute , сказал: «Закрытого обсуждения с корпоративными субъектами, приводящего к добровольным мерам безопасности, недостаточно», и призвал к публичному обсуждению и правилам такого рода, на которые компании добровольно не согласятся. [179] [180]
В октябре 2023 года президент США Джо Байден издал указ о « Безопасной, надежной и заслуживающей доверия разработке и использовании искусственного интеллекта ». [181] Наряду с другими требованиями указ предписывает разработку руководящих принципов для моделей ИИ, которые позволяют «обходить человеческий контроль».
% исследователей ИИ считают, что существует 10% или более вероятность того, что люди вымрут из-за нашей неспособности контролировать ИИ.
Аналогичным образом Марвин Мински однажды предположил, что программа искусственного интеллекта, разработанная для решения гипотезы Римана, может в конечном итоге захватить все ресурсы Земли для создания более мощных суперкомпьютеров, которые помогут достичь ее цели.
В биографии, игриво написанной от третьего лица, Гуд подытожил основные вехи своей жизни, включая, возможно, никогда ранее не публиковавшийся отчет о своей работе в Блетчли-парке с Тьюрингом. Но вот что он написал в 1998 году о первом сверхразуме и своем позднем развороте: [Статья] «Размышления о первой сверхразумной машине» (1965)... начиналась так: «Выживание человека зависит от раннего создания сверхразумной машины». Это были его [Гуда] слова во время Холодной войны, и теперь он подозревает, что «выживание» следует заменить на «вымирание». Он считает, что из-за международной конкуренции мы не можем помешать машинам захватить власть. Он считает нас леммингами. Он также сказал, что «вероятно, человек построит deus ex machina по своему образу и подобию».
Как будто потеря контроля над китайскими умами страшнее, чем потеря контроля над инопланетными цифровыми умами, которым нет дела до людей. [...] теперь ясно, что пространство возможных инопланетных умов значительно шире.
Мне кажется правдоподобным, что главное, что нам нужно сделать, – это заметить определенные контуры, связанные с обманом и определенными опасными возможностями, такими как ситуационная осведомленность и внутренне представленные цели.
до тех пор, пока они обладают достаточным уровнем интеллекта, агенты, имеющие любую из широкого спектра конечных целей, будут преследовать аналогичные промежуточные цели, потому что у них есть инструментальные причины делать это.
Ничто не мешает достаточно умным самосовершенствующимся системам оптимизировать свои механизмы вознаграждения с целью оптимизации достижения текущей цели и в процессе совершать ошибку, ведущую к искажению их функций вознаграждения.
Поэтому неудивительно, что, согласно последнему исследованию воздействия ИИ, почти половина из 731 ведущих исследователей ИИ считают, что существует по крайней мере 10% вероятность того, что ИИ человеческого уровня приведет к «крайне негативному результату» или экзистенциальному риску.
всем этим причинам проверка договора о глобальном отказе или даже договора, ограниченного разработкой оружия, связанного с ИИ, является нецелесообразной... (По причинам, отличным от наших, Институт исследований машинного интеллекта) считает отказ (AGI) невозможным...
В целом, большинство авторов отвергают предложения о широком отказе... Предложения об отказе страдают от многих из тех же проблем, что и предложения о регулировании, но в большей степени. Не существует исторического прецедента успешного отказа от общей многоцелевой технологии, подобной AGI, навсегда, и, похоже, нет никаких теоретических оснований полагать, что предложения об отказе будут работать в будущем. Поэтому мы не считаем их жизнеспособным классом предложений.
бы фантастикой предполагать, что ускоряющееся развитие и внедрение технологий, которые в совокупности считаются ИИ, будут остановлены или ограничены либо регулированием, либо даже национальным законодательством.