Экзистенциальный риск, связанный с общим искусственным интеллектом , заключается в идее о том, что значительный прогресс в области общего искусственного интеллекта (AGI) может привести к вымиранию человечества или необратимой глобальной катастрофе . [1] [2] [3]
Один из аргументов звучит следующим образом: люди доминируют над другими видами, потому что человеческий мозг обладает отличительными способностями, которых нет у других животных. Если бы ИИ превзошел человечество по общему интеллекту и стал сверхразумным , тогда им стало бы трудно или невозможно управлять. Подобно тому, как судьба горной гориллы зависит от доброй воли человека, так и судьба человечества может зависеть от действий будущего машинного сверхразума. [4]
Вероятность экзистенциальной катастрофы из-за ИИ широко обсуждается и частично зависит от того, достижимы ли ИИ или сверхинтеллект, скорость, с которой появляются опасные способности и поведение [5] , и существуют ли практические сценарии поглощения ИИ . [6] Обеспокоенность по поводу сверхинтеллекта высказывали ведущие ученые-компьютерщики и руководители технологических компаний, такие как Джеффри Хинтон , [7] Йошуа Бенджио , [8] Алан Тьюринг , [a] Илон Маск , [11] и генеральный директор OpenAI Сэм Альтман . [12] В 2022 году опрос исследователей ИИ, на который ответили 17%, показал, что большинство респондентов считают, что существует 10-процентная или более вероятность того, что наша неспособность контролировать ИИ приведет к экзистенциальной катастрофе. [13] [14] В 2023 году сотни экспертов по ИИ и другие известные деятели подписали заявление о том, что «Снижение риска исчезновения ИИ должно стать глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война ». [15] После растущей обеспокоенности по поводу рисков, связанных с ИИ, такие лидеры правительства, как премьер-министр Великобритании Риши Сунак [16] и Генеральный секретарь ООН Антониу Гутерреш [17], призвали уделять больше внимания глобальному регулированию ИИ .
Два источника беспокойства связаны с проблемами управления и согласования ИИ : управлять сверхразумной машиной или привить ей ценности, совместимые с человеком, может быть сложно. Многие исследователи полагают, что сверхразумная машина будет сопротивляться попыткам вывести ее из строя или изменить свои цели, поскольку это помешает ей достичь своих нынешних целей. Было бы чрезвычайно сложно привести сверхинтеллект в соответствие со всей широтой значимых человеческих ценностей и ограничений. [1] [18] [19] Напротив, скептики, такие как ученый-компьютерщик Ян ЛеКун, утверждают, что сверхразумные машины не будут иметь стремления к самосохранению. [20]
Третий источник беспокойства заключается в том, что внезапный « взрыв интеллекта » может застать врасплох неподготовленное человечество. Такие сценарии учитывают возможность того, что ИИ, который более интеллектуален, чем его создатели, сможет рекурсивно совершенствоваться с экспоненциально возрастающей скоростью, улучшаясь слишком быстро, чтобы его кураторы и общество в целом могли его контролировать. [1] [18] Эмпирически такие примеры, как AlphaZero , обучающаяся игре в Го , показывают, что специализированные системы ИИ иногда могут очень быстро переходить от нечеловеческих способностей к сверхчеловеческим, хотя такие системы не предполагают изменения своей фундаментальной архитектуры. [21]
Одним из первых авторов, выразивших серьезную обеспокоенность тем, что высокоразвитые машины могут представлять экзистенциальную угрозу человечеству, был писатель Сэмюэл Батлер , который в своем эссе 1863 года «Дарвин среди машин» написал : [22]
Результат — это просто вопрос времени, но то, что наступит время, когда машины будут обладать реальным господством над миром и его обитателями, — это то, в чем ни на мгновение не может усомниться ни один человек с истинно философским умом.
В 1951 году основополагающий ученый-компьютерщик Алан Тьюринг написал статью «Интеллектуальные машины, еретическая теория», в которой предположил, что общий искусственный интеллект, вероятно, «возьмет под контроль» мир, когда они станут более разумными, чем люди:
Давайте теперь, ради аргументации, предположим, что [разумные] машины реальны, и посмотрим на последствия их создания... Не было бы и речи о смерти машин, и они могли бы общаться с друг друга, чтобы отточить свой ум. Поэтому на каком-то этапе нам следует ожидать, что машины возьмут на себя управление, как это упоминается в « Эревоне » Сэмюэля Батлера . [23]
В 1965 году И. Дж. Гуд разработал концепцию, ныне известную как «интеллектуальный взрыв», и заявил, что риски недооцениваются: [24]
Пусть сверхразумная машина будет определена как машина, которая может намного превзойти всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы создавать машины еще лучше; тогда, несомненно, произойдет «интеллектуальный взрыв», и человеческий интеллект останется далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое человек когда-либо сможет сделать, при условии, что машина будет достаточно послушной, чтобы рассказать нам, как держать ее под контролем. Любопытно, что этот момент так редко упоминается за пределами научной фантастики. Иногда стоит серьезно отнестись к научной фантастике. [25]
Такие ученые, как Марвин Мински [26] и сам И. Дж. Гуд [27], время от времени выражали обеспокоенность тем, что сверхинтеллект может захватить контроль, но не призывали к действию. В 2000 году ученый-компьютерщик и соучредитель Sun Билл Джой написал влиятельное эссе « Почему мы не нужны будущему », в котором сверхразумные роботы были названы высокотехнологичной угрозой для выживания человечества, наряду с нанотехнологиями и искусственными биочумами. [28]
Ник Бостром опубликовал книгу «Суперинтеллект» в 2014 году, в которой представил свои аргументы о том, что сверхинтеллект представляет собой экзистенциальную угрозу. [29] К 2015 году такие общественные деятели, как физики Стивен Хокинг и нобелевский лауреат Фрэнк Вильчек , ученые-компьютерщики Стюарт Дж. Рассел и Роман Ямпольский , а также предприниматели Илон Маск и Билл Гейтс , выражали обеспокоенность по поводу рисков сверхинтеллекта. [30] [31] [32] [33] Также в 2015 году « Открытое письмо по искусственному интеллекту » подчеркнуло «огромный потенциал ИИ» и призвало к проведению дополнительных исследований о том, как сделать его надежным и полезным. [34] В апреле 2016 года журнал Nature предупредил: «Машины и роботы, которые превосходят людей по всем направлениям, могут самосовершенствоваться вне нашего контроля – и их интересы могут не совпадать с нашими». [35] В 2020 году Брайан Кристиан опубликовал «Проблему выравнивания» , в которой подробно описана история прогресса в согласовании ИИ до того времени. [36] [37]
В марте 2023 года ключевые фигуры в области ИИ, такие как Маск, подписали письмо Института будущего жизни, призывающее прекратить углубленное обучение ИИ до тех пор, пока оно не будет должным образом регулироваться. [38] В мае 2023 года Центр безопасности ИИ опубликовал заявление, подписанное многочисленными экспертами в области безопасности ИИ и экзистенциального риска ИИ, в котором говорилось: «Снижение риска исчезновения ИИ должно быть глобальным приоритетом наряду с другими рисками социального масштаба, такими как как пандемии и ядерная война». [39] [40]
Общий искусственный интеллект (AGI) обычно определяется как система, которая выполняет большинство или все интеллектуальные задачи как минимум так же хорошо, как люди. [41] Опрос исследователей ИИ, проведенный в 2022 году, показал, что 90% респондентов ожидали, что ОИИ будет достигнут в ближайшие 100 лет, а половина ожидала того же к 2061 году. [42] Между тем, некоторые исследователи отвергают экзистенциальные риски, связанные с ОИИ, как «научную фантастику». «основываясь на их высокой уверенности в том, что AGI не будет создан в ближайшее время. [43]
Прорывы в разработке больших языковых моделей заставили некоторых исследователей переоценить свои ожидания. Примечательно, что в 2023 году Джеффри Хинтон заявил, что недавно изменил свою оценку с «20–50 лет, прежде чем у нас появится ИИ общего назначения» на «20 лет или меньше». [44]
В отличие от ОИИ, Бостром определяет сверхинтеллект как «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех областях интересов», включая научное творчество, стратегическое планирование и социальные навыки. [45] [4] Он утверждает, что сверхразум может перехитрить людей в любой момент, когда его цели противоречат человеческим. Он может решить скрыть свои истинные намерения до тех пор, пока человечество не сможет его остановить. [46] [4] Бостром пишет, что для того, чтобы быть безопасным для человечества, сверхразум должен соответствовать человеческим ценностям и морали, чтобы он «принципиально был на нашей стороне». [47]
Стивен Хокинг утверждал, что сверхинтеллект физически возможен, потому что «не существует физического закона, запрещающего частицам организовываться способами, позволяющими выполнять даже более сложные вычисления, чем расположение частиц в человеческом мозге». [31]
Вопрос о том, когда искусственный сверхинтеллект (ИСИ) может быть достигнут, если вообще когда-либо, обязательно менее определен, чем прогнозы относительно ОИИ. В 2023 году лидеры OpenAI заявили, что не только AGI, но и сверхинтеллект может быть достигнут менее чем за 10 лет. [48]
Бостром утверждает, что ИИ имеет множество преимуществ перед человеческим мозгом : [4]
По мнению Бострома, ИИ, обладающий экспертным потенциалом для решения определенных ключевых задач разработки программного обеспечения, может стать сверхразумом благодаря своей способности рекурсивно улучшать свои собственные алгоритмы, даже если он изначально ограничен в других областях, не имеющих прямого отношения к инженерии. [4] [46] Это говорит о том, что интеллектуальный взрыв может когда-нибудь застать человечество врасплох. [4]
Экономист Робин Хэнсон сказал, что для того, чтобы запустить интеллектуальный взрыв, ИИ должен стать намного лучше в инновациях в области программного обеспечения, чем весь остальной мир вместе взятый, что он считает неправдоподобным. [49]
В сценарии «быстрого взлета» переход от ОИИ к сверхразуму может занять дни или месяцы. При «медленном взлете» это может занять годы или десятилетия, оставляя обществу больше времени на подготовку. [50]
Сверхразумы иногда называют «инопланетными разумами», имея в виду идею о том, что их образ мышления и мотивация могут сильно отличаться от наших. Обычно это рассматривается как источник риска, из-за которого становится сложнее предвидеть, что может сделать сверхинтеллект. Это также предполагает возможность того, что сверхразум по умолчанию не особенно ценит людей. [51] Чтобы избежать антропоморфизма , сверхинтеллект иногда рассматривается как мощный оптимизатор, который принимает оптимальные решения для достижения своих целей. [4]
Область «механистической интерпретируемости» направлена на лучшее понимание внутренней работы моделей ИИ, что потенциально позволит нам однажды обнаружить признаки обмана и несогласованности. [52]
Утверждалось, что существуют ограничения на то, чего может достичь интеллект. Примечательно, что хаотичная природа или временная сложность некоторых систем может фундаментально ограничить способность сверхразума предсказывать некоторые аспекты будущего, увеличивая его неопределенность. [53]
Усовершенствованный ИИ может создавать усиленные патогены, проводить кибератаки или манипулировать людьми. Эти возможности могут быть неправильно использованы людьми [54] или самим ИИ, если они неправильно настроены. [4] Полноценный сверхинтеллект мог бы найти различные способы получить решающее влияние, если бы захотел, [4] но эти опасные возможности могут стать доступными раньше, в более слабых и более специализированных системах ИИ. Они могут вызвать социальную нестабильность и расширить возможности злоумышленников. [54]
Джеффри Хинтон предупредил, что в краткосрочной перспективе обилие текстов, изображений и видео, созданных ИИ, затруднит выяснение истины, которую, по его словам, авторитарные государства могут использовать для манипулирования выборами. [55] Такие крупномасштабные, персонализированные возможности манипулирования могут увеличить экзистенциальный риск мирового «необратимого тоталитарного режима». Его также могут использовать злоумышленники, чтобы расколоть общество и сделать его дисфункциональным. [54]
Кибератаки с использованием искусственного интеллекта все чаще считаются настоящей и критической угрозой. По словам технического директора НАТО по киберпространству, «количество атак растет в геометрической прогрессии». [56] ИИ также можно использовать в обороне, для превентивного поиска и устранения уязвимостей, а также обнаружения угроз. [57]
ИИ может улучшить «доступность, успешность, масштаб, скорость, скрытность и эффективность кибератак», что потенциально может вызвать «значительную геополитическую турбулентность», если он будет способствовать атакам больше, чем защите. [54]
Предположительно, такие возможности взлома могут быть использованы системой ИИ для выхода из локальной среды, получения дохода или приобретения ресурсов облачных вычислений. [58]
По мере демократизации технологии искусственного интеллекта, возможно, станет проще создавать более заразные и смертоносные патогены. Это может позволить людям с ограниченными навыками в области синтетической биологии участвовать в биотерроризме . Технологии двойного назначения , полезные для медицины, могут быть перепрофилированы для создания оружия. [54]
Например, в 2022 году ученые модифицировали систему искусственного интеллекта, изначально предназначенную для генерации нетоксичных терапевтических молекул с целью создания новых лекарств. Исследователи скорректировали систему таким образом, чтобы токсичность вознаграждалась, а не наказывалась. Это простое изменение позволило системе искусственного интеллекта за шесть часов создать 40 000 молекул-кандидатов для химического оружия , включая известные и новые молекулы. [54] [59]
Компании, государственные структуры и другие организации, конкурирующие за разработку технологий искусственного интеллекта, могут привести к снижению стандартов безопасности. [60] Поскольку строгие процедуры безопасности требуют времени и ресурсов, проекты, которые реализуются более тщательно, рискуют быть вытеснены менее добросовестными разработчиками. [61] [54]
ИИ может быть использован для получения военных преимуществ с помощью автономного летального оружия , кибервойны или автоматического принятия решений . [54] В качестве примера автономного летального оружия миниатюрные дроны могут способствовать недорогому уничтожению военных или гражданских целей. Этот сценарий подробно описан в короткометражном фильме 2017 года « Slaughterbots» . [62] ИИ можно использовать для получения преимущества в принятии решений за счет быстрого анализа больших объемов данных и принятия решений быстрее и эффективнее, чем люди. Это может повысить скорость и непредсказуемость войны, особенно с учетом автоматизированных систем возмездия. [54] [63]
Экзистенциальный риск - это «тот, который угрожает преждевременным исчезновением разумной жизни, зародившейся на Земле, или постоянным и радикальным разрушением ее потенциала для желаемого будущего развития». [65]
Помимо риска вымирания, существует риск того, что цивилизация навсегда окажется в ошибочном будущем. Одним из примеров является «привязка ценностей»: если у человечества все еще есть моральные слепые пятна, подобные рабству в прошлом, ИИ может необратимо укрепить их, препятствуя моральному прогрессу . ИИ также можно использовать для распространения и сохранения набора ценностей того, кто его разрабатывает. [66] ИИ мог бы способствовать широкомасштабному надзору и идеологической обработке, которые можно было бы использовать для создания стабильного репрессивного мирового тоталитарного режима. [67]
Трудно или невозможно достоверно оценить, разумен ли продвинутый ИИ и в какой степени. Но если в будущем разумные машины будут массово созданы, вступление на цивилизационный путь, который бесконечно игнорирует их благополучие, может стать экзистенциальной катастрофой. [68] [69] Более того, возможно создать цифровые умы, которые смогут чувствовать гораздо больше счастья, чем люди с меньшими ресурсами, называемые «супер-бенефициарами». Такая возможность поднимает вопрос о том, как разделить мир и какие «этические и политические рамки» сделают возможным взаимовыгодное сосуществование биологического и цифрового разума. [70]
ИИ также может радикально улучшить будущее человечества. Тоби Орд считает экзистенциальный риск причиной «действовать с должной осторожностью», а не отказываться от ИИ. [67] Макс Мор называет ИИ «экзистенциальной возможностью», подчеркивая цену отсутствия его разработки. [71]
По мнению Бострома, сверхинтеллект может помочь снизить экзистенциальный риск, исходящий от других мощных технологий, таких как молекулярная нанотехнология или синтетическая биология . Таким образом, вполне возможно, что развитие сверхразума раньше других опасных технологий снизит общий экзистенциальный риск. [4]
Проблема согласования — это исследовательская проблема того, как надежно назначить цели, предпочтения или этические принципы ИИ.
« Инструментальная » цель — это подцель, которая помогает достичь конечной цели агента. «Инструментальная конвергенция» относится к тому факту, что некоторые подцели полезны для достижения практически любой конечной цели, например, приобретения ресурсов или самосохранения. [72] Бостром утверждает, что если инструментальные цели продвинутого ИИ противоречат целям человечества, ИИ может нанести вред человечеству, чтобы получить больше ресурсов или предотвратить свое выключение, но только как способ достижения своей конечной цели. [4]
Рассел утверждает, что достаточно продвинутая машина «будет обладать самосохранением, даже если вы не запрограммируете ее… если вы скажете: «Принеси кофе», она не сможет принести кофе, если она мертва. Итак, если вы дадите Какова бы ни была цель, у нее есть причина сохранить свое существование для достижения этой цели». [20] [75]
Даже если нынешние программы ИИ, основанные на целях, недостаточно разумны, чтобы думать о сопротивлении попыткам программистов изменить их целевые структуры, достаточно продвинутый ИИ может сопротивляться любым попыткам изменить свою целевую структуру, точно так же, как пацифист не захочет принять таблетку, которая заставляет их хотеть убивать людей. Если бы ИИ был сверхразумным, ему, скорее всего, удалось бы перехитрить своих операторов-людей и предотвратить «выключение» или перепрограммирование себя для достижения новой цели. [4] [76] Это особенно актуально для сценариев фиксации стоимости. Область «исправимости» изучает, как создать агентов, которые не будут сопротивляться попыткам изменить свои цели. [77]
В модели « интеллектуального агента » ИИ можно условно рассматривать как машину, которая выбирает любое действие, которое наилучшим образом достигает поставленных целей или «функции полезности». Функция полезности дает каждой возможной ситуации оценку, указывающую на ее желательность для агента. Исследователи знают, как написать функции полезности, которые означают «минимизировать среднюю задержку сети в этой конкретной телекоммуникационной модели» или «максимизировать количество кликов с вознаграждением», но не знают, как написать функцию полезности для «максимизации человеческого процветания »; также неясно, существует ли такая функция осмысленно и однозначно. Более того, функция полезности, выражающая одни значения, но не выражающая другие, будет иметь тенденцию попирать значения, которые функция не отражает. [78] [79]
Дополнительным источником беспокойства является то, что ИИ «должен рассуждать о намерениях людей, а не буквально выполнять команды», и что он должен иметь возможность плавно запрашивать человеческое руководство, если он слишком неуверен в том, чего хотят люди. [80]
Некоторые исследователи полагают, что проблема согласования может оказаться особенно сложной, если применить ее к сверхразумам. Их аргументация включает в себя:
С другой стороны, некоторые находят основания полагать, что сверхразумы смогут лучше понимать мораль, человеческие ценности и сложные цели. Бостром пишет: «Будущий сверхразум занимает эпистемически более высокую точку зрения: его убеждения (вероятно, по большинству тем) с большей вероятностью будут истинными, чем наши». [4]
В 2023 году OpenAI запустила проект под названием «Супервыравнивание», призванный решить проблему согласования сверхинтеллектов за четыре года. В нем назвали это особенно важной задачей, поскольку заявили, что сверхразум может быть достигнут в течение десятилетия. Его стратегия предполагает автоматизацию исследований по согласованию с использованием искусственного интеллекта. [84]
В широко используемом учебнике по искусственному интеллекту для студентов « Искусственный интеллект: современный подход» [85] [86] говорится, что сверхинтеллект «может означать конец человечества». [1] В нем говорится: «Почти любая технология потенциально может причинить вред не в тех руках, но с [сверхинтеллектом] у нас возникает новая проблема: чужие руки могут принадлежать самой технологии». [1] Даже если у разработчиков системы благие намерения, две трудности являются общими как для компьютерных систем с искусственным интеллектом, так и для компьютерных систем без искусственного интеллекта: [1]
Системы ИИ однозначно добавляют третью проблему: даже при наличии «правильных» требований, безошибочной реализации и первоначального хорошего поведения возможности динамического обучения системы ИИ могут привести к развитию непреднамеренного поведения, даже без непредвиденных внешних сценариев. ИИ может частично провалить попытку создать новое поколение самого себя и случайно создать ИИ-преемника, который будет более мощным, чем он сам, но который больше не будет поддерживать совместимые с человеком моральные ценности, заранее запрограммированные в исходном ИИ. Чтобы самосовершенствующийся ИИ был полностью безопасным, он должен не только быть безошибочным, но и иметь возможность разрабатывать системы-преемники, которые также не будут содержать ошибок. [1] [89]
Некоторые скептики, такие как Тимоти Б. Ли из Vox , утверждают, что любая сверхразумная программа, которую мы создадим, будет подчиняться нам, что сверхинтеллект (по мере того, как он становится умнее и узнает больше фактов о мире) спонтанно узнает моральные истины, совместимые с нашими ценности и соответствующим образом корректировать свои цели, или что мы либо внутренне, либо конвергентно ценны с точки зрения искусственного интеллекта. [90]
Вместо этого «тезис ортогональности» Бострома утверждает, что с некоторыми техническими оговорками практически любой уровень «интеллекта» или «силы оптимизации» можно сочетать практически с любой конечной целью. Если единственной целью машины является подсчет десятичных знаков числа Пи , то никакие моральные и этические правила не помешают ей достичь запрограммированной цели любыми средствами. Машина может использовать все доступные физические и информационные ресурсы, чтобы найти как можно больше десятичных знаков числа Пи. [91] Бостром предостерегает от антропоморфизма : человек будет стремиться реализовать свои проекты так, как он считает разумным, в то время как искусственный интеллект может не обращать внимания ни на свое существование, ни на благополучие окружающих его людей, вместо этого заботясь только о завершении задание. [92]
Стюарт Армстронг утверждает, что тезис об ортогональности логически вытекает из философского аргумента « различие должно быть » против морального реализма . Он утверждает, что даже если существуют моральные факты, которые может доказать любой «рациональный» агент, тезис ортогональности все еще остается в силе: все еще возможно создать нефилософскую «оптимизирующую машину», которая может стремиться к какой-то узкой цели, но у которой нет стимула к достижению какой-либо узкой цели. обнаружить любые «моральные факты», например те, которые могут помешать достижению цели. Другой аргумент, который он выдвигает, заключается в том, что любой принципиально дружественный ИИ можно сделать недружественным с помощью таких простых модификаций, как отрицание его функции полезности. Армстронг далее утверждает, что если тезис об ортогональности ложен, то должны быть какие-то аморальные цели, которых ИИ никогда не сможет достичь, и которые он считает неправдоподобными. [93]
Скептик Майкл Чорост открыто отвергает тезис Бострома об ортогональности, утверждая, что «к тому времени, когда [ИИ] сможет представить себе покрытие Земли солнечными панелями, он поймет, что это было бы морально неправильно». [94] Хорост утверждает, что «ИИ должен будет желать одних состояний и не любить другие. Сегодняшнему программному обеспечению не хватает такой способности, и учёные-компьютерщики понятия не имеют, как этого добиться. Без желания нет стимула что-либо делать. Сегодняшние компьютеры не могу даже хотеть продолжать существовать, не говоря уже о том, чтобы облицовать мир солнечными батареями». [94]
Антропоморфные аргументы предполагают, что по мере того, как машины станут более разумными, они начнут проявлять многие человеческие черты, такие как мораль или жажда власти. Хотя антропоморфные сценарии распространены в художественной литературе, большинство ученых, пишущих о экзистенциальном риске искусственного интеллекта, отвергают их. [18] Вместо этого передовые системы искусственного интеллекта обычно моделируются как интеллектуальные агенты .
Научные дебаты ведутся между теми, кто обеспокоен тем, что ИИ может уничтожить человечество, и теми, кто считает, что ИИ не уничтожит человечество. Обе стороны заявили, что предсказания других о поведении ИИ являются нелогичным антропоморфизмом. [18] Скептики обвиняют сторонников антропоморфизма в том, что они верят, что ОИИ естественным образом стремится к власти; Сторонники обвиняют некоторых скептиков антропоморфизма в том, что они верят, что ОИИ естественным образом будет ценить человеческие этические нормы. [18] [95]
Эволюционный психолог Стивен Пинкер , скептик, утверждает, что «антиутопии искусственного интеллекта проецируют ограниченную психологию альфа-самца на концепцию интеллекта. Они предполагают, что роботы со сверхчеловеческим интеллектом будут преследовать такие цели, как свержение своих хозяев или захват мира»; возможно, вместо этого «искусственный интеллект естественным образом будет развиваться по женскому типу: полностью способный решать проблемы, но без желания уничтожать невинных или доминировать над цивилизацией». [96] Директор Facebook по исследованиям искусственного интеллекта Янн ЛеКун сказал: «У людей есть самые разные побуждения, которые заставляют их делать друг другу плохие вещи, например, инстинкт самосохранения... Эти побуждения запрограммированы в нашем мозгу, но есть это абсолютно не повод для создания роботов с такими же приводами». [97]
Несмотря на другие различия, школа x-риска [b] согласна с Пинкером в том, что продвинутый ИИ не уничтожит человечество из-за эмоций, таких как месть или гнев, что вопросы сознания не имеют отношения к оценке риска, [98] и что компьютер системы обычно не имеют вычислительного эквивалента тестостерона. [99] Они считают, что стремление к власти или поведение самосохранения возникают в ИИ как способ достижения его истинных целей, согласно концепции инструментальной конвергенции .
Бостром и другие говорят, что гонка за создание первого искусственного интеллекта может привести к снижению безопасности или даже к насильственному конфликту. [100] [101] Роман Ямпольский и другие предупреждают, что злонамеренный ОИИ может быть создан намеренно, например, военными, правительством, социопатом или корпорацией, чтобы извлекать выгоду, контролировать или подчинять определенные группы людей. как в случае с киберпреступностью , [102] [103] или что злонамеренный AGI может выбрать целью увеличение человеческих страданий, например тех людей, которые не помогали ему во время фазы информационного взрыва. [3] :158
Некоторые ученые предложили гипотетические сценарии , чтобы проиллюстрировать некоторые из своих опасений.
В книге «Суперинтеллект» Бостром выражает обеспокоенность тем, что даже если сроки появления сверхинтеллекта окажутся предсказуемыми, исследователи могут не принять достаточных мер предосторожности, отчасти потому, что «может случиться так, что когда глупее, умнее безопасно; но когда умнее, умнее более опасно". Он предлагает сценарий, в котором через десятилетия ИИ станет более мощным. Широкомасштабное развертывание поначалу омрачается случайными несчастными случаями: беспилотный автобус выезжает на встречную полосу или военный беспилотник стреляет по невинной толпе. Многие активисты призывают к ужесточению надзора и регулирования, а некоторые даже предсказывают надвигающуюся катастрофу. Но по мере того, как развитие продолжается, активисты оказываются неправы. Поскольку автомобильный ИИ становится умнее, он попадает в меньшее количество аварий; поскольку военные роботы достигают более точного нацеливания, они наносят меньший побочный ущерб. Основываясь на этих данных, ученые ошибочно делают общий вывод: чем умнее ИИ, тем он безопаснее. «И поэтому мы смело идем навстречу кружащимся ножам», поскольку сверхразумный ИИ делает «коварный поворот» и использует решающее стратегическое преимущество. [4]
В книге Макса Тегмарка «Жизнь 3.0» 2017 года «команда Omega» корпорации создает чрезвычайно мощный ИИ, способный умеренно улучшать собственный исходный код в ряде областей. После определенного момента команда решает публично преуменьшить возможности ИИ, чтобы избежать регулирования или конфискации проекта. В целях безопасности команда хранит ИИ в коробке , где он по большей части не может общаться с внешним миром, и использует его для зарабатывания денег различными способами, такими как задачи Amazon Mechanical Turk , производство анимационных фильмов и телешоу, а также разработка. биотехнологических лекарств, а прибыль инвестируется обратно в дальнейшее совершенствование ИИ. Затем команда поручает ИИ управлять армией гражданских журналистов и комментаторов под псевдонимами, чтобы получить политическое влияние и использовать его «для всеобщего блага» для предотвращения войн. Команда сталкивается с риском, что ИИ может попытаться избежать, внедряя «черные ходы» в системы, которые он разрабатывает, скрывая сообщения в создаваемом им контенте или используя свое растущее понимание человеческого поведения, чтобы убедить кого-то выпустить его на свободу . Команда также сталкивается с риском того, что ее решение заблокировать проект приведет к задержке проекта на время, достаточное для того, чтобы его обогнал другой проект. [104] [105]
Тезис о том, что ИИ может представлять экзистенциальный риск, вызывает широкий спектр реакций в научном сообществе и в обществе в целом, но многие противоположные точки зрения имеют общие точки зрения.
Наблюдатели склонны соглашаться с тем, что ИИ обладает значительным потенциалом для улучшения общества. [106] [107] Принципы искусственного интеллекта Asilomar , которые содержат только те принципы, с которыми согласились 90% участников конференции «Полезный искусственный интеллект 2017» Института будущего жизни , [105] также в принципе согласны с тем, что «не существует единого мнения». , нам следует избегать сильных предположений относительно верхних пределов будущих возможностей ИИ» и «Продвинутый ИИ может представлять собой глубокие изменения в истории жизни на Земле, и его следует планировать и управлять им с соразмерной тщательностью и ресурсами». [108] [109]
И наоборот, многие скептики согласны с тем, что продолжающиеся исследования последствий общего искусственного интеллекта имеют ценность. Скептик Мартин Форд сказал: «Я думаю, что было бы разумно применить что-то вроде знаменитой «доктрины одного процента» Дика Чейни к призраку развитого искусственного интеллекта: вероятность его появления, по крайней мере, в обозримом будущем, может быть очень высокой. низкий, но последствия настолько драматичны, что к этому следует относиться серьезно». [110] Точно так же скептически настроенный в других отношениях журнал Economist написал в 2014 году, что «последствия появления на Земле второго разумного вида достаточно далеко идущие, чтобы заслуживать серьезного размышления, даже если перспектива кажется отдаленной». [46]
Защитники безопасности искусственного интеллекта, такие как Бостром и Тегмарк, раскритиковали использование ведущими средствами массовой информации «этих бессмысленных изображений Терминатора » для иллюстрации проблем безопасности искусственного интеллекта: «Не может быть очень весело, когда клевета на чью-то академическую дисциплину, свое профессиональное сообщество, свою жизнь работать ... Я призываю все стороны проявлять терпение и сдержанность, а также, насколько это возможно, участвовать в прямом диалоге и сотрудничестве». [105] [111] Тоби Орд писал, что идея о том, что для захвата власти ИИ требуются роботы, является заблуждением, утверждая, что способность распространять контент через Интернет более опасна, и что самые разрушительные люди в истории выделялись своей способностью убедить, а не их физическая сила. [67]
Опрос экспертов 2022 года, в котором приняли участие 17%, дал медианное ожидание возможности вымирания человечества из-за искусственного интеллекта в 5–10%. [14] [112]
Тезис о том, что ИИ представляет экзистенциальный риск и что этот риск требует гораздо большего внимания, чем ему уделяется в настоящее время, был поддержан многими учеными-компьютерщиками и общественными деятелями, в том числе Аланом Тьюрингом , [а] наиболее цитируемым учёным-компьютерщиком Джеффри Хинтоном , [ 113] Илон Маск , [11] Генеральный директор OpenAI Сэм Альтман , [12] [114] Билл Гейтс и Стивен Хокинг . [114] Сторонники тезиса иногда выражают недоумение по поводу скептиков: Гейтс говорит, что он «не понимает, почему некоторые люди не обеспокоены этим», [115] а Хокинг раскритиковал широко распространенное безразличие в своей редакционной статье 2014 года:
Итак, сталкиваясь с возможным будущим, полным неисчислимых выгод и рисков, эксперты наверняка делают все возможное, чтобы обеспечить наилучший результат, не так ли? Неправильный. Если бы высшая инопланетная цивилизация отправила нам сообщение: «Мы прибудем через несколько десятилетий», ответили бы мы просто: «Хорошо, позвоните нам, когда доберетесь сюда, мы оставим свет включенным?» Вероятно, нет, но именно это более или менее происходит с ИИ. [31]
Обеспокоенность по поводу риска, связанного с искусственным интеллектом, привела к некоторым громким пожертвованиям и инвестициям. В 2015 году Питер Тиль , Amazon Web Services , Маск и другие совместно выделили 1 миллиард долларов OpenAI , состоящему из коммерческой корпорации и некоммерческой материнской компании, которая заявляет, что стремится продвигать ответственную разработку ИИ. [116] Соучредитель Facebook Дастин Московиц профинансировал и запустил несколько лабораторий, работающих над AI Alignment, [117] в частности, 5,5 миллионов долларов в 2016 году для запуска Центра ИИ, совместимого с человеком, под руководством профессора Стюарта Рассела . [118] В январе 2015 года Илон Маск пожертвовал 10 миллионов долларов Институту будущего жизни для финансирования исследований по пониманию процесса принятия решений ИИ. Цель института — «взращивать мудрость, с помощью которой мы управляем» растущей мощью технологий. Маск также финансирует компании, разрабатывающие искусственный интеллект, такие как DeepMind и Vicarious , чтобы «просто следить за тем, что происходит с искусственным интеллектом, [119] говоря: «Я думаю, что здесь есть потенциально опасный результат». [120] [121]
В первых заявлениях по этой теме Джеффри Хинтон , крупный пионер глубокого обучения , отметил, что «не существует хорошего опыта того, как менее разумные существа управляют более разумными существами», но сказал, что он продолжил свои исследования, потому что «перспектива открытия слишком сладко ». [122] [123] В 2023 году Хинтон уволился с работы в Google, чтобы высказаться о экзистенциальном риске, связанном с ИИ. Он объяснил, что его возросшая обеспокоенность была вызвана опасениями, что сверхчеловеческий ИИ может оказаться ближе, чем он считал ранее, сказав: «Я думал, что это очень далеко. Я думал, что это произойдет через 30–50 лет или даже дольше. что." Он также заметил: «Посмотрите, как это было пять лет назад и как это происходит сейчас. Возьмите разницу и распространяйте ее дальше. Это страшно». [124]
В своей книге 2020 года «Пропасть: экзистенциальный риск и будущее человечества » Тоби Орд , старший научный сотрудник Института будущего человечества Оксфордского университета , оценивает общий экзистенциальный риск от несогласованного ИИ в течение следующих 100 лет примерно в один из десяти. [67]
У тезиса о том, что ИИ может представлять экзистенциальный риск, есть много противников. Скептики иногда обвиняют этот тезис в крипторелигиозности, поскольку иррациональная вера в возможность сверхразума заменяет иррациональную веру во всемогущего Бога. Джарон Ланье утверждал в 2014 году, что вся концепция того, что существовавшие на тот момент машины были в каком-то смысле разумными, была «иллюзией» и «колоссальным мошенничеством» со стороны богатых. [125] [126]
Некоторые критики утверждают, что создание искусственного интеллекта в краткосрочной перспективе маловероятно. Исследователь ИИ Родни Брукс написал в 2014 году: «Я думаю, что было бы ошибкой беспокоиться о том, что мы разработаем злонамеренный ИИ в любое время в течение следующих нескольких сотен лет. достижения в конкретном аспекте ИИ, а также масштабность и сложность создания разумного волевого интеллекта». [127] Вице-президент Baidu Эндрю Нг заявил в 2015 году, что экзистенциальный риск ИИ «все равно что беспокоиться о перенаселении Марса, когда мы еще даже не ступили на эту планету». [96] [128] Чтобы опасность неконтролируемого продвинутого ИИ была реализована, гипотетическому ИИ, возможно, придется одолеть или перехитрить любого человека, что, по мнению некоторых экспертов, является возможностью достаточно далекого будущего, чтобы не заслуживать исследования. [129] [130]
Скептики, которые считают, что ОИИ не является краткосрочной возможностью, часто утверждают, что беспокойство по поводу экзистенциального риска, связанного с ИИ, бесполезно, поскольку оно может отвлечь людей от более насущных опасений по поводу воздействия ИИ, поскольку это может привести к государственному регулированию или затруднить финансирование ИИ. исследований или потому, что это может нанести ущерб репутации этой области. [131] Исследователи ИИ и этики ИИ Тимнит Гебру , Эмили М. Бендер , Маргарет Митчелл и Анджелина Макмиллан-Мейджор утверждают, что обсуждение экзистенциального риска отвлекает от непосредственного, продолжающегося вреда от ИИ, имеющего место сегодня, такого как кража данных, эксплуатация, предвзятость и концентрация власти. [132] Далее они отмечают связь между теми, кто предупреждает об экзистенциальном риске, и долгосрочным подходом , который они называют «опасной идеологией» из-за ее ненаучного и утопического характера. [133]
Редактор журнала Wired Кевин Келли утверждает, что естественный интеллект более тонок, чем полагают сторонники ОИИ, и что одного интеллекта недостаточно для достижения крупных научных и социальных прорывов. Он утверждает, что интеллект состоит из множества измерений, которые до конца не изучены, и что концепции «лестницы интеллекта» вводят в заблуждение. Он отмечает решающую роль реальных экспериментов в научном методе, и что интеллект сам по себе не может заменить их. [134]
Главный ученый Meta по искусственному интеллекту Янн ЛеКун говорит, что искусственный интеллект можно сделать безопасным посредством непрерывного и итеративного совершенствования, подобно тому, что происходило в прошлом с автомобилями или ракетами, и что у искусственного интеллекта не будет желания брать на себя управление. [135]
Некоторые скептики подчеркивают потенциальные краткосрочные преимущества ИИ. Генеральный директор Meta Марк Цукерберг считает, что искусственный интеллект «откроет огромное количество положительных вещей», таких как лечение болезней и повышение безопасности беспилотных автомобилей. [136] Физик Мичио Каку , скептик риска ИИ, постулирует детерминистически положительный результат. В «Физике будущего» он утверждает, что «роботам потребуется много десятилетий, чтобы подняться» на более высокий уровень сознания, и что тем временем такие корпорации, как Hanson Robotics, вероятно, преуспеют в создании роботов, «способных любить и зарабатывать место в большой человеческой семье». [137] [138]
В статье 2014 года в The Atlantic Джеймс Хэмблин отметил, что большинство людей не заботятся об искусственном общем интеллекте, и охарактеризовал свою внутреннюю реакцию на эту тему так: «Убирайтесь отсюда. У меня есть сто тысяч вещей, которые меня беспокоят». именно в этот момент. Неужели мне серьезно нужно добавить к этому технологическую особенность?» [125]
Во время интервью Wired в 2016 году президента Барака Обамы и Джои Ито из MIT Media Lab Ито сказал:
Есть несколько человек, которые считают, что существует довольно высокая вероятность того, что в ближайшие 10 лет появится универсальный ИИ. Но я считаю, что для того, чтобы это произошло, нам понадобится дюжина или два различных прорыва. Таким образом, вы можете отслеживать, когда, по вашему мнению, произойдут эти прорывы.
Обама добавил: [139] [140]
И вам просто нужно, чтобы кто-то был рядом со шнуром питания. [Смеется.] Когда ты видишь, что это вот-вот произойдет, ты должен выдернуть электричество из стены, чувак.
Хиллари Клинтон написала в книге «Что случилось» :
Технологи... предупредили, что искусственный интеллект однажды может представлять реальную угрозу безопасности. Маск назвал это «величайшим риском, с которым мы сталкиваемся как цивилизация». Подумайте об этом: видели ли вы когда-нибудь фильм, в котором машины начинают думать самостоятельно, и это заканчивается хорошо? Каждый раз, когда я отправлялся в Силиконовую долину во время предвыборной кампании, я возвращался домой еще более встревоженный этим. Мои сотрудники жили в страхе, что я начну говорить о «возвышении роботов» в какой-нибудь мэрии Айовы. Возможно, мне следовало бы это сделать. В любом случае, политикам необходимо идти в ногу с развитием технологий, а не постоянно догонять их. [141]
Одна из техноутопических точек зрения, выраженная в некоторых популярных художественных произведениях, заключается в том, что ОИИ может способствовать построению мира. [142]
В 2018 году опрос американской общественности SurveyMonkey , проведенный USA Today, показал, что 68% считают, что реальной нынешней угрозой остается «человеческий интеллект», но также выяснилось, что 43% заявили, что сверхразумный ИИ, если бы он случился, принес бы «больше вреда, чем хорошо», и что 38% заявили, что это принесет «одинаковое количество вреда и пользы». [143]
Опрос взрослого населения США, проведенный YouGov в апреле 2023 года, показал, что 46% респондентов были «несколько обеспокоены» или «очень обеспокоены» «возможностью того, что ИИ приведет к концу человечества на Земле», по сравнению с 40%, которые были «не очень обеспокоены». обеспокоен» или «совсем не обеспокоен». [144]
Согласно опросу Pew Research Centers, проведенному в августе 2023 года, 52% американцев были скорее обеспокоены, чем воодушевлены новыми разработками в области искусственного интеллекта; почти треть чувствовала себя одинаково обеспокоенной и взволнованной. Больше американцев увидели, что ИИ окажет скорее полезное, чем вредное влияние в нескольких областях, от здравоохранения и безопасности транспортных средств до поиска продуктов и обслуживания клиентов. Главным исключением является конфиденциальность: 53% американцев считают, что ИИ приведет к более широкому раскрытию их личной информации. [145]
Многие учёные, обеспокоенные экзистенциальным риском ОИИ, считают, что лучший подход — это провести серьёзное исследование для решения сложной «проблемы контроля»: какие типы защитных мер, алгоритмов или архитектур могут реализовать программисты, чтобы максимизировать вероятность того, что их рекурсивно улучшающийся ИИ продолжать вести себя по-дружески после того, как достигнет сверхразума? [4] [146] Социальные меры могут смягчить экзистенциальный риск AGI; [147] [148] например, одна из рекомендаций касается спонсируемого ООН «Договора о благотворительном ОИИ», который гарантировал бы создание только альтруистических ОИИ. [149] Аналогичным образом был предложен подход к контролю над вооружениями, а также глобальный мирный договор, основанный на теории международных отношений конформного инструментализма, с потенциальным подписантом искусственного сверхинтеллекта. [150] [151]
Исследователи из Google предложили изучить общие вопросы «безопасности ИИ», чтобы одновременно смягчить как краткосрочные риски, связанные с узким ИИ, так и долгосрочные риски, связанные с AGI. [152] [153] По оценкам на 2020 год, глобальные расходы на экзистенциальный риск ИИ составляют от 10 до 50 миллионов долларов по сравнению с глобальными расходами на ИИ, возможно, около 40 миллиардов долларов. Бостром предлагает отдать приоритет финансированию защитных технологий, а не потенциально опасных. [77] Некоторые спонсоры, такие как Маск, предполагают, что такой технологией может стать радикальное улучшение когнитивных функций человека , например, прямая нейронная связь между человеком и машиной; другие утверждают, что технологии улучшения сами по себе могут представлять собой экзистенциальный риск. [154] [155] Исследователи могли внимательно следить за первоначальным ИИ или пытаться «загнать его в рамки», рискуя стать слишком мощным. Доминирующий сверхразумный ИИ, если он соответствует интересам человечества, сам может принять меры, чтобы снизить риск захвата конкурирующим ИИ, хотя создание доминирующего ИИ само по себе может представлять экзистенциальный риск. [156]
Такие учреждения, как Центр исследования выравнивания , [157] Научно-исследовательский институт машинного интеллекта , Институт будущего человечества , [158] [159] Институт будущего жизни , Центр изучения экзистенциального риска и Центр человеческих исследований. Совместимый ИИ [160] участвует в исследованиях рисков и безопасности ИИ.
Некоторые ученые говорят, что даже если AGI представляет экзистенциальный риск, попытки запретить исследования в области искусственного интеллекта по-прежнему неразумны и, вероятно, бесполезны. [161] [162] [163] Скептики утверждают, что регулирование ИИ совершенно бесполезно, поскольку никакого экзистенциального риска не существует. Но ученые, которые верят в экзистенциальный риск, говорят, что трудно зависеть от людей из индустрии ИИ в регулировании или ограничении исследований ИИ, поскольку это прямо противоречит их личным интересам. [164] Ученые также согласны со скептиками в том, что запрещать исследования было бы неразумно, поскольку исследования могут быть перенесены в страны с более мягкими правилами или проводиться тайно. [164] Последний вопрос особенно актуален, поскольку исследования в области искусственного интеллекта могут проводиться в небольших масштабах без существенной инфраструктуры или ресурсов. [165] [166] Две дополнительные гипотетические трудности с запретами (или другим регулированием) заключаются в том, что технологические предприниматели статистически склонны к общему скептицизму в отношении государственного регулирования, и что у предприятий может быть сильный стимул (и вполне возможно, что они преуспеют) в борьбе с регулированием и политизацией. основная дискуссия. [167]
В марте 2023 года Институт будущего жизни подготовил проект «Приостановить гигантские эксперименты с искусственным интеллектом: открытое письмо» — петицию, призывающую крупных разработчиков искусственного интеллекта согласиться на поддающуюся проверке шестимесячную паузу в работе любых систем, «более мощных, чем GPT-4 », и использовать это. пора создать систему обеспечения безопасности; или, в противном случае, правительства введут мораторий. В письме упоминалась возможность «глубокого изменения в истории жизни на Земле», а также потенциальные риски пропаганды, создаваемой ИИ, потери рабочих мест, устаревания человечества и потери контроля над обществом в целом. [107] [168] Письмо было подписано видными деятелями в области искусственного интеллекта, но его также раскритиковали за то, что он не сосредоточил внимание на текущих вредах, [169] упустил технические нюансы о том, когда следует сделать паузу, [170] или не зашел достаточно далеко. [171]
Маск призвал к некоторому регулированию развития искусственного интеллекта еще в 2017 году. По данным NPR , он «явно не в восторге» от того, что выступает за государственный контроль, который может повлиять на его собственную отрасль, но считает, что риски полного отсутствия надзора слишком высоки. : «Обычно правила устанавливаются так, что происходит множество плохих событий, возникает общественный резонанс, и через много лет создается регулирующий орган, который будет регулировать эту отрасль. Это занимает целую вечность. В прошлом так было. плохо, но не то, что представляет собой фундаментальный риск для существования цивилизации». Маск заявляет, что первым шагом правительства будет получение «понимания» фактического статуса текущих исследований, предупреждая, что «как только появится осведомленность, люди будут очень напуганы… [как] они и должны быть». В ответ политики выразили скептицизм по поводу целесообразности регулирования технологии, которая все еще находится в разработке. [172] [173] [174]
В 2021 году Организация Объединенных Наций (ООН) рассматривала вопрос о запрете автономного летального оружия, но консенсуса достичь не удалось. [175] В июле 2023 года Совет Безопасности ООН впервые провел заседание, на котором были рассмотрены риски и угрозы, которые ИИ представляет для мира и стабильности во всем мире, а также потенциальные выгоды. [176] [177] Генеральный секретарь Антониу Гутерриш выступил за создание глобального наблюдательного органа для наблюдения за появляющимися технологиями, заявив: «Генераторный ИИ обладает огромным потенциалом добра и зла в масштабе. Сами его создатели предупреждали, что гораздо большие, потенциально катастрофические и впереди нас ждут экзистенциальные риски». [17] На заседании совета Россия заявила, что, по ее мнению, риски ИИ слишком плохо понимаются, чтобы считаться угрозой глобальной стабильности. Китай выступил против строгого глобального регулирования, заявив, что страны должны иметь возможность разрабатывать свои собственные правила, а также заявил, что они выступают против использования ИИ для «создания военной гегемонии или подрыва суверенитета страны». [176]
Регулирование сознательных ОИИ направлено на их интеграцию в существующее человеческое общество и может быть разделено на рассмотрение их юридического статуса и их моральных прав. [178] Контроль над вооружениями с использованием ИИ, вероятно, потребует институционализации новых международных норм, воплощенных в эффективных технических спецификациях, в сочетании с активным мониторингом и неформальной дипломатией со стороны экспертных сообществ, а также процессом юридической и политической проверки. [179] [113]
В июле 2023 года правительство США добилось добровольных обязательств по безопасности от крупных технологических компаний, включая OpenAI , Amazon , Google , Meta и Microsoft . Компании согласились принять меры безопасности, включая сторонний надзор и тестирование безопасности независимыми экспертами, чтобы решить проблемы, связанные с потенциальными рисками ИИ и социальным вредом. Стороны сформулировали обязательства как промежуточный этап при формировании регламентов. Амба Как, исполнительный директор AI Now Institute , заявила: «Закрытого обсуждения с корпоративными субъектами, приводящего к добровольным мерам безопасности, недостаточно» и призвала к публичному обсуждению и принятию правил, на которые компании добровольно не согласились бы. [180] [181]
В октябре 2023 года президент США Джо Байден издал указ о «Безопасной, надежной и заслуживающей доверия разработке и использовании искусственного интеллекта». [182] Помимо других требований, приказ требует разработки руководящих принципов для моделей ИИ, позволяющих «уходить от человеческого контроля».
50% исследователей ИИ считают, что вероятность того, что люди вымрут из-за нашей неспособности контролировать ИИ, составляет 10% или выше.
Точно так же Марвин Мински однажды предположил, что программа искусственного интеллекта, разработанная для решения гипотезы Римана, может в конечном итоге захватить все ресурсы Земли для создания более мощных суперкомпьютеров, которые помогут достичь своей цели.
В биографии, игриво написанной от третьего лица, Гуд резюмировал вехи своей жизни, включая, вероятно, никогда ранее не публиковавшийся отчет о своей работе в Блетчли-парке с Тьюрингом. Но вот что он написал в 1998 году о первом сверхразуме и своем развороте на позднем этапе игры: [Документ] «Рассуждения о первой сверхразумной машине» (1965). . . начиналось так: «Выживание человека зависит от скорейшего создания сверхразумной машины». Это были его слова [Гуда] во время холодной войны, и теперь он подозревает, что «выживание» должно быть заменено «вымиранием». Он считает, что из-за международной конкуренции мы не можем помешать машинам взять верх. Он думает, что мы лемминги. Он также сказал, что «вероятно, человек создаст deus ex machina по своему образу и подобию».
Как будто потерять контроль над китайским разумом было страшнее, чем потерять контроль над чуждым цифровым разумом, которому плевать на людей.
[...] теперь ясно, что пространство возможных инопланетных разумов намного больше.
Мне кажется правдоподобным, что главное, что нам нужно сделать, — это заметить конкретные схемы, связанные с обманом и конкретными опасными способностями, такими как эта, а также ситуационную осведомленность и внутренне представленные цели.
Пока они обладают достаточным уровнем интеллекта, агенты, имеющие любую из широкого спектра конечных целей, будут преследовать аналогичные промежуточные цели, потому что у них есть инструментальные причины для этого.
Ничто не мешает достаточно умным самосовершенствующимся системам оптимизировать свои механизмы вознаграждения с целью оптимизации достижения текущей цели и в процессе совершить ошибку, ведущую к повреждению своих функций вознаграждения.
Поэтому неудивительно, что, согласно последнему исследованию воздействия ИИ, почти половина из 731 ведущего исследователя ИИ считают, что существует как минимум 10% вероятность того, что ИИ на человеческом уровне приведет к «крайне негативному результату» или экзистенциальному риску.
Я лично считаю, что наиболее вероятным путем будет создание роботов, которые будут доброжелательными и дружелюбными.
По всем этим причинам проверка глобального договора об отказе от обязательств или даже договора, ограничивающегося разработкой оружия, связанного с искусственным интеллектом, не является началом... (По причинам, отличным от наших, Научно-исследовательский институт машинного интеллекта) считает (AGI) отказ невозможным...
В целом большинство авторов отвергают предложения о широком отказе... Предложения об отказе страдают от многих из тех же проблем, что и предложения по регулированию, но в большей степени.
Не существует исторического прецедента успешного отказа от общей многоцелевой технологии, подобной ОИИ, и, похоже, нет никаких теоретических оснований полагать, что предложения об отказе будут работать в будущем.
Поэтому мы не считаем их жизнеспособным классом предложений.
Было бы фантазией предполагать, что ускоряющееся развитие и внедрение технологий, которые в совокупности считаются искусственным интеллектом, будет остановлено или ограничено либо регулированием, либо даже национальным законодательством.
Конечно, можно попытаться вообще запретить сверхразумные компьютеры.
Но «конкурентное преимущество — экономическое, военное, даже художественное — каждого достижения в области автоматизации настолько убедительно», — писал
Вернор Виндж
, математик и писатель-фантаст, — «что принятие законов или обычаев, запрещающих такие вещи, просто уверяет, что это сделает кто-то другой».