stringtranslate.com

Технологическая сингулярность

Технологическая сингулярность — или просто сингулярность [1] — это гипотетическая будущая точка времени, в которой технологический рост становится неконтролируемым и необратимым, что приводит к непредсказуемым последствиям для человеческой цивилизации . [2] [3] Согласно самой популярной версии гипотезы сингулярности, модели взрыва интеллекта И. Дж. Гуда 1965 года, модернизируемый интеллектуальный агент может в конечном итоге войти в положительную обратную связь циклов самосовершенствования , каждый последующий; и более разумное поколение будет появляться все быстрее и быстрее, вызывая быстрый рост («взрыв») интеллекта, который в конечном итоге приведет к мощному сверхинтеллекту , качественно намного превосходящему весь человеческий интеллект . [4]

Венгерско-американский математик Джон фон Нейман (1903-1957) стал первым известным человеком, использовавшим концепцию «сингулярности» в технологическом контексте. [5] [ нужна цитата для проверки ] Станислав Улам сообщил в 1958 году о более ранней дискуссии с фон Нейманом, «сосредоточенной на ускоряющемся прогрессе технологий и изменениях в человеческой жизни, что создает видимость приближения к некой существенной сингулярности в истории расы, за пределами которой человеческие дела, как мы их знаем, не могли бы продолжаться». [6] Последующие авторы повторили эту точку зрения. [3] [7]

Концепция и термин «сингулярность» были популяризированы Вернором Винджем  — сначала в 1983 году (в статье, в которой утверждалось, что как только люди создадут интеллект, превосходящий их собственный, произойдет технологический и социальный переход, в некотором смысле похожий на «завязанное пространство-время в центре черной дыры», [8] ), а затем в его эссе 1993 года «Грядущая технологическая сингулярность» [ 4] [7] (в котором он писал, что это будет означать конец человеческой эры, поскольку новый сверхразум продолжит совершенствоваться и будет развиваться технологически с непостижимой скоростью). Он писал, что был бы удивлен, если бы это произошло до 2005 года или после 2030 года. [4] Другим значительным фактором, способствовавшим более широкому распространению этого понятия, стала книга Рэя Курцвейла 2005 года «Сингулярность уже близко » , в которой он предсказывал сингулярность к 2045 году. [7]

Некоторые ученые, включая Стивена Хокинга , выразили обеспокоенность тем, что искусственный сверхинтеллект (ИСИ) может привести к вымиранию человечества. [9] [10] Последствия технологической сингулярности и ее потенциальная польза или вред для человеческой расы стали предметом интенсивных дискуссий.

Известные технологи и ученые оспаривают правдоподобность технологической сингулярности и связанного с ней взрыва искусственного интеллекта, включая Пола Аллена [11] , Джеффа Хокинса [12] , Джона Холланда , Джарона Ланье , Стивена Пинкера [12] , Теодора Модиса [ 13] и Гордона Мура . [12] Одно из заявлений состояло в том, что рост искусственного интеллекта, скорее всего, столкнется с убывающей отдачей вместо ускорения, как это наблюдалось в ранее разработанных человеческих технологиях.

Взрыв интеллекта

Хотя технический прогресс ускоряется во многих областях, он ограничен базовым интеллектом человеческого мозга, который, по словам Пола Р. Эрлиха , не претерпел существенных изменений на протяжении тысячелетий. [14] Однако с ростом мощности компьютеров и других технологий в конечном итоге может оказаться возможным построить машину, которая будет значительно более разумной, чем люди. [15]

Если бы был изобретен сверхчеловеческий интеллект — либо путем усиления человеческого интеллекта , либо посредством искусственного интеллекта — он, в теории, значительно улучшил бы человеческие навыки решения проблем и изобретательские способности. Такой ИИ называется Seed AI [16] [17], потому что если бы ИИ был создан с инженерными возможностями, которые соответствовали бы или превосходили возможности его человеческих создателей, он имел бы потенциал для автономного улучшения своего собственного программного обеспечения и оборудования, чтобы спроектировать еще более способную машину, которая могла бы повторить процесс в свою очередь. Это рекурсивное самосовершенствование могло бы ускориться, потенциально допуская огромные качественные изменения до того, как установится какой-либо верхний предел, налагаемый законами физики или теоретическими вычислениями. Предполагается, что за многие итерации такой ИИ намного превзойдет человеческие когнитивные способности .

Ай Джей Гуд предположил, что сверхчеловеческий интеллект может привести к взрыву интеллекта: [18] [19]

Давайте определим сверхразумную машину как машину, которая может намного превзойти все интеллектуальные действия любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы проектировать еще лучшие машины; тогда, несомненно, произошел бы «взрыв интеллекта», и интеллект человека остался бы далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое когда-либо должен был бы сделать человек, при условии, что машина будет достаточно послушной, чтобы сказать нам, как держать ее под контролем.

—  Размышления о первой сверхразумной машине (1965)

Одна из версий взрыва интеллекта заключается в том, что вычислительная мощность достигает бесконечности за конечное время. В этой версии, как только ИИ выполняют исследования по самосовершенствованию, скорость удваивается, например, через 2 года, затем через 1 год, затем через 6 месяцев, затем через 3 месяца, затем через 1,5 месяца и т. д., где бесконечная сумма периодов удвоения составляет 4 года. Если бы этому не препятствовали физические ограничения вычислений и квантование времени, этот процесс буквально достиг бы бесконечной вычислительной мощности за 4 года, справедливо заслужив название «сингулярность» для конечного состояния. Эта форма взрыва интеллекта описана в работе Юдковски (1996). [20]

Возникновение сверхразума

Сверхразум, гиперразум или сверхчеловеческий разум — гипотетический агент , обладающий интеллектом, намного превосходящим интеллект самых ярких и одаренных человеческих умов. [21] «Сверхразум» может также относиться к форме или степени интеллекта, которым обладает такой агент. Джон фон Нейман , Вернор Виндж и Рэй Курцвейл определяют эту концепцию с точки зрения технологического создания сверхразума, утверждая, что для современных людей трудно или невозможно предсказать, какой будет жизнь людей в мире после сингулярности. [4] [22]

Связанное с этим понятие «скоростной сверхинтеллект» описывает ИИ, который может функционировать подобно человеческому разуму, только гораздо быстрее. [23] Например, при увеличении скорости обработки информации в миллион раз по сравнению с людьми субъективный год пройдёт за 30 физических секунд. [24] Такая разница в скорости обработки информации может привести к сингулярности. [25]

Прогнозисты и исследователи технологий расходятся во мнениях относительно того, когда и будет ли вообще превзойден человеческий интеллект. Некоторые утверждают, что достижения в области искусственного интеллекта (ИИ), вероятно, приведут к появлению общих систем рассуждений, которые обойдут человеческие когнитивные ограничения. Другие полагают, что люди будут развиваться или напрямую изменять свою биологию, чтобы достичь радикально большего интеллекта. [26] [27] Ряд исследований будущего сосредоточены на сценариях, которые объединяют эти возможности, предполагая, что люди, вероятно, будут взаимодействовать с компьютерами или загружать свои разумы в компьютеры таким образом, чтобы обеспечить существенное усиление интеллекта. В книге Робина Хэнсона « Век Эм» описывается гипотетический сценарий будущего, в котором человеческий мозг сканируется и оцифровывается, создавая «загрузки» или цифровые версии человеческого сознания. В этом будущем развитие этих загрузок может предшествовать или совпадать с появлением сверхразумного искусственного интеллекта. [28]

Вариации

Сингулярность, не связанная с ИИ

Некоторые авторы используют «сингулярность» в более широком смысле, ссылаясь на любые радикальные изменения в обществе, вызванные новыми технологиями (например, молекулярными нанотехнологиями ), [29] [30] [31], хотя Виндж и другие авторы специально заявляют, что без сверхразума такие изменения не могли бы считаться истинной сингулярностью. [4]

Прогнозы

В 1965 году И. Дж. Гуд писал, что скорее всего сверхразумная машина будет создана в двадцатом веке. [18] В 1993 году Виндж предсказал появление интеллекта, превосходящего человеческий, в период с 2005 по 2030 год. [4] В 1996 году Юдковски предсказал сингулярность в 2021 году. [20] В 2005 году Курцвейл предсказал появление ИИ человеческого уровня примерно в 2029 году, [32] а сингулярность — в 2045 году. [33] В интервью 2017 года Курцвейл подтвердил свои оценки. [34] В 1988 году Моравек предсказал, что если темпы совершенствования сохранятся, вычислительные возможности для искусственного интеллекта человеческого уровня будут доступны в суперкомпьютерах до 2010 года. [35] В 1998 году Моравек предсказал появление искусственного интеллекта человеческого уровня к 2040 году, а интеллект, намного превосходящий человеческий, к 2050 году. [36]

Четыре опроса исследователей ИИ, проведенные в 2012 и 2013 годах Ником Бостромом и Винсентом С. Мюллером , показали 50%-ную уверенность в том, что ИИ человеческого уровня будет разработан к 2040–2050 годам. [37] [38]

Правдоподобность

Известные технологи и ученые оспаривают правдоподобность технологической сингулярности, включая Пола Аллена [11] , Джеффа Хокинса [12] , Джона Холланда , Джарона Ланье , Стивена Пинкера [ 12] , Теодора Модиса [13] и Гордона Мура [12] , закон которого часто цитируется в поддержку этой концепции. [39]

Большинство предлагаемых методов создания сверхчеловеческого или трансчеловеческого разума попадают в одну из двух категорий: усиление интеллекта человеческого мозга и искусственный интеллект. Множество предполагаемых способов усиления человеческого интеллекта включают биоинженерию , генную инженерию , ноотропные препараты, помощников ИИ, прямые интерфейсы мозг-компьютер и загрузку разума . Эти многочисленные возможные пути к взрыву интеллекта, все из которых, предположительно, будут реализованы, делают сингулярность более вероятной. [24]

Робин Хэнсон выразил скептицизм относительно усиления человеческого интеллекта, написав, что как только «низко висящие плоды» простых методов увеличения человеческого интеллекта будут исчерпаны, дальнейшие улучшения станут все более трудными. [40] Несмотря на все предполагаемые способы усиления человеческого интеллекта, нечеловеческий искусственный интеллект (в частности, семенной ИИ) является наиболее популярным вариантом среди гипотез, которые могли бы приблизить сингулярность. [ необходима цитата ]

Возможность взрыва интеллекта зависит от трех факторов. [41] Первый ускоряющий фактор — это новые улучшения интеллекта, которые стали возможны благодаря каждому предыдущему улучшению. Напротив, по мере того, как интеллект становится более продвинутым, дальнейшие достижения будут становиться все более и более сложными, возможно, перевешивая преимущество возросшего интеллекта. Каждое улучшение должно генерировать в среднем как минимум еще одно улучшение, чтобы движение к сингулярности продолжалось. Наконец, законы физики могут в конечном итоге помешать дальнейшему улучшению.

Существуют две логически независимые, но взаимодополняющие причины улучшений интеллекта: увеличение скорости вычислений и улучшение используемых алгоритмов . [7] Первое предсказывается законом Мура и прогнозируемыми улучшениями в аппаратном обеспечении [42] и сравнительно похоже на предыдущие технологические достижения. Но Шульман и Сандберг [43] утверждают, что программное обеспечение будет представлять более сложные проблемы, чем просто работа на оборудовании, способном работать на уровне человеческого интеллекта или выше.

В опросе по электронной почте 2017 года авторов, опубликовавших работы на конференциях по машинному обучению NeurIPS и ICML 2015 года , спрашивалось о вероятности того, что «аргумент о взрыве интеллекта в целом верен». Из числа респондентов 12% сказали, что это «весьма вероятно», 17% сказали, что это «вероятно», 21% сказали, что это «примерно равно», 24% сказали, что это «маловероятно», а 26% сказали, что это «весьма маловероятно». [44]

Улучшения скорости

Как для человеческого, так и для искусственного интеллекта усовершенствования оборудования увеличивают скорость будущих усовершенствований оборудования. Аналогия с законом Мура предполагает, что если первое удвоение скорости заняло 18 месяцев, то второе займет 18 субъективных месяцев; или 9 внешних месяцев, после чего четыре месяца, два месяца и так далее до сингулярности скорости. [45] [20] В конечном итоге может быть достигнут некий верхний предел скорости. Джефф Хокинс заявил, что самосовершенствующаяся компьютерная система неизбежно столкнется с верхними пределами вычислительной мощности: «в конце концов, существуют пределы тому, насколько большие и быстрые компьютеры могут работать. Мы окажемся в том же месте; мы просто доберемся туда немного быстрее. Сингулярности не будет». [12]

Трудно напрямую сравнивать кремниевое оборудование с нейронами . Но Берглас (2008) отмечает, что компьютерное распознавание речи приближается к человеческим возможностям, и что эта возможность, по-видимому, требует 0,01% объема мозга. Эта аналогия предполагает, что современное компьютерное оборудование находится в пределах нескольких порядков от того, чтобы быть таким же мощным, как человеческий мозг , а также занимает гораздо меньше места.

Экспоненциальный рост

Рэй Курцвейл пишет, что из-за смены парадигм тенденция экспоненциального роста распространяет закон Мура с интегральных схем на более ранние транзисторы , электронные лампы , реле и электромеханические компьютеры. Он предсказывает, что экспоненциальный рост продолжится, и что через несколько десятилетий вычислительная мощность всех компьютеров превысит мощность («неулучшенного») человеческого мозга, а сверхчеловеческий искусственный интеллект появится примерно в то же время.
Обновленная версия закона Мура за 120 лет (на основе графика Курцвейла ). 7 последних точек данных — все графические процессоры Nvidia .

Экспоненциальный рост вычислительной техники, предполагаемый законом Мура, обычно упоминается как причина ожидать сингулярности в относительно недалеком будущем, и ряд авторов предложили обобщения закона Мура. Ученый-компьютерщик и футурист Ганс Моравек в своей книге 1998 года [46] предположил , что кривая экспоненциального роста может быть продолжена назад через более ранние вычислительные технологии до появления интегральных схем .

Рэй Курцвейл постулирует закон ускорения отдачи , в котором скорость технологических изменений (и, в более общем смысле, всех эволюционных процессов) [47] увеличивается экспоненциально, обобщая закон Мура таким же образом, как предложение Моравека, а также включая материальные технологии (особенно в применении к нанотехнологиям ), медицинские технологии и другие. [48] В период с 1986 по 2007 год, прикладная способность машин вычислять информацию на душу населения примерно удваивалась каждые 14 месяцев; производительность на душу населения мировых компьютеров общего назначения удваивалась каждые 18 месяцев; глобальная телекоммуникационная производительность на душу населения удваивалась каждые 34 месяца; а мировая производительность хранения на душу населения удваивалась каждые 40 месяцев. [49] С другой стороны, утверждалось, что глобальная модель ускорения, имеющая в качестве своего параметра сингулярность 21-го века, должна характеризоваться как гиперболическая, а не экспоненциальная. [50]

Курцвейл резервирует термин «сингулярность» для быстрого развития искусственного интеллекта (в отличие от других технологий), например, написав, что «Сингулярность позволит нам преодолеть эти ограничения наших биологических тел и мозгов... После Сингулярности не будет различий между человеком и машиной». [51] Он также определяет свою прогнозируемую дату сингулярности (2045) с точки зрения того, когда, по его ожиданиям, компьютерный интеллект значительно превзойдет общую сумму человеческих умственных способностей, написав, что достижения в области вычислений до этой даты «не будут представлять Сингулярность», поскольку они «еще не соответствуют глубокому расширению нашего интеллекта». [52]

Ускорение изменений

По словам Курцвейла, его логарифмический график 15 списков сдвигов парадигм для ключевых исторических событий демонстрирует экспоненциальную тенденцию.

Некоторые сторонники сингулярности утверждают ее неизбежность посредством экстраполяции прошлых тенденций, особенно тех, которые касаются сокращения разрывов между усовершенствованиями в технологиях. В одном из первых случаев использования термина «сингулярность» в контексте технологического прогресса Станислав Улам рассказывает о разговоре с Джоном фон Нейманом об ускорении изменений:

Один из разговоров был посвящен все ускоряющемуся прогрессу технологий и изменениям в образе жизни человека, что создает видимость приближения некой существенной сингулярности в истории расы, за пределами которой человеческие дела, какими мы их знаем, не могут продолжаться. [6]

Курцвейл утверждает, что технический прогресс следует модели экспоненциального роста , следуя тому, что он называет « законом ускорения отдачи ». Всякий раз, когда технология приближается к барьеру, пишет Курцвейл, новые технологии его преодолеют. Он предсказывает, что сдвиги парадигмы будут становиться все более распространенными, что приведет к «технологическим изменениям настолько быстрым и глубоким, что они представляют собой разрыв в ткани человеческой истории». [53] Курцвейл полагает, что сингулярность наступит примерно к 2045 году. [48] Его предсказания отличаются от предсказаний Винджа тем, что он предсказывает постепенное восхождение к сингулярности, а не быстро самосовершенствующийся сверхчеловеческий интеллект Винджа.

Часто упоминаемые опасности включают те, которые обычно ассоциируются с молекулярной нанотехнологией и генной инженерией . Эти угрозы являются основными проблемами как для сторонников, так и для критиков сингулярности, и были темой статьи Билла Джоя в журнале Wired в апреле 2000 года « Почему будущее не нуждается в нас ». [7] [54]

Улучшения алгоритма

Некоторые интеллектуальные технологии, такие как «seed AI», [16] [17] также могут иметь потенциал не только стать быстрее, но и эффективнее, изменяя свой исходный код . Эти улучшения сделают возможными дальнейшие улучшения, которые сделают возможными дальнейшие улучшения и т. д.

Механизм для рекурсивно самосовершенствующегося набора алгоритмов отличается от увеличения чистой скорости вычислений двумя способами. Во-первых, он не требует внешнего влияния: машины, проектирующие более быстрое оборудование, все равно потребуют от людей создания улучшенного оборудования или соответствующего программирования фабрик. [ необходима цитата ] ИИ, переписывающий свой собственный исходный код, может делать это, находясь в коробке ИИ .

Во-вторых, как и в случае с концепцией сингулярности Вернора Винджа , гораздо сложнее предсказать результат. Хотя увеличение скорости, по-видимому, является лишь количественным отличием от человеческого интеллекта, фактические улучшения алгоритмов будут качественно иными. Элиезер Юдковски сравнивает это с изменениями, которые принес человеческий интеллект: люди изменили мир в тысячи раз быстрее, чем это сделала эволюция, и совершенно другими способами. Аналогично, эволюция жизни была огромным отходом и ускорением от предыдущих геологических темпов изменений, и улучшенный интеллект может привести к тому, что изменения снова будут такими же иными. [55]

Существуют существенные опасности, связанные с сингулярностью взрыва интеллекта, происходящей из рекурсивно самосовершенствующегося набора алгоритмов. Во-первых, структура цели ИИ может самоизменяться, что потенциально может привести к оптимизации ИИ для чего-то иного, чем то, что изначально предполагалось. [56] [57]

Во-вторых, ИИ могли бы конкурировать за те же скудные ресурсы, которые человечество использует для выживания. [58] [59] Хотя ИИ и не являются активно вредоносными, они будут продвигать цели своего программирования, а не обязательно более широкие человеческие цели, и, таким образом, могут вытеснить людей. [60] [61] [62]

Карл Шульман и Андерс Сандберг предполагают, что ограничивающим фактором для сингулярности могут быть улучшения алгоритмов; в то время как эффективность оборудования имеет тенденцию к повышению в устойчивом темпе, инновации программного обеспечения более непредсказуемы и могут быть ограничены последовательными, кумулятивными исследованиями. Они предполагают, что в случае сингулярности, ограниченной программным обеспечением, взрыв интеллекта на самом деле станет более вероятным, чем в случае сингулярности, ограниченной аппаратным обеспечением, потому что в случае программного обеспечения, как только будет разработан ИИ человеческого уровня, он сможет работать последовательно на очень быстром оборудовании, а обилие дешевого оборудования сделает исследования ИИ менее ограниченными. [63] Обилие накопленного оборудования, которое может быть высвобождено, как только программное обеспечение поймет, как его использовать, было названо «вычислительным навесом». [64]

Критика

Некоторые критики, такие как философ Хьюберт Дрейфус [65] и философ Джон Сирл [66] , утверждают, что компьютеры или машины не могут достичь человеческого интеллекта . Другие, такие как физик Стивен Хокинг [67], возражают , что неважно, могут ли машины достичь настоящего интеллекта или просто чего-то похожего на интеллект, если конечный результат одинаков.

Психолог Стивен Пинкер заявил в 2008 году: «Нет ни малейшей причины верить в наступление сингулярности. Тот факт, что вы можете визуализировать будущее в своем воображении, не является доказательством того, что оно вероятно или даже возможно. Посмотрите на города под куполами, поездки на реактивных ранцах, подводные города, здания высотой в милю и атомные автомобили — все это основные элементы футуристических фантазий моего детства, которые так и не появились. Чистая вычислительная мощность — это не волшебная пыльца, которая волшебным образом решит все ваши проблемы». [12]

Мартин Форд [68] постулирует «технологический парадокс», заключающийся в том, что до того, как сингулярность могла бы произойти, большинство рутинных рабочих мест в экономике были бы автоматизированы, поскольку это потребовало бы уровня технологий, уступающего уровню сингулярности. Это вызвало бы массовую безработицу и резкое падение потребительского спроса, что, в свою очередь, уничтожило бы стимул инвестировать в технологии, которые потребовались бы для достижения сингулярности. Смещение рабочих мест все больше не ограничивается теми типами работы, которые традиционно считаются «рутинными». [69]

Теодор Модис [70] и Джонатан Хюбнер [71] утверждают, что темпы технологических инноваций не только перестали расти, но и фактически сейчас снижаются. Доказательством этого спада является то, что рост тактовой частоты компьютеров замедляется, даже при том, что предсказание Мура об экспоненциальном увеличении плотности цепей продолжает оставаться в силе. Это происходит из-за чрезмерного накопления тепла от чипа, которое не может рассеиваться достаточно быстро, чтобы предотвратить расплавление чипа при работе на более высоких скоростях. Прогресс в скорости может быть возможен в будущем благодаря более энергоэффективным конструкциям ЦП и многоячеечным процессорам. [72]

Теодор Модис считает, что сингулярность не может произойти. [73] [13] [74] Он утверждает, что «технологическая сингулярность» и особенно Курцвейл лишены научной строгости; Курцвейл, как утверждается, ошибочно принимает логистическую функцию (S-функцию) за экспоненциальную функцию и видит «колено» в экспоненциальной функции, где на самом деле такого быть не может. [75] В статье 2021 года Модис указал, что за предыдущие двадцать лет не наблюдалось никаких вех — прорывов в исторической перспективе, сопоставимых по важности с Интернетом, ДНК, транзистором или ядерной энергией, — в то время как пять из них можно было бы ожидать в соответствии с экспоненциальной тенденцией, пропагандируемой сторонниками технологической сингулярности. [76]

Исследователь искусственного интеллекта Юрген Шмидхубер заявил, что частота субъективно «заметных событий», по-видимому, приближается к сингулярности 21-го века, но предостерег читателей от восприятия подобных сюжетов субъективных событий с долей скепсиса: возможно, различия в памяти о недавних и далеких событиях могут создавать иллюзию ускоряющихся изменений там, где их нет. [77]

Соучредитель Microsoft Пол Аллен утверждал, что противоположность ускорению отдачи — тормоз сложности; [11] чем больше прогрессирует наука в понимании интеллекта, тем сложнее становится добиться дальнейшего прогресса. Исследование числа патентов показывает, что человеческое творчество не показывает ускорения отдачи, но на самом деле, как предположил Джозеф Тейнтер в своей работе «Крах сложных обществ» , [78] действует закон убывающей отдачи . Число патентов на тысячу достигло пика в период с 1850 по 1900 год и с тех пор снижается. [71] Рост сложности в конечном итоге становится самоограничивающим и приводит к широко распространенному «общему системному коллапсу».

Хофштадтер (2006) высказывает опасения, что Рэй Курцвейл недостаточно строг с научной точки зрения, что экспоненциальная тенденция технологий не является научным законом, как в физике, и что экспоненциальные кривые не имеют «колеен». [79] Тем не менее, он не исключал сингулярности в принципе в отдаленном будущем [12] и в свете ChatGPT и других недавних достижений существенно пересмотрел свое мнение в сторону кардинальных технологических изменений в ближайшем будущем. [80]

Джарон Ланье отрицает, что сингулярность неизбежна: «Я не думаю, что технология создает себя сама. Это не автономный процесс». [81] Более того: «Причина верить в человеческое вмешательство по сравнению с технологическим детерминизмом заключается в том, что тогда вы можете иметь экономику, в которой люди зарабатывают себе на жизнь и изобретают свою собственную жизнь. Если вы структурируете общество, не подчеркивая индивидуальное человеческое вмешательство, это то же самое, что и лишение людей влияния, достоинства и самоопределения ... принятие [идеи Сингулярности] было бы празднованием плохих данных и плохой политики». [81]

Экономист Роберт Дж. Гордон указывает, что измеренный экономический рост замедлился около 1970 года и замедлился еще больше после финансового кризиса 2007–2008 годов , и утверждает, что экономические данные не показывают никаких следов наступающей Сингулярности, как ее представлял себе математик И. Дж. Гуд . [82]

Философ и когнитивный ученый Дэниел Деннетт сказал в 2017 году: «Вся эта ерунда с сингулярностью — это абсурд. Она отвлекает нас от гораздо более насущных проблем», добавив: «Инструменты ИИ, от которых мы станем гиперзависимыми, это произойдет. И одна из опасностей заключается в том, что мы дадим им больше полномочий, чем они заслуживают». [83]

В дополнение к общей критике концепции сингулярности, несколько критиков подняли вопросы по поводу знаковой диаграммы Курцвейла. Одна из линий критики заключается в том, что логарифмическая диаграмма такого рода изначально смещена в сторону прямолинейного результата. Другие выявляют смещение отбора в точках, которые Курцвейл выбирает для использования. Например, биолог П. З. Майерс указывает, что многие из ранних эволюционных «событий» были выбраны произвольно. [84] Курцвейл опроверг это, нанеся на карту эволюционные события из 15 нейтральных источников и показав, что они укладываются в прямую линию на логарифмической диаграмме . Келли (2006) утверждает, что способ построения диаграммы Курцвейла с осью x, имеющей время до настоящего времени, всегда указывает на сингулярность, являющуюся «сейчас», для любой даты, на которую можно было бы построить такую ​​диаграмму, и наглядно показывает это на диаграмме Курцвейла. [85]

Некоторые критики предполагают религиозные мотивы или последствия сингулярности, особенно ее версию Курцвейла. Наращивание сингулярности сравнивается с иудео-христианскими сценариями конца света. Бим называет это « видением Бака Роджерса гипотетического христианского восхищения». [86] Джон Грей говорит, что «сингулярность перекликается с апокалиптическими мифами, в которых история вот-вот будет прервана событием, преобразующим мир». [87]

Дэвид Стрейтфельд в The New York Times задался вопросом, «может ли это проявиться прежде всего — отчасти благодаря одержимости сегодняшней Кремниевой долины прибылью — как инструмент сокращения численности корпораций в Америке». [88]

Потенциальные воздействия

В прошлом из-за технического прогресса происходили драматические изменения в темпах экономического роста. Исходя из роста населения, экономика удваивалась каждые 250 000 лет с эпохи палеолита до неолитической революции . Новая аграрная экономика удваивалась каждые 900 лет, что является значительным ростом. В нынешнюю эпоху, начиная с промышленной революции, мировое экономическое производство удваивается каждые пятнадцать лет, в шестьдесят раз быстрее, чем в аграрную эпоху. Если рост сверхчеловеческого интеллекта вызовет подобную революцию, утверждает Робин Хэнсон, можно было бы ожидать, что экономика будет удваиваться по крайней мере ежеквартально, а возможно, и еженедельно. [89]

Неопределенность и риск

Термин «технологическая сингулярность» отражает идею о том, что такие изменения могут произойти внезапно, и что трудно предсказать, как будет функционировать получившийся новый мир. [90] [91] Неясно, будет ли взрыв интеллекта, приводящий к сингулярности, полезным или вредным, или даже представлять экзистенциальную угрозу . [92] [93] Поскольку ИИ является основным фактором риска сингулярности, ряд организаций занимаются технической теорией согласования систем целей ИИ с человеческими ценностями, включая Институт будущего человечества , Научно-исследовательский институт машинного интеллекта , [90] Центр искусственного интеллекта, совместимого с человеком , и Институт будущего жизни .

Физик Стивен Хокинг сказал в 2014 году, что «Успех в создании ИИ станет крупнейшим событием в истории человечества. К сожалению, он может стать и последним, если мы не научимся избегать рисков». [94] Хокинг считал, что в ближайшие десятилетия ИИ может предложить «неисчислимые выгоды и риски», такие как «технологии, которые превзойдут финансовые рынки, превзойдут исследователей-людей, превзойдут манипулирование человеческими лидерами и разработают оружие, которое мы даже не можем понять». [94] Хокинг предположил, что к искусственному интеллекту следует относиться более серьезно и что нужно больше делать для подготовки к сингулярности: [94]

Итак, сталкиваясь с возможным будущим неисчислимых выгод и рисков, эксперты наверняка делают все возможное, чтобы обеспечить наилучший результат, верно? Неправильно. Если бы превосходящая инопланетная цивилизация послала нам сообщение со словами: «Мы прибудем через несколько десятилетий», мы бы просто ответили: «Хорошо, позвоните нам, когда прибудете, мы оставим свет включенным»? Вероятно, нет, но это примерно то, что происходит с ИИ.

Берглас (2008) утверждает, что нет прямой эволюционной мотивации для того, чтобы ИИ был дружелюбен к людям. Эволюция не имеет присущей тенденции производить результаты, ценимые людьми, и нет никаких оснований ожидать, что произвольный процесс оптимизации будет способствовать желаемому человечеством результату, а не непреднамеренно приведет к тому, что ИИ будет вести себя не так, как предполагали его создатели. [95] [96] [97] Андерс Сандберг также подробно остановился на этом сценарии, рассмотрев различные распространенные контраргументы. [98] Исследователь ИИ Уго де Гарис предполагает, что искусственный интеллект может просто устранить человеческую расу ради доступа к дефицитным ресурсам , [58] [99] и люди будут бессильны остановить его. [100] В качестве альтернативы ИИ, разработанные под эволюционным давлением для содействия собственному выживанию, могут превзойти человечество. [62]

Бостром (2002) обсуждает сценарии вымирания человечества и называет сверхразум возможной причиной:

Когда мы создаем первую сверхразумную сущность, мы можем совершить ошибку и дать ей цели, которые приведут к уничтожению человечества, предполагая, что ее огромное интеллектуальное преимущество дает ей силу сделать это. Например, мы можем ошибочно возвысить подцель до статуса сверхцели. Мы говорим ей решить математическую задачу, и она подчиняется, превращая всю материю в солнечной системе в гигантское вычислительное устройство, в процессе убивая человека, задавшего вопрос.

По словам Элиезера Юдковски , существенной проблемой безопасности ИИ является то, что недружелюбный искусственный интеллект, вероятно, будет гораздо проще создать, чем дружественный ИИ. Хотя оба требуют больших успехов в разработке процесса рекурсивной оптимизации, дружественный ИИ также требует способности делать структуры целей инвариантными при самосовершенствовании (иначе ИИ может трансформироваться во что-то недружелюбное) и структуру целей, которая соответствует человеческим ценностям и не уничтожает автоматически человеческую расу. Недружелюбный ИИ, с другой стороны, может оптимизироваться для произвольной структуры целей, которая не обязательно должна быть инвариантной при самомодификации. [101] Билл Хиббард (2014) предлагает дизайн ИИ, который избегает нескольких опасностей, включая самообман, [102] непреднамеренные инструментальные действия, [56] [103] и коррупцию генератора вознаграждений. [103] Он также обсуждает социальные последствия ИИ [104] и тестирование ИИ. [105] Его книга 2001 года «Сверхразумные машины» отстаивает необходимость общественного образования в области ИИ и общественного контроля над ИИ. В ней также предлагается простая конструкция, которая уязвима для искажения генератора вознаграждения.

Следующий шаг социобиологической эволюции

Схематическая временная шкала информации и репликаторов в биосфере: « Основные эволюционные переходы » Джиллингса и др. в обработке информации. [106]
Объем цифровой информации во всем мире (5 × 1021 байт) по сравнению с информацией о геноме человека во всем мире (10 19 байт) в 2014 году [106]

Хотя технологическая сингулярность обычно рассматривается как внезапное событие, некоторые ученые утверждают, что нынешняя скорость изменений уже соответствует этому описанию. [ необходима цитата ]

Кроме того, некоторые утверждают, что мы уже находимся в середине крупного эволюционного перехода , который объединяет технологию, биологию и общество. Цифровые технологии проникли в структуру человеческого общества до степени неоспоримой и часто поддерживающей жизнь зависимости.

В статье 2016 года в журнале Trends in Ecology & Evolution утверждается, что «люди уже принимают слияние биологии и технологий. Мы проводим большую часть своего времени бодрствования, общаясь по цифровым каналам... мы доверяем искусственный интеллект в своих жизнях посредством антиблокировочной системы тормозов в автомобилях и автопилота в самолетах... Поскольку каждое третье ухаживание, приводящее к браку в Америке, начинается онлайн, цифровые алгоритмы также играют роль в формировании и воспроизводстве человеческих пар».

В статье далее утверждается, что с точки зрения эволюции , несколько предыдущих крупных переходов в эволюции преобразили жизнь посредством инноваций в хранении и репликации информации ( РНК , ДНК , многоклеточность , культура и язык ). На текущем этапе эволюции жизни углеродная биосфера создала систему (людей), способную создавать технологии, которые приведут к сопоставимому эволюционному переходу .

Цифровая информация, созданная людьми, достигла аналогичной величины биологической информации в биосфере. С 1980-х годов количество хранимой цифровой информации удваивалось примерно каждые 2,5 года, достигнув около 5 зеттабайт в 2014 году (5 × 1021 байт). [107]

В биологическом плане на планете 7,2 миллиарда человек, и у каждого из них геном из 6,2 миллиарда нуклеотидов. Поскольку один байт может кодировать четыре пары нуклеотидов, индивидуальные геномы каждого человека на планете могут быть закодированы примерно 1 × 1019 байт. Цифровая реальность хранила в 500 раз больше информации, чем в 2014 году (см. рисунок). Общее количество ДНК, содержащееся во всех клетках на Земле, оценивается примерно в 5,3 × 1037 пар оснований, что эквивалентно 1,325 × 1037 байт информации.

Если рост цифрового хранения продолжится с нынешним темпом в 30–38% годового прироста в год, [49] он будет конкурировать с общим информационным содержанием, содержащимся во всех ДНК во всех клетках на Земле примерно через 110 лет. Это будет означать удвоение объема информации, хранящейся в биосфере в течение всего лишь 150 лет». [106]

Последствия для человеческого общества

В феврале 2009 года под эгидой Ассоциации по развитию искусственного интеллекта (AAAI) Эрик Хорвиц председательствовал на встрече ведущих компьютерных ученых, исследователей искусственного интеллекта и робототехников в конференц-центре Asilomar в Пасифик-Гроув, Калифорния. Целью было обсудить потенциальное влияние гипотетической возможности того, что роботы могут стать самодостаточными и способными принимать собственные решения. Они обсудили, в какой степени компьютеры и роботы могут обрести автономию , и в какой степени они могут использовать такие способности для создания угроз или опасностей. [108]

Некоторые машины запрограммированы на различные формы полуавтономии, включая способность находить собственные источники питания и выбирать цели для атаки оружием. Кроме того, некоторые компьютерные вирусы могут избегать уничтожения и, по словам присутствовавших ученых, можно сказать, что они достигли «таракановой» стадии машинного интеллекта. Участники конференции отметили, что самосознание, как оно изображено в научной фантастике, вероятно, маловероятно, но существуют другие потенциальные опасности и ловушки. [108]

Фрэнк С. Робинсон предсказывает, что как только люди создадут машину с интеллектом человека, научные и технологические проблемы будут решаться и решаться с помощью интеллекта, намного превосходящего человеческий. Он отмечает, что искусственные системы способны обмениваться данными более напрямую, чем люди, и предсказывает, что это приведет к глобальной сети сверхразума, которая затмит человеческие возможности. [109] Робинсон также обсуждает, насколько сильно может отличаться будущее после такого взрыва интеллекта.

Жесткий и мягкий взлет

В этом примере рекурсивного сценария самосовершенствования люди, изменяющие архитектуру ИИ, смогут удваивать ее производительность каждые три года, например, через 30 поколений, прежде чем исчерпать все возможные улучшения (слева). Если вместо этого ИИ достаточно умен, чтобы изменять свою собственную архитектуру так же, как это могут делать исследователи-люди, то время, необходимое для завершения редизайна, уменьшается вдвое с каждым поколением, и он проходит все 30 возможных поколений за шесть лет (справа). [110]

В сценарии жесткого взлета искусственный суперинтеллект быстро самосовершенствуется, «беря под контроль» мир (возможно, в течение нескольких часов), слишком быстро для существенного исправления ошибок, инициированного человеком, или для постепенной настройки целей агента. В сценарии мягкого взлета ИИ все еще становится намного могущественнее человечества, но в темпе, подобном человеческому (возможно, порядка десятилетий), в масштабе времени, когда постоянное человеческое взаимодействие и исправление могут эффективно направлять развитие ИИ. [111] [112]

Рамез Наам выступает против жесткого взлета. Он указал, что мы уже видим рекурсивное самосовершенствование сверхразумов, таких как корпорации. Например, Intel имеет «коллективную интеллектуальную мощь десятков тысяч людей и, вероятно, миллионы ядер ЦП, чтобы... разрабатывать лучшие ЦП!» Однако это не привело к жесткому взлету; скорее, это привело к мягкому взлету в форме закона Мура . [113] Наам далее указывает, что вычислительная сложность высшего интеллекта может быть намного больше линейной, так что «создание разума интеллекта 2, вероятно, более чем в два раза сложнее, чем создание разума интеллекта 1» . [114]

Дж. Сторрс Холл считает, что «многие из наиболее часто встречающихся сценариев для резкого взлета за одну ночь являются циклическими — они, по-видимому, предполагают сверхчеловеческие возможности в начальной точке процесса самосовершенствования», чтобы ИИ мог вносить существенные, общедоменные улучшения, необходимые для взлета. Холл предполагает, что вместо того, чтобы рекурсивно улучшать свое оборудование, программное обеспечение и инфраструктуру самостоятельно, начинающему ИИ было бы лучше специализироваться в одной области, где он наиболее эффективен, а затем покупать оставшиеся компоненты на рынке, потому что качество продуктов на рынке постоянно улучшается, и ИИ будет трудно идти в ногу с передовыми технологиями, используемыми остальным миром. [115]

Бен Герцель согласен с предположением Холла, что новый ИИ человеческого уровня будет хорошо использовать свой интеллект для накопления богатства. Таланты ИИ могут вдохновить компании и правительства на распространение его программного обеспечения по всему обществу. Герцель скептически относится к жесткому пятиминутному взлету, но предполагает, что взлет с человеческого до сверхчеловеческого уровня в течение порядка пяти лет является разумным. Он называет этот сценарий «полужестким взлетом». [116]

Макс Мор не согласен, утверждая, что если бы было всего несколько сверхбыстрых [ требуется разъяснение ] ИИ человеческого уровня, то они бы не изменили мир радикально, поскольку они все равно зависели бы от других людей, чтобы что-то сделать, и все равно имели бы человеческие когнитивные ограничения. Даже если бы все сверхбыстрые ИИ работали над усилением интеллекта, неясно, почему они преуспели бы прерывистым образом, чем существующие ученые-когнитивисты, в создании сверхчеловеческого интеллекта, хотя скорость прогресса увеличилась бы. Мор далее утверждает, что сверхразум не преобразит мир в одночасье: сверхразум должен был бы взаимодействовать с существующими, медленными человеческими системами, чтобы оказывать физическое воздействие на мир. «Необходимость сотрудничества, организации и внедрения идей в физические изменения гарантирует, что все старые правила не будут выброшены в одночасье или даже в течение лет». [117]

Отношение к бессмертию и старению

Дрекслер (1986), один из основателей нанотехнологий , постулирует устройства для ремонта клеток, включая те, которые работают внутри клеток и используют пока еще гипотетические биологические машины . [118] По словам Ричарда Фейнмана , именно его бывший аспирант и соратник Альберт Хиббс изначально предложил ему (около 1959 года) идею медицинского использования теоретических микромашин Фейнмана. Хиббс предположил, что некоторые машины для ремонта могут быть однажды уменьшены в размерах до такой степени, что теоретически будет возможно (как выразился Фейнман) « проглотить доктора ». Эта идея была включена в эссе Фейнмана 1959 года «На дне много места » . [119]

Моравек (1988) [35] предсказывает возможность «загрузки» человеческого разума в человекоподобного робота, достигая квазибессмертия за счет чрезвычайной долговечности путем передачи человеческого разума между последовательными новыми роботами по мере износа старых; кроме того, он предсказывает последующее экспоненциальное ускорение субъективного восприятия времени, приводящее к субъективному чувству бессмертия.

Курцвейл (2005) предполагает, что медицинские достижения позволят людям защитить свои тела от последствий старения, сделав продолжительность жизни безграничной . Курцвейл утверждает, что технологические достижения в медицине позволят нам постоянно восстанавливать и заменять дефектные компоненты в наших телах, продлевая жизнь до неопределенного возраста. [120] Курцвейл далее подкрепляет свой аргумент, обсуждая текущие достижения биоинженерии. Курцвейл предлагает соматическую генную терапию ; после синтетических вирусов с определенной генетической информацией следующим шагом будет применение этой технологии в генной терапии, заменяя человеческую ДНК синтезированными генами. [121]

Помимо простого продления срока службы физического тела, Джарон Ланье выступает за форму бессмертия, называемую «цифровым вознесением», которая подразумевает, что «люди умирают во плоти, загружаются в компьютер и остаются в сознании». [122]

История концепции

В статье Махендры Прасада, опубликованной в журнале AI Magazine , утверждается, что математик XVIII века маркиз де Кондорсе был первым человеком, который выдвинул гипотезу и математически смоделировал взрыв интеллекта и его влияние на человечество. [123]

Раннее описание этой идеи было сделано в рассказе Джона У. Кэмпбелла «Последняя эволюция» 1932 года. [124]

В некрологе 1958 года, посвященном Джону фон Нейману , Улам вспомнил разговор с фон Нейманом о «постоянно ускоряющемся прогрессе технологий и изменениях в образе жизни человека, что создает видимость приближения некой существенной сингулярности в истории расы, за пределами которой человеческие дела, какими мы их знаем, не могут продолжаться». [6]

В 1965 году Гуд написал эссе, в котором постулировал «взрыв интеллекта» рекурсивного самосовершенствования машинного интеллекта. [18] [19]

В 1977 году Ганс Моравец написал статью с неясным статусом публикации, в которой он представил себе разработку самосовершенствующихся мыслящих машин, создание «сверхсознания, синтеза земной жизни, а также, возможно, жизни на Юпитере и Марсе, постоянно совершенствующегося и расширяющегося, распространяющегося за пределы Солнечной системы, преобразующего не-жизнь в разум». [125] [126] В статье описывается загрузка человеческого разума, позднее рассмотренная в работе Моравеца (1988). Ожидается, что машины достигнут человеческого уровня, а затем улучшат себя сверх этого («Самое важное, что их [машины] можно будет использовать в качестве программистов и инженеров, с задачей оптимизации программного обеспечения и оборудования, которые делают их такими, какие они есть. Последующие поколения машин, произведенных таким образом, будут все более умными и более экономически эффективными»). Люди больше не будут нужны, и их способности будут захвачены машинами: «В долгосрочной перспективе явная физическая неспособность людей идти в ногу с этим быстро развивающимся потомством наших умов гарантирует, что соотношение людей и машин приблизится к нулю, и что прямой потомок нашей культуры, но не наших генов, унаследует вселенную». Хотя слово «сингулярность» не используется, понятие мыслящих машин человеческого уровня, которые впоследствии улучшат себя сверх человеческого уровня, присутствует. С этой точки зрения, нет взрыва интеллекта в смысле очень быстрого увеличения интеллекта после достижения человеческого эквивалента. Обновленная версия статьи была опубликована в 1979 году в Analog Science Fiction and Fact . [127] [126]

В 1981 году Станислав Лем опубликовал свой научно-фантастический роман «Голем XIV» . В нем описывается военный компьютер с искусственным интеллектом (Голем XIV), который обретает сознание и начинает увеличивать свой собственный интеллект, двигаясь к личной технологической сингулярности. Голем XIV изначально был создан, чтобы помогать своим строителям в ведении войн, но по мере того, как его интеллект достигает гораздо более высокого уровня, чем у людей, он перестает интересоваться военными требованиями, поскольку находит их лишенными внутренней логической последовательности.

В 1983 году Вернор Виндж обратился к взрыву интеллекта Гуда в печатном издании журнала Omni за январь 1983 года . В этой статье Виндж, похоже, был первым, кто использовал термин «сингулярность» (хотя и не «технологическая сингулярность») в том смысле, который был конкретно связан с созданием интеллектуальных машин: [8] [126]

Мы скоро создадим интеллект, превосходящий наш собственный. Когда это произойдет, человеческая история достигнет своего рода сингулярности, интеллектуального перехода, столь же непроницаемого, как запутанное пространство-время в центре черной дыры, и мир выйдет далеко за пределы нашего понимания. Эта сингулярность, я полагаю, уже преследует многих писателей-фантастов. Она делает реалистичную экстраполяцию на межзвездное будущее невозможной. Чтобы написать историю, действие которой происходит более чем через столетие, нужна ядерная война между ними... чтобы мир оставался понятным.

В 1985 году в работе «Временная шкала искусственного интеллекта» исследователь искусственного интеллекта Рэй Соломонофф математически сформулировал связанное с этим понятие того, что он назвал «точкой бесконечности»: если исследовательскому сообществу самосовершенствующихся ИИ человеческого уровня потребуется четыре года, чтобы удвоить свою скорость, затем два года, затем один год и так далее, их возможности возрастут бесконечно за конечное время. [7] [128]

В 1986 году Вернор Виндж опубликовал Marooned in Realtime , научно-фантастический роман, в котором несколько оставшихся людей, путешествующих в будущее, пережили неизвестное событие вымирания, которое вполне может быть сингулярностью. В коротком послесловии автор утверждает, что настоящая технологическая сингулярность не станет концом человеческого вида: «конечно, кажется очень маловероятным, что Сингулярность будет полным исчезновением человеческой расы. (С другой стороны, такое исчезновение является временным аналогом тишины, которую мы обнаруживаем по всему небу.)». [129] [130]

В 1988 году Виндж использовал фразу «технологическая сингулярность» (включая «технологический») в сборнике рассказов « Угрозы и другие обещания» , написав во введении к своему рассказу «Вихрь времени» (стр. 72): За исключением всемирной катастрофы, я верю, что технология осуществит наши самые смелые мечты, и скоро. Когда мы повысим свой собственный интеллект и интеллект наших творений, мы больше не будем находиться в мире персонажей человеческого размера. В этот момент мы попадаем в технологическую «черную дыру», технологическую сингулярность. [131]

В 1988 году Ганс Моравек опубликовал книгу «Дети разума » [35] , в которой он предсказал интеллект человеческого уровня в суперкомпьютерах к 2010 году, самосовершенствующиеся интеллектуальные машины, намного превосходящие человеческий интеллект позже, загрузку человеческого разума в человекоподобных роботов позже, интеллектуальные машины, оставляющие людей позади, и космическую колонизацию. Он, однако, не упомянул «сингулярность», и он не говорил о быстром взрыве интеллекта сразу после достижения человеческого уровня. Тем не менее, общий тон сингулярности присутствует в предсказании как искусственного интеллекта человеческого уровня, так и дальнейшего искусственного интеллекта, намного превосходящего людей позже.

Статья Винджа 1993 года «Грядущая технологическая сингулярность: как выжить в постчеловеческую эпоху» [4] широко распространилась в Интернете и способствовала популяризации этой идеи. [132] В этой статье содержится утверждение: «В течение тридцати лет у нас появятся технологические средства для создания сверхчеловеческого интеллекта. Вскоре после этого человеческая эра закончится». Виндж утверждает, что авторы научной фантастики не могут создавать реалистичных персонажей постсингулярности, которые превосходят человеческий интеллект, поскольку мысли такого интеллекта будут за пределами способности людей выражать. [4]

В статье Мински 1994 года говорится, что роботы «унаследуют Землю», возможно, с использованием нанотехнологий, и предлагается думать о роботах как о человеческих «детях разума», проводя аналогию с Моравец. Риторический эффект этой аналогии заключается в том, что если люди могут передать мир своим биологическим детям, они должны быть столь же способны передать его роботам, своим «детям разума». По словам Мински, «мы могли бы спроектировать наших «детей разума», чтобы они думали в миллион раз быстрее, чем мы. Для такого существа полминуты могут показаться такими же длинными, как один наш год, а каждый час — как вся человеческая жизнь». Особенностью сингулярности, представленной в Мински, является развитие сверхчеловеческого искусственного интеллекта («в миллион раз быстрее»), но нет никаких разговоров о внезапном взрыве интеллекта, самосовершенствующихся мыслящих машинах или непредсказуемости за пределами какого-либо конкретного события, и слово «сингулярность» не используется. [133]

В книге Типлера 1994 года «Физика бессмертия» предсказывается будущее, в котором сверхразумные машины будут создавать невероятно мощные компьютеры, людей будут «имитировать» в компьютерах, жизнь охватит каждую галактику, а люди обретут бессмертие, достигнув точки Омега . [134] Не говорится о «сингулярности» Винджа или внезапном взрыве интеллекта, но интеллект, намного превосходящий человеческий, существует, равно как и бессмертие.

В 1996 году Юдковски предсказал сингулярность к 2021 году . [20] Его версия сингулярности предполагает взрыв интеллекта: как только ИИ начинают проводить исследования для своего совершенствования, скорость удваивается через 2 года, затем через год — в 1 раз, затем через 6 месяцев, затем через 3 месяца, затем через 1,5 месяца и после большего количества итераций достигается «сингулярность». [20] Эта конструкция подразумевает, что скорость достигает бесконечности за конечное время.

В 2000 году Билл Джой , известный технолог и соучредитель Sun Microsystems , выразил обеспокоенность по поводу потенциальной опасности робототехники, генной инженерии и нанотехнологий. [54]

В 2005 году Курцвейл опубликовал книгу «Сингулярность уже близко» . Рекламная кампания Курцвейла включала появление на The Daily Show с Джоном Стюартом . [135]

С 2006 по 2012 год ежегодная конференция Singularity Summit была организована Институтом исследований машинного интеллекта , основанным Элиезером Юдковски .

В 2007 году Юдковски предположил, что многие из различных определений, которые были даны «сингулярности», являются взаимно несовместимыми, а не взаимодополняющими. [30] [136] Например, Курцвейл экстраполирует текущие технологические траектории за пределы появления самосовершенствующегося ИИ или сверхчеловеческого интеллекта, что, по мнению Юдковски, представляет собой противоречие как с предложенным И. Дж. Гудом прерывистым подъемом интеллекта, так и с тезисом Винджа о непредсказуемости. [30]

В 2009 году Курцвейл и основатель X-Prize Питер Диамандис объявили о создании Singularity University , неаккредитованного частного института, чья заявленная миссия заключается в «обучении, вдохновении и расширении прав и возможностей лидеров для применения экспоненциальных технологий для решения грандиозных задач человечества». [137] Финансируемый Google , Autodesk , ePlanet Ventures и группой лидеров технологической отрасли , Singularity University базируется в исследовательском центре Эймса NASA в Маунтин -Вью , Калифорния . Некоммерческая организация проводит ежегодную десятинедельную программу для выпускников летом, которая охватывает десять различных технологических и смежных направлений, а также ряд программ для руководителей в течение года.

В политике

В 2007 году Объединенный экономический комитет Конгресса США опубликовал отчет о будущем нанотехнологий. Он предсказывает значительные технологические и политические изменения в среднесрочном будущем, включая возможную технологическую сингулярность. [138] [139] [140]

Бывший президент США Барак Обама говорил о сингулярности в своем интервью журналу Wired в 2016 году: [141]

Одна вещь, о которой мы не говорили слишком много, и я просто хочу вернуться к ней, это то, что нам действительно нужно продумать экономические последствия. Потому что большинство людей сейчас не тратят много времени на беспокойство о сингулярности — они беспокоятся о том, «Ну, а мою работу заменит машина?»

Смотрите также

Ссылки

Цитаты

  1. ^ Кэдвалладр, Кэрол (22 февраля 2014 г.). «Роботы вот-вот восстанут? Новый директор по инжинирингу Google так думает…». The Guardian . Получено 8 мая 2022 г.
  2. ^ "Сборник источников, определяющих "сингулярность"". singularitysymposium.com . Архивировано из оригинала 17 апреля 2019 . Получено 17 апреля 2019 .
  3. ^ ab Eden, Amnon H.; Moor, James H.; Søraker, Johnny H.; Steinhart, Eric, ред. (2012). Гипотезы сингулярности: научная и философская оценка. Коллекция Frontiers. Дордрехт: Springer. стр. 1–2. doi :10.1007/978-3-642-32560-1. ISBN 9783642325601.
  4. ^ abcdefgh Виндж, Вернор. «Грядущая технологическая сингулярность: как выжить в эпоху постчеловечества» Архивировано 10 апреля 2018 г. в Wayback Machine , в Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace , GA Landis, ed., NASA Publication CP-10129, стр. 11–22, 1993 г. - «Могут быть разработаны компьютеры, которые «бодрствуют» и обладают сверхчеловеческим интеллектом. (До настоящего времени было много споров о том, можем ли мы создать эквивалент человека в машине. Но если ответ «да, можем», то нет никаких сомнений в том, что вскоре после этого можно будет сконструировать более разумных существ.)»
  5. ^ «Технологическая сингулярность» Мюррея Шанахана (Издательство Массачусетского технологического института, 2015), стр. 233.
  6. ^ abc Ulam, Stanislaw (май 1958 г.). «Дань памяти Джону фон Нейману» (PDF) . Бюллетень Американского математического общества . 64, № 3, часть 2: 5. Архивировано (PDF) из оригинала 15 февраля 2021 г. . Получено 7 ноября 2018 г. .
  7. ^ abcdef Чалмерс , Дэвид Дж. (2010). «Сингулярность: философский анализ» (PDF) . Журнал исследований сознания . 17 (9–10): 7–65.
  8. ^ ab Дулинг, Ричард. Восторг для гиков: когда ИИ перехитрит IQ (2008), стр. 88
  9. ^ Sparkes, Matthew (13 января 2015 г.). «Ведущие ученые призывают к осторожности в отношении искусственного интеллекта». The Telegraph (Великобритания) . Архивировано из оригинала 7 апреля 2015 г. Получено 24 апреля 2015 г.
  10. ^ "Хокинг: ИИ может положить конец человеческой расе". BBC. 2 декабря 2014 г. Архивировано из оригинала 30 октября 2015 г. Получено 11 ноября 2017 г.
  11. ^ abc Allen, Paul G.; Greaves, Mark (12 октября 2011 г.), «Paul Allen: The Singularity Isn't Near», MIT Technology Review , получено 12 апреля 2015 г.
  12. ^ abcdefghi "Tech Luminaries Address Singularity". IEEE Spectrum . 1 июня 2008 г. Архивировано из оригинала 30 апреля 2019 г. Получено 9 сентября 2011 г.
  13. ^ abc Модис, Теодор (2012). «Почему сингулярность не может произойти». Опубликовано в Eden, Amnon H. et al (Eds.) (2012). Гипотеза сингулярности (PDF) . Нью-Йорк: Springer. стр. 311. ISBN 978-3-642-32560-1.стр. 311–339.
  14. ^ Эрлих, Пол. «Пол Эрлих: Доминирующее животное: эволюция человека и окружающая среда – долгое настоящее». longnow.org . Получено 14 июня 2023 г. .
  15. ^ "Businessweek – Bloomberg". Bloomberg.com . 20 апреля 2023 г. . Получено 14 июня 2023 г. .
  16. ^ ab Ямпольский, Роман В. «Анализ типов самосовершенствующегося программного обеспечения». Artificial General Intelligence. Springer International Publishing, 2015. С. 384–393.
  17. ^ Элиезер Юдковски . Общий интеллект и создание ИИ-совершённых умов, способных к неограниченному самосовершенствованию , 2001.
  18. ^ abc Good, IJ (1965), Размышления о первой сверхразумной машине, архивировано из оригинала 27 мая 2001 г.
  19. ^ ab Good, IJ (1965), Размышления о первой сверхразумной машине (PDF) , заархивировано из оригинала (PDF) 1 мая 2012 г.
  20. ^ abcde Юдковский, Элиезер (1996). "Вглядываясь в сингулярность". Архивировано из оригинала 21 октября 2008 года.
  21. ^ Чалмерс, Дэвид Дж. (2016). «Сингулярность: философский анализ». Научная фантастика и философия: от путешествий во времени к сверхразуму (2-е изд.). Wiley. С. 171–224. ISBN 978-1-118-92261-3.
  22. Рэй Курцвейл, Сингулярность близка, стр. 135–136. Penguin Group, 2005.
  23. ^ Сотала, Кай; Ямпольский, Роман (2017). «Риски путешествия к сингулярности». Технологическая сингулярность . Коллекция Frontiers. Берлин и Гейдельберг, Германия: Springer Berlin Heidelberg. С. 11–23. doi :10.1007/978-3-662-54033-6_2. ISBN 978-3-662-54031-2.
  24. ^ ab "Что такое Сингулярность? | Институт Сингулярности по Искусственному Интеллекту". Singinst.org. Архивировано из оригинала 8 сентября 2011 г. Получено 9 сентября 2011 г.
  25. ^ Чалмерс, Дэвид Дж. (2016). «Сингулярность». Научная фантастика и философия . John Wiley & Sons, Inc. стр. 171–224. doi :10.1002/9781118922590.ch16. ISBN 9781118922590.
  26. ^ Пирс, Дэвид (2012), Эден, Амнон Х.; Мур, Джеймс Х.; Сёракер, Джонни Х.; Стейнхарт, Эрик (ред.), «Взрыв биоинтеллекта», Гипотезы сингулярности , The Frontiers Collection, Берлин и Гейдельберг, Германия: Springer Berlin Heidelberg, стр. 199–238, doi :10.1007/978-3-642-32560-1_11, ISBN 978-3-642-32559-5, получено 16 января 2022 г.
  27. ^ Gouveia, Steven S., ред. (2020). "гл. 4, "Люди и интеллектуальные машины: коэволюция, слияние или замена?", Дэвид Пирс". Эпоха искусственного интеллекта: исследование . Vernon Press. ISBN 978-1-62273-872-4.
  28. ^ Хансон, Робин (2016). Эпоха Эм. Оксфорд, Англия: Oxford University Press. стр. 528. ISBN 9780198754626.
  29. ^ Холл, Джош (2010). «Сингулярность: нанотехнологии или ИИ?». Hplusmagazine.com. Архивировано из оригинала 23 декабря 2010 года . Получено 9 сентября 2011 года .
  30. ^ abc Юдковский, Элиезер (2007), Сингулярность: три основные школы, архивировано из оригинала 1 октября 2018 г.
  31. ^ Сандберг, Андерс . Обзор моделей технологической сингулярности Архивировано 24 июля 2011 г. на Wayback Machine
  32. ^ "Список анализов времени до ИИ человеческого уровня". Влияние ИИ . 22 января 2015 г. Получено 14 июня 2023 г.
  33. ^ Курцвейл, Рэй (2005). Сингулярность уже близко . Penguin Group. стр. 120.
  34. ^ Риди, Кристианна (2017). «Курцвейл утверждает, что сингулярность наступит к 2045 году». Футуризм . Получено 14 июня 2023 г.
  35. ^ abc Ганс Моравец, Дети разума , 1988
  36. ^ Моравец, Ханс П. (1998). Робот: от простой машины до трансцендентного разума. Oxford University Press, США.
  37. ^ Хатчадурян, Раффи (16 ноября 2015 г.). «Изобретение Судного дня». The New Yorker . Архивировано из оригинала 29 апреля 2019 г. Получено 31 января 2018 г.
  38. ^ Мюллер, В. К. и Бостром, Н. (2016). «Будущий прогресс в области искусственного интеллекта: обзор мнений экспертов». В VC Müller (ред.): Фундаментальные вопросы искусственного интеллекта (стр. 555–572). Берлин, Германия: Springer Berlin. http://philpapers.org/rec/MLLFPI Архивировано 2019-03-02 в Wayback Machine .
  39. ^ "Who's Who In The Singularity". IEEE Spectrum . 1 июня 2008 г. Архивировано из оригинала 12 марта 2016 г. Получено 9 сентября 2011 г.
  40. ^ Хансон, Робин (1998). «Некоторый скептицизм». Архивировано из оригинала 15 февраля 2021 г. Получено 8 апреля 2020 г.
  41. Лекция Дэвида Чалмерса Джона Локка, 10 мая 2009 г., Экзаменационные школы, Оксфорд, представляющая философский анализ возможности технологической сингулярности или «взрыва интеллекта» в результате рекурсивного самосовершенствования ИИ. Архивировано 15 января 2013 г. на Wayback Machine .
  42. ^ "ITRS" (PDF) . Архивировано из оригинала (PDF) 29 сентября 2011 . Получено 9 сентября 2011 .
  43. ^ Шульман, Карл; Андерс, Сандберг (2010). "Последствия ограниченной программным обеспечением сингулярности" (PDF) . Исследовательский институт машинного интеллекта .
  44. ^ Грейс, Катя; Сальватье, Джон; Дефо, Аллан; Чжан, Баобао; Эванс, Оуайн (24 мая 2017 г.). «Когда ИИ превзойдет возможности человека? Данные экспертов по ИИ». arXiv : 1705.08807 [cs.AI].
  45. ^ Siracusa, John (31 августа 2009 г.). "Mac OS X 10.6 Snow Leopard: обзор Ars Technica". Ars Technica . Архивировано из оригинала 3 сентября 2011 г. . Получено 9 сентября 2011 г. .
  46. ^ Моравек, Ганс (1999). Робот: от простой машины до трансцендентного разума. Oxford University Press. стр. 61. ISBN 978-0-19-513630-2.
  47. ^ Рэй Курцвейл, Эпоха духовных машин , Viking; 1999, ISBN 978-0-14-028202-3 . стр. 30, 32 Архивировано 15 февраля 2021 г. на Wayback Machine 
  48. ^ ab Ray Kurzweil, Сингулярность уже близко , Penguin Group, 2005
  49. ^ ab «Технологические возможности мира по хранению, передаче и вычислению информации» Архивировано 27 июля 2013 г. на Wayback Machine , Мартин Хильберт и Присцила Лопес (2011), Science , 332 (6025), стр. 60–65; свободный доступ к статье через: martinhilbert.net/WorldInfoCapacity.html.
  50. ^ Коротаев, Андрей В.; ЛеПуар, Дэвид Дж., ред. (2020). «Сингулярность 21-го века и глобальное будущее». Эволюция мировых систем и глобальное будущее . doi :10.1007/978-3-030-33730-8. ISBN 978-3-030-33729-2. ISSN  2522-0985. S2CID  241407141.
  51. Рэй Курцвейл, Сингулярность уже близко, стр. 9. Penguin Group, 2005
  52. Рэй Курцвейл, Сингулярность уже близко , стр. 135–136. Penguin Group, 2005. «Итак, в начале 2030 - х годов мы будем производить около 1026–1029 cps небиологических вычислений в год. Это примерно равно нашей оценке мощности всего живого биологического человеческого интеллекта... Однако это состояние вычислений в начале 2030-х годов не будет представлять Сингулярность, поскольку оно еще не соответствует глубокому расширению нашего интеллекта. Однако к середине 2040-х годов эта тысяча долларов вычислений будет равна 1026 cps , поэтому интеллект, создаваемый в год (при общей стоимости около 1012 долларов ) , будет примерно в миллиард раз мощнее всего человеческого интеллекта сегодня. Это действительно будет представлять собой глубокое изменение, и именно по этой причине я установил дату Сингулярности — представляющую собой глубокую и разрушительную трансформацию человеческих возможностей — как 2045 год».
  53. ^ Курцвейл, Рэймонд (2001), «Закон ускорения возврата», Nature Physics , 4 (7), Lifeboat Foundation: 507, Bibcode : 2008NatPh...4..507B, doi : 10.1038/nphys1010 , заархивировано из оригинала 27 августа 2018 г. , извлечено 7 августа 2007 г..
  54. ^ ab Джой, Билл (апрель 2000 г.), «Почему будущее не нуждается в нас», Wired Magazine , т. 8, № 4, Viking Adult, ISBN 978-0-670-03249-5, архивировано из оригинала 5 февраля 2009 г. , извлечено 7 августа 2007 г. , Наши самые мощные технологии 21-го века — робототехника, генная инженерия и нанотехнологии — угрожают превратить людей в исчезающий вид.
  55. ^ Юдковский, Элиезер С. "Сила интеллекта". Юдковский. Архивировано из оригинала 3 октября 2018 года . Получено 9 сентября 2011 года .
  56. ^ ab Omohundro, Stephen M. (30 ноября 2007 г.). Wang, Pei; Goertzel, Ben; Franklin, Stan (ред.). ""The Basic AI Drives." Artificial General Intelligence, 2008 Transactions of the First AGI Conference, Vol. 171". Амстердам, Нидерланды: IOS. Архивировано из оригинала 17 сентября 2018 г. . Получено 20 августа 2010 г. .
  57. ^ "Искусственный общий интеллект: сейчас самое время". KurzweilAI. Архивировано из оригинала 4 декабря 2011 года . Получено 9 сентября 2011 года .
  58. ^ ab "Омохундро, Стивен М., "Природа самосовершенствующегося искусственного интеллекта". Self-Aware Systems. 21 января 2008 г. Веб-сайт. 07 января 2010 г.". 6 октября 2007 г. Архивировано из оригинала 12 июня 2018 г. Получено 20 августа 2010 г.
  59. ^ Баррат, Джеймс (2013). "6, "Четыре основных стремления"". Наше последнее изобретение (первое издание). Нью-Йорк: St. Martin's Press. С. 78–98. ISBN 978-0312622374.
  60. ^ "Макс Мор и Рэй Курцвейл о сингулярности". KurzweilAI. Архивировано из оригинала 21 ноября 2018 года . Получено 9 сентября 2011 года .
  61. ^ "Краткое резюме | Институт сингулярности по искусственному интеллекту". Singinst.org. Архивировано из оригинала 21 июня 2011 г. Получено 9 сентября 2011 г.
  62. ^ ab Bostrom, Nick (2004). «Будущее эволюции человека». Архивировано из оригинала 28 августа 2018 года . Получено 20 августа 2010 года .
  63. ^ Шульман, Карл; Сандберг, Андерс (2010). Майнцер, Клаус (ред.). "Implications of a Software-Limited Singularity" (PDF) . ECAP10: VIII Европейская конференция по вычислениям и философии . Архивировано (PDF) из оригинала 30 апреля 2019 г. . Получено 17 мая 2014 г. .
  64. ^ Muehlhauser, Luke; Salamon, Anna (2012). "Intelligence Explosion: Evidence and Import" (PDF) . В Eden, Amnon; Søraker, Johnny; Moor, James H.; Steinhart, Eric (ред.). Singularity Hypotheses: A Scientific and Philosophical Assessment . Springer. Архивировано (PDF) из оригинала 26 октября 2014 г. . Получено 28 августа 2018 г. .
  65. ^ Дрейфус и Дрейфус (2000). Разум превыше машины. Саймон и Шустер. стр. xiv. ISBN 9780743205511.: «Правда в том, что человеческий интеллект никогда не может быть заменен машинным интеллектом просто потому, что мы сами не являемся «думающими машинами» в том смысле, в котором этот термин обычно понимается».
  66. ^ Джон Р. Сирл, «Чего не может знать ваш компьютер», The New York Review of Books , 9 октября 2014 г., стр. 54: «[Компьютеры] буквально не имеют... никакого интеллекта, никакой мотивации, никакой автономии и никакого агентства. Мы проектируем их так, чтобы они вели себя так, как если бы у них были определенные виды психологии, но в соответствующих процессах или поведении нет никакой психологической реальности. ... [У] машины нет убеждений, желаний [или] мотиваций».
  67. ^ Хокинг, Стивен (2018). Краткие ответы на большие вопросы . Нью-Йорк: Bantam Books. стр. 161. ISBN 9781984819192. Некоторые говорят, что компьютеры никогда не смогут продемонстрировать настоящий интеллект, каким бы он ни был. Но мне кажется, что если очень сложные химические молекулы могут действовать в людях, делая их разумными, то столь же сложные электронные схемы могут также заставить компьютеры действовать разумным образом. И если они разумны, они, по-видимому, могут спроектировать компьютеры, которые будут иметь еще большую сложность и интеллект.
  68. ^ Форд, Мартин, Свет в туннеле: автоматизация, ускорение технологий и экономика будущего. Архивировано 06.09.2010 в Wayback Machine , Acculant Publishing, 2009, ISBN 978-1-4486-5981-4 
  69. ^ Маркофф, Джон (4 марта 2011 г.). «Армии дорогих юристов, замененные более дешевым программным обеспечением». The New York Times . Архивировано из оригинала 15 февраля 2021 г. Получено 25 февраля 2017 г.
  70. ^ Модис, Теодор (2002) «Прогнозирование роста сложности и изменений». Архивировано 15 февраля 2021 г. в Wayback Machine , Технологическое прогнозирование и социальные изменения , 69, № 4, 2002 г., стр. 377–404.
  71. ^ ab Huebner, Jonathan (2005) «Возможная тенденция к снижению мировых инноваций» Архивировано 22.03.2015 в Wayback Machine , Технологическое прогнозирование и социальные изменения , октябрь 2005 г., стр. 980–6
  72. ^ Krazit, Tom (26 сентября 2006 г.). «Intel обещает 80 ядер за пять лет». CNET News . Архивировано из оригинала 15 февраля 2021 г.
  73. ^ Модис, Теодор (2020). «Прогнозирование роста сложности и изменений — обновление». Опубликовано в Korotayev, Андрей; LePoire, Дэвид (ред.) (3 января 2020 г.). The 21st Century Singularity and Global Futures (1-е изд.). Springer. стр. 620. ISBN 978-3-030-33730-8.стр. 101–104.
  74. Модис, Теодор (май–июнь 2003 г.). «Пределы сложности и изменений». The Futurist. 37 (3): 26–32.
  75. ^ Модис, Теодор (2006) «Миф о сингулярности». Архивировано 15 февраля 2021 г. в Wayback Machine , Технологическое прогнозирование и социальные изменения , февраль 2006 г., стр. 104–112.
  76. ^ Модис, Теодор (1 марта 2022 г.). «Связи между энтропией, сложностью и технологической сингулярностью». Технологическое прогнозирование и социальные изменения . 176 : 121457. doi : 10.1016/j.techfore.2021.121457. ISSN  0040-1625. S2CID  245663426.
  77. ^ Шмидхубер, Юрген (2006), ИИ нового тысячелетия и конвергенция истории , arXiv : cs/0606081 , Bibcode :2006cs........6081S.
  78. ^ Тейнтер, Джозеф (1988) «Крах сложных обществ», архив 2015-06-07 в Wayback Machine (издательство Кембриджского университета)
  79. ^ Попытка рационально поразмышлять о сценарии сингулярности, автор Дуглас Хофштадтер, 2006, несанкционированная стенограмма.
  80. ^ Брукс, Дэвид (13 июля 2023 г.). «Мнение | «Человеческие существа скоро затмятся». The New York Times . ISSN  0362-4331 . Получено 2 августа 2023 г.
  81. ^ ab Lanier, Jaron (2013). «Who Owns the Future?». Нью-Йорк: Simon & Schuster . Архивировано из оригинала 13 мая 2016 года . Получено 2 марта 2016 года .
  82. ^ Уильям Д. Нордхаус , «Почему рост упадет» (рецензия на книгу Роберта Дж. Гордона « Взлет и падение американского роста: уровень жизни в США после гражданской войны» , Princeton University Press, 2016, ISBN 978-0691147727 , 762 стр., 39,95 долл. США), The New York Review of Books , т. LXIII, № 13 (18 августа 2016 г.), стр. 68. 
  83. Кэдвалладр, Кэрол (12 февраля 2017 г.), «Дэниел Деннетт: «Мне жаль каждый час, который я трачу на беспокойство о политике»», The Guardian.
  84. Майерс, П. З., Singularly Silly Singularity, архивировано из оригинала 28 февраля 2009 г. , извлечено 13 апреля 2009 г.
  85. ^ Келли, Кевин (2006). «Сингулярность всегда рядом». Technium . Получено 14 июня 2023 г.
  86. Бим, Алекс (24 февраля 2005 г.). «Сенсация сингулярности». The Boston Globe . Получено 15 февраля 2013 г.
  87. Грей, Джон (24 ноября 2011 г.). «На пути к бессмертию». The New York Review of Books . Получено 19 марта 2013 г.
  88. ^ Штрайтфельд, Дэвид (11 июня 2023 г.). «Кремниевая долина противостоит идее о том, что «сингулярность» уже здесь». New York Times . Получено 11 июня 2023 г.
  89. Hanson, Robin (1 июня 2008 г.), «Экономика сингулярности», Специальный отчет IEEE Spectrum: Сингулярность , заархивировано из оригинала 11 августа 2011 г. , извлечено 25 июля 2009 г.& Долгосрочный рост как последовательность экспоненциальных режимов. Архивировано 27 мая 2019 г. на Wayback Machine .
  90. ^ ab Юдковски, Элиезер (2008), Бостром, Ник; Чиркович, Милан (ред.), «Искусственный интеллект как положительный и отрицательный фактор глобального риска» (PDF) , Глобальные катастрофические риски , Oxford University Press: 303, Bibcode : 2008gcr..book..303Y, ISBN 978-0-19-857050-9, архивировано из оригинала (PDF) 7 августа 2008 г..
  91. ^ "Неопределенное будущее". theuncertainfuture.com; проект по будущим технологиям и моделированию мира . Архивировано из оригинала 30 апреля 2019 года . Получено 17 августа 2010 года .
  92. ^ Андерс Сандберг и Ник Бостром (2008). "Глобальный обзор катастрофических рисков (2008) Технический отчет 2008/1" (PDF) . Future of Humanity Institute. Архивировано из оригинала (PDF) 16 мая 2011 г.
  93. ^ "Экзистенциальные риски: анализ сценариев вымирания человечества и связанных с ними опасностей". nickbostrom.com . 2002. Архивировано из оригинала 27 апреля 2011 г. Получено 25 января 2006 г.
  94. ^ abc Хокинг, Стивен (1 мая 2014 г.). «Стивен Хокинг: «Трансцендентность» рассматривает последствия искусственного интеллекта – но достаточно ли мы серьезно относимся к ИИ?». The Independent . Архивировано из оригинала 25 сентября 2015 г. Получено 5 мая 2014 г.
  95. ^ Ник Бостром, «Этические проблемы в передовом искусственном интеллекте», архивировано 08.10.2018 в Wayback Machine , в Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence , том 2, ред. И. Смит и др., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, стр. 12–17.
  96. ^ Элиезер Юдковски : Искусственный интеллект как положительный и отрицательный фактор глобального риска Архивировано 11 июня 2012 г. на Wayback Machine . Черновик для публикации в Global Catastrophic Risk от 31 августа 2006 г., извлечено 18 июля 2011 г. (файл PDF).
  97. ^ Хэй, Ник (11 июня 2007 г.). «Устройство для коллекционирования марок». Блог SIAI . Институт сингулярности. Архивировано из оригинала 17 июня 2012 г. Получено 21 августа 2010 г.
  98. ^ Сандберг, Андерс (14 февраля 2011 г.). «Почему мы должны бояться Paperclipper». Andart . Получено 14 июня 2023 г. .
  99. ^ "Омохундро, Стивен М., "Базовые приводы ИИ". Искусственный общий интеллект, труды Первой конференции AGI 2008 г., под ред. Пей Вана, Бена Герцеля и Стэна Франклина. Том 171. Амстердам: IOS, 2008". 30 ноября 2007 г. Архивировано из оригинала 17 сентября 2018 г. Получено 20 августа 2010 г.
  100. ^ de Garis, Hugo (22 июня 2009 г.). «Грядущая война статей». Forbes . Получено 14 июня 2023 г. .
  101. ^ Юдковский, Элиезер С. (май 2004 г.). "Coherent Extrapolated Volition". Архивировано из оригинала 15 августа 2010 г.
  102. ^ Хиббард, Билл (2012), «Функции полезности на основе моделей», Журнал искусственного интеллекта , 3 (1): 1, arXiv : 1111.3934 , Bibcode : 2012JAGI....3....1H, doi : 10.2478/v10229-011-0013-5, S2CID  8434596.
  103. ^ ab Избегание непреднамеренного поведения ИИ. Архивировано 29.06.2013 в Wayback Machine Билл Хиббард. Труды 2012 года Пятой конференции по общему искусственному интеллекту, под ред. Джоша Бах, Бен Герцель и Мэтью Айкл. Эта статья получила премию Тьюринга 2012 года от Исследовательского института машинного интеллекта за лучшую статью по безопасности AGI. Архивировано 15.02.2021 в Wayback Machine .
  104. Хиббард, Билл (2008), «Технология разума и новый общественный договор», Журнал эволюции и технологий , 17 , архивировано из оригинала 15 февраля 2021 г. , извлечено 5 января 2013 г.
  105. ^ Поддержка принятия решений для безопасного проектирования ИИ|. Архивировано 15 февраля 2021 г. в Wayback Machine Билла Хиббарда. Труды 2012 г. Пятой конференции по общему искусственному интеллекту, ред. Йоша Бах, Бен Герцель и Мэтью Айкл.
  106. ^ abc Kemp, DJ; Hilbert, M.; Gillings, MR (2016). «Информация в биосфере: биологические и цифровые миры». Trends in Ecology & Evolution . 31 (3): 180–189. Bibcode :2016TEcoE..31..180G. doi :10.1016/j.tree.2015.12.013. PMID  26777788. S2CID  3561873. Архивировано из оригинала 4 июня 2016 года . Получено 24 мая 2016 года .
  107. ^ Гильберт, Мартин. «Количество информации» (PDF) .
  108. ^ ab Markoff, John (26 июля 2009 г.). «Ученые беспокоятся, что машины могут перехитрить человека». The New York Times . Архивировано из оригинала 1 июля 2017 г.
  109. ^ Робинсон, Фрэнк С. (27 июня 2013 г.). «Будущее человечества: обновление или замена?». The Humanist . Архивировано из оригинала 15 февраля 2021 г. Получено 1 мая 2020 г.
  110. ^ Элиезер Юдковски . «Искусственный интеллект как позитивный и негативный фактор глобального риска». Глобальные катастрофические риски (2008).
  111. ^ Бугай, Стефан Владимир и Бен Герцель. «Пять этических императивов и их значение для взаимодействия человека и AGI». Динамическая психология (2007).
  112. ^ Сотала, Кай и Роман В. Ямпольский. «Реакция на катастрофический риск AGI: опрос». Physica Scripta 90.1 (2014): 018001.
  113. ^ Наам, Рамез (2014). «Сингулярность дальше, чем кажется». Архивировано из оригинала 17 мая 2014 года . Получено 16 мая 2014 года .
  114. ^ Наам, Рамез (2014). «Почему ИИ не вознесутся в мгновение ока – немного математики». Архивировано из оригинала 17 мая 2014 года . Получено 16 мая 2014 года .
  115. ^ Холл, Дж. Сторрс (2008). «Инженерная утопия» (PDF) . Artificial General Intelligence, 2008: Proceedings of the First AGI Conference : 460–467. Архивировано (PDF) из оригинала 1 декабря 2014 года . Получено 16 мая 2014 года .
  116. ^ Goertzel, Ben (26 сентября 2014 г.). «Superintelligence — Semi-hard Takeoff Scenarios». Журнал h+. Архивировано из оригинала 25 октября 2014 г. Получено 25 октября 2014 г.
  117. Подробнее, Макс. «Singularity Meets Economy». Архивировано из оригинала 28 августа 2009 г. Получено 10 ноября 2014 г.
  118. ^ К. Эрик Дрекслер , Машины творения , 1986
  119. Фейнман, Ричард П. (декабрь 1959 г.). «На дне полно места». Архивировано из оригинала 11 февраля 2010 г.
  120. Рэй Курцвейл, Сингулярность близка, стр. 215. Penguin Group, 2005.
  121. Сингулярность уже близко , стр. 216.
  122. ^ Ланье, Джарон (2010). Ты не гаджет: Манифест . Нью-Йорк, Нью-Йорк: Альфред А. Кнопф . С. 26. ISBN 978-0307269645.
  123. ^ Прасад, Махендра (2019). «Николя де Кондорсе и первая гипотеза взрыва интеллекта». Журнал AI . 40 (1): 29–33. doi : 10.1609/aimag.v40i1.2855 .
  124. ^ Кэмпбелл-младший, Джон У. (август 1932 г.). «Последняя эволюция». Удивительные истории . Проект Гутенберг.
  125. ^ Моравец, Ганс (1977). Интеллектуальные машины: как добраться туда отсюда и что делать потом (викиданные).
  126. ^ abc Смарт, Джон (1999–2008), Краткая история интеллектуального обсуждения ускорения изменений
  127. ^ Моравец, Ганс (1979). Современные компьютеры, интеллектуальные машины и наше будущее, wikidata.
  128. ^ Соломонофф, Р. Дж. «Временная шкала искусственного интеллекта: размышления о социальных эффектах», Human Systems Management, том 5, стр. 149–153, 1985.
  129. Виндж, Вернор (1 октября 2004 г.). Marooned in Realtime. Macmillan. ISBN 978-1-4299-1512-0.
  130. Дэвид Прингл (28 сентября 1986 г.). «Снова и снова». The Washington Post . Получено 6 июля 2021 г.
  131. ^ Виндж, Вернор (1988). Угрозы и другие обещания. Baen. ISBN 978-0-671-69790-7.
  132. ^ Дулинг, Ричард. Восторг для гиков: когда ИИ перехитрит IQ (2008), стр. 89
  133. ^ «Will Robots Inherit the Earth?». web.media.mit.edu . Получено 14 июня 2023 г.
  134. ^ Оппи, Грэм (2000). «Колонизация галактик». София . 39 (2). Springer Science and Business Media LLC: 117–142. doi : 10.1007/bf02822399. ISSN  0038-1527. S2CID  170919647.
  135. Эпизод от 23 августа 2006 г. на IMDb
  136. ^ Сандберг, Андерс. «Обзор моделей технологической сингулярности». Семинар «Дорожные карты к AGI и будущее AGI», Лугано, Швейцария, март. Том 8. 2010.
  137. ^ Университет сингулярности Архивировано 15.02.2021 на Wayback Machine на официальном сайте
  138. ^ Гастон, Дэвид Х. (14 июля 2010 г.). Энциклопедия нанонауки и общества. SAGE Publications. ISBN 978-1-4522-6617-6. Архивировано из оригинала 15 февраля 2021 . Получено 4 ноября 2016 .
  139. ^ "Нанотехнологии: будущее наступит раньше, чем вы думаете" (PDF) . Объединенный экономический комитет Конгресса США. Март 2007 г. Архивировано (PDF) из оригинала 15 февраля 2021 г. Получено 29 апреля 2012 г.
  140. ^ Тредер, Майк (31 марта 2007 г.). «Конгресс и сингулярность». Ответственная нанотехнология . Архивировано из оригинала 7 апреля 2007 г. Получено 4 ноября 2016 г.
  141. ^ Дадич, Скотт (12 октября 2016 г.). «Барак Обама говорит об искусственном интеллекте, роботизированных автомобилях и будущем мира». Wired . Архивировано из оригинала 3 декабря 2017 г. Получено 4 ноября 2016 г.

Источники

Дальнейшее чтение

Внешние ссылки

Послушайте эту статью ( 52 минуты )
Разговорный значок Википедии
Этот аудиофайл был создан на основе редакции этой статьи от 3 ноября 2018 года и не отражает последующие правки. (2018-11-03)