stringtranslate.com

Технологическая особенность

Технологическая сингулярность — или просто сингулярность [1] — это гипотетический момент будущего времени, в котором технологический рост станет неконтролируемым и необратимым, что приведет к непредвиденным последствиям для человеческой цивилизации. [2] [3] Согласно самой популярной версии гипотезы сингулярности, модели взрыва интеллекта И. Дж. Гуда , обновляемый интеллектуальный агент в конечном итоге вступит в «безудержную реакцию» циклов самосовершенствования, при этом появляется каждое новое, более интеллектуальное поколение. все быстрее и быстрее, вызывая «взрыв» интеллекта и приводя к появлению мощного сверхразума , который качественно намного превосходит весь человеческий интеллект . [4]

Первым человеком, который использовал концепцию «сингулярности» в технологическом контексте, был венгерско-американский математик 20-го века Джон фон Нейман . [5] Станислав Улам сообщает в 1958 году о более ранней дискуссии с фон Нейманом, «сосредоточенной на ускоряющемся прогрессе технологий и изменениях в образе человеческой жизни, что создает видимость приближения к некоторой существенной сингулярности в истории расы, за пределами которой человеческие дела в том виде, в каком мы их знаем, не могло продолжаться». [6] Последующие авторы поддержали эту точку зрения. [3] [7]

Концепция и термин «сингулярность» были популяризированы Вернором Винджем впервые в 1983 году в статье, в которой утверждалось, что как только люди создадут интеллект, превосходящий их собственный, произойдет технологический и социальный переход, в некотором смысле похожий на «завязанное пространство-время». в центре черной дыры», [8] и позже в своем эссе 1993 года « Грядущая технологическая сингулярность» , [4] [7] , в котором он писал, что это будет сигнализировать о конце человеческой эры, поскольку новый сверхразум будет продолжать существовать. модернизировать себя и будет развиваться технологически с непостижимой скоростью. Он написал, что был бы удивлен, если бы это произошло до 2005 года или после 2030 года. [4] Еще одним важным вкладом в более широкое распространение этой идеи стала книга Рэя Курцвейла 2005 года «Сингулярность близка» , в которой сингулярность предсказывается к 2045 году. [7]

Некоторые ученые, в том числе Стивен Хокинг , выразили обеспокоенность тем, что искусственный сверхинтеллект (ИСИ) может привести к вымиранию человечества. [9] [10] Последствия сингулярности и ее потенциальная польза или вред для человечества активно обсуждаются.

Выдающиеся технологи и ученые оспаривают правдоподобие технологической сингулярности и связанного с ней взрыва искусственного интеллекта, в том числе Пол Аллен , [11] Джефф Хокинс , [12] Джон Холланд , Джарон Ланье , Стивен Пинкер , [12] Теодор Модис , [13] и Гордон Мур . [12] Одно из заявлений заключалось в том, что рост искусственного интеллекта, скорее всего, приведет к снижению отдачи, а не к ускорению, как это наблюдалось в ранее разработанных человеческих технологиях.

Интеллектуальный взрыв

Хотя технологический прогресс ускоряется в большинстве областей, он ограничен базовым интеллектом человеческого мозга, который, по мнению Пола Р. Эрлиха , существенно не изменился за тысячелетия. [14] Однако с ростом мощности компьютеров и других технологий, в конечном итоге, возможно, станет возможным построить машину, которая будет значительно умнее человека. [15]

Если бы был изобретен сверхчеловеческий интеллект – либо путем усиления человеческого интеллекта , либо посредством искусственного интеллекта – он значительно улучшил бы человеческие навыки решения проблем и изобретательства. Такой ИИ называется « начальным ИИ» [16] [17] , потому что, если бы ИИ был создан с инженерными возможностями, которые соответствовали бы или превосходили возможности его создателей-людей, у него был бы потенциал автономно улучшать свое собственное программное и аппаратное обеспечение для разработки еще более способная машина, которая могла бы повторять этот процесс по очереди. Это рекурсивное самосовершенствование может ускориться, потенциально допуская огромные качественные изменения до того, как будут установлены верхние пределы, налагаемые законами физики или теоретическими вычислениями. Предполагается, что за многие итерации такой ИИ значительно превзойдет человеческие когнитивные способности .

И. Дж. Гуд предположил в 1965 году, что сверхчеловеческий интеллект может вызвать интеллектуальный взрыв: [18] [19]

Пусть сверхразумная машина будет определена как машина, которая может намного превзойти всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы создавать машины еще лучше; тогда, несомненно, произойдет «интеллектуальный взрыв», и человеческий интеллект останется далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое человек когда-либо сможет сделать, при условии, что машина будет достаточно послушной, чтобы рассказать нам, как держать ее под контролем.

Одна из версий интеллектуального взрыва заключается в том, что вычислительная мощность приближается к бесконечности за конечный промежуток времени. В этой версии, как только ИИ проводит исследование, чтобы улучшить себя, скорость удваивается, например, через 2 года, затем 1 год, затем 6 месяцев, затем 3 месяца, затем 1,5 месяца и т. д., где бесконечная сумма периодов удвоения равна 4. годы. Если бы этому процессу не препятствовали физические ограничения вычислений и квантования времени, этот процесс буквально достиг бы бесконечной вычислительной мощности за 4 года, что заслужило название «сингулярность» для конечного состояния. Эта форма интеллектуального взрыва описана Юдковски (1996). [20]

Появление сверхинтеллекта

Сверхинтеллект, гиперинтеллект или сверхчеловеческий интеллект — это гипотетический агент , обладающий интеллектом, намного превосходящим интеллект самых ярких и одаренных человеческих умов. «Сверхинтеллект» может также относиться к форме или степени интеллекта, которым обладает такой агент. Джон фон Нейман , Вернор Виндж и Рэй Курцвейл определяют эту концепцию с точки зрения технологического создания сверхразума, утверждая, что современным людям трудно или невозможно предсказать, какой будет жизнь людей в постсингулярном мире. . [4] [21]

Сопутствующая концепция «скоростной сверхинтеллект» описывает ИИ, который может функционировать как человеческий разум, только намного быстрее. [22] Например, при увеличении скорости обработки информации в миллион раз по сравнению со скоростью человека субъективный год пройдет за 30 физических секунд. [23] Такая разница в скорости обработки информации может привести к возникновению сингулярности. [24]

Технологические прогнозисты и исследователи расходятся во мнениях относительно того, когда и будет ли превзойден человеческий интеллект. Некоторые утверждают, что достижения в области искусственного интеллекта (ИИ), вероятно, приведут к созданию систем общего мышления, которые обходят когнитивные ограничения человека. Другие полагают, что люди будут эволюционировать или напрямую модифицировать свою биологию, чтобы достичь радикально большего интеллекта. [25] [26] Ряд исследований будущего сосредоточен на сценариях, которые сочетают в себе эти возможности, предполагая, что люди, вероятно, будут взаимодействовать с компьютерами или загружать свои мысли в компьютеры таким образом, что это позволит существенно усилить интеллект. В книге Робина Хэнсона «Эра эмов» описывается гипотетический сценарий будущего, в котором человеческий мозг будет сканироваться и оцифровываться, создавая «загрузки» или цифровые версии человеческого сознания. В этом будущем развитие этих загрузок может предшествовать или совпадать с появлением сверхразумного искусственного интеллекта. [27]

Вариации

Сингулярность, не связанная с ИИ

Некоторые авторы используют слово «сингулярность» в более широком смысле для обозначения любых радикальных изменений в обществе, вызванных новыми технологиями (такими как молекулярные нанотехнологии ), [28] [29] [30] , хотя Виндж и другие авторы прямо заявляют, что без сверхинтеллекта , такие изменения не будут квалифицироваться как истинная сингулярность. [4]

Прогнозы

В 1965 году И. Дж. Гуд писал, что более вероятно, чем нет, что в двадцатом веке будет построена сверхразумная машина. [18] В 1993 году Виндж предсказал, что в период с 2005 по 2030 год интеллект будет превосходить человеческий. [4] В 1996 году Юдковский предсказал сингулярность в 2021 году. [20] В 2005 году Курцвейл предсказал, что ИИ человеческого уровня появится примерно в 2029 году, [31] и сингулярность в 2045 году. [32] В интервью 2017 года Курцвейл подтвердил свои оценки. [ 33 ] В 1988 году Моравец предсказал, что, если темпы совершенствования будут продолжаться, вычислительные возможности для ИИ человеческого уровня будут доступны на суперкомпьютерах до 2010 года . за пределами человека к 2050 году. [35]

Четыре опроса исследователей ИИ, проведенные в 2012 и 2013 годах Ником Бостромом и Винсентом К. Мюллером , показали 50% уверенность в том, что ИИ человеческого уровня будет разработан к 2040–2050 годам. [36] [37]

Правдоподобие

Выдающиеся технологи и ученые оспаривают правдоподобие технологической сингулярности, в том числе Пол Аллен , [11] Джефф Хокинс , [12] Джон Холланд , Джарон Ланье , Стивен Пинкер , [12] Теодор Модис , [13] и Гордон Мур , [12] закон которого часто цитируется в поддержку этой концепции. [38]

Большинство предлагаемых методов создания сверхчеловеческого или сверхчеловеческого разума попадают в одну из двух категорий: усиление интеллекта человеческого мозга и искусственный интеллект. Многие предполагаемые способы увеличения человеческого интеллекта включают биоинженерию , генную инженерию , ноотропные препараты, помощников искусственного интеллекта, прямые интерфейсы мозг-компьютер и загрузку разума . Эти многочисленные возможные пути к взрыву интеллекта, каждый из которых, предположительно, будет использован, делают сингулярность более вероятной. [23]

Робин Хэнсон выразил скептицизм по поводу увеличения человеческого интеллекта, написав, что как только «легкие плоды» простых методов повышения человеческого интеллекта будут исчерпаны, дальнейшие улучшения станут все более трудными. [39] Несмотря на все предполагаемые способы усиления человеческого интеллекта, нечеловеческий искусственный интеллект (в частности, начальный ИИ) является наиболее популярным вариантом среди гипотез, продвигающих сингулярность. [ нужна цитата ]

Возможность интеллектуального взрыва зависит от трех факторов. [40] Первым ускоряющим фактором являются новые улучшения интеллекта, ставшие возможными благодаря каждому предыдущему усовершенствованию. И наоборот, по мере того, как интеллект становится более продвинутым, дальнейшие достижения будут становиться все более и более сложными, возможно, перевешивая преимущества возросшего интеллекта. Каждое улучшение должно в среднем порождать как минимум еще одно улучшение, чтобы движение к сингулярности продолжалось. Наконец, законы физики могут в конечном итоге помешать дальнейшему улучшению.

Есть две логически независимые, но взаимодополняющие причины улучшения интеллекта: увеличение скорости вычислений и улучшение используемых алгоритмов . [7] Первое предсказано законом Мура и прогнозируемыми улучшениями в оборудовании, [41] и сравнительно похоже на предыдущие технологические достижения. Но Шульман и Сандберг [42] утверждают, что программное обеспечение будет представлять собой более сложные задачи, чем просто работа на оборудовании, способном работать на уровне человеческого интеллекта или выше.

В ходе электронного опроса авторов, опубликовавших публикации на конференциях по машинному обучению NeurIPS и ICML в 2017 году , был задан вопрос о вероятности того, что «аргумент о взрывном интеллекте в целом верен». Из респондентов 12% сказали, что это «вполне вероятно», 17% сказали, что это «вероятно», 21% сказали, что это «примерно равно», 24% сказали, что это «маловероятно», и 26% сказали, что это «весьма маловероятно». ". [43]

Улучшения скорости

Как для человеческого, так и для искусственного интеллекта, усовершенствования аппаратного обеспечения увеличивают скорость будущих улучшений аппаратного обеспечения. Аналогия с законом Мура предполагает, что если первое удвоение скорости заняло 18 месяцев, то второе субъективно займет 18 месяцев; или 9 внешних месяцев, затем четыре месяца, два месяца и так далее до сингулярности скорости. [44] [20] Со временем может быть достигнут некоторый верхний предел скорости. Джефф Хокинс заявил, что самосовершенствующаяся компьютерная система неизбежно столкнется с верхним пределом вычислительной мощности: «В конце концов, есть пределы тому, насколько большие и быстрые компьютеры могут работать. Мы окажемся в одном и том же месте; мы просто доберитесь туда немного быстрее. Сингулярности не будет». [12]

Трудно напрямую сравнивать кремниевую аппаратуру с нейронами . Но Берглас (2008) отмечает, что компьютерное распознавание речи приближается к возможностям человека и что для этой возможности требуется 0,01% объема мозга. Эта аналогия предполагает, что современное компьютерное оборудование на несколько порядков превосходит по мощности человеческий мозг .

Экспоненциальный рост

Рэй Курцвейл пишет, что из-за смены парадигм тенденция экспоненциального роста распространяет закон Мура от интегральных схем к более ранним транзисторам , электронным лампам , реле и электромеханическим компьютерам. Он предсказывает, что экспоненциальный рост продолжится и что через несколько десятилетий вычислительная мощность всех компьютеров превысит мощность («неусовершенствованного») человеческого мозга, и примерно в то же время появится сверхчеловеческий искусственный интеллект .
Обновленная версия закона Мура за 120 лет (на основе графика Курцвейла ). Все семь последних данных относятся к графическим процессорам Nvidia .

Экспоненциальный рост вычислительных технологий, предполагаемый законом Мура, обычно упоминается как причина ожидать сингулярности в относительно ближайшем будущем, и ряд авторов предложили обобщения закона Мура. Ученый-компьютерщик и футуролог Ганс Моравец в книге 1998 года [45] предположил , что кривую экспоненциального роста можно расширить с помощью более ранних вычислительных технологий, предшествовавших появлению интегральных схем .

Рэй Курцвейл постулирует закон ускоряющейся отдачи , согласно которому скорость технологических изменений (и, в более общем плане, всех эволюционных процессов [46] ) возрастает экспоненциально, обобщая закон Мура таким же образом, как и предложение Моравека, а также включая материальные технологии (особенно в прикладном смысле). к нанотехнологиям ), медицинским технологиям и другим. [47] В период с 1986 по 2007 год производительность машин для вычисления информации на душу населения примерно удваивалась каждые 14 месяцев; мощность компьютеров общего назначения в мире удваивалась каждые 18 месяцев; глобальная пропускная способность телекоммуникаций на душу населения удваивалась каждые 34 месяца; а вместимость мировых хранилищ на душу населения удваивалась каждые 40 месяцев. [48] ​​С другой стороны, утверждалось, что модель глобального ускорения, имеющая в качестве параметра сингулярность XXI века, должна характеризоваться как гиперболическая , а не экспоненциальная. [49]

Курцвейл оставляет термин «сингулярность» для быстрого роста искусственного интеллекта (в отличие от других технологий), написав, например, что «Сингулярность позволит нам преодолеть эти ограничения наших биологических тел и мозга… Не будет никакого различия». , постсингулярность, между человеком и машиной». [50] Он также определяет свою предсказанную дату сингулярности (2045 год) с точки зрения того, когда он ожидает, что компьютерный интеллект значительно превысит общую сумму человеческих умственных способностей, написав, что достижения в области вычислений до этой даты «не будут представлять сингулярность». потому что они «еще не соответствуют глубокому расширению нашего интеллекта». [51]

Ускорение перемен

По словам Курцвейла, его логарифмический график из 15 списков смен парадигм ключевых исторических событий демонстрирует экспоненциальную тенденцию.

Некоторые сторонники сингулярности доказывают ее неизбежность, экстраполируя прошлые тенденции, особенно те, которые касаются сокращения разрыва между усовершенствованиями технологий. В одном из первых случаев использования термина «сингулярность» в контексте технического прогресса Станислав Улам рассказывает о разговоре с Джоном фон Нейманом об ускорении изменений:

Один разговор был посвящен постоянно ускоряющемуся прогрессу технологий и изменениям в образе человеческой жизни, что создает видимость приближения к какой-то существенной сингулярности в истории расы, за пределами которой человеческие дела, какими мы их знаем, не могут продолжаться. [6]

Курцвейл утверждает, что технологический прогресс следует модели экспоненциального роста , следуя тому, что он называет « законом ускоряющейся отдачи ». Курцвейл пишет, что всякий раз, когда технология приближается к барьеру, новые технологии преодолеют его. Он предсказывает, что смена парадигм будет становиться все более распространенной, что приведет к «технологическим изменениям, настолько быстрым и глубоким, что они представляют собой разрыв в ткани человеческой истории». [52] Курцвейл считает, что сингулярность произойдет примерно к 2045 году. [47] Его предсказания отличаются от предсказаний Винджа тем, что он предсказывает постепенное восхождение к сингулярности, а не быстро самосовершенствующийся сверхчеловеческий интеллект Винджа.

Часто упоминаемые опасности включают те, которые обычно связаны с молекулярными нанотехнологиями и генной инженерией . Эти угрозы представляют собой серьезную проблему как для сторонников сингулярности, так и для критиков, и они стали темой статьи Билла Джоя в журнале Wired в апреле 2000 года « Почему будущее не нуждается в нас ». [7] [53]

Улучшения алгоритма

Некоторые интеллектуальные технологии, такие как «исходный искусственный интеллект» [16] [17], также могут иметь потенциал не только стать быстрее, но и более эффективными за счет изменения их исходного кода . Эти улучшения сделают возможными дальнейшие улучшения, которые сделают возможными дальнейшие улучшения и так далее.

Механизм рекурсивно самоулучшающегося набора алгоритмов отличается от увеличения скорости вычислений двумя способами. Во-первых, это не требует внешнего влияния: машины, проектирующие более быстрое оборудование, все равно потребуют от людей создания улучшенного оборудования или соответствующего программирования заводов. [ нужна цитата ] ИИ, переписывающий свой собственный исходный код, может делать это, находясь в ящике ИИ .

Во-вторых, как и в случае с концепцией сингулярности Вернора Винджа , гораздо труднее предсказать результат. Хотя увеличение скорости кажется лишь количественным отличием от человеческого интеллекта, реальные улучшения алгоритмов будут качественно иными. Элиэзер Юдковский сравнивает это с изменениями, которые принес человеческий разум: люди изменили мир в тысячи раз быстрее, чем это сделала эволюция, и совершенно разными способами. Точно так же эволюция жизни представляла собой массовое отклонение и ускорение от предыдущих геологических темпов изменений, а улучшение интеллекта могло привести к тому, что изменения снова стали такими же иными. [54]

Существуют существенные опасности, связанные с сингулярностью взрыва интеллекта, возникающей из-за рекурсивно самоулучшающегося набора алгоритмов. Во-первых, целевая структура ИИ может самомодифицироваться, что потенциально может привести к оптимизации ИИ для чего-то, отличного от того, что было изначально задумано. [55] [56]

Во-вторых, ИИ могут конкурировать за те же скудные ресурсы, которые человечество использует для выживания. [57] [58] Хотя ИИ не являются активно злонамеренными, они будут способствовать достижению целей своего программирования, а не обязательно более широким человеческим целям, и, таким образом, могут полностью вытеснить людей. [59] [60] [61]

Карл Шульман и Андерс Сандберг предполагают, что улучшение алгоритмов может быть ограничивающим фактором сингулярности; в то время как эффективность аппаратного обеспечения имеет тенденцию повышаться устойчивыми темпами, инновации в программном обеспечении более непредсказуемы и могут быть остановлены последовательными совокупными исследованиями. Они предполагают, что в случае сингулярности, ограниченной программным обеспечением, взрыв интеллекта на самом деле станет более вероятным, чем в случае сингулярности, ограниченной программным обеспечением, поскольку в случае сингулярности, ограниченной программным обеспечением, как только ИИ на человеческом уровне будет разработан, он может последовательно запускаться на очень быстрое оборудование, а обилие дешевого оборудования сделает исследования ИИ менее ограниченными. [62] Избыток накопившегося аппаратного обеспечения, которое можно высвободить, как только программное обеспечение поймет, как его использовать, называется «вычислительным избытком». [63]

Критика

Некоторые критики, такие как философ Хьюберт Дрейфус [64] и философ Джон Сирл , [65] утверждают, что компьютеры или машины не могут достичь человеческого интеллекта . Другие, например физик Стивен Хокинг , [66] возражают, что не имеет значения, смогут ли машины достичь истинного интеллекта или чего-то похожего на интеллект, если конечный результат будет тем же самым.

Психолог Стивен Пинкер заявил в 2008 году: «Нет ни малейшего основания верить в грядущую сингулярность. Тот факт, что вы можете визуализировать будущее в своем воображении, не является доказательством того, что оно вероятно или даже возможно. Посмотрите на куполообразные города, реактивные самолеты. поездки на работу, подводные города, здания высотой в милю и автомобили с атомными двигателями — все это основные элементы футуристических фантазий моего детства, которые так и не появились. Чистая вычислительная мощность — это не пикси-пыль, которая волшебным образом решает все ваши проблемы». [12]

Мартин Форд [67] постулирует «технологический парадокс», заключающийся в том, что до возникновения сингулярности большинство рутинных работ в экономике будут автоматизированы, поскольку для этого потребуется уровень технологии, более низкий, чем уровень сингулярности. Это вызовет массовую безработицу и резкое падение потребительского спроса, что, в свою очередь, уничтожит стимул инвестировать в технологии, необходимые для создания сингулярности. Смещение рабочих мест все больше не ограничивается теми видами работы, которые традиционно считаются «рутинными». [68]

Теодор Модис [69] и Джонатан Хюбнер [70] утверждают, что темпы технологических инноваций не только перестали расти, но фактически сейчас снижаются. Свидетельством этого снижения является то, что рост тактовой частоты компьютеров замедляется, хотя предсказание Мура об экспоненциальном увеличении плотности цепей продолжает оставаться в силе. Это происходит из-за чрезмерного выделения тепла от чипа, которое не может быть рассеяно достаточно быстро, чтобы предотвратить плавление чипа при работе на более высоких скоростях. Повышение скорости может стать возможным в будущем благодаря более энергоэффективным конструкциям ЦП и многоячеечным процессорам. [71]

Теодор Модис считает, что сингулярности не может быть. [72] [13] [73] Он утверждает, что «технологическая сингулярность» и особенно Курцвейлу не хватает научной строгости; Утверждается, что Курцвейл принял логистическую функцию (S-функцию) за показательную функцию и увидел «колено» в показательной функции там, где на самом деле такой вещи не может быть. [74] В статье 2021 года Модис отметил, что за предыдущие двадцать лет не наблюдалось никаких вех – прорывов в исторической перспективе, сравнимых по важности с Интернетом, ДНК, транзисторами или ядерной энергией, в то время как пять из них были бы ожидается в соответствии с экспоненциальной тенденцией, которую отстаивают сторонники технологической сингулярности. [75]

Исследователь искусственного интеллекта Юрген Шмидхубер заявил, что частота субъективно «примечательных событий», похоже, приближается к сингулярности 21-го века, но предостерег читателей относиться к таким сюжетам субъективных событий с долей скептицизма: возможно, различия в памяти о недавних и далеких событиях могли бы помочь. создать иллюзию ускорения перемен там, где ее нет. [76]

Соучредитель Microsoft Пол Аллен утверждал, что ускорение отдачи противоречит тормозу сложности; [11] Чем большего прогресса наука достигает в понимании интеллекта, тем труднее становится добиться дальнейшего прогресса. Исследование количества патентов показывает, что человеческое творчество демонстрирует не ускоряющуюся отдачу, а фактически, как предположил Джозеф Тейнтер в своей книге «Коллапс сложных обществ» [77] , закон убывающей отдачи . Число патентов на тысячу достигло пика в период с 1850 по 1900 год и с тех пор снижается. [70] Рост сложности в конечном итоге становится самоограничивающимся и приводит к повсеместному «общему коллапсу системы».

Хофштадтер (2006) выражает обеспокоенность по поводу того, что Рэй Курцвейл недостаточно строг с научной точки зрения, что экспоненциальная тенденция технологии не является научным законом, подобным закону физики, и что у экспоненциальных кривых нет «колен». [78] Тем не менее, он в принципе не исключает сингулярности в отдаленном будущем [12] и в свете ChatGPT и других недавних достижений существенно пересмотрел свое мнение в сторону кардинальных технологических изменений в ближайшем будущем. [79]

Джарон Ланье отрицает неизбежность сингулярности: «Я не думаю, что технология создает сама себя. Это не автономный процесс». [80] Более того: «Причина верить в человеческую активность выше технологического детерминизма состоит в том, что тогда вы можете иметь экономику, в которой люди зарабатывают по-своему и изобретают свою собственную жизнь . с практической точки зрения это то же самое, что и лишение людей влияния, достоинства и самоопределения ... принятие [идеи сингулярности] было бы прославлением плохих данных и плохой политики». [80]

Экономист Роберт Дж. Гордон отмечает, что измеренный экономический рост замедлился примерно в 1970 году и замедлился еще больше после финансового кризиса 2007–2008 годов , и утверждает, что экономические данные не показывают никаких следов грядущей сингулярности, как это представлял себе математик И. Дж. Гуд . [81]

Философ и ученый-когнитивист Дэниел Деннетт сказал в 2017 году: «Вся эта сингулярность абсурдна. Она отвлекает нас от гораздо более насущных проблем», добавив: «Это произойдет с инструментами ИИ, от которых мы становимся гиперзависимыми. И это один из опасность заключается в том, что мы дадим им больше полномочий, чем они заслуживают». [82]

Помимо общей критики концепции сингулярности, некоторые критики подняли вопросы по поводу культовой карты Курцвейла. Одна линия критики заключается в том, что логарифмическая диаграмма такого типа по своей сути склонна к прямолинейному результату. Другие отмечают предвзятость отбора в точках, которые Курцвейл предпочитает использовать. Например, биолог П. З. Майерс отмечает, что многие ранние эволюционные «события» были выбраны произвольно. [83] Курцвейл опроверг это утверждение, нарисовав на графике эволюционные события из 15 нейтральных источников и показав, что они соответствуют прямой линии на логарифмической диаграмме . Келли (2006) утверждает, что способ построения диаграммы Курцвейла с учетом времени до настоящего времени по оси X всегда указывает на сингулярность, находящуюся «сейчас», для любой даты, на которую можно построить такую ​​​​диаграмму, и показывает это визуально на графике. Схема Курцвейла. [84]

Некоторые критики предполагают религиозные мотивы или последствия сингулярности, особенно ее версию Курцвейла. Наступление сингулярности сравнивается с иудео-христианскими сценариями конца времен. Бим называет это « видением Гипотетического Христианского Восторга Баком Роджерсом ». [85] Джон Грей говорит, что «Сингулярность отражает апокалиптические мифы, в которых история вот-вот прервется событием, преобразующим мир». [86]

Дэвид Стрейтфельд в «Нью-Йорк Таймс» задался вопросом, «может ли это проявиться в первую очередь – отчасти благодаря одержимости сегодняшней Силиконовой долины – как инструмент сокращения численности корпоративной Америки». [87]

Потенциальные воздействия

В прошлом благодаря технологическому прогрессу происходили драматические изменения в темпах экономического роста. Судя по росту населения, экономика удваивалась каждые 250 000 лет, начиная с эпохи палеолита и до неолитической революции . Новая сельскохозяйственная экономика удваивалась каждые 900 лет, что является значительным ростом. В нынешнюю эпоху, начиная с промышленной революции, объем мирового экономического производства удваивается каждые пятнадцать лет, в шестьдесят раз быстрее, чем в сельскохозяйственную эпоху. Если появление сверхчеловеческого интеллекта вызовет подобную революцию, утверждает Робин Хэнсон, можно было бы ожидать, что экономика будет удваиваться как минимум ежеквартально, а возможно, и еженедельно. [88]

Неопределенность и риск

Термин «технологическая сингулярность» отражает идею о том, что такие изменения могут произойти внезапно и что трудно предсказать, как будет функционировать возникший в результате новый мир. [89] [90] Неясно, будет ли интеллектуальный взрыв, приводящий к сингулярности, полезен или вреден, или даже станет экзистенциальной угрозой . [91] [92] Поскольку ИИ является основным фактором риска сингулярности, ряд организаций разрабатывают техническую теорию согласования систем целей ИИ с человеческими ценностями, в том числе Институт будущего человечества , Исследовательский институт машинного интеллекта , [89] Центр совместимого с человеком искусственного интеллекта и Институт будущего жизни .

Физик Стивен Хокинг заявил в 2014 году: «Успех в создании ИИ станет величайшим событием в истории человечества. К сожалению, он может стать и последним, если мы не научимся избегать рисков». [93] Хокинг считал, что в ближайшие десятилетия ИИ может предложить «неисчислимые преимущества и риски», такие как «технологии, перехитрившие финансовые рынки, перехитрившие людей-исследователей, перехитрившие человеческих лидеров и создавшие оружие, которое мы даже не можем понять». [93] Хокинг предположил, что к искусственному интеллекту следует относиться более серьёзно и что следует сделать больше для подготовки к сингулярности: [93]

Итак, сталкиваясь с возможным будущим, полным неисчислимых выгод и рисков, эксперты наверняка делают все возможное, чтобы обеспечить наилучший результат, не так ли? Неправильный. Если бы высшая инопланетная цивилизация отправила нам сообщение: «Мы прибудем через несколько десятилетий», ответили бы мы просто: «Хорошо, позвоните нам, когда доберетесь сюда – мы оставим свет включенным»? Вероятно, нет – но это более или менее то, что происходит с ИИ.

Берглас (2008) утверждает, что у ИИ нет прямой эволюционной мотивации быть дружелюбным по отношению к людям. Эволюция не имеет врожденной тенденции производить результаты, ценные для людей, и нет особых оснований ожидать, что произвольный процесс оптимизации будет способствовать достижению желаемого для человечества результата, а не непреднамеренно приведет к тому, что ИИ будет вести себя не так, как предполагалось его создателями. [94] [95] [96] Андерс Сандберг также подробно остановился на этом сценарии, обращаясь к различным распространенным контраргументам. [97] Исследователь искусственного интеллекта Уго де Гарис предполагает, что искусственный интеллект может просто уничтожить человеческую расу ради доступа к ограниченным ресурсам , [57] [98] и люди будут бессильны остановить их. [99] Альтернативно, ИИ, разработанные под давлением эволюции для обеспечения собственного выживания, могут превзойти человечество. [61]

Бостром (2002) обсуждает сценарии вымирания человечества и называет сверхразум в качестве возможной причины:

Когда мы создаем первое сверхразумное существо, мы можем совершить ошибку и поставить перед ним цели, которые приведут его к уничтожению человечества, предполагая, что его огромное интеллектуальное преимущество дает ему возможность сделать это. Например, мы могли ошибочно повысить статус подцели до статуса сверхцели. Мы приказываем ему решить математическую задачу, и он подчиняется, превращая всю материю Солнечной системы в гигантское вычислительное устройство, убивая при этом человека, задавшего вопрос.

По мнению Элиэзера Юдковски , серьезная проблема безопасности ИИ заключается в том, что недружественный искусственный интеллект, скорее всего, будет гораздо легче создать, чем дружественный ИИ. В то время как оба требуют больших успехов в разработке процесса рекурсивной оптимизации, дружественный ИИ также требует способности делать структуру целей инвариантной при самосовершенствовании (иначе ИИ может трансформироваться во что-то недружественное) и структуры целей, которая соответствует человеческим ценностям и не приводит к автоматическим изменениям. уничтожить род человеческий. С другой стороны, недружественный ИИ может оптимизировать произвольную целевую структуру, которая не обязательно должна быть инвариантной при самомодификации. [100] Билл Хиббард (2014) предлагает дизайн ИИ, который позволяет избежать нескольких опасностей, включая самообман, [101] непреднамеренные инструментальные действия, [55] [102] и повреждение генератора вознаграждения. [102] Он также обсуждает социальные последствия ИИ [103] и тестирование ИИ. [104] Его книга «Сверхинтеллектуальные машины» 2001 года пропагандирует необходимость просвещения общественности в области ИИ и общественного контроля над ИИ. Он также предложил простую конструкцию, уязвимую для повреждения генератора вознаграждений.

Следующий шаг социобиологической эволюции

Схематическая временная шкала информации и репликаторов в биосфере: « основные эволюционные переходы » Гиллингса и др. в обработке информации. [105]
Объем цифровой информации во всем мире (5 × 1021 байт) по сравнению с информацией о геноме человека во всем мире (10 19 байт) в 2014 году [105]

Хотя технологическую сингулярность обычно рассматривают как внезапное событие, некоторые ученые утверждают, что нынешняя скорость изменений уже соответствует этому описанию. [ нужна цитата ]

Кроме того, некоторые утверждают, что мы уже находимся в процессе крупного эволюционного перехода , объединяющего технологии, биологию и общество. Цифровые технологии проникли в ткань человеческого общества до степени бесспорной и зачастую жизненно необходимой зависимости.

В статье 2016 года в журнале «Тенденции в экологии и эволюции» утверждается, что «люди уже используют сочетание биологии и технологий. Большую часть времени бодрствования мы проводим, общаясь через цифровые каналы… мы доверяем искусственному интеллекту свою жизнь посредством антиблокировочной системы тормозов в автомобилях и автопилотах» . в самолетах... Поскольку каждое третье ухаживание в Америке приводит к заключению брака через Интернет, цифровые алгоритмы также играют роль в создании связей и воспроизводстве человеческих пар».

Далее в статье утверждается, что с точки зрения эволюции несколько предыдущих крупных переходов в эволюции изменили жизнь посредством инноваций в хранении и репликации информации ( РНК , ДНК , многоклеточность , культура и язык ). На нынешнем этапе эволюции жизни углеродная биосфера породила когнитивную систему (человека), способную создавать технологии, которые приведут к сопоставимому эволюционному переходу .

Цифровая информация, созданная людьми, достигла такого же масштаба, что и биологическая информация в биосфере. С 1980-х годов объем хранимой цифровой информации удваивался примерно каждые 2,5 года, достигнув примерно 5 зеттабайт в 2014 году (5 × 1021 байт). [106]

С биологической точки зрения на планете насчитывается 7,2 миллиарда людей, каждый из которых имеет геном из 6,2 миллиарда нуклеотидов. Поскольку один байт может кодировать четыре пары нуклеотидов, отдельные геномы каждого человека на планете могут быть закодированы примерно 1 × 1019 байт. В цифровой сфере хранилось в 500 раз больше информации, чем в 2014 году (см. рисунок). Общее количество ДНК, содержащееся во всех клетках Земли, оценивается примерно в 5,3 × 1037 пар оснований, что эквивалентно 1,325 × 10.37 байт информации.

Если рост цифровых хранилищ продолжится нынешними темпами, составляющими 30–38% среднегодового роста в год, [48] примерно через 110 лет они будут конкурировать с общим информационным содержанием, содержащимся во всей ДНК во всех клетках на Земле. Это будет означать удвоение объема информации, хранящейся в биосфере, за общий период времени всего в 150 лет». [105]

Последствия для человеческого общества

В феврале 2009 года под эгидой Ассоциации по развитию искусственного интеллекта (AAAI) Эрик Хорвиц возглавил встречу ведущих компьютерных ученых, исследователей искусственного интеллекта и робототехники в конференц-центре Asilomar в Пасифик-Гроув, Калифорния. Целью было обсудить потенциальное влияние гипотетической возможности того, что роботы станут самодостаточными и смогут принимать собственные решения. Они обсудили, в какой степени компьютеры и роботы смогут обрести автономность и в какой степени они смогут использовать такие способности, чтобы создавать угрозы или опасности. [107]

Некоторые машины запрограммированы на различные формы полуавтономности, включая способность находить собственные источники энергии и выбирать цели для атаки с помощью оружия. Кроме того, некоторые компьютерные вирусы могут уклоняться от уничтожения и, по мнению присутствовавших ученых, поэтому можно сказать, что они достигли «тараканьей» стадии машинного интеллекта. Участники конференции отметили, что самосознание, изображенное в научной фантастике, вероятно, маловероятно, но существуют и другие потенциальные опасности и ловушки. [107]

Фрэнк С. Робинсон предсказывает, что как только люди создадут машину с интеллектом человека, научные и технологические проблемы будут решаться с помощью умственных способностей, намного превосходящих человеческие. Он отмечает, что искусственные системы способны обмениваться данными более напрямую, чем люди, и предсказывает, что это приведет к созданию глобальной сети сверхразума, которая затмит человеческие возможности. [108] Робинсон также обсуждает, насколько сильно изменится будущее после такого интеллектуального взрыва.

Жесткий и мягкий взлет

В этом примере сценария рекурсивного самосовершенствования люди, модифицирующие архитектуру ИИ, смогут удваивать его производительность каждые три года, например, в течение 30 поколений, прежде чем будут исчерпаны все возможные улучшения (слева). Если вместо этого ИИ будет достаточно умен, чтобы модифицировать свою собственную архитектуру так же, как это могут сделать люди-исследователи, то время, необходимое для завершения редизайна, будет сокращаться вдвое с каждым поколением, и он будет проходить все 30 возможных поколений за шесть лет (справа). [109]

В сценарии жесткого взлета искусственный сверхинтеллект быстро самосовершенствуется, «беря под контроль» мир (возможно, в течение нескольких часов), слишком быстро для существенного исправления ошибок, инициированного человеком, или для постепенной настройки целей агента. В сценарии мягкого взлета ИИ по-прежнему становится намного более могущественным, чем человечество, но темпами, подобными человеческим (возможно, порядка десятилетий), и в таком масштабе времени, когда постоянное человеческое взаимодействие и коррекция могут эффективно управлять развитием ИИ. [110] [111]

Рамез Наам выступает против жесткого взлета. Он отметил, что мы уже наблюдаем рекурсивное самосовершенствование сверхразумов, таких как корпорации. Intel , например, располагает «коллективным умственным потенциалом десятков тысяч людей и, вероятно, миллионов процессорных ядер для… разработки более совершенных процессоров!» Однако это не привело к резкому взлету; скорее, это привело к мягкому взлету в форме закона Мура . [112] Наам далее отмечает, что вычислительная сложность высшего интеллекта может быть намного выше линейной, так что «создать разум с интеллектом 2, вероятно, более чем в два раза сложнее, чем создать разум с интеллектом 1». [113]

Дж. Сторрс Холл считает, что «многие из наиболее часто встречающихся сценариев ночного резкого взлета имеют циклический характер: они, похоже, предполагают сверхчеловеческие способности в начальной точке процесса самосовершенствования», чтобы ИИ мог совершить драматические действия. , общие улучшения домена, необходимые для взлета. Холл предполагает, что вместо того, чтобы самостоятельно рекурсивно совершенствовать свое оборудование, программное обеспечение и инфраструктуру, начинающему ИИ лучше специализироваться в одной области, где он наиболее эффективен, а затем покупать оставшиеся компоненты на рынке, потому что качество Количество продуктов на рынке постоянно улучшается, и ИИ будет трудно идти в ногу с передовыми технологиями, используемыми остальным миром. [114]

Бен Герцель согласен с предположением Холла о том, что новый ИИ человеческого уровня преуспеет, если будет использовать свой интеллект для накопления богатства. Таланты ИИ могут вдохновить компании и правительства на распространение его программного обеспечения по всему обществу. Герцель скептически относится к жесткому пятиминутному взлету, но полагает, что переход от человеческого к сверхчеловеческому уровню примерно за пять лет вполне разумен. Герзель называет этот сценарий «полужестким взлетом». [115]

Макс Мор не согласен, утверждая, что если бы существовало всего несколько сверхбыстрых ИИ человеческого уровня, они бы не изменили мир радикально, поскольку они по-прежнему зависели бы от других людей в выполнении задач и по-прежнему имели бы человеческие когнитивные ограничения. Даже если бы все сверхбыстрые ИИ работали над увеличением интеллекта, неясно, почему они прерывистым образом преуспели бы в создании сверхчеловеческого интеллекта лучше, чем существующие ученые-когнитивисты, хотя темпы прогресса увеличились бы. Более далее утверждает, что сверхразум не сможет изменить мир в одночасье: сверхразуму необходимо будет взаимодействовать с существующими, медленными человеческими системами, чтобы осуществлять физическое воздействие на мир. «Необходимость сотрудничества, организации и воплощения идей в физические изменения гарантирует, что все старые правила не будут отменены в одночасье или даже в течение нескольких лет». [116]

Отношение к бессмертию и старению

Дрекслер (1986), один из основоположников нанотехнологий , постулирует устройства восстановления клеток, в том числе действующие внутри клеток и использующие пока гипотетические биологические машины . [117] По словам Ричарда Фейнмана , именно его бывший аспирант и соратник Альберт Хиббс первоначально предложил ему (около 1959 года) идею медицинского использования теоретических микромашин Фейнмана. Хиббс предположил, что однажды некоторые ремонтные машины могут быть уменьшены в размерах до такой степени, что теоретически можно будет (как выразился Фейнман) « проглотить доктора ». Эта идея была включена в эссе Фейнмана 1959 года « На дне много места» . [118]

Моравец (1988) [34] предсказывает возможность «загрузки» человеческого разума в человекоподобного робота, достигая квазибессмертия за счет чрезвычайного долголетия посредством передачи человеческого разума между последовательными новыми роботами по мере изнашивания старых; кроме того, он предсказывает позднее экспоненциальное ускорение субъективного опыта времени, ведущее к субъективному ощущению бессмертия.

Курцвейл (2005) предполагает, что достижения медицины позволят людям защитить свое тело от последствий старения, делая продолжительность жизни безграничной . Курцвейл утверждает, что технологические достижения в медицине позволят нам постоянно восстанавливать и заменять неисправные компоненты нашего тела, продлевая жизнь до неопределенного возраста. [119] Курцвейл далее подкрепляет свой аргумент, обсуждая текущие достижения биоинженерии. Курцвейл предлагает соматическую генную терапию ; после синтетических вирусов со специфической генетической информацией, следующим шагом будет применение этой технологии к генной терапии, заменяя человеческую ДНК синтезированными генами. [120]

Помимо простого продления срока службы физического тела, Джарон Ланье выступает за форму бессмертия, называемую «Цифровое Вознесение», которая предполагает, что «люди умирают во плоти, загружаются в компьютер и остаются в сознании». [121]

История концепции

В статье Махендры Прасада, опубликованной в журнале AI Magazine , утверждается, что математик 18-го века маркиз де Кондорсе был первым человеком, который выдвинул гипотезу и математически смоделировал интеллектуальный взрыв и его влияние на человечество. [122]

Раннее описание этой идеи было сделано в рассказе Джона Кэмпбелла 1932 года «Последняя эволюция». [123]

В своем некрологе Джону фон Нейману в 1958 году Улам вспоминал разговор с фон Нейманом о «постоянно ускоряющемся прогрессе технологий и изменениях в образе человеческой жизни, что создает видимость приближения к какой-то существенной сингулярности в истории расы, за пределами которой человеческие дела, какими мы их знаем, не могли продолжаться». [6]

В 1965 году Гуд написал свое эссе, в котором постулировал «интеллектуальный взрыв» рекурсивного самосовершенствования машинного интеллекта. [18] [19]

В 1977 году Ганс Моравец написал статью с неясным статусом публикации, в которой он предполагал развитие самосовершенствующихся мыслящих машин, создание «сверхсознания, синтеза земной жизни, а также, возможно, жизни на Юпитере и Марсе, постоянно улучшающихся и расширяясь, распространяясь за пределы Солнечной системы, превращая не-жизнь в разум». [124] [125] В статье описывается загрузка человеческого разума, позже описанная Моравцем (1988). Ожидается, что машины достигнут человеческого уровня, а затем усовершенствуются за его пределами («Самое главное, что их [машины] можно заставить работать программистами и инженерами, с задачей оптимизации программного и аппаратного обеспечения, которые делают их такими, какими они есть». Последующие поколения машин, производимых таким образом, будут становиться все более умными и экономически эффективными».) Люди больше не будут нужны, и их способности будут превзойдены машинами: «В долгосрочной перспективе явная физическая неспособность людей Если идти в ногу с этими быстро развивающимися отпрысками нашего разума, соотношение людей и машин приблизится к нулю и что вселенную унаследует прямой потомок нашей культуры, а не наших генов». Хотя слово «сингулярность» не используется, существует понятие мыслящих машин человеческого уровня, которые впоследствии совершенствуются за пределы человеческого уровня. С этой точки зрения не происходит никакого взрыва интеллекта в смысле очень быстрого роста интеллекта после достижения человеческого эквивалента. Обновленная версия статьи была опубликована в 1979 году в журналах Analog Science Fiction and Fact . [126] [125]

В 1981 году Станислав Лем опубликовал научно-фантастический роман «Голем XIV» . В нем описывается военный компьютер с искусственным интеллектом (Голем XIV), который обретает сознание и начинает увеличивать свой интеллект, двигаясь к личной технологической сингулярности. Голем XIV изначально был создан, чтобы помогать своим строителям в ведении войн, но по мере того, как его интеллект достигает гораздо более высокого уровня, чем у людей, он перестает интересоваться военными требованиями, поскольку обнаруживает, что им недостает внутренней логической последовательности.

В 1983 году Вернор Виндж в печатном выпуске журнала Omni за январь 1983 года рассказал о взрывном росте разведки Гуда . В этой статье Виндж, кажется, был первым, кто использовал термин «сингулярность» (хотя и не «технологическая сингулярность») в смысле, конкретно связанном с созданием разумных машин: [8] [125]

Скоро мы создадим разум, превосходящий наш собственный. Когда это произойдет, человеческая история достигнет своего рода сингулярности, интеллектуального перехода, столь же непроницаемого, как запутанное пространство-время в центре черной дыры, и мир выйдет далеко за пределы нашего понимания. Эта необычность, я полагаю, уже не дает покоя ряду писателей-фантастов. Это делает невозможным реалистичную экстраполяцию в межзвездное будущее. Чтобы написать историю, действие которой происходит более чем через столетие, между ними нужна ядерная война... чтобы мир оставался понятным.

В 1985 году в книге «Временная шкала искусственного интеллекта» исследователь искусственного интеллекта Рэй Соломонов математически сформулировал родственное понятие того, что он назвал «точкой бесконечности»: если исследовательскому сообществу самосовершенствующихся ИИ человеческого уровня потребуется четыре года, чтобы удвоиться их собственная скорость, затем два года, затем один год и так далее, их возможности бесконечно увеличиваются за конечное время. [7] [127]

В 1986 году Вернор Виндж опубликовал научно-фантастический роман «Оставленные в реальном времени» , в котором несколько оставшихся людей, путешествующих вперед в будущем, пережили неизвестное событие вымирания, которое вполне могло быть сингулярностью. В коротком послесловии автор заявляет, что реальная технологическая сингулярность не будет означать конец человеческого рода: «конечно, кажется очень маловероятным, что Сингулярность будет полным исчезновением человеческой расы. (С другой стороны, такое исчезновение — это временной аналог тишины, которую мы видим по всему небу.)». [128] [129]

В 1988 году Виндж использовал фразу «технологическая сингулярность» (в том числе «технологическая») в сборнике рассказов « Угрозы и другие обещания » , написав во введении к своему рассказу «Вихрь времени» (стр. 72): « Если не произойдет всемирная катастрофа». Я верю, что технологии осуществят наши самые смелые мечты, и очень скоро. Когда мы повышаем свой собственный интеллект и интеллект наших творений, мы больше не находимся в мире персонажей размером с человека. В этот момент мы попали в технологическую «черную дыру», технологическую сингулярность. [130]

В 1988 году Ганс Моравец опубликовал книгу «Дети разума» [ 34] , в которой он предсказал, что к 2010 году в суперкомпьютерах появится интеллект человеческого уровня, самосовершенствующиеся интеллектуальные машины, намного превосходящие человеческий интеллект позже, человеческий разум позже загружается в человекоподобных роботов, интеллектуальные машины покидают людей. позади, и космическая колонизация. Однако он не упомянул «сингулярность» и не говорил о быстром взрыве интеллекта сразу после достижения человеческого уровня. Тем не менее, общий смысл сингулярности присутствует в прогнозировании как искусственного интеллекта человеческого уровня, так и дальнейшего искусственного интеллекта, намного превосходящего человека позже.

Статья Винджа 1993 года «Грядущая технологическая сингулярность: как выжить в постчеловеческую эпоху» [4] широко распространилась в Интернете и помогла популяризировать эту идею. [131] В этой статье содержится заявление: «Через тридцать лет у нас будут технологические средства для создания сверхчеловеческого интеллекта. Вскоре после этого человеческая эра закончится». Виндж утверждает, что авторы научной фантастики не могут писать реалистичных постсингулярных персонажей, превосходящих человеческий интеллект, поскольку мысли такого интеллекта были бы за пределами способности людей выражать. [4]

В статье Мински 1994 года говорится, что роботы «наследуют Землю», возможно, с использованием нанотехнологий, и предлагается думать о роботах как о человеческих «детях разума», проводя аналогию с Моравцем. Риторический эффект этой аналогии заключается в том, что если люди могут передать мир своим биологическим детям, они также могут передать его роботам, своим «разумным» детям. По словам Мински, «мы могли бы заставить наших «детей разума» думать в миллион раз быстрее, чем мы сами. Такому существу полминуты могут показаться продолжительностью одного нашего года, а каждый час — целой человеческой жизни». Особенностью сингулярности, присутствующей у Мински, является развитие сверхчеловеческого искусственного интеллекта («в миллион раз быстрее»), но о внезапном взрыве интеллекта, самосовершенствующихся мыслящих машинах или непредсказуемости, выходящей за пределы какого-либо конкретного события и слова «сингулярность», речи не идет. не используется. [132]

Книга Типлера «Физика бессмертия» 1994 года предсказывает будущее, в котором сверхразумные машины будут создавать чрезвычайно мощные компьютеры, людей будут «эмулировать» в компьютерах, жизнь достигнет каждой галактики, а люди достигнут бессмертия, когда достигнут Точки Омега . [133] Здесь не идет речь о вингийской «сингулярности» или внезапном взрыве интеллекта, но здесь присутствует интеллект, намного превосходящий человеческий, а также бессмертие.

В 1996 году Юдковский предсказал сингулярность к 2021 году . [20] Его версия сингулярности предполагает взрыв интеллекта: как только ИИ начинают исследования, чтобы улучшить себя, скорость удваивается через 2 года, затем через 1 год, затем через 6 месяцев, затем через 3 года. месяцев, затем через 1,5 месяца и еще через несколько итераций «сингулярность» достигается. [20] Эта конструкция подразумевает, что скорость достигает бесконечности за конечное время.

В 2000 году Билл Джой , известный технолог и соучредитель Sun Microsystems , выразил обеспокоенность по поводу потенциальных опасностей робототехники, генной инженерии и нанотехнологий. [53]

В 2005 году Курцвейл опубликовал книгу «Сингулярность близка» . Рекламная кампания Курцвейла включала появление на The Daily Show с Джоном Стюартом . [134]

С 2006 по 2012 год ежегодная конференция Singularity Summit организовывалась Исследовательским институтом машинного интеллекта , основанным Элиэзером Юдковски .

В 2007 году Юдковский предположил, что многие из различных определений «сингулярности» скорее несовместимы, чем взаимодополняют друг друга. [29] [135] Например, Курцвейл экстраполирует текущие технологические траектории за пределы появления самосовершенствующегося искусственного интеллекта или сверхчеловеческого интеллекта, что, по мнению Юдковски, представляет собой противоречие как с предложенным И. Дж. Гудом прерывистым ростом интеллекта, так и с тезисом Винджа о непредсказуемости. [29]

В 2009 году Курцвейл и основатель X-Prize Питер Диамандис объявили о создании Университета сингулярности , неаккредитованного частного института, заявленная миссия которого — «обучать, вдохновлять и расширять возможности лидеров для применения экспоненциальных технологий для решения великих проблем человечества». [136] Университет Сингулярности , финансируемый Google , Autodesk , ePlanet Ventures и группой лидеров технологической отрасли , базируется в Исследовательском центре Эймса НАСА в Маунтин -Вью , Калифорния . Некоммерческая организация летом проводит ежегодную десятинедельную программу для выпускников, которая охватывает десять различных технологических и смежных направлений, а также серию программ для руководителей в течение года.

В политике

В 2007 году Объединенный экономический комитет Конгресса США опубликовал отчет о будущем нанотехнологий. Он предсказывает значительные технологические и политические изменения в среднесрочном будущем, включая возможную технологическую сингулярность. [137] [138] [139]

Бывший президент США Барак Обама говорил о сингулярности в интервью Wired в 2016 году: [140]

Одна вещь, о которой мы не слишком много говорили, и я просто хочу вернуться к ней, это то, что нам действительно нужно продумать экономические последствия. Потому что большинство людей сейчас не тратят много времени на беспокойство по поводу сингулярности — они беспокоятся о том: «Ну, будет ли моя работа заменена машиной?»

Смотрите также

Рекомендации

Цитаты

  1. Кадвалладр, Кэрол (22 февраля 2014 г.). «Роботы вот-вот восстанут? Так думает новый технический директор Google…». Хранитель . Проверено 8 мая 2022 г.
  2. ^ «Сборник источников, определяющих «сингулярность»». сингулярностьsymposium.com . Архивировано из оригинала 17 апреля 2019 года . Проверено 17 апреля 2019 г.
  3. ^ аб Эдем, Амнон Х.; Мур, Джеймс Х.; Сёракер, Джонни Х.; Стейнхарт, Эрик, ред. (2012). Гипотезы сингулярности: научная и философская оценка. Коллекция «Границы». Дордрехт: Спрингер. стр. 1–2. дои : 10.1007/978-3-642-32560-1. ISBN 9783642325601.
  4. ^ abcdefgh Виндж, Вернор. «Грядущая технологическая сингулярность: как выжить в постчеловеческую эпоху». Архивировано 10 апреля 2018 г. в Wayback Machine , в книге «Видение-21: междисциплинарная наука и инженерия в эпоху киберпространства» , под ред. Г. А. Лэндиса, публикация НАСА. CP-10129, стр. 11–22, 1993 г.
  5. ^ Технологическая сингулярность Мюррея Шанахана (MIT Press, 2015), стр. 233.
  6. ^ abc Улам, Станислав (май 1958 г.). «Дань Джону фон Нейману» (PDF) . Бюллетень Американского математического общества . 64, № 3, часть 2: 5. Архивировано (PDF) из оригинала 15 февраля 2021 года . Проверено 7 ноября 2018 г.
  7. ^ abcdef Чалмерс , Дэвид Дж. (2010). «Сингулярность: философский анализ» (PDF) . Журнал исследований сознания . 17 (9–10): 7–65.
  8. ^ Аб Дулинг, Ричард. Восторг для гиков: когда ИИ перехитрил IQ (2008), с. 88
  9. Спаркс, Мэтью (13 января 2015 г.). «Ведущие учёные призывают к осторожности в отношении искусственного интеллекта». Телеграф (Великобритания) . Архивировано из оригинала 7 апреля 2015 года . Проверено 24 апреля 2015 г.
  10. ^ «Хокинг: ИИ может положить конец человечеству». Би-би-си. 2 декабря 2014 г. Архивировано из оригинала 30 октября 2015 г. Проверено 11 ноября 2017 г.
  11. ^ abc Аллен, Пол Г.; Гривз, Марк (12 октября 2011 г.), «Пол Аллен: Сингулярность не близка», MIT Technology Review , получено 12 апреля 2015 г.
  12. ^ abcdefghi «Технические светила обращаются к сингулярности». IEEE-спектр . 1 июня 2008 г. Архивировано из оригинала 30 апреля 2019 г. . Проверено 9 сентября 2011 г.
  13. ^ abc Модис, Теодор (2012). «Почему сингулярность не может случиться». Опубликовано в журнале Eden, Amnon H. et al (ред.) (2012). Гипотеза сингулярности (PDF) . Нью-Йорк: Спрингер. п. 311. ИСБН 978-3-642-32560-1.стр. 311–339.
  14. ^ Эрлих, Пол. «Пол Эрлих: Доминирующее животное: эволюция человека и окружающая среда – долгое время». longnow.org . Проверено 14 июня 2023 г.
  15. ^ "Бизнеснеделя - Блумберг". Bloomberg.com . 20 апреля 2023 г. Проверено 14 июня 2023 г.
  16. ^ аб Ямпольский, Роман В. «Анализ типов самосовершенствующегося программного обеспечения». Общий искусственный интеллект. Springer International Publishing, 2015. стр. 384–393.
  17. ^ аб Элиэзер Юдковский . Общий интеллект и посевной искусственный интеллект, создающий целостный разум, способный к неограниченному самосовершенствованию, 2001 г.
  18. ^ abc Good, IJ (1965), Спекуляции относительно первой сверхразумной машины, заархивировано из оригинала 27 мая 2001 г.
  19. ^ ab Good, IJ (1965), Размышления о первой сверхразумной машине (PDF) , заархивировано из оригинала (PDF) 1 мая 2012 г.
  20. ^ abcde Юдковски, Элиезер (1996). «Взгляд в сингулярность». Архивировано из оригинала 21 октября 2008 года.
  21. ^ Рэй Курцвейл, Сингулярность близка, стр. 135–136. Группа Пингвин, 2005.
  22. ^ Сотала, Кай; Ямпольский, Роман (2017). «Риски путешествия к сингулярности». Технологическая сингулярность . Коллекция «Границы». Шпрингер Берлин Гейдельберг. стр. 11–23. дои : 10.1007/978-3-662-54033-6_2. ISBN 978-3-662-54031-2.
  23. ^ ab «Что такое сингулярность? | Институт сингулярности искусственного интеллекта» . Сингинст.орг. Архивировано из оригинала 8 сентября 2011 года . Проверено 9 сентября 2011 г.
  24. ^ Чалмерс, Дэвид Дж. (2016). «Сингулярность». Научная фантастика и философия . John Wiley & Sons, Inc., стр. 171–224. дои : 10.1002/9781118922590.ch16. ISBN 9781118922590.
  25. ^ Пирс, Дэвид (2012), Иден, Амнон Х.; Мур, Джеймс Х.; Сёракер, Джонни Х.; Стейнхарт, Эрик (ред.), «Взрыв биоинтеллекта», « Гипотезы сингулярности », The Frontiers Collection, Берлин, Гейдельберг: Springer Berlin Heidelberg, стр. 199–238, doi : 10.1007/978-3-642-32560-1_11, ISBN 978-3-642-32559-5, получено 16 января 2022 г.
  26. ^ Гувейя, Стивен С., изд. (2020). «гл. 4, «Люди и интеллектуальные машины: коэволюция, слияние или замена?», Дэвид Пирс». Эпоха искусственного интеллекта: исследование . Вернон Пресс. ISBN 978-1-62273-872-4.
  27. ^ Хэнсон, Робин (2016). Эпоха Эм. Оксфорд: Издательство Оксфордского университета. п. 528. ИСБН 9780198754626.
  28. ^ Холл, Джош (2010). «Сингулярность: нанотехнологии или искусственный интеллект?». Hplusmagazine.com. Архивировано из оригинала 23 декабря 2010 года . Проверено 9 сентября 2011 г.
  29. ↑ abc Юдковский, Элиезер (2007), The Singularity: Three Major School, заархивировано из оригинала 1 октября 2018 г.
  30. ^ Сандберг, Андерс . Обзор моделей технологической сингулярности. Архивировано 24 июля 2011 г. на Wayback Machine.
  31. ^ «Список анализа времени до ИИ человеческого уровня». Влияние ИИ . 22 января 2015 года . Проверено 14 июня 2023 г.
  32. ^ Курцвейл, Рэй (2005). Сингулярность уже близко . Группа Пингвин. п. 120.
  33. ^ Риди, Кристианна (2017). «Курцвейл утверждает, что сингулярность произойдет к 2045 году». Футуризм . Проверено 14 июня 2023 г.
  34. ^ abc Ганс Моравец, Дети разума , 1988
  35. ^ Моравец, Ганс П. (1998). Робот: просто машина для трансцендентного разума. Упс, США.
  36. Хачадурян, Раффи (16 ноября 2015 г.). «Изобретение Судного дня». Житель Нью-Йорка . Архивировано из оригинала 29 апреля 2019 года . Проверено 31 января 2018 г.
  37. ^ Мюллер, В.К., и Бостром, Н. (2016). «Будущий прогресс искусственного интеллекта: обзор мнений экспертов». В В. К. Мюллере (ред.): Фундаментальные проблемы искусственного интеллекта (стр. 555–572). Шпрингер, Берлин. http://philpapers.org/rec/MLLFPI. Архивировано 2 марта 2019 г. в Wayback Machine.
  38. ^ "Кто есть кто в сингулярности" . IEEE-спектр . 1 июня 2008 г. Архивировано из оригинала 12 марта 2016 г. Проверено 9 сентября 2011 г.
  39. ^ Хэнсон, Робин (1998). «Некоторый скептицизм». Архивировано из оригинала 15 февраля 2021 года . Проверено 8 апреля 2020 г.
  40. Лекция Дэвида Чалмерса Джона Локка, 10 мая 2009 г., Экзаменационные школы, Оксфорд, Представление философского анализа возможности технологической сингулярности или «интеллектуального взрыва» в результате рекурсивно самоулучшающегося ИИ. Архивировано 15 января 2013 г. в Wayback Machine .
  41. ^ «ИТРС» (PDF) . Архивировано из оригинала (PDF) 29 сентября 2011 года . Проверено 9 сентября 2011 г.
  42. ^ Шульман, Карл; Андерс, Сандберг (2010). «Последствия программно-ограниченной сингулярности» (PDF) . Научно-исследовательский институт машинного интеллекта .
  43. ^ Грейс, Катя; Сальватье, Джон; Дефо, Аллан; Чжан, Баобао; Эванс, Оуайн (24 мая 2017 г.). «Когда ИИ превзойдет человеческие возможности? Данные экспертов по ИИ». arXiv : 1705.08807 [cs.AI].
  44. Сиракузы, Джон (31 августа 2009 г.). «Mac OS X 10.6 Snow Leopard: обзор Ars Technica». Арс Техника . Архивировано из оригинала 3 сентября 2011 года . Проверено 9 сентября 2011 г.
  45. ^ Моравец, Ганс (1999). Робот: просто машина для трансцендентного разума. Оксфордский университет. Пресс. п. 61. ИСБН 978-0-19-513630-2.
  46. ^ Рэй Курцвейл, Эпоха духовных машин , Викинг; 1999, ISBN 978-0-14-028202-3 . стр. 30, 32. Архивировано 15 февраля 2021 г. в Wayback Machine. 
  47. ^ аб Рэй Курцвейл, Сингулярность близка , Penguin Group, 2005 г.
  48. ^ ab «Мировые технологические возможности для хранения, передачи и вычисления информации». Архивировано 27 июля 2013 г. в Wayback Machine , Мартин Хилберт и Присцила Лопес (2011), Science , 332 (6025), 60–65; бесплатный доступ к статье здесь: martinhilbert.net/WorldInfoCapacity.html.
  49. ^ Коротаев, Андрей В.; ЛеПуар, Дэвид Дж., ред. (2020). «Сингулярность XXI века и глобальное будущее». Эволюция мировых систем и глобальное будущее . дои : 10.1007/978-3-030-33730-8. ISBN 978-3-030-33729-2. ISSN  2522-0985. S2CID  241407141.
  50. ^ Рэй Курцвейл, Сингулярность близка, с. 9. Группа «Пингвин», 2005 г.
  51. ^ Рэй Курцвейл, Сингулярность близка , стр. 135–136. Penguin Group, 2005. «Таким образом, в начале 2030-х годов мы будем производить от 10 26 до 10 29 импульсов в секунду небиологических вычислений в год. Это примерно равно нашей оценке возможностей всего живого биологического человеческого интеллекта... Такое состояние Однако вычисления в начале 2030 - х годов не будут отражать Сингулярность, поскольку они еще не соответствуют глубокому расширению нашего интеллекта . Это действительно будет представлять собой глубокие изменения, и именно по этой причине я установил дату для Сингулярности, представляющей собой глубокую и разрушительную трансформацию человеческих способностей, как 2045 год».
  52. ^ Курцвейл, Раймонд (2001), «Закон ускоряющегося возврата», Nature Physics , Lifeboat Foundation, 4 (7): 507, Bibcode : 2008NatPh...4..507B, doi : 10.1038/nphys1010 , заархивировано из оригинала 27 августа 2018 г. , дата обращения 7 августа 2007 г.
  53. ^ ab Джой, Билл (апрель 2000 г.), «Почему будущее не нуждается в нас», журнал Wired Magazine , Viking Adult, vol. 8, нет. 4, ISBN 978-0-670-03249-5, заархивировано из оригинала 5 февраля 2009 г. , получено 7 августа 2007 г. Наши самые мощные технологии XXI века – робототехника, генная инженерия и нанотехнологии – угрожают сделать людей вымирающим видом.
  54. ^ Юдковский, Элиезер С. «Сила интеллекта». Юдковский. Архивировано из оригинала 3 октября 2018 года . Проверено 9 сентября 2011 г.
  55. ^ ab «Омохундро, Стивен М., «Основные механизмы искусственного интеллекта». Общий искусственный интеллект, материалы Первой конференции AGI, 2008 г., ред. Пей Ван, Бен Герцель и Стэн Франклин. Том 171. Амстердам: IOS, 2008» . 30 ноября 2007 г. Архивировано из оригинала 17 сентября 2018 г. . Проверено 20 августа 2010 г.
  56. ^ «Общий искусственный интеллект: сейчас самое время». КурцвейлАИ. Архивировано из оригинала 4 декабря 2011 года . Проверено 9 сентября 2011 г.
  57. ^ ab «Омохундро, Стивен М., «Природа самосовершенствующегося искусственного интеллекта». Системы самосознания. 21 января 2008 г. Интернет. 7 января 2010 г.». 6 октября 2007 г. Архивировано из оригинала 12 июня 2018 г. Проверено 20 августа 2010 г.
  58. ^ Баррат, Джеймс (2013). «6, «Четыре основных привода»". Наше последнее изобретение (первое изд.). Нью-Йорк: St. Martin's Press. стр. 78–98. ISBN . 978-0312622374.
  59. ^ «Макс Мор и Рэй Курцвейл о сингулярности». КурцвейлАИ. Архивировано из оригинала 21 ноября 2018 года . Проверено 9 сентября 2011 г.
  60. ^ «Краткое резюме | Институт сингулярности искусственного интеллекта» . Сингинст.орг. Архивировано из оригинала 21 июня 2011 года . Проверено 9 сентября 2011 г.
  61. ^ Аб Бостром, Ник (2004). «Будущее эволюции человека». Архивировано из оригинала 28 августа 2018 года . Проверено 20 августа 2010 г.
  62. ^ Шульман, Карл; Сандберг, Андерс (2010). Майнцер, Клаус (ред.). «Последствия программно-ограниченной сингулярности» (PDF) . ECAP10: VIII Европейская конференция по информатике и философии . Архивировано (PDF) из оригинала 30 апреля 2019 г. Проверено 17 мая 2014 г.
  63. ^ Мюльхаузер, Люк; Саламон, Анна (2012). «Интеллектуальный взрыв: доказательства и значение» (PDF) . В Эдеме Амнон; Сёракер, Джонни; Мур, Джеймс Х.; Стейнхарт, Эрик (ред.). Гипотезы сингулярности: научная и философская оценка . Спрингер. Архивировано (PDF) из оригинала 26 октября 2014 года . Проверено 28 августа 2018 г.
  64. ^ Дрейфус и Дрейфус (2000). Разум превыше машины. Саймон и Шустер. п. xiv. ISBN 9780743205511.: «Правда в том, что человеческий интеллект никогда не может быть заменен машинным интеллектом просто потому, что мы сами не являемся «мыслящими машинами» в том смысле, в котором этот термин обычно понимается».
  65. ^ Джон Р. Сирл, «Чего не может знать ваш компьютер», The New York Review of Books , 9 октября 2014 г., стр. 54.: «[Компьютеры] в буквальном смысле... не обладают ни интеллектом, ни мотивацией, ни автономией, ни свободой воли. Мы создаем их так, чтобы они вели себя так, как если бы они обладали определенными видами психологии, но для соответствующих видов психологической реальности не существует никакой психологической реальности». процессы или поведение... [У] машины нет убеждений, желаний или мотиваций».
  66. ^ Хокинг, Стивен (2018). Краткие ответы на большие вопросы . Нью-Йорк: Bantam Books. п. 161. ИСБН 9781984819192. Некоторые люди говорят, что компьютеры никогда не смогут продемонстрировать истинный интеллект, каким бы он ни был. Но мне кажется, что если очень сложные химические молекулы могут действовать в людях, делая их разумными, то столь же сложные электронные схемы могут также заставить компьютеры действовать разумным образом. И если они разумны, они, вероятно, смогут создавать компьютеры, которые будут еще более сложными и интеллектуальными.
  67. ^ Форд, Мартин, Огни в туннеле: автоматизация, ускоряющие технологии и экономика будущего. Архивировано 6 сентября 2010 г. в Wayback Machine , Acculant Publishing, 2009, ISBN 978-1-4486-5981-4 . 
  68. Маркофф, Джон (4 марта 2011 г.). «Армии дорогих юристов заменены более дешевым программным обеспечением». Нью-Йорк Таймс . Архивировано из оригинала 15 февраля 2021 года . Проверено 25 февраля 2017 г. .
  69. ^ Модис, Теодор (2002) «Прогнозирование роста сложности и изменений». Архивировано 15 февраля 2021 г. в Wayback Machine , Технологическое прогнозирование и социальные изменения , 69, № 4, 2002 г., стр. 377–404.
  70. ^ Аб Хюбнер, Джонатан (2005) «Возможная тенденция к снижению мировых инноваций». Архивировано 22 марта 2015 г. в Wayback Machine , Технологическое прогнозирование и социальные изменения , октябрь 2005 г., стр. 980–6.
  71. Кразит, Том (26 сентября 2006 г.). «Intel обещает создать 80 ядер в течение пяти лет». Новости CNET . Архивировано из оригинала 15 февраля 2021 года.
  72. ^ Модис, Теодор (2020). «Прогнозирование роста сложности и изменений — обновленная информация». Опубликовано: Коротаев, Андрей; ЛеПуар, Дэвид (ред.) (3 января 2020 г.). Сингулярность XXI века и глобальное будущее (1-е изд.). Спрингер. п. 620. ИСБН 978-3-030-33730-8.стр. 101-104
  73. ^ Модис, Теодор (май – июнь 2003 г.). «Пределы сложности и перемен». Футурист. 37 (3): 26-32.
  74. ^ Модис, Теодор (2006) «Миф о сингулярности». Архивировано 15 февраля 2021 г. в Wayback Machine , Технологическое прогнозирование и социальные изменения , февраль 2006 г., стр. 104–112.
  75. Модис, Теодор (1 марта 2022 г.). «Связь между энтропией, сложностью и технологической сингулярностью». Технологическое прогнозирование и социальные изменения . 176 : 121457. doi : 10.1016/j.techfore.2021.121457. ISSN  0040-1625. S2CID  245663426.
  76. ^ Шмидхубер, Юрген (2006), ИИ нового тысячелетия и сближение истории , arXiv : cs/0606081 , Bibcode : 2006cs........6081S
  77. ^ Тейнтер, Джозеф (1988) «Коллапс сложных обществ, заархивировано 7 июня 2015 г. в Wayback Machine » (Cambridge University Press)
  78. «Попытка рационально размышлять о сценарии сингулярности», Дуглас Хофштадтер, 2006, неавторизованная расшифровка
  79. Брукс, Дэвид (13 июля 2023 г.). «Мнение | «Человеческие существа скоро затмятся»». Нью-Йорк Таймс . ISSN  0362-4331 . Проверено 2 августа 2023 г.
  80. ^ Аб Ланье, Джарон (2013). «Кому принадлежит будущее?». Нью-Йорк: Саймон и Шустер . Архивировано из оригинала 13 мая 2016 года . Проверено 2 марта 2016 г.
  81. ^ Уильям Д. Нордхаус , «Почему рост упадет» (обзор Роберта Дж. Гордона , «Взлет и падение американского роста: уровень жизни в США после гражданской войны» , Princeton University Press, 2016, ISBN 978-0691147727 , 762 стр., 39,95 долларов), The New York Review of Books , vol. LXIII, нет. 13 (18 августа 2016), с. 68. 
  82. Кадвалладр, Кэрол (12 февраля 2017 г.), «Дэниел Деннетт: «Я жалею каждый час, который мне приходится тратить на беспокойство о политике»», The Guardian
  83. Майерс, П.З., Singularly Silly Singularity, заархивировано из оригинала 28 февраля 2009 г. , получено 13 апреля 2009 г.
  84. ^ Келли, Кевин (2006). «Сингулярность всегда рядом». Техниум . Проверено 14 июня 2023 г.
  85. Бим, Алекс (24 февраля 2005 г.). «Это ощущение сингулярности». Бостон Глобус . Проверено 15 февраля 2013 г.
  86. Грей, Джон (24 ноября 2011 г.). «На пути к бессмертию». Нью-Йоркское обозрение книг . Проверено 19 марта 2013 г.
  87. Стрейтфельд, Дэвид (11 июня 2023 г.). «Кремниевая долина противостоит идее о том, что «сингулярность» уже здесь». Газета "Нью-Йорк Таймс . Проверено 11 июня 2023 г.
  88. Хэнсон, Робин (1 июня 2008 г.), «Экономика сингулярности», Специальный отчет IEEE Spectrum: The Singularity , заархивировано из оригинала 11 августа 2011 г. , получено 25 июля 2009 г.И долгосрочный рост как последовательность экспоненциальных режимов. Архивировано 27 мая 2019 г. на Wayback Machine.
  89. ^ аб Юдковский, Элиезер (2008), Бостром, Ник; Чиркович, Милан (ред.), «Искусственный интеллект как положительный и отрицательный фактор глобального риска» (PDF) , Глобальные катастрофические риски , Oxford University Press: 303, Bibcode : 2008gcr..book..303Y, ISBN 978-0-19-857050-9, заархивировано из оригинала (PDF) 7 августа 2008 г.
  90. ^ «Неопределенное будущее». theuncertainfuture.com; проект будущих технологий и моделирования мира . Архивировано из оригинала 30 апреля 2019 года . Проверено 17 августа 2010 г.
  91. ^ Андерс Сандберг и НикБостром (2008). «Глобальное исследование катастрофических рисков (2008 г.), Технический отчет 2008/1» (PDF) . Институт будущего человечества. Архивировано из оригинала (PDF) 16 мая 2011 года.
  92. ^ «Экзистенциальные риски: анализ сценариев вымирания человечества и связанных с ними опасностей». Nickbostrom.com . 2002. Архивировано из оригинала 27 апреля 2011 года . Проверено 25 января 2006 г.
  93. ^ abc Хокинг, Стивен (1 мая 2014 г.). «Стивен Хокинг: «Превосходство» рассматривает последствия искусственного интеллекта – но воспринимаем ли мы ИИ достаточно серьезно?». Независимый . Архивировано из оригинала 25 сентября 2015 года . Проверено 5 мая 2014 г.
  94. ^ Ник Бостром, «Этические проблемы в продвинутом искусственном интеллекте». Архивировано 8 октября 2018 г. в Wayback Machine , в книге «Когнитивные, эмоциональные и этические аспекты принятия решений у людей и в искусственном интеллекте» , Vol. 2, изд. И. Смит и др., Int. Институт перспективных исследований в области системных исследований и кибернетики, 2003, стр. 12–17.
  95. ^ Элиезер Юдковский : Искусственный интеллект как положительный и отрицательный фактор глобального риска. Архивировано 11 июня 2012 г. в Wayback Machine . Черновик публикации в журнале Global Catastropic Risk от 31 августа 2006 г., получено 18 июля 2011 г. (файл PDF)
  96. Хэй, Ник (11 июня 2007 г.). «Устройство для сбора марок». Блог СИАИ . Институт сингулярности. Архивировано из оригинала 17 июня 2012 года . Проверено 21 августа 2010 г.
  97. Сандберг, Андерс (14 февраля 2011 г.). «Почему мы должны бояться скрепки». Андарт . Проверено 14 июня 2023 г.
  98. ^ «Омохундро, Стивен М., «Основные механизмы искусственного интеллекта». Общий искусственный интеллект, материалы Первой конференции AGI, 2008 г., ред. Пей Ван, Бен Герцель и Стэн Франклин. Том 171. Амстердам: IOS, 2008». 30 ноября 2007 г. Архивировано из оригинала 17 сентября 2018 г. . Проверено 20 августа 2010 г.
  99. де Гарис, Хьюго (22 июня 2009 г.). «Грядущая арт-война». Форбс . Проверено 14 июня 2023 г.
  100. ^ Юдковский, Элиезер С. (май 2004 г.). «Последовательная экстраполированная воля». Архивировано из оригинала 15 августа 2010 года.
  101. ^ Хиббард, Билл (2012), «Функции полезности на основе моделей», Журнал общего искусственного интеллекта , 3 (1): 1, arXiv : 1111.3934 , Bibcode : 2012JAGI....3....1H, doi : 10.2478 /v10229-011-0013-5, S2CID  8434596.
  102. ^ ab Как избежать непреднамеренного поведения ИИ. Архивировано 29 июня 2013 г. в Wayback Machine Билла Хиббарда. Материалы Пятой конференции по общему искусственному интеллекту, 2012 г., под ред. Йоша Бах, Бен Герцель и Мэтью Айкл. Эта статья получила премию Тьюринга от Исследовательского института машинного интеллекта в 2012 году за лучший документ по безопасности AGI, заархивированный 15 февраля 2021 г. в Wayback Machine .
  103. ^ Хиббард, Билл (2008), «Технология разума и новый общественный договор», Journal of Evolution and Technology , 17 , заархивировано из оригинала 15 февраля 2021 года , получено 5 января 2013 года .
  104. ^ Поддержка принятия решений для безопасного проектирования ИИ |. Архивировано 15 февраля 2021 г. в Wayback Machine Билла Хиббарда. Материалы Пятой конференции по общему искусственному интеллекту, 2012 г., под ред. Йоша Бах, Бен Герцель и Мэтью Айкл.
  105. ^ abc Кемп, диджей; Гильберт, М.; Гиллингс, MR (2016). «Информация в биосфере: биологический и цифровой миры». Тенденции в экологии и эволюции . 31 (3): 180–189. дои : 10.1016/j.tree.2015.12.013. PMID  26777788. S2CID  3561873. Архивировано из оригинала 4 июня 2016 года . Проверено 24 мая 2016 г.
  106. ^ Гильберт, Мартин. «Количество информации» (PDF) .
  107. ^ аб Маркофф, Джон (26 июля 2009 г.). «Ученые опасаются, что машины могут перехитрить человека». Нью-Йорк Таймс . Архивировано из оригинала 1 июля 2017 года.
  108. Робинсон, Фрэнк С. (27 июня 2013 г.). «Будущее человечества: обновление или замена?». Гуманист . Архивировано из оригинала 15 февраля 2021 года . Проверено 1 мая 2020 г.
  109. ^ Элиэзер Юдковский . «Искусственный интеллект как положительный и отрицательный фактор глобального риска». Глобальные катастрофические риски (2008).
  110. ^ Бугай, Стефан Владимир и Бен Герцель. «Пять этических императивов и их значение для взаимодействия человека и AGI». Динамическая психология (2007).
  111. ^ Сотала, Кай и Роман В. Ямпольский. «Реакция на катастрофический риск AGI: опрос». Physica Scripta 90.1 (2014): 018001.
  112. ^ Наам, Рамез (2014). «Сингулярность дальше, чем кажется». Архивировано из оригинала 17 мая 2014 года . Проверено 16 мая 2014 г.
  113. ^ Наам, Рамез (2014). «Почему ИИ не возвысится в мгновение ока – немного математики». Архивировано из оригинала 17 мая 2014 года . Проверено 16 мая 2014 г.
  114. ^ Холл, Дж. Сторрс (2008). «Инженерная утопия» (PDF) . Общий искусственный интеллект, 2008: Материалы первой конференции AGI : 460–467. Архивировано (PDF) из оригинала 1 декабря 2014 года . Проверено 16 мая 2014 г.
  115. Герцель, Бен (26 сентября 2014 г.). «Суперинтеллект — сценарии полужесткого взлета». Журнал h+. Архивировано из оригинала 25 октября 2014 года . Проверено 25 октября 2014 г.
  116. ^ Еще, Макс. «Сингулярность встречается с экономикой». Архивировано из оригинала 28 августа 2009 года . Проверено 10 ноября 2014 г.
  117. ^ К. Эрик Дрекслер , Машины созидания , 1986
  118. ^ Фейнман, Ричард П. (декабрь 1959 г.). «Внизу много места». Архивировано из оригинала 11 февраля 2010 года.
  119. ^ Рэй Курцвейл, Сингулярность близка, с. 215. Группа «Пингвин», 2005.
  120. ^ Сингулярность близка , с. 216.
  121. ^ Ланье, Джарон (2010). Вы не гаджет: Манифест . Нью-Йорк, Нью-Йорк: Альфред А. Кнопф . п. 26. ISBN 978-0307269645.
  122. ^ Прасад, Махендра (2019). «Николя де Кондорсе и первая гипотеза интеллектуального взрыва». Журнал ИИ . 40 (1): 29–33. дои : 10.1609/aimag.v40i1.2855 .
  123. ^ Джон В. Кэмпбелл-младший (август 1932 г.). «Последняя эволюция». Удивительные истории . Проект Гутенберг.
  124. ^ Интеллектуальные машины: как добраться отсюда и что делать потом, Ганс Моравец, 1977 (викиданные)
  125. ^ abc Смарт, Джон (1999–2008), Краткая история интеллектуального обсуждения ускорения изменений
  126. ^ Сегодняшние компьютеры, интеллектуальные машины и наше будущее, Ганс Моравец, 1979, викиданные.
  127. ^ Соломонов, Р.Дж. «Временная шкала искусственного интеллекта: размышления о социальных эффектах», Управление человеческими системами, том 5, стр. 149–153, 1985.
  128. Виндж, Вернор (1 октября 2004 г.). Брошенный в реальном времени. Макмиллан. ISBN 978-1-4299-1512-0.
  129. Дэвид Прингл (28 сентября 1986 г.). "Снова и снова". Вашингтон Пост . Проверено 6 июля 2021 г.
  130. ^ Виндж, Вернор (1988). Угрозы и другие обещания. Баен. ISBN 978-0-671-69790-7.
  131. ^ Дулинг, Ричард. Восторг для гиков: когда ИИ перехитрил IQ (2008), с. 89
  132. ^ «Наследуют ли роботы Землю?». web.media.mit.edu . Проверено 14 июня 2023 г.
  133. ^ Оппи, Грэм (2000). «Колонизация галактик». София . ООО «Спрингер Сайенс энд Бизнес Медиа». 39 (2): 117–142. дои : 10.1007/bf02822399. ISSN  0038-1527. S2CID  170919647.
  134. Эпизод от 23 августа 2006 г. на IMDb .
  135. ^ Сандберг, Андерс. «Обзор моделей технологической сингулярности». Семинар «Дорожные карты AGI и будущее AGI», Лугано, Швейцария, март. Том. 8. 2010.
  136. Университет Сингулярности. Архивировано 15 февраля 2021 г. в Wayback Machine на официальном сайте.
  137. Гастон, Дэвид Х. (14 июля 2010 г.). Энциклопедия нанонауки и общества. Публикации SAGE. ISBN 978-1-4522-6617-6. Архивировано из оригинала 15 февраля 2021 года . Проверено 4 ноября 2016 г.
  138. ^ «Нанотехнологии: будущее наступит раньше, чем вы думаете» (PDF) . Объединенный экономический комитет Конгресса США. Март 2007 г. Архивировано (PDF) из оригинала 15 февраля 2021 г. Проверено 29 апреля 2012 г.
  139. Тредер, Майк (31 марта 2007 г.). «Конгресс и сингулярность». Ответственные нанотехнологии . Архивировано из оригинала 7 апреля 2007 года . Проверено 4 ноября 2016 г.
  140. Дадич, Скотт (12 октября 2016 г.). «Барак Обама рассказывает об искусственном интеллекте, роботизированных автомобилях и будущем мира». Проводной . Архивировано из оригинала 3 декабря 2017 года . Проверено 4 ноября 2016 г.

Источники

дальнейшее чтение

Внешние ссылки

Послушайте эту статью ( 52 минуты )
Разговорная иконка Википедии
Этот аудиофайл был создан на основе редакции этой статьи от 3 ноября 2018 г. и не отражает последующие изменения. ( 03.11.2018 )