Ник Бостром ( / ˈ b ɒ s t r əm / BOST -rəm ; швед. : Никлас Бострём [ˈnɪ̌kːlas ˈbûːstrœm] ; родился 10 марта 1973 г.) [3] — шведский философ из Оксфордского университета , известный своими работами по экзистенциальному риску , антропный принцип , этика совершенствования человека , эмуляция всего мозга , риски сверхразума и тест на обратное . Он является директором-основателем Института будущего человечества при Оксфордском университете. [4]
Бостром является автором книг «Антропическая предвзятость: эффекты отбора наблюдений в науке и философии» (2002) [5] и «Суперинтеллект: пути, опасности, стратегии» (2014).
Бостром считает, что достижения в области искусственного интеллекта (ИИ) могут привести к появлению сверхинтеллекта , который он определяет как «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех областях интересов». Он рассматривает это как главный источник возможностей и экзистенциальных рисков. [4] [6]
Никлас Бострем родился в 1973 году в Хельсингборге , Швеция. [7] Он не любил школу в молодом возрасте и провел свой последний год обучения в средней школе дома. Его интересовали самые разные академические области, включая антропологию, искусство, литературу и науку. [1]
Он получил степень бакалавра в Гетеборгском университете в 1994 году. [8] Затем он получил степень магистра философии и физики в Стокгольмском университете и степень магистра вычислительной нейробиологии в Королевском колледже Лондона в 1996 году. Во время своего пребывания в Стокгольмском университете он получил степень бакалавра в Гетеборгском университете. он исследовал взаимосвязь между языком и реальностью, изучая философа-аналитика У.В. Куайна . [1] Он также несколько раз выступал на лондонских стендап-комедиях. [7] В 2000 году он получил степень доктора философии в Лондонской школе экономики . Его диссертация называлась «Эффекты наблюдательного отбора и вероятность» . [9] Он занимал преподавательскую должность в Йельском университете с 2000 по 2002 год и был научным сотрудником Британской академии в Оксфордском университете с 2002 по 2005 год. [5]
Исследования Бострома касаются будущего человечества и долгосрочных результатов. [4] [10] Он обсуждает экзистенциальный риск , [1] который он определяет как риск, при котором «неблагоприятный исход либо уничтожит разумную жизнь, зародившуюся на Земле, либо навсегда и радикально ограничит ее потенциал». Бостром больше всего обеспокоен антропогенными рисками, которые представляют собой риски, возникающие в результате деятельности человека, особенно из-за новых технологий, таких как передовой искусственный интеллект, молекулярные нанотехнологии или синтетическая биология . [11]
В 2005 году Бостром основал Институт будущего человечества , [1] который исследует далекое будущее человеческой цивилизации. Он также является советником Центра изучения экзистенциального риска . [10]
В сборнике эссе 2008 года « Глобальные катастрофические риски» редакторы Бостром и Милан М. Чиркович характеризуют взаимосвязь между экзистенциальным риском и более широким классом глобальных катастрофических рисков и связывают экзистенциальный риск с эффектами отбора наблюдателей [12] и парадоксом Ферми . [13]
В статье под названием «Гипотеза уязвимого мира» [14] Бостром предполагает , что могут существовать некоторые технологии, которые по умолчанию уничтожают человеческую цивилизацию [a] при их обнаружении. Бостром предлагает структуру для классификации и устранения этих уязвимостей. Он также приводит контрфактические мысленные эксперименты о том, как такие уязвимости могли исторически возникнуть, например, если бы ядерное оружие было легче разработать или если бы оно воспламенило атмосферу (чего опасался Роберт Оппенгеймер ). [16]
В 2014 году Бостром опубликовал книгу «Суперинтеллект: пути, опасности, стратегии» , ставшую бестселлером New York Times . [17] В книге утверждается, что сверхинтеллект возможен, и исследуются различные типы сверхинтеллекта, их познание и связанные с этим риски. Он также представляет технические и стратегические соображения о том, как сделать это безопасным.
Бостром исследует множество возможных путей к сверхразуму, включая эмуляцию всего мозга и улучшение человеческого интеллекта, но фокусируется на общем искусственном интеллекте , объясняя, что электронные устройства имеют много преимуществ перед биологическим мозгом. [18]
Бостром проводит различие между конечными целями и инструментальными целями . Конечная цель — это то, чего агент пытается достичь ради собственной внутренней ценности. Инструментальные цели — это всего лишь промежуточные шаги к конечным целям. Бостром утверждает, что существуют инструментальные цели, которые разделяют большинство достаточно умных агентов, поскольку они обычно полезны для достижения любой цели (например, сохранения собственного существования агента или текущих целей, приобретения ресурсов, улучшения его познания...), в этом заключается концепция инструментальной конвергенции . С другой стороны, он пишет, что практически любой уровень интеллекта теоретически может сочетаться практически с любой конечной целью (даже абсурдной конечной целью, например, изготовлением скрепок ), концепцию, которую он называет тезисом ортогональности . [18]
Он утверждает, что ИИ, способный самосовершенствоваться, может инициировать интеллектуальный взрыв , приводящий (потенциально быстро) к сверхразуму. [19] Такой сверхинтеллект мог бы обладать значительно превосходящими способностями, особенно в разработке стратегии, социальных манипуляциях, хакерстве или экономической производительности. Обладая такими способностями, сверхинтеллект мог бы перехитрить людей и захватить мир, установив единый принцип (который представляет собой «мировой порядок, в котором на глобальном уровне существует единое агентство, принимающее решения» [b] ) и оптимизируя мир в соответствии с его конечные цели. [18]
Бостром утверждает, что постановка перед сверхразумом упрощенных конечных целей может обернуться катастрофой:
Предположим, мы даем ИИ цель заставить людей улыбаться. Когда ИИ слаб, он выполняет полезные или забавные действия, которые вызывают улыбку пользователя. Когда ИИ становится сверхразумным, он понимает, что есть более эффективный способ достичь этой цели: взять под контроль мир и вставить электроды в лицевые мышцы людей, чтобы вызывать постоянные сияющие улыбки. [20]
Бостром исследует несколько путей снижения экзистенциального риска, связанного с ИИ . Он подчеркивает важность международного сотрудничества, в частности, для снижения динамики гонки на упадок и гонки вооружений в области искусственного интеллекта . Он предлагает потенциальные методы, помогающие контролировать ИИ, включая сдерживание, задержку возможностей или знаний ИИ, сужение рабочего контекста (например, до ответов на вопросы) или «натяжные провода» (механизмы диагностики, которые могут привести к отключению). [18] Но Бостром утверждает, что «мы не должны быть уверены в своей способности навсегда держать сверхразумного джинна запертым в бутылке. Рано или поздно он выйдет наружу». Таким образом, он предполагает, что для того, чтобы быть безопасным для человечества, сверхинтеллект должен соответствовать морали или человеческим ценностям, чтобы он был «фундаментально на нашей стороне». [20] Потенциальные рамки нормативности ИИ включают последовательную экстраполированную волю Юдковского (человеческие ценности улучшаются посредством экстраполяции), моральную правоту (делать то, что является морально правильным ) и моральную допустимость (следование последовательной экстраполированной волеизъявлению человечества, за исключением случаев, когда это морально недопустимо). [18]
Бостром предупреждает, что экзистенциальная катастрофа также может произойти из-за неправильного использования ИИ людьми в деструктивных целях или из-за того, что люди не принимают во внимание потенциальный моральный статус цифрового разума. Несмотря на эти риски, он говорит, что машинный сверхинтеллект, похоже, в какой-то момент будет задействован во «всех возможных путях к действительно великому будущему». [6]
Книга «Суперинтеллект: пути, опасности, стратегии» стала бестселлером New York Times и получила положительные отзывы от таких личностей, как Стивен Хокинг , Билл Гейтс , Илон Маск , Питер Сингер или Дерек Парфит . Его хвалили за предоставление четких и убедительных аргументов по забытой, но важной теме. Иногда его критиковали за распространение пессимизма в отношении потенциала ИИ или за сосредоточение внимания на долгосрочных и спекулятивных рисках. [21] Некоторые скептики, такие как Дэниел Деннетт или Орен Эциони, утверждали, что сверхинтеллект находится слишком далеко, чтобы риск был значительным. [22] [23] Ян ЛеКун считает, что экзистенциального риска нет, утверждая, что сверхразумный ИИ не будет стремиться к самосохранению [24] и что экспертам можно доверять, чтобы сделать его безопасным. [25]
Раффи Хачадурян писал, что книга Бострома о сверхинтеллекте «не задумана как трактат глубокой оригинальности; вклад Бострома состоит в том, чтобы навязать строгость аналитической философии беспорядочному корпусу идей, возникших на задворках академической мысли». [21]
Бостром поддерживает принцип независимости субстрата, идею о том, что сознание может возникать на различных типах физических субстратов, а не только в «биологических нейронных сетях на основе углерода», таких как человеческий мозг. [26] Он считает, что « чувствительность зависит от степени» [27] и что цифровой разум теоретически может быть спроектирован таким образом, чтобы он имел гораздо более высокую скорость и интенсивность субъективного опыта , чем люди, используя при этом меньше ресурсов. Такие высокоразумные машины, которых он называет «супер-бенефициарами», были бы чрезвычайно эффективны в достижении счастья. Он рекомендует найти «пути, которые позволят цифровому и биологическому разуму сосуществовать взаимовыгодным образом, где все эти различные формы смогут процветать и процветать». [28]
Бостром опубликовал множество статей по антропному мышлению , а также книгу « Антропическая предвзятость: эффекты отбора наблюдения в науке и философии» . В книге он критикует предыдущие формулировки антропного принципа, в том числе формулировки Брэндона Картера , Джона Лесли , Джона Барроу и Фрэнка Типлера . [29]
Бостром считает, что неправильное обращение с индексной информацией является распространенным недостатком во многих областях исследований (включая космологию, философию, теорию эволюции, теорию игр и квантовую физику). Он утверждает, что для решения этих проблем необходима антропная теория. Он вводит допущение самовыборки (SSA) и допущение самоиндикации (SIA), показывает, как они приводят к различным выводам в ряде случаев, и определяет, как на каждое из них влияют парадоксы или противоречивые выводы в определенных мысленных экспериментах. Он предполагает, что путь вперед может включать расширение SSA до предположения сильной самовыборки (SSSA), которое заменяет «наблюдатели» в определении SSA на «моменты-наблюдатели».
В более поздних работах он предложил феномен антропной тени — эффект отбора наблюдений, который не позволяет наблюдателям наблюдать определенные виды катастроф в их недавнем геологическом и эволюционном прошлом. [30] Бостром утверждает, что события, которые лежат в антропной тени, вероятно, будут недооценены, если не будут сделаны статистические поправки.
Аргумент моделирования Бострома утверждает, что по крайней мере одно из следующих утверждений с большой вероятностью будет верным: [31]
Бостром благосклонно относится к «совершенствованию человека» или «самосовершенствованию и совершенствованию человека посредством этического применения науки», а также критикует биоконсервативные взгляды. [32]
В 1998 году Бостром вместе с Дэвидом Пирсом основал Всемирную трансгуманистическую ассоциацию [32] (которая с тех пор сменила название на Humanity+ ). В 2004 году он стал соучредителем (вместе с Джеймсом Хьюзом ) Института этики и новых технологий , хотя больше не участвует ни в одной из этих организаций.
В 2005 году Бостром опубликовал рассказ « Басня о драконе-тиране » в журнале «Медицинская этика» . Более короткая версия была опубликована в 2012 году в журнале Philosophy Now . [33] В басне смерть олицетворяется в виде дракона, который каждый день требует дань от тысяч людей. В этой истории рассказывается о том, как предвзятость статус-кво и выученная беспомощность могут помешать людям принять меры по борьбе со старением, даже если средства для этого есть в их распоряжении. Ютубер CGP Grey создал анимационную версию этой истории.
Вместе с философом Тоби Ордом (в настоящее время исследователем в Институте будущего человечества) он предложил тест на обращение в 2006 году. Учитывая иррациональную предвзятость людей к статус-кво, как можно отличить обоснованную критику предлагаемых изменений в человеческих чертах от критики, просто мотивированной? сопротивлением переменам? Тест на обращение пытается сделать это, задавая вопрос, было бы хорошо, если бы признак был изменен в противоположном направлении. [34]
В работе Бострома также рассматриваются потенциальные дисгенные эффекты в человеческих популяциях, но он считает, что генная инженерия может обеспечить решение, и что «в любом случае временные рамки естественной генетической эволюции человека кажутся слишком великими, чтобы такие разработки могли оказать какое-либо существенное влияние раньше, чем другие разработки». сделает этот вопрос спорным». [35]
Бостром предположил, что технологическая политика, направленная на снижение экзистенциального риска, должна стремиться влиять на порядок достижения различных технологических возможностей, предлагая принцип дифференцированного технологического развития . Этот принцип гласит, что мы должны замедлить развитие опасных технологий, особенно тех, которые повышают уровень экзистенциального риска, и ускорить развитие полезных технологий, особенно тех, которые защищают от экзистенциальных рисков, создаваемых природой или другими технологиями. [36]
В 2011 году Бостром основал Оксфордскую программу Мартина по влиянию технологий будущего. [37]
Теория Бострома о проклятии односторонности была названа причиной, по которой научное сообщество избегало спорных и опасных исследований, таких как реанимация патогенов. [38]
Бостром был включен в список ведущих мировых мыслителей журнала Foreign Policy за 2009 год «за отсутствие ограничений человеческого потенциала». [39] Журнал «Проспект» включил Бострома в список лучших мыслителей мира за 2014 год . [40]
Бостром давал политические рекомендации и консультировал многие правительства и организации. Он дал показания Специальному комитету по цифровым навыкам Палаты лордов . [41] Он является членом консультативного совета Научно-исследовательского института машинного интеллекта , [42] Института будущего жизни , [43] и внешним консультантом Кембриджского центра по изучению экзистенциального риска . [44]
В январе 2023 года Бостром извинился за электронное письмо 1996 года, в котором он заявил, что, по его мнению, «черные глупее белых», и где он также использовал слово « негры » в описании того, как, по его мнению, это заявление может быть воспринято. другими. [45] В извинениях, опубликованных на его веб-сайте, [46] говорилось, что «упоминание о расовых оскорблениях было отвратительным» и что он «полностью отвергает это отвратительное письмо». В своих извинениях он написал: «Я считаю глубоко несправедливым, что неравный доступ к образованию, питательным веществам и базовому здравоохранению приводит к неравенству в социальных результатах, включая иногда неравенство в навыках и когнитивных способностях». [47]
В январе 2023 года Оксфордский университет сообщил The Daily Beast : «Университет и философский факультет в настоящее время расследуют этот вопрос, но самым решительным образом осуждают взгляды, которые этот конкретный ученый выразил в своих сообщениях». [45] В августе 2023 года следствие пришло к выводу (согласно письму Бострома, опубликованному на его сайте), что «мы не считаем [Бострома] расистом или что [он придерживается] расистских взглядов, и считаем, что извинения [45] опубликованное им в январе 2023 года сообщение было искренним». [46]
