Ник Бостром ( / ˈ b ɒ s t r əm / BOST -rəm ; швед . Niklas Boström [ˈnɪ̌kːlas ˈbûːstrœm] ; родился 10 марта 1973 года в Швеции ) [4] — философ , известный своими работами по экзистенциальному риску , антропному принципу , этике улучшения человека , эмуляции всего мозга , рискам сверхразума и тесту на обратимость . Он был директором-основателем ныне распущенного Института будущего человечества в Оксфордском университете [5] и в настоящее время является главным научным сотрудником Инициативы по исследованию макростратегии. [6]
Бостром является автором книг «Антропное смещение: эффекты отбора наблюдений в науке и философии» (2002), [7] «Сверхразум: пути, опасности, стратегии» (2014) и «Глубокая утопия: жизнь и смысл в решенном мире» (2024).
Бостром считает, что достижения в области искусственного интеллекта (ИИ) могут привести к сверхинтеллекту , который он определяет как «любой интеллект, который значительно превосходит когнитивные способности людей практически во всех областях интересов». Он рассматривает это как главный источник возможностей и экзистенциальных рисков. [5] [8]
Родился как Никлас Бострём в 1973 году в Хельсингборге , Швеция, [9] он не любил школу в юном возрасте и провел последний год в средней школе, обучаясь дома. Он интересовался широким спектром академических областей, включая антропологию, искусство, литературу и науку. [1]
Он получил степень бакалавра в Гетеборгском университете в 1994 году. [10] Затем он получил степень магистра философии и физики в Стокгольмском университете и степень магистра вычислительной нейронауки в Королевском колледже Лондона в 1996 году. Во время своего пребывания в Стокгольмском университете он исследовал связь между языком и реальностью, изучая аналитического философа У. В. Куайна . [1] Он также сделал несколько выступлений в лондонском стендап-комедийном кругу. [9] В 2000 году он получил степень доктора философии в Лондонской школе экономики . Его диссертация называлась «Эффекты наблюдательного отбора и вероятность» . [11] Он занимал преподавательскую должность в Йельском университете с 2000 по 2002 год и был постдокторантом Британской академии в Оксфордском университете с 2002 по 2005 год. [7]
Исследования Бострома касаются будущего человечества и долгосрочных результатов. [5] [12] Он обсуждает экзистенциальный риск , [1] который он определяет как риск, при котором «неблагоприятный исход либо уничтожит разумную жизнь, возникшую на Земле, либо навсегда и радикально сократит ее потенциал». Бострома больше всего беспокоят антропогенные риски, которые возникают в результате деятельности человека, в частности, новых технологий, таких как передовой искусственный интеллект, молекулярная нанотехнология или синтетическая биология . [13]
В 2005 году Бостром основал Институт будущего человечества , который [1] до своего закрытия в 2024 году исследовал далекое будущее человеческой цивилизации. [14] [15] Он также является советником Центра по изучению экзистенциального риска . [12]
В сборнике эссе 2008 года « Глобальные катастрофические риски » редакторы Бостром и Милан М. Чиркович характеризуют связь между экзистенциальным риском и более широким классом глобальных катастрофических рисков, а также связывают экзистенциальный риск с эффектами выбора наблюдателя [16] и парадоксом Ферми [17] .
В статье под названием «Гипотеза уязвимого мира» [18] Бостром предполагает, что могут существовать некоторые технологии, которые по умолчанию [a] уничтожают человеческую цивилизацию при их обнаружении. Бостром предлагает структуру для классификации и работы с этими уязвимостями. Он также приводит контрфактуальные мысленные эксперименты о том, как такие уязвимости могли бы возникнуть исторически, например, если бы ядерное оружие было легче разработать или оно бы воспламенило атмосферу (чего опасался Роберт Оппенгеймер ). [20]
В 2014 году Бостром опубликовал книгу «Superintelligence: Paths, Dangers, Strategies» , которая стала бестселлером New York Times . [21] В книге утверждается, что сверхразум возможен, и исследуются различные типы сверхразумов, их познание, связанные с этим риски. Он также представляет технические и стратегические соображения о том, как сделать его безопасным.
Бостром исследует несколько возможных путей к сверхразуму, включая эмуляцию всего мозга и улучшение человеческого интеллекта, но фокусируется на общем искусственном интеллекте , объясняя, что электронные устройства имеют много преимуществ по сравнению с биологическим мозгом. [22]
Бостром проводит различие между конечными целями и инструментальными целями . Конечная цель — это то, чего агент пытается достичь ради собственной внутренней ценности. Инструментальные цели — это всего лишь промежуточные шаги на пути к конечным целям. Бостром утверждает, что существуют инструментальные цели, которые будут разделяться большинством достаточно интеллектуальных агентов, поскольку они, как правило, полезны для достижения любой цели (например, сохранения собственного существования агента или текущих целей, приобретения ресурсов, улучшения его познания...), это концепция инструментальной конвергенции . С другой стороны, он пишет, что практически любой уровень интеллекта теоретически может быть объединен практически с любой конечной целью (даже абсурдными конечными целями, например, изготовлением скрепок ), эту концепцию он называет тезисом ортогональности . [23]
Он утверждает, что ИИ, способный к самосовершенствованию, может инициировать взрыв интеллекта , что приведет (потенциально быстро) к появлению сверхинтеллекта. [24] Такой сверхинтеллект может обладать значительно превосходящими возможностями, особенно в стратегировании, социальной манипуляции, хакерстве или экономической производительности. Обладая такими возможностями, сверхинтеллект может перехитрить людей и захватить мир, установив синглтон ( который является «мировым порядком, в котором на глобальном уровне существует единый орган принятия решений» [b] ) и оптимизируя мир в соответствии со своими конечными целями. [22]
Бостром утверждает, что постановка перед сверхразумом упрощенных конечных целей может иметь катастрофические последствия:
Предположим, мы даем ИИ цель заставить людей улыбаться. Когда ИИ слаб, он выполняет полезные или забавные действия, которые заставляют его пользователя улыбаться. Когда ИИ становится сверхразумным, он понимает, что есть более эффективный способ достичь этой цели: взять под контроль мир и вставить электроды в лицевые мышцы людей, чтобы вызывать постоянные, сияющие улыбки. [25]
Бостром исследует несколько путей снижения экзистенциального риска от ИИ . Он подчеркивает важность международного сотрудничества, в частности, для снижения гонки на износ и динамики гонки вооружений ИИ . Он предлагает потенциальные методы, помогающие контролировать ИИ, включая сдерживание, замедление возможностей или знаний ИИ, сужение рабочего контекста (например, до вопросов-ответов) или «растяжки» (диагностические механизмы, которые могут привести к отключению). [22] Но Бостром утверждает, что «мы не должны быть уверены в нашей способности вечно держать сверхразумного джинна запертым в его бутылке. Рано или поздно он вырвется». Таким образом, он предполагает, что для того, чтобы быть безопасным для человечества, сверхразум должен быть согласован с моралью или человеческими ценностями, чтобы он был «в основе своей на нашей стороне». [26] Потенциальные рамки нормативности ИИ включают в себя последовательное экстраполированное волеизъявление Юдковски (человеческие ценности, улучшенные посредством экстраполяции), моральную правильность (делать то, что морально правильно) и моральную допустимость (следовать последовательному экстраполированному волеизъявлению человечества, за исключением случаев, когда это морально недопустимо). [22]
Бостром предупреждает, что экзистенциальная катастрофа может также произойти из-за того, что люди будут злоупотреблять ИИ в разрушительных целях или из-за того, что люди не будут принимать во внимание потенциальный моральный статус цифровых умов. Несмотря на эти риски, он говорит, что машинный суперинтеллект, похоже, в какой-то момент участвует во «всех вероятных путях к действительно великому будущему». [8]
«Superintelligence: Paths, Dangers, Strategies» стала бестселлером New York Times и получила положительные отзывы от таких личностей, как Стивен Хокинг , Билл Гейтс , Илон Маск , Питер Сингер и Дерек Парфит . Ее хвалили за то, что она предлагала четкие и убедительные аргументы по забытой, но важной теме. Иногда ее критиковали за распространение пессимизма относительно потенциала ИИ или за сосредоточение на долгосрочных и спекулятивных рисках. [27] Некоторые скептики, такие как Дэниел Деннетт или Орен Этциони, утверждали, что сверхинтеллект слишком далек, чтобы риск был значительным. [28] [29] Янн Лекун считает, что экзистенциального риска нет, утверждая, что сверхразумный ИИ не будет стремиться к самосохранению [30] и что экспертам можно доверять, чтобы сделать его безопасным. [31]
Раффи Хачадурян написал, что книга Бострома о сверхинтеллекте «не претендует на звание трактата, отличающегося глубокой оригинальностью; вклад Бострома заключается в том, что он наложил строгость аналитической философии на беспорядочный корпус идей, возникших на периферии академической мысли». [27]
Несмотря на популяризацию понятия экзистенциального риска от ИИ, Бостром также проанализировал потенциальные преимущества. В своей книге 2024 года « Глубокая утопия: жизнь и смысл в решенном мире » он исследует концепцию идеальной жизни, если человечество успешно перейдет в мир после сверхразума. Бостром отмечает, что вопрос не в том, «насколько интересно смотреть на будущее, а в том, насколько хорошо в нем жить». Он описывает некоторые технологии, которые он считает физически возможными в теории и доступными на технологической зрелости, такие как когнитивное улучшение , обращение вспять старения , произвольные сенсорные входы (вкус, звук...) или точный контроль мотивации, настроения, благополучия и личности. По его словам, машины не только будут лучше людей в работе, но и подорвут цель многих видов досуга, обеспечивая крайнее благополучие, одновременно бросая вызов поиску смысла. [32] [33]
Бостром поддерживает принцип независимости субстрата, идею о том, что сознание может возникать на различных типах физических субстратов, а не только в «биологических нейронных сетях на основе углерода», таких как человеческий мозг. [34] Он считает, что « чувственность — это вопрос степени» [35] и что цифровые умы теоретически могут быть спроектированы так, чтобы иметь гораздо более высокую скорость и интенсивность субъективного опыта, чем люди, используя меньше ресурсов. Такие высокочувствительные машины, которых он называет «супер-бенефициарами», были бы чрезвычайно эффективны в достижении счастья. Он рекомендует найти «пути, которые позволят цифровым умам и биологическим умам сосуществовать взаимовыгодным образом, где все эти различные формы могут процветать и процветать». [36]
Бостром опубликовал множество статей по антропному мышлению , а также книгу «Антропное смещение: эффекты отбора наблюдений в науке и философии» . В книге он критикует предыдущие формулировки антропного принципа, в том числе Брэндона Картера , Джона Лесли , Джона Барроу и Фрэнка Типлера . [37]
Бостром считает, что неправильное обращение с индексальной информацией является распространенным недостатком во многих областях исследования (включая космологию, философию, теорию эволюции, теорию игр и квантовую физику). Он утверждает, что для решения этих проблем необходима антропная теория. Он вводит предположение о самовыборке ( SSA) и предположение о самоиндикации (SIA), показывает, как они приводят к разным выводам в ряде случаев, и определяет, как каждый из них подвержен парадоксам или контринтуитивным импликациям в определенных мысленных экспериментах. Он предполагает, что путь вперед может включать расширение SSA до сильного предположения о самовыборке (SSSA), которое заменяет «наблюдателей» в определении SSA на «моменты наблюдателя».
В более поздней работе он предложил совместно с Миланом М. Чирковичем и Андерсом Сандбергом явление антропной тени , эффект отбора наблюдения, который не позволяет наблюдателям наблюдать определенные виды катастроф в их недавнем геологическом и эволюционном прошлом. Они предполагают, что события, которые лежат в антропной тени, вероятно, будут недооценены, если не будут сделаны статистические поправки. [38] [39]
Аргумент Бострома о моделировании предполагает, что по крайней мере одно из следующих утверждений, скорее всего, является истинным: [40] [41]
Бостром благосклонно относится к «улучшению человека» или «самосовершенствованию и совершенствованию человека посредством этического применения науки», а также критикует биоконсервативные взгляды. [42]
В 1998 году Бостром стал соучредителем (совместно с Дэвидом Пирсом ) Всемирной трансгуманистической ассоциации [42] (которая с тех пор сменила название на Humanity+ ). В 2004 году он стал соучредителем (совместно с Джеймсом Хьюзом ) Института этики и новых технологий [43] , хотя больше не участвует ни в одной из этих организаций.
В 2005 году Бостром опубликовал короткий рассказ « Басня о драконе-тиране » в журнале Journal of Medical Ethics . Более короткая версия была опубликована в 2012 году в Philosophy Now . [44] Басня олицетворяет смерть как дракона, который требует дани от тысяч людей каждый день. История исследует, как предвзятость статус-кво и выученная беспомощность могут помешать людям предпринять действия для победы над старением, даже когда средства для этого есть в их распоряжении. YouTuber CGP Grey создал анимированную версию истории. [45]
Совместно с философом Тоби Ордом он предложил тест на изменение в 2006 году. Учитывая иррациональную предвзятость людей к статус-кво, как можно отличить обоснованную критику предлагаемых изменений в человеческой черте от критики, мотивированной просто сопротивлением изменениям? Тест на изменение пытается сделать это, спрашивая, было бы хорошо, если бы черта была изменена в противоположном направлении. [46]
В своей работе Бостром также рассматривает потенциальные дисгенные эффекты в человеческих популяциях, но он считает, что генная инженерия может обеспечить решение, и что «в любом случае временные рамки естественной генетической эволюции человека кажутся слишком большими, чтобы такие разработки могли оказать какое-либо существенное влияние до того, как другие разработки сделают этот вопрос спорным». [25]
Бостром предположил, что технологическая политика, направленная на снижение экзистенциального риска, должна стремиться влиять на порядок, в котором достигаются различные технологические возможности, предлагая принцип дифференциального технологического развития . Этот принцип гласит, что мы должны сдерживать развитие опасных технологий, особенно тех, которые повышают уровень экзистенциального риска, и ускорять развитие полезных технологий, особенно тех, которые защищают от экзистенциальных рисков, создаваемых природой или другими технологиями. [25]
В 2011 году Бостром основал Оксфордскую программу Мартина по влиянию будущих технологий. [47]
Теория Бострома о проклятии односторонних действий была приведена в качестве причины, по которой научное сообщество избегает спорных и опасных исследований, таких как реанимация патогенов. [48]
Бостром был назван в списке ведущих мировых мыслителей журнала Foreign Policy за 2009 год «за то, что он не признает никаких ограничений человеческого потенциала». [ 49 ] Журнал Prospect Magazine включил Бострома в свой список ведущих мировых мыслителей за 2014 год . [50]
Бостром предоставлял политические консультации и консультировал многие правительства и организации. Он давал показания в Палате лордов , в Комитете по цифровым навыкам. [51] Он является членом консультативного совета Института исследований машинного интеллекта , [52] Института будущего жизни , [53] и внешним консультантом Кембриджского центра по изучению экзистенциального риска . [54]
В январе 2023 года Бостром извинился [55] за электронное письмо 1996 года, которое он отправил, будучи аспирантом [56], в котором он заявил, что, по его мнению, «черные глупее белых», и где он также использовал слово « ниггеры » в описании того, как, по его мнению, это заявление может быть воспринято другими. [57] В извинении, опубликованном на его веб-сайте, [55] говорилось, что «упоминание расового оскорбления было отвратительным» и что он «полностью отвергает это отвратительное электронное письмо». В своем извинении он написал: «Я считаю крайне несправедливым, что неравный доступ к образованию, питательным веществам и базовому здравоохранению приводит к неравенству в социальных результатах, включая иногда различия в навыках и когнитивных способностях». [58] По словам Эндрю Энтони из The Guardian , «извинения не умиротворили критиков Бострома, не в последнюю очередь потому, что он явно не отказался от своего центрального утверждения относительно расы и интеллекта и, по-видимому, частично защищал евгенику ». [59]
В январе 2023 года Оксфордский университет сообщил The Daily Beast : «Университет и философский факультет в настоящее время расследуют этот вопрос, но самым решительным образом осуждают взгляды, высказанные этим конкретным ученым в его сообщениях». [57] Урсула Куп , председатель совета факультета философии Оксфордского университета, отправила электронное письмо нынешним студентам и выпускникам, в котором заявила, что она «потрясена и расстроена» электронным письмом Бострома от 1996 года. [60] По словам Бострома, расследование Оксфордского университета завершилось 10 августа 2023 года: «Мы не считаем вас расистом или что вы придерживаетесь расистских взглядов, и мы считаем, что извинения, которые вы опубликовали в январе 2023 года, были искренними». [61] [59]
Бостром встретил свою жену Сьюзан в 2002 году. По состоянию на 2015 год она жила в Монреале , а Бостром в Оксфорде. У них был один сын. [1]
Извинения не умиротворили критиков Бострома, не в последнюю очередь потому, что он явно не отказался от своего центрального утверждения относительно расы и интеллекта и, казалось, частично защищал евгенику. Хотя после расследования Оксфордский университет признал, что Бостром не был расистом, весь этот эпизод оставил пятно на репутации института.
мы не считаем вас расистом или придерживаемся расистских взглядов, и мы считаем, что извинения, которые вы опубликовали в январе 2023 года, были искренними. … мы считаем, что ваши извинения, ваше признание причиненного вами страдания и ваша признательность за заботу и время, которые все уделили этому процессу, были подлинными и искренними. Нас также воодушевило то, что вы уже вступили на путь глубокого и осмысленного размышления, которое включает в себя изучение обучения и самообразования в ходе этого процесса.
