Риски астрономических страданий , также называемые рисками страданий или s-рисками , — это риски, влекущие за собой гораздо больше страданий, чем все, что происходило на Земле до сих пор. [2] [3] Иногда их относят к подклассу экзистенциальных рисков . [4]
По мнению некоторых ученых, s-риски требуют серьезного рассмотрения, поскольку они не являются крайне маловероятными и могут возникнуть из непредвиденных сценариев. Хотя они могут показаться спекулятивными, такие факторы, как технологический прогресс, динамика власти и исторические прецеденты, указывают на то, что передовые технологии могут непреднамеренно привести к существенным страданиям. Таким образом, s-риски считаются морально неотложным вопросом, несмотря на возможность технологических выгод. [5]
Источниками возможных s-рисков являются воплощенный искусственный интеллект [6] и сверхразум , [7], а также космическая колонизация , которая потенциально может привести к «постоянным и катастрофическим войнам» [8] и огромному увеличению страданий диких животных из-за завоза диких животных, которые «обычно ведут короткую, жалкую жизнь, полную порой самых жестоких страданий», на другие планеты, как преднамеренно, так и непреднамеренно. [9]
Искусственный интеллект занимает центральное место в обсуждениях s-рисков, поскольку он может в конечном итоге позволить могущественным субъектам контролировать огромные технологические системы. В худшем случае ИИ может быть использован для создания систем вечных страданий, таких как тоталитарный режим, расширяющийся в пространстве. Кроме того, s-риски могут возникать случайно, например, из-за управляемых ИИ симуляций сознательных существ, испытывающих страдания, или из-за экономической деятельности, которая игнорирует благополучие нечеловеческих или цифровых разумов. [10] Стивен Амбрелло, исследователь этики ИИ , предупредил, что биологические вычисления могут сделать проектирование систем более подверженным s-рискам. [6] Брайан Томасик утверждал, что астрономические страдания могут возникнуть из-за неполного решения проблемы выравнивания ИИ . Он приводит доводы в пользу возможности сценария «почти промаха», когда сверхразумный ИИ, который немного смещен, имеет максимальную вероятность причинения астрономических страданий по сравнению с полностью невыровненным ИИ. [11]
Колонизация космоса может усилить страдания, вводя диких животных в новые среды обитания, что приведет к экологическому дисбалансу. В незнакомых местах обитания животные могут бороться за выживание, сталкиваясь с голодом, болезнями и хищниками. Эти проблемы в сочетании с нестабильными экосистемами могут привести к краху или взрыву популяции, что приведет к широкомасштабным страданиям. Кроме того, отсутствие естественных хищников или надлежащего биоразнообразия на колонизированных планетах может ухудшить ситуацию, отражая экологические проблемы Земли в большем масштабе. Это вызывает этические опасения по поводу непреднамеренных последствий колонизации космоса, поскольку это может привести к распространению огромных страданий животных в новых, нестабильных экосистемах. Фил Торрес утверждает, что колонизация космоса несет значительные «риски страдания», когда экспансия в космос приведет к созданию разнообразных видов и цивилизаций с конфликтующими интересами. Эти различия в сочетании с передовым оружием и огромными расстояниями между цивилизациями приведут к катастрофическим и неразрешимым конфликтам. Стратегии вроде «космического Левиафана» для наведения порядка или политики сдерживания вряд ли будут успешными из-за физических ограничений в космосе и разрушительной силы будущих технологий. Таким образом, Торрес приходит к выводу, что колонизация космоса может создать огромные страдания и должна быть отложена или вообще исключена. [12]
Дэвид Пирс утверждал, что генная инженерия является потенциальным s-риском. Пирс утверждает, что хотя технологическое господство над осью удовольствия-боли и решение сложной проблемы сознания может привести к потенциальному искоренению страдания , оно также может потенциально увеличить уровень контраста в гедонистическом диапазоне, который могут испытывать чувствующие существа. Он утверждает, что эти технологии могут сделать возможным создание «гиперболи» или «долориума», которые испытывают уровни страдания, выходящие за пределы человеческого диапазона. [13]
Сценарии S-риска могут возникнуть из-за чрезмерного уголовного наказания, с прецедентами как в исторических, так и в современных пенитенциарных системах. Эти риски усиливаются в таких ситуациях, как война или терроризм, особенно когда задействованы передовые технологии, поскольку конфликты могут усиливать деструктивные тенденции, такие как садизм, трайбализм и ретрибутивизм . Война часто усиливает эту динамику, с возможностью использования катастрофических угроз для принуждения к уступкам. Агентские s-риски еще больше усугубляются недоброжелательными чертами у могущественных людей, такими как нарциссизм или психопатия. Это иллюстрируется тоталитарными диктаторами, такими как Гитлер и Сталин , чьи действия в 20 веке причинили широкомасштабные страдания. [14]
По словам Дэвида Пирса, существуют и другие потенциальные s-риски, которые являются более экзотическими, например, те, которые возникают из-за многомировой интерпретации квантовой механики. [13]
По словам Тобиаса Бауманна, s-риски можно разделить на три основные категории:
Бауманн подчеркивает, что эти примеры являются спекулятивными, и признает неопределенность будущих событий. Он также предупреждает о смещении доступности, которое может привести к переоценке вероятности определенных сценариев, подчеркивая важность рассмотрения широкого спектра потенциальных s-рисков. [5]
Чтобы смягчить s-риски, усилия сосредоточены на исследовании и понимании факторов, которые их усугубляют, особенно в новых технологиях и социальных структурах. Целевые стратегии включают продвижение безопасного проектирования ИИ, обеспечение сотрудничества между разработчиками ИИ и моделирование будущих цивилизаций для прогнозирования рисков. Широкие стратегии могут выступать за моральные нормы против масштабных страданий и стабильные политические институты. По словам Энтони ДиДжованни, приоритетность снижения s-рисков имеет важное значение, поскольку это может быть более управляемым, чем другие долгосрочные проблемы, в то время как избежать катастрофических результатов может быть проще, чем достичь полностью утопического будущего. [15]
Индуцированная амнезия была предложена как способ снижения s-рисков в замкнутом сознательном ИИ и некоторых смежных с ИИ биологических системах, таких как мозговые органоиды . [16]
Концепция «космических спасательных миссий» Дэвида Пирса предлагает идею отправки зондов для облегчения потенциальных страданий во внеземных средах. Эти миссии направлены на выявление и смягчение страданий среди гипотетических внеземных форм жизни, гарантируя, что если жизнь существует где-то еще, к ней относятся этично. [17] Однако проблемы включают в себя отсутствие подтвержденной внеземной жизни, неопределенность относительно их сознания и проблемы общественной поддержки, при этом экологи выступают за невмешательство, а другие сосредоточены на добыче ресурсов. [18]