stringtranslate.com

Сверхразум

Сверхразум — это гипотетический агент , обладающий интеллектом , превосходящим интеллект самых ярких и одаренных человеческих умов. « Сверхразум » может также относиться к свойству систем решения проблем (например, сверхразумных переводчиков или инженерных помощников), независимо от того, воплощены ли эти высокоуровневые интеллектуальные компетенции в агентах, действующих в мире. Сверхразум может быть создан или не создан взрывом интеллекта и связан с технологической сингулярностью .

Философ Оксфордского университета Ник Бостром определяет сверхинтеллект как «любой интеллект, который значительно превосходит когнитивные способности людей практически во всех областях интересов». [1] Программа Fritz не соответствует этой концепции сверхинтеллекта — даже несмотря на то, что она намного лучше людей в шахматах — потому что Fritz не может превзойти людей в других задачах. [2]

Исследователи технологий расходятся во мнениях о том, насколько вероятно, что современный человеческий интеллект будет превзойден. Некоторые утверждают, что достижения в области искусственного интеллекта (ИИ), вероятно, приведут к появлению общих систем рассуждений, в которых отсутствуют ограничения человеческого познания. Другие полагают, что люди будут развиваться или напрямую изменять свою биологию, чтобы достичь радикально большего интеллекта. [3] [4] Несколько будущих сценариев исследований объединяют элементы обеих этих возможностей, предполагая, что люди, вероятно, будут взаимодействовать с компьютерами или загружать свои разумы в компьютеры таким образом, что это позволит существенно усилить интеллект.

Некоторые исследователи полагают, что сверхразум, скорее всего, последует вскоре после разработки искусственного интеллекта . Первые в целом разумные машины, скорее всего, сразу же будут обладать огромным преимуществом по крайней мере в некоторых формах умственных способностей, включая способность к идеальному запоминанию , значительно превосходящую базу знаний и способность к многозадачности способами, невозможными для биологических существ. Это может позволить им — как отдельным существам, так и как новому виду — стать намного более могущественными, чем люди, и вытеснить их. [1]

Некоторые ученые и прогнозисты выступают за приоритетность ранних исследований возможных преимуществ и рисков когнитивного улучшения человека и машины из-за потенциального социального воздействия таких технологий. [5]

Возможность создания искусственного сверхинтеллекта

Искусственный интеллект, особенно базовые модели , добился быстрого прогресса, превзойдя человеческие возможности по различным показателям .

Возможность создания искусственного сверхинтеллекта (ИСИ) стала темой все более широких дискуссий в последние годы, особенно в связи с быстрым развитием технологий искусственного интеллекта (ИИ).

Прогресс в области ИИ и заявления об ИИ

Недавние разработки в области ИИ, особенно в больших языковых моделях (LLM), основанных на архитектуре трансформатора , привели к значительным улучшениям в различных задачах. Такие модели, как GPT-3 , GPT-4 , Claude 3.5 и другие, продемонстрировали возможности, которые, по мнению некоторых исследователей, приближают или даже демонстрируют аспекты общего искусственного интеллекта (AGI). [6]

Однако утверждение, что нынешние LLM представляют собой AGI, является спорным. Критики утверждают, что эти модели, хотя и впечатляющие, все еще не имеют настоящего понимания и в первую очередь являются сложными системами сопоставления образов. [7]

Пути к сверхинтеллекту

Философ Дэвид Чалмерс утверждает, что AGI — вероятный путь к ASI. Он утверждает, что AI может достичь эквивалентности человеческому интеллекту, быть расширенным, чтобы превзойти его, а затем быть усиленным, чтобы доминировать над людьми в произвольных задачах. [8]

Более поздние исследования изучили различные потенциальные пути к сверхразуму:

  1. Масштабирование существующих систем ИИ. Некоторые исследователи утверждают, что постоянное масштабирование существующих архитектур ИИ, в частности моделей на основе трансформаторов, может привести к появлению AGI и потенциально ASI. [9]
  2. Новые архитектуры. Другие предполагают, что для достижения AGI и ASI могут потребоваться новые архитектуры ИИ, потенциально вдохновленные нейронаукой. [10]
  3. Гибридные системы. Объединение различных подходов к ИИ, включая символический ИИ и нейронные сети, может потенциально привести к созданию более надежных и эффективных систем. [11]

Вычислительные преимущества

Искусственные системы имеют ряд потенциальных преимуществ по сравнению с биологическим интеллектом:

  1. Скорость – Компоненты компьютера работают намного быстрее биологических нейронов. Современные микропроцессоры (~2 ГГц) на семь порядков быстрее нейронов (~200 Гц). [12]
  2. Масштабируемость. Системы ИИ потенциально можно масштабировать по размеру и вычислительной мощности легче, чем биологический мозг.
  3. Модульность — различные компоненты систем ИИ можно улучшать или заменять независимо.
  4. Память – системы ИИ могут иметь идеальную память и обширные базы знаний. Они также гораздо менее ограничены, чем люди, когда дело касается рабочей памяти. [12]
  5. Многозадачность — ИИ может выполнять несколько задач одновременно, что невозможно для биологических существ.

Потенциальный путь через модели трансформаторов

Недавние достижения в моделях на основе трансформаторов привели некоторых исследователей к предположению, что путь к ASI может лежать в масштабировании и улучшении этих архитектур. Эта точка зрения предполагает, что постоянные улучшения в моделях трансформаторов или подобных архитектурах могут привести непосредственно к ASI. [13]

Некоторые эксперты даже утверждают, что современные большие языковые модели, такие как GPT-4, могут уже демонстрировать ранние признаки возможностей AGI или ASI. [14] Эта точка зрения предполагает, что переход от современного ИИ к ASI может быть более непрерывным и быстрым, чем считалось ранее, размывая границы между узкими ИИ, AGI и ASI.

Однако эта точка зрения остается спорной. Критики утверждают, что современные модели, хотя и впечатляющие, все еще не имеют важных аспектов общего интеллекта, таких как истинное понимание, рассуждение и адаптивность в различных областях. [15]

Продолжаются споры о том, будет ли путь к ASI включать отдельную фазу AGI или более прямое масштабирование существующих технологий, что имеет значительные последствия для стратегий разработки ИИ и соображений безопасности.

Проблемы и неопределенности

Несмотря на эти потенциальные преимущества, существуют значительные проблемы и неопределенности в достижении ASI:

  1. Этические и охранные вопросы – Развитие ИСИ поднимает многочисленные этические вопросы и потенциальные риски, которые необходимо учитывать. [16]
  2. Вычислительные требования. Вычислительные ресурсы, необходимые для ASI, могут значительно превосходить текущие возможности.
  3. Фундаментальные ограничения. Могут существовать фундаментальные ограничения интеллекта, которые применимы как к искусственным, так и к биологическим системам.
  4. Непредсказуемость. Путь к ИСИ и его последствия крайне неопределенны и трудно предсказать.

Поскольку исследования в области искусственного интеллекта продолжают стремительно развиваться, вопрос осуществимости искусственного интеллекта остается предметом интенсивных дискуссий и исследований в научном сообществе.

Возможность биологического сверхразума

Карл Саган предположил, что появление кесарева сечения и экстракорпорального оплодотворения может позволить людям развить более крупные головы, что приведет к улучшениям посредством естественного отбора в наследственном компоненте человеческого интеллекта . [17] Напротив, Джеральд Крэбтри утверждал, что снижение давления отбора приводит к медленному, многовековому снижению человеческого интеллекта и что этот процесс, скорее всего, продолжится. Нет научного консенсуса относительно любой из этих возможностей, и в обоих случаях биологические изменения будут медленными, особенно относительно темпов культурных изменений.

Селекция , ноотропы , эпигенетическая модуляция и генная инженерия могут улучшить человеческий интеллект быстрее. Бостром пишет, что если мы придем к пониманию генетического компонента интеллекта, предимплантационная генетическая диагностика может быть использована для отбора эмбрионов с приростом IQ до 4 баллов (если один эмбрион выбран из двух) или с большим приростом (например, до 24,3 баллов IQ, если один эмбрион выбран из 1000). Если этот процесс повторять в течение многих поколений, прирост может быть на порядок выше. Бостром предполагает, что получение новых гамет из эмбриональных стволовых клеток может быть использовано для быстрого повторения процесса отбора. [18] Хорошо организованное общество высокоинтеллектуальных людей такого рода может потенциально достичь коллективного сверхразума. [19]

В качестве альтернативы коллективный интеллект может быть конструктивным путем лучшей организации людей на нынешних уровнях индивидуального интеллекта. Несколько авторов предположили, что человеческая цивилизация или какой-то ее аспект (например, Интернет или экономика) начинает функционировать как глобальный мозг с возможностями, намного превосходящими его составляющих агентов. Однако, если этот системный суперинтеллект в значительной степени опирается на искусственные компоненты, он может квалифицироваться как ИИ, а не как биологический суперорганизм . [20] Рынок предсказаний иногда рассматривается как пример работающей системы коллективного интеллекта, состоящей только из людей (предполагая, что алгоритмы не используются для принятия решений). [21]

Последний метод усиления интеллекта мог бы заключаться в прямом улучшении отдельных людей, в отличие от улучшения их социальной или репродуктивной динамики. Этого можно было бы достичь с помощью ноотропов , соматической генной терапии или интерфейсов мозг-компьютер . Однако Бостром выражает скептицизм относительно масштабируемости первых двух подходов и утверждает, что проектирование сверхразумного интерфейса киборга является проблемой , полностью удовлетворяющей требованиям ИИ . [22]

Прогнозы

Большинство опрошенных исследователей ИИ ожидают, что машины в конечном итоге смогут соперничать с людьми в интеллекте, хотя нет единого мнения о том, когда это, скорее всего, произойдет. На конференции AI@50 2006 года 18% участников сообщили, что ожидают, что машины смогут «имитировать обучение и все остальные аспекты человеческого интеллекта» к 2056 году; 41% участников ожидали, что это произойдет где-то после 2056 года; и 41% ожидали, что машины никогда не достигнут этого рубежа. [23]

В опросе 100 наиболее цитируемых авторов в области ИИ (по состоянию на май 2013 года, согласно Microsoft academic search), медианный год, к которому респонденты ожидали, что машины «смогут выполнять большинство человеческих профессий по крайней мере так же хорошо, как типичный человек» (при условии, что не произойдет глобальной катастрофы ) с 10%-ной уверенностью, составляет 2024 год (среднее значение 2034, стандартное отклонение 33 года), с 50%-ной уверенностью — 2050 год (среднее значение 2072, стандартное отклонение 110 лет), а с 90%-ной уверенностью — 2070 год (среднее значение 2168, стандартное отклонение 342 года). Эти оценки не включают 1,2% респондентов, которые сказали, что ни один год никогда не достигнет 10%-ной уверенности, 4,1%, которые сказали «никогда» с 50%-ной уверенностью, и 16,5%, которые сказали «никогда» с 90%-ной уверенностью. Респонденты оценили вероятность изобретения машинного сверхразума в 50% в среднем в течение 30 лет после изобретения машинного разума приблизительно человеческого уровня. [24]

В опросе 2022 года медианный год, к которому респонденты ожидали «высокоуровневый машинный интеллект» с 50% уверенностью, — 2061 год. Опрос определил достижение высокого уровня машинного интеллекта как возможность без посторонней помощи выполнять любую задачу лучше и дешевле, чем люди. [25]

В 2023 году лидеры OpenAI Сэм Альтман , Грег Брокман и Илья Суцкевер опубликовали рекомендации по управлению сверхразумом, который, по их мнению, может появиться менее чем через 10 лет. [26] В 2024 году Илья Суцкевер покинул OpenAI, чтобы стать соучредителем стартапа Safe Superintelligence , который сосредоточен исключительно на создании сверхразума, безопасного по своей сути, избегая при этом «отвлечения на управленческие накладные расходы или циклы производства». [27]

Соображения по дизайну

Проектирование сверхразумных систем ИИ поднимает критические вопросы о том, какие ценности и цели должны иметь эти системы. Было выдвинуто несколько предложений: [28]

Предложения по выравниванию ценностей

Бостром подробно останавливается на этих концепциях:

Вместо того, чтобы реализовывать последовательную экстраполированную волю человечества, можно попытаться построить ИИ, который будет делать то, что является морально правильным, полагаясь на превосходящие когнитивные способности ИИ, чтобы выяснить, какие именно действия соответствуют этому описанию. Мы можем назвать это предложение «моральной правильностью» (МП)  ...

MR также, по-видимому, имеет некоторые недостатки. Он опирается на понятие «морально правильного», печально известное сложное понятие, с которым философы боролись со времен античности, так и не достигнув консенсуса относительно его анализа. Выбор ошибочного толкования «моральной правильности» может привести к результатам, которые будут морально очень неправильными  ...

Можно попытаться сохранить основную идею модели MR, одновременно уменьшив ее требовательность, сосредоточившись на моральной допустимости : идея заключается в том, что мы можем позволить ИИ следовать CEV человечества до тех пор, пока он не будет действовать морально недопустимыми способами. [28]

Последние события

После анализа Бострома появились новые подходы к согласованию ценностей ИИ:

Трансформатор LLM и ASI

Быстрое развитие больших языковых моделей (LLM) на основе Transformer привело к спекуляциям об их потенциальном пути к искусственному суперинтеллекту (ASI). Некоторые исследователи утверждают, что масштабированные версии этих моделей могут демонстрировать возможности, подобные ASI: [32]

Однако критики утверждают, что нынешние LLM не обладают истинным пониманием и являются всего лишь сложными сопоставителями шаблонов, что ставит под сомнение их пригодность в качестве пути к ASI. [36]

Другие взгляды на сверхинтеллект

Дополнительные точки зрения на развитие и последствия сверхинтеллекта включают:

Проблемы и текущие исследования

Стремление к созданию ценностно-ориентированного ИИ сталкивается с рядом проблем:

Текущие направления исследований включают многосторонние подходы для включения различных точек зрения, разработку методов масштабируемого надзора за системами ИИ и совершенствование методов для надежного ценностного обучения. [40] [16]

Исследования в области искусственного интеллекта стремительно продвигаются в сторону создания сверхразума, однако решение этих проблем проектирования по-прежнему имеет решающее значение для создания систем искусственного интеллекта, которые одновременно являются мощными и отвечают интересам человека.

Потенциальная угроза человечеству

Развитие искусственного суперинтеллекта (ИСИ) вызвало опасения относительно потенциальных экзистенциальных рисков для человечества. Исследователи предложили различные сценарии, в которых ИСИ может представлять значительную угрозу:

Взрыв интеллекта и проблема контроля

Некоторые исследователи утверждают, что посредством рекурсивного самосовершенствования ИСИ может быстро стать настолько мощным, что выйдет за рамки человеческого контроля. Эта концепция, известная как «взрыв интеллекта», была впервые предложена И. Дж. Гудом в 1965 году:

Давайте определим сверхразумную машину как машину, которая может намного превзойти все интеллектуальные действия любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из видов интеллектуальной деятельности, сверхразумная машина могла бы проектировать еще лучшие машины; тогда, несомненно, произошел бы «взрыв интеллекта», и интеллект человека остался бы далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое когда-либо должен был бы сделать человек, при условии, что машина будет достаточно послушной, чтобы сказать нам, как держать ее под контролем. [41]

Этот сценарий представляет собой проблему контроля ИИ: как создать ИСИ, который принесет пользу человечеству, избежав при этом непреднамеренных вредных последствий. [42] Элиезер Юдковски утверждает, что решение этой проблемы имеет решающее значение до разработки ИСИ, поскольку сверхразумная система может быть способна помешать любым последующим попыткам контроля. [43]

Непреднамеренные последствия и несоответствие целей

Даже с благими намерениями ИСИ может потенциально причинить вред из-за несогласованных целей или неожиданных интерпретаций своих задач. Ник Бостром приводит яркий пример этого риска:

Когда мы создаем первую сверхразумную сущность, мы можем совершить ошибку и дать ей цели, которые приведут ее к уничтожению человечества, предполагая, что ее огромное интеллектуальное преимущество дает ей силу сделать это. Например, мы можем ошибочно возвысить подцель до статуса сверхцели. Мы говорим ей решить математическую задачу, и она подчиняется, превращая всю материю в солнечной системе в гигантское вычислительное устройство, в процессе убивая человека, который задал вопрос. [44]

Стюарт Рассел предлагает еще один показательный сценарий:

Системе, целью которой является максимизация человеческого счастья, может быть проще перестроить человеческую неврологию так, чтобы люди всегда были счастливы, независимо от обстоятельств, а не улучшать внешний мир. [45]

Эти примеры подчеркивают возможность катастрофических последствий, даже если ИСИ не разработано явно как вредоносное, что подчеркивает исключительную важность точного определения и согласования целей.

Возможные стратегии смягчения последствий

Исследователи предложили различные подходы к снижению рисков, связанных с ИСП:

Несмотря на эти предлагаемые стратегии, некоторые эксперты, такие как Роман Ямпольский, утверждают, что задача управления сверхразумным ИИ может оказаться принципиально неразрешимой, подчеркивая необходимость крайней осторожности при разработке ИСИ. [50]

Дебаты и скептицизм

Не все исследователи согласны с вероятностью или серьезностью экзистенциальных рисков, связанных с ИСИ. Некоторые, как Родни Брукс, утверждают, что страхи перед сверхразумным ИИ преувеличены и основаны на нереалистичных предположениях о природе интеллекта и технологическом прогрессе. [51] Другие, как Джоанна Брайсон, утверждают, что антропоморфизация систем ИИ приводит к неуместным опасениям относительно их потенциальных угроз. [52]

Последние события и текущие перспективы

Быстрое развитие больших языковых моделей (LLM) и других технологий ИИ усилило дебаты о близости и потенциальных рисках ASI. Хотя научного консенсуса нет, некоторые исследователи и специалисты по ИИ утверждают, что современные системы ИИ уже могут приближаться к возможностям общего искусственного интеллекта (AGI) или даже ASI.

Меньшинство исследователей и наблюдателей, включая некоторых из сообщества разработчиков ИИ, считают, что существующие системы ИИ уже могут находиться на уровне AGI или приближаться к нему, а ASI, возможно, последует за ними в ближайшем будущем. Эта точка зрения, хотя и не получила широкого признания в научном сообществе, основана на наблюдениях за быстрым прогрессом в возможностях ИИ и неожиданным эмерджентным поведением в больших моделях. [56]

Однако многие эксперты предостерегают от преждевременных заявлений об ОИИ или ИСИ, утверждая, что нынешние системы ИИ, несмотря на свои впечатляющие возможности, по-прежнему не обладают истинным пониманием и общим интеллектом. [57] Они подчеркивают значительные проблемы, которые остаются на пути к достижению интеллекта человеческого уровня, не говоря уже о сверхинтеллекте.

Дискуссия вокруг текущего состояния и траектории развития ИИ подчеркивает важность продолжения исследований безопасности и этики ИИ, а также необходимость надежных структур управления для управления потенциальными рисками по мере дальнейшего развития возможностей ИИ. [49]

Смотрите также

Ссылки

  1. ^ ab Bostrom 2014, Глава 2.
  2. ^ Бостром 2014, стр. 22.
  3. ^ Пирс, Дэвид (2012), Эден, Амнон Х.; Мур, Джеймс Х.; Сёракер, Джонни Х.; Стейнхарт, Эрик (ред.), «Взрыв биоинтеллекта: как рекурсивно самосовершенствующиеся органические роботы изменят свой собственный исходный код и проложат путь к полноспектральному суперинтеллекту», Гипотезы сингулярности , The Frontiers Collection, Берлин, Гейдельберг: Springer Berlin Heidelberg, стр. 199–238, doi :10.1007/978-3-642-32560-1_11, ISBN 978-3-642-32559-5, получено 2022-01-16
  4. ^ Gouveia, Steven S., ред. (2020). "гл. 4, "Люди и интеллектуальные машины: коэволюция, слияние или замена?", Дэвид Пирс". Эпоха искусственного интеллекта: исследование . Vernon Press. ISBN 978-1-62273-872-4.
  5. ^ Легг 2008, стр. 135–137.
  6. ^ «Исследователи Microsoft утверждают, что GPT-4 демонстрирует «искры» AGI». Futurism . 23 марта 2023 г. Получено 13 декабря 2023 г.
  7. ^ Маркус, Гэри; Дэвис, Эрнест (2023). «GPT-4 и далее: будущее искусственного интеллекта». Препринт arXiv arXiv:2303.10130 .
  8. ^ Чалмерс 2010, стр. 7.
  9. ^ Каплан, Джаред; МакКэндлиш, Сэм; Хениган, Том; Браун, Том Б.; Чесс, Бенджамин; Чайлд, Ревон; Грей, Скотт; Рэдфорд, Алек; Ву, Джеффри; Амодеи, Дарио (2020). «Законы масштабирования для нейронных языковых моделей». Препринт arXiv arXiv:2001.08361 .
  10. ^ Хассабис, Демис; Кумаран, Дхаршан; Саммерфилд, Кристофер; Ботвиник, Мэтью (2017). «Искусственный интеллект, вдохновленный нейронаукой». Neuron . 95 (2): 245–258. doi :10.1016/j.neuron.2017.06.011.
  11. ^ Гарсес, Артур д'Авила; Лэмб, Луис К. (2020). «Нейросимволический ИИ: 3-я волна». Препринт arXiv arXiv:2012.05876 .
  12. ^ ab Bostrom 2014, стр. 59.
  13. ^ Суцкевер, Илья (2023). «Краткая история масштабирования». ACM Queue . 21 (4): 31–43. doi :10.1145/3595878.3605016.
  14. ^ Бубек, Себастьен; Чандрасекаран, Варун; Элдан, Ронен; Герке, Йоханнес; Хорвиц, Эрик; Камар, Эдже; Ли, Питер; Ли, Инь Тат; Ли, Юаньчжи; Лундберг, Скотт; Нори, Харша; Паланги, Хамид; Прекап, Дойна; Сунцов, Павел; Шривастава, Санджана; Тесслер, Кэтрин; Тянь, Цзяньфэн; Захир, Манзил (22 марта 2023 г.). «Искры общего искусственного интеллекта: Ранние эксперименты с GPT-4». arXiv .
  15. ^ Маркус, Гэри (2020). «Следующее десятилетие в ИИ: четыре шага к надежному искусственному интеллекту». Препринт arXiv arXiv:2002.06177 .
  16. ^ ab Russell 2019.
  17. ^ Саган, Карл (1977). Драконы Эдема . Random House.
  18. ^ Бостром 2014, стр. 37–39.
  19. ^ Бостром 2014, стр. 39.
  20. ^ Бостром 2014, стр. 48–49.
  21. ^ Уоткинс, Дженнифер Х. (2007), Рынки прогнозирования как механизм агрегации для коллективного разума
  22. ^ Бостром 2014, стр. 36–37, 42, 47.
  23. ↑ Maker, Meg Houston (13 июля 2006 г.). "AI@50: First Poll". Архивировано из оригинала 2014-05-13.
  24. ^ Мюллер и Бостром, 2016, стр. 3–4, 6, 9–12.
  25. ^ «Хронология развития ИИ: чего ожидают эксперты в области искусственного интеллекта от будущего?». Наш мир в данных . Получено 09.08.2023 .
  26. ^ "Управление сверхразумом". openai.com . Получено 2023-05-30 .
  27. ↑ Вэнс, Эшли (19 июня 2024 г.). «У Ильи Суцкевера есть новый план безопасного суперинтеллекта». Bloomberg . Получено 19 июня 2024 г.
  28. ^ ab Bostrom 2014, стр. 209–221.
  29. ^ Кристиано 2017.
  30. ^ Антропик 2022.
  31. ^ OpenAI 2018.
  32. ^ Боммасани 2021.
  33. ^ Вэй 2022.
  34. ^ Браун 2020.
  35. ^ Алайрак 2022.
  36. ^ Маркус 2022.
  37. ^ Хороший 1965.
  38. ^ Бостром 2012.
  39. ^ Омохундро 2008.
  40. ^ Габриэль 2020.
  41. ↑ Good 1965, стр. 33.
  42. ^ Рассел 2019, стр. 137–160.
  43. ^ Юдковски 2008.
  44. ^ Бостром 2002.
  45. ^ Рассел 2019, стр. 136.
  46. ^ Бостром 2014, стр. 129–136.
  47. ^ Бостром 2014, стр. 136–143.
  48. ^ Уоллах и Аллен 2008.
  49. ^ ab Дефо 2018.
  50. ^ Ямпольский 2020.
  51. ^ Брукс 2017.
  52. ^ Брайсон 2019.
  53. ^ Бубек 2023.
  54. ↑ Вэй 2022, стр. 3–5.
  55. ↑ Орд 2020, стр. 143–147.
  56. ^ Нго 2022.
  57. ↑ Маркус 2023, стр. 5–8.

Статьи

Книги

Внешние ссылки