stringtranslate.com

Элиэзер Юдковский

Элиэзер С. Юдковски ( / ˌ ɛ l i ˈ ɛ z ər ˌ j ʌ d ˈ k aʊ s k i / EH -lee- EH -zər YUD - KOW -skee ; [1] родился 11 сентября 1979 г.) — американец исследователь искусственного интеллекта [2] [3] [4] [5] и писатель по теории принятия решений и этике , наиболее известный благодаря популяризации идей, связанных с дружественным искусственным интеллектом , [6] [7] включая идею о том, что «не существует» пожарная сигнализация» для ИИ. [5] Он является основателем и научным сотрудником Научно-исследовательского института машинного интеллекта (MIRI), частной исследовательской некоммерческой организации, базирующейся в Беркли, Калифорния . [8] Его работа о перспективе безудержного взрыва интеллекта повлияла на вышедшую в 2014 году книгу философа Ника Бострома «Суперинтеллект: пути, опасности, стратегии» . [9]

Работа в области безопасности искусственного интеллекта

Целевое обучение и стимулы в программных системах

Взгляды Юдковски на проблемы безопасности, которые будут создавать будущие поколения систем искусственного интеллекта, обсуждаются в учебнике для студентов Стюарта Рассела и Питера Норвига «Искусственный интеллект: современный подход» . Отмечая сложность формального определения целей общего назначения вручную, Рассел и Норвиг цитируют предложение Юдковски о том, что автономные и адаптивные системы должны разрабатываться так, чтобы со временем обучаться правильному поведению:

Юдковский (2008) [10] более подробно описывает, как создать дружественный ИИ . Он утверждает, что дружелюбие (желание не причинять вред людям) должно быть заложено с самого начала, но дизайнеры должны осознавать, что их собственные разработки могут быть ошибочными, а также то, что робот будет учиться и развиваться с течением времени. Таким образом, задача заключается в разработке механизма — разработать механизм развития ИИ в рамках системы сдержек и противовесов и предоставить системам полезные функции, которые останутся дружественными перед лицом таких изменений. [6]

В ответ на проблему инструментальной конвергенции , заключающуюся в том, что автономные системы принятия решений с плохо разработанными целями по умолчанию будут иметь стимулы плохо обращаться с людьми, Юдковский и другие исследователи MIRI рекомендовали провести работу по определению программных агентов, которые сходятся в безопасном поведении по умолчанию, даже если их цели указаны неверно. [11] [7]

Прогнозирование возможностей

В сценарии взрыва интеллекта , предложенном И. Дж. Гудом , рекурсивно самосовершенствующиеся системы искусственного интеллекта быстро переходят от нечеловеческого общего интеллекта к сверхразумному . В книге Ника Бострома «Суперинтеллект: пути, опасности, стратегии» 2014 года подробно излагаются аргументы Гуда, а также цитируется Юдковски о риске того, что антропоморфизация передовых систем искусственного интеллекта приведет к тому, что люди неправильно поймут природу интеллектуального взрыва. «ИИ может совершить явно резкий скачок в интеллекте исключительно в результате антропоморфизма, человеческой склонности думать о «деревенском идиоте» и «Эйнштейне» как о крайних точках шкалы интеллекта, а не как о почти неразличимых точках на шкале интеллекта. -в общем." [6] [10] [12]

Элиэзер обсуждает судьбу на Манифесте 2023

В книге «Искусственный интеллект: современный подход » Рассел и Норвиг выдвигают возражение, что существуют известные пределы интеллектуального решения проблем из теории сложности вычислений ; Если существуют строгие ограничения на эффективность алгоритмов в решении различных задач, взрыв интеллекта может быть невозможен. [6]

Время , статья

В статье для журнала Time в 2023 году Юдковский обсудил риск, связанный с искусственным интеллектом, и предложил действия, которые можно предпринять для его ограничения, включая полную остановку разработки ИИ, [13] [14] или даже «уничтожение ] мошеннический центр обработки данных в результате авиаудара». [5] Статья помогла вывести дискуссию о совместимости ИИ в мейнстрим, побудив репортера задать президенту Джо Байдену вопрос о безопасности ИИ на брифинге для прессы. [2]

Рациональное письмо

В период с 2006 по 2009 год Юдковски и Робин Хэнсон были основными авторами Overcoming Bias , блога по когнитивным и социальным наукам, спонсируемого Институтом будущего человечества Оксфордского университета. В феврале 2009 года Юдковски основал LessWrong , «блог сообщества, посвященный совершенствованию искусства человеческой рациональности». [15] [16] С тех пор журнал Overcoming Bias стал личным блогом Хэнсона.

Более 300 сообщений Юдковского в блогах по философии и науке (первоначально написанные на LessWrong и Overcoming Bias ) были выпущены MIRI в виде электронной книги Rationality: From AI to Zombies в 2015 году. [17] MIRI также опубликовала электронную книгу Юдковского « Неадекватное равновесие» в 2017 году. о социальной неэффективности. [18]

Юдковский также написал несколько художественных произведений. Его роман -фанфик «Гарри Поттер и методы рационального мышления» использует элементы сюжета из серии книг Джоан Роулинг о Гарри Поттере для иллюстрации научных тем. [15] [19] Житель Нью-Йорка описал «Гарри Поттера и методы рационального мышления » как пересказ оригинала Роулинг «в попытке объяснить волшебство Гарри с помощью научного метода». [20]

Личная жизнь

Юдковский — самоучка [21] и не учился в средней школе или колледже. [22] Он был воспитан как современный ортодоксальный еврей , но не идентифицирует себя с религиозной точки зрения как еврей. [23] [24]

Научные публикации

Смотрите также

Примечания

  1. ^ Или Соломон

Рекомендации

  1. ^ «Элиэзер Юдковский о «Трех основных школах сингулярности»» на YouTube . 16 февраля 2012 г. Временная метка 1:18.
  2. ^ аб Сильвер, Нейт (10 апреля 2023 г.). «Насколько американцы обеспокоены подводными камнями искусственного интеллекта?». ПятьТридцатьВосемь . Архивировано из оригинала 17 апреля 2023 года . Проверено 17 апреля 2023 г.
  3. ↑ Окампо, Родольфо (4 апреля 2023 г.). «Раньше я работал в Google, а теперь я исследователь ИИ. Вот почему разумно замедлить развитие ИИ». Разговор . Архивировано из оригинала 11 апреля 2023 года . Проверено 19 июня 2023 г.
  4. ↑ Голт, Мэтью (31 марта 2023 г.). «Теоретик ИИ считает, что ядерная война предпочтительнее разработки передового ИИ». Порок . Архивировано из оригинала 15 мая 2023 года . Проверено 19 июня 2023 г.
  5. ^ abc Хатсон, Мэтью (16 мая 2023 г.). «Можем ли мы остановить сбежавший ИИ?». Житель Нью-Йорка . ISSN  0028-792X. Архивировано из оригинала 19 мая 2023 года . Проверено 19 мая 2023 г. Элиэзер Юдковски, исследователь из Научно-исследовательского института машинного интеллекта в районе залива, сравнил рекомендации по безопасности ИИ с системой пожарной сигнализации. Классический эксперимент показал, что, когда дымный туман начал заполнять комнату, в которой находились несколько человек, большинство из них не сообщали об этом. Они видели, что другие сохраняют стойкость, и преуменьшали опасность. Официальная тревога может сигнализировать о том, что можно принять меры. Но в сфере искусственного интеллекта нет никого, кто был бы уполномочен бить такую ​​тревогу, и люди всегда будут расходиться во мнениях относительно того, какие достижения считать свидетельством конфликта. «Не будет никакой пожарной сигнализации, которая не была бы работающим AGI», — написал Юдковский. Даже если все согласятся с угрозой, ни одна компания или страна не захочет делать паузу самостоятельно, опасаясь, что ее обойдут конкуренты. ... Для этого может потребоваться резко отказаться от искусственного интеллекта, прежде чем мы почувствуем, что пришло время остановиться, вместо того, чтобы приближаться все ближе и ближе к краю, искушая судьбу. Но закрытие всего этого потребует драконовских мер — возможно, даже таких крайних мер, как те, которые поддерживает Юдковски, который недавно написал в редакционной статье для Time, что мы должны «быть готовы уничтожить несанкционированный центр обработки данных авиаударом», даже при риск спровоцировать «полный обмен ядерными ударами».
  6. ^ abcd Рассел, Стюарт ; Норвиг, Питер (2009). Искусственный интеллект: современный подход . Прентис Холл. ISBN 978-0-13-604259-4.
  7. ^ Аб Лейтон, Джонатан (2011). Битва за сострадание: этика в апатичной вселенной . Алгора. ISBN 978-0-87586-870-7.
  8. ^ Курцвейл, Рэй (2005). Сингулярность уже близко . Нью-Йорк: Викинг Пингвин. ISBN 978-0-670-03384-3.
  9. ↑ Форд, Пол (11 февраля 2015 г.). «Наш страх перед искусственным интеллектом». Обзор технологий Массачусетского технологического института . Архивировано из оригинала 30 марта 2019 года . Проверено 9 апреля 2019 г.
  10. ^ аб Юдковский, Элиезер (2008). «Искусственный интеллект как положительный и отрицательный фактор глобального риска» (PDF) . В Бостроме, Ник ; Чиркович, Милан (ред.). Глобальные катастрофические риски . Издательство Оксфордского университета. ISBN 978-0199606504. Архивировано (PDF) из оригинала 2 марта 2013 г. Проверено 16 октября 2015 г.
  11. ^ Соареш, Нейт; Фалленштейн, Беня; Юдковский, Элиезер (2015). «Исправляемость». Семинары AAAI: Семинары на двадцать девятой конференции AAAI по искусственному интеллекту, Остин, Техас, 25–26 января 2015 г. Публикации АААИ. Архивировано из оригинала 15 января 2016 года . Проверено 16 октября 2015 г.
  12. ^ Бостром, Ник (2014). Суперинтеллект: пути, опасности, стратегии . Издательство Оксфордского университета. ISBN 978-0199678112.
  13. ↑ Мосс, Себастьян (30 марта 2023 г.). «Будьте готовы уничтожить несанкционированный центр обработки данных авиаударом», — пишет ведущий исследователь в сфере искусственного интеллекта. Журнал Time призывает запретить большие кластеры графических процессоров». Динамика центра обработки данных . Архивировано из оригинала 17 апреля 2023 года . Проверено 17 апреля 2023 г.
  14. ↑ Фергюсон, Найл (9 апреля 2023 г.). «Инопланетяне приземлились, и мы их создали». Блумберг . Архивировано из оригинала 9 апреля 2023 года . Проверено 17 апреля 2023 г.
  15. ^ Аб Миллер, Джеймс (2012). Растущая сингулярность . BenBella Books, Inc. ISBN 978-1936661657.
  16. ↑ Миллер, Джеймс (28 июля 2011 г.). «Вы можете узнать, как стать более рациональным». Бизнес-инсайдер . Архивировано из оригинала 10 августа 2018 года . Проверено 25 марта 2014 г.
  17. ^ Миллер, Джеймс Д. «Разломы в рациональности - Новый обзор Рамблера». newramblerreview.com . Архивировано из оригинала 28 июля 2018 года . Проверено 28 июля 2018 г.
  18. ^ Научно-исследовательский институт машинного интеллекта . «Неадекватное равновесие: где и как застревают цивилизации». Архивировано из оригинала 21 сентября 2020 года . Проверено 13 мая 2020 г.
  19. ↑ Снайдер, Дэниел Д. (18 июля 2011 г.). «Гарри Поттер и ключ к бессмертию». Атлантический океан . Архивировано из оригинала 23 декабря 2015 года . Проверено 13 июня 2022 г.
  20. ^ Пакер, Джордж (2011). «Нет смерти, нет налогов: либертарианский футуризм миллиардера Кремниевой долины». Житель Нью-Йорка . п. 54. Архивировано из оригинала 14 декабря 2016 года . Проверено 12 октября 2015 г.
  21. ^ Мэтьюз, Дилан; Пинкертон, Берд (19 июня 2019 г.). «Он стал сооснователем Skype. Теперь он тратит свое состояние на борьбу с опасным искусственным интеллектом». Вокс . Архивировано из оригинала 6 марта 2020 года . Проверено 22 марта 2020 г.
  22. ↑ Саперштейн, Грегори (9 августа 2012 г.). «5 минут с провидцем: Элиэзер Юдковский». CNBC . Архивировано из оригинала 1 августа 2017 года . Проверено 9 сентября 2017 г.
  23. ↑ Элиа-Шалев, Асаф (1 декабря 2022 г.). «Синагоги присоединяются к инициативе «эффективного альтруизма». Остановит ли их скандал с Сэмом Бэнкманом и Фридом?». Еврейское телеграфное агентство . Проверено 4 декабря 2023 г.
  24. ↑ Юдковский, Элиезер (4 октября 2007 г.). «Избегание реальных слабых мест вашей веры». МеньшеНеправильно . Архивировано из оригинала 2 мая 2021 года . Проверено 30 апреля 2021 г.

Внешние ссылки

В Wikiquote есть цитаты, связанные с Элиэзером Юдковским .
Викискладе есть медиафайлы, связанные с Элиэзером Юдковским.