stringtranslate.com

Проблема выравнивания

Проблема согласования: машинное обучение и человеческие ценности — научно-популярная книга американского писателя Брайана Кристиана , изданная в 2020 году . Она основана на многочисленных интервью с экспертами, пытающимися создать системы искусственного интеллекта , в частности системы машинного обучения , которые соответствуют человеческим ценностям.

Краткое содержание

Книга разделена на три раздела: Пророчество, Агентство и Нормативность. Каждый раздел посвящен исследователям и инженерам, работающим над различными проблемами в согласовании искусственного интеллекта с человеческими ценностями.

Пророчество

В первом разделе Кристиан переплетает обсуждения истории исследований искусственного интеллекта, в частности, подхода машинного обучения искусственных нейронных сетей, таких как Perceptron и AlexNet , с примерами того, как системы ИИ могут иметь непреднамеренное поведение. Он рассказывает историю Джулии Энгвин , журналистки, чье расследование ProPublica алгоритма COMPAS , инструмента для прогнозирования рецидивизма среди обвиняемых по уголовным делам, привело к широкой критике его точности и предвзятости по отношению к определенным демографическим группам. Одной из главных проблем согласования ИИ является его природа черного ящика (входы и выходы идентифицируются, но процесс преобразования между ними не определен). Отсутствие прозрачности затрудняет понимание того, где система движется правильно, а где она идет неправильно.

Агентство

Во втором разделе Кристиан аналогичным образом переплетает историю психологического изучения вознаграждения, такого как бихевиоризм и дофамин , с компьютерной наукой обучения с подкреплением , в которой системам ИИ необходимо разрабатывать политику («что делать») в условиях функции ценности («какие вознаграждения или наказания ожидать»). Он называет системы DeepMind AlphaGo и AlphaZero «возможно, самым впечатляющим достижением в области автоматизированного проектирования учебных программ». Он также подчеркивает важность любопытства, при котором обучающиеся с подкреплением изначально мотивированы на исследование своего окружения, а не исключительно на поиск внешнего вознаграждения.

Нормативность

Третий раздел посвящен обучению ИИ посредством имитации поведения человека или машины, а также философским дебатам, например, между поссибилизмом и актуализмом , которые подразумевают различное идеальное поведение для систем ИИ. Особое значение имеет обратное обучение с подкреплением , широкий подход для машин к изучению целевой функции человека или другого агента. Кристиан обсуждает нормативные проблемы, связанные с эффективным альтруизмом и экзистенциальным риском , включая работы философов Тоби Орда и Уильяма Макаскилла, которые пытаются разработать человеческие и машинные стратегии для максимально эффективного решения проблемы выравнивания.

Прием

Книга получила положительные отзывы критиков. Дэвид А. Шайвиц из The Wall Street Journal подчеркнул частые проблемы при применении алгоритмов к реальным проблемам, описывая книгу как «тонкое и захватывающее исследование этой раскаленной добела темы». [2] Publishers Weekly похвалил книгу за ее написание и обширные исследования. [3]

Kirkus Reviews дал книге положительный отзыв, назвав ее «технически богатой, но доступной» и «интригующим исследованием ИИ». [4] Вирджиния Дигнум, пишущая для Nature , дала книге положительный отзыв, благосклонно сравнив ее сАтласом ИИ » Кейт Кроуфорд . [5]

В 2021 году журналист Эзра Кляйн пригласил Кристиана на свой подкаст «Шоу Эзры Кляйна», написав в The New York Times : « Проблема выравнивания — лучшая книга по ключевым техническим и моральным вопросам ИИ, которую я читал». [6] Позже в том же году книга была включена в статью Fast Company под названием «5 книг, которые вдохновили генерального директора Microsoft Сатью Наделлу в этом году». [7]

В 2022 году книга получила премию Эрика и Венди Шмидт за выдающиеся достижения в области научной коммуникации , присуждаемую Национальными академиями наук, инженерии и медицины в партнерстве с Schmidt Futures . [8]

В 2024 году The New York Times назвала «Проблему выравнивания» одной из «5 лучших книг об искусственном интеллекте», заявив: «Если вы собираетесь прочитать одну книгу об искусственном интеллекте, то это она». [9]

Смотрите также

Ссылки

  1. ^ «Проблема выравнивания». WW Norton & Company .
  2. ^ Шайвиц, Дэвид (25 октября 2020 г.). «Обзор «Проблемы выравнивания»: когда машины упускают суть». The Wall Street Journal . Получено 5 декабря 2021 г. .
  3. ^ "Обзор книги в жанре документальной прозы: Проблема выравнивания: машинное обучение и человеческие ценности Брайана Кристиана. Нортон, $27.95 (356 стр.) ISBN 978-0-393-63582-9". PublishersWeekly.com . Получено 20 января 2022 г. .
  4. ^ ПРОБЛЕМА ВЫРАВНИВАНИЯ | Обзоры Kirkus.
  5. Дигнум, Вирджиния (26 мая 2021 г.). «ИИ — люди и места, которые его создают, используют и управляют им». Nature . 593 (7860): 499–500. Bibcode :2021Natur.593..499D. doi : 10.1038/d41586-021-01397-x . S2CID  235216649.
  6. ^ Кляйн, Эзра (4 июня 2021 г.). «Если «все модели неверны», почему мы даем им столько власти?». The New York Times . Получено 5 декабря 2021 г.
  7. ^ Наделла, Сатья (15 ноября 2021 г.). «5 книг, которые вдохновили генерального директора Microsoft Сатью Наделлу в этом году». Fast Company . Получено 5 декабря 2021 г.
  8. ^ "Победители - Премии Эрика и Венди Шмидт за выдающиеся достижения в научной коммуникации - Национальные академии". Национальные академии . 12 октября 2022 г. . Получено 21 октября 2022 г. .
  9. ^ Марше, Стивен (31 января 2024 г.). «5 лучших книг об искусственном интеллекте». New York Times . Получено 6 февраля 2024 г.