Проблема согласования: машинное обучение и человеческие ценности — научно-популярная книга американского писателя Брайана Кристиана , изданная в 2020 году . Она основана на многочисленных интервью с экспертами, пытающимися создать системы искусственного интеллекта , в частности системы машинного обучения , которые соответствуют человеческим ценностям.
Книга разделена на три раздела: Пророчество, Агентство и Нормативность. Каждый раздел посвящен исследователям и инженерам, работающим над различными проблемами в согласовании искусственного интеллекта с человеческими ценностями.
В первом разделе Кристиан переплетает обсуждения истории исследований искусственного интеллекта, в частности, подхода машинного обучения искусственных нейронных сетей, таких как Perceptron и AlexNet , с примерами того, как системы ИИ могут иметь непреднамеренное поведение. Он рассказывает историю Джулии Энгвин , журналистки, чье расследование ProPublica алгоритма COMPAS , инструмента для прогнозирования рецидивизма среди обвиняемых по уголовным делам, привело к широкой критике его точности и предвзятости по отношению к определенным демографическим группам. Одной из главных проблем согласования ИИ является его природа черного ящика (входы и выходы идентифицируются, но процесс преобразования между ними не определен). Отсутствие прозрачности затрудняет понимание того, где система движется правильно, а где она идет неправильно.
Во втором разделе Кристиан аналогичным образом переплетает историю психологического изучения вознаграждения, такого как бихевиоризм и дофамин , с компьютерной наукой обучения с подкреплением , в которой системам ИИ необходимо разрабатывать политику («что делать») в условиях функции ценности («какие вознаграждения или наказания ожидать»). Он называет системы DeepMind AlphaGo и AlphaZero «возможно, самым впечатляющим достижением в области автоматизированного проектирования учебных программ». Он также подчеркивает важность любопытства, при котором обучающиеся с подкреплением изначально мотивированы на исследование своего окружения, а не исключительно на поиск внешнего вознаграждения.
Третий раздел посвящен обучению ИИ посредством имитации поведения человека или машины, а также философским дебатам, например, между поссибилизмом и актуализмом , которые подразумевают различное идеальное поведение для систем ИИ. Особое значение имеет обратное обучение с подкреплением , широкий подход для машин к изучению целевой функции человека или другого агента. Кристиан обсуждает нормативные проблемы, связанные с эффективным альтруизмом и экзистенциальным риском , включая работы философов Тоби Орда и Уильяма Макаскилла, которые пытаются разработать человеческие и машинные стратегии для максимально эффективного решения проблемы выравнивания.
Книга получила положительные отзывы критиков. Дэвид А. Шайвиц из The Wall Street Journal подчеркнул частые проблемы при применении алгоритмов к реальным проблемам, описывая книгу как «тонкое и захватывающее исследование этой раскаленной добела темы». [2] Publishers Weekly похвалил книгу за ее написание и обширные исследования. [3]
Kirkus Reviews дал книге положительный отзыв, назвав ее «технически богатой, но доступной» и «интригующим исследованием ИИ». [4] Вирджиния Дигнум, пишущая для Nature , дала книге положительный отзыв, благосклонно сравнив ее сАтласом ИИ » Кейт Кроуфорд . [5]
В 2021 году журналист Эзра Кляйн пригласил Кристиана на свой подкаст «Шоу Эзры Кляйна», написав в The New York Times : « Проблема выравнивания — лучшая книга по ключевым техническим и моральным вопросам ИИ, которую я читал». [6] Позже в том же году книга была включена в статью Fast Company под названием «5 книг, которые вдохновили генерального директора Microsoft Сатью Наделлу в этом году». [7]
В 2022 году книга получила премию Эрика и Венди Шмидт за выдающиеся достижения в области научной коммуникации , присуждаемую Национальными академиями наук, инженерии и медицины в партнерстве с Schmidt Futures . [8]
В 2024 году The New York Times назвала «Проблему выравнивания» одной из «5 лучших книг об искусственном интеллекте», заявив: «Если вы собираетесь прочитать одну книгу об искусственном интеллекте, то это она». [9]