AlphaStar — компьютерная программа от DeepMind , которая играет в видеоигру StarCraft II . Его название было представлено публике в январе 2019 года. В августе 2019 года AlphaStar получила статус гроссмейстера, что стало важной вехой в развитии искусственного интеллекта .
Считается, что игры, созданные для людей, имеют внешнюю значимость как эталоны прогресса в области искусственного интеллекта . Шахматные игры Deep Blue от IBM (1997 г.) и AlphaGo от DeepMind (2016 г.) считались важными вехами; некоторые утверждают, что StarCraft также станет важной вехой из-за « игры в реальном времени, частичной наблюдаемости, отсутствия единой доминирующей стратегии, сложных правил, которые затрудняют создание модели быстрого продвижения, а также особенно большого и разнообразного пространства действий. " [1] Несмотря на сложность, StarCraft все же может быть совместим с современными технологиями, потому что «его правила известны, а мир дискретен и содержит лишь несколько типов объектов». [2]
StarCraft II — популярная динамичная онлайн-стратегия в реальном времени от Blizzard Entertainment . [3] [4]
DeepMind Technologies была основана в Великобритании в 2010 году. Ещё в 2011 году основатель Демис Хассабис назвал StarCraft «следующим шагом вверх» после таких игр, как Go . [5] DeepMind стала дочерней компанией Google в 2014 году после демонстрации самообучающихся ботов со сверхчеловеческими способностями в различных играх для Atari 2600 . В феврале 2015 года ученый-компьютерщик Закари Мейсон предсказал, что исследования Deepmind «приведут к StarCraft через пять или десять лет». [6] В марте 2016 года, после победы AlphaGo над Ли Седолем , чемпионом мира по игре в го , Хассабис публично задумался о создании искусственного интеллекта для StarCraft , назвав его стратегической игрой с неполной информацией , в которой (в отличие от го) большая часть «доски» невидимый. [7] [8] Официальное сотрудничество было объявлено на BlizzCon в ноябре 2016 года, а также о плане выпустить открытую среду разработки для ботов в первом квартале 2017 года. [9]
К 2017 году DeepMind экспериментировала с загрузкой данных StarCraft в свое программное обеспечение. В августе 2017 года DeepMind и Blizzard выпустили инструменты разработки, помогающие в разработке ботов, а также данные из 65 000 прошлых игр. В то время учёный-компьютерщик и менеджер турниров StarCraft Дэвид Черчилль предположил, что боту понадобится пять лет, чтобы победить человека, но сделал оговорку, что AlphaGo превзошла все ожидания. В Wired технический журналист Том Симонайт заявил: «Никто не ожидает, что робот победит в ближайшее время. Но когда это произойдет, это будет гораздо большим достижением, чем завоевание DeepMind игры в го». [10]
19 декабря 2018 года бот DeepMind победил «ведущего профессионального игрока» Гжегожа «MaNa» Коминча со счетом 5–0. DeepMind анонсировала бота под названием AlphaStar 24 января 2019 года. Журналист Ars Technica и другие утверждали, что у AlphaStar все еще есть несправедливые преимущества: «AlphaStar имеет возможность совершать клики с хирургической точностью, используя API, тогда как игроки-люди ограничен механическими возможностями компьютерных мышей». AlphaStar также имел глобальный обзор, а не ограничивался внутриигровой камерой. Более того, хотя количество действий в течение пятисекундного окна было ограничено, AlphaStar могла свободно распределять свою квоту действий неравномерно по всему окну, чтобы запускать сверхчеловеческие всплески активности в критические моменты. DeepMind быстро переобучила AlphaStar под более реалистичные ограничения, а затем проиграла матч-реванш Коминцу. [11] Начиная с июля 2019 года, новая ограниченная версия AlphaStar анонимно соревновалась с игроками, которые «согласились» участвовать в общедоступном европейском многопользовательском режиме 1 на 1. [12] К концу августа 2019 года AlphaStar достигла «уровня гроссмейстера», войдя в число 0,2 процента лучших игроков-людей. [13]
В отличие от AlphaZero, AlphaStar изначально учится имитировать движения лучших игроков из своей базы данных игр «человек против человека»; этот шаг необходим для решения того, что Дэйв Сильвер из DeepMind называет «проблемой исследования»: в противном случае открытие новых стратегий было бы похоже на поиск «иголки в стоге сена». Затем агенты играют друг с другом и применяют обучение с подкреплением. Эти основные агенты также учатся, играя против неоптимальных «агентов-эксплуататоров», цель которых — выявить слабости основных агентов. [14] [15]
После своего поражения со счетом 5:0 в декабре 2018 года Коминц заявил: «Я не ожидал, что ИИ окажется настолько хорош». [16]
Стюарт Рассел оценил, что победа AlphaStar в 2018 году потребовала «изрядного количества усилий по решению конкретной проблемы» и что методы общего назначения «не совсем готовы для StarCraft». [2]
Статья в Wired UK назвала новые ограничения AlphaStar, принятые для матчей в июле 2019 года, на этот раз «справедливыми». [17] Профессионал StarCraft Раза «RazerBlader» Сеха заявил, что AlphaStar была «впечатляющей», но имела свои причуды: в одной игре она уступила неортодоксальному составу армии, состоящему только из авиационных подразделений. Ведущий игрок Великобритании Джошуа «RiSky» Хейворд выразил некоторое разочарование, заявив, что AlphaStar «часто не принимала самых эффективных стратегических решений». [14] Профессионал Диего «Келажур» Швимер назвал игру AlphaStar «невообразимо необычной; она действительно заставляет задуматься, насколько многообразные возможности StarCraft действительно исследованы профессиональными игроками». [13] Оппоненты AlphaStar часто не осознавали, что играют с ботом. [18]
Ян Сэмпл из The Guardian назвал AlphaStar «знаковым достижением» в области искусственного интеллекта. [19] Черчилль заявил, что раньше он видел ботов, осваивающих один или два элемента StarCraft , но что AlphaStar была первой, которая могла справиться с игрой целиком. [3] Гэри Маркус выразил свой продолжающийся скептицизм по поводу глубокого обучения, заявив: «До сих пор в этой области изо всех сил пытались перенести подобные методы из лабораторных и игровых сред в реальный мир, и я не сразу рассматриваю этот результат как прогресс в этом направлении». [14] Исследователь искусственного интеллекта Джон Додж был удивлен AlphaStar, заявив, что не ожидал такой «сверхчеловеческой» производительности «еще пару лет»; Черчилль, напротив, заявляет, что «StarCraft далек от того, чтобы быть« решенным », а AlphaStar еще даже не близок к тому, чтобы играть на уровне чемпиона мира». [4]
DeepMind утверждает, что идеи AlphaStar могут принести пользу роботам, беспилотным автомобилям и виртуальным помощникам, которым необходимо оперировать «несовершенно наблюдаемой информацией». Сильвер дал понять, что его лаборатория «может на этом остановиться», а не пытаться существенно улучшить AlphaStar. [14] Сам Сильвер утверждает, что «AlphaStar стала первой системой искусственного интеллекта, которая достигла высшего уровня человеческих возможностей в любом профессиональном киберспорте в полной неограниченной игре в профессионально одобренных условиях... С тех пор, как компьютеры взломали го, шахматы и покер, игра StarCraft стала, по сути, по консенсусу сообщества, как следующий грандиозный вызов для ИИ». [19]
Ученый-компьютерщик Ноэль Шарки неодобрительно утверждает, что «военные аналитики наверняка будут рассматривать успешные стратегии AlphaStar в реальном времени как наглядный пример преимуществ ИИ для планирования боевых действий». [19] Напротив, Сильвер утверждает: «Сказать, что это имеет какое-либо военное применение, значит сказать не больше, чем сказать, что ИИ для шахмат может быть использован в военных целях». [14]