Компьютерный игрок в покер — это компьютерная программа, предназначенная для игры в покер (обычно в версию Техасского Холдема ) против людей или других компьютерных противников. Обычно ее называют покерботом или просто ботом . По состоянию на 2019 год компьютеры могут победить любого человека в покере. [1] [2] [3]
Эти боты или компьютерные программы часто используются в ситуациях онлайн-покера как законные противники для игроков-людей или как форма мошенничества . По состоянию на 2020 год любое использование Real-Time Assistance (RTA) или автоматизированных ботов считается мошенничеством на всех сайтах онлайн-покера, хотя уровень принуждения со стороны операторов сайтов значительно различается. [ необходима цитата ]
Использование ботов игроков или компьютерной помощи во время игры в онлайн-покер запрещено большинством, если не всеми, онлайн-сайтами. Меры, принимаемые за нарушения, включают постоянный бан и конфискацию выигрышей. [ требуется ссылка ] Один из видов ботов может взаимодействовать с покерным клиентом (другими словами, играть самостоятельно как автоматический игрок) без помощи своего оператора-человека. Помощь в реальном времени (RTA) — это еще один метод использования компьютерных программ. RTA — это когда игрок-человек использует программу, называемую «решателем», например PioSOLVER или PokerSnowie, [4] работающую на другом компьютере, [5] для принятия своих решений.
Проблема несправедливого преимущества двояка. Во-первых, боты могут играть много часов подряд без человеческих слабостей, таких как усталость , и могут выдерживать естественные отклонения игры, не подвергаясь влиянию человеческих эмоций (или « тильта »). Во-вторых, с 2019 года компьютерная программа Pluribus (бот для покера) достаточно успешно читает блефы, рассчитывает шансы и подстраивается под стратегию, что позволяет ей постоянно побеждать профессиональных игроков в покер в безлимитном холдеме на 6 игроков. [6] [7] [8]
Хотя положения и условия покерных сайтов обычно запрещают использование ботов, уровень соблюдения зависит от оператора сайта. Некоторые будут искать и банить пользователей ботов с помощью различных программных инструментов. Покерный клиент может быть запрограммирован на попытку обнаружения ботов, хотя это само по себе спорно, поскольку может рассматриваться как равносильное внедрению шпионского ПО в клиентское программное обеспечение. [ необходима цитата ] Другой метод заключается в использовании CAPTCHA в случайных интервалах во время игры для поимки автоматизированных ботов, хотя это неэффективно против Real-Time Assistance.
«Домашние боты» могут представлять собой конфликт интересов. Согласно самому строгому определению, домашний бот — это автоматизированный игрок, которым управляет сама онлайн-покерная комната. Такого рода боты были бы эквивалентны подставным лицам из реальной жизни .
Ни подставные лица из реальных казино, ни боты онлайн-казино не должны иметь доступа к информации, которая не доступна ни одному другому игроку в игре. Проблема в том, что в онлайн-обстановке казино не может доказать, что его боты не получают конфиденциальную информацию с сервера карт. Это еще больше усугубляется легкостью, с которой тайный обмен информацией может осуществляться в цифровой среде. По сути, даже казино не может доказать, что они не контролируют некоторых игроков.
Как и в шахматах , го (игра) и многих других играх, системы искусственного интеллекта побеждают даже лучших людей в покере. [9] [10] Покер — это игра с несовершенной информацией ( потому что некоторые карты в игре скрыты), что затрудняет для кого-либо (включая компьютер) вывод окончательного результата руки. Из-за этого недостатка информации программистам компьютеров приходилось реализовывать системы, основанные на теореме Байеса , равновесии Нэша , моделировании Монте-Карло или нейронных сетях , все из которых являются несовершенными методами. Однако Pluribus усовершенствовал покер, заглядывая вперед только на несколько ходов, чтобы определить, какое действие предпринять, вместо того, чтобы пытаться оценить все ходы до конца игры.
Старые ИИ, такие как PokerSnowie и Claudico, были созданы путем предоставления компьютеру возможности определять наилучшую возможную стратегию, позволяя ему играть с самим собой огромное количество раз. В течение многих лет это был подход к покерному ИИ, в отличие от попыток создать компьютер, который играет как человек. Это привело к странным размерам ставок и совершенно иной стратегии, чем та, которую люди привыкли видеть.
Методы были впервые разработаны для приближения идеальной стратегии покера с точки зрения теории игр в игре один на один (два игрока), а затем для многопользовательской игры. Идеальная стратегия имеет несколько значений в этом контексте. С точки зрения оптимальной теории игр, идеальная стратегия — это та, которая не может ожидать проигрыша стратегии любого другого игрока; однако оптимальная стратегия может меняться в присутствии неоптимальных игроков, у которых есть слабости, которые можно использовать. В этом случае идеальная стратегия — это та, которая правильно или близко моделирует эти слабости и использует их для получения прибыли, например, те, которые описаны выше.
ИИ прорвался к сверхчеловеческим показателям в покере в 2010-х годах, со следующей временной шкалой. В 2015 году компьютеры решили хедз-ап лимитный холдем с помощью Cepheus . Около 2018 года Libratus продемонстрировал сверхчеловеческие способности в хедз-ап безлимитный холдем. В 2019 году Pluribus (новая версия Libratus) [11] продемонстрировал сверхчеловеческие способности в безлимитном холдеме на шесть игроков, самой популярной разновидности покера в мире. [12] В 2021 году Microsoft выпустила старую программу для игры в покер Libratus на коммерческой основе, которая затем победила четырех профессиональных игроков в покер в 20-дневном покерном соревновании в казино Rivers. [13]
Neo Poker Lab была устоявшейся научной группой, сосредоточенной на исследовании искусственного интеллекта в покере. В течение нескольких лет она разрабатывала и применяла самые современные алгоритмы и процедуры, такие как минимизация сожалений и аппроксимация равновесия градиентного поиска, деревья решений, методы рекурсивного поиска, а также экспертные алгоритмы для решения различных проблем, связанных с игрой в покер. Сайт Neo Poker Lab, https://www.neopokerlab.com, больше не работает.
До 2017 года команда из Оклендского университета состояла из небольшого числа ученых, которые использовали рассуждения на основе прецедентов для создания и улучшения агентов покера Техасский Холдем. Группа применяла различные методы ИИ к ряду игр, включая участие в коммерческих проектах Small Worlds и Civilization (видеоигра) .
До 2019 года большая часть исследований компьютерных игроков в покер проводилась в Университете Альберты группой компьютерных исследований покера под руководством доктора Майкла Боулинга. Группа разработала агентов Poki , PsOpti , Hyperborean и Polaris . Poki был лицензирован для развлекательной игры STACKED с участием канадского игрока в покер Даниэля Негреану . PsOpti был доступен под названием «SparBot» в программе обучения покеру «Poker Academy». Серия программ Hyperborean соревновалась в ежегодном соревновании по компьютерному покеру, совсем недавно взяв три золотые медали из шести событий в соревновании 2012 года. Та же линия исследований также создала Polaris , которая играла против профессионалов-людей в 2007 и 2008 годах и стала первой компьютерной программой покера, выигравшей значимое соревнование по покеру.
В январе 2015 года в статье в журнале Science [14] Майкла Боулинга, Нила Берча, Майкла Йохансона и Оскари Таммелина утверждалось, что их покерный бот Cepheus «по сути слабо решил» игру в лимитный техасский холдем один на один. [15] [16] [17]
T. Sandholm и A. Gilpin из Университета Карнеги-Меллона начали исследования ИИ для покера в 2004 году, начав с непобедимого агента для игры в 3 карты под названием Rhode-Island Hold 'em. Следующим шагом стал GS1, который превзошел лучших коммерчески доступных покерных ботов. В 2006 году покерные агенты из этой группы начали участвовать в ежегодных компьютерных соревнованиях. «В какой-то момент у нас будет программа, которая будет лучше лучших игроков-людей», — заявил Sandholm, чей бот, Claudico , сразился с четырьмя противниками-людьми в 2015 году.
В 2017 году программное обеспечение программы Libratus столкнулось с четырьмя профессиональными игроками в покер. К концу эксперимента четыре игрока-человека проиграли Libratus в общей сложности $1,8 млн. симулированных денег. [18]
В 2019 году Libratus был заменен финальной версией под названием Pluribus (покерный бот) .
Одно из самых первых соревнований по безлимитному покеру среди ботов было организовано в 2004 году Международной конференцией по когнитивному моделированию. [19] В турнире приняли участие пять ботов из разных университетов со всего мира. Победителем стал Эйс Грубер из Университета Торонто . [20]
Ассоциация вычислительной техники (ACM) раньше проводила соревнования, где участники представляли часть программного обеспечения, способного играть в покер на их конкретной платформе. Организаторы мероприятия проводили соревнования, управляя программным обеспечением и сообщая результаты. [ необходима цитата ]
Летом 2005 года онлайн-покер-рум Golden Palace провел рекламный турнир в Лас-Вегасе, в старом Binions, с призовым фондом в 100 тыс. долларов. Он был объявлен как Мировая серия покерных роботов 2005 года. Турнир проводился только с ботами без вступительного взноса. Разработчиками ботов были компьютерные ученые из шести стран, которые путешествовали за свой счет. Принимающей площадкой была Poker Academy. На мероприятии также был проведен показательный хедз-ап с Филом Лааком.
Летом 2007 года Альбертский университет провел высокоспециализированный турнир один на один между людьми и их ботом Polaris на конференции AAAI в Ванкувере, Британская Колумбия, Канада. Платформа хоста была написана Альбертским университетом . Был максимальный призовой фонд в 50 тыс. долларов со специальными правилами, чтобы мотивировать людей играть хорошо. Люди не платили вступительный взнос. Уникальный турнир состоял из четырех сессий в дублирующем стиле по 500 рук каждая. Люди победили с небольшим отрывом.
Летом 2008 года Альбертский университет и сайт покерных тренеров Stoxpoker провели второй турнир во время Мировой серии покера в Лас-Вегасе. Турнир состоял из шести дублирующих сессий по 500 рук каждая, а игроки-люди были специалистами по лимиту Heads-Up. Polaris выиграл турнир с 3 победами, 2 поражениями и ничьей. Результаты турнира, включая истории рук из матчей, доступны на сайте соревнования.
С апреля по май 2015 года бот Университета Карнеги-Меллона в Сандхолме, Claudico , сражался с четырьмя противниками-людьми в серии матчей по безлимитному техасскому холдему. [21] [22] Наконец, сыграв 80 000 рук, люди выиграли в общей сложности $732 713. Но даже несмотря на то, что технически победили люди, ученые посчитали победу статистически незначительной (скорее статистической ничьей), когда эти $732 713 сравниваются с общей суммой ставок в $170 000 000 ($170 миллионов). Однако некоторые определили это утверждение как неискреннее. [23] Статистически незначительное здесь означает, что программисты Claudico не могут сказать с 95% уверенностью (95% доверительный интервал), что люди лучше компьютерной программы. Однако это статистически значимая победа на 90% доверительном интервале. Это означает, что шансы игроков-людей на победу составляют от 10 к 1 до 20 к 1. [24]
Турнир был структурирован в два сета по два игрока в каждом. В каждом из двух сетов игроки получали противоположные карты. Это означает, что если у компьютера As9c (туз пик и девятка треф), а у человека Jh8d на одном компьютере, у другого из двух игроков в сете будет As9c против Jh8d компьютера. Однако даже при том, что игроки-люди выигрывали больше, чем компьютер, не все игроки были в плюсе в своих личных встречах.
Итоги выигрышей каждого из игроков были следующими:
С 2006 по 2018 год Ежегодный конкурс компьютерного покера проводил серию соревнований для покерных программ. С 2010 года играли в три вида покера: лимитный техасский холдем один на один, безлимитный техасский холдем один на один и лимитный техасский холдем на 3 игрока. В каждом мероприятии определяются два победителя: агент, который выигрывает больше всего матчей (Bankroll Instant Run-off), и агент, который выигрывает больше всего денег (Total Bankroll). Эти победители часто не являются одним и тем же агентом, поскольку Bankroll Instant Run-off вознаграждает сильных игроков, а Total Bankroll вознаграждает игроков, которые умеют использовать ошибки других агентов. Соревнование было мотивировано научными исследованиями, и особое внимание уделялось обеспечению статистической значимости всех результатов путем проведения миллионов раздач в покер. Соревнование 2012 года имело те же форматы с более чем 70 миллионами сыгранных раздач, чтобы исключить фактор удачи.
Некоторые исследователи разработали веб-приложение, в котором люди могли играть и оценивать качество ИИ. Так, по состоянию на декабрь 2012 года можно было найти следующие основные группы и агентов отдельных исследователей:
Финальный покерный конкурс не был публичным. Когда программа Pluribus (покерный бот) последовательно обыгрывала профессионалов в 6-хендовом безлимитном холдеме, результат был тихо объявлен в посте на Facebook. [29]