Что стало с покерными ботами в 2017 году?

Интересное о покере
612 
0
5.0
Что стало с покерными ботами в 2017 году?
<p>За последние два с половиной десятилетия искусственный интеллект преодолел путь от страниц научно-фантастических книг до самой что ни на есть реальной жизни. Уже сейчас существуют системы, которые с легкостью обыгрывают людей в шахматы и го. И это вполне нормально, так как информация в этих играх открыта для каждого, и тот, кто быстрее может ее обработать и проанализировать – получает преимущество.</p> <p><span id="more-51363"></span></p> <p>До недавних пор было принято считать, что для такой игры, как покер, невозможно написать плюсового бота, так как в ней как минимум невозможно получить точную информацию касательно руки своего оппонента. Но, скорее всего, если искусственный интеллект продолжит развиваться семимильными шагами, то в ближайшем будущем ему удастся это нивелировать и начать показывать стабильный плюс против людей.</p> <p>2017 год, в некотором смысле, стал поворотным с точки зрения развития покерного ИИ, так как тема ботов и ботоводов ни раз становилась серьезным инфоповодом, а вопросы “Есть ли в онлайн-покере боты?” и “Могут ли они убить онлайн-покер?”, которые берут свои истоки аж со дня создания этого самого онлайн-покера, очень горячо обсуждались в комьюнити.</p> <p>Думаю, каждый со мной согласится, что двумя наиболее (да простит меня ГСЧ за это слово) хайповыми темами уходящего года, которые напрямую связанны с покерными ботами и ИИ, стал конкурс на создание покерного бота от самого “народного” банка во вселенной, который при переводе с карты на карту из двух регионов одной страны умудряется взимать дополнительную комиссию – Сбербанка и победа готового бота Либратуса в хэдз-ап матчах против довольно сильных регуляров этой дисциплины.</p> <h2 id="item_1" class="anchor_link" ><span style="color: #800000;">Хакатон от Сбербанка</span></h2> <p>В конце лета 2017 года Сбербанк провёл хакатон Sberbank Holdem Challenge для специалистов по машинному обучению и искусственному интеллекту с призовым фондом 600,000 рублей. Целью хакатона было создание успешного покерного бота, на основе которого можно создать нейронную сеть, чтобы помогать компании оценивать операционные риски.</p> <p>Конечно, было бы глупо полагать, что разработчики действительно стоящих покерных ботов продадутся за столь ничтожную, в сравнении с потенциальной прибылью, сумму, однако несколько достойных программеров все же приняли участие в хакатоне. И пусть они написали довольно посредственных ботов, которые все же справились со своей основной задачей – оказаться выше в турнирах против таких же ботов.</p> <blockquote> <h4 style="text-align: center;"><em>Можно сделать вывод, что если кто-то захочет написать действительно лучшего покерного бота, то в принципе рано или поздно он это сделает.</em></h4> </blockquote> <p>Отдельное внимание я хотел бы уделить тому факту, что ребята, которые разработали калькуляторы Simple Nash и Simple Postflop, также принимали участие в хакатоне от Сбербанка и даже заняли там третье место. Естественно, у их бота была какая-то тактика, и он ее придерживался.</p> <p>Если вкратце ее описывать, то для префлопа он использовал фиксированные диапазоны, которые были приближены к GTO и учитывали основные игровые тенденции. Для постфлопа бот рассчитывал эквити своей руки против 100% диапазона оппонента, а также учитывал количество оппонентов на постфлопе и выбирал разные действия в зависимости от разных пороговых значений эквити.</p> <p>Почему я отдельно выделил именно бота от команды Simple Postflop, а не бота занявшего первое место в основном соревновании? Помимо того, что боты соревновались между собой (это и было основным соревнованием), отдельно проходила игра между ботами и людьми. И вот там алгоритму бота от Simple Postflop не было равных, и он занял первое место, победив в хэдз-апе турнира живого игрока.</p> <h2 id="item_2" class="anchor_link" ><span style="color: #800000;">Клаудико и Либратус</span></h2> <p>Впервые, покерный бот под названием Клаудико, который специализируется на хэдз-апах, сыграл против 4 сильных регуляров этой дисциплины в 2015 году. Тогда игроки сыграли против Либратуса дистанцию в 80,000 рук и оказались в плюсе на условные $732,713. Все бы ничего, но изначальный кап Клаудико находился на отметке $85,000,000, т.е. игроки отбили у него меньше половины одного процента банкролла.</p> <p>И вот, в начале 2017 года “старший брат” Клаудико, доработанный бот Либратус встретился с 4 хэдз-ап регами, чтобы “отомстить” обидчикам меньшого. И ему это удалось. После сыгранной дистанции в 120,000 рук он оказался в плюсе на $1,766,250 (при аналогичных капах). Конечно, и Клаудико, и Либратус нужны конкретные условия (хэдз-ап и наличие глубоких стеков), чтобы эффективно противостоять человеку. Однако уже сам факт того, что при определенных условиях бот может победить человека в покер, очень настораживает.</p> <h2 id="item_3" class="anchor_link" ><span style="color: #800000;">Стратегия хэдз-ап ботов</span></h2> <p>Регуляры игравшие против Кладуико и Либратуса отмечали, что оба этих бота придерживались теории равновесия Нэша и делали это очень хорошо.</p> <blockquote> <h4 style="text-align: center;"><em>Однако если в случае с Клаудико реги пытались его эксплойтить с помощью разнообразного бетсайзинга, то в Либратусе этот лик устранили, и казалось, что он реально знает карты оппонентов.</em></h4> </blockquote> <p>Либратус показывал очень сбалансированную игру, чередуя блефы со ставками на вэлью, использовал различные размеры ставок, а также адаптировался под характер игры своих оппонентов с помощью обучающих алгоритмов нейтронной сети. Его диапазон вообще нельзя было прочитать. К тому же, он очень хорошо соблюдал основы GTO, постоянно использовал новые тактики и сделал эксплойт любого рода против себя невозможным. Можно сказать, что Либратус показывал А-игру, которой должен придерживаться любой игрок, который мечтает разрывать хэдз-ап формат.</p> <h2 id="item_4" class="anchor_link" ><span style="color: #800000;">Что нас ждет дальше?</span></h2> <p>Безусловно, покерные боты, как и ИИ в целом, будут развиваться, и, скорее всего, когда-нибудь их способности превзойдут способности отдельно взятого человека в миллионы раз. Но для того, чтобы бить всю игру, нужны более комплексные алгоритмы в сравнении с хэдз-ап дисциплиной, которую в принципе можно бить с помощью чартов Нэша.</p> <p>Я считаю, что убийство онлайн-покера из-за ботов произойдет не раньше того момента, когда нейронные сети научатся быть полностью самостоятельными и смогут переобучаться за долю секунды. Потому что сейчас банальное изменение размеров стека может полностью убить даже лучшего покерного бота Либратуса и сделать его игру неэффективной.</p> <p>Но к тому моменту, когда нейронные сети станут полностью самостоятельными, никого не будет волновать проблема ботоводства в онлайн-покере. Единственной проблемой человечества будет спасение сына Сары Коннор, потому что только он сможет привести нас к победе в войне человечества против машин.</p>