Pomohli jsme vyvinout program, který porazil pokerové profesionály

Vědci z Matematicko-fyzikální fakulty Univerzity Karlovy, Fakulty elektrotechnické ČVUT a Albertské univerzity v Kanadě dosáhli zásadního úspěchu na poli umělé inteligence. Mezinárodní tým vyvinul počítačový program DeepStack, který v prosinci 2016 poprvé v historii porazil profesionální hráče v jedné z nejpopulárnějších karetních her na světě – dvouhráčovém no-limit Texas hold’em pokeru. Vědecké objevy, které vedly k tomto výsledku, publikuje Science, jeden z nejprestižnějších vědeckých časopisů.

Program DeepStack vytvořil další historický milník, kdy lidé v populárních hrách podlehli počítačům. Po backgammonu, dámě, šachu a go je tedy dalším v pořadí no-limit poker. Oproti předchozím hrám je tu však jeden zásadní rozdíl. Skutečnost, že hráč nevidí karty oponenta a oponent nevidí jeho karty, dělá problém výrazně složitějším z teoretického hlediska. Na druhou stranu je však tato neurčitost informace v reálném světě běžná. Matematické modely her umožňují popsat situace z ekonomie, aukcí, síťové bezpečnosti, ochrany důležitých cílů nebo kontroly jízdného. Právě z tohoto důvodu je nový algoritmus důležitým prvkem pro aplikaci teorie her do praxe a je přelomový díky přenosu klíčových myšlenek používaných ve hrách s úplnou informací také do světa her s neúplnou informaci, kde se je doposud nepodařilo použít.

Program umožňuje vypočítat vhodnou strategii pro situaci v pokeru až v momentě, kdy situace nastane, tedy bez nutnosti uvažovat o úplně celé hře předem naráz, což byl doposud převládající přístup. Tato zásadní změna principů řešení byla umožněna mimo jiné rozvojem strojového učení pomocí hlubokých neuronových sítí. V případě DeepStacku síť vyhodnocuje jednotlivé pokerové situace, a jde tedy o jistou formu intuice, kterou algoritmus využívá pro správná rozhodnutí.

DeepStack hrál proti skupině profesionálních hráčů pokeru v prosinci 2016. Třicet tři hráčů vybraných Mezinárodní federací pokeru pocházelo ze sedmnácti států. Každý hráč měl možnost hrát 3 000 her během čtyř týdnů. DeepStack tyto hráče v průměru porazil s obrovskou převahou. Každého z jedenácti hráčů, kteří dohráli všech 3 000 her, porazil i individuálně a pouze v jednom případě výhra nebyla statisticky signifikantní. DeepStack je tedy první počítačový program, který porazil profesionální hráče v dvouhráčovém no-limit Texas hold’em pokeru.

Spoluautory nového programu jsou vedle vědců z kanadské University of Alberta také Martin Schmid a Matej Moravčík z Katedry aplikované matematiky Matematicko-fyzikální fakulty Univerzity Karlovy a Viliam Lisý z Centra umělé inteligence na katedře počítačů Fakulty elektrotechnické ČVUT. Vedoucím výzkumu byl prof. Michael Bowling.


foto: John Ulan for the University of Alberta