Kilka miesięcy temu pasjonowaliśmy się pokerowym pojedynkiem, w którym wzięli udział zawodowi gracze – specjaliści od gry heads-up NLHE – oraz pokerowy bot o nazwie Libratus. Nie wdając się w szczegóły, napiszemy tylko, że walka zakończyła się bezapelacyjną wygraną komputera.
Dlaczego tak się stało? Czy doczekaliśmy czasów dominacji sztucznej inteligencji nad ludzkimi umysłami? A może człowiek zawsze będzie na straconej pozycji w takich pojedynkach, ze względu właśnie na swoją „ludzkość”? Ludzkie słabości, takie jak tilt czy frustracja, zaburzające chłodną i bezbłędną grę? Spójrzmy jednak na tę kwestię z innej strony.
Jak grać, by ograć Libratusa? Odpowiedzi na to pytanie w pięciu punktach postarał się udzielić Lee Davy z portalu Poker Listings, podpytując uczestników sławetnego pojedynku – Jasona Lesa i Donga Kima.
1. Nie łącz wysokości zagrań z wysokością puli
Kim wyjaśnił na Twitterze: „Libratus wykorzystał możliwości „no-limit” w najszerszym zakresie. Większość graczy nie zagrywa all-in w przypadkach, gdy pula nie jest zbyt duża. Libratus wręcz przeciwnie i było to jedno z jego charakterystycznych zagrań.”
Kwestię rozwinął Les: „W grach No-Limit i Pot-Limit ledwie zauważysz różnicę w grze post flop. Większość graczy nie zagrywa wyżej, niż za pulę. A jeżeli już, to bardzo rzadko. Grając w NLHE ludzie ograniczają się do zagrywania wąskiego zakresu wysokości – ćwierć puli, pół puli, trzy czwarte puli. Libratus zdawał się nie mieć takich ograniczeń.„
Pokerzyści zazwyczaj zbyt mocno przywiązują się do wysokości puli. To jakby kotwica, która uniemożliwia zbyt swobodne ruchy. Les dodaje: „Ludzie powinni być bardziej otwarci i częściej korzystać z możliwości stawiania zakładów w wysokości przekraczającej pulę. Pula to przecież tylko punkt odniesienia, a nie nieprzekraczalna granica. Oczywiście zdarzają się u pokerzystów overbety, ale w porównaniu z tym, jak gra Libratus, są wyjątkową rzadkością.”
Zapytany o to, jakie ręce pokazywał Libratus po wykonaniu overbetów, Les odparł: „Robił to z najróżniejszymi rękami. Widziałem rzeczy, które wydawały mi się być bez sensu. Na przykład dwukrotnie c-betował za pulę z drugą parą. Musimy jednak na taką grę patrzeć jako na część szerszej strategii a nie jedną, zawieszoną w próżni, rękę. W dłuższym okresie, co jakiś czas trafiał drugą parę lub tripsa do swoich overbetowanych rąk.”
2. Zrozum potęgę brakujących kart
Kolejnym charakterystycznym dla Libratusa zachowaniem, według Kima i Lesa, była świadomość skutków efektu „brakujących kart” jako ogólnej strategii.
Efektem tym roboczo możemy nazwać uświadomienie sobie, że jeżeli mamy na ręce jakieś karty, to jest duże prawdopodobieństwo, że przeciwnik nie ma takich samych kart, jak my. To z kolei wpływa na zakres naszych kalkulacji i strategię betowania.
„Sposób, w jaki Libratus tworzył zakresy, obliczane w oparciu o własne karty sprawiał, że gra z nim była bardzo trudna. Zdawał sobie sprawę, jak posiadane przez niego karty mogą wpływać na to, jakie karty ma przeciwnik. Co człowiek może wynieść z tej nauki? Spójrzmy na własną rękę i zastanówmy się, czy nasza ręka blokuje blefy? Czy blokuje foldy? Myślmy o tym zarówno gdy callujemy jak i podczas zagrywania.„
3. Balans, balans, balans
Przeważającą różnicą między Libratusem, a żywymi pokerzystami, była zrównoważona strategia tego pierwszego. Niezwykle trudno było zdefiniować zakres, z jakim grał.
„Libratus rozgrywał najróżniejsze ręce w różny sposób” – powiedział Les. „Człowiek nie potrafi tego robić na tyle dobrze. Z taką samą ręką w różnych rozdaniach potrafił betować, czasami grał check – call, a czasami check-fold. To nie miało związku z efektem „brakujących kart” ani z tym, co mógł mieć przeciwnik. Uśredniał swoją grę na wszelkie możliwe sposoby i to pozwalało mu zyskiwać dużo większą równowagę.„
„Ludzie zazwyczaj starają się zaburzać równowagę w każdym kierunku. W konkretnych sytuacjach nie wyciągają jednak z takiej gry dość wysokiej wartości. Raz foldują zbyt często, innym razem nie betują zbyt mocno.”
Jak więc grać, wiedząc, że człowiek nigdy nie osiągnie takiego poziomu zrównoważonej strategii, jak Libratus?
„Jedynym rozwiązaniem jest usiąść przy stolikach i ciągle się uczyć. Spojrzeć na sytuację i zastanowić się: z jakimi rękami mógłbym tutaj zagrywać? Jak wiele z nich będzie blefami i jaka będzie wartość tych zagrań? Człowiek mógłby się zastanowić: „Cholera, nie blefuję tu zbyt wiele”. To czasochłonne ćwiczenie, ale by polepszyć swoją strategię, musisz ćwiczyć w kółko takie rzeczy.”
4. Nie bój się próbować nowych rzeczy
Jedną z pierwszych rzeczy, na jakie Kim zwrócił uwagę, był sposób, w jaki Libratus uczył się grać w pokera. Nie ćwiczył z ludźmi przed pojedynkiem. Grał sam i grał bardzo dużo – miliardy rozdań.
Odkąd internetowi magicy sprawili, że grając w pokera online możesz miesięcznie rozegrać więcej rozdań, niż Doyle Brunson przez całe swoje długie życie, najłatwiejszym treningiem jest po prostu nieprzerwana gra w pokera.
„Libratus sam się nauczył grać, grając przeciwko sobie i rozgrywając miliardy rozdań. Ludzie tego nie potrafią.” – zauważył Les. „Nie powinieneś jednak bać się spróbować nowych rzeczy i obiektywnie ich analizować. Możesz spróbować nowego zagrania, mieć pecha, przegrać i się poddać. Nie powinieneś jednak tego robić, powinieneś być bardziej obiektywny.”
5. Przekalkuluj sytuację na turnie
Innym obszarem, w którym ludzie mogli by się uczyć od Libratusa, jest czas, w jakim komputer podejmował decyzję na turnie i riverze. Libratus oczywiście mógłby zagrywać w każdej fazie dużo szybciej od ludzkich przeciwników, jednak tego nie robił. Tak został zaprojektowany. Les wyjaśnia:
„Gdy gra dochodziła do turna, mógł przekalkulować swoją strategię używając czegoś, co zwiemy „the end game solver”. Nie mam wystarczającej wiedzy technicznej, by powiedzieć, jak to dokładnie działa, ale to to narzędzie, dzięki któremu Libratus mógł raz jeszcze „przemyśleć” swoją strategię na turnie i zagrać turn i river w sposób najbliższy perfekcji.”
„Libratus mógłby się zatrzymać i myśleć przez 30-40 sekund, co zrobić na turnie. W tym czasie człowiek mógłby się zastanowić nad swoim ruchem. Ale ja nie chciałbym, aby poker stał się grą, w której każdy myśli przez 45 sekund na turnie. Nie przeżyłbym miesiąca takiej gry. Ale też nie wchodźmy w tryb autopilota. Myślmy o tym, co robimy.„
I tą radą zakończymy. Jak pokonać komputer? Myślmy. W tym jeszcze jesteśmy lepsi od maszyn.
