在國(guó)外的學(xué)術(shù)圈里，有一份論文火了。論文里進(jìn)行的研究表明，人類(lèi)歷史上第一次，AI在德州撲克游戲上贏得了人類(lèi)職業(yè)玩家。而這份論文的突破性意義在于：AI在非完整信息的博弈游戲中，贏得人類(lèi)職業(yè)對(duì)手。

這篇論文的名字是《DeepStack：無(wú)限下注撲克里的專(zhuān)家級(jí)人工智能》（DeepStack: Expert-Level Artificial Intelligence in No-Limit Poker），1月6號(hào)提交到了ArXiv上。

論文作者是來(lái)自加拿大Alberta大學(xué)、捷克Charles大學(xué)、布拉格捷克理工大學(xué)的研究人員。而論文題目里的DeepStack，是一種新型的算法名稱(chēng)，論文里說(shuō)明到“DeepStack 是一種通用算法，可用于一大類(lèi)非完整信息的序列博弈”。在一項(xiàng)涉及到數(shù)十位參與者和4.4萬(wàn)手撲克的研究中，DeepStack 成為了世界上第一個(gè)在“一對(duì)一無(wú)限注德州撲克”上擊敗了職業(yè)撲克玩家的計(jì)算機(jī)程序。

什么是“一對(duì)一無(wú)限注德州撲克”（HUNL）

德州撲克的英文名稱(chēng)是“Texas Hold'em”，而“一對(duì)一無(wú)限注德州撲克”（Heads-up no-limit，簡(jiǎn)稱(chēng) HUNL）的意思，就是有2個(gè)玩家且不限下注籌碼。這篇論文里的自然就是計(jì)算機(jī)和職業(yè)玩家挨個(gè)對(duì)局。

雖然是撲克，但跟斗地主還是很不一樣的，它是“賭場(chǎng)”十分受歡迎的項(xiàng)目。這里祭出視頻，幫大家理解一下德州撲克的規(guī)則和玩法。

從上面的視頻中，我們大致能了解一場(chǎng)德州撲克會(huì)有兩類(lèi)信息：玩家每人手里分到2張底牌的“私有信息”和桌子上公共牌的“公開(kāi)信息”。玩家用自己的2張底牌和5張公共牌結(jié)合在一起，選出5張牌，不論手中的牌使用幾張（甚至可以不用手中的底牌），湊成最大的成牌，跟其他玩家比大小。按照“Hand Rank”決定最后的勝者。

在中國(guó)玩德州撲克的名人，一個(gè)是汪峰老師，另一個(gè)就是李開(kāi)復(fù)老師。在知乎上“撲克有哪些技巧、經(jīng)驗(yàn)或者原則？”的提問(wèn)下，排名第一的，就是李開(kāi)復(fù)老師的答案，他尤其提到玩好詐唬（Bluffing，高手慣用技巧）的關(guān)鍵在于學(xué)好統(tǒng)計(jì)。

德州撲克是新一代的圖靈測(cè)試？

德州撲克已經(jīng)成為十分流行的人工智能研究測(cè)試地，每一個(gè)撲克玩家手里握著的底牌“私有信息”，是其它玩家看不到的，所以被稱(chēng)為是“非完整信息”（Imperfect information）的博弈。這跟圍棋有很大不同，圍棋是完整信息公開(kāi)的博弈，玩家們可以看到棋盤(pán)上的每個(gè)旗子，考慮所有落子的可能性。所以德州撲克對(duì)于人工智能來(lái)說(shuō)，更加具有挑戰(zhàn)性。

《DeepStack》這篇論文的通信作者 Michael Bowling曾經(jīng)在2015年初接受《New Scientist》采訪時(shí)說(shuō)道：“德州撲克最有趣的地方，就是你無(wú)法獲得完整的信息”。

而卡耐基梅隆大學(xué)（CMU）Tuomas Sandholm教授也說(shuō)道：“撲克已經(jīng)成為在非完整信息情況下，衡量（計(jì)算機(jī)）智能水平的標(biāo)準(zhǔn)......而它可以看做是一種超越圖靈測(cè)試的存在。”

不知對(duì)手“底牌”的博弈，即非完整信息博弈要求更復(fù)雜的推理。

計(jì)算機(jī)正確決定，依賴(lài)于對(duì)方“底牌信息”情況下的概率分布，這種“底牌信息”可以通過(guò)對(duì)手過(guò)去的行為顯露出來(lái)。比如有時(shí)玩家采取“詐?！保˙luffing），對(duì)手有時(shí)手里并沒(méi)有強(qiáng)牌，但還是作出全額下注志在必得的行為，計(jì)算機(jī)這時(shí)要根據(jù)對(duì)方過(guò)去的博弈表現(xiàn)，來(lái)判斷對(duì)手有強(qiáng)牌的概率。

相應(yīng)的，對(duì)手也會(huì)推斷我方的底牌信息，所以這里就是一個(gè)“遞歸推理”（recursive reasoning），一個(gè)玩家無(wú)法輕易推理博弈狀況。

有趣的是，這兩位教授都在領(lǐng)導(dǎo)自己的團(tuán)隊(duì)攻克這個(gè)新型圖靈測(cè)試，一位在加拿大Alberta大學(xué)，一位在美國(guó)CMU大學(xué)。

幾天前，CMU已經(jīng)發(fā)出預(yù)告：由Tuomas Sandholm教授領(lǐng)導(dǎo)研發(fā)出的Libratus人工智能系統(tǒng)，將于當(dāng)?shù)貢r(shí)間1月11日，在賓夕法尼亞州匹茲堡的 Rivers 賭場(chǎng)，與四個(gè)頂級(jí)職業(yè)玩家玩12萬(wàn)手的HUNL，并角逐20萬(wàn)美元的獎(jiǎng)金。早在2015年，Libratus的前身Claudico與人類(lèi)玩家首次對(duì)戰(zhàn)，在8萬(wàn)手的對(duì)決中完敗，這次算是CMU的卷土重來(lái)。

但是我們已經(jīng)知道了結(jié)果，Alberta趕在CMU之前，把就論文發(fā)出來(lái)了。學(xué)術(shù)圈人士紛紛表達(dá)贊美，稱(chēng)DeepStack具有里程碑意義（當(dāng)然這份論文還未通過(guò)同行審議階段），然而跟CMU Libratus提前好幾天的預(yù)熱盛況相比，DeepStack并沒(méi)有得到等量的媒體待遇，也引發(fā)一些人的不滿(mǎn)。

CMU走的是當(dāng)年AlphaGo的路線(xiàn)，在華麗的賭場(chǎng)搞一場(chǎng)秀，與人類(lèi)頂尖玩家對(duì)戰(zhàn)，還有20萬(wàn)美金的噱頭。所以這份DeepStack論文雖然比CMU更早取得突破，但陣仗不如后者大，媒體對(duì)其忽視了，也在情理。

總之一句話(huà)，Alberta搶了先，CMU搶了熱鬧（學(xué)術(shù)界的競(jìng)爭(zhēng)也是異常激烈的）。

此份DeepStack論文的成果

DeepStack總共與33位人類(lèi)選手進(jìn)行了4.4萬(wàn)手的較量，分別在2016年11月7日和12月12日之間于線(xiàn)上舉行對(duì)局。最終獲勝的前三位選手，分別有5000、2500和1250加元的獎(jiǎng)勵(lì)。以下是對(duì)局結(jié)果。結(jié)果顯示，DeepStack的平均贏率為492 mbb/g（一般人類(lèi)玩家到50 mbb/g就被認(rèn)為擁有較大優(yōu)勢(shì)，750mbb/g 就是對(duì)手每局都棄牌的贏率）。

前面我們提到，一場(chǎng)撲克的信息可以分為“私有”和“公開(kāi)”，放在桌子中間的5張公開(kāi)牌形成一種動(dòng)態(tài)的“公開(kāi)狀態(tài)”。游戲中的公開(kāi)狀態(tài)的可能序列構(gòu)成一個(gè)公開(kāi)樹(shù)（Public tree），其中每一個(gè)公開(kāi)狀態(tài)都有一個(gè)相關(guān)的公開(kāi)子樹(shù)（Public subtree）。

上圖是HUNL 中公開(kāi)樹(shù)的一部分。紅色和藍(lán)色線(xiàn)條表示玩家動(dòng)作，綠色線(xiàn)條表示公開(kāi)的公共牌。圓形節(jié)點(diǎn)表示游戲結(jié)束。

這張圖是DeepStack整體架構(gòu)，分為（a）（b）（c）三個(gè)部分。在（a）中，DeepStack在每一個(gè)公開(kāi)狀態(tài)里， 都要重新計(jì)算它需要的動(dòng)作，其中子樹(shù)值（Subtree value）會(huì)通過(guò)一個(gè)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò) Neural net（b）來(lái)計(jì)算，而訓(xùn)練Neural net的樣本就是（c）。

總的來(lái)說(shuō)，DeepStack結(jié)合了遞歸推理（Recursive reasoning）來(lái)處理信息不對(duì)稱(chēng)性，還結(jié)合了分解（Decomposition）集中計(jì)算到相關(guān)決策上，并形成了一種關(guān)于任意牌的直覺(jué)（Intuition），這種直覺(jué)可以使用深度學(xué)習(xí)進(jìn)行自我玩牌而自動(dòng)學(xué)習(xí)到。

而對(duì)于DeepStack和1月11日的CMU的Libratus賭場(chǎng)大戰(zhàn)，雷鋒網(wǎng)將跟蹤深入報(bào)道。

PS：關(guān)注雷鋒網(wǎng)公眾號(hào)（雷鋒網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。