美國(guó)時(shí)間， 2017 年 12 月 4 日 8:00。

全球機(jī)器學(xué)習(xí)頂級(jí)會(huì)議 NIPS 在美國(guó)長(zhǎng)灘開幕了。

本年度 NIPS 將持續(xù)一周，你現(xiàn)在才想?yún)⒓涌隙▉?lái)不及，因?yàn)槠痹缇唾u光了。

為了讓你隔著太平洋都能跟上 NIPS 的節(jié)奏，雷鋒網(wǎng)帶你搶先看 NIPS 2017 的最佳論文。這篇 NIPS Talk 的時(shí)間是美國(guó)時(shí)間 12 月 5 日下午 2:50。

Safe and Nested Subgame Solving for Imperfect-Information Games

安全和嵌套子游戲解決不完全的信息博弈

不跨洋不翻墻

點(diǎn)擊觀看下方視頻

輕松解讀 NIPS 2017 最佳論文！

 ▼

那些關(guān)注過(guò)人機(jī)大戰(zhàn)的朋友們，你們肯定知道這篇論文在講什么。

不方便打開視頻的朋友們，可以看看雷鋒網(wǎng)簡(jiǎn)版圖文：

今年年初，4 位頂尖德州撲克選手，在為期 20 天賽程里，與卡耐基梅隆大學(xué)（CMU）研發(fā)的人工智能系統(tǒng) Libratus 對(duì)決 12 萬(wàn)手，爭(zhēng)奪 20 萬(wàn)美元獎(jiǎng)金池。

最終，Libratus 擊潰了這組職業(yè)選手。Libratus 人工智能系統(tǒng)所用到的策略技巧，就是這篇論文的重點(diǎn)內(nèi)容。

論文將德州撲克之類的游戲所運(yùn)用的技巧，定義為一種不完美的信息博弈互動(dòng)策略。這種互動(dòng)策略不僅可以應(yīng)用于游戲中，還能應(yīng)用在談判、拍賣、網(wǎng)絡(luò)安全以及人身安全上。

為什么不能將 Alphago 或者 DeepBlue2 的技術(shù)應(yīng)用在德州撲克上呢？

這里有幾個(gè)原因，其中最重要的一個(gè)原因是，所有的完美游戲（例如五子棋、國(guó)際象棋）都有一種特性，那就是，當(dāng)你采取一些行動(dòng)時(shí)，你的對(duì)手也采取了一些行動(dòng)，當(dāng)你發(fā)現(xiàn)自己身處一個(gè)特別的子博弈環(huán)境時(shí)，完全可以忽略其它不相關(guān)的情況，決策點(diǎn)與最佳策略直接相關(guān)，你唯一需要做的事情就是，確定當(dāng)前的決策點(diǎn)。

但是德州撲克是一種不完美游戲，當(dāng)你處在一個(gè)特定的子博弈中時(shí)，隨即又會(huì)出現(xiàn)其他的子博弈，你不能從這個(gè)決策點(diǎn)出發(fā)，因?yàn)槠渌硬┺臅?huì)影響你當(dāng)前子博弈的最佳策略。換句話說(shuō)，當(dāng)在不完美的信息博弈中進(jìn)行決策時(shí)，你必須考慮到這個(gè)博弈的全局策略，而并非子博弈的最佳策略。

過(guò)去，我們的策略都是預(yù)先計(jì)算出來(lái)的，2015 年有人就在小型的德州撲克程序庫(kù)中簡(jiǎn)單預(yù)先計(jì)算了整個(gè)博弈的最佳策略。但情況不總是這么簡(jiǎn)單，一旦遇到計(jì)算量龐大的游戲就最佳策略失靈了。

研究者針對(duì)不限注德州撲克做了相關(guān)的研究，針對(duì)整個(gè)游戲的玩法做了近似計(jì)算，在真實(shí)的不限注德州撲克中，發(fā)現(xiàn)了針對(duì)性的子博弈策略，這個(gè)技術(shù)叫做“嵌套的子博弈”。

在博弈樹下重復(fù)這個(gè)過(guò)程，會(huì)發(fā)現(xiàn)我們還處在另一個(gè)子博弈中，再次找到一個(gè)更好的針對(duì)性的子博弈策略。通過(guò)這個(gè)技術(shù)，能夠和已經(jīng)計(jì)算出的全局藍(lán)圖進(jìn)行很好的擬合。

在博弈樹下重復(fù)這個(gè)過(guò)程，會(huì)發(fā)現(xiàn)我們還處在另一個(gè)子博弈中，再次找到一個(gè)更好的針對(duì)性的子博弈策略。通過(guò)這個(gè)技術(shù)，能夠和已經(jīng)計(jì)算出的全局藍(lán)圖進(jìn)行很好的擬合。

所以你看，相比于之前的方法，不完美信息博弈的子博弈求解技術(shù)，有著更強(qiáng)的理論保證和更好的實(shí)際表現(xiàn)。同時(shí)，作者還展示了安全與非安全的子博弈求解技術(shù)，以及為嵌套子博弈求解引入了新方法。

Poker AI Libratus幕后的研究者：

卡耐基梅隆大學(xué)(CMU)Tuomas Sandholm 教授和他的學(xué)生 Noam Brown 是本篇論文的作者。更多幕后故事可以看雷鋒網(wǎng)報(bào)道 德州撲克算法幕后研發(fā)者CMU博士Brown專訪：AI如何打敗頂級(jí)人類牌手？

Tuomas Sandholm 教授（右 ）與 Noam Brown 博士（左）

Tuomas Sandholm 是 CMU 計(jì)算機(jī)科學(xué)系教授，他在人工智能和自動(dòng)談判領(lǐng)域，研究超過(guò) 28 年。最早的成績(jī)要追溯到 1989 年前后，他做了一套自動(dòng)為卡車司機(jī)談判并分配任務(wù)的系統(tǒng)。

近年來(lái)，Sandholm 和他的團(tuán)隊(duì)成績(jī)顯赫，多次在國(guó)際機(jī)器學(xué)習(xí)會(huì)議（ICML）、人工智能會(huì)議（AAAI）獲獎(jiǎng)，現(xiàn)在 Sandholm 還拿到 NSF(美國(guó)國(guó)家科學(xué)基金會(huì))一筆為期三年的新投資，用以資助他繼續(xù)基于 AI Libratus 展開相關(guān)研究。

Noam Brown 是 Sandholm 的博士生，他的研究將強(qiáng)化學(xué)習(xí)和博弈論結(jié)合起來(lái)，在大量不完美信息多智能體交互中，做出能夠進(jìn)行戰(zhàn)略推理的 AI。

Brown 把他的研究應(yīng)用導(dǎo) AI Libratus 身上，AI Libratus 在不限注的撲克中擊敗頂級(jí)人類選手。他還曾創(chuàng)建了 Libratus 的前身 Claudico 以及 Baby Tartanian8、Tartanian7，都在近兩年的計(jì)算機(jī)撲克大賽中獲勝。

11 月 29 日，Noam Brown 在自己的 Twitter 上炫耀了一波，說(shuō)拿了最佳論文，NIPS Talk 的時(shí)間是 12 月 5 日下午 2:50，邀請(qǐng)大家來(lái)跟 Poker AI Libratus 一決高下。

學(xué)霸們想了解更多，可以打開更新版的論文原文：

https://www.cs.cmu.edu/~sandholm/safeAndNested.aaa17WS.pdf

翻譯 / 余杭

整理 / 吳璇

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。