AI 開(kāi)發(fā)者按，8 月 16 日，由創(chuàng)新工場(chǎng)主辦的 2019 DeeCamp 人工智能訓(xùn)練營(yíng)正式結(jié)營(yíng)。

今年，來(lái)自海內(nèi)外的 600 多名學(xué)生參加了訓(xùn)練營(yíng)，學(xué)員們完成了由 22 家企業(yè)發(fā)起的 50 個(gè) AI 相關(guān)課題。其中，「挑戰(zhàn)快手小游戲」項(xiàng)目獲得了最佳團(tuán)隊(duì)獎(jiǎng)，隊(duì)長(zhǎng)是北京大學(xué)在讀博士生張?zhí)礻弧?/p>

如此短的時(shí)間之內(nèi)，團(tuán)隊(duì)是如何從 0 到 1，打造出一款成熟度較高的斗地主 AI 產(chǎn)品？近日，雷鋒網(wǎng)與張?zhí)礻煌瑢W(xué)進(jìn)行了一次交流，討論了關(guān)于本次訓(xùn)練營(yíng)的經(jīng)歷和心得。

隨機(jī)組隊(duì)，三周完成項(xiàng)目

問(wèn)：你參加訓(xùn)練營(yíng)的初衷是什么？

其一，去年我舍友參加了 DeeCamp，當(dāng)時(shí)是在北大舉辦的，近水樓臺(tái)，我就蹭了不少專(zhuān)業(yè)的課程，尤其是開(kāi)復(fù)老師的課程讓我印象特別深刻，讓我從產(chǎn)業(yè)的角度思考人工智能的發(fā)展。后來(lái)全程關(guān)注舍友的課題項(xiàng)目，是關(guān)于機(jī)械臂抓取，讓我感覺(jué)到學(xué)員確實(shí)可以從項(xiàng)目中學(xué)習(xí)到很多東西，于是我關(guān)注了今年的報(bào)名情況，發(fā)現(xiàn)有關(guān)于游戲 AI 的項(xiàng)目，這與我群體機(jī)器人智能控制的科研方向比較貼近，都是關(guān)于智能體在環(huán)境中做決策的，于是想來(lái)學(xué)習(xí)一下。

其二，目前關(guān)于游戲 AI 的研究特別火熱，比如王者榮耀的「絕悟」以及 Dota 的「OpenAI Five」, 越來(lái)越多的 AI 都開(kāi)始去解決不完美信息下的多人博弈問(wèn)題，這與機(jī)器人大部分情況下面對(duì)的情況是相似的，也是將來(lái)機(jī)器人走進(jìn)人類(lèi)生活必須要去解決的問(wèn)題。DeeCamp 提供了與產(chǎn)業(yè)導(dǎo)師交流的平臺(tái)，我抱著一種很大的學(xué)習(xí)心態(tài)，想要多了解產(chǎn)業(yè)端游戲 AI 到底是如何工作的，希望能為今后的科研換一種思路，找一些交叉點(diǎn)。

問(wèn)：項(xiàng)目中你們是如何組隊(duì)和分工的？

我們是隨機(jī)組隊(duì)的，組隊(duì)之前我們彼此都不認(rèn)識(shí)。隊(duì)長(zhǎng)是后面自己去推選的。

我們組很幸運(yùn)，大家都有自己擅長(zhǎng)的技術(shù)領(lǐng)域，并且都是抱著學(xué)習(xí)的心態(tài)來(lái)的，都想要在這個(gè)夏令營(yíng)中有所收獲。我們通過(guò)對(duì)論文的研讀與討論，找到了每個(gè)同學(xué)在三周內(nèi)比較適合去突破的研究方向，并從一開(kāi)始就高效地進(jìn)行討論與嘗試，我特別感謝組員對(duì)于我項(xiàng)目規(guī)劃的信任。

舉幾個(gè)比較有趣的例子，有的同學(xué)從沒(méi)打過(guò)斗地主，但是其中一個(gè)算法模型 (規(guī)則模型) 比較考驗(yàn)編程人員的斗地主能力，于是我們購(gòu)置了一本《斗地主高手必勝攻略》，傳閱著看，同時(shí)在快手斗地主上對(duì)局，積累自己的經(jīng)驗(yàn)，提高判別算法好壞的能力。

我們只有三周的時(shí)間，要從零開(kāi)始做出一個(gè)大家還比較滿(mǎn)意的項(xiàng)目，在時(shí)間上來(lái)說(shuō)是非常緊張的。因?yàn)檫@個(gè)項(xiàng)目除去算法方面外，還有很多工程上的東西要去解決，比如游戲的引擎，游戲的服務(wù)器、數(shù)據(jù)庫(kù)，游戲前端，游戲界面、音樂(lè)等等。

在那段時(shí)間里，我們大概平均每天的睡眠時(shí)間就五個(gè)小時(shí)。甚至還有可能存在一些輪崗，一個(gè)同學(xué)干完一個(gè)通宵之后，他去休息五個(gè)小時(shí)，另外一個(gè)同學(xué)起來(lái)之后接著他的進(jìn)度去做一些調(diào)整，然后兩個(gè)人再做一些討論。除了創(chuàng)新工場(chǎng)提供的開(kāi)放日之外，大家基本上都沒(méi)有出去玩。

從產(chǎn)品上來(lái)講，這個(gè)過(guò)程是很花時(shí)間的，要不停的去做對(duì)接。所有東西都是并行的，不同算法之間有各種各樣的接口，最后再把它們整合起來(lái)。為此，我們制定了四個(gè)「五天」計(jì)劃，在第一個(gè)五天要完成算法的初步模型，第二個(gè)五天完成游戲開(kāi)發(fā)，第三個(gè)五天完成算法與游戲?qū)?，第四個(gè)五天完成整體融合。

問(wèn)：項(xiàng)目面臨的問(wèn)題有哪些？

面臨的問(wèn)題主要有兩類(lèi)，一類(lèi)是算法，這類(lèi)問(wèn)題比較燒腦，相當(dāng)于是在做研究；另外一類(lèi)是游戲開(kāi)發(fā)，這一類(lèi)由于工程量比較大，又涉及到用戶(hù)體驗(yàn)，細(xì)節(jié)比較多，比較累人。

首先是第一類(lèi)問(wèn)題，和其他大部分的項(xiàng)目不同，我們的項(xiàng)目不是簡(jiǎn)單地拿深度學(xué)習(xí)做一些應(yīng)用，并且關(guān)于斗地主 AI 的研究難度比較大，所以相關(guān)論文特別少，基本上沒(méi)有什么開(kāi)源代碼。除此之外，公司端由于要依靠其自主開(kāi)發(fā)的算法獲取利潤(rùn)，故而關(guān)于斗地主 AI 的研究也都是保密的。

由于這個(gè)問(wèn)題確實(shí)比較棘手，我們也不確定三周是否能做出來(lái)，于是就和產(chǎn)業(yè)導(dǎo)師們進(jìn)行交流，在最初開(kāi)始時(shí)，老師們對(duì)我們的期望也只是能做出來(lái)一兩個(gè)簡(jiǎn)單的模型，并且模型有一定的勝率即可。

我們?cè)O(shè)計(jì)了很多模型，在每個(gè)模型中都遇到了問(wèn)題，其中有一個(gè)問(wèn)題基本上是每個(gè)模型都會(huì)遇到的，就是在設(shè)計(jì)最初的時(shí)候，我們也不知道他們到底能不能行，這個(gè)問(wèn)題在我們嘗試使用監(jiān)督學(xué)習(xí)模仿人類(lèi)打牌行為時(shí)體現(xiàn)的比較明顯。我們?cè)谇捌谒阉麝P(guān)于斗地主 AI 的解決方案時(shí)，有一篇使用深度學(xué)習(xí)解決這一問(wèn)題的論文比較熱門(mén)，這兩年很多博主也關(guān)注過(guò)它，于是我們對(duì)這篇論文做了復(fù)現(xiàn)，但是效果并不好，我們做出的模型瘋狂做出「不要」這一動(dòng)作。

由于這篇論文沒(méi)有更多地細(xì)節(jié)，我們也不知道到底是不是我們的方法出了問(wèn)題，還是說(shuō)因?yàn)檎麄€(gè)斗地主游戲的游戲樹(shù)大小大概是 10 的 85 次方，我們的 35W 條游戲數(shù)據(jù)太少導(dǎo)致的問(wèn)題。不過(guò)幸好 DeeCamp 有產(chǎn)業(yè)導(dǎo)師制度，我們和我們項(xiàng)目的快手公司的劉霽老師做了溝通，他給我們提供了幾個(gè)思路，我們根據(jù)這些思路去做了檢驗(yàn)，發(fā)現(xiàn)在真實(shí)的玩家樣本中，最多的樣本就是「不要」。于是我們根據(jù)老師提供的論文嘗試使用新的思路解決了這個(gè)問(wèn)題。所以說(shuō)產(chǎn)業(yè)導(dǎo)師真的特別重要，我們導(dǎo)師在整個(gè)項(xiàng)目中給了我們很多方向上的指導(dǎo)，由我們?nèi)プ鰢L試、思考與探索。

而我們整個(gè)算法當(dāng)中最難的一個(gè)部分在于，它融合了多人不完美信息下的博弈。大家也都有關(guān)注今年 7 月份德州撲克 AI 在多人游戲中取得了重大突破，單純使用其核心的 CFR 算法思想來(lái)解決斗地主問(wèn)題的研究，我們沒(méi)有找到一篇相應(yīng)的論文。我們從最簡(jiǎn)單的庫(kù)恩撲克開(kāi)始理解，看了大概有百多業(yè)的論文，才將相應(yīng)的算法移植到斗地主問(wèn)題中，效果非常顯著。

問(wèn)：能否向我們?cè)敿?xì)解讀你們的模型實(shí)踐？

我們創(chuàng)新性地提出了一個(gè)多模型融合的斗地主 AI 框架，首先設(shè)計(jì)了多個(gè)斗地主 AI 模型，并通過(guò)離線學(xué)習(xí)的形式使它們各自都有一定的斗地主能力，最后再通過(guò)強(qiáng)化學(xué)習(xí)來(lái)做多模型融合，最終選擇其中一種模型的決策結(jié)果。

算法框架如下：

具體來(lái)說(shuō)，使用了 5 類(lèi)模型。

首先是規(guī)則模型。規(guī)則模型是通過(guò)人類(lèi)經(jīng)驗(yàn)的方式，人為設(shè)計(jì)每一種打牌方式的好壞，并選擇一種使剩下手牌評(píng)分最大的打牌策略。我們通過(guò)經(jīng)驗(yàn)性地加入基于局面的懲罰與獎(jiǎng)勵(lì)，使 AI 之間存在配合。該類(lèi)模型的優(yōu)點(diǎn)在于可以利用人類(lèi)經(jīng)驗(yàn)，難度低，缺點(diǎn)是缺少靈活性。

其次，我們還設(shè)計(jì)了蒙特卡洛樹(shù)搜索模型，該模型是 AlphaGo 算法的核心。通過(guò)模擬仿真的方式來(lái)獲得最佳出牌動(dòng)作。我們?cè)谕踉亜偫蠋煹慕ㄗh下，使用規(guī)則模型對(duì)蒙特卡洛樹(shù)進(jìn)行擴(kuò)展時(shí)的寬度剪枝，以及模擬時(shí)的深度剪枝。

我們?nèi)绾卧诎蹬频男畔⑾氯プ鲞@件事情呢？我們花費(fèi)了將近兩周的時(shí)間去研究德州撲克論文，并成功地基于其核心思想構(gòu)建出斗地主 CFR 模型。CFR 的算法的結(jié)構(gòu)與蒙特卡洛相似，但其核心思想是通過(guò)加入信息集的概念解決暗牌問(wèn)題。在暗牌的情況下，通過(guò)輸入當(dāng)前手牌信息以及記牌器信息和每位玩家的手牌數(shù)量，即可輸出理論上獲得勝率時(shí)的動(dòng)作概率。我們通過(guò)將「信息集」采用靜態(tài)存儲(chǔ)的方式實(shí)現(xiàn)了計(jì)算量減少，存儲(chǔ)量減少以及可擴(kuò)展性強(qiáng)。

除了 CFR，我們嘗試使用監(jiān)督學(xué)習(xí)，通過(guò)模仿人類(lèi)玩家的打牌行為來(lái)實(shí)現(xiàn)斗地主。

除此之外，我們還對(duì) Value-based 的強(qiáng)化算法進(jìn)行嘗試。選用 Double DQN 作為框架，創(chuàng)新性地通過(guò)將狀態(tài)與動(dòng)作配對(duì)，生成 batch 個(gè)合法的輸入，batch 的每個(gè)樣本代表了當(dāng)前情況下的一種合法動(dòng)作，從而使網(wǎng)絡(luò)輸出 batch 個(gè) Q 值，通過(guò)選擇最大 Q 值的方式解決了輸出動(dòng)作不確定的問(wèn)題。

問(wèn)：你們的模型效果如何？

我們的每個(gè)模型都取得了一定的斗地主能力，其中我們提出的強(qiáng)化學(xué)習(xí)模型在于相同 baseline 對(duì)抗的情況下，取得了比現(xiàn)有論文還要高的勝率。其次是監(jiān)督學(xué)習(xí)模仿人類(lèi)玩家出牌行為的模型，在測(cè)試集上也達(dá)到了 76.5% 的預(yù)測(cè)準(zhǔn)確率，這還只是通過(guò)黃金分段的 35W 條數(shù)據(jù)訓(xùn)練的模型，如果拿到的數(shù)據(jù)更多，效果是否會(huì)更好，我們不得而知。但是可以明顯地感覺(jué)到這個(gè) AI 確實(shí)存在一定模仿行為。

其實(shí)我們只是提供了一種解決不完美信息博弈問(wèn)題的方式。可能我們的方案未必就是最理想的方案，但是可以告訴大家，這種方式是可解的，我覺(jué)得這是我們的嘗試比較重要的意義之一，這與單純使用深度學(xué)習(xí)去做回歸或分類(lèi)是不同的。

不僅僅是算法，團(tuán)隊(duì)配合很重要

問(wèn)：這一次你最大的收獲和感受是什么？

我的收獲超出了預(yù)期。

最開(kāi)始，我的預(yù)期是算法，怎么去解決決策問(wèn)題。

但是，DeeCamp 不僅僅只是涉及到算法，它讓我們知道大家應(yīng)該如何一起分工去完成一個(gè)項(xiàng)目，完成一個(gè)真正的產(chǎn)品。

我很慶幸我們團(tuán)隊(duì)中有各種各樣的人才。我們需要每天進(jìn)行討論交流，巧合的是，我們的隊(duì)員正好都在一個(gè)寢室。于是，每?jī)商焱砩衔覀儠?huì)開(kāi)一次小會(huì)，五天一次總結(jié)，看進(jìn)度，找結(jié)合，然后安排隊(duì)員做一些交叉和技術(shù)上的對(duì)接。這個(gè)可能更像是在團(tuán)隊(duì)在做一些事情。項(xiàng)目開(kāi)始之后，我們需要明白其他人在做什么。我覺(jué)得這些東西對(duì)于將來(lái)進(jìn)入企業(yè)工作非常重要，你要知道怎么去和人配合，他們想要什么，你能提供什么，你想要什么，你需要他們提供什么，這也是很重要的。

除此之外，我認(rèn)為還有一個(gè)比較好的點(diǎn)是，前期的課程確實(shí)準(zhǔn)備得很不錯(cuò)。雖然北大是一個(gè)比較高水準(zhǔn)的平臺(tái)，我可以接觸各種各樣的知識(shí)。但是這些知識(shí)不集中，導(dǎo)致我們有時(shí)候會(huì)偷懶。打個(gè)比方，我不了解 NLP，我就不去聽(tīng) NLP 的東西。但是在 DeeCamp 里面你會(huì)轟炸式的接觸到各種各樣的東西，包括圖像處理，包括 NLP，包括模型與壓縮，包括無(wú)人駕駛等等等等，這種情況下可能會(huì)產(chǎn)生很多交叉式的靈感。

產(chǎn)業(yè)合作的方式也是 DeeCamp 一大亮點(diǎn)，老師們給我們提供了很多幫助，不管有什么問(wèn)題去找老師，都能得到很好的解答。我在答辯前，老師幫我反復(fù)校對(duì)和修改 PPT，這些指導(dǎo)也特別重要，它確實(shí)是一種全方面的能力提升，不僅僅是算法算法部分。同時(shí)，我認(rèn)識(shí)了很多志同道合的朋友，我們整個(gè)組還開(kāi)玩笑說(shuō)之后要不要一起打 kaggle。

問(wèn)：你是怎么平衡學(xué)業(yè)和參賽時(shí)間的，導(dǎo)師支持嗎？

這件事情挺難的，因?yàn)椴┦可目蒲腥蝿?wù)是比較重的，老師也會(huì)擔(dān)心我去參加 DeeCamp 的收獲不如在實(shí)驗(yàn)室科研。

這一個(gè)月時(shí)間耽誤了實(shí)驗(yàn)室一個(gè)項(xiàng)目和兩篇論文的進(jìn)度，除此之外，由于北大本科生暑期的時(shí)候會(huì)在實(shí)驗(yàn)室科研，我只能遠(yuǎn)程和跟著我做科研的本科生進(jìn)行項(xiàng)目討論。

我們現(xiàn)在的研究算是一個(gè)交叉的方向，數(shù)學(xué)、物理學(xué)、自動(dòng)化、機(jī)械和計(jì)算機(jī)我們都會(huì)一些，老師希望我不要走到純粹的計(jì)算機(jī)方向去，他認(rèn)為這會(huì)喪失我的優(yōu)勢(shì)，我也比較認(rèn)可老師的觀點(diǎn)。所以說(shuō)，我特別感謝我導(dǎo)師謝廣明教授對(duì)我的支持，并且感謝實(shí)驗(yàn)室同門(mén)來(lái)幫助我分擔(dān)原來(lái)實(shí)驗(yàn)室的工作。

最后，我參加了 DeeCamp，并學(xué)到了很多。結(jié)果方面比較意外，我們也沒(méi)有想到會(huì)拿到冠軍。在此，特別特別感謝我的隊(duì)友們，王澎，于俊，任震，劉永強(qiáng)，張博林，孫致波，劉文景，余冠一和孫海耀，希望大家前程似錦！

問(wèn)：接下來(lái)你的研究計(jì)劃是什么？

我做的是多水下機(jī)器人群體控制，這里面涉及到水面和水底的感知與控制，與 AI 結(jié)合的有水面物體識(shí)別，水下圖像增強(qiáng)，機(jī)器人傳感器數(shù)據(jù)處理，機(jī)器人魯棒性控制等?，F(xiàn)在陸域資源開(kāi)發(fā)得差不多了，海洋還沒(méi)有大開(kāi)發(fā)，除此之外，國(guó)家還提出了「海洋強(qiáng)國(guó)」的口號(hào)，所以說(shuō)水下機(jī)器人的研究關(guān)乎到了生活與國(guó)家多個(gè)方面。我們實(shí)驗(yàn)室研發(fā)了很多水下機(jī)器人，這些機(jī)器人也協(xié)助過(guò)國(guó)家科考人員去南北極做一些勘探，還可以在漁業(yè)、水質(zhì)監(jiān)測(cè)、救援等方面有特別多應(yīng)用。

抱著學(xué)習(xí)的心態(tài)，準(zhǔn)備充分才能收獲更多

問(wèn)：對(duì)于未來(lái)想?yún)①惖耐瑢W(xué)，你推薦他們參加嗎？

我覺(jué)得挺好的，但是在參賽之前一定要想清楚自己的目的。有的人是真的是僅僅是為了一個(gè)結(jié)業(yè)證，證明自己是從 1 萬(wàn)個(gè) AI 人才里面選出來(lái) 600 人，幫助將來(lái)找工作。這反而浪費(fèi)了另外一個(gè)真正想去學(xué)系統(tǒng)學(xué)習(xí)的同學(xué)的機(jī)會(huì)。在 DeeCamp 能學(xué)到很多東西，入營(yíng)的前期一定要做好準(zhǔn)備。

DeeCamp 是一個(gè)大寶藏，它包含很多西。你不僅是在做自己項(xiàng)目，你也可以去了解其他項(xiàng)目。它里面還有很多沙龍，可以聽(tīng)到很多人的科研和工作經(jīng)驗(yàn)，能學(xué)很多東西，對(duì)本科生來(lái)說(shuō)尤其如此。

我認(rèn)為在結(jié)營(yíng)之前，你要形成自己的體系，這樣才會(huì)獲得最大的收益。我推薦同學(xué)們參加 DeeCamp，但是在參加前一定要想好怎樣盡可能地在這里多學(xué)一點(diǎn)知識(shí)。

問(wèn)：你認(rèn)為在參加之前應(yīng)該如何準(zhǔn)備，才能收獲更多？

我覺(jué)得在去之前的時(shí)候要做好兩件事情。

第一件事情是你要對(duì) AI 有一個(gè)基本的了解。我們不一定要很深入的了解，但是要大概知道圖像是什么，自然語(yǔ)言處理是什么。入營(yíng)之后，老師會(huì)從基礎(chǔ)的知識(shí)點(diǎn)一直講到最新的研究。如果沒(méi)有準(zhǔn)備好，很可能就會(huì)在課堂上睡覺(jué)了。

第二件事是，你要對(duì)自己的項(xiàng)目負(fù)責(zé)。在去之前的時(shí)候，要看一些文章，為項(xiàng)目做準(zhǔn)備。我比較擅長(zhǎng)強(qiáng)化學(xué)習(xí)，在去之前，我把強(qiáng)化學(xué)習(xí)相關(guān)的一些教程和資料都共享在群里了，大家一起學(xué)習(xí)和討論。

每個(gè)同學(xué)都要知道自己的特點(diǎn)和特色是什么。比如我們組有個(gè)同學(xué)前端很強(qiáng)，前端這個(gè)事情就交給他了。另外一個(gè)同學(xué)數(shù)據(jù)方面比較厲害，他負(fù)責(zé)做引擎。游戲引擎是一個(gè)很復(fù)雜的東西，它包含了特別多的可能性，脫離游戲引擎去研究想法是完全沒(méi)有意義的。如果大家都去做算法，這個(gè)項(xiàng)目不可能成功。

抱著學(xué)習(xí)的心態(tài)，在去之前好好想清楚自己的目的。如果是單純的就為了一個(gè)結(jié)業(yè)證，我覺(jué)得意義不大。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。