雷鋒網(wǎng) AI 科技評論按：近日，國際人工智能頂級學(xué)術(shù)會議 NeurIPS 2018 順利落幕。八千多位來自全世界的人工智能研究人員齊聚加拿大蒙特利爾，討論分享過去一年全世界在人工智能的各個領(lǐng)域的最新進(jìn)展，該會議舉辦了一系列競賽來鼓勵學(xué)術(shù)界和工業(yè)界一起解決最有挑戰(zhàn)性的人工智能難題。作為人工智能領(lǐng)域歷史最悠久的學(xué)術(shù)會議之一，會議成果被視作人工智能領(lǐng)域的研究「風(fēng)向標(biāo)」。（雷鋒網(wǎng) AI 科技評論正會報(bào)道文章見 這里）

其中，由谷歌大腦、Facebook、牛津大學(xué)及在游戲AI界久負(fù)盛名的紐約大學(xué)等機(jī)構(gòu)聯(lián)合舉辦的多智能體競賽——炸彈人團(tuán)隊(duì)賽（The NeurIPS 2018 Pommerman Competition）尤其引人矚目。來自中國啟元世界的彭鵬博士、中科院計(jì)算所助理研究員龐亮博士和北師大的袁鈺峰組成的賽隊(duì)，與美國、歐洲、日本、中國的24支一流隊(duì)伍進(jìn)行了激烈角逐，最終基于啟元決策智能平臺訓(xùn)練的 Navocado 雙智能體能力穩(wěn)定提升，奪得了比賽 Learning 組冠軍，展現(xiàn)了來自中國的決策智能團(tuán)隊(duì)具備的世界級技術(shù)實(shí)力。

啟元世界是一家2017年成立的以認(rèn)知決策智能技術(shù)為核心的公司，由前阿里、Netflix、IBM 的科學(xué)家和高管發(fā)起，并擁有伯克利、CMU 等知名機(jī)構(gòu)的特聘顧問。團(tuán)隊(duì)核心能力以深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、超大規(guī)模并行計(jì)算為基礎(chǔ)，擁有互聯(lián)網(wǎng)、游戲等眾多領(lǐng)域的成功經(jīng)驗(yàn)。

決策智能目前是一個世界級的技術(shù)難題，決策過程也是人腦中最復(fù)雜的一種功能。由于在游戲、交通、電力等領(lǐng)域具備極大的應(yīng)用前景，決策智能近年也成為全球人工智能研究的熱點(diǎn)，DeepMind、Facebook、OpenAI、微軟、亞馬遜等科技巨頭都成立了實(shí)驗(yàn)室進(jìn)行相關(guān)研究。相較于單智能體，多智能體博弈的難度更是指數(shù)級增加。此次 NeurIPS 多智能體競賽是 NeurIPS 會議上首次開設(shè)多智能體競賽，將多智能體協(xié)作、非完全信息博弈以及持續(xù)學(xué)習(xí)等關(guān)鍵問題濃縮到炸彈人這款游戲中，鼓勵全世界優(yōu)秀的研發(fā)人員一起參加解決技術(shù)挑戰(zhàn)。

此次 NeurIPS 多智能體競賽采用激烈雙淘汰機(jī)制（Double Elimination），25 支參賽隊(duì)分別提供 2 個智能體參加 2v2 對抗賽。參賽隊(duì)伍的每個智能體初始都被困在一個封閉的區(qū)間中，智能體只有炸開附近的木箱才能進(jìn)去其他區(qū)域；而且智能也只具有整個地區(qū)的一部分視野。在幾乎所有障礙物都被清理干凈后，智能體進(jìn)入到對抗階段，所有智能體都可以自由地在全局活動，這個階段智能體的主要目標(biāo)就是炸掉對手。

圖1：多智能體競賽－炸彈人團(tuán)隊(duì)賽

競賽過程中需要智能體完成：1）清除障礙物，2）躲避自己的炸彈火焰，3）收集裝備，4）躲避自己和其他人的炸彈火焰，5）放炸彈殺死對手，6) 避免放炸彈殺死隊(duì)友。整個過程，對智能體有效甄別和提取有效信息，同時對未知信息進(jìn)行推理和假設(shè)，以及多智能體協(xié)作都提出了很高的技術(shù)要求。

啟元決策智能平臺訓(xùn)練的 Navocado 雙智能體在比賽中的部分表現(xiàn)如下圖：

同隊(duì)炸彈人聯(lián)手，在對手的兩側(cè)放炸彈圍堵，將其困在中間地帶后摧毀對手

炸彈人通過靈活的移動及時躲避炸彈爆炸

炸彈人主動將炸彈朝對手方向踢出，精確擊潰對手

炸彈人學(xué)會準(zhǔn)確的炸箱子，并且通過最短路徑尋路吃增強(qiáng)藥

每個賽隊(duì)線下有 2 個月的時間進(jìn)行模型訓(xùn)練。最終基于啟元決策智能平臺訓(xùn)練的 Navocado 戰(zhàn)勝了來自加拿大的 Skynet，拿下 Learning 組冠軍。Skynet 的團(tuán)隊(duì)來自加拿大近百人規(guī)模的科技公司 Borealis.ai。從對戰(zhàn)過程來看，啟元的 Navocado 智能體的主動進(jìn)攻能力明顯強(qiáng)于對手。從 Skynet 在官網(wǎng)公開的實(shí)現(xiàn)方案來看，Skynet 模型在決策過程中加入了很多人工干預(yù)（比如限制炸彈人不能往火焰里走），這和 Navocado 模型在整個訓(xùn)練和決策過程中不加人工干預(yù)、自主學(xué)會各項(xiàng)技能的方式也有較大的差距。

圖2：Navocado智能體持續(xù)訓(xùn)練過程中的效果提升曲線

啟元從 2017 年起打造的決策智能平臺在這次賽事奪冠的智能體訓(xùn)練中起到了關(guān)鍵作用。強(qiáng)化學(xué)習(xí)作為決策智能的核心技術(shù)，也是極具挑戰(zhàn)的一種機(jī)器學(xué)習(xí)方法。由于強(qiáng)化學(xué)習(xí)涉及到的鏈路很長，而強(qiáng)化學(xué)習(xí)算法本身對超參十分敏感，學(xué)術(shù)界中各人不同的實(shí)現(xiàn)或配置都很容易導(dǎo)致出現(xiàn)訓(xùn)練結(jié)果不可復(fù)現(xiàn)的現(xiàn)象。強(qiáng)化學(xué)習(xí)技術(shù)在可復(fù)現(xiàn)性、可復(fù)用性和魯棒性方面存在著挑戰(zhàn)。

借助平臺化的力量，啟元決策智能平臺運(yùn)用強(qiáng)化學(xué)習(xí)解決復(fù)雜決策問題，證明了強(qiáng)化學(xué)習(xí)的可行性。啟元決策智能平臺搭建了支持多智能體博弈的基礎(chǔ)架構(gòu)，能夠通過競技的方式實(shí)現(xiàn)多智能體持續(xù)學(xué)習(xí)的能力。平臺還支持包括自動化資源調(diào)度和自動調(diào)參的元學(xué)習(xí)，使得模型的訓(xùn)練更加高效。

啟元世界彭鵬博士介紹，「啟元團(tuán)隊(duì)對強(qiáng)化學(xué)習(xí)這個領(lǐng)域都很有 Passion。這次我們在 NeurIPS 多智能體競賽奪冠的智能體，在每個階段的訓(xùn)練過程沒有人工干預(yù)，學(xué)習(xí)曲線非常漂亮，進(jìn)一步驗(yàn)證了這套體系的有效性和魯棒性，驗(yàn)證了強(qiáng)化學(xué)習(xí)技術(shù)的價值?！?/p>

從平臺架構(gòu)設(shè)計(jì)到底層實(shí)現(xiàn)上，啟元都做了很多細(xì)致的工作，力求在包括環(huán)境模擬、模型預(yù)估和訓(xùn)練等各個決策智能相關(guān)的環(huán)節(jié)都做到完美。啟元賽隊(duì)基于決策智能平臺分階段設(shè)計(jì)了獎勵機(jī)制以及調(diào)整超參。在使用啟元決策智能平臺的過程中，賽隊(duì)可以快速地調(diào)度所需資源進(jìn)行任務(wù)部署，配置對戰(zhàn)所需的智能體，并且在訓(xùn)練過程實(shí)時觀察不同模型的對戰(zhàn)情況和勝率曲線，從而做出最快的調(diào)整。

圖3：啟元決策智能平臺架構(gòu)

在此次 NeurIPS 多智能體競賽中，啟元決策智能平臺提供了三大助力：

第一，支持智能體持續(xù)學(xué)習(xí)的能力。

持續(xù)學(xué)習(xí)的能力是智能體訓(xùn)練中關(guān)鍵的一環(huán)。在訓(xùn)練階段，炸彈人競賽中的智能體需要在學(xué)習(xí)新技能的過程中保留過去學(xué)會的技能，才能達(dá)到很高的水平。啟元決策智能平臺通過智能體群體匹配競技的方式實(shí)現(xiàn)「自然選擇」，從而達(dá)到持續(xù)學(xué)習(xí)的效果。在競技過程中，強(qiáng)者留存，弱者被淘汰。在弱者被淘汰之后，空出來的位置被強(qiáng)者的克隆體代替，而強(qiáng)者的克隆體則根據(jù)新的超參設(shè)定持續(xù)進(jìn)化。在固定計(jì)算資源預(yù)算的情況下，啟元決策智能平臺通過這套機(jī)制在探索新強(qiáng)者 (exploration) 和深挖舊強(qiáng)者（exploitation）之間平衡對計(jì)算資源的使用情況。

第二，支持復(fù)雜場景的多智能體聯(lián)合訓(xùn)練。

在多智能體博弈問題中，不同智能體之間的相互克制較為常見，其收斂可能性極為復(fù)雜。在炸彈人競賽中，不同隊(duì)伍的智能體風(fēng)格迥異，有的善攻，有的善守?；凇个T魚效應(yīng)」的思想（指通過引入強(qiáng)者，激發(fā)弱者變強(qiáng)的效應(yīng)），啟元決策智能平臺在訓(xùn)練初期引入基于規(guī)則的高階對手，激發(fā)初期較弱的智能體在與強(qiáng)者的對決中學(xué)會各種基本技能，迅速提升變強(qiáng)；隨著訓(xùn)練階段的深入，啟元決策智能平臺同時訓(xùn)練多個智能體，使其在激烈的相互對抗中完善自我。

第三，支持基于私有云集群的大規(guī)模、高并發(fā)的模擬和大規(guī)模訓(xùn)練。

啟元決策智能平臺將架構(gòu)圖中所示的多個模塊進(jìn)行組件化，并封裝到了容器中。通過云端自動化的方式管理數(shù)百 CPU 以及 GPU 資源并實(shí)現(xiàn)容器編排，降低了調(diào)度數(shù)十個炸彈人訓(xùn)練任務(wù)的成本。大規(guī)模、高并發(fā)的模擬計(jì)算以及大規(guī)模的訓(xùn)練同時在私有云集群中進(jìn)行。另外，啟元決策智能平臺提供分布式存儲方案，并配置成共享模型池，為炸彈人智能體模型群體的持久化和共享提供支持。

啟元決策智能平臺 v0.8 版本目前已用于游戲、網(wǎng)絡(luò)智能及仿真等場景中?；跒榭蛻籼峁┑母吒郊又捣?wù)，啟元世界在 2018 年商業(yè)化上小試牛刀，即已取得不錯的營收。2019 年，啟元世界計(jì)劃發(fā)布第一版啟元決策智能平臺型產(chǎn)品，為更多行業(yè)客戶、終端用戶帶去高體驗(yàn)的服務(wù)。

關(guān)于此次競賽方案的更多細(xì)節(jié)，啟元世界也撰寫了技術(shù)報(bào)告，感興趣的讀者可以參見 https://arxiv.org/abs/1812.07297。

基于監(jiān)督學(xué)習(xí)的智能決策系統(tǒng)常見，但基于強(qiáng)化學(xué)習(xí)的智能決策系統(tǒng)不常見。雷鋒網(wǎng) AI 科技評論很感興趣他們是如何看待并應(yīng)對強(qiáng)化學(xué)習(xí)固有的一系列技術(shù)挑戰(zhàn)的。后續(xù)報(bào)告請繼續(xù)關(guān)注我們。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。