雷鋒網(wǎng)：雷鋒字幕組出品系列短視頻《 2 分鐘論文 》，帶大家用碎片時(shí)間閱覽前沿技術(shù)，了解 AI 領(lǐng)域的最新研究成果。

本期論文：用通用強(qiáng)化學(xué)習(xí)算法自我對(duì)弈，掌握國(guó)際象棋和將棋

Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm

? 觀看論文解讀大概需要 6 分鐘

回顧AlphaZero

回望2017，DeepMind的AlphaGo是不可跳過(guò)的關(guān)鍵詞。在這一年，AlphaGo沒(méi)有止步不前，還實(shí)現(xiàn)了驚人的飛躍。

在打敗幾乎所有高段位圍棋專(zhuān)業(yè)選手后，谷歌DeepMind現(xiàn)在開(kāi)始進(jìn)軍象棋領(lǐng)域。12月，DeepMind在NIPS大會(huì)期間發(fā)布了AlpahZero，這是一個(gè)通用棋類(lèi)AI，不僅輕松擊敗了最強(qiáng)國(guó)際象棋AI和將棋AI，訓(xùn)練34小時(shí)的AlphaZero也勝過(guò)了訓(xùn)練72小時(shí)的AlphaGo Zero。

AlphaZero 完全無(wú)需人工特征、無(wú)需任何人類(lèi)棋譜、甚至無(wú)需任何特定優(yōu)化，只需要幾個(gè)小時(shí)的訓(xùn)練時(shí)間，就可以超越此前最好的算法甚至人類(lèi)世界冠軍，這是算法和計(jì)算資源的勝利，更是人類(lèi)的頂尖研究成果。

完全自主練習(xí)的AlphaZero

AlphaZero是以神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)為基礎(chǔ)的，在給定比賽規(guī)則后，完全通過(guò)自主練習(xí)進(jìn)行訓(xùn)練。

這不同于讓AlphaGo Zero下圍棋，AlphaZero涉及到全新的算法，它和AlphaGo Zero區(qū)別在于：第一，象棋的規(guī)則是不對(duì)稱(chēng)的，比如，卒只能向前移動(dòng)，國(guó)王和王后一側(cè)的王車(chē)易位不同，這意味著基于神經(jīng)網(wǎng)絡(luò)的技術(shù)效率會(huì)變差；第二，落子時(shí)，算法不僅要預(yù)測(cè)二進(jìn)制的輸贏幾率，還可能出現(xiàn)平局，這也要考慮在內(nèi)。實(shí)際上，有時(shí)平局是能實(shí)現(xiàn)的最好結(jié)果。AlphaZero對(duì)之前的算法有諸多改進(jìn)。

要想理解AlphaZero的制勝方式，這里簡(jiǎn)要介紹一下ENO評(píng)分，ENO評(píng)分是一個(gè)評(píng)估選手技術(shù)水平的數(shù)字。目前Magnus Karlssen是ENO評(píng)分最高的人類(lèi)選手，分?jǐn)?shù)在2800左右。幾年前，他在維也納蒙住眼睛同時(shí)對(duì)戰(zhàn)10名選手并贏得了多數(shù)比賽。而Stockfish是目前最好的圍棋引擎之一，ELO評(píng)分超過(guò)3300分。兩者間500 ELO點(diǎn)數(shù)的差距意味著Stockfish和Magnus Karlssen比賽，100場(chǎng)能贏95場(chǎng)。需要注意的是，規(guī)則規(guī)定相差400點(diǎn)就會(huì)取消比賽。

算法對(duì)決：AlphaZero VS Stockfish

AlphaZero 和 Stockfish進(jìn)行了100場(chǎng)比賽。AlphaZero 贏 28場(chǎng)，平72場(chǎng)，輸0場(chǎng)。AlphaZero與Stockfish的對(duì)弈過(guò)程中，每一步棋都有60秒進(jìn)行思考，因?yàn)閮煞N算法每走一步最多需要10秒時(shí)間，所以時(shí)間完全夠用。在硬件配置同為含4個(gè)Tenzer處理器的機(jī)器的情況下，

AlphaZero僅僅花了4個(gè)小時(shí)的學(xué)習(xí)就拿了個(gè)大滿貫。

需要注意，Stockfish采用的不是機(jī)器學(xué)習(xí)，而是手寫(xiě)算法。人們喜歡類(lèi)比電腦游戲中的AI，但它們沒(méi)有做任何類(lèi)型的學(xué)習(xí)。最讓人稱(chēng)道的是，AlphaZero是一種更通用的算法，還能以極高的水準(zhǔn)玩將棋，也就是所謂的日本象棋。這才是最有趣的。因?yàn)樗玫氖峭ㄓ脤W(xué)習(xí)算法，能夠在不投入顯著人力的情況下完成任務(wù)，所以相比Stockfish，AlphaZero實(shí)用性更強(qiáng)。

論文花絮

關(guān)于論文還有兩個(gè)更有趣的花絮：一是該算法得出的所有領(lǐng)域知識(shí)，都是明確給出的；二是有人可能認(rèn)為隨著計(jì)算機(jī)和運(yùn)算能力的提高，我們所要做的只是提高算法的強(qiáng)度，增加更多要評(píng)估的點(diǎn)。我們注意到AlphaZero能穩(wěn)定擊敗Stockfish的關(guān)鍵在于，也許在于AI等效直覺(jué)，也就是AlphaZero能夠確認(rèn)少量的有效走法并且專(zhuān)注其中。

雷鋒網(wǎng)本篇視頻解釋運(yùn)用了大量材料，里面有Danny Okink大師和國(guó)際象棋大師Daniel Ranch的有趣分析，以及YouTube頻道、網(wǎng)絡(luò)圍棋等高質(zhì)量材料。DeepMind告訴我們，這只是論文的最初版本，所以現(xiàn)在我們先做一個(gè)初步觀察，也許在最終論文完成后，再制作第二段視頻反映最新結(jié)果。

雷鋒網(wǎng)的學(xué)霸們還請(qǐng)自行閱讀論文以獲得更多細(xì)節(jié)

論文原址：arxiv.org/pdf/1712.01815.pdf

來(lái)源 / Two Minute Papers

翻譯 / 安妍

校對(duì) / 凡江

整理 / 孫云

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。