只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

本文作者：我在思考中

2021-11-09 09:51

導(dǎo)語：RL智能體不再被有限數(shù)據(jù)扼住“喉嚨”

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

作者 | 莓酊

編輯 | 青暮

EfficientZero的性能接近 DQN（Deep Q-Learning）在 2 億幀時(shí)的性能，但消耗的數(shù)據(jù)卻減少 500 倍。

近日，一項(xiàng)研究在學(xué)術(shù)界引起了廣泛的關(guān)注和熱議。有消息稱，Deep Mind和Google已經(jīng)在內(nèi)部關(guān)門開會(huì)討論了。粉絲眾多的科技向youtube博主Yannic kicher甚至專門做了半個(gè)小時(shí)的視頻來講解這篇論文。學(xué)者們更是用“completely game- changing”、“major development in RL”、“this is impressive”來形它。其團(tuán)隊(duì)老師本人也在推特上表示：在使用相同數(shù)據(jù)的情況下，這是RL智能體第一次直接從像素中獲得了超越人類的性能！這會(huì)讓通用強(qiáng)化學(xué)習(xí)更接近真實(shí)世界的場景，比如機(jī)器人的采樣效率會(huì)是關(guān)注重點(diǎn)。

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

現(xiàn)在，就讓我們隆重的介紹下本文的主角—— EfficientZero。

EfficientZero算法是在清華大學(xué)交叉信息研究院高陽團(tuán)隊(duì)的新研究《使用有限數(shù)據(jù)掌控Atari游戲》（ Mastering Atari Games with Limited Data）中提出的。EfficientZero的性能接近DQN（Deep Q-Learning）在 2 億幀時(shí)的性能，但消耗的數(shù)據(jù)卻減少了500 倍！它能夠在貼近現(xiàn)實(shí)復(fù)雜情況的Atari（雅達(dá)利）游戲中，從零訓(xùn)練并只需兩個(gè)小時(shí)，就可達(dá)到同等條件下人類平均水平的190.4%，或116.0%的中值性能。

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

論文鏈接：https://arxiv.org/abs/2111.00210#

樣本效率一直是強(qiáng)化學(xué)習(xí)中最“令人頭疼”的挑戰(zhàn)，重要的方法需要數(shù)百萬(甚至數(shù)十億)環(huán)境步驟來訓(xùn)練。一種從MuZero模型改進(jìn)而來的高效視覺RL算法—— EfficientZero，該模型從零開始訓(xùn)練，最終在Atari中僅用兩個(gè)小時(shí)的訓(xùn)練數(shù)據(jù)上就超過了經(jīng)過相同條件下的的人類平均水平。

MuZero是通過將基于樹的搜索與經(jīng)過學(xué)習(xí)的模型相結(jié)合，可以在一系列具有挑戰(zhàn)性和視覺復(fù)雜的領(lǐng)域中，無需了解基本的動(dòng)態(tài)變化即可實(shí)現(xiàn)出色性能。AI科技評(píng)論在以往的文章中對(duì)MuZero有過報(bào)道：DeepMind又出大招！新算法MuZero登頂Nature，AI離人類規(guī)劃又近了一步。那為什么會(huì)選擇Atari游戲呢？Atari 游戲場景繁多，規(guī)則各異，一定程度上貼合現(xiàn)實(shí)復(fù)雜環(huán)境，因此長期被當(dāng)作驗(yàn)證強(qiáng)化學(xué)習(xí)算法在多因素環(huán)境下的性能測(cè)試標(biāo)準(zhǔn)。EfficientZero的低樣本復(fù)雜度和高性能可以使強(qiáng)化學(xué)習(xí)更接近現(xiàn)實(shí)世界的適用性。

只需1/500數(shù)據(jù)便可掌握Atari游戲！清華叉院助理教授提出小數(shù)據(jù)RL模型，引爆AI社區(qū)

如圖所示，EfficientZero在人類平均標(biāo)準(zhǔn)得分中位數(shù)上分別比之前的SoTA性能出色170%和180%。是第一個(gè)在Atari 100k基準(zhǔn)上優(yōu)于人類平均性能的算法。

強(qiáng)化學(xué)習(xí)在挑戰(zhàn)性的問題上取得了巨大的成功。如2015年DeepMind研發(fā)的DQN網(wǎng)絡(luò) 、擊敗了中國圍棋世界冠軍柯潔的AlphaGo、和會(huì)在Dota2中打團(tuán)戰(zhàn)的OpenAI Five等等。但這些都是站在巨大數(shù)據(jù)量的“肩膀上”訓(xùn)練出來的策略。像AlphaZero從國際象棋小白到頂尖高手需要完成2100萬場比賽，一個(gè)職業(yè)棋手每天大約只能完成5場比賽，這意味著人類棋手要11500年才能擁有相同的經(jīng)驗(yàn)值。

在模擬和游戲中應(yīng)用RL算法，樣本復(fù)雜性不成阻礙。當(dāng)涉及到現(xiàn)實(shí)生活中的問題時(shí)，例如機(jī)器人操作、醫(yī)療保健和廣告推薦系統(tǒng)，在保持低樣本復(fù)雜性的同時(shí)實(shí)現(xiàn)高性能是能否可行的至關(guān)鑰匙。

過去幾年，我們?cè)跇颖靖咝?qiáng)化學(xué)習(xí)上已有許多成績。來自真實(shí)環(huán)境的數(shù)據(jù)和來自模型的“想象數(shù)據(jù)”都可以訓(xùn)練策略。但大多數(shù)成功都是在基于狀態(tài)的環(huán)境中。比如在基于圖像的環(huán)境中，魚和熊掌不可兼的情況比比皆是，MuZero和 Dreamer V2展示了超越人類的表現(xiàn)，但樣本效率不高；SimPLe等其他方法非常有效，但性能較差。最近，在數(shù)據(jù)高效機(jī)制中，中數(shù)據(jù)增強(qiáng)和自監(jiān)督方法應(yīng)用無模型方法取得一定成功。然而，卻依然達(dá)不到人類預(yù)期的水準(zhǔn)。

為了提高樣本效率并保持優(yōu)越的性能，自監(jiān)督環(huán)境模型、減輕模型復(fù)合誤差的機(jī)制和糾正非策略問題的方法這三點(diǎn)對(duì)基于模型的視覺RL智能體至關(guān)重要。EfficientZero在MuZero的基礎(chǔ)上，對(duì)這三點(diǎn)進(jìn)行了改進(jìn)：“利用時(shí)序預(yù)測(cè)一致性 (temporal contrastive consistency)，減少預(yù)測(cè)回報(bào)的不確定性 (aleatory uncertainty) 以及糾正離線策略價(jià)值的偏移 (off-policy correction)。”

在對(duì)DeepMind Control (DMControl)套件的模擬機(jī)器人環(huán)境進(jìn)行的實(shí)驗(yàn)中，EfficientZero實(shí)現(xiàn)了最先進(jìn)的性能，優(yōu)于直接從真實(shí)狀態(tài)中學(xué)習(xí)的模型state SAC，這進(jìn)一步驗(yàn)證了EfficientZero的有效性。被有限數(shù)據(jù)“扼住”深度強(qiáng)化學(xué)習(xí)算法“喉嚨”的時(shí)代也許不會(huì)再有了。