0
| 本文作者： 我在思考中 | 2021-11-09 09:51 |
作者 | 莓酊
編輯 | 青暮
近日，一項研究在學術(shù)界引起了廣泛的關(guān)注和熱議。有消息稱，Deep Mind和Google已經(jīng)在內(nèi)部關(guān)門開會討論了。粉絲眾多的科技向youtube博主Yannic kicher甚至專門做了半個小時的視頻來講解這篇論文。學者們更是用“completely game- changing”、“major development in RL”、“this is impressive”來形它。其團隊老師本人也在推特上表示：在使用相同數(shù)據(jù)的情況下，這是RL智能體第一次直接從像素中獲得了超越人類的性能！這會讓通用強化學習更接近真實世界的場景，比如機器人的采樣效率會是關(guān)注重點。
現(xiàn)在，就讓我們隆重的介紹下本文的主角—— EfficientZero。
EfficientZero算法是在清華大學交叉信息研究院高陽團隊的新研究《使用有限數(shù)據(jù)掌控Atari游戲》（ Mastering Atari Games with Limited Data）中提出的。EfficientZero的性能接近DQN（Deep Q-Learning）在 2 億幀時的性能，但消耗的數(shù)據(jù)卻減少了500 倍！它能夠在貼近現(xiàn)實復雜情況的Atari（雅達利）游戲中，從零訓練并只需兩個小時，就可達到同等條件下人類平均水平的190.4%，或116.0%的中值性能。
論文鏈接：https://arxiv.org/abs/2111.00210#
樣本效率一直是強化學習中最“令人頭疼”的挑戰(zhàn)，重要的方法需要數(shù)百萬(甚至數(shù)十億)環(huán)境步驟來訓練。一種從MuZero模型改進而來的高效視覺RL算法—— EfficientZero，該模型從零開始訓練，最終在Atari中僅用兩個小時的訓練數(shù)據(jù)上就超過了經(jīng)過相同條件下的的人類平均水平。
MuZero是通過將基于樹的搜索與經(jīng)過學習的模型相結(jié)合，可以在一系列具有挑戰(zhàn)性和視覺復雜的領(lǐng)域中，無需了解基本的動態(tài)變化即可實現(xiàn)出色性能。AI科技評論在以往的文章中對MuZero有過報道：DeepMind又出大招！新算法MuZero登頂Nature，AI離人類規(guī)劃又近了一步。那為什么會選擇Atari游戲呢？Atari 游戲場景繁多，規(guī)則各異，一定程度上貼合現(xiàn)實復雜環(huán)境，因此長期被當作驗證強化學習算法在多因素環(huán)境下的性能測試標準。EfficientZero的低樣本復雜度和高性能可以使強化學習更接近現(xiàn)實世界的適用性。
如圖所示，EfficientZero在人類平均標準得分中位數(shù)上分別比之前的SoTA性能出色170%和180%。是第一個在Atari 100k基準上優(yōu)于人類平均性能的算法。
強化學習在挑戰(zhàn)性的問題上取得了巨大的成功。如2015年DeepMind研發(fā)的DQN網(wǎng)絡(luò) 、擊敗了中國圍棋世界冠軍柯潔的AlphaGo、和會在Dota2中打團戰(zhàn)的OpenAI Five等等。但這些都是站在巨大數(shù)據(jù)量的“肩膀上”訓練出來的策略。像AlphaZero從國際象棋小白到頂尖高手需要完成2100萬場比賽，一個職業(yè)棋手每天大約只能完成5場比賽，這意味著人類棋手要11500年才能擁有相同的經(jīng)驗值。
在模擬和游戲中應(yīng)用RL算法，樣本復雜性不成阻礙。當涉及到現(xiàn)實生活中的問題時，例如機器人操作、醫(yī)療保健和廣告推薦系統(tǒng)，在保持低樣本復雜性的同時實現(xiàn)高性能是能否可行的至關(guān)鑰匙。
過去幾年，我們在樣本高效強化學習上已有許多成績。來自真實環(huán)境的數(shù)據(jù)和來自模型的“想象數(shù)據(jù)”都可以訓練策略。但大多數(shù)成功都是在基于狀態(tài)的環(huán)境中。比如在基于圖像的環(huán)境中，魚和熊掌不可兼的情況比比皆是，MuZero和 Dreamer V2展示了超越人類的表現(xiàn)，但樣本效率不高；SimPLe等其他方法非常有效，但性能較差。最近，在數(shù)據(jù)高效機制中，中數(shù)據(jù)增強和自監(jiān)督方法應(yīng)用無模型方法取得一定成功。然而，卻依然達不到人類預期的水準。
為了提高樣本效率并保持優(yōu)越的性能，自監(jiān)督環(huán)境模型、減輕模型復合誤差的機制和糾正非策略問題的方法這三點對基于模型的視覺RL智能體至關(guān)重要。EfficientZero在MuZero的基礎(chǔ)上，對這三點進行了改進：“利用時序預測一致性 (temporal contrastive consistency)，減少預測回報的不確定性 (aleatory uncertainty) 以及糾正離線策略價值的偏移 (off-policy correction)?！?/span>
在對DeepMind Control (DMControl)套件的模擬機器人環(huán)境進行的實驗中，EfficientZero實現(xiàn)了最先進的性能，優(yōu)于直接從真實狀態(tài)中學習的模型state SAC，這進一步驗證了EfficientZero的有效性。被有限數(shù)據(jù)“扼住”深度強化學習算法“喉嚨”的時代也許不會再有了。
高陽：博士，清華大學交叉信息研究院助理教授。博士畢業(yè)于美國加州大學伯克利分校，本科畢業(yè)于清華大學計算機系。主要研究計算機視覺與機器人學。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
