雷鋒網(wǎng) AI科技評論按：不同于AlphaGo所處的“完美環(huán)境”，在復(fù)雜和不完美的環(huán)境中，智能體能高效地思考，對未來的結(jié)果進(jìn)行想象嗎？DeepMind推出新論文，描述了一類基于想象來進(jìn)行計(jì)劃的新方法，在不完美的環(huán)境中也同樣具有高效性。

雷鋒網(wǎng) AI科技評論將其編譯如下：

在行動(dòng)之前想象可能出現(xiàn)的結(jié)果是人類認(rèn)知中的一個(gè)有力工具。例如，當(dāng)在桌子邊緣放一個(gè)玻璃杯，我們會(huì)停下來想一想：這樣穩(wěn)固嗎，杯子會(huì)不會(huì)掉下來。根據(jù)想象的結(jié)果，我們會(huì)把杯子的位置調(diào)一下，防止它掉下來摔碎。這種慎重的推理過程實(shí)際上就是想象，它是人類一種獨(dú)特的能力，在日常生活中至關(guān)重要。

如果想讓算法也能執(zhí)行同樣復(fù)雜的行為，那么這種算法也必須和人一樣，對未來具有想象和推理能力。除此之外，他們還必須會(huì)利用這種能力來制定計(jì)劃。已經(jīng)有算法能做出許多引人矚目的事情——特別是像AlphaGo這樣的程序，它使用內(nèi)部模型來分析行為是如何產(chǎn)生結(jié)果的，以便進(jìn)行推理和計(jì)劃。這些內(nèi)部模型運(yùn)行得很好，因?yàn)橄駠暹@樣的環(huán)境是“完美的”——這些算法有明確定義的規(guī)則，在幾乎所有情況下都能準(zhǔn)確地預(yù)測出結(jié)果。但現(xiàn)實(shí)世界是復(fù)雜的，規(guī)則并不會(huì)定義得那么清楚，經(jīng)常會(huì)有未知的情況出現(xiàn)。即使是最聰明的智能體，在這樣的復(fù)雜環(huán)境中進(jìn)行想象也是一個(gè)漫長、耗費(fèi)巨大的過程。

能夠應(yīng)付不完美的環(huán)境，學(xué)會(huì)使規(guī)劃策略適應(yīng)當(dāng)前的情況，這些都是重要的研究課題。

在論文Learning model-based planning from scratch、Imagination-Augmented Agents for Deep Reinforcement Learning中，DeepMind描述了一類基于想象來進(jìn)行計(jì)劃的新方法。同時(shí)也介紹了一些架構(gòu)，這種架構(gòu)能為智能體提供學(xué)習(xí)和制定計(jì)劃的新方法，使任務(wù)的效率最大化。這些架構(gòu)很高效，在復(fù)雜和不完美的環(huán)境中具有魯棒性，能夠通過想象采取靈活的策略。

增強(qiáng)想象智能體

這類智能體得益于一個(gè)“想象力編碼器”——能為智能體的未來決策提取一切有用信息，忽視無關(guān)信息的神經(jīng)網(wǎng)絡(luò)。這些智能體的明顯特征如下：

• 能夠?qū)W會(huì)說明智能體的內(nèi)部模擬過程。這使得他們能夠使用模型，粗略地捕捉環(huán)境的動(dòng)態(tài)，即使有時(shí)候那些動(dòng)態(tài)并不完美。

• 有效的運(yùn)用想象力。通過改變想象的軌跡的數(shù)量，來適應(yīng)問題。編碼器也提高了效率，它能通過想象提取獎(jiǎng)勵(lì)之外的信息，這些想象的軌跡可能包含有用的線索，即使他們并不一定導(dǎo)致較高的獎(jiǎng)勵(lì)。

• 能學(xué)習(xí)不同的策略來制定計(jì)劃?？梢赃x擇繼續(xù)當(dāng)前想象的軌跡或者從頭開始?；蛘撸麄兛梢岳貌煌南胂竽Ｐ?，這些模型具有不同的精度和計(jì)算成本。這為他們提供了大量高效的規(guī)劃策略，而不是局限于一成不變的、在不完美環(huán)境中會(huì)限制系統(tǒng)適應(yīng)性的方法。

測試架構(gòu)

DeepMind在不同的游戲上測試了這個(gè)架構(gòu)，包括益智游戲推箱子和宇宙飛船航行游戲。這兩款游戲都需要提前計(jì)劃和推理，這使得它們成為測試智能體能力的絕佳環(huán)境。

• 在推箱子中，智能體必須把箱子推到目標(biāo)上。因?yàn)橄渥又荒鼙煌?，許多移動(dòng)都是不可逆的(例如，推到角落里的盒子不能被拉出來)。

• 在宇宙飛船游戲中，智能體必須通過固定的次數(shù)激活推進(jìn)器，進(jìn)而穩(wěn)定飛船。在游戲中必須與幾個(gè)星球的引力相抗衡，這是一個(gè)很復(fù)雜的非線性連續(xù)調(diào)節(jié)任務(wù)。

為了限制這兩個(gè)游戲的試錯(cuò)行為，每一關(guān)都是程序生成的，失敗之后不能再重玩。這鼓勵(lì)智能體在實(shí)際環(huán)境中行動(dòng)之前，先想象執(zhí)行不同的策略帶來的結(jié)果。

在上圖中，游戲中的元素是以像素形式呈現(xiàn)給智能體的，它并不知道游戲的規(guī)則。在特定的時(shí)間點(diǎn)上，DeepMind將智能體對接下來5種可能的想象進(jìn)行了可視化。根據(jù)這些信息，智能體決定采取什么行動(dòng)。相應(yīng)的軌跡在圖中已經(jīng)標(biāo)明。

圖示為玩飛船游戲的智能體。紅線表示在游戲中執(zhí)行的軌跡操作，藍(lán)線和綠線描述了想象的軌跡。

對于這兩種任務(wù)，增強(qiáng)想象的智能體都優(yōu)于作為基準(zhǔn)的無想象智能體：他們可以通過更少的經(jīng)驗(yàn)來學(xué)習(xí)，并且能夠處理對環(huán)境建模時(shí)的缺陷。智能體能夠從內(nèi)部模擬中提取更多的知識(shí)，因此他們可以用更少的想象步驟解決更多的任務(wù)，優(yōu)于傳統(tǒng)的搜索方法，比如蒙特卡羅樹搜索。

當(dāng)增加一個(gè)有助于制定計(jì)劃的管理組件時(shí)，智能體就會(huì)學(xué)著用更少的步驟更高效地解決問題。在宇宙飛船任務(wù)中，它可以分辨環(huán)境中的引力是強(qiáng)還是弱，這意味著需要不同數(shù)量的想象步驟。當(dāng)為智能體提供環(huán)境中的多個(gè)模型時(shí)，每個(gè)模型在質(zhì)量和成本上都有所不同，它學(xué)會(huì)了做出有意義的權(quán)衡。最后，如果每執(zhí)行一步，想象的計(jì)算成本增加，那么智能體就會(huì)在早期想象多個(gè)步驟的結(jié)果，并且在之后依靠這種想象的結(jié)果，而不需要再次進(jìn)行想象。

能夠應(yīng)付不完美的環(huán)境，并學(xué)會(huì)使規(guī)劃策略適應(yīng)當(dāng)前的情況是重要的研究課題。DeepMind的兩篇新論文Learning model-based planning from scratch、Imagination-Augmented Agents for Deep Reinforcement Learning，以及Hamrick等人之前的研究，考慮到了這些問題?；谀Ｐ偷膹?qiáng)化學(xué)習(xí)和計(jì)劃是研究的熱點(diǎn)，為了提供可擴(kuò)展的方法來豐富基于模型的、能運(yùn)用想象力對未來進(jìn)行計(jì)劃和推理的智能體，需要進(jìn)一步分析和思考。

via：DeepMind Blog

雷鋒網(wǎng) AI科技評論編譯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。