本周發(fā)表的一篇預(yù)印本論文和博客文章顯示，谷歌研究人員開發(fā)了一款可以學(xué)習(xí)和模擬動物的動作的AI系統(tǒng)，以賦予機(jī)器人更大的靈活性。該論文的合著者認(rèn)為，他們的方法可以促進(jìn)機(jī)器人的發(fā)展，從而讓機(jī)器人能夠完成生活中一些對靈活性要求較高的任務(wù)，例如在多層倉庫和履行中心之間運(yùn)輸材料。

該團(tuán)隊(duì)的框架采用動物（在本例中是狗）的動作捕捉片段，并使用強(qiáng)化學(xué)習(xí)（reinforcement learning）來訓(xùn)練控制策略，強(qiáng)化學(xué)習(xí)是一種通過獎勵激勵軟件代理完成目標(biāo)的訓(xùn)練技術(shù)。

研究人員說，為該系統(tǒng)提供不同的參考運(yùn)動，使他們能夠“教”一個四足Unitree-Laikago機(jī)器人執(zhí)行一系列行為，從快速行走（速度高達(dá)每小時2.6英里）到跳躍和轉(zhuǎn)身。

為了驗(yàn)證他們的方法，研究人員首先編制了一組真實(shí)的狗表演各種技能的數(shù)據(jù)集。（訓(xùn)練主要在物理模擬中進(jìn)行，以便能夠密切跟蹤參考運(yùn)動的姿勢）。然后，通過使用獎勵函數(shù)中的不同運(yùn)動（描述了行為者的行為方式），研究人員用大約2億個樣本訓(xùn)練了一個模擬機(jī)器人來模擬運(yùn)動技能。

但模擬器通常只提供對真實(shí)世界的粗略近似。為了解決這個問題，研究人員采用了一種自適應(yīng)技術(shù)，該技術(shù)可以隨機(jī)化模擬中的動力學(xué)，例如改變物理量，例如機(jī)器人的質(zhì)量和摩擦力。使用編碼器將這些值映射到數(shù)字表示（即編碼），該數(shù)字表示作為輸入傳遞給機(jī)器人控制策略。當(dāng)將該策略部署到實(shí)際的機(jī)器人上時，研究人員移除了編碼器，并直接搜索一組變量，這些變量使機(jī)器人能夠成功執(zhí)行技能。

該團(tuán)隊(duì)說，他們能夠在大約50個試驗(yàn)中使用不到8分鐘的真實(shí)數(shù)據(jù)來使策略適應(yīng)實(shí)際情況。此外，他們還演示了真實(shí)的機(jī)器人學(xué)習(xí)模仿狗的各種動作，包括踱步和小跑，以及藝術(shù)家動畫的關(guān)鍵幀動作，如動態(tài)跳躍轉(zhuǎn)身。

“我們證明，通過利用參考運(yùn)動數(shù)據(jù)，一種基于學(xué)習(xí)的方法能夠自動合成控制器，以實(shí)現(xiàn)有腿機(jī)器人的各種行為?！痹撜撐牡暮现邔懙?。“通過將有效的領(lǐng)域自適應(yīng)樣本技術(shù)整合到培訓(xùn)過程中，我們的系統(tǒng)能夠?qū)W習(xí)模擬中的自適應(yīng)策略，然后可以快速將其應(yīng)用于實(shí)際部署中?！?/p>

然而，這種控制策略不是十全十美的。由于算法和硬件的限制，它無法學(xué)習(xí)高度動態(tài)的行為（例如大的跳躍和奔跑），并且不如最佳的手動設(shè)計(jì)控制器那樣穩(wěn)定。（在5種情節(jié)中，每種方法總共進(jìn)行15次試驗(yàn)，現(xiàn)實(shí)世界中的機(jī)器人在6秒后踱步時平均下降；在5秒后向后小跑時平均下降；在旋轉(zhuǎn)時平均下降9秒）。對此，研究人員表示，將繼續(xù)改進(jìn)控制器的魯棒性，并開發(fā)可以從其他運(yùn)動數(shù)據(jù)源（如視頻剪輯）學(xué)習(xí)的框架。（雷鋒網(wǎng)雷鋒網(wǎng)）

注：本文由雷鋒網(wǎng)編譯自venturebeat

原文鏈接：

https://venturebeat.com/2020/04/03/googles-ai-learns-motions-from-dogs-applies-to-real-world-robot/

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。