Image: Google Research

我猜，要你把東西撿起來絕對沒問題。好棒！這是因為當(dāng)你還是個小屁孩的時候，你已經(jīng)在沒日沒夜地抓東西、掉東西，并從經(jīng)驗中學(xué)習(xí)?？墒菣C器人不想就此虛度他們的童年，總得有辦法加快進程吧——在Google Research，十多個機器人手臂連續(xù)數(shù)月地在撿起不同的物品，重的、輕的、扁的、大的、小的、硬的、軟的、還有半透明的（雖然不是同時）。研究員們告訴我們?yōu)楹嗡麄兊姆椒í氁粺o二，以及為什么80萬次抓取（天啦擼?。┻€只是個開頭。

為什么動物們抓取物件完全沒問題，部分原因是眼睛，而不僅僅是手。你可以閉著眼睛抓起一個物品，但是如果你能看見手與物品之間的互動，你會好得多。在機器人領(lǐng)域，這叫做視覺伺服，除了能增加抓取的進準(zhǔn)度，還能讓機器人抓取正在移動或改變方向的物品，這在煩死人的”真實世界“中非常普遍。

教會機器人不容易，因為在傳感器信息和動作之間沒有必然聯(lián)系，尤其是當(dāng)你一直有無數(shù)的傳感信息輸入（就像人在視覺系統(tǒng)里一樣）。聰明的辦法不是填鴨式教學(xué)，而是讓機器人自學(xué)成才。在Google Research，一組研究員在Google X同事的幫助下讓一個7-DoF機器人手臂抓起雜亂的物品，利用單眼視覺伺服和深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）來預(yù)測抓取結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)會持續(xù)自我訓(xùn)練，開始失敗如山倒，然后漸入佳境。Google為了加快進程，讓14個機器人同時投入工作。這完全是全自動的：人只需要往盤子里裝上東西，然后打開電源開關(guān)。

Image: Google Research

一個數(shù)據(jù)收集試驗中的機器人。每個單元包括一個七自由度的手臂，帶有兩個手指的抓取器，和一個從機器人肩膀上俯視下來的攝像頭。研究員說攝像頭記錄了單眼RGB和深度圖像，但只有單眼RGB圖像用于預(yù)測抓取成功。

 

“實質(zhì)上，通過觀察自己手臂的運動，機器人時時刻刻都在預(yù)測接下來哪種運動會把成功的幾率最大化。這帶來了持續(xù)的反饋：我們可以稱作眼手協(xié)調(diào)。觀察了80萬次機器人的抓取，相當(dāng)于大約3000小時的機器人練習(xí)，我們可以略見智能反應(yīng)行為的端倪。機器人觀察著自己的抓取，并實時糾正自己的行動。它還表現(xiàn)出了非常有趣的抓取前動作，例如將一個單獨物品從一對物品中分離。所有這些行為自然地從學(xué)習(xí)中出現(xiàn)，而非編寫進系統(tǒng)的程序里?！?/span>

當(dāng)14個機器人同時工作，信息收集就更多更快了，但與此同時，許多計劃外的變量也引入了試驗中。攝像頭的位置略有不同，打光對每一個機器人都不太一樣，以及每一個標(biāo)準(zhǔn)的抓取器都有不同類型的磨損，影響表現(xiàn)。

Image: Google Research

試驗后機器人的抓取器。研究者說機器人“經(jīng)歷了不同程度的磨損和拉扯，造成外表和幾何方面重要的變化?！?/span>

積極的一面是，機器人能更好處理對類似硬件細微差異和攝像頭校準(zhǔn)差異的問題，使得抓取更加強大。即便這樣，這種方法沒法過分概況，而且不能用于差別很大的硬件和抓取環(huán)境中（例如從架子上拿取一個物品）。研究員計劃在未來嘗試讓訓(xùn)練設(shè)置更加多元化，看看他們的技術(shù)的適應(yīng)性如何。他們還希望研究如何將這種方法用于“真實世界”的機器人，”在非常復(fù)雜多樣的環(huán)境、物件、燈光以及磨損情況下“。

我們與Google Research的Sergey Levine聊了聊他們的研究。

IEEE Spectrum：能否說說你們的研究與其他類似研究的關(guān)聯(lián)呢，例如Brown的百萬物品挑戰(zhàn)或者加州大學(xué)伯克利分校的Dex-Net？

Sergey Levine：和Dex-Net及Brown的研究一樣，我們的研究也是基于大數(shù)據(jù)可以提升機器人能力這個假設(shè)。我們和他們的研究最主要的不同是，我們采取的是一種非常直接和數(shù)據(jù)導(dǎo)向的方法，依靠最少的前期信息，來解決抓取這個非常具體的問題。Dex-Net使用基于模型的方法和模擬數(shù)據(jù)，而Brown的目標(biāo)更大，是掃描非常多的物品（我們的方法不收集掃描數(shù)據(jù)，而只是憑經(jīng)驗學(xué)會抓?。?。

為什么數(shù)據(jù)的量很重要，從更多的數(shù)據(jù)中到底能發(fā)現(xiàn)什么（真的能發(fā)現(xiàn)什么嗎？）

任何時刻，我們都在使用六只十四個機器人手臂（隨著試驗的進展，更多機器人上線了）。我們還在研究實際上需要多少信息，還沒有官方數(shù)據(jù)，但是非正式地來說，試驗從20萬次抓取后開始好轉(zhuǎn)，并一直在提升（如果有更多數(shù)據(jù)的話應(yīng)該還會提升）。

信息量的重要性主要因為兩個原因：（1）物件和抓取器的幾何形狀有非常多的可能性，（2）最新的模型一直在補充新數(shù)據(jù)，新模型很擅長定位他自認為正確但實際上錯誤的信息，為信息庫增補樣本，從而進一步改善新模型。

你們的硬件設(shè)計如何影響抓取物品的技術(shù)（和成功）？為什么選取這種抓取器，以及這種方法能否適用于任何抓取器？

這種方法能夠直接適用于任何平行的顎形抓取器，也有可能應(yīng)用于其他抓取器和手。硬件并不是專為這項實驗設(shè)計的，這只是按照我們要求的數(shù)量最容易獲得的硬件。盡管這樣，我們使用的這種手指非常適合抓取各種物品。

如何概況這項研究的精髓，讓這項技術(shù)可以用于其他環(huán)境中的其他操作器？

如果要適用于其他操作器，有可能系統(tǒng)必須與各種操作器及終端傳感器一起訓(xùn)練。目前的系統(tǒng)是驗證概念。實用性應(yīng)用可能需要更多在不同環(huán)境、不同背景和其他設(shè)置（例如架子、抽屜等等）中的訓(xùn)練，以及一種決定抓取什么物品的更高等級的命令機制，也許將動作命令限制為工作空間的某個具體部分。

 via IEEE Spectrum

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。