美國(guó)時(shí)間8月23日，《麻省理工科技評(píng)論》公布了第16屆TR35榜單，即全球35名35歲以下青年創(chuàng)新者榜單。各路精英在創(chuàng)造力、毅力、管理能力方面都堪稱翹楚，他們的創(chuàng)新領(lǐng)域涉及醫(yī)療、能源、計(jì)算機(jī)和先進(jìn)電子器件；他們的事業(yè)舞臺(tái)涵蓋初創(chuàng)公司、研發(fā)機(jī)構(gòu)和企業(yè)巨頭。他們是各自領(lǐng)域的領(lǐng)軍人物。而加州大學(xué)伯克利分校機(jī)器人學(xué)專家Sergey Levine便是其中的一員。

在今年三月的圍棋人機(jī)大戰(zhàn)中，谷歌人工智能AlphaGO打敗了世界最優(yōu)秀的圍棋選手李世石，讓人們深深感嘆當(dāng)今人工智能的強(qiáng)大力量。當(dāng)時(shí)，Sergey Levine正在谷歌公司工作。在這九個(gè)月的工作時(shí)間中，他親眼目睹了人工智能的勝利，在欽佩AlphaGo在機(jī)器學(xué)習(xí)領(lǐng)域所取得的成就的同時(shí)，他發(fā)現(xiàn)了這個(gè)強(qiáng)大的圍棋游戲算法中存在的一個(gè)明顯缺點(diǎn)。

他笑稱：

縱使它們（程序）能夠戰(zhàn)勝世界最棒的圍棋選手，但它們從未親自拿起過(guò)一枚棋子。

眾所周知，機(jī)器人有著強(qiáng)大的大腦，它們足夠聰明，運(yùn)算速度超快，能夠完成人類無(wú)法完成的工作。然而，它們也存在一個(gè)劣勢(shì)：一些在人類看來(lái)最常見(jiàn)最簡(jiǎn)單的動(dòng)作（比如擦桌子、抓杯子等），它們做起來(lái)非常困難。因此，它們要順利地完成這些任務(wù)，學(xué)習(xí)能力相當(dāng)重要。

而Sergey Levine在做的，就是教會(huì)機(jī)器人學(xué)習(xí)。

讓機(jī)器人吸取經(jīng)驗(yàn)、自學(xué)成才

在谷歌研究所中，14只機(jī)器人手臂擺在一起，連續(xù)數(shù)月地?fù)炱鸩煌奈锲?，重的、輕的、扁的、大的、小的、硬的、軟的、還有半透明的。而這正是Sergey Levine團(tuán)隊(duì)正在進(jìn)行的項(xiàng)目。

日復(fù)一日地?fù)炱鹞锲仿?tīng)起來(lái)有點(diǎn)蠢，但Sergey Levine覺(jué)得這種方法獨(dú)一無(wú)二、意義重大。要教會(huì)機(jī)器人完成一個(gè)動(dòng)作，傳統(tǒng)的方法首先要讓機(jī)器人去識(shí)別、分辨不同的物體，然后要通過(guò)反復(fù)的訓(xùn)練，最終才能實(shí)現(xiàn)目標(biāo)。這種方法在教會(huì)機(jī)器人完成簡(jiǎn)單的任務(wù)（比如擰上瓶蓋）時(shí)還算湊效，但這個(gè)訓(xùn)練過(guò)程漫長(zhǎng)而無(wú)味。另外，在面對(duì)復(fù)雜的任務(wù)時(shí)，這種方法的效果并不明顯。

而Sergey Levine團(tuán)隊(duì)的方法卻與傳統(tǒng)方法截然不同，它的關(guān)鍵之處在于將已經(jīng)十分出眾的圖像識(shí)別分類算法用于機(jī)械臂，讓機(jī)器人能從先前的成功經(jīng)驗(yàn)中學(xué)習(xí)。

首先，Levine給機(jī)械臂設(shè)定一些手頭上很容易解決的目標(biāo)(比如擰上瓶蓋)，完成之后機(jī)械臂就可以回顧之前的成功案例，并從中學(xué)習(xí)經(jīng)驗(yàn)，方便完成今后的任務(wù)。同時(shí)，機(jī)器人會(huì)觀測(cè)視覺(jué)系統(tǒng)數(shù)據(jù)如何映射到機(jī)械臂的電機(jī)信號(hào)，從而正確地完成任務(wù)。此外，機(jī)器人還會(huì)監(jiān)督自己的學(xué)習(xí)過(guò)程。

而之所以要讓這14只機(jī)械臂日復(fù)一日地?fù)炱鸩煌奈锲?，就是為了讓它們能夠?qū)W習(xí)不同物品的不同經(jīng)驗(yàn)，從而將經(jīng)驗(yàn)用到其他的物品之上。Levine表示：

這是對(duì)機(jī)器自身行為的逆向工程。這樣，它就可以將學(xué)習(xí)到的知識(shí)應(yīng)用到隨后的相關(guān)任務(wù)中，這樣機(jī)器人就會(huì)越來(lái)越聰明。

用卷積神經(jīng)網(wǎng)絡(luò)“調(diào)教”機(jī)器人

其實(shí)，要教會(huì)機(jī)器人撿起不同的物體非常復(fù)雜，因?yàn)閭鞲衅鲾?shù)據(jù)和實(shí)際行動(dòng)之間沒(méi)有明顯的必然聯(lián)系，尤其是當(dāng)大量傳感器數(shù)據(jù)一下子涌來(lái)時(shí)。

為了克服這一點(diǎn)，Sergey Levine團(tuán)隊(duì)讓機(jī)械臂雜亂地使用單目視覺(jué)伺服、深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)?yè)炱鹉繕?biāo)物（如杯子、膠帶座和玩具海豚），從而預(yù)測(cè)抓取的結(jié)果。機(jī)器人的度卷積神經(jīng)網(wǎng)絡(luò)會(huì)不斷進(jìn)行自我再訓(xùn)練（起初有許多次失敗，但漸漸會(huì)開(kāi)始好轉(zhuǎn)）。最開(kāi)始，團(tuán)隊(duì)所運(yùn)用的機(jī)械臂并沒(méi)有那么多，后來(lái)為了加快這一進(jìn)程，團(tuán)隊(duì)并行投入了 14 只機(jī)械臂來(lái)研究這一問(wèn)題。這一系列過(guò)程是完全自主的，人類所需要做的就是把箱子填滿然后打開(kāi)電源等著機(jī)器人主動(dòng)完成任務(wù)即可。

經(jīng)過(guò)一年訓(xùn)練后，手臂能夠自己抓取并撿起小物體。但是，機(jī)械臂的編程信息通常是用來(lái)識(shí)別物體并按照預(yù)定的程序做出反應(yīng)，無(wú)法像人類一樣根據(jù)周?chē)沫h(huán)境做出改變。那么問(wèn)題就來(lái)了：對(duì)于可預(yù)測(cè)的物體和環(huán)境，機(jī)械臂可以輕松應(yīng)對(duì)，但是它們可以抓取從來(lái)沒(méi)有見(jiàn)過(guò)的物體嗎？

為了探究這一點(diǎn)，Sergey Levine讓機(jī)器人手臂伸入隨機(jī)裝滿物體的盒子里，讓它們憑藉運(yùn)氣隨機(jī)抓取物體。在一天之后，他收集機(jī)器人嘗試抓取物體的數(shù)據(jù)，然后用這些數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，讓抓取物體的結(jié)果更加理想。在80 萬(wàn)次（相當(dāng)于 3000 小時(shí)的機(jī)器人訓(xùn)練）抓取行動(dòng)之后，機(jī)械臂就可以自動(dòng)糾正自己的行動(dòng)了。很快，他們就可以更加順利地抓取物體了，甚至?xí)捎媚撤N策略，如推開(kāi)一個(gè)物體去抓取另外一個(gè)物體，或者去抓取柔軟的物體而不是堅(jiān)硬的物體等。

在機(jī)械臂完成所有這些任務(wù)的過(guò)程中，沒(méi)有程序員編寫(xiě)系統(tǒng)告訴他們?cè)撛趺醋ト∥矬w，但它們可以從自己的經(jīng)驗(yàn)中學(xué)習(xí)。此外，它們還能使用反饋環(huán)路，將抓取物體的失敗率降低到18%。

現(xiàn)在，Sergey Levine研究的機(jī)器人已經(jīng)練成了“抓物神功”，不過(guò)，要想從實(shí)驗(yàn)室走到真實(shí)世界，并能輕松應(yīng)對(duì)變化多端的環(huán)境、不同的目標(biāo)物、不同的光照條件及不同程度的磨損，這些機(jī)械臂還需要很長(zhǎng)一段時(shí)間的“調(diào)教期”。

目前，Sergey Levine打算將他們的研究擴(kuò)展到更寬的領(lǐng)域中，然后在實(shí)驗(yàn)室之外的其他多種真實(shí)環(huán)境中進(jìn)行嘗試。我們期待這些機(jī)器人能夠“學(xué)有所成“，成為更加聰明、更有“靈魂”的機(jī)器人。

新智造為雷鋒網(wǎng)旗下專注于機(jī)器人的公眾號(hào)，我們關(guān)注機(jī)器人的現(xiàn)狀與未來(lái)，以及與機(jī)器人結(jié)合的相關(guān)產(chǎn)業(yè)。感興趣的朋友可添加微信號(hào)AIRobotics，或是直接掃描下方二維碼進(jìn)行關(guān)注！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。