雷鋒網(wǎng)按：本文作者qqfly，上海交通大學(xué)機(jī)器人所博士生，本科畢業(yè)于清華大學(xué)機(jī)械工程系，主要研究方向機(jī)器視覺與運(yùn)動規(guī)劃，會寫一些好玩的內(nèi)容在微信公眾號：Nao(ID：qRobotics)。本文整理自知乎回答：有沒有將深度學(xué)習(xí)融入機(jī)器人領(lǐng)域的嘗試？有哪些難點(diǎn)？

現(xiàn)在深度學(xué)習(xí)這么火，大家都會想著看看能不能用到自己的研究領(lǐng)域里。所以，將深度學(xué)習(xí)融入到機(jī)器人領(lǐng)域的嘗試也是有的。我就自己了解的兩個方面（視覺與規(guī)劃）來簡單介紹一下吧。

物體識別

這個其實(shí)是最容易想到的方向了，比較DL就是因為圖像識別上的成果而開始火起來的。

這里可以直接把原來 CNN 的那幾套網(wǎng)絡(luò)搬過來用，具體工作就不說了，我之前在另一個回答amazon picking challenge（APC）2016中識別和運(yùn)動規(guī)劃的主流算法是什么？下有提到，2016年的『亞馬遜抓取大賽』中，很多隊伍都采用了DL作為物體識別算法。

物體定位

當(dāng)然，機(jī)器視覺跟計算機(jī)視覺有點(diǎn)區(qū)別。機(jī)器人領(lǐng)域的視覺除了物體識別還包括物體定位（為了要操作物體，需要知道物體的位姿）。

2016年APC中，雖然很多人采用DL進(jìn)行物體識別，但在物體定位方面都還是使用比較簡單、或者傳統(tǒng)的算法。似乎并未廣泛采用DL。

當(dāng)然，這一塊也不是沒人在做。我們實(shí)驗室的張博士也是在做這方面嘗試。我這里簡單介紹一下張博士之前調(diào)研的一偏論文的工作。

Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd."Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

這個工作大概是這樣的：對于一個物體，取很多小塊RGB-D數(shù)據(jù)；每小塊有一個坐標(biāo)（相對于物體坐標(biāo)系）；然后，首先用一個自編碼器對數(shù)據(jù)進(jìn)行降維；之后，用將降維后的特征用于訓(xùn)練Hough Forest。

這樣，在實(shí)際物體檢測的時候，我就可以通過在物體表面采樣RGB-D數(shù)據(jù)，之后，估計出一個位姿。

抓取姿態(tài)生成

這個之前在另一個問題（傳統(tǒng)的RCNN可以大致框出定位物體在圖片中的位置，但是如何將這個圖片中的位置轉(zhuǎn)化為物理世界的位置？）下有介紹過，放兩個圖

↑ Using Geometry to Detect Grasp Poses in 3DPoint Clouds

↑ High precision grasp pose detection in dense clutter

控制/規(guī)劃

這一塊是我現(xiàn)在感興趣的地方。

簡單地說，我們知道強(qiáng)化學(xué)習(xí)可以用來做移動機(jī)器人的路徑規(guī)劃。所以，理論上將，結(jié)合DL的Function Approximation 與 Policy Gradient，是有可能用來做控制或規(guī)劃的。當(dāng)然，現(xiàn)在的幾個工作離取代原來的傳統(tǒng)方法還有很長的距離要走，但是也是很有趣的嘗試。

放幾個工作，具體可以看他們的paper。

1.Learning monocular reactive uav control in cluttered natural environments

↑ CMU 無人機(jī)穿越森林

2. From Perception to Decision: A Data-driven Approach to End-to-end Motion Planning for Autonomous Ground Robots

↑ ETH 室內(nèi)導(dǎo)航

3.Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection

↑ DeepMind 物體抓取

4. End-to-end training of deep visuomotor policies

↑ Berkeley 擰瓶蓋等任務(wù)

有哪些難點(diǎn)

1、在視覺領(lǐng)域，除了物體識別、還需要進(jìn)行物體定位。這是一個 regression 問題，但是目前來看， regression 的精度還沒辦法直接用于物體操作，（可能是數(shù)據(jù)量還不夠，或者說現(xiàn)在還沒找到合適的網(wǎng)絡(luò)結(jié)構(gòu)），所以一般還需要采用ICP等算法進(jìn)行最后一步匹配迭代。

2、機(jī)器人規(guī)劃/控制等方面，可能存在的問題就比較多了。我之前在雷鋒網(wǎng)『硬創(chuàng)公開課』直播（運(yùn)動規(guī)劃 | 視頻篇）的時候有提到我碰到的一些問題，這里簡單列在下面：

可觀性問題

簡單地說，我們這些不做DL理論的人，都是先默認(rèn)DL的收斂、泛化能力是足夠的。我們應(yīng)該關(guān)心的是，要給DL喂什么數(shù)據(jù)。也就是說，在DL能力足夠強(qiáng)的前提下，哪些數(shù)據(jù)才能讓我需要解決的問題變得可觀。

當(dāng)然，目前的幾個工作都沒有提到這點(diǎn)，Berkeley的那個論文里是直接做了一個強(qiáng)假設(shè)：在給定數(shù)據(jù)（當(dāng)前圖像、機(jī)器人關(guān)節(jié)狀態(tài)）下，狀態(tài)是可觀的。

實(shí)際機(jī)器人操作中，系統(tǒng)狀態(tài)可能跟環(huán)境有關(guān)（例如物體性質(zhì)），所以這一個問題應(yīng)該是未來DL用在機(jī)器人上所不能繞過的一個問題。

數(shù)據(jù)量

一方面，我們不了解需要多少數(shù)據(jù)才能讓問題收斂。另一方面，實(shí)際機(jī)器人進(jìn)行一次操作需要耗費(fèi)時間、可能會造成損害、會破壞實(shí)驗條件（需要人工恢復(fù)）等，采集數(shù)據(jù)會比圖像識別、語音識別難度大很多。

是否可解決

直播的時候我舉了個例子，黑色障礙物位置從左到右連續(xù)變化的時候，規(guī)劃算法輸出的最短路徑會發(fā)生突變。（具體看視頻可能會比較清楚）

這對應(yīng)于DL中，就是網(wǎng)絡(luò)輸入連續(xù)變化、但輸出則會在某一瞬間突變。而且，最短路徑可能存在多解等問題。

DL的 Function Approximattion 是否能很好地處理這一狀況？

是吧，這幾件事想想都很有趣，大家跟我一起入坑吧~

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。