編者按：本文內(nèi)容來自庫柏特科技CEO，武漢大學(xué)特聘副教授李淼在雷鋒網(wǎng)硬創(chuàng)公開課的分享，由雷鋒網(wǎng)機(jī)器人垂直欄目“新智造（公眾號：新智造）”整理。

嘉賓簡介：李淼，庫柏特科技CEO，武漢大學(xué)特聘副教授。

自2011至2015年，在瑞士聯(lián)邦洛桑理工（EPFL）攻讀博士學(xué)位，研究方向?yàn)闄C(jī)器人學(xué)習(xí)和人機(jī)協(xié)調(diào)交互。博士論文被提名EPFL優(yōu)秀博士論文獎和ABB自動化獎。其中機(jī)器人抓取的動態(tài)自適應(yīng)研究工作，被美國國家標(biāo)準(zhǔn)技術(shù)研究所（NIST）選為機(jī)器人基于傳感的抓取效率的標(biāo)準(zhǔn)測試方法。

已發(fā)表高水平SCI/EI論文近20篇，被引用100余次，H-index 6 。多次受邀在IROS、ICRA、CASE做技術(shù)報(bào)告，組織IROS、ICRA機(jī)器人抓取研討會，發(fā)起并組織第一屆中國協(xié)作機(jī)器人研討會。擔(dān)任ICRA、IROS、RSS、Humanoids、IEEE Robotics and Automation Letters (RA-L)、IEEE Transactions on Robotics(TRO)、Autonomous Robots (AR)、Robots and Autonomous Systems (RAS)、Journal of Sensor、Journal of Intelligent and Robotic Systems等機(jī)器人頂級會議與期刊評審。承擔(dān)EPFL機(jī)器人實(shí)踐課（碩士課程）的教學(xué)，指導(dǎo)碩士畢業(yè)論文與機(jī)器人學(xué)期項(xiàng)目。長期從事機(jī)器人靈巧手抓取規(guī)劃與智能控制，主要研究圍繞在將先進(jìn)機(jī)器學(xué)習(xí)算法應(yīng)用于復(fù)雜機(jī)械系統(tǒng)的控制與設(shè)計(jì)之中。

什么是機(jī)械智能

相信很多人知道人工智能，根據(jù)wikipedia的定義，“人工智能（英語：Artificial Intelligence, AI）亦稱機(jī)器智能，是指由人工制造出來的系統(tǒng)所表現(xiàn)出來的智能。通常人工智能是指通過普通電腦實(shí)現(xiàn)的智能。該詞同時(shí)也指研究這樣的智能系統(tǒng)是否能夠?qū)崿F(xiàn)，以及如何實(shí)現(xiàn)的科學(xué)領(lǐng)域。人工智能的研究是高度技術(shù)性和專業(yè)的，各分支領(lǐng)域都是深入且各不相通的，因而涉及范圍極廣”。

AI這個(gè)方向包含的內(nèi)容太廣泛了，很多時(shí)候當(dāng)你和別人聊天時(shí)，別人告訴你他時(shí)搞AI的，你其實(shí)根本就不知道他是做什么的。這一點(diǎn)與機(jī)器人這個(gè)名詞很像，學(xué)科的分支太多。

在機(jī)器人，特別是工業(yè)機(jī)器人的領(lǐng)域，當(dāng)我們想將機(jī)器人與人工智能結(jié)合起來時(shí)，很多人都想有一定的區(qū)別度。我們這里用了mechanical intelligence這個(gè)詞語，機(jī)械智能。

那么什么是機(jī)械智能呢？簡單說，就是一個(gè)機(jī)器找到一個(gè)問題的解決方案的過程。機(jī)器通常是指包括機(jī)器人在內(nèi)的自動化設(shè)備，智能通常體現(xiàn)在找到好的解決方案上。

這里面區(qū)別與傳統(tǒng)的AI的一個(gè)核心點(diǎn)是，我們需要一個(gè)物理或者機(jī)械系統(tǒng)去與真實(shí)的物理世界發(fā)生交互。插一句，有一個(gè)會議叫pHRI（physical human robot interaction），其實(shí)也是出于這個(gè)目的來區(qū)別傳統(tǒng)的HRI的。研究的問題呢，上面的PPT種給了幾個(gè)簡單的例子，包括產(chǎn)品的質(zhì)量簡單，這里面涉及到大量的視覺的東西，包括抓取，里面涉及到機(jī)器人視覺和機(jī)器人控制，第三個(gè)是打磨，這里面涉及到力控與機(jī)器人控制；還有裝配，這可能是目前3C行業(yè)的一個(gè)共性的問題，里面涉及到很多的精微力控制。這幾個(gè)問題也是我們后面討論的重點(diǎn)。

解決方案

前面說到了要找到好的解決方案，那么什么樣的方案是一個(gè)好方案呢？是硬件方案還是軟件方案呢？硬件方案通常就是需要一些特殊的機(jī)械設(shè)計(jì)，這些設(shè)計(jì)通常需要大量的經(jīng)驗(yàn)與人工智慧，而且很多時(shí)候是case-by-case的。

有時(shí)候，我去工業(yè)現(xiàn)場跟一些產(chǎn)品線的時(shí)候，我也會被各種巧妙的機(jī)械涉及所嘆服，這些基本都是硬件解決方案。

軟件解決方案通常是在硬件的基礎(chǔ)上，針對一些列的類似的需求，提出的一個(gè)個(gè)模塊的軟件集成方案。硬件和軟件，二者通常是相輔相成，但是在不同的發(fā)展階段，又有一些不通側(cè)重點(diǎn)。

問題有哪些？

其實(shí)制造業(yè)這個(gè)詞是很大的，里面涉及到很多東西。從大了講，整個(gè)制造業(yè)是屬于廣義自動化的一部分，包括過程自動化和工廠自動化兩部分。

過程自動化是指采用計(jì)算機(jī)技術(shù)和軟件工程幫助工廠更高效、更安全地運(yùn)營。過程自動化相對于運(yùn)動自動化采樣時(shí)間較大。在過程自動化技術(shù)出現(xiàn)之前，工人必須人工監(jiān)測設(shè)備性能指標(biāo)和產(chǎn)品質(zhì)量，以確定生產(chǎn)設(shè)備處于最佳運(yùn)行狀態(tài)，而且必須在停機(jī)時(shí)才能實(shí)施各種維護(hù)，這降低了工廠運(yùn)營效率，且無法保障操作安全。這部分的應(yīng)用是與分布式數(shù)據(jù)存儲，處理分析相關(guān)的，其中也涉及到很多人工智能的應(yīng)用。現(xiàn)在有很多做企業(yè)服務(wù)軟件的，其實(shí)更多的就是偏向于過程自動化，這個(gè)從周期上將，更長一些。

工廠自動化，也稱車間自動化，指自動完成產(chǎn)品制造的全部或部分加工過程。其中一個(gè)很大的核心點(diǎn)就是工業(yè)機(jī)器人，工業(yè)機(jī)器人由于其適用性與柔性，在過去的幾年開始爆發(fā)式增長。正是因?yàn)檫@個(gè)行業(yè)在飛速發(fā)展，才有了與最新技術(shù)結(jié)合的可能性，我這幾張PPT主要也是簡單介紹下背景知識。

最近幾年，工業(yè)機(jī)器人的市場規(guī)模一直在增長，根據(jù)未來的增長的空間預(yù)測，到2020年，工業(yè)機(jī)器人每年的本體加集成市場會在2000億左右。這還不包括新一代機(jī)器人開拓的機(jī)器人領(lǐng)域以及機(jī)器人的輻射效應(yīng)。

按照領(lǐng)域劃分，未來的主要增長空間會出現(xiàn)在3C行業(yè)、倉儲、食品、醫(yī)藥等行業(yè)。下面我會就3C行業(yè)的一些典型問題，來分享一下機(jī)械智能是怎么應(yīng)用的。

這張PPT實(shí)際是告訴大家，未來的機(jī)器人的發(fā)展熱點(diǎn)與機(jī)會會在哪里，大家也就可以理解為什么那么多的資本都開始進(jìn)入到這個(gè)領(lǐng)域了。

3C行業(yè)使用機(jī)器人從事的工作具有三個(gè)特點(diǎn)：工作內(nèi)容高度重復(fù)，產(chǎn)品周期短，集成難度大。近年來，電子產(chǎn)品對質(zhì)量的要求不斷提高，使得傳統(tǒng)人工在視覺檢測、激光打標(biāo)、結(jié)構(gòu)件沖壓與打磨、屏幕貼膜等方面的精細(xì)度難以達(dá)到要求。機(jī)器人在3C行業(yè)應(yīng)用潛力較大的部分是組裝或者叫裝配。由于目前這項(xiàng)工作對機(jī)器人柔性要求非常高，應(yīng)用比較難，故普及情況受限。但隨著機(jī)器人技術(shù)與人工智能等技術(shù)的結(jié)合，未來這方面的應(yīng)用會大量的增長。

這是3C行業(yè)的問題從表象到本質(zhì)的分析，簡單來說，就是現(xiàn)在機(jī)器人不好用，很多人也用不好。

目前部分解決方案

這些是目前的一部分解決方案，主要是從機(jī)器人本體上下功夫，也就是目前炒作得很火的協(xié)作機(jī)器人或者更大一點(diǎn)的新一代機(jī)器人的概念。主要是想讓機(jī)器人和人進(jìn)行協(xié)同作業(yè)，實(shí)現(xiàn)一部分工作給人來完成，一部分工作機(jī)器人來完成。機(jī)械智能的整個(gè)系統(tǒng)框架實(shí)際上是架構(gòu)在這個(gè)硬件基礎(chǔ)上。

整個(gè)機(jī)械智能的框架其包括三個(gè)部分，示教方式、學(xué)習(xí)算法與機(jī)器人操作。其中示教方式包括各種learning from demonstration，或者是簡單的給產(chǎn)品質(zhì)量進(jìn)行標(biāo)定好壞。總是這部分的作用是存儲一些數(shù)據(jù)。而學(xué)習(xí)算法這部分，主要是從這些存儲的數(shù)據(jù)中，進(jìn)行抽象提煉出模型，這些模型可能是產(chǎn)品質(zhì)量的判斷模型，也可能是機(jī)器人的控制算法。而在機(jī)器人操作上，主要就是實(shí)現(xiàn)部分，是怎么樣學(xué)習(xí)到的算法在機(jī)器人上實(shí)現(xiàn)出來。數(shù)據(jù)收集 - 算法學(xué)習(xí) - 機(jī)器人實(shí)現(xiàn)，基本就是這個(gè)套路。下面會給出幾個(gè)例子，來闡述整個(gè)框架體系，我會盡量的回避一些技術(shù)細(xì)節(jié)，只給出一些框架和流程。

視覺檢測

視覺檢測目前主要是還是靠人工檢測，左邊的幾幅圖都是我們最近遇到的一些視覺的檢測項(xiàng)目，目前我們在工廠看到的還是人來檢測，平均一個(gè)人一天需要檢測7000多個(gè)這種小零件。右邊是目前很火的基于深度學(xué)習(xí)的檢測一個(gè)工件的流程圖。上面是模型的訓(xùn)練過程，主要思想是我們有一些好的工件和壞的工件的圖片，我們訓(xùn)練出一個(gè)模型。然后根據(jù)模型，給一個(gè)新的工件，可以迅速的判斷模型的質(zhì)量，缺陷類型等。當(dāng)然這里是只給了深度學(xué)習(xí)的例子，其他的機(jī)器學(xué)習(xí)方法在這里也可以適用，只是效果可能有所區(qū)別。很多時(shí)候也需要多個(gè)模型的結(jié)合來做判斷。NO-FREE-LUNCH，學(xué)習(xí)算法里面鐵一般的規(guī)律。

我每個(gè)例子可能只用了一兩張PPT，但是這每個(gè)問題后面都有無數(shù)的研究和問題還在探索中。

無序分揀

無序分揀其實(shí)在很多地方都有應(yīng)用，主要是把一些零件從一個(gè)位置規(guī)整到另外一個(gè)位置。目前的通常做法是各種料框，振動盤加上人工。而采用機(jī)械智能的方式就可以不需要這些專用的設(shè)備，結(jié)合機(jī)器視覺與機(jī)器人，視覺對物體進(jìn)行識別定位，采用學(xué)習(xí)算法知道該抓哪個(gè)工件的成功率最大，而機(jī)器人操作則告訴機(jī)器人該怎么樣過去抓到那個(gè)物體。我整個(gè)博士階段其實(shí)就做這里面很小的一個(gè)點(diǎn)，怎么樣去抓一個(gè)物體。

抓取其實(shí)有很長一段時(shí)間不受重視，但是由于很多大公司的進(jìn)入，目前又有了新的發(fā)展動力。這一塊的東西目前很多大公司也開始在做，包括google，fanuc， mujin等等，還有最近很著名的Amazon Picking Challenge。這些公司之所以做這個(gè)方向，不僅僅是因?yàn)間rasping是在工業(yè)上有巨大的市場，其實(shí)就是在日常生活中，比如以后的服務(wù)機(jī)器人，我們肯定也會用到各種抓取與操作。所以在新一代的機(jī)器人的定義中，其實(shí)工業(yè)與非工業(yè)的的機(jī)器人的定義已經(jīng)不是那么的明顯了。

力控打磨

柔性打磨，人工打磨有柔性但是效率低，機(jī)器人打磨有效率但是柔性差。怎么樣建立力與機(jī)器人末端軌跡的關(guān)系，目前是通過人工調(diào)試的方法，只能一個(gè)個(gè)零件去測試。有時(shí)候整個(gè)調(diào)試周期可能需要幾個(gè)星期。比如像右邊圖中的自適應(yīng)軌跡與變速度的控制策略，是通過人的調(diào)試得到的。我們要做的其實(shí)就是把這部分的自適應(yīng)決策通過學(xué)習(xí)算法來結(jié)局。

這里打磨質(zhì)量很大程度取決于機(jī)器人調(diào)試人員的經(jīng)驗(yàn)了，我們的核心思想是通過智能人工示教來降低機(jī)器人的操作難度，實(shí)際上是通過人與機(jī)器人的協(xié)作來提高機(jī)器人的柔性。整個(gè)流程是這樣的，首先我們可以采取不同的方式來示教打磨任務(wù)，然后從示教過程中的傳感器數(shù)據(jù)，我們用人工智能和機(jī)器學(xué)習(xí)的算法，得到一個(gè)學(xué)習(xí)模型；最后將這個(gè)學(xué)習(xí)模型與機(jī)器人的具體控制算法結(jié)合，就能在機(jī)器人上快速實(shí)現(xiàn)這個(gè)任務(wù)。關(guān)于打磨應(yīng)用，我們是采用變阻抗來實(shí)現(xiàn)精確的力控，在使用KUKA LWR與ATI力傳感器時(shí)，我們最好的力控控制精度可以保持在0.1N左右。

這里真正實(shí)現(xiàn)起來還有很多工程上的細(xì)節(jié)要處理，這里只是給出了一個(gè)系統(tǒng)的框架。

目前3C行業(yè)的裝配還大量的采用手工裝配，我們平常用的手機(jī)，也基本是靠工人手工裝配出來的?，F(xiàn)在也有一些機(jī)器人裝配，但是需要大量的調(diào)試和工程配置，網(wǎng)上有一個(gè)ABB 機(jī)器人裝配鼠標(biāo)的視頻，大家可以感受下里面的調(diào)試難度。

在裝配時(shí)，很容易發(fā)生的是卡死，另外我們需要一個(gè)模型來判斷是否裝好。當(dāng)發(fā)生卡死時(shí)，通常需要適當(dāng)調(diào)整機(jī)器人的末端姿態(tài)，來解決卡死。利用機(jī)器學(xué)習(xí)建立力與末端速度映射關(guān)系，可以實(shí)現(xiàn)力反饋控制！

運(yùn)動規(guī)劃

運(yùn)動規(guī)劃在機(jī)器人操作中是很常見的，這里通常要通過機(jī)器人離線編程，編寫機(jī)器人從一個(gè)起點(diǎn)到終點(diǎn)的軌跡，比如用樣條曲線等等。但是在很多應(yīng)用中，我們希望規(guī)劃的是一個(gè)任務(wù)，比如將上圖所示的從不同地方運(yùn)動到同一個(gè)終點(diǎn)。我們當(dāng)然不希望對每個(gè)地點(diǎn)都運(yùn)動規(guī)劃一次，雖然這也是可行的。補(bǔ)充一下，運(yùn)動規(guī)劃不是前面說到的問題，但是在很多地方都需要。sensor-based motion planning是以后的發(fā)展重點(diǎn)。

采用學(xué)習(xí)算法的解決方案是，我們通過人工示教的方式，在幾個(gè)不同初始點(diǎn)，展示機(jī)器人可以怎么樣運(yùn)動到終點(diǎn)，然后我們通過學(xué)習(xí)算法將這種示教中展示的運(yùn)動方式，建模成一個(gè)個(gè)動力系統(tǒng)，主要就是告訴機(jī)器人在不同的點(diǎn)，應(yīng)該怎么運(yùn)動，才能到達(dá)目標(biāo)點(diǎn)，其實(shí)就是一個(gè)全局或者局部的空間向量場。直觀的理解就是，你要去拿桌子上一杯水，每次你的手的起點(diǎn)都不一樣，但是你其實(shí)都可以去拿到那杯水，而不需要每次都重新規(guī)劃一下怎么把手移動過去。

整個(gè)過程的基本流程如上面的slide所示。

輔助硬件

另外一個(gè)很重要的點(diǎn)就是輔助硬件，就像蘋果的軟件系統(tǒng)再好，如果沒有觸摸屏，它也玩不轉(zhuǎn)。輔助硬件在機(jī)械智能里面就起到了一個(gè)這樣的作用，這些輔助硬件包括一些新的硬件解決方案，比如說移動機(jī)器人平臺，末端執(zhí)行器，智能傳感器等等。這一塊其實(shí)很多人也在探索，比如歐盟的SME項(xiàng)目，他們就想過很多的控制機(jī)器人的輔助硬件、語音、手勢、VR等等。

人機(jī)交互

最后一個(gè)強(qiáng)調(diào)的點(diǎn)就是人機(jī)交互的方式與界面。這種方式有太多種，這里只是用拖動示教做出來的。

這里是想說明一下imitation learning的好處與缺點(diǎn)，我尤其想強(qiáng)調(diào)的是，示教不是record and replay。

因?yàn)閭鹘y(tǒng)的工業(yè)機(jī)器人上用了示教這個(gè)詞，所以現(xiàn)在我每次說到示教，很多人就聯(lián)想到傳統(tǒng)的工業(yè)機(jī)器人上的示教功能了。示教本質(zhì)上是通過人的先驗(yàn)知識來幫助機(jī)器人快速找到可行或者最優(yōu)的解決方案。

讀者提問

智能制造同時(shí)也對員工提成了更高要求，請問下未來什么樣的員工是智能制造所需要的？在制造業(yè)還需要員工這種職業(yè)么？

智能制造對員工提出了更高要求其實(shí)是不準(zhǔn)確的，如果你看下70年代打字員這個(gè)職業(yè)，其實(shí)要求還是很高的，要記得很多東西，但是電腦排版系統(tǒng)出現(xiàn)之后，這個(gè)職業(yè)其實(shí)基本就被取代了。智能制造肯定是會減少人的工作量的，但是機(jī)器人的輻射效應(yīng)，會產(chǎn)生更多的職業(yè)出來的。

德國制造業(yè)原來也不好，靠的職業(yè)技術(shù)教育，才有的一大批技術(shù)工人。中國當(dāng)下制造業(yè)的現(xiàn)狀，要用什么方式才能根本改善呢？

中國的移動互聯(lián)網(wǎng)的發(fā)展就是一個(gè)很好的例子。中國的互聯(lián)網(wǎng)肯定是比歐美發(fā)展遲的，但是移動互聯(lián)這個(gè)領(lǐng)域，在中國的體驗(yàn)就比國外好很多。制造業(yè)，當(dāng)然與互聯(lián)網(wǎng)還是不一樣的。但是每個(gè)工業(yè)機(jī)器人本質(zhì)就是一個(gè)電腦就上一個(gè)機(jī)械裝置，機(jī)械裝置這部分又是變化不大的，軟件上的東西其實(shí)可以做的空間非常大。另外，3C行業(yè)基本都在中國，這就給了我們很好的試錯機(jī)會，這些很有可能都是我們制造業(yè)的一次機(jī)會。

現(xiàn)在國內(nèi)3C廠商比較先進(jìn)的制造產(chǎn)線能到什么程度？

先進(jìn)的我倒是沒有去看過幾個(gè)，華為里面的自動化程度我自己目前感覺最好的。這個(gè)按照工業(yè)4.0標(biāo)準(zhǔn)，都有具體的評分?jǐn)?shù)據(jù)的。其他的去的比如手機(jī)線，其實(shí)主要還是靠人在完成組裝，而且是很多人一條線。

基于機(jī)器人系統(tǒng)的深度學(xué)習(xí)算法有沒用比較好的使用例子？

這個(gè)可以看下fanuc deep learning for bin-picking的例子，也可以看下APC，亞馬遜挑戰(zhàn)賽中Jianxiong Xiao用的deep learning來做的物體識別與定位，另外我們自己也在用這個(gè)做產(chǎn)品檢測。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。