編者按：本文內容來自庫柏特科技CEO，武漢大學特聘副教授李淼在雷鋒網(wǎng)硬創(chuàng)公開課的分享，由雷鋒網(wǎng)機器人垂直欄目“新智造（公眾號：新智造）”整理。

嘉賓簡介：李淼，庫柏特科技CEO，武漢大學特聘副教授。

自2011至2015年，在瑞士聯(lián)邦洛桑理工（EPFL）攻讀博士學位，研究方向為機器人學習和人機協(xié)調交互。博士論文被提名EPFL優(yōu)秀博士論文獎和ABB自動化獎。其中機器人抓取的動態(tài)自適應研究工作，被美國國家標準技術研究所（NIST）選為機器人基于傳感的抓取效率的標準測試方法。

已發(fā)表高水平SCI/EI論文近20篇，被引用100余次，H-index 6 。多次受邀在IROS、ICRA、CASE做技術報告，組織IROS、ICRA機器人抓取研討會，發(fā)起并組織第一屆中國協(xié)作機器人研討會。擔任ICRA、IROS、RSS、Humanoids、IEEE Robotics and Automation Letters (RA-L)、IEEE Transactions on Robotics(TRO)、Autonomous Robots (AR)、Robots and Autonomous Systems (RAS)、Journal of Sensor、Journal of Intelligent and Robotic Systems等機器人頂級會議與期刊評審。承擔EPFL機器人實踐課（碩士課程）的教學，指導碩士畢業(yè)論文與機器人學期項目。長期從事機器人靈巧手抓取規(guī)劃與智能控制，主要研究圍繞在將先進機器學習算法應用于復雜機械系統(tǒng)的控制與設計之中。

什么是機械智能

相信很多人知道人工智能，根據(jù)wikipedia的定義，“人工智能（英語：Artificial Intelligence, AI）亦稱機器智能，是指由人工制造出來的系統(tǒng)所表現(xiàn)出來的智能。通常人工智能是指通過普通電腦實現(xiàn)的智能。該詞同時也指研究這樣的智能系統(tǒng)是否能夠實現(xiàn)，以及如何實現(xiàn)的科學領域。人工智能的研究是高度技術性和專業(yè)的，各分支領域都是深入且各不相通的，因而涉及范圍極廣”。

AI這個方向包含的內容太廣泛了，很多時候當你和別人聊天時，別人告訴你他時搞AI的，你其實根本就不知道他是做什么的。這一點與機器人這個名詞很像，學科的分支太多。

在機器人，特別是工業(yè)機器人的領域，當我們想將機器人與人工智能結合起來時，很多人都想有一定的區(qū)別度。我們這里用了mechanical intelligence這個詞語，機械智能。

那么什么是機械智能呢？簡單說，就是一個機器找到一個問題的解決方案的過程。機器通常是指包括機器人在內的自動化設備，智能通常體現(xiàn)在找到好的解決方案上。

這里面區(qū)別與傳統(tǒng)的AI的一個核心點是，我們需要一個物理或者機械系統(tǒng)去與真實的物理世界發(fā)生交互。插一句，有一個會議叫pHRI（physical human robot interaction），其實也是出于這個目的來區(qū)別傳統(tǒng)的HRI的。研究的問題呢，上面的PPT種給了幾個簡單的例子，包括產(chǎn)品的質量簡單，這里面涉及到大量的視覺的東西，包括抓取，里面涉及到機器人視覺和機器人控制，第三個是打磨，這里面涉及到力控與機器人控制；還有裝配，這可能是目前3C行業(yè)的一個共性的問題，里面涉及到很多的精微力控制。這幾個問題也是我們后面討論的重點。

解決方案

前面說到了要找到好的解決方案，那么什么樣的方案是一個好方案呢？是硬件方案還是軟件方案呢？硬件方案通常就是需要一些特殊的機械設計，這些設計通常需要大量的經(jīng)驗與人工智慧，而且很多時候是case-by-case的。

有時候，我去工業(yè)現(xiàn)場跟一些產(chǎn)品線的時候，我也會被各種巧妙的機械涉及所嘆服，這些基本都是硬件解決方案。

軟件解決方案通常是在硬件的基礎上，針對一些列的類似的需求，提出的一個個模塊的軟件集成方案。硬件和軟件，二者通常是相輔相成，但是在不同的發(fā)展階段，又有一些不通側重點。

問題有哪些？

其實制造業(yè)這個詞是很大的，里面涉及到很多東西。從大了講，整個制造業(yè)是屬于廣義自動化的一部分，包括過程自動化和工廠自動化兩部分。

過程自動化是指采用計算機技術和軟件工程幫助工廠更高效、更安全地運營。過程自動化相對于運動自動化采樣時間較大。在過程自動化技術出現(xiàn)之前，工人必須人工監(jiān)測設備性能指標和產(chǎn)品質量，以確定生產(chǎn)設備處于最佳運行狀態(tài)，而且必須在停機時才能實施各種維護，這降低了工廠運營效率，且無法保障操作安全。這部分的應用是與分布式數(shù)據(jù)存儲，處理分析相關的，其中也涉及到很多人工智能的應用。現(xiàn)在有很多做企業(yè)服務軟件的，其實更多的就是偏向于過程自動化，這個從周期上將，更長一些。

工廠自動化，也稱車間自動化，指自動完成產(chǎn)品制造的全部或部分加工過程。其中一個很大的核心點就是工業(yè)機器人，工業(yè)機器人由于其適用性與柔性，在過去的幾年開始爆發(fā)式增長。正是因為這個行業(yè)在飛速發(fā)展，才有了與最新技術結合的可能性，我這幾張PPT主要也是簡單介紹下背景知識。

最近幾年，工業(yè)機器人的市場規(guī)模一直在增長，根據(jù)未來的增長的空間預測，到2020年，工業(yè)機器人每年的本體加集成市場會在2000億左右。這還不包括新一代機器人開拓的機器人領域以及機器人的輻射效應。

按照領域劃分，未來的主要增長空間會出現(xiàn)在3C行業(yè)、倉儲、食品、醫(yī)藥等行業(yè)。下面我會就3C行業(yè)的一些典型問題，來分享一下機械智能是怎么應用的。

這張PPT實際是告訴大家，未來的機器人的發(fā)展熱點與機會會在哪里，大家也就可以理解為什么那么多的資本都開始進入到這個領域了。

3C行業(yè)使用機器人從事的工作具有三個特點：工作內容高度重復，產(chǎn)品周期短，集成難度大。近年來，電子產(chǎn)品對質量的要求不斷提高，使得傳統(tǒng)人工在視覺檢測、激光打標、結構件沖壓與打磨、屏幕貼膜等方面的精細度難以達到要求。機器人在3C行業(yè)應用潛力較大的部分是組裝或者叫裝配。由于目前這項工作對機器人柔性要求非常高，應用比較難，故普及情況受限。但隨著機器人技術與人工智能等技術的結合，未來這方面的應用會大量的增長。

這是3C行業(yè)的問題從表象到本質的分析，簡單來說，就是現(xiàn)在機器人不好用，很多人也用不好。

目前部分解決方案

這些是目前的一部分解決方案，主要是從機器人本體上下功夫，也就是目前炒作得很火的協(xié)作機器人或者更大一點的新一代機器人的概念。主要是想讓機器人和人進行協(xié)同作業(yè)，實現(xiàn)一部分工作給人來完成，一部分工作機器人來完成。機械智能的整個系統(tǒng)框架實際上是架構在這個硬件基礎上。

整個機械智能的框架其包括三個部分，示教方式、學習算法與機器人操作。其中示教方式包括各種learning from demonstration，或者是簡單的給產(chǎn)品質量進行標定好壞。總是這部分的作用是存儲一些數(shù)據(jù)。而學習算法這部分，主要是從這些存儲的數(shù)據(jù)中，進行抽象提煉出模型，這些模型可能是產(chǎn)品質量的判斷模型，也可能是機器人的控制算法。而在機器人操作上，主要就是實現(xiàn)部分，是怎么樣學習到的算法在機器人上實現(xiàn)出來。數(shù)據(jù)收集 - 算法學習 - 機器人實現(xiàn)，基本就是這個套路。下面會給出幾個例子，來闡述整個框架體系，我會盡量的回避一些技術細節(jié)，只給出一些框架和流程。

視覺檢測

視覺檢測目前主要是還是靠人工檢測，左邊的幾幅圖都是我們最近遇到的一些視覺的檢測項目，目前我們在工廠看到的還是人來檢測，平均一個人一天需要檢測7000多個這種小零件。右邊是目前很火的基于深度學習的檢測一個工件的流程圖。上面是模型的訓練過程，主要思想是我們有一些好的工件和壞的工件的圖片，我們訓練出一個模型。然后根據(jù)模型，給一個新的工件，可以迅速的判斷模型的質量，缺陷類型等。當然這里是只給了深度學習的例子，其他的機器學習方法在這里也可以適用，只是效果可能有所區(qū)別。很多時候也需要多個模型的結合來做判斷。NO-FREE-LUNCH，學習算法里面鐵一般的規(guī)律。

我每個例子可能只用了一兩張PPT，但是這每個問題后面都有無數(shù)的研究和問題還在探索中。

無序分揀

無序分揀其實在很多地方都有應用，主要是把一些零件從一個位置規(guī)整到另外一個位置。目前的通常做法是各種料框，振動盤加上人工。而采用機械智能的方式就可以不需要這些專用的設備，結合機器視覺與機器人，視覺對物體進行識別定位，采用學習算法知道該抓哪個工件的成功率最大，而機器人操作則告訴機器人該怎么樣過去抓到那個物體。我整個博士階段其實就做這里面很小的一個點，怎么樣去抓一個物體。

抓取其實有很長一段時間不受重視，但是由于很多大公司的進入，目前又有了新的發(fā)展動力。這一塊的東西目前很多大公司也開始在做，包括google，fanuc， mujin等等，還有最近很著名的Amazon Picking Challenge。這些公司之所以做這個方向，不僅僅是因為grasping是在工業(yè)上有巨大的市場，其實就是在日常生活中，比如以后的服務機器人，我們肯定也會用到各種抓取與操作。所以在新一代的機器人的定義中，其實工業(yè)與非工業(yè)的的機器人的定義已經(jīng)不是那么的明顯了。

力控打磨

柔性打磨，人工打磨有柔性但是效率低，機器人打磨有效率但是柔性差。怎么樣建立力與機器人末端軌跡的關系，目前是通過人工調試的方法，只能一個個零件去測試。有時候整個調試周期可能需要幾個星期。比如像右邊圖中的自適應軌跡與變速度的控制策略，是通過人的調試得到的。我們要做的其實就是把這部分的自適應決策通過學習算法來結局。

這里打磨質量很大程度取決于機器人調試人員的經(jīng)驗了，我們的核心思想是通過智能人工示教來降低機器人的操作難度，實際上是通過人與機器人的協(xié)作來提高機器人的柔性。整個流程是這樣的，首先我們可以采取不同的方式來示教打磨任務，然后從示教過程中的傳感器數(shù)據(jù)，我們用人工智能和機器學習的算法，得到一個學習模型；最后將這個學習模型與機器人的具體控制算法結合，就能在機器人上快速實現(xiàn)這個任務。關于打磨應用，我們是采用變阻抗來實現(xiàn)精確的力控，在使用KUKA LWR與ATI力傳感器時，我們最好的力控控制精度可以保持在0.1N左右。

這里真正實現(xiàn)起來還有很多工程上的細節(jié)要處理，這里只是給出了一個系統(tǒng)的框架。

目前3C行業(yè)的裝配還大量的采用手工裝配，我們平常用的手機，也基本是靠工人手工裝配出來的?，F(xiàn)在也有一些機器人裝配，但是需要大量的調試和工程配置，網(wǎng)上有一個ABB 機器人裝配鼠標的視頻，大家可以感受下里面的調試難度。

在裝配時，很容易發(fā)生的是卡死，另外我們需要一個模型來判斷是否裝好。當發(fā)生卡死時，通常需要適當調整機器人的末端姿態(tài)，來解決卡死。利用機器學習建立力與末端速度映射關系，可以實現(xiàn)力反饋控制！

運動規(guī)劃

運動規(guī)劃在機器人操作中是很常見的，這里通常要通過機器人離線編程，編寫機器人從一個起點到終點的軌跡，比如用樣條曲線等等。但是在很多應用中，我們希望規(guī)劃的是一個任務，比如將上圖所示的從不同地方運動到同一個終點。我們當然不希望對每個地點都運動規(guī)劃一次，雖然這也是可行的。補充一下，運動規(guī)劃不是前面說到的問題，但是在很多地方都需要。sensor-based motion planning是以后的發(fā)展重點。

采用學習算法的解決方案是，我們通過人工示教的方式，在幾個不同初始點，展示機器人可以怎么樣運動到終點，然后我們通過學習算法將這種示教中展示的運動方式，建模成一個個動力系統(tǒng)，主要就是告訴機器人在不同的點，應該怎么運動，才能到達目標點，其實就是一個全局或者局部的空間向量場。直觀的理解就是，你要去拿桌子上一杯水，每次你的手的起點都不一樣，但是你其實都可以去拿到那杯水，而不需要每次都重新規(guī)劃一下怎么把手移動過去。

整個過程的基本流程如上面的slide所示。

輔助硬件

另外一個很重要的點就是輔助硬件，就像蘋果的軟件系統(tǒng)再好，如果沒有觸摸屏，它也玩不轉。輔助硬件在機械智能里面就起到了一個這樣的作用，這些輔助硬件包括一些新的硬件解決方案，比如說移動機器人平臺，末端執(zhí)行器，智能傳感器等等。這一塊其實很多人也在探索，比如歐盟的SME項目，他們就想過很多的控制機器人的輔助硬件、語音、手勢、VR等等。

人機交互

最后一個強調的點就是人機交互的方式與界面。這種方式有太多種，這里只是用拖動示教做出來的。

這里是想說明一下imitation learning的好處與缺點，我尤其想強調的是，示教不是record and replay。

因為傳統(tǒng)的工業(yè)機器人上用了示教這個詞，所以現(xiàn)在我每次說到示教，很多人就聯(lián)想到傳統(tǒng)的工業(yè)機器人上的示教功能了。示教本質上是通過人的先驗知識來幫助機器人快速找到可行或者最優(yōu)的解決方案。

讀者提問

智能制造同時也對員工提成了更高要求，請問下未來什么樣的員工是智能制造所需要的？在制造業(yè)還需要員工這種職業(yè)么？

智能制造對員工提出了更高要求其實是不準確的，如果你看下70年代打字員這個職業(yè)，其實要求還是很高的，要記得很多東西，但是電腦排版系統(tǒng)出現(xiàn)之后，這個職業(yè)其實基本就被取代了。智能制造肯定是會減少人的工作量的，但是機器人的輻射效應，會產(chǎn)生更多的職業(yè)出來的。

德國制造業(yè)原來也不好，靠的職業(yè)技術教育，才有的一大批技術工人。中國當下制造業(yè)的現(xiàn)狀，要用什么方式才能根本改善呢？

中國的移動互聯(lián)網(wǎng)的發(fā)展就是一個很好的例子。中國的互聯(lián)網(wǎng)肯定是比歐美發(fā)展遲的，但是移動互聯(lián)這個領域，在中國的體驗就比國外好很多。制造業(yè)，當然與互聯(lián)網(wǎng)還是不一樣的。但是每個工業(yè)機器人本質就是一個電腦就上一個機械裝置，機械裝置這部分又是變化不大的，軟件上的東西其實可以做的空間非常大。另外，3C行業(yè)基本都在中國，這就給了我們很好的試錯機會，這些很有可能都是我們制造業(yè)的一次機會。

現(xiàn)在國內3C廠商比較先進的制造產(chǎn)線能到什么程度？

先進的我倒是沒有去看過幾個，華為里面的自動化程度我自己目前感覺最好的。這個按照工業(yè)4.0標準，都有具體的評分數(shù)據(jù)的。其他的去的比如手機線，其實主要還是靠人在完成組裝，而且是很多人一條線。

基于機器人系統(tǒng)的深度學習算法有沒用比較好的使用例子？

這個可以看下fanuc deep learning for bin-picking的例子，也可以看下APC，亞馬遜挑戰(zhàn)賽中Jianxiong Xiao用的deep learning來做的物體識別與定位，另外我們自己也在用這個做產(chǎn)品檢測。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。