雷鋒網(wǎng) AI 科技評論按：7 月 12 日-7 月 14 日，2019 第四屆全球人工智能與機器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網(wǎng)、香港中文大學（深圳）承辦，深圳市人工智能與機器人研究院協(xié)辦，得到了深圳市政府的大力指導，是國內(nèi)人工智能和機器人學術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實力的跨界交流合作平臺。

7 月 13 日，哈爾濱工業(yè)大學（深圳）教授、IEEE RAS國際事務(wù)委員會主席朱曉蕊教授為「機器人前沿專場」帶來了《具有社會屬性的智能移動機器人》的大會報告。以下為朱曉蕊教授所做的大會報告全文，感謝朱曉蕊教授的修改與確認。

我今天想跟大家探討一下智能機器人未來的趨勢，也就是具有社會屬性的智能移動機器人，我把它叫做「Learning from Social Behaviors」。

一、具有社會屬性的智能系統(tǒng)

我先從具有社會屬性的智能系統(tǒng)開始講起。隨著智能系統(tǒng)的感知能力和行動能力日益增強，人與智能系統(tǒng)日益融合，出現(xiàn)了人機共融環(huán)境，在這種人機共融的環(huán)境中，自然而然就發(fā)展出了具有社會屬性的智能系統(tǒng)。這種智能系統(tǒng)既然有社會屬性，就意味著它要具備可以進化的能力，所以我大概從以下兩個方面講一講這個系統(tǒng)的可進化性。

• 一個方面是智能系統(tǒng)必須要具備可以內(nèi)部進化的能力。系統(tǒng)如果要進行內(nèi)部進化，通過一個單一的計算平臺是不可能實現(xiàn)的，所以需要實現(xiàn)不同平臺之間的交互，比如說機器人端和云端的計算平臺之間的交互，也就是「云機器人」的概念。

• 另一個方面是智能系統(tǒng)要具備外部進化的能力。比如說通過人與機器人之間的交互來讓智能系統(tǒng)擁有外部可進化性的能力，這也就是我們講的「社交機器人」的概念。

下面我分別就這兩個方面講講我們團隊在過去大概六七年間做的一些探索。

二、面向長期自主定位的云移動機器人

首先我們提出了面向長期自主定位的云移動機器人。在講這一點之前，我們先來回顧一下目前移動機器人或者服務(wù)機器人在應(yīng)用上存在的問題：工作范圍受限、業(yè)務(wù)覆蓋受限、提供服務(wù)受限以及運維成本高。

這些問題看上去是應(yīng)用層面的問題，然而具體到技術(shù)層面，實際上是關(guān)鍵的技術(shù)（長期自主的移動或長期自主和大面積覆蓋的移動）并沒有得到很好的突破的問題。

而這項關(guān)鍵技術(shù)也存在以下三大主要挑戰(zhàn)：

• 第一個挑戰(zhàn)是，我們需要覆蓋大面積的區(qū)域，這樣我們就需要大量的數(shù)據(jù)來描述不同的環(huán)境；

• 第二個挑戰(zhàn)是，我們還需要讓移動機器人適應(yīng)動態(tài)場景，比如說檢測和跟蹤靜態(tài)或動態(tài)的物體、學習更多的知識來預(yù)測環(huán)境變化；

• 第三個挑戰(zhàn)是，由于移動機器人需要長時間運行，隨著時間增長，它要求的數(shù)據(jù)存儲量也越來越多。

這樣的話，我們就需要讓機器人擁有更多的存儲空間和更強的運算能力，如果只是靠它們的單機本體其實是很難實現(xiàn)的。

這里面就提到了「云機器人」的概念，它就是利用了機器人端的運算以及云端的運算來進行機器人技術(shù)研究。總體而言，云機器人有幾個優(yōu)點，包括：

• 第一，它可以利用云機器人的框架彈性分配計算資源，這樣就可以實現(xiàn)在復雜環(huán)境中的同時定位與制圖；

• 第二，它可以在這個框架下訪問大量的數(shù)據(jù)庫，比如說我們在做識別和抓取物體的時候，需要用很多的數(shù)據(jù)庫來進行比對，另外比如說我們做基于外包地圖的長期定位，也需要訪問大量的地圖的數(shù)據(jù)庫；

• 第三，這種機器人可以形成知識共享，也就是多機器人系統(tǒng)間的信息共享。也就意味著這些多機器人之間可以根據(jù)情況配備不同的裝備，同時它們之間可以在云端形成一些知識共享。

具體有一個例子，就是我們自己提的面向長期實時定位的云移動機器人。上面是我們的一個系統(tǒng)框架，我們主要是做了哪些事情呢？

• 首先，我們充分利用云端的無線存儲空間和豐富的數(shù)據(jù)庫資源，來降低對機載傳感器的要求，設(shè)計分布式算法，尋求云端的強大計算能力和機器人實時要求之間的平衡；

• 其次，我們還要補償由于網(wǎng)絡(luò)不穩(wěn)定引起的斷網(wǎng)問題，以及由于云端和機器人端數(shù)據(jù)的頻繁交互引起的網(wǎng)絡(luò)延遲。

具體的內(nèi)容我就不詳細講了，我們有一篇關(guān)于這方面的論文，大家感興趣可以下載下來看一下：

Xiaorui Zhu* et al, Cloud-based Real-time Outsourcing Localization for a Ground Mobile Robot in Large-scale Outdoor Environments, Journal of Field Robotics, 2017, 34(7)

我們在做這個云移動機器人的時候，做了一個實際的環(huán)境測試，這個測試環(huán)境是圍繞著深圳西麗片區(qū)的一條大概 13.1 公里長的道路，覆蓋了 2.5×6.7 平方公里的面積，包含了幾乎所有種類的路面：城市快道、主要交通干道、次要交通干道、服務(wù)性道路、城市峽谷、隧道等等幾乎沒有 GPS 信號的地方。我們最終的實時定位的結(jié)果可以看到，從開始到最后 13 公里長的道路的平均定位誤差是在厘米級的。

其實我們進行這項研究的時間是 2012 年到 2016 年，當時用的通訊方式是 4G 網(wǎng)絡(luò)。那個時候，我們覺得這個想法不錯，Demo 也可以做出來，但是離實際的應(yīng)用感覺還差很遠，而這里面有一個很關(guān)鍵的環(huán)節(jié)，就是我們的通訊方式。

隨著 5G 時代的到來，我們能夠使用高帶寬、低延時、高并發(fā)的通訊網(wǎng)絡(luò)，這樣云、網(wǎng)、端三位一體的云機器人才可能真正得到大規(guī)模的應(yīng)用，從而讓移動機器人能夠擴展環(huán)境覆蓋面積、提升業(yè)務(wù)覆蓋能力、增強場景覆蓋力、降低運維成本。這樣整個服務(wù)機器人的商業(yè)化進程才會真正進入到一個新的時代。

下一個部分我要講的就是我剛才提到的人與機器人的交互問題，對此我們提出了具有學習行人行為能力的社交移動機器人，即「Social Mobile Robotics」。

三、具有學習行人行為能力的社交移動機器人

我們知道使用傳統(tǒng)方法研究的機器人是將環(huán)境中的人當做障礙物的，這樣就產(chǎn)生了一個問題：導致整個系統(tǒng)的移動效率低，甚至在人群密集的環(huán)境中很有可能是失效的。

因而我們提出一種新型智能移動機器人，其在未知的環(huán)境中具有學習行人行為模式的能力，這樣就可以增強移動機器人的智能理解和智能決策的能力。這個能力對于人來說是很簡單的，但是為了讓機器人從技術(shù)上實現(xiàn)這種能力，我們做了三個方面的工作：第一是未知環(huán)境可通行域感知，第二是半稠密環(huán)境語義地圖制作，第三是人機共融動態(tài)環(huán)境下同時定位與地圖更新。

我們這個系統(tǒng)主要有兩個貢獻：首先是提出了一種基于行人行為學習的機器人可通行區(qū)域制圖算法，也就是「Learning from Social Behaviors（LSB）」；其次是我們提出了一種適應(yīng)人機共融動態(tài)場景下的機器人同時定位與地圖構(gòu)建的方法（DM-LSAM）。二者其中的焦點就在于如何在動態(tài)環(huán)境適應(yīng)能力、定位精度與魯棒性這幾個因素之間尋求平衡。關(guān)于這一點，我們也發(fā)表了一些文章：

• Deng F., Zhu, X.*, et al, Vision-Based Real-Time Traversable Region Detection for Mobile Robot in the Outdoors, SENSORS, 2017.9，17(9)

• 邢志偉，朱曉蕊*，何超，基于行人行為學習的機器人同時定位與可通行區(qū)域制圖，機械工程學報，2019

首先講一下未知環(huán)境可通行域制圖。

我們基于機器人實時看到的圖象幀，然后快速進行了一次行人檢測，如果發(fā)現(xiàn)這個場景里面并沒有人，就采用基于消失點的道路檢測；如果是有人的話，就可以基于行人來進行學習，然后進行道路檢測。

上圖是我們做的一個基于消失點的非結(jié)構(gòu)化道路檢測算法，這是一個圖例，（a）是機器人當前看到的一幅圖象，然后到（f）是我們通過算法確定的它在非結(jié)構(gòu)化道路上的可通行區(qū)域。

這里對我們的算法和傳統(tǒng)的基于像素和基于邊界的方法進行了比較，發(fā)現(xiàn)我們的算法在這種非結(jié)構(gòu)化環(huán)境下的檢測效果，比傳統(tǒng)方法要好很多。

這是我們對實際環(huán)境做的一個測試。（a）是機器人實時在跑，后面幾張圖是幾個不同幀，我們對每一幀都有一個可通行區(qū)域的檢測結(jié)果。

 

那在機器人看到的圖象里面有行人存在的情況下，我們?nèi)绾芜M行非結(jié)構(gòu)化道路的檢測呢？這里面我們有一個基本假設(shè)，即行人能通過的位置也就是機器人可通行的區(qū)域，所以這里我們也是從圖象出發(fā)，經(jīng)過幾個步驟最終可以檢測到這個可通行區(qū)域。

這是我們針對不同圖片的場景來進行可通行區(qū)域感知的結(jié)果。有了可通行區(qū)域信息之后，下一步我們要建一個半稠密的語義地圖。我們進行半稠密語義地圖制作的路徑，同樣也是從圖象出發(fā)，一方面結(jié)合圖片中行人的位置，另一方面也結(jié)合我們剛才自動檢測出的可通行區(qū)域的信息。

這是用我們的算法在 KITTI 數(shù)據(jù)集上的一個序列上做的語義地圖制作的效果，紅色的區(qū)域就是可通行區(qū)域，藍色的點是機器人當前的位置，灰色的部分是環(huán)境特征。

我們在數(shù)據(jù)集上做了一個測試，同時進行了實際環(huán)境的一段半稠密語義地圖的制作。這里我們重點與目前效果最好的 ORB-LSAM 在魯棒性方面的表現(xiàn)進行了比較，結(jié)果表明，我們的算法在動態(tài)適應(yīng)性方面提高了很多。

有了半稠密語義地圖之后，我們就會進行人機共融動態(tài)環(huán)境下機器人同時定位與地圖更新，也就是我們剛才講的 DE-SLAM。在這里，我們基本上只用了簡單的圖象信息和 IMU 的信息，其中最重要的一點是我們將運動目標的檢測融合在了同時定位與地圖構(gòu)建的框架中。

盡管我們講的是做動態(tài)場景的算法，但是我們不能以犧牲靜態(tài)場景的效果為前提，所以我們在做實驗的時候，同時做了動態(tài)場景和靜態(tài)場景。以下是我們在數(shù)據(jù)集上做的四組靜態(tài)場景和四組動態(tài)場景。

 

 

我們發(fā)現(xiàn)在靜態(tài)場景下，DE-SLAM 的均方根誤差比 ORB-SLAM 減小了將近 7%；動態(tài)場景下，DE-SLAM 的適應(yīng)性也更強，平均誤差比 ORB-SLAM 減小了 60%。

 

這是我們做的一個實際動態(tài)場景實驗，這里我們固定了一個 30 米的標尺作為設(shè)定的實驗環(huán)境。我們發(fā)現(xiàn)在動態(tài)場景下，我們的 DE-SLAM 系統(tǒng)定義更精確，它的平均誤差比 ORB-SLAM 減低 77.89%，因此也能得到與展示環(huán)境下更一致的地圖和軌跡。

我今天就講這么多，謝謝大家的聆聽。 雷鋒網(wǎng) 雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。