近日，經(jīng)過數(shù)月的線上開發(fā)競賽后，Lifelong Robotic Vision 挑戰(zhàn)賽在澳門 IROS 2019 大會上成功舉辦，多位機器人領(lǐng)域大咖到場參與特邀報告環(huán)節(jié)和圓桌討論。

International Conference on Intelligent Robots and Systems (IROS) 是 IEEE/RSJ 組織的機器人和智能系統(tǒng)領(lǐng)域的旗艦會議，也是目前世界上規(guī)模最大的兩個機器人領(lǐng)域會議之一（另一個是 ICRA）。今年的 IROS 于 11 月 3 日在我國澳門舉辦，為期 5 天，吸引了來自世界各地的 4000 多名學(xué)者參加。

Lifelong SLAM Challenge 是本次 IROS 中 Lifelong Robotic Vision Competition Workshop 的兩個競賽之一 (另一個為 Lifelong Object Recognition Challenge), 旨在挑戰(zhàn)移動機器人在動態(tài)（Dynamic）和光照變化（Illuminate Variation）的環(huán)境中定位（Localization）和建圖（Mapping）的能力。

自 7 月份上線以來，比賽吸引了來自全球數(shù)十只隊伍參與，其中不乏北大，上海交大等實力強悍的科研團隊加入賽事。九號機器人旗下的 Segway Robotics 團隊和上海交大決賽得分超過 90 分。在 11 月 4 日最終的角逐中，Segway Robotics 團隊以名為《Wheel Odometer-Enhanced VINS with Map-Based Localization》的方法得到本屆賽事冠軍。來自上海交通大學(xué)和北京郵電大學(xué)的團隊分獲第二和第三名。

數(shù)據(jù)集介紹

本次比賽使用的數(shù)據(jù)集 OpenLORIS-Scene[1] 是由賽事組織方英特爾中國研究院和清華大學(xué)使用 Intel RealSense 傳感器以及 Segway Robotics 團隊的 Segway 配送機器人 S1 采集的。

如圖，數(shù)據(jù)集提供的傳感器數(shù)據(jù)如下：

• 來自 RealSense D435i 的 RGB 圖像，深度（Depth）圖像 和 慣性傳感器（IMU）數(shù)據(jù)
  

• 來自 RealSense T265 的雙目魚眼（Fisheye）圖像和 IMU 數(shù)據(jù)
  

• 來自 S1 機器人的底盤里程計（Odometer）的數(shù)據(jù)
  

OpenLORIS-Scene 數(shù)據(jù)集包含五個不同場景的數(shù)據(jù)，分別是超市（Market），咖啡店（Cafe），辦公室（Office），長廊（Corridor）以及家庭（Home）。為了盡可能評估機器人在現(xiàn)實世界（Real-World）中同時定位和建圖（SLAM）的能力。這五個場景都包含了不同時間段的多段數(shù)據(jù)。這些數(shù)據(jù)幾乎涵蓋了機器人在現(xiàn)實中運行的所面臨的所有挑戰(zhàn)：

1.視角變化（Viewpoint Changes）

來自 Office 數(shù)據(jù)集

2.場景改變（Environment Changes）

來自 Home 數(shù)據(jù)集

3.光照變化（Illumination Variation）

來自 Corridor 數(shù)據(jù)集

4.動態(tài)場景（Dynamic）和低光照（Low Illumination）

來自 Corridor 數(shù)據(jù)集

由于包含了以上真實世界中對機器人運行來說較為挑戰(zhàn)的情景，OpenLORIS-Scene 相較于目前 SLAM 領(lǐng)域常用的數(shù)據(jù)集如 KITTI，EuRoC 和 TUM Visual-Inertial Datasets 更關(guān)注于商業(yè)機器人在真實的工作環(huán)境中的表現(xiàn)。因此，該數(shù)據(jù)集對 SLAM 算法的穩(wěn)健性以及適應(yīng)性提出了很高的要求。

評測指標

本次賽事主要測評 SLAM 算法兩個另個重要指標：

1.正確定位率（Percentage of Correct Localization，簡稱 CR，占 60% 權(quán)重）：

SLAM 算法得到的機器人的 6 自由度位置姿態(tài)（6D Pose）與真值（Ground Truth，由組織方使用 Vicon 以及 2D 激光雷達提供）之間的誤差小于某個閾值的個數(shù)占所以軌跡點的百分比。此項指標的意義在于，評估機器人定位算法的準確性。

2.重定位的正確率（Re-localization Score，簡稱 RS，占 40% 權(quán)重）：

其中 t0 是 SLAM 算法首次正確重定位的時間，tmin 是數(shù)據(jù)開始的時間。如果機器人首次重定位的位置錯誤（ATE，Absolute Trajectory Error 大于某個閾值），此項得分為零。此項指標的意義在于，檢驗機器人重定位算法在已有環(huán)境中重新定位的能力，越早的正確定位，會得到的越高的分數(shù)。

最終的得分是這兩項成績的加權(quán)平均，總分為 100 分。

值得一提的是，賽事的組織方在該數(shù)據(jù)集上測試了目前較為流行（State of the Art）的開源 SLAM 算法，包括 ORB-SLAM[2], VINS-Mono[3] 以及 ElasticFusion[4] 等。這些算法在各個分段數(shù)據(jù)上表現(xiàn)尚可，如下圖。

但是，在需要在之前的數(shù)據(jù)中重新定位的情況下，這些算法的表現(xiàn)的就變得難以讓人滿意了。如下圖：

這些算法的總分均低于 50 分。這也既說明了本數(shù)據(jù)集的挑戰(zhàn)性，也說明了目前流行的開源算法不能滿足機器人在真實環(huán)境中運行的需求。

方法和評估

方法介紹

本屆賽事中，成績較好的隊伍多數(shù)采用目前現(xiàn)有的開源算法實現(xiàn) SLAM 系統(tǒng)的前端（Front-End）和后端（Back-End）。為了應(yīng)對上文中提到的真實環(huán)境中的挑戰(zhàn)，各支隊伍多采用基于深度學(xué)習(xí)的方法來提高 SLAM 算法重定位的性能。這也于近幾年 SLAM 領(lǐng)域的發(fā)展方向相一致。

Segway Robotics 團隊所使用的方法可以分為兩個模塊：

1. 實時定位模塊（Real-Time Localization Module）
   

2. 地圖管理模塊（Map Management Module）
   

其中實時定位模塊作為 SLAM 算法的前端，地圖管理模塊作為算法的后端。前端負責(zé)融合里程計增強的 VIO（Wheel Odomter-Enhanced VIO）得到的位置姿態(tài)與基于地圖得到的位置姿態(tài)。同時，地圖管理模塊負責(zé)建立地圖 (Map Builder) 以及合并地圖 (Merge Map), 用以提高機器人重定位的信息。

其中，里程計增強的 VIO 相較于傳統(tǒng)的 VIO（Visual Inertial Odometry）增加了輪子里程計的約束。這個改進一方面可以抑制地面機器人在平面做運動中出現(xiàn)的可觀性（Observability）退化問題 [5]，另一方面也可以使得機器人在低光照和無紋理的環(huán)境中運行，如下圖。

在系統(tǒng)中，我們使開發(fā)了基于深度學(xué)習(xí)方法的圖像檢索方法和特征點提取和描述算法來提高 SLAM 算法對于光照變化和大視角變化的健壯性。

來自夜晚的 Corridor 圖像能夠與來自白天的圖像找到匹配

魯棒的（Robust）特征點提取算法可以提高在大視角變化場景中的穩(wěn)健性

評估

本方法在 OpenLORIS-Scene 數(shù)據(jù)集上評估的結(jié)果如下：

其中正確定位率得分為 94.6%，重定位分數(shù)為 93.4%，最終得分為 94.1%。

值得一提的是，Segway Robotics 團隊在開發(fā)該系統(tǒng)時一直在使用自己的 Segway DRIVE benchmark[6] 來測評自己的方法。

該 benchmark 包含 Segway Robotics 團隊在開發(fā)中積累的大量的真實商用場景的數(shù)據(jù)。

如圖，其中包含的數(shù)據(jù)大多在時間上橫跨數(shù)月。

在 Segway DRIVE benchmark 的測評中，Segway Robotics 團隊的 SLAM 系統(tǒng)在時隔數(shù)月之后的地圖中依然可以實現(xiàn)可觀的重定位性能。

總結(jié)

Segway Robotics 的算法框架融合的多傳感器信息，包括魚眼相機，慣性測量器件以及底盤編碼器，使定位算法更加穩(wěn)定。同時，通過不斷的優(yōu)化地圖和合并地圖增加視覺感知的范圍，提高機器人的重新定位 (Relocalization) 的概率。通過這次比賽，驗證了算法的實時定位的性能，以及在大規(guī)模室內(nèi)環(huán)境中建立一致地圖的能力。

參考文獻

[1] Xuesong Shi and Dongjiang Li and Pengpeng Zhao , et al. Are We Ready for Service Robots? The OpenLORIS-Scene Datasets for Lifelong SLAM[J]. arXiv preprint arXiv:1911.05603, 2019.

[2]Mur-Artal R, Tardós J D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262.

[3] Qin T, Li P, Shen S. Vins-mono: A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.

[4] Whelan T, Leutenegger S, Salas-Moreno R, et al. ElasticFusion: Dense SLAM without a pose graph[C]. Robotics: Science and Systems, 2015.

[5]Wu K J, Guo C X, Georgiou G, et al. Vins on wheels[C]//2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2017: 5155-5162.

[6]Huai J, Qin Y, Pang F, et al. Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots[J]. arXiv preprint arXiv:1907.03424, 2019.

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。