0
本文作者: skura | 2019-11-17 17:11 |
近日,經(jīng)過數(shù)月的線上開發(fā)競賽后,Lifelong Robotic Vision 挑戰(zhàn)賽在澳門 IROS 2019 大會上成功舉辦,多位機器人領(lǐng)域大咖到場參與特邀報告環(huán)節(jié)和圓桌討論。
International Conference on Intelligent Robots and Systems (IROS) 是 IEEE/RSJ 組織的機器人和智能系統(tǒng)領(lǐng)域的旗艦會議,也是目前世界上規(guī)模最大的兩個機器人領(lǐng)域會議之一(另一個是 ICRA)。今年的 IROS 于 11 月 3 日在我國澳門舉辦,為期 5 天,吸引了來自世界各地的 4000 多名學(xué)者參加。
Lifelong SLAM Challenge 是本次 IROS 中 Lifelong Robotic Vision Competition Workshop 的兩個競賽之一 (另一個為 Lifelong Object Recognition Challenge), 旨在挑戰(zhàn)移動機器人在動態(tài)(Dynamic)和光照變化(Illuminate Variation)的環(huán)境中定位(Localization)和建圖(Mapping)的能力。
自 7 月份上線以來,比賽吸引了來自全球數(shù)十只隊伍參與,其中不乏北大,上海交大等實力強悍的科研團隊加入賽事。九號機器人旗下的 Segway Robotics 團隊和上海交大決賽得分超過 90 分。在 11 月 4 日最終的角逐中,Segway Robotics 團隊以名為《Wheel Odometer-Enhanced VINS with Map-Based Localization》的方法得到本屆賽事冠軍。來自上海交通大學(xué)和北京郵電大學(xué)的團隊分獲第二和第三名。
數(shù)據(jù)集介紹
本次比賽使用的數(shù)據(jù)集 OpenLORIS-Scene[1] 是由賽事組織方英特爾中國研究院和清華大學(xué)使用 Intel RealSense 傳感器以及 Segway Robotics 團隊的 Segway 配送機器人 S1 采集的。
如圖,數(shù)據(jù)集提供的傳感器數(shù)據(jù)如下:
來自 RealSense D435i 的 RGB 圖像,深度(Depth)圖像 和 慣性傳感器(IMU)數(shù)據(jù)
來自 RealSense T265 的雙目魚眼(Fisheye)圖像和 IMU 數(shù)據(jù)
來自 S1 機器人的底盤里程計(Odometer)的數(shù)據(jù)
OpenLORIS-Scene 數(shù)據(jù)集包含五個不同場景的數(shù)據(jù),分別是超市(Market),咖啡店(Cafe),辦公室(Office),長廊(Corridor)以及家庭(Home)。為了盡可能評估機器人在現(xiàn)實世界(Real-World)中同時定位和建圖(SLAM)的能力。這五個場景都包含了不同時間段的多段數(shù)據(jù)。這些數(shù)據(jù)幾乎涵蓋了機器人在現(xiàn)實中運行的所面臨的所有挑戰(zhàn):
1.視角變化(Viewpoint Changes)
來自 Office 數(shù)據(jù)集
2.場景改變(Environment Changes)
來自 Home 數(shù)據(jù)集
3.光照變化(Illumination Variation)
來自 Corridor 數(shù)據(jù)集
4.動態(tài)場景(Dynamic)和低光照(Low Illumination)
來自 Corridor 數(shù)據(jù)集
由于包含了以上真實世界中對機器人運行來說較為挑戰(zhàn)的情景,OpenLORIS-Scene 相較于目前 SLAM 領(lǐng)域常用的數(shù)據(jù)集如 KITTI,EuRoC 和 TUM Visual-Inertial Datasets 更關(guān)注于商業(yè)機器人在真實的工作環(huán)境中的表現(xiàn)。因此,該數(shù)據(jù)集對 SLAM 算法的穩(wěn)健性以及適應(yīng)性提出了很高的要求。
評測指標
本次賽事主要測評 SLAM 算法兩個另個重要指標:
1.正確定位率(Percentage of Correct Localization,簡稱 CR,占 60% 權(quán)重):
SLAM 算法得到的機器人的 6 自由度位置姿態(tài)(6D Pose)與真值(Ground Truth,由組織方使用 Vicon 以及 2D 激光雷達提供)之間的誤差小于某個閾值的個數(shù)占所以軌跡點的百分比。此項指標的意義在于,評估機器人定位算法的準確性。
2.重定位的正確率(Re-localization Score,簡稱 RS,占 40% 權(quán)重):
其中 t0 是 SLAM 算法首次正確重定位的時間,tmin 是數(shù)據(jù)開始的時間。如果機器人首次重定位的位置錯誤(ATE,Absolute Trajectory Error 大于某個閾值),此項得分為零。此項指標的意義在于,檢驗機器人重定位算法在已有環(huán)境中重新定位的能力,越早的正確定位,會得到的越高的分數(shù)。
最終的得分是這兩項成績的加權(quán)平均,總分為 100 分。
值得一提的是,賽事的組織方在該數(shù)據(jù)集上測試了目前較為流行(State of the Art)的開源 SLAM 算法,包括 ORB-SLAM[2], VINS-Mono[3] 以及 ElasticFusion[4] 等。這些算法在各個分段數(shù)據(jù)上表現(xiàn)尚可,如下圖。
但是,在需要在之前的數(shù)據(jù)中重新定位的情況下,這些算法的表現(xiàn)的就變得難以讓人滿意了。如下圖:
這些算法的總分均低于 50 分。這也既說明了本數(shù)據(jù)集的挑戰(zhàn)性,也說明了目前流行的開源算法不能滿足機器人在真實環(huán)境中運行的需求。
方法和評估
方法介紹
本屆賽事中,成績較好的隊伍多數(shù)采用目前現(xiàn)有的開源算法實現(xiàn) SLAM 系統(tǒng)的前端(Front-End)和后端(Back-End)。為了應(yīng)對上文中提到的真實環(huán)境中的挑戰(zhàn),各支隊伍多采用基于深度學(xué)習(xí)的方法來提高 SLAM 算法重定位的性能。這也于近幾年 SLAM 領(lǐng)域的發(fā)展方向相一致。
Segway Robotics 團隊所使用的方法可以分為兩個模塊:
實時定位模塊(Real-Time Localization Module)
地圖管理模塊(Map Management Module)
其中實時定位模塊作為 SLAM 算法的前端,地圖管理模塊作為算法的后端。前端負責(zé)融合里程計增強的 VIO(Wheel Odomter-Enhanced VIO)得到的位置姿態(tài)與基于地圖得到的位置姿態(tài)。同時,地圖管理模塊負責(zé)建立地圖 (Map Builder) 以及合并地圖 (Merge Map), 用以提高機器人重定位的信息。
其中,里程計增強的 VIO 相較于傳統(tǒng)的 VIO(Visual Inertial Odometry)增加了輪子里程計的約束。這個改進一方面可以抑制地面機器人在平面做運動中出現(xiàn)的可觀性(Observability)退化問題 [5],另一方面也可以使得機器人在低光照和無紋理的環(huán)境中運行,如下圖。
在系統(tǒng)中,我們使開發(fā)了基于深度學(xué)習(xí)方法的圖像檢索方法和特征點提取和描述算法來提高 SLAM 算法對于光照變化和大視角變化的健壯性。
來自夜晚的 Corridor 圖像能夠與來自白天的圖像找到匹配
魯棒的(Robust)特征點提取算法可以提高在大視角變化場景中的穩(wěn)健性
評估
本方法在 OpenLORIS-Scene 數(shù)據(jù)集上評估的結(jié)果如下:
其中正確定位率得分為 94.6%,重定位分數(shù)為 93.4%,最終得分為 94.1%。
值得一提的是,Segway Robotics 團隊在開發(fā)該系統(tǒng)時一直在使用自己的 Segway DRIVE benchmark[6] 來測評自己的方法。
該 benchmark 包含 Segway Robotics 團隊在開發(fā)中積累的大量的真實商用場景的數(shù)據(jù)。
如圖,其中包含的數(shù)據(jù)大多在時間上橫跨數(shù)月。
在 Segway DRIVE benchmark 的測評中,Segway Robotics 團隊的 SLAM 系統(tǒng)在時隔數(shù)月之后的地圖中依然可以實現(xiàn)可觀的重定位性能。
總結(jié)
Segway Robotics 的算法框架融合的多傳感器信息,包括魚眼相機,慣性測量器件以及底盤編碼器,使定位算法更加穩(wěn)定。同時,通過不斷的優(yōu)化地圖和合并地圖增加視覺感知的范圍,提高機器人的重新定位 (Relocalization) 的概率。通過這次比賽,驗證了算法的實時定位的性能,以及在大規(guī)模室內(nèi)環(huán)境中建立一致地圖的能力。
參考文獻
[1] Xuesong Shi and Dongjiang Li and Pengpeng Zhao , et al. Are We Ready for Service Robots? The OpenLORIS-Scene Datasets for Lifelong SLAM[J]. arXiv preprint arXiv:1911.05603, 2019.
[2]Mur-Artal R, Tardós J D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255-1262.
[3] Qin T, Li P, Shen S. Vins-mono: A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.
[4] Whelan T, Leutenegger S, Salas-Moreno R, et al. ElasticFusion: Dense SLAM without a pose graph[C]. Robotics: Science and Systems, 2015.
[5]Wu K J, Guo C X, Georgiou G, et al. Vins on wheels[C]//2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2017: 5155-5162.
[6]Huai J, Qin Y, Pang F, et al. Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots[J]. arXiv preprint arXiv:1907.03424, 2019.
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。