今年8月，雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號(hào)關(guān)注)將在深圳舉辦“全球人工智能與機(jī)器人創(chuàng)新大會(huì)”（GAIR），在本次大會(huì)上，我們將發(fā)布“人工智能與機(jī)器人Top25創(chuàng)新企業(yè)榜“，速感科技是我們重點(diǎn)關(guān)注的公司之一。今天，我們邀請(qǐng)到了速感科技CTO張一茗，為大家揭秘SLAM技術(shù)的前世今生。

張一茗。速感科技CTO。畢業(yè)于北京航空航天大學(xué)，師從中國(guó)慣性技術(shù)領(lǐng)域的著名專(zhuān)家馮培德院士，多年組合導(dǎo)航定位系統(tǒng)研究經(jīng)驗(yàn)。熱愛(ài)技術(shù)和研發(fā)，摘得過(guò)許多諸如Intel iot創(chuàng)客馬拉松、清華創(chuàng)客馬拉松等創(chuàng)客比賽第一名。速感科技經(jīng)過(guò)多年歷練，發(fā)展出一套以視覺(jué)SLAM為核心，集探索、導(dǎo)航、定位、避障、路徑規(guī)劃為一體的成熟化機(jī)器人無(wú)源導(dǎo)航算法。

SLAM作為一種基礎(chǔ)技術(shù)，從最早的軍事用途（核潛艇海底定位就有了SLAM的雛形）到今天，已經(jīng)逐步走入人們的視野，過(guò)去幾年掃地機(jī)器人的盛行讓它名聲大噪，近期基于三維視覺(jué)的VSLAM又讓它越來(lái)越顯主流，許多人不得不關(guān)注它，但根據(jù)雷鋒網(wǎng)的調(diào)查，了解它并能真正把它說(shuō)清楚的國(guó)內(nèi)大牛并不多，今天，我們請(qǐng)來(lái)了速感科技的CTO，張一茗，從SLAM的前世今生開(kāi)始，徹底掃清我們心中的疑惑。

▌SLAM的前世

我之前從本科到研究生，一直在導(dǎo)航與定位領(lǐng)域?qū)W習(xí)，一開(kāi)始偏重于高精度的慣性導(dǎo)航、衛(wèi)星導(dǎo)航、星光制導(dǎo)及其組合導(dǎo)航。出于對(duì)實(shí)現(xiàn)無(wú)源導(dǎo)航的執(zhí)念，我慢慢開(kāi)始研究視覺(jué)導(dǎo)航中的SLAM方向，并與傳統(tǒng)的慣性器件做組合，實(shí)現(xiàn)獨(dú)立設(shè)備的自主導(dǎo)航定位。

定位、定向、測(cè)速、授時(shí)是人們惆悵千年都未能完全解決的問(wèn)題，最早的時(shí)候，古人只能靠夜觀天象和司南來(lái)做簡(jiǎn)單的定向。直至元代，出于對(duì)定位的需求，才華橫溢的中國(guó)人發(fā)明了令人嘆為觀止的牽星術(shù)，用牽星板測(cè)量星星實(shí)現(xiàn)緯度估計(jì)。

1964年美國(guó)投入使用GPS，突然就打破了大家的游戲規(guī)則。軍用的P碼可以達(dá)到1-2米級(jí)精度，開(kāi)放給大眾使用的CA碼也能夠?qū)崿F(xiàn)5-10米級(jí)的精度。

后來(lái)大家一方面為了突破P碼封鎖，另一方面為了追求更高的定位定姿精度，想出了很多十分具有創(chuàng)意的想法來(lái)挺升GPS的精度。利用RTK的實(shí)時(shí)相位差分技術(shù)，甚至能實(shí)現(xiàn)厘米的定位精度，基本上解決了室外的定位和定姿問(wèn)題。

但是室內(nèi)這個(gè)問(wèn)題就難辦多了，為了實(shí)現(xiàn)室內(nèi)的定位定姿，一大批技術(shù)不斷涌現(xiàn)，其中，SLAM技術(shù)逐漸脫穎而出。SLAM是一個(gè)十分交叉學(xué)科的領(lǐng)域，我先從它的傳感器講起。

▌離不開(kāi)這兩類(lèi)傳感器

目前用在SLAM上的Sensor主要分兩大類(lèi)，激光雷達(dá)和攝像頭。（待會(huì)兒發(fā)的部分素材摘自官網(wǎng)、論文、專(zhuān)利，侵刪）。

這里面列舉了一些常見(jiàn)的雷達(dá)和各種深度攝像頭。激光雷達(dá)有單線多線之分，角分辨率及精度也各有千秋。SICK、velodyne、Hokuyo以及國(guó)內(nèi)的北醒光學(xué)、Slamtech是比較有名的激光雷達(dá)廠商。他們可以作為SLAM的一種輸入形式。

這個(gè)小視頻里展示的就是一種簡(jiǎn)單的2D SLAM。

這個(gè)小視頻是賓大的教授kumar做的特別有名的一個(gè)demo，是在無(wú)人機(jī)上利用二維激光雷達(dá)做的SLAM。

而VSLAM則主要用攝像頭來(lái)實(shí)現(xiàn)，攝像頭品種繁多，主要分為單目、雙目、單目結(jié)構(gòu)光、雙目結(jié)構(gòu)光、ToF幾大類(lèi)。他們的核心都是獲取RGB和depth map(深度信息)。簡(jiǎn)單的單目和雙目（Zed、leapmotion）我這里不多做解釋?zhuān)抑饕忉屢幌陆Y(jié)構(gòu)光和ToF。

▌最近流行的結(jié)構(gòu)光和TOF

結(jié)構(gòu)光原理的深度攝像機(jī)通常具有激光投射器、光學(xué)衍射元件（DOE）、紅外攝像頭三大核心器件。

這個(gè)圖（下圖）摘自primesense的專(zhuān)利。

可以看到primesense的doe是由兩部分組成的，一個(gè)是擴(kuò)散片，一個(gè)是衍射片。先通過(guò)擴(kuò)散成一個(gè)區(qū)域的隨機(jī)散斑，然后復(fù)制成九份，投射到了被攝物體上。根據(jù)紅外攝像頭捕捉到的紅外散斑，PS1080這個(gè)芯片就可以快速解算出各個(gè)點(diǎn)的深度信息。

這兒還有兩款結(jié)構(gòu)光原理的攝像頭。

第一頁(yè)它是由兩幅十分規(guī)律的散斑組成，最后同時(shí)被紅外相機(jī)獲得，精度相對(duì)較高。但據(jù)說(shuō)DOE成本也比較高。

還有一種比較獨(dú)特的方案（最后一幅圖），它采用mems微鏡的方式，類(lèi)似DLP投影儀，將激光器進(jìn)行調(diào)頻，通過(guò)微鏡反射出去，并快速改變微鏡姿態(tài)，進(jìn)行行列掃描，實(shí)現(xiàn)結(jié)構(gòu)光的投射。（產(chǎn)自ST，ST經(jīng)常做出一些比較炫的黑科技）。

ToF（time of flight）也是一種很有前景的深度獲取方法。

傳感器發(fā)出經(jīng)調(diào)制的近紅外光，遇物體后反射，傳感器通過(guò)計(jì)算光線發(fā)射和反射時(shí)間差或相位差，來(lái)?yè)Q算被拍攝景物的距離，以產(chǎn)生深度信息。類(lèi)似于雷達(dá)，或者想象一下蝙蝠，softkinetic的DS325采用的就是ToF方案（TI設(shè)計(jì)的），但是它的接收器微觀結(jié)構(gòu)比較特殊，有2個(gè)或者更多快門(mén)，測(cè)ps級(jí)別的時(shí)間差，但它的單位像素尺寸通常在100um的尺寸，所以目前分辨率不高。以后也會(huì)有不錯(cuò)的前景，但我覺(jué)得并不是顛覆性的。

好，那在有了深度圖之后呢，SLAM算法就開(kāi)始工作了，由于Sensor和需求的不同，SLAM的呈現(xiàn)形式略有差異。大致可以分為激光SLAM（也分2D和3D）和視覺(jué)SLAM（也分Sparse、semiDense、Dense）兩類(lèi)，但其主要思路大同小異。

這個(gè)是Sparse（稀疏）的

這個(gè)偏Dense（密集）的

▌SLAM算法實(shí)現(xiàn)的4要素

SLAM算法在實(shí)現(xiàn)的時(shí)候主要要考慮以下4個(gè)方面吧：

1. 地圖表示問(wèn)題，比如dense和sparse都是它的不同表達(dá)方式，這個(gè)需要根據(jù)實(shí)際場(chǎng)景需求去抉擇

2. 信息感知問(wèn)題，需要考慮如何全面的感知這個(gè)環(huán)境，RGBD攝像頭FOV通常比較小，但激光雷達(dá)比較大

3. 數(shù)據(jù)關(guān)聯(lián)問(wèn)題，不同的sensor的數(shù)據(jù)類(lèi)型、時(shí)間戳、坐標(biāo)系表達(dá)方式各有不同，需要統(tǒng)一處理

4. 定位與構(gòu)圖問(wèn)題，就是指怎么實(shí)現(xiàn)位姿估計(jì)和建模，這里面涉及到很多數(shù)學(xué)問(wèn)題，物理模型建立，狀態(tài)估計(jì)和優(yōu)化

其他的還有回環(huán)檢測(cè)問(wèn)題，探索問(wèn)題（exploration），以及綁架問(wèn)題（kidnapping）。

這個(gè)是一個(gè)比較有名的SLAM算法，這個(gè)回環(huán)檢測(cè)就很漂亮。但這個(gè)調(diào)用了cuda，gpu對(duì)運(yùn)算能力要求挺高，效果看起來(lái)比較炫。

▌以VSLAM舉個(gè)栗子

我大概講一種比較流行的VSLAM方法框架。

整個(gè)SLAM大概可以分為前端和后端，前端相當(dāng)于VO（視覺(jué)里程計(jì)），研究幀與幀之間變換關(guān)系。首先提取每幀圖像特征點(diǎn)，利用相鄰幀圖像，進(jìn)行特征點(diǎn)匹配，然后利用RANSAC去除大噪聲，然后進(jìn)行匹配，得到一個(gè)pose信息（位置和姿態(tài)），同時(shí)可以利用IMU（Inertial measurement unit慣性測(cè)量單元）提供的姿態(tài)信息進(jìn)行濾波融合

后端則主要是對(duì)前端出結(jié)果進(jìn)行優(yōu)化，利用濾波理論（EKF、UKF、PF）、或者優(yōu)化理論TORO、G2O進(jìn)行樹(shù)或者圖的優(yōu)化。最終得到最優(yōu)的位姿估計(jì)。

后端這邊難點(diǎn)比較多，涉及到的數(shù)學(xué)知識(shí)也比較多，總的來(lái)說(shuō)大家已經(jīng)慢慢拋棄傳統(tǒng)的濾波理論走向圖優(yōu)化去了。

因?yàn)榛跒V波的理論，濾波器穩(wěn)度增長(zhǎng)太快，這對(duì)于需要頻繁求逆的EKF（擴(kuò)展卡爾曼濾波器），PF壓力很大。而基于圖的SLAM，通常以keyframe（關(guān)鍵幀）為基礎(chǔ)，建立多個(gè)節(jié)點(diǎn)和節(jié)點(diǎn)之間的相對(duì)變換關(guān)系，比如仿射變換矩陣，并不斷地進(jìn)行關(guān)鍵節(jié)點(diǎn)的維護(hù)，保證圖的容量，在保證精度的同時(shí)，降低了計(jì)算量。

列舉幾個(gè)目前比較有名的SLAM算法：PTAM,MonoSLAM, ORB-SLAM,RGBD-SLAM,RTAB-SLAM,LSD-SLAM。

所以大家如果想學(xué)習(xí)SLAM的話，各個(gè)高校提高的素材是很多的，比如賓大、MIT、ETH、香港科技大學(xué)、帝國(guó)理工等等都有比較好的代表作品，還有一個(gè)比較有前景的就是三維的機(jī)器視覺(jué)，普林斯頓大學(xué)的肖劍雄教授結(jié)合SLAM和Deep Learning做一些三維物體的分類(lèi)和識(shí)別， 實(shí)現(xiàn)一個(gè)對(duì)場(chǎng)景深度理解的機(jī)器人感知引擎。

http://robots.princeton.edu/talks/2016_MIT/RobotPerception.pdf  這是他們的展示。

總的來(lái)說(shuō)，SLAM技術(shù)從最早的軍事用途（核潛艇海底定位就有了SLAM的雛形）到今天，已經(jīng)逐步走入人們的視野，掃地機(jī)器人的盛行更是讓它名聲大噪。同時(shí)基于三維視覺(jué)的VSLAM越來(lái)越顯主流。在地面/空中機(jī)器人、VR/AR/MR、汽車(chē)/AGV自動(dòng)駕駛等領(lǐng)域，都會(huì)得到深入的發(fā)展，同時(shí)也會(huì)出現(xiàn)越來(lái)越多的細(xì)分市場(chǎng)等待挖掘。

這個(gè)是occipital團(tuán)隊(duì)出的一個(gè)產(chǎn)品，是個(gè)很有意思的應(yīng)用，國(guó)內(nèi)賣(mài)4000+，大概一個(gè)月1000出貨量吧（雖然不是很多，但是效果不錯(cuò)，pad可玩）虛擬家居、無(wú)人飛行／駕駛、虛擬試衣、3D打印、刑偵現(xiàn)場(chǎng)記錄、沉浸式游戲、增強(qiáng)現(xiàn)實(shí)、商場(chǎng)推送、設(shè)計(jì)輔助、地震救援、工業(yè)流水線、GIS采集等等，都等待著VSLAM技術(shù)一展宏圖

▌SLAM的今生——還存在著問(wèn)題

多傳感器融合、優(yōu)化數(shù)據(jù)關(guān)聯(lián)與回環(huán)檢測(cè)、與前端異構(gòu)處理器集成、提升魯棒性和重定位精度都是SLAM技術(shù)接下來(lái)的發(fā)展方向，但這些都會(huì)隨著消費(fèi)刺激和產(chǎn)業(yè)鏈的發(fā)展逐步解決。就像手機(jī)中的陀螺儀一樣，在不久的將來(lái)，也會(huì)飛入尋常百姓家，改變?nèi)祟?lèi)的生活。

不過(guò)說(shuō)實(shí)話，SLAM在全面進(jìn)入消費(fèi)級(jí)市場(chǎng)的過(guò)程中，也面對(duì)著一些阻力和難題。比如Sensor精度不高、計(jì)算量大、Sensor應(yīng)用場(chǎng)景不具有普適性等等問(wèn)題。

多傳感器融合、優(yōu)化數(shù)據(jù)關(guān)聯(lián)與回環(huán)檢測(cè)、與前端異構(gòu)處理器集成、提升魯棒性和重定位精度都是SLAM技術(shù)接下來(lái)的發(fā)展方向，但這些都會(huì)隨著消費(fèi)刺激和產(chǎn)業(yè)鏈的發(fā)展逐步解決。就像手機(jī)中的陀螺儀一樣，在不久的將來(lái)，也會(huì)飛入尋常百姓家，改變?nèi)祟?lèi)的生活。

（激光雷達(dá)和攝像頭兩種 SLAM 方式各有什么優(yōu)缺點(diǎn)呢，有沒(méi)有一種綜合的方式互補(bǔ)各自的缺點(diǎn)的呢？）

激光雷達(dá)優(yōu)點(diǎn)是可視范圍廣，但是缺點(diǎn)性價(jià)比低，低成本的雷達(dá)角分辨率不夠高，影響到建模精度。vSLAM的話缺點(diǎn)就是FOV通常不大，50-60degree，這樣高速旋轉(zhuǎn)時(shí)就容易丟，解決方案有的，我們公司就在做vSLAM跟雷達(dá)還有IMU的組合。

（請(qǐng)問(wèn)目前基于視覺(jué)的SLAM的計(jì)算量有多大？嵌入式系統(tǒng)上如果要做到實(shí)時(shí)30fps，是不是只有Nvidia的芯片（支持cuda）才可以？）

第一個(gè)問(wèn)題，雖然基于視覺(jué)的SLAM計(jì)算量相對(duì)較大，但在嵌入式系統(tǒng)上是可以跑起來(lái)的，Sparse的SLAM可以達(dá)到30-50hz（也不需要GPU和Cuda），如果dense的話就比較消耗資源，根據(jù)點(diǎn)云還有三角化密度可調(diào)，10－20hz也是沒(méi)有問(wèn)題。

并不一定要用cuda，一些用到cuda和GPU的算法主要是用來(lái)加速SIFT、ICP，以及后期三角化和mesh的過(guò)程，即使不用cuda可以采用其他的特征點(diǎn)提取和匹配策略也是可以的。

▌最后一個(gè)問(wèn)題

（今年8月，雷鋒網(wǎng)將在深圳舉辦“全球人工智能與機(jī)器人創(chuàng)新大會(huì)”（簡(jiǎn)稱：GAIR）。想了解下，您對(duì)機(jī)器人的未來(lái)趨勢(shì)怎么看？）

這個(gè)問(wèn)題就比較大了。

機(jī)器人產(chǎn)業(yè)是個(gè)很大的Ecosystem，短時(shí)間來(lái)講，可能產(chǎn)業(yè)鏈不夠完整，消費(fèi)級(jí)市場(chǎng)缺乏爆點(diǎn)爆款。雖然大家都在談?wù)撟鰴C(jī)器人，但是好多公司并沒(méi)有解決用戶痛點(diǎn)，也沒(méi)有為機(jī)器人產(chǎn)業(yè)鏈創(chuàng)造什么價(jià)值。

但是大家可以看到， 大批缺乏特色和積淀的機(jī)器人公司正在被淘汰，行業(yè)格局越來(lái)越清晰，分工逐漸完善，一大批細(xì)分市場(chǎng)成長(zhǎng)起來(lái)。

從機(jī)器人的感知部分來(lái)說(shuō)，傳感器性能提升、前端處理（目前的sensor前端處理做的太少，給主CPU造成了很大的負(fù)擔(dān)）、多傳感器融合是一個(gè)很大的增長(zhǎng)點(diǎn)。

現(xiàn)在人工智能也開(kāi)始揚(yáng)頭，深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)專(zhuān)用的分布式異構(gòu)處理器及其協(xié)處理器成為緊急需求，我個(gè)人很希望國(guó)內(nèi)有公司能把這塊做好。

也有好多創(chuàng)業(yè)公司做底層工藝比如高推重比電機(jī)、高能量密度電池、復(fù)合材料，他們和機(jī)器人產(chǎn)業(yè)的對(duì)接，也會(huì)加速機(jī)器人行業(yè)的發(fā)展。整個(gè)機(jī)器人生態(tài)架構(gòu)會(huì)越來(lái)越清晰，從硬件層到算法層到功能層到SDK 再到應(yīng)用層，每一個(gè)細(xì)分領(lǐng)域都有公司切入，隨著這些產(chǎn)業(yè)節(jié)點(diǎn)的完善，能看到機(jī)器人行業(yè)的前景還是很棒的，相信不久之后就會(huì)迎來(lái)堪比互聯(lián)網(wǎng)的指數(shù)式增長(zhǎng)！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。