0
| 本文作者： 新智駕 | 2017-07-31 20:02 |
雷鋒網(wǎng)按：從6月開始，新智駕聯(lián)合雷鋒網(wǎng)· AI慕課學(xué)院、網(wǎng)易云課堂企業(yè)版舉辦了智能駕駛系列講座，邀請(qǐng)業(yè)界、學(xué)界頂尖專家一起分享關(guān)于自動(dòng)駕駛現(xiàn)在與未來的多樣見解。
7月19日，“未來汽車大講堂”邀請(qǐng)到 PerceptIn 聯(lián)合創(chuàng)始人劉少山分享了主題為《詳解無人駕駛技術(shù)架構(gòu)》的課程。
雷鋒網(wǎng)新智駕對(duì)課程內(nèi)容進(jìn)行了不改變?cè)獾木庉?，完整視頻回放請(qǐng)前往AI慕課學(xué)院官網(wǎng)查看。
無人駕駛并不是單點(diǎn)的技術(shù)，而是多個(gè)技術(shù)的整合。
首先，來看看無人駕駛的整體技術(shù)架構(gòu)，大概可以分為三大模塊：算法、系統(tǒng)以及云平臺(tái)。
在車輛端，上層是算法模塊，包括傳感（如何更好的獲取環(huán)境數(shù)據(jù)）、感知（如何更好的理解車輛周圍環(huán)境，包括定位，物體識(shí)別，物體追蹤）以及決策（在了解環(huán)境后如何更好的做出決策，包括路徑規(guī)劃，行為預(yù)測(cè)和障礙物躲避等）三個(gè)部分；下層則是操作系統(tǒng)和硬件平臺(tái)。
而在云端，則有一個(gè)無人駕駛的云平臺(tái)，其上囊括了高精地圖、模型訓(xùn)練、模擬計(jì)算以及數(shù)據(jù)存儲(chǔ)等幾塊內(nèi)容。
無人駕駛汽車行駛過程中最重要的是要知道自身處在什么位置上，只有這樣才知道要怎么去往目的地。接下來將主要闡述目前應(yīng)用比較多的定位技術(shù)。
我們平常用的是多星GPS，可以接收伽利略或北斗的信號(hào)，做一個(gè)綜合，然后得出一個(gè)相對(duì)精準(zhǔn)的位置。但是多星GPS的定位精度大約能做到1-2米，這滿足不了無人駕駛車道級(jí)定位的要求。
所以，后續(xù)，業(yè)內(nèi)又開發(fā)出一種被稱為RTK（Real-Time-Kinematic）的GPS，主要是依靠在地面布置基站，通過基站的信號(hào)去糾正衛(wèi)星的信號(hào)，精度可以達(dá)到分米級(jí)別甚至更低。但缺點(diǎn)是需要布置基站，成本很高，還需要人維護(hù)。
接下來，又出現(xiàn)一種稱為PPP（精密單點(diǎn)定位）的GPS技術(shù)，基于全球衛(wèi)星的聯(lián)網(wǎng)系統(tǒng)，通過互聯(lián)網(wǎng)發(fā)布衛(wèi)星的糾正信號(hào)，這項(xiàng)技術(shù)大概在2018年會(huì)在全球進(jìn)行部署。其好處在于不需要布置基站，無論在哪，都能得到一個(gè)比較精準(zhǔn)的位置。
GPS是一個(gè)比較好的定位導(dǎo)航工具，但是其更新率低是最大的問題。有的是1幀/秒的更新，有的是10幀/秒的更新，車輛高速行駛的狀況下，這顯然不夠用。
所以，一般情況下，我們會(huì)把GPS和IMU慣導(dǎo)系統(tǒng)結(jié)合起來。慣導(dǎo)系統(tǒng)能提供快速更新——1000幀/秒，這彌補(bǔ)了GPS的更新率低的問題；而慣性導(dǎo)航所存在的“累計(jì)誤差”問題，也可以通過GPS來彌補(bǔ)。
激光雷達(dá)的好處是有一定的射程，能觸及100-200米的距離，能很精準(zhǔn)的得到空間中的點(diǎn)（3D點(diǎn)云）。將激光雷達(dá)的數(shù)據(jù)和高精地圖的數(shù)據(jù)做一個(gè)匹配，可以將車輛定位上升到厘米級(jí)別。
但是激光雷達(dá)的成本高，而且是轉(zhuǎn)動(dòng)的形式，容易磨損，耐用性很差。
激光雷達(dá)很依賴另一個(gè)傳感器——高精地圖（傳統(tǒng)意義上也不能稱其為傳感器），二者配合使用才能達(dá)到一個(gè)很好的定位效果。
具體到高精地圖的制作上。
在高精地圖的最底層，是一個(gè)網(wǎng)格地圖，網(wǎng)格地圖是使用激光雷達(dá)掃描回來的，精度可達(dá)5厘米；網(wǎng)格地圖之上，我們會(huì)做道路的標(biāo)簽，也就是最底層的reference line；再加一些語義信息，精確到車道，標(biāo)示出lanes；在車道之上，再做一些語義標(biāo)簽，比如限速、紅綠燈這樣的標(biāo)志物。
高精地圖制作起來非常昂貴，因?yàn)樾枰す饫走_(dá)設(shè)備不斷去掃描外部環(huán)境，從而得到相關(guān)的數(shù)據(jù)來支撐其制作。
傳統(tǒng)的做法是用雙目進(jìn)行視覺導(dǎo)航，方法如下：
左右兩個(gè)圖進(jìn)來，首先做一個(gè)三角成像，就可以得出空間中深度點(diǎn)的信息，每一個(gè)特征點(diǎn)都有描述，然后再將前后兩幀圖像的特征點(diǎn)進(jìn)行比對(duì)，得出其位移的信息，大概能定位到車輛移動(dòng)的距離。
后續(xù)技術(shù)的發(fā)展，實(shí)現(xiàn)了單目視覺進(jìn)行導(dǎo)航的功能，但是圖像信息更新率有限——30-60幀/秒之間。所以，為了更快速得到信息更新，還是要將IMU加上，就產(chǎn)生了Visual inertial odometry技術(shù)，可以得到很精準(zhǔn)的位置更新。
這個(gè)就非常簡單了，因?yàn)檩喿又荛L固定，可以通過圈速來進(jìn)行距離的測(cè)算，但是這個(gè)方式的累計(jì)誤差會(huì)比較大，所以也存在很大的問題。
但在實(shí)際的實(shí)踐中，只依賴一種定位技術(shù)或傳感器，顯然無法實(shí)現(xiàn)良好的效果。天氣、光照、磁場等等，都會(huì)干擾這些定位傳感器的正常使用。
真正的解決方案是傳感器融合：
通過IMU和輪速計(jì)，得到車輛初始的位置，而GPS則可以不斷糾偏，把錯(cuò)誤率控制在一定的范圍，比如GPS是厘米級(jí)的，那么精度就能保證在厘米級(jí)別，同時(shí)再加上激光雷達(dá)和高精地圖的匹配，得出一個(gè)最終的很精準(zhǔn)的位置。
這套架構(gòu)是主流的無人駕駛公司都在使用的，比如斯坦福大學(xué)的無人車、CMU的無人車、谷歌的無人車以及百度的無人車，都是這樣的一個(gè)架構(gòu)。
感知就是理解環(huán)境，要做感知，需要的是一個(gè)數(shù)據(jù)集。在無人駕駛行業(yè)，有一套通用的數(shù)據(jù)集——KITTI數(shù)據(jù)集，里面有不同的數(shù)據(jù)，包括雙目視覺的數(shù)據(jù)、定位導(dǎo)航的數(shù)據(jù)等。
1、感知：物體檢測(cè)（Object Detection）
傳統(tǒng)方法主要是針對(duì)固定物體的檢測(cè)。一般的方法是HOG（Histogram of Oriented Gradien，方向梯度直方圖），然后再加一個(gè)SVM的分類器。而對(duì)于動(dòng)態(tài)物體的檢測(cè)，主要使用的是DPM模型的方法，先把手和腳識(shí)別出來，再進(jìn)行組合。
2、感知：場景（Segmentation）
人行道是一個(gè)場景，道路是一個(gè)場景，在場景中對(duì)不同的物體進(jìn)行分類，是一個(gè)很重要的問題。
傳統(tǒng)的方法是采用CRF（Conditional Random Field，條件隨機(jī)場），基本原理在于圖像都是由像素點(diǎn)組成的，若兩個(gè)像素點(diǎn)都比較像車，那就把二者連接起來，形成對(duì)車輛的識(shí)別。
另外，就是我們所說的光流（Optical Flow），光流是針對(duì)2D圖像來說的，如果說一個(gè)圖片流到另外一個(gè)圖片，都是2D的物體移動(dòng)，那就用光流來做。如果是3D的物體流動(dòng)，那我們就用場景流（Scene Flow），場景流在傳統(tǒng)的方法就是使用的是SGBM，利用的是雙目成像的技術(shù)，把左圖和右圖合起來提取出空間的點(diǎn)，用光流在上面做，就能把場景的流動(dòng)分析出來。
這也是無人駕駛中一個(gè)比較重要的技術(shù)。如何預(yù)測(cè)行人下一個(gè)動(dòng)作、怎么去跟蹤這個(gè)行人，也有一系列問題。里面用到的是馬爾可夫鏈的解決方案，這個(gè)技術(shù)叫做MDP，跟蹤一個(gè)人，隨時(shí)跟蹤其下一個(gè)動(dòng)作，預(yù)測(cè)其下一個(gè)動(dòng)作。
以上其實(shí)都是一些傳統(tǒng)的感知方法，而這些年隨著深度學(xué)習(xí)的不斷進(jìn)步，應(yīng)用也非常廣泛。
在物體識(shí)別方面，有兩個(gè)非常有效的模型。
一個(gè)是Faster R-CNN，它會(huì)將興趣點(diǎn)框出來，然后再進(jìn)行物體識(shí)別，找到是不是你想要識(shí)別的物體；另一個(gè)是更為快速的SSD，也是將圖中的物體識(shí)別出來。
而在場景分類方面，運(yùn)用深度學(xué)習(xí)的方法則使用的是另一種模型，被稱為PSPnet（語義分割）。這是金字塔型的場景分解模型，將一個(gè)場景不斷地壓縮，把類似的物體聚類，然后再做判斷。
光流也可以利用深度學(xué)習(xí)的模型來做，把左右兩圖用同樣的模型來提取特征，經(jīng)過計(jì)算就能得出一個(gè)深度的信息。但是這個(gè)方式的計(jì)算量非常大。
這是一個(gè)最基本的決策和控制的架構(gòu)，但這個(gè)部分其實(shí)是無人駕駛中最難的部分。
最上方的感知系統(tǒng)可以感知行人的位置、速度及態(tài)勢(shì)，然后將這些信息傳送給預(yù)測(cè)模塊，預(yù)測(cè)行人是往前還是往后，速度多快。而下方的定位數(shù)據(jù)流進(jìn)來之后，全局的路徑規(guī)劃模塊就會(huì)將這些路徑傳入到最核心的控制決策模塊——其中包括行為決策、動(dòng)作決策和反饋控制。最后，這些信號(hào)會(huì)傳送給CAN-BUS，由車輛來執(zhí)行。
交通預(yù)測(cè)其實(shí)可以分成兩個(gè)問題：一個(gè)是分類問題，另一個(gè)是回歸的問題。
分類問題要了解的是行人到底是過馬路還是不過馬路，回歸問題就更復(fù)雜一些，如果行人是過馬路，那么針對(duì)其過馬路的速度是多少，需要做一個(gè)預(yù)測(cè)。
路徑規(guī)劃也是比較有趣的，因?yàn)檫@對(duì)無人車來說是一個(gè)比較特殊的問題，因?yàn)閷?duì)于普通的車輛來說，只要知道這是哪條路就行了，而不需要知道這是哪一條車道。
因?yàn)槊織l路都有不同的車道，那我們把車道標(biāo)出不同的節(jié)點(diǎn)，不同的節(jié)點(diǎn)連接在一起，就變成了一條車道。通過某種方式（Dijkstra和A*）找到最短車道，就能得到最優(yōu)解。
有了全局的路徑規(guī)劃以后，我們就需要進(jìn)行行為決策。因?yàn)榈缆穲鼍胺浅?fù)雜，可以分成幾十個(gè)不同的場景——左右車道、丁字路口等等，需要做場景組合決策。
然后是動(dòng)作的規(guī)劃，包括加速、減速、轉(zhuǎn)向等等，速度規(guī)劃主要使用了ST-graph工具來做，路徑規(guī)劃主要是動(dòng)態(tài)編程來實(shí)現(xiàn)。
而最后的反饋控制則是由車廠來做，而且很多車廠采取的方案是不一樣的。實(shí)現(xiàn)反饋控制的一般有雙輪模型和PID控制模型，后者實(shí)現(xiàn)起來比較順暢。
任何一個(gè)復(fù)雜的系統(tǒng)都需要一個(gè)操作系統(tǒng)來輔助它實(shí)現(xiàn)功能，這樣才不至于混亂。
如上圖所示，在處理器（Processor）中，其實(shí)運(yùn)行了上文所述的各類算法，包括感知、定位、全局路徑規(guī)劃等算法。然后再實(shí)現(xiàn)對(duì)車輛本身的控制，包括動(dòng)作控制、方向控制。
首先我們需要一個(gè)操作系統(tǒng)來管理這么多復(fù)雜的工作，現(xiàn)在大部分廠家用的都是ROS——機(jī)器人操作系統(tǒng)，當(dāng)然都做了一些個(gè)性化設(shè)計(jì)。這是一個(gè)信息傳遞的系統(tǒng)，可以通過點(diǎn)對(duì)點(diǎn)的傳輸形式或是廣播的形式來做信號(hào)傳輸?shù)膭?dòng)作。
ROS本身有很多問題：
單一主節(jié)點(diǎn)，很容易整體崩潰。（解決方案：可以用Zookeeper機(jī)制來做，設(shè)置多個(gè)主節(jié)點(diǎn)。）
通信非常低效。（解決方案：可以用共享內(nèi)存的方法來做。）
不是很安全，比如開一個(gè)惡意節(jié)點(diǎn)不斷去損耗資源，很容易造成整體系統(tǒng)的崩潰。（解決方案：這個(gè)問題可以使用Linux Container的技術(shù)來解決。）
硬件平臺(tái)當(dāng)然也是不可或缺的。其前端有很多傳感器，信號(hào)傳輸進(jìn)來后，有一個(gè)計(jì)算平臺(tái)進(jìn)行接收，處理完成后再通過CAN-BUS，把控制信號(hào)傳給車輛控制系統(tǒng)。
以往很多時(shí)候，無人駕駛汽車上都放了兩臺(tái)計(jì)算機(jī)進(jìn)行數(shù)據(jù)處理。這樣帶來的問題是功耗高，散熱問題非常難以處理。未來，計(jì)算單元小型化會(huì)是很大的挑戰(zhàn)。
劉少山介紹，他們?cè)?jīng)使用手機(jī)平臺(tái)，實(shí)現(xiàn)了一些比較簡單的無人駕駛功能，主要是用視覺來做。
如今，很多投資人都關(guān)注無人駕駛的終端，而對(duì)于云平臺(tái)沒有給予足夠的重視，實(shí)際上這塊內(nèi)容是非常重要的。
無人駕駛車輛每秒最多可以產(chǎn)生2GB的裸數(shù)據(jù)，怎樣利用這大量的數(shù)據(jù)去幫助無人駕駛做得更好，怎么樣去搭建一個(gè)云平臺(tái)去更好地服務(wù)無人駕駛的作業(yè)，這是個(gè)很大的挑戰(zhàn)。
云平臺(tái)底層就是存儲(chǔ)和計(jì)算。我們有一個(gè)開源的項(xiàng)目叫做Alluxio，基本上就把磁盤存儲(chǔ)給管理起來了，這是一個(gè)分布式的存儲(chǔ)管理器；在其上，我們運(yùn)用了異構(gòu)計(jì)算，不同的作業(yè)依賴的處理器也不一樣，所以會(huì)有GPU、CPU和FPGA；當(dāng)然，為一個(gè)處理器寫一套單獨(dú)的程序，太復(fù)雜了，所以在其上統(tǒng)一搭載了OpenCL，對(duì)程序進(jìn)行統(tǒng)一管理；分布式計(jì)算也需要一個(gè)管理平臺(tái)，我們采用了Spark平臺(tái)——比較通用、功能很多。再在這個(gè)平臺(tái)上搭建高精地圖、模擬計(jì)算和模型計(jì)算等作業(yè)。
在計(jì)算層面，我們運(yùn)用了Apache Yarn這個(gè)分布式系統(tǒng)管理器通過Spark把作業(yè)分發(fā)下去，每個(gè)Spark的節(jié)點(diǎn)都有多個(gè)容器（Container），容器上會(huì)跑一些 OpenCL 的 Kernel，OpenCL 可以跑在 GPU 上，也可以跑在FPGA上。這個(gè)平臺(tái)的可擴(kuò)展性非常強(qiáng)，模型訓(xùn)練所需的時(shí)間會(huì)隨著GPU數(shù)量的增加而線性減少。
在談?wù)勗破脚_(tái)的具體應(yīng)用。
首先是模擬計(jì)算。比如你新開發(fā)了一個(gè)程序，想要試試新的算法是不是好用，但是不可能每次都實(shí)車驗(yàn)證，因?yàn)槌杀靖?，而且覆蓋的場景很少。
所以一般采用的是模擬計(jì)算的方式：游戲平臺(tái)和真實(shí)數(shù)據(jù)回放，更多是采用后者的形式。
這里有一個(gè)問題，單機(jī)回放必須要回放實(shí)際的數(shù)據(jù)，比如谷歌無人車?yán)塾?jì)有8年的數(shù)據(jù)，那就要計(jì)算8年，這顯然不可取。
所以這里采用了Spark Driver的系統(tǒng)，可以并行處理，把作業(yè)分發(fā)下去，通過Linux pipe把每一個(gè)ROS Node節(jié)點(diǎn)打出來做一個(gè)回放，數(shù)據(jù)再回收到Spark Driver里去。只要給的節(jié)點(diǎn)夠多，幾十分鐘就可以驗(yàn)證一套算法。
第二個(gè)是高精地圖的制作。這是個(gè)很復(fù)雜的工作，首先是裸數(shù)據(jù)，然后從裸數(shù)據(jù)得出一個(gè)點(diǎn)云的數(shù)據(jù)，點(diǎn)云和點(diǎn)云之間要做一個(gè)對(duì)齊，對(duì)齊之后要把反射率的數(shù)據(jù)填到里面，然后再加一些語義的信息等。用分布式平臺(tái)來做高精地圖的生產(chǎn)，最大的計(jì)算量部分集中在點(diǎn)云的生產(chǎn)和對(duì)齊上，用異構(gòu)計(jì)算可以很好地完成這些作業(yè)。
第三個(gè)是模型訓(xùn)練。這里采用的是分布式訓(xùn)練，其實(shí)百度很早就在用這種方式，用的是Paddle，將其連上Spark，把作業(yè)分發(fā)出去。這里面也用到了Alluxio分布式存儲(chǔ)管理器。
【參考文獻(xiàn)及資料】
2. Creating Autonomous Vehicle Systems [Summary]
3. Creating Autonomous Vehicle Systems [Book]
4. CAAD: Computer Architecture for Autonomous Driving
5. Implementing a Cloud Platform for Autonomous Driving
更多精彩課程還在持續(xù)更新中，請(qǐng)前往AI慕課官網(wǎng)了解詳情。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
