自動(dòng)駕駛作為一個(gè)技術(shù)前沿陣地，業(yè)內(nèi)人士一直在不斷探索與突破。

雷鋒網(wǎng)獲悉，近日，L4級(jí)自動(dòng)駕駛解決方案提供商元戎啟行的一篇關(guān)于3D物體檢測(cè)的論文被CVPR 2020收錄，論文題為“HVNet: Hybrid Voxel Network for LiDAR Based 3D Object Detection”，介紹了元戎啟行的深度學(xué)習(xí)網(wǎng)絡(luò)模型HVNet。

與多種方法相比，HVNet在3D物體檢測(cè)速度和精度上都有顯著的提高。

CVPR（Conference on Computer Vision and Pattern Recognition，即 IEEE 國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議）是全球計(jì)算機(jī)視覺(jué)頂級(jí)學(xué)術(shù)會(huì)議。今年，CVPR共收到6656篇投稿，只有1470篇論文被接收，接受率僅有22%，創(chuàng)下了CVPR十年來(lái)的最低接收率。

自動(dòng)駕駛是人工智能的一個(gè)關(guān)鍵應(yīng)用領(lǐng)域，而深度學(xué)習(xí)正是實(shí)現(xiàn)人工智能的一項(xiàng)主流技術(shù)。深度學(xué)習(xí)包含訓(xùn)練和推理兩大過(guò)程，兩者都圍繞著深度學(xué)習(xí)的基本要素——深度學(xué)習(xí)網(wǎng)絡(luò)模型（以下簡(jiǎn)稱(chēng)模型）展開(kāi)。訓(xùn)練指的是對(duì)模型進(jìn)行訓(xùn)練，為模型（的不同節(jié)點(diǎn)）進(jìn)行分配加權(quán)，推理則指的是利用訓(xùn)練好的模型對(duì)全新的數(shù)據(jù)進(jìn)行推理判斷、得到正確答案的過(guò)程。答案的準(zhǔn)確度，與模型和推理直接相關(guān)。

 深度學(xué)習(xí)示意圖

 

L4級(jí)自動(dòng)駕駛的深度學(xué)習(xí)模型

在自動(dòng)駕駛中，深度學(xué)習(xí)用于感知車(chē)輛周?chē)矬w，從而為車(chē)輛決策和控制提供判斷數(shù)據(jù)。3D物體檢測(cè)則是當(dāng)前感知模塊至關(guān)重要的一個(gè)環(huán)節(jié)。而為了保證自動(dòng)駕駛的安全，3D物體檢測(cè)最重要的工作，就是平衡好精度以及耗時(shí)，讓系統(tǒng)能迅速識(shí)別，實(shí)時(shí)響應(yīng)。

  

3D物體檢測(cè)

針對(duì)3D物體檢測(cè)，元戎啟行提出了一種新的基于點(diǎn)云的3D物體檢測(cè)統(tǒng)一網(wǎng)絡(luò)模型：混合體素（體積像素，是數(shù)字?jǐn)?shù)據(jù)于三維空間分割上的最小單位）網(wǎng)絡(luò)——HVNet，通過(guò)在點(diǎn)級(jí)別上混合尺度體素特征編碼器(VFE)，得到更好的體素特征編碼方法，實(shí)現(xiàn)了3D物體檢測(cè)速度和精度上的提升。

KITTI測(cè)試集上的速度-精度對(duì)比圖，其中O為HVNet

元戎啟行在KITTI數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。KITTI數(shù)據(jù)集是目前國(guó)際上最大的適用于自動(dòng)駕駛的計(jì)算機(jī)視覺(jué)算法評(píng)測(cè)數(shù)據(jù)集之一，涵蓋城市、住宅區(qū)、道路、校園、行人等五大場(chǎng)景，是檢驗(yàn)L4級(jí)自動(dòng)駕駛感知算法的最重要的評(píng)估方式之一。

從下圖中可看出，在KITTI數(shù)據(jù)集的實(shí)驗(yàn)中，HVNet取得了自行車(chē)類(lèi)檢測(cè)困難和中等模式的第一名，汽車(chē)類(lèi)檢測(cè)中等模式的第六名，排名超過(guò)Apple、UberATG等企業(yè)。

 

HVNet 在KITTI 測(cè)試上的BEV成績(jī)（自行車(chē)，2019年11月）

HVNet 在KITTI 測(cè)試上的BEV成績(jī)（汽車(chē)，2019年11月）

元戎啟行感知技術(shù)總監(jiān)曹通易表示：“在多類(lèi)別物體檢測(cè)中，很多方法通過(guò)訓(xùn)練多個(gè)模型來(lái)檢測(cè)不同的類(lèi)別，我們僅通過(guò)單一的網(wǎng)絡(luò)完成輸出。在KITTI的多類(lèi)別檢測(cè)任務(wù)中，我們?nèi)〉昧水?dāng)時(shí)最好的mAP（平均準(zhǔn)確率），同時(shí)保證了實(shí)時(shí)的效率。相比于PointPillars、Second等算法，HVNet在效率也有很大的突破?！?/p>

 

KITTI val數(shù)據(jù)集中BEV上的不同體素設(shè)置下結(jié)果對(duì)比

 

高效的實(shí)時(shí)推理引擎

有了高性能的模型，自動(dòng)駕駛的感知只成功了一半，只有完成了高效、準(zhǔn)確的推理，自動(dòng)駕駛系統(tǒng)才能準(zhǔn)確判斷周?chē)矬w。為了更好地匹配HVNet，元戎啟行還研發(fā)了推理引擎DeepRoute-Engine，針對(duì)HVNet的自定義算子和網(wǎng)絡(luò)結(jié)構(gòu)，做出更好的計(jì)算資源上的優(yōu)化，讓自動(dòng)駕駛算法能夠在低成本、低功耗的硬件平臺(tái)上高效、穩(wěn)定地運(yùn)行。

相比主流的深度學(xué)習(xí)框架中的推理引擎，DeepRoute-Engine不論是對(duì)簡(jiǎn)單的卷積為主的圖像模型還是對(duì)多傳感器融合的模型，都有出色的優(yōu)化效果。對(duì)復(fù)雜的多傳感器模型反而有更高的推理速度。

DeepRoute-Engine和主流計(jì)算框架推理速度對(duì)比

對(duì)于推理引擎來(lái)說(shuō)，最重要的性能指標(biāo)就是耗時(shí)。因?yàn)橹挥性谕评硪鎸?shí)時(shí)地推理出車(chē)輛周?chē)矬w所屬的種類(lèi)和特征的情況下，才能讓系統(tǒng)有足夠的反應(yīng)時(shí)間，實(shí)現(xiàn)車(chē)輛的實(shí)時(shí)控制，確保自動(dòng)駕駛汽車(chē)的安全。因此，產(chǎn)業(yè)上也更關(guān)注推理，許多硬件和軟件方案的重心都放在了推動(dòng)更快的加速中，如英偉達(dá)針對(duì)自動(dòng)駕駛推出的Xavier芯片，英特爾旗下的Mobileye推出了EyeQ 5等。

而在兼容性方面，DeepRoute可支持英偉達(dá)、英特爾、AMD等品牌的計(jì)算平臺(tái)。DeepRoute-Engine還能很好地適配PyTorch、Caffe、TensorFlow等深度學(xué)習(xí)框架，不同的框架訓(xùn)練出的模型，都可使用DeepRoute-Engine進(jìn)行推理。

推理引擎兼容性對(duì)比

DeepRoute-Engine還支持實(shí)時(shí)數(shù)據(jù)類(lèi)型轉(zhuǎn)換推理，在部署一套模型時(shí)，可在運(yùn)行時(shí)調(diào)整精度，減少內(nèi)存空間占用，提高部署效率。DeepRoute-Engine支持自定義層融合和用戶(hù)插件，有較高的可擴(kuò)展性。

但由于自動(dòng)駕駛的實(shí)現(xiàn)，不僅需要過(guò)硬的AI技術(shù)，更要控制好成本和功耗，才能真正實(shí)現(xiàn)產(chǎn)業(yè)化落地。

目前行業(yè)內(nèi)對(duì)推理速度的最低要求是10fps。但對(duì)于低功耗計(jì)算平臺(tái)產(chǎn)品來(lái)說(shuō)，這是一個(gè)很大的挑戰(zhàn)。以PyTorch等主流框架為例，當(dāng)它們?cè)诘凸牡挠?jì)算平臺(tái)產(chǎn)品上，用復(fù)雜的模型進(jìn)行推理時(shí)，計(jì)算速度一般低于10fps，無(wú)法滿足這一要求。

元戎啟行則借助自研的高效推理引擎，很好地解決了這一問(wèn)題。

 2020年1月CES期間，元戎啟行發(fā)布了其新一代計(jì)算平臺(tái)解決方案——DeepRoute-Tite。該平臺(tái)只有磚頭大小，以45W的功耗運(yùn)行了自動(dòng)駕駛所有相關(guān)算法。得益于元戎啟行自研的高效推理引擎，算法移植到這一平臺(tái)后，系統(tǒng)仍能實(shí)時(shí)、精確地識(shí)別周?chē)系K物，實(shí)時(shí)響應(yīng)，以接近城市道路最高限速的速度行駛，靈活完成紅綠燈識(shí)別、轉(zhuǎn)彎，避障等操作。

 元戎啟行使用低功耗計(jì)算平臺(tái)進(jìn)行自動(dòng)駕駛路測(cè)視頻（2倍加速）

目前，整個(gè)自動(dòng)駕駛行業(yè)都在往小型化、嵌入式方案發(fā)展。除了傳感器的小型化，更關(guān)鍵的是替換車(chē)輛后備箱內(nèi)原本體積龐大的高功耗計(jì)算平臺(tái)。

元戎啟行新一代計(jì)算平臺(tái)DeepRoute-Tite

高效、準(zhǔn)確的自研模型、自研推理引擎、低功耗低成本計(jì)算平臺(tái)的組合，使得元戎啟行的自動(dòng)駕駛解決方案，平衡了安全性、效率、成本這三個(gè)自動(dòng)駕駛的量產(chǎn)制約因素，既保障了技術(shù)的安全，又歸還了汽車(chē)后備箱空間，讓自動(dòng)駕駛能夠更快地大規(guī)模進(jìn)入人們的生活。

P.S. 元戎啟行也將亮相于2020年6月16-18日在美國(guó)西雅圖舉辦的CVPR，與全球?qū)W者共同探討CV議題，展位號(hào)：Island in Booth 645。

（雷鋒網(wǎng)）                      雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。