雷鋒網(wǎng)按：本文內(nèi)容來自武漢極目智能CEO程建偉在硬創(chuàng)公開課的分享，由雷鋒網(wǎng)旗下欄目“新智駕”整理。目前，單目視覺ADAS技術(shù)相對成熟，同時成本也比較低，應(yīng)用最為廣泛。那么，到底單目視覺ADAS背后有哪些技術(shù)原理（算法、硬件）？同時如何讓廣大用戶觸手可及？

以下分享也許可以解答您的疑問：

ADAS的實現(xiàn)途徑；

單目視覺ADAS的基本原理；

單目視覺ADAS的技術(shù)難點（數(shù)據(jù)樣本積累、算法、芯片、攝像頭及前后裝等）；

視覺ADAS的發(fā)展趨勢。

一、ADAS的實現(xiàn)途徑

伴隨著這幾年自動駕駛概念的火熱，ADAS越來越受大家關(guān)注，輔助駕駛作為自動駕駛的早期階段，在整個流程里扮演著感和知的角色。

第一步是通過各種傳感器來采集車身已經(jīng)周邊環(huán)境信息，包括但不限于GPS、車身傳感器、攝像頭及雷達等。目前汽車智能都離不開這幾種傳感器的融合運用，為車輛來建立周邊的立體信息。

第二步則是根據(jù)采集到的信息來進行道路、車輛、行人和路標的識別。對各種工況下道路參與者的狀態(tài)提取，給決策者提供決策信息。如果決策者為駕駛員，那么是輔助信息；如果決策者為制動部件，那么就上升到AEB或者LC等Level 2以上的駕駛輔助階段。

各類傳感器的機制從底層邏輯來說是比較類似的，都是光學或者模擬信號的數(shù)字化，采用算法來還原傳感量的變化。而攝像頭技術(shù)是目前ADAS領(lǐng)域最快速發(fā)展的傳感器技術(shù)。

SA（Strategy analytics）分析指出：如果車輛前方只有一個傳感器，那么最大可能是攝像頭；如果車輛前方有多個傳感器，那么確定的是會有一個攝像頭在其中。

二、視覺ADAS的基本原理

我們以目前基于攝像頭的單目視覺為例來說明其基本原理。

整個流程包括樣本的采集及標記，同時對標記的樣本進行大范圍訓練來提取特征和模型，將模型作為實際圖像數(shù)據(jù)進行分類識別。

另外一個維度，我們需要保證圖像源的質(zhì)量，通過寬動態(tài)、強光抑制、降噪等技術(shù)來保證輸入數(shù)據(jù)源的干凈，將真實環(huán)境清晰的數(shù)據(jù)進行邊緣化和紋理化送入分類器進行識別。

同時，在這個環(huán)節(jié)我們要非常注重模型數(shù)據(jù)和圖像源數(shù)據(jù)的一致性，即樣本標記的數(shù)據(jù)和實際圖像源要來自相同的鏡頭、圖像Sensor和相同的ISP技術(shù)，來保證訓練和實際的高匹配。

這部分是目前在實驗室做數(shù)據(jù)時很難實現(xiàn)的，很多可能采用的是公開的樣本庫來訓練，而公開樣本庫所采用的攝像頭、鏡頭角度等并不是我們實際中使用的。

三、視覺ADAS的難點

在產(chǎn)品開發(fā)中，難點在各個環(huán)節(jié)都有覆蓋。

首先是算法本身的檢測率，這是需要不斷提升的環(huán)節(jié)。需要在魯棒性和敏感性之間作平衡，來保證產(chǎn)品的良好體驗。

同時從產(chǎn)品工程化的角度講，很多時候并不能用檢測率最高的算法，必須優(yōu)化算法速度，因為我們沒法將一顆i7芯片或者服務(wù)器搬到汽車上去；其次是正負樣本的積累，考慮到源同步的問題，樣本積累必須來自實測，同時保證大量。

第三個方面，既然做的是產(chǎn)品，那么硬件處理器和攝像頭的選擇必須考慮性價比、可量產(chǎn)性等。

第四，安裝方面要盡可能的簡化用戶的安裝步驟，降低安裝難度，那么需要在算法設(shè)計的時候充分將內(nèi)外參的兼容性考慮進去，并在不同車型的測試中驗證，這部分是采用技術(shù)提升體驗的關(guān)鍵。

最后是天氣適應(yīng)性，每種傳感器都有自己的長處，但是也都有自身的短板，比如雷達對靜態(tài)物體、激光雷達對天氣，攝像頭也會受制于天氣和光照影響，在這些條件下，提升攝像頭前端技術(shù)變得尤為重要（Mobileye也不僅僅是一個算法公司）。

當前階段在嵌入式端工作的算法，普遍基于機器學習，其優(yōu)點是工程化、量產(chǎn)化更有可行性。

任何人工智能算法的落地都必須具備可工程化。一方面是視覺前端的提升帶來了運算量的降低；另一方面科研人員的探索可以給技術(shù)實現(xiàn)提供更豐富的組合可能。

同時摩爾定律的繼續(xù)深化帶來芯片可以實時的完成更多復雜的算法，特別是嵌入式芯片可以運行以前高配置電腦甚至服務(wù)器才能完成的功能。

當然硬幣的另一面，依然有需要用更好的方法來解決的地方，包括有遮擋的目標物、檢測率的繼續(xù)提升等等。這些都有待攝像頭前端技術(shù)的繼續(xù)提升和深度學習算法的嵌入式應(yīng)用來解決。

四、視覺ADAS的功能

接下來我們通過兩個簡單的例子來介紹車輛識別、車道線識別、交通標志牌識別等功能。

對車輛識別和車道線識別只是前方碰撞預警和車道偏離預警的第一步，我們還需要綜合速度、車輛自身行駛區(qū)域、前方車輛狀態(tài)等信息來進行分析，參照ISO標準來進行報警信息的輸出。

1、車輛識別及跟蹤：

2、車道線識別：

3、交通標志識別：

基于前面基本功能和背景的分析，我們從以下幾個方面來探討ADAS技術(shù)的深化之路，它需要的是面向AEB（自動制動）、LC（車道中心保持）等。

五、視覺ADAS的硬件

視覺ADAS系統(tǒng)其實是一套嚴謹?shù)墓鈱W系統(tǒng)或者相機。

但是它比普通相機運行的環(huán)境更加苛刻，包括振動、顛簸、高溫等因素，我們從每一個環(huán)節(jié)來保證這套系統(tǒng)的一致性和可靠性，特別是圖像源環(huán)節(jié)，比如說鏡頭標定、焦距控制、畸變系數(shù)的補償，這些都構(gòu)成產(chǎn)品可量產(chǎn)性的重要因素。

視覺ADAS系統(tǒng)的內(nèi)參可靠性同時要結(jié)合外部參數(shù)的差異性。比如說車輛在平路和坡道時的視覺和測距完全不一樣，我們通過對自身鏡頭的參數(shù)和外部目標的視角進行距離矯正，最終達到1個像素以內(nèi)的誤差。

精準的距離測試是前車碰撞預警乃至AEB的基礎(chǔ)。

目前，基于單目視覺的測距方法集中于兩類：

其一，就是通過光學幾何模型（即小孔成像模型）建立測試對象世界坐標與圖像像素坐標間的幾何關(guān)系，結(jié)合攝像頭內(nèi)、外參的標定結(jié)果，便可以得到與前方車輛或障礙物間的距離；

其二，就是在通過采集的圖像樣本，直接回歸得到圖像像素坐標與車距間的函數(shù)關(guān)系，這種方法缺少必要的理論支撐，是純粹的數(shù)據(jù)擬合方法，因此受限于擬合參數(shù)的提取精度，魯棒性相對較差。

正因如此，我們采用了光學幾何模型進行車距的計算。前面已經(jīng)說過了，我們采用了嚴格的攝像頭標定方法可以獲得精準的內(nèi)參和外參。

除此之外，影響測距精度的另一重要因素就是車輛邊緣檢測的精度。我們采用了精確的邊緣檢測和多幀綜合檢測的算法，可以在不同的光線環(huán)境下得到相對精準的用于車距檢測的車輛坐標信息。

盡管如此，由于道路平面的多變特性，動態(tài)的距離測試必須考慮外參的動態(tài)改變量及圖像處理時的隨機誤差。圖像上幾個像素的跳變，就可能引起遠距離車距測量的較大誤差。

因此，我們在誤差來源分析的基礎(chǔ)上，力圖通過誤差修正方法及算法優(yōu)化方法，從多個層面降低測距誤差：

道路環(huán)境的精準重構(gòu)：

同時可以保證我們對周邊其他參照系的精確重構(gòu)。在這個模型圖像里，我可以看到對道路環(huán)境進行了位置重構(gòu)，對車道線距離、車輛距離、車道線角度以及車高等信息完成了提取，特別是車道線的距離檢測可以達到厘米級的誤差。

六、視覺ADAS的算法

剛才講到的是前端攝像頭，接下來是算法端的核心。我們需要的是對樣本進行大量的訓練。我們在樣本的訓練方式上采用了一些創(chuàng)新，包括UGC（User Generated Content）、圖像源同步、自動提取和人工校驗相結(jié)合等。

算法的載體是硬件，硬件的選擇需要從運算速度、功耗散熱和成本三個方面來平衡。

攝像頭、算法及硬件最終需要通過安裝來保證設(shè)計者的意志得到體現(xiàn)，糟糕的安裝會導致前面的工作功虧一簣。在有安裝條件的情況下，我們通過專業(yè)安裝人員進行標定板的安裝；同時我們有大量的DIY用戶，那么便可以通過精簡的內(nèi)外參和行駛數(shù)據(jù)總結(jié)來給用戶提供個性化的報警機制。

我們目前近千臺的激活用戶經(jīng)過上百萬公里的行駛里程積累，產(chǎn)生了一些比較喜人的數(shù)據(jù)。

根據(jù)我們的駕駛行為評分系統(tǒng)，某個用戶在為我們貢獻了2950公里里程的實際數(shù)據(jù)的同時，他的駕駛得分得到了穩(wěn)步的提高，充分體現(xiàn)了ADAS系統(tǒng)對用戶的駕駛規(guī)范性提升價值。

最后，針對視覺ADAS的發(fā)展趨勢，程建偉認為將包含以下方面：

問答環(huán)節(jié)：

雷鋒網(wǎng)新智駕：請問基于攝像頭如何得到物體的三維位置？基于slam能重建出運動的車輛嗎？

程：根據(jù)攝像頭的自身參數(shù)，得到目標物體的縱向距離和橫向距離，進一步計算出物體的寬度高度信息；可以通過自運動模型得到車輛的縱向和橫向運動。

雷鋒網(wǎng)新智駕：能否說一下單目和雙目的區(qū)別？基于視覺的測距為什么不選雙目，會更準嗎？

程：單目更加成熟，并且對性能要求更低，安裝角度要求低；雙目可以計算圖像深度信息，能更準確的測量距離，但是運算要求高，有效距離近。人對距離的感知刷新是在0.1s級別，所以99米和100米之間的誤差，實際對人的駕駛判斷沒有太高意義。單目測距完全符合ADAS的標準。

雷鋒網(wǎng)新智駕：基于光學幾何模型測距的方法依賴于物體在路面的假設(shè)，如果車輛被遮擋，或者行人下半身被綠化帶遮擋，與路面沒有交點，那么如何測距？

程：我們的鏡頭在標定時會計算FOE值，通過該參數(shù)與物體實際寬度值來計算實際距離，計算距離經(jīng)過多次濾波來消除遮擋的干擾。

雷鋒網(wǎng)新智駕：視覺ADAS技術(shù)需要處理的數(shù)據(jù)量多大？ 需要怎么樣的硬件資源？

程：數(shù)據(jù)處理量看功能以及優(yōu)化，目前的情況是行人檢測大于車輛檢測大于車道線檢測，目前車輛和車道大概40G FLOPS，如果加上行人，會翻倍。所以硬件的選擇一方面是處理器性能，另外是優(yōu)化性能的均衡。

雷鋒網(wǎng)新智駕：您認為傳統(tǒng)視覺算法與新興CNN、RNN算法相比優(yōu)劣勢在哪里？未來，您更看好哪種？

程：傳統(tǒng)視覺算法優(yōu)勢是目前成熟，計算量小，可以實現(xiàn)嵌入式化，低成本化；劣勢是算法的提升后期比較困難；CNN在最近幾年得到了長足的發(fā)展，目前更多的是在服務(wù)器后臺端運行，對于嵌入式化還有一段路要走；未來隨著摩爾定律的繼續(xù)發(fā)展，硬件性能的進一步提升，CNN會有比較大的空間在嵌入式應(yīng)用領(lǐng)域，我們這這塊也已經(jīng)在做一些測試工作，也有一些比較好的結(jié)果。

雷鋒網(wǎng)新智駕：極目的單目ADAS方案與Mobileye有什么區(qū)別及優(yōu)勢？

程：Mobileye是單目ADAS的標桿，目前國內(nèi)外單目的ADAS都是更多的在以他們?yōu)槟繕诉M行學習。極目做了更多的針對國內(nèi)的路況適配，同時針對國人做了很多報警機制的優(yōu)化。同時我們以移動互聯(lián)網(wǎng)/車聯(lián)網(wǎng)為載體，在大范圍樣本獲取方面，做了很多UGC的落地工作。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。