“在大疆之前沒有人做雙目，現(xiàn)在基本上主流的都是單目加多傳感器融合，推給車企的時候就會經(jīng)歷一個更長的過程?！币晃磺按蠼囕d員工曾這樣向雷峰網(wǎng)(公眾號：雷峰網(wǎng))《新智駕》表示。

雙目視覺方案在車載上的應(yīng)用起起伏伏，從早期的高端車型專屬，到數(shù)年間的平平淡淡，大疆車載的走紅，也讓雙目視覺在智駕上的應(yīng)用再次引起關(guān)注。

雙目視覺的優(yōu)點很明顯，相較于單目攝像頭，能獲得更準確的障礙物深度信息，而相較于激光雷達，雙目能提供更稠密的點云，且成本更低。

但從上車至今，雙目仍然被認為是一條充滿爭議且艱難的路線。

一位業(yè)內(nèi)專家張巖向新智駕表示，狹義的雙目要求兩個相機連接在同一個剛體上，要做到標定一致，來獲得3D信息，但絕大多數(shù)公司沒有能力把這件事做好。

“雙目在車載領(lǐng)域已經(jīng)有10多年的歷史，但沒做好，肯定是有原因的。今天雙目能不能得到普及，就看技術(shù)能不能解決這些問題了。”

雙目視覺的技術(shù)難點怎么解決？

雙目視覺系統(tǒng)就像人的雙眼，是根據(jù)左右攝像頭的視差來計算物體距離的。

如圖所示，一人一樹位于雙目相機前方，對于左眼形成的圖像，人在樹的右側(cè)，而對于右眼，人在樹的左側(cè)。

當將兩幅圖像放在一起時，可以看出，離攝像頭較近的人視差較大，而離攝像頭較遠的樹視差較小。

也就是說，通過計算兩個攝像頭之間的視差，就能計算出物體離攝像頭的距離，而不需要識別物體到底是什么。

反之，單目攝像頭則需要首先對物體進行識別和分類，才能根據(jù)圖像大小的變化來計算物體距離。

但對駕駛來說，重要的并不是識別障礙物的種類，而是能夠探測到障礙物，并獲取自車與障礙物之間的距離，以計算可能的碰撞時間。

雙目視覺的這個特征就避免了系統(tǒng)對大量非標障礙物的學習和識別成本，并獲得比單目更精準的測距能力。

而相較于激光雷達，雙目攝像頭不僅成本更低，且能獲得比激光雷達更稠密的點云。

但在高階智駕應(yīng)用中，雙目在硬件和算法層面的難點依然存在。

首先，雙目視覺系統(tǒng)對兩個攝像頭的一致性要求很高。兩個模組要求盡量一致，光軸看向同一個方向，并做到拍攝物理空間世界時盡量同步。

硬件層面上的一致性可以得到更符合要求的高質(zhì)量圖像，從而簡化后續(xù)的標定，縮小計算搜索空間，進而減少對算力的需求，并提高軟件算法精度。

但汽車環(huán)境特殊，行駛過程中的顛簸很容易造成雙目攝像頭兩個鏡頭之間產(chǎn)生位置、角度變化，一致性降低，導(dǎo)致深度檢測準確度下降。

這就對產(chǎn)品在規(guī)模量產(chǎn)時的制造工藝和品控一致性提出了很高的要求。

而已經(jīng)形成的偏移，就需要通過算法來進行彌補。用軟件能力校正硬件層面的偏移，對算法和算力提出了要求。

張巖表示，在雙目模組發(fā)生偏差時，如果采用暴力算法校正，整個計算量的代價會很高。另外，如果雙目不準確或失效又該怎么處理，這些都是算法需要解決的問題。

其次，雙目視覺系統(tǒng)對于單調(diào)缺乏紋理的場景，例如天空、白墻、沙漠等的識別能力不強，會導(dǎo)致匹配誤差較大甚至匹配失敗。

業(yè)內(nèi)人士李華向雷峰網(wǎng)新智駕解釋，傳統(tǒng)的立體視覺算法是通過找左目和右目之間相關(guān)點的關(guān)聯(lián)性進行計算的，如果好多地方都重復(fù)，就會找不到這種關(guān)聯(lián)性，導(dǎo)致無法匹配。

鑒智機器人CEO單羿向《新智駕》表示，傳統(tǒng)立體視覺算法的這種缺陷可以通過AI算法的層次化特征提取能力來避免，使雙目即便在弱紋理區(qū)域也能獲得稠密的逐像素點深度信息，并構(gòu)建視覺點云。

“用AI做雙目可以實現(xiàn)比激光雷達稠密10倍的視覺點云。但問題同樣存在，第一，要如何訓練這樣一個AI立體視覺算法模型，第二，做這樣的算法同樣需要耗費極大的計算量?！?/p>

據(jù)單羿表示，鑒智已經(jīng)實現(xiàn)了用AI算法去做雙目立體視覺的效果，同時，團隊的算法壓縮能力可將模型的算力需求做到合理的尺度，進而將AI雙目在可接受的成本范圍內(nèi)做到產(chǎn)品級的效果。

而據(jù)李華觀察，目前主要的雙目玩家都正在從傳統(tǒng)立體匹配算法向深度學習的算法方向進化。

但AI算法是否能有效解決雙目視覺的難點，仍取決于更多落地方案的實際表現(xiàn)。

目前，大疆車載已有包括云朵靈犀版、iCAR03和悅也Plus等搭載其成行平臺方案的車型實現(xiàn)量產(chǎn)落地。鑒智機器人的雙目高階智駕項目預(yù)計最早將于今年四季度落地。

此外，包括中科慧眼和Momenta等企業(yè)也均有雙目方案推出。


雙目視覺能做到足夠高的性價比嗎？

早期，雙目視覺主要受到歐洲和日本車企一些高端豪華車型的青睞，用作主動安全功能，包括斯巴魯、捷豹、寶馬等。

而發(fā)展到今天，當雙目開始應(yīng)用于高階智駕，試圖在L2+領(lǐng)域?qū)崿F(xiàn)視覺對激光雷達的替代，選擇雙目視覺，也成為了更具性價比的路線。

一方面，雙目攝像頭硬件成本低于激光雷達，同時，上面提到的一些方案商也在算力上選擇了更具性價比的芯片。

大疆車載已經(jīng)實現(xiàn)量產(chǎn)的7V方案采用算力32 TOPS的TDA 4VH芯片，可實現(xiàn)高速領(lǐng)航輔助功能，整體成本約為5000元。

而在電動汽車百人會期間發(fā)布的7V+100 TOPS方案則可實現(xiàn)城市領(lǐng)航輔助功能，成本7000元。

鑒智機器人在北京車展上推出的7VnR方案，配置30-80TOPS算力，可支持高速領(lǐng)航輔助功能，成本做到4000元以內(nèi)。

而9VnR方案則以80+ TOPS的算力，可實現(xiàn)高速和城區(qū)全場景NOA功能，成本在5500元以內(nèi)。

雙目算法對芯片算力有更高需求，選擇較低算力的芯片，就意味著方案商需要對算法進行極致的壓縮。

一位業(yè)內(nèi)人士向《新智駕》評價稱，大疆的路線是用極低的成本來實現(xiàn)一些高階的NOA功能，這就決定了方案本身的性能有限。例如，在環(huán)島等復(fù)雜的路口可能會退出，在高速匝道也可能會錯過。算力壓到極致，同時又做無圖方案，“算法本質(zhì)沒法做到那么強”。

“華為追求所有的場景，所有的路況都能開，大疆不走這個路線，但是它便宜。華為那套去年聽說要3萬塊。”

投資人王松也表示，算力不夠強，算法就一定會做剪枝，很多corner case和很多可能的反應(yīng)就沒法寫進去，因為算力空間不夠。“雙目其實是拼公司的解決方案和算法，雙目面臨的也是成本問題。”

但大疆車載認為，芯片算力是芯片的硬件配置，系統(tǒng)運行時，有多少計算單元被實際使用，則是芯片算力利用率。例如，200 TOPS的芯片算力，如果利用率是10%，則實際算力只有20 TOPS，而32 TOPS的芯片算力，如果利用率提升到50%，實際算力就能達到16 TOPS。

大疆認為，通過其算法和模型優(yōu)化、計算加速和系統(tǒng)優(yōu)化能有效提高其芯片算力利用率。

李華同樣認為雙目視覺是一個成本問題。雙目方案在硬件和算法上的難點，決定了雙目是一種有門檻的傳感器方案。在有限的成本下，把預(yù)算用在傳感器還是算力上就是一種選擇。

“如果用在傳感器上，對算力要求就高，這是一套方案，用在算力上，那可能對雙目要求就沒那么高。也可以兩個都有，就要看場景和它帶來的優(yōu)勢有沒有幫助?！?/p>

通過將算法芯片化是一種降本提速的方式。李華表示，在雙目較大的計算要求下，芯片是最快的。而且硬件化后成本也會降低。大疆無人機就是采用了將立體視覺算法芯片化的方式。

在車載領(lǐng)域，支持雙目立體算法的芯片并不多。此前，安霸曾推出一款加入了針對雙目視覺算法硬件的芯片CV2FS，元橡也有一款專為支持雙目立體視覺設(shè)計的芯片產(chǎn)品。

不過，李華認為，目前能實現(xiàn)芯片化的應(yīng)該還是傳統(tǒng)算法，深度學習算法仍在迭代中，還沒有到芯片化的階段。但芯片中可以增加一些算子來實現(xiàn)對雙目算法更好的支持。據(jù)單羿透露，地平線就在其J6芯片架構(gòu)設(shè)計中增加了對雙目算法的支持力度。

在有限的算力條件下，雙目視覺方案是否能以較高的性價比做出足夠好的體驗，對于算法是一種挑戰(zhàn)。但同時，芯片化也是提高一部分算力利用率的方案。

此外，路面預(yù)瞄也是雙目視覺的一大應(yīng)用。單羿認為，雙目獲得的信息并不只能提供給智駕系統(tǒng)，同時也可用于整車智能化，為魔毯底盤和智能頭燈與頭顯等智能化應(yīng)用提供感知信息。這也是在整車層面提高雙目性價比的一種方案。


雙目視覺的天花板在哪？

北京車展上，大疆車載展示了其激目系統(tǒng)，即激光雷達和慣導(dǎo)三目總成方案。大疆表示，激目系統(tǒng)兼顧傳統(tǒng)視覺方案與激光雷達方案的感知優(yōu)勢，同時可大大減少資源與能耗，既可為L2+高階智駕體驗的進一步提升降低門檻，也為未來L3/L4的落地量產(chǎn)做好了準備。

對于大疆推出激光雷達方案，業(yè)內(nèi)人士猜測，可能意味著大疆在視覺方案上也碰到了性能上限。

而被問及關(guān)于激光雷達與視覺路線的看法時，單羿則堅信視覺的能力。

但和激光雷達相比，雙目視覺方案也有視覺天生無法避免的缺陷，例如在黑夜或大霧天中效果不佳，就像人在夜間和大霧天駕車的表現(xiàn)不如白天，這是由視覺本身的局限所決定的。

而且，在向更高階的自動駕駛能力發(fā)展時，單一傳感器的方案無法做到安全冗余，更多的觀點認為傳感器融合是必要的方案。

王松認為，單靠視覺，不管單目還是雙目，假設(shè)安全系數(shù)只能達到0.97或0.98，激光雷達能達到0.99，但激光雷達加視覺，或許就能達到萬分之幾的失效性。

“單個感知元件的能力都不夠，多個傳感器融合，整體的失效性才可能降低到符合車規(guī)的要求?！币虼耍跛烧J為，討論單獨某個傳感器的意義不大，智能駕駛需要的是整套系統(tǒng)的交互能力。

張巖同樣表示，對于整車安全性而言，如果不處理單點失效，目前主流的傳感器都可以用。但如果處理單點失效，就需要考慮系統(tǒng)的冗余設(shè)計，靠單一傳感器不行。L2級別的輔助駕駛最終責任在人，可以用單一傳感器，但發(fā)展到L4，系統(tǒng)需要承擔全部責任，就必須考慮單點失效，純視覺方案并不現(xiàn)實。

總之，雙目是一個很早就存在的技術(shù)路線，但存在感不高的原因一方面在于它的技術(shù)門檻較高（算法、制造工藝，質(zhì)量一致性等），被歐美少數(shù)幾個玩家維寧爾，大陸，博世，電裝等把控；

另一方面，雙目本身的技術(shù)缺陷導(dǎo)致實際需求沒有起來。

不過，在車載應(yīng)用經(jīng)歷數(shù)年沉浮后，雙目再次回歸大眾視野，是從主動安全走向更高階的智能駕駛應(yīng)用，同時從高端車型走向了性價比車型，是雙目試圖走向普及的過程。

單羿認為，到2025年，雙目方案在高階智駕中的占比可能會達到20%。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。