“在大疆之前沒(méi)有人做雙目，現(xiàn)在基本上主流的都是單目加多傳感器融合，推給車企的時(shí)候就會(huì)經(jīng)歷一個(gè)更長(zhǎng)的過(guò)程?！币晃磺按蠼囕d員工曾這樣向雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))《新智駕》表示。

雙目視覺方案在車載上的應(yīng)用起起伏伏，從早期的高端車型專屬，到數(shù)年間的平平淡淡，大疆車載的走紅，也讓雙目視覺在智駕上的應(yīng)用再次引起關(guān)注。

雙目視覺的優(yōu)點(diǎn)很明顯，相較于單目攝像頭，能獲得更準(zhǔn)確的障礙物深度信息，而相較于激光雷達(dá)，雙目能提供更稠密的點(diǎn)云，且成本更低。

但從上車至今，雙目仍然被認(rèn)為是一條充滿爭(zhēng)議且艱難的路線。

一位業(yè)內(nèi)專家張巖向新智駕表示，狹義的雙目要求兩個(gè)相機(jī)連接在同一個(gè)剛體上，要做到標(biāo)定一致，來(lái)獲得3D信息，但絕大多數(shù)公司沒(méi)有能力把這件事做好。

“雙目在車載領(lǐng)域已經(jīng)有10多年的歷史，但沒(méi)做好，肯定是有原因的。今天雙目能不能得到普及，就看技術(shù)能不能解決這些問(wèn)題了?！?br/>

雙目視覺的技術(shù)難點(diǎn)怎么解決？

雙目視覺系統(tǒng)就像人的雙眼，是根據(jù)左右攝像頭的視差來(lái)計(jì)算物體距離的。

如圖所示，一人一樹位于雙目相機(jī)前方，對(duì)于左眼形成的圖像，人在樹的右側(cè)，而對(duì)于右眼，人在樹的左側(cè)。

當(dāng)將兩幅圖像放在一起時(shí)，可以看出，離攝像頭較近的人視差較大，而離攝像頭較遠(yuǎn)的樹視差較小。

也就是說(shuō)，通過(guò)計(jì)算兩個(gè)攝像頭之間的視差，就能計(jì)算出物體離攝像頭的距離，而不需要識(shí)別物體到底是什么。

反之，單目攝像頭則需要首先對(duì)物體進(jìn)行識(shí)別和分類，才能根據(jù)圖像大小的變化來(lái)計(jì)算物體距離。

但對(duì)駕駛來(lái)說(shuō)，重要的并不是識(shí)別障礙物的種類，而是能夠探測(cè)到障礙物，并獲取自車與障礙物之間的距離，以計(jì)算可能的碰撞時(shí)間。

雙目視覺的這個(gè)特征就避免了系統(tǒng)對(duì)大量非標(biāo)障礙物的學(xué)習(xí)和識(shí)別成本，并獲得比單目更精準(zhǔn)的測(cè)距能力。

而相較于激光雷達(dá)，雙目攝像頭不僅成本更低，且能獲得比激光雷達(dá)更稠密的點(diǎn)云。

但在高階智駕應(yīng)用中，雙目在硬件和算法層面的難點(diǎn)依然存在。

首先，雙目視覺系統(tǒng)對(duì)兩個(gè)攝像頭的一致性要求很高。兩個(gè)模組要求盡量一致，光軸看向同一個(gè)方向，并做到拍攝物理空間世界時(shí)盡量同步。

硬件層面上的一致性可以得到更符合要求的高質(zhì)量圖像，從而簡(jiǎn)化后續(xù)的標(biāo)定，縮小計(jì)算搜索空間，進(jìn)而減少對(duì)算力的需求，并提高軟件算法精度。

但汽車環(huán)境特殊，行駛過(guò)程中的顛簸很容易造成雙目攝像頭兩個(gè)鏡頭之間產(chǎn)生位置、角度變化，一致性降低，導(dǎo)致深度檢測(cè)準(zhǔn)確度下降。

這就對(duì)產(chǎn)品在規(guī)模量產(chǎn)時(shí)的制造工藝和品控一致性提出了很高的要求。

而已經(jīng)形成的偏移，就需要通過(guò)算法來(lái)進(jìn)行彌補(bǔ)。用軟件能力校正硬件層面的偏移，對(duì)算法和算力提出了要求。

張巖表示，在雙目模組發(fā)生偏差時(shí)，如果采用暴力算法校正，整個(gè)計(jì)算量的代價(jià)會(huì)很高。另外，如果雙目不準(zhǔn)確或失效又該怎么處理，這些都是算法需要解決的問(wèn)題。

其次，雙目視覺系統(tǒng)對(duì)于單調(diào)缺乏紋理的場(chǎng)景，例如天空、白墻、沙漠等的識(shí)別能力不強(qiáng)，會(huì)導(dǎo)致匹配誤差較大甚至匹配失敗。

業(yè)內(nèi)人士李華向雷峰網(wǎng)新智駕解釋，傳統(tǒng)的立體視覺算法是通過(guò)找左目和右目之間相關(guān)點(diǎn)的關(guān)聯(lián)性進(jìn)行計(jì)算的，如果好多地方都重復(fù)，就會(huì)找不到這種關(guān)聯(lián)性，導(dǎo)致無(wú)法匹配。

鑒智機(jī)器人CEO單羿向《新智駕》表示，傳統(tǒng)立體視覺算法的這種缺陷可以通過(guò)AI算法的層次化特征提取能力來(lái)避免，使雙目即便在弱紋理區(qū)域也能獲得稠密的逐像素點(diǎn)深度信息，并構(gòu)建視覺點(diǎn)云。

“用AI做雙目可以實(shí)現(xiàn)比激光雷達(dá)稠密10倍的視覺點(diǎn)云。但問(wèn)題同樣存在，第一，要如何訓(xùn)練這樣一個(gè)AI立體視覺算法模型，第二，做這樣的算法同樣需要耗費(fèi)極大的計(jì)算量?！?/p>

據(jù)單羿表示，鑒智已經(jīng)實(shí)現(xiàn)了用AI算法去做雙目立體視覺的效果，同時(shí)，團(tuán)隊(duì)的算法壓縮能力可將模型的算力需求做到合理的尺度，進(jìn)而將AI雙目在可接受的成本范圍內(nèi)做到產(chǎn)品級(jí)的效果。

而據(jù)李華觀察，目前主要的雙目玩家都正在從傳統(tǒng)立體匹配算法向深度學(xué)習(xí)的算法方向進(jìn)化。

但AI算法是否能有效解決雙目視覺的難點(diǎn)，仍取決于更多落地方案的實(shí)際表現(xiàn)。

目前，大疆車載已有包括云朵靈犀版、iCAR03和悅也Plus等搭載其成行平臺(tái)方案的車型實(shí)現(xiàn)量產(chǎn)落地。鑒智機(jī)器人的雙目高階智駕項(xiàng)目預(yù)計(jì)最早將于今年四季度落地。

此外，包括中科慧眼和Momenta等企業(yè)也均有雙目方案推出。


雙目視覺能做到足夠高的性價(jià)比嗎？

早期，雙目視覺主要受到歐洲和日本車企一些高端豪華車型的青睞，用作主動(dòng)安全功能，包括斯巴魯、捷豹、寶馬等。

而發(fā)展到今天，當(dāng)雙目開始應(yīng)用于高階智駕，試圖在L2+領(lǐng)域?qū)崿F(xiàn)視覺對(duì)激光雷達(dá)的替代，選擇雙目視覺，也成為了更具性價(jià)比的路線。

一方面，雙目攝像頭硬件成本低于激光雷達(dá)，同時(shí)，上面提到的一些方案商也在算力上選擇了更具性價(jià)比的芯片。

大疆車載已經(jīng)實(shí)現(xiàn)量產(chǎn)的7V方案采用算力32 TOPS的TDA 4VH芯片，可實(shí)現(xiàn)高速領(lǐng)航輔助功能，整體成本約為5000元。

而在電動(dòng)汽車百人會(huì)期間發(fā)布的7V+100 TOPS方案則可實(shí)現(xiàn)城市領(lǐng)航輔助功能，成本7000元。

鑒智機(jī)器人在北京車展上推出的7VnR方案，配置30-80TOPS算力，可支持高速領(lǐng)航輔助功能，成本做到4000元以內(nèi)。

而9VnR方案則以80+ TOPS的算力，可實(shí)現(xiàn)高速和城區(qū)全場(chǎng)景NOA功能，成本在5500元以內(nèi)。

雙目算法對(duì)芯片算力有更高需求，選擇較低算力的芯片，就意味著方案商需要對(duì)算法進(jìn)行極致的壓縮。

一位業(yè)內(nèi)人士向《新智駕》評(píng)價(jià)稱，大疆的路線是用極低的成本來(lái)實(shí)現(xiàn)一些高階的NOA功能，這就決定了方案本身的性能有限。例如，在環(huán)島等復(fù)雜的路口可能會(huì)退出，在高速匝道也可能會(huì)錯(cuò)過(guò)。算力壓到極致，同時(shí)又做無(wú)圖方案，“算法本質(zhì)沒(méi)法做到那么強(qiáng)”。

“華為追求所有的場(chǎng)景，所有的路況都能開，大疆不走這個(gè)路線，但是它便宜。華為那套去年聽說(shuō)要3萬(wàn)塊。”

投資人王松也表示，算力不夠強(qiáng)，算法就一定會(huì)做剪枝，很多corner case和很多可能的反應(yīng)就沒(méi)法寫進(jìn)去，因?yàn)樗懔臻g不夠。“雙目其實(shí)是拼公司的解決方案和算法，雙目面臨的也是成本問(wèn)題。”

但大疆車載認(rèn)為，芯片算力是芯片的硬件配置，系統(tǒng)運(yùn)行時(shí)，有多少計(jì)算單元被實(shí)際使用，則是芯片算力利用率。例如，200 TOPS的芯片算力，如果利用率是10%，則實(shí)際算力只有20 TOPS，而32 TOPS的芯片算力，如果利用率提升到50%，實(shí)際算力就能達(dá)到16 TOPS。

大疆認(rèn)為，通過(guò)其算法和模型優(yōu)化、計(jì)算加速和系統(tǒng)優(yōu)化能有效提高其芯片算力利用率。

李華同樣認(rèn)為雙目視覺是一個(gè)成本問(wèn)題。雙目方案在硬件和算法上的難點(diǎn)，決定了雙目是一種有門檻的傳感器方案。在有限的成本下，把預(yù)算用在傳感器還是算力上就是一種選擇。

“如果用在傳感器上，對(duì)算力要求就高，這是一套方案，用在算力上，那可能對(duì)雙目要求就沒(méi)那么高。也可以兩個(gè)都有，就要看場(chǎng)景和它帶來(lái)的優(yōu)勢(shì)有沒(méi)有幫助?！?/p>

通過(guò)將算法芯片化是一種降本提速的方式。李華表示，在雙目較大的計(jì)算要求下，芯片是最快的。而且硬件化后成本也會(huì)降低。大疆無(wú)人機(jī)就是采用了將立體視覺算法芯片化的方式。

在車載領(lǐng)域，支持雙目立體算法的芯片并不多。此前，安霸曾推出一款加入了針對(duì)雙目視覺算法硬件的芯片CV2FS，元橡也有一款專為支持雙目立體視覺設(shè)計(jì)的芯片產(chǎn)品。

不過(guò)，李華認(rèn)為，目前能實(shí)現(xiàn)芯片化的應(yīng)該還是傳統(tǒng)算法，深度學(xué)習(xí)算法仍在迭代中，還沒(méi)有到芯片化的階段。但芯片中可以增加一些算子來(lái)實(shí)現(xiàn)對(duì)雙目算法更好的支持。據(jù)單羿透露，地平線就在其J6芯片架構(gòu)設(shè)計(jì)中增加了對(duì)雙目算法的支持力度。

在有限的算力條件下，雙目視覺方案是否能以較高的性價(jià)比做出足夠好的體驗(yàn)，對(duì)于算法是一種挑戰(zhàn)。但同時(shí)，芯片化也是提高一部分算力利用率的方案。

此外，路面預(yù)瞄也是雙目視覺的一大應(yīng)用。單羿認(rèn)為，雙目獲得的信息并不只能提供給智駕系統(tǒng)，同時(shí)也可用于整車智能化，為魔毯底盤和智能頭燈與頭顯等智能化應(yīng)用提供感知信息。這也是在整車層面提高雙目性價(jià)比的一種方案。


雙目視覺的天花板在哪？

北京車展上，大疆車載展示了其激目系統(tǒng)，即激光雷達(dá)和慣導(dǎo)三目總成方案。大疆表示，激目系統(tǒng)兼顧傳統(tǒng)視覺方案與激光雷達(dá)方案的感知優(yōu)勢(shì)，同時(shí)可大大減少資源與能耗，既可為L(zhǎng)2+高階智駕體驗(yàn)的進(jìn)一步提升降低門檻，也為未來(lái)L3/L4的落地量產(chǎn)做好了準(zhǔn)備。

對(duì)于大疆推出激光雷達(dá)方案，業(yè)內(nèi)人士猜測(cè)，可能意味著大疆在視覺方案上也碰到了性能上限。

而被問(wèn)及關(guān)于激光雷達(dá)與視覺路線的看法時(shí)，單羿則堅(jiān)信視覺的能力。

但和激光雷達(dá)相比，雙目視覺方案也有視覺天生無(wú)法避免的缺陷，例如在黑夜或大霧天中效果不佳，就像人在夜間和大霧天駕車的表現(xiàn)不如白天，這是由視覺本身的局限所決定的。

而且，在向更高階的自動(dòng)駕駛能力發(fā)展時(shí)，單一傳感器的方案無(wú)法做到安全冗余，更多的觀點(diǎn)認(rèn)為傳感器融合是必要的方案。

王松認(rèn)為，單靠視覺，不管單目還是雙目，假設(shè)安全系數(shù)只能達(dá)到0.97或0.98，激光雷達(dá)能達(dá)到0.99，但激光雷達(dá)加視覺，或許就能達(dá)到萬(wàn)分之幾的失效性。

“單個(gè)感知元件的能力都不夠，多個(gè)傳感器融合，整體的失效性才可能降低到符合車規(guī)的要求?！币虼耍跛烧J(rèn)為，討論單獨(dú)某個(gè)傳感器的意義不大，智能駕駛需要的是整套系統(tǒng)的交互能力。

張巖同樣表示，對(duì)于整車安全性而言，如果不處理單點(diǎn)失效，目前主流的傳感器都可以用。但如果處理單點(diǎn)失效，就需要考慮系統(tǒng)的冗余設(shè)計(jì)，靠單一傳感器不行。L2級(jí)別的輔助駕駛最終責(zé)任在人，可以用單一傳感器，但發(fā)展到L4，系統(tǒng)需要承擔(dān)全部責(zé)任，就必須考慮單點(diǎn)失效，純視覺方案并不現(xiàn)實(shí)。

總之，雙目是一個(gè)很早就存在的技術(shù)路線，但存在感不高的原因一方面在于它的技術(shù)門檻較高（算法、制造工藝，質(zhì)量一致性等），被歐美少數(shù)幾個(gè)玩家維寧爾，大陸，博世，電裝等把控；

另一方面，雙目本身的技術(shù)缺陷導(dǎo)致實(shí)際需求沒(méi)有起來(lái)。

不過(guò)，在車載應(yīng)用經(jīng)歷數(shù)年沉浮后，雙目再次回歸大眾視野，是從主動(dòng)安全走向更高階的智能駕駛應(yīng)用，同時(shí)從高端車型走向了性價(jià)比車型，是雙目試圖走向普及的過(guò)程。

單羿認(rèn)為，到2025年，雙目方案在高階智駕中的占比可能會(huì)達(dá)到20%。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。