近年來(lái)智能駕駛成為汽車行業(yè)的焦點(diǎn)，隨著軟硬件性能的提高，廠商們也開(kāi)始了向更高級(jí)別的自動(dòng)駕駛邁進(jìn)的研發(fā)之路。

從簡(jiǎn)單的控制汽車橫縱向移動(dòng)到點(diǎn)對(duì)點(diǎn)自動(dòng)駕駛功能的完美實(shí)現(xiàn)是眾多汽車廠家及供應(yīng)商鉆研的方向。

在一定程度普及ADAS功能后，依靠高精地圖導(dǎo)實(shí)現(xiàn)自動(dòng)駕駛的領(lǐng)航輔助駕駛（NOA）開(kāi)始慢慢的出現(xiàn)在大眾視野里。

在此賽道上不乏一直走在智能領(lǐng)域前端的科技公司，如何更好的滿足主機(jī)廠的需求，實(shí)現(xiàn)產(chǎn)品的快速落地可能是科技公司首先需要思考的。他們又是如何應(yīng)對(duì)此挑戰(zhàn)的呢？

雷峰網(wǎng)新智駕邀請(qǐng)了商湯科技絕影量產(chǎn)智能駕駛總監(jiān)蔣沁宏來(lái)進(jìn)行業(yè)內(nèi)分享。以下為蔣沁宏的演講內(nèi)容，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))新智駕進(jìn)行了不改變?cè)獾恼恚?/strong>

大家晚上好，我是來(lái)自商湯絕影的研發(fā)總監(jiān)蔣沁宏，負(fù)責(zé)量產(chǎn)行車和感知算法的研發(fā)工作。

今天的分享主題：智能駕駛算法平臺(tái)化加速NOA的量產(chǎn)落地。主要介紹下當(dāng)前絕影的產(chǎn)品方案，以及在產(chǎn)品和項(xiàng)目迭代過(guò)程中的一些研發(fā)思考和部分算法。

內(nèi)容主要會(huì)分三部分：

1.SenseAuto Pilot產(chǎn)品方案

2.絕影的技術(shù)思考

3.部分算法概覽

SenseAuto Pilot產(chǎn)品方案

商湯絕影目前有低中高三套產(chǎn)品方案，對(duì)應(yīng)不同的傳感器配置以及域控平臺(tái)。低配方案是1R6V加12個(gè)超聲波雷達(dá)，支持到L2智能輔助駕駛以及記憶泊車，可部署在8 TOPS - 24 TOPS的芯片平臺(tái)。中配的方案，是目前市面上比較常見(jiàn)的5R11V外加12個(gè)超聲波雷達(dá)方案，支持到高速領(lǐng)航駕駛以及記憶泊車，可部署在32 TOPS - 100 TOPS+的芯片平臺(tái)。高階方案相比于中配方案額外增加3顆激光雷達(dá)，對(duì)應(yīng)的平臺(tái)算力也比較強(qiáng)，在駕駛功能上可以拓展到城市領(lǐng)航輔助駕駛。

以上方案均已兼容國(guó)內(nèi)外的主流芯片平臺(tái)。

·低配方案

低配方案主打性價(jià)比，可以支持 L2 智能輔助駕駛，駕駛員指令變道和記憶泊車。傳感器方案上，在前向采用120度 8M 相機(jī)，后向采用60度 2M 相機(jī)，4顆魚眼相機(jī)模組，1顆前向毫米波雷達(dá)，以及標(biāo)準(zhǔn)的12顆超聲波雷達(dá)。最大程度復(fù)用傳感器感知：在行車時(shí)，側(cè)向魚眼會(huì)同時(shí)提供目標(biāo)、障礙物以及車道線的感知；但因?yàn)轸~眼相機(jī)的畸變大，感知距離有限，所以不推薦基于該方案實(shí)現(xiàn)高速的主動(dòng)變道功能；在泊車場(chǎng)景下，這套方案也會(huì)完全復(fù)用各個(gè)傳感器。

·中配方案

中配方案是當(dāng)前比較常見(jiàn)的5R11V方案，前向相機(jī)切換為30度窄角和120度寬角。30度相機(jī)的加入可以實(shí)現(xiàn)更遠(yuǎn)距離的前向感知，并支持如TSR等的小目標(biāo)感知，車輛、障礙物的感知距離也會(huì)增加。其次為了增強(qiáng)側(cè)向感知能力，方案配置了4顆側(cè)向的攝像頭以及4顆角雷達(dá)，這樣可以使側(cè)向的感知距離以及對(duì)障礙物的位置、速度估計(jì)精度有大幅的提升。

此配置可以支持高速領(lǐng)航駕駛（高速NOA）。此外，和低配方案一致，也是復(fù)用傳感器的行泊一體方案。

·高配方案

高配方案中，前向攝像頭均為8M相機(jī)模組，前向感知距離進(jìn)一步提升，同時(shí)引入了三顆激光雷達(dá)，一顆正前向，兩顆補(bǔ)盲，增強(qiáng)障礙物位置精度的同時(shí)，提供更多通用未知障礙物感知功能。在城市場(chǎng)景當(dāng)中能夠支持窄路通行等功能。在泊車場(chǎng)景下，激光雷達(dá)還能夠使建圖及定位的精度會(huì)獲得較大提升。

絕影的技術(shù)思考

商湯絕影的研發(fā)模式為基于數(shù)據(jù)驅(qū)動(dòng)的平臺(tái)型研發(fā)。數(shù)據(jù)驅(qū)動(dòng)可以使不同平臺(tái)的數(shù)據(jù)共享，從而幫助算法性能的提升，通過(guò)平臺(tái)型研發(fā)賦能不同的產(chǎn)品和項(xiàng)目。在此研發(fā)范式下，有三個(gè)比較關(guān)鍵的因素：

首先是駕駛場(chǎng)景數(shù)據(jù)，即如何拿到入口，能夠有更豐富的業(yè)務(wù)場(chǎng)景數(shù)據(jù)來(lái)源。

其次是數(shù)據(jù)獲取效率，即如何較快地去獲取這些數(shù)據(jù)。兩個(gè)維度：一方面是如何基于新計(jì)算平臺(tái)快速地使能車輛跑起來(lái)，實(shí)現(xiàn)閉環(huán)迭代；另一方面是如何快速實(shí)現(xiàn)數(shù)據(jù)回流。

最后，最關(guān)鍵的是數(shù)據(jù)利用效率，也即場(chǎng)景數(shù)據(jù)到手后，進(jìn)一步探索如何高效地利用數(shù)據(jù)。

從技術(shù)思考來(lái)看，我們希望通過(guò)海量的數(shù)據(jù)和平臺(tái)化的技術(shù)研發(fā)助力算法提升，進(jìn)而在不同的項(xiàng)目、平臺(tái)和產(chǎn)品上獲得產(chǎn)品性能的提升。

·駕駛場(chǎng)景數(shù)據(jù)

到目前為止，商湯絕影與30多家車企建立了共榮共生的合作關(guān)系，2022年我們與一汽、廣汽簽署了戰(zhàn)略合作協(xié)議，和多家車企廣泛開(kāi)展量產(chǎn)合作，幫助我們有效獲取駕駛場(chǎng)景數(shù)據(jù)迭代算法。

·數(shù)據(jù)獲取效率

面對(duì)不同的硬件平臺(tái)和底軟，如何快速實(shí)現(xiàn)閉環(huán)迭代以及經(jīng)驗(yàn)共享是關(guān)鍵。我們開(kāi)發(fā)了一套全平臺(tái)一體化工具鏈。

首先對(duì)于域控系統(tǒng)的中間件開(kāi)發(fā)，商湯絕影擁有自研中間件的開(kāi)發(fā)能力，也支持基于集成供應(yīng)商提供的第三方中間件進(jìn)行開(kāi)發(fā)。針對(duì)不同中間件，做了統(tǒng)一適配層（RSCL)封裝，屏蔽不同的中間件和底軟的差異，為上層SenseAuto Pilot應(yīng)用軟件提供統(tǒng)一化接口，同時(shí)包括錄制回放、性能分析、數(shù)據(jù)的切分、可視化等工具鏈都基于統(tǒng)一適配層實(shí)現(xiàn)。這樣可以保證在不同的項(xiàng)目中，應(yīng)用層代碼、開(kāi)發(fā)的工具鏈以及數(shù)據(jù)完全共享。這里提到的數(shù)據(jù)不僅僅是點(diǎn)云、圖像層級(jí)的原始數(shù)據(jù)，也包括中間結(jié)果數(shù)據(jù)。

針對(duì)模型部署推理，不同的芯片平臺(tái)有不同的深度學(xué)習(xí)庫(kù)和不同的推理方式。商湯有專業(yè)的工具鏈團(tuán)隊(duì)，負(fù)責(zé)開(kāi)發(fā)統(tǒng)一平臺(tái)部署系統(tǒng)，屏蔽不同的推理后端和模型格式。舉例來(lái)說(shuō)，A芯片平臺(tái)當(dāng)前不支持Transformer算法相關(guān)算子，但支持類似矩陣乘法、并行加速等基本開(kāi)放接口，我們的PPL團(tuán)隊(duì)會(huì)基于這些接口，開(kāi)發(fā)對(duì)應(yīng)的高性能算子，并和平臺(tái)原生算子一起整合到部署系統(tǒng)中。部署系統(tǒng)會(huì)自動(dòng)地進(jìn)行網(wǎng)絡(luò)圖的切分、格式轉(zhuǎn)換、無(wú)縫支持該平臺(tái)不支持的算子。對(duì)于研究員來(lái)說(shuō)，不管后端究竟是什么模式，也能夠使用相對(duì)標(biāo)準(zhǔn)化模型推理的接口。

有了這些，我們?cè)诿鎸?duì)一個(gè)新的平臺(tái)和底層軟件系統(tǒng)，完成從0到1完整的搭建，只需要一到兩個(gè)月的時(shí)間。這也是絕影可以支持眾多芯片平臺(tái)的底氣。

·數(shù)據(jù)利用效率

在擁有完整的研發(fā)體系后，如何較快、較好的利用這些數(shù)據(jù)，商湯做了兩件核心的工作：建立人工智能數(shù)據(jù)中心，和建立遍布全球的人工智能超算集群，目前總計(jì)擁有大概4.91exa FLOPs算力?；贏IDC基礎(chǔ)裝置，我們?cè)?021年底發(fā)布了名為書生（Intern）的超大模型，是視覺(jué)模型領(lǐng)域業(yè)界最大的模型。同時(shí)，借助書生超大模型和超算中心，我們搭建了自研的數(shù)據(jù)閉環(huán)自動(dòng)化體系。

獲取數(shù)據(jù)后，如何高效利用數(shù)據(jù)，涉及數(shù)據(jù)的自動(dòng)化生產(chǎn)。

針對(duì)駕駛業(yè)務(wù)場(chǎng)景，我們開(kāi)發(fā)了視覺(jué)的超大模型（通才模型）以及基于駕駛業(yè)務(wù)場(chǎng)景數(shù)據(jù)的訓(xùn)練得到的模型（專才模型）?；谶@兩個(gè)模型，對(duì)從車端導(dǎo)出的無(wú)標(biāo)簽原始數(shù)據(jù)進(jìn)行推理，并基于規(guī)則對(duì)推理結(jié)果進(jìn)行質(zhì)量檢查。低質(zhì)量、判斷不達(dá)標(biāo)的數(shù)據(jù)送給質(zhì)檢員，質(zhì)檢員會(huì)做進(jìn)一步檢查以及精修（Refine），最后生成高質(zhì)量的數(shù)據(jù)標(biāo)簽。

通過(guò)這套體系，不管是標(biāo)注的速度、成本，還是模型迭代的速度都有了較大的提升。就檢測(cè)任務(wù)來(lái)說(shuō)，目前基本不需要人工標(biāo)注2D數(shù)據(jù)，標(biāo)注速度對(duì)比之前有約 600 倍的提升，成本也有著百倍量級(jí)的下降，迭代速度約為之前的18倍。

針對(duì)自動(dòng)駕駛海量的數(shù)據(jù)，需要建立對(duì)應(yīng)的標(biāo)簽體系。絕影的標(biāo)簽體系分為四個(gè)細(xì)分的領(lǐng)域：交通參與者、交通設(shè)施、動(dòng)物以及路上的其他障礙物。標(biāo)簽層級(jí)目前有6層級(jí)，總的標(biāo)簽數(shù)量3000多個(gè)。同時(shí)我們建立了一套自研的數(shù)據(jù)篩選引擎，針對(duì)不同條件進(jìn)行數(shù)據(jù)篩選及過(guò)濾，可以使數(shù)據(jù)的獲取成本降低約94%。

算法的概覽

·長(zhǎng)尾模型研發(fā)

語(yǔ)義層級(jí)的細(xì)化可以帶來(lái)駕駛風(fēng)格的提升，從而讓用戶體驗(yàn)更加智能的系統(tǒng)。因此感知語(yǔ)義層級(jí)的細(xì)化能夠帶來(lái)智能駕駛功能的升級(jí)。這些語(yǔ)義標(biāo)簽都符合長(zhǎng)尾分布。

長(zhǎng)尾問(wèn)題的解決關(guān)鍵，一方面是長(zhǎng)尾模型的研發(fā)，另一方面是數(shù)據(jù)體系建立。

數(shù)據(jù)上，會(huì)基于超大模型做數(shù)據(jù)挖掘。首先是基于Clip的冷啟動(dòng)，在現(xiàn)有的數(shù)據(jù)庫(kù)里做對(duì)應(yīng)的圖像搜索。有了這部分?jǐn)?shù)據(jù)后，進(jìn)行特定檢測(cè)模型的孵化，保障它能有較高的recall。然后會(huì)把該模型部署在車端，自動(dòng)地在開(kāi)集的世界里打標(biāo)收集數(shù)據(jù)，并回流到云端，進(jìn)入大模型的打標(biāo)過(guò)程，生產(chǎn)對(duì)應(yīng)的標(biāo)簽。

針對(duì)模型的研發(fā)，我們通常采取的方式是：首先針對(duì)某一款芯片平臺(tái)進(jìn)行模型結(jié)構(gòu)搜索，搜索得到對(duì)應(yīng)的模型庫(kù)也就是對(duì)應(yīng)的候選檢測(cè)模型List。通過(guò)自動(dòng)的數(shù)據(jù)標(biāo)簽，以及知識(shí)蒸餾等進(jìn)行算法的訓(xùn)練，得到最終的end model。

我們完成一個(gè)長(zhǎng)尾模型的研發(fā)，通常不會(huì)超過(guò)1周時(shí)間。

·BEV3D感知

商湯絕影在目前所有的項(xiàng)目包括量產(chǎn)平臺(tái)上所涉及的平臺(tái)，都實(shí)現(xiàn)了BEV 3D感知的落地。

BEV 3D感知的核心優(yōu)勢(shì)在于提供了一個(gè)適合自動(dòng)駕駛的特征表達(dá)形式，對(duì)遮擋目標(biāo)的檢測(cè)，穩(wěn)定性效果更好，對(duì)車道線遠(yuǎn)距離感知以及大弧度彎道等檢測(cè)更加完善等等。近來(lái)大家討論火熱的輕地圖方案，也是以BEV表達(dá)為基礎(chǔ)的。

BEV3D感知關(guān)鍵不在于模型算法，而在于數(shù)據(jù)生產(chǎn)。為此我們構(gòu)建了一套全自動(dòng)化的真值系統(tǒng)?；贑amera與LiDAR大模型，以及LiDAR SLAM和離線MOT，我們搭建了一套支持動(dòng)靜態(tài)目標(biāo)，道路結(jié)構(gòu)3D高保真還原的真值系統(tǒng)。針對(duì)實(shí)車傳感器容易出現(xiàn)的問(wèn)題，我們建立了時(shí)空對(duì)齊的自動(dòng)化檢驗(yàn)，能夠?qū)崿F(xiàn)原始數(shù)據(jù)的半自動(dòng)化清洗。同時(shí)借助于我們AIDC大模型上的一些體系技術(shù)，實(shí)現(xiàn)了多機(jī)多卡的處理，能夠支持 1000 多張卡的自動(dòng)化并行處理流程。另外我們還構(gòu)建了自動(dòng)化生產(chǎn)平臺(tái)，操作節(jié)點(diǎn)之間構(gòu)成一個(gè)DAG，自動(dòng)化執(zhí)行真值系統(tǒng)算法生產(chǎn)，平臺(tái)每天定時(shí)查詢車輛新增數(shù)據(jù)，自動(dòng)觸發(fā)真值的生成并更新數(shù)據(jù)庫(kù)。

當(dāng)算法部署在多個(gè)量產(chǎn)車型時(shí)，相機(jī)安裝位置、型號(hào)不盡相同，會(huì)引入Depth Shift和FOV GAP等跨域泛化問(wèn)題。針對(duì)此問(wèn)題，商湯絕影基于數(shù)據(jù)增強(qiáng)，知識(shí)遷移等方案，將無(wú)標(biāo)簽數(shù)據(jù)逼近有標(biāo)簽結(jié)果，可以有效解決不同產(chǎn)品項(xiàng)目的數(shù)據(jù)共享，以及新項(xiàng)目的算法冷啟動(dòng)問(wèn)題。

這兩年商湯絕影在端到端的自動(dòng)駕駛、BEV的算法方案預(yù)訓(xùn)練、知識(shí)遷移與泛化性等相關(guān)學(xué)術(shù)領(lǐng)域，發(fā)表了多篇頂會(huì)和期刊論文。商湯在2022年環(huán)視感知算法BEVFormer++獲得了Waymo挑戰(zhàn)賽冠軍，2023年與上海人工智能實(shí)驗(yàn)室合作端到端自動(dòng)駕駛UniAD，拿到CVPR 2023 Award Candidate，并會(huì)競(jìng)爭(zhēng)今年CVPR Best Paper。如果有感興趣的小伙伴，不管是實(shí)習(xí)還是全職，也歡迎加入我們。

以上就是我今天的分享內(nèi)容，謝謝大家。

Q&A環(huán)節(jié)

1.激光雷達(dá)在城市NOA中是否必須？激光雷達(dá)解決哪些場(chǎng)景？

從目前迭代來(lái)看，激光雷達(dá)在城市場(chǎng)景中還是非常必要的。一個(gè)是城市場(chǎng)景里交通參與者有非常強(qiáng)的不確定性，比如說(shuō)行人、騎電動(dòng)車的亂穿馬路等，需要激光雷達(dá)去提升這部分感知物體的精度。另外在城市場(chǎng)景下會(huì)更多奇形怪狀的障礙物，激光雷達(dá)能夠更好地識(shí)別這種非結(jié)構(gòu)化或者非標(biāo)準(zhǔn)化的障礙物，更好地應(yīng)對(duì)城市場(chǎng)景。

2.數(shù)據(jù)驅(qū)動(dòng)這一塊兒從哪方面入手？幫助算法或者開(kāi)發(fā)做功能開(kāi)發(fā)的替代HIL？

應(yīng)該是兩個(gè)事， HIL更多指的是對(duì)整個(gè)系統(tǒng)進(jìn)行的離線硬件在環(huán)測(cè)試。數(shù)據(jù)驅(qū)動(dòng)則是指我們?cè)谒惴ㄑ邪l(fā)的時(shí)候，從頂層設(shè)計(jì)來(lái)講，就希望算法是通過(guò)數(shù)據(jù)驅(qū)動(dòng)來(lái)實(shí)現(xiàn)的，而不是通過(guò)規(guī)則實(shí)現(xiàn)的。

舉一個(gè)簡(jiǎn)單的例子，比如BEV 3D感知。

目標(biāo)感知傳統(tǒng)的做法是每個(gè)相機(jī)單獨(dú)進(jìn)行障礙物的感知，然后再把多個(gè)相機(jī)的結(jié)果進(jìn)行融合。這就是一套基于規(guī)則或者說(shuō)基于傳統(tǒng)的貝葉斯濾波來(lái)實(shí)現(xiàn)的。

我們希望盡可能的把這些過(guò)程放到模型或者數(shù)據(jù)里面，對(duì)應(yīng)的做法就是BEV 3D感知，直接在模型里就能夠輸出多相機(jī)的感知結(jié)果，這是我們說(shuō)的數(shù)據(jù)驅(qū)動(dòng)的思路。

3.請(qǐng)問(wèn)部署的BEV方案用的是BEV Former 嗎？

看平臺(tái),和部署效率相關(guān)。BEVFormer 或者目前業(yè)界比較常見(jiàn)的基于LSS的方案，它對(duì)應(yīng)的BEV Feature是非常稠密的,一些低算力平臺(tái)不太能夠吃得消。因此我們?cè)谝恍┑退懔ζ脚_(tái)，也會(huì)用一些稀疏的方案，不會(huì)去構(gòu)建BEV完整的Feature，而是針對(duì)query去拿相對(duì)稀疏的信息。但其它任務(wù)，比如我們想要進(jìn)行Occupancy預(yù)測(cè)，或者進(jìn)行全場(chǎng)景的感知任務(wù)，則需要稠密 BEV Feature，這個(gè)目前在用的是BEVFormer。但目前在量產(chǎn)上，BEV特征方案其實(shí)不是最關(guān)鍵的，更關(guān)鍵的是比如圖像輸入大小，后面的任務(wù)是基于Transformer，還是基于一個(gè)傳統(tǒng)的Detection Head等，怎么建模該任務(wù)等，這些事情相對(duì)而言會(huì)更關(guān)鍵一點(diǎn)。

4.毫米波雷達(dá)的路沿使用效果如何？為何沒(méi)有用作路沿監(jiān)測(cè)？

其實(shí)是有用的，我們?cè)诓粠Ъす饫走_(dá)方案下的目標(biāo)融合模塊，會(huì)用毫米波做一些高速路沿相關(guān)的任務(wù)，主要是輔助我們做一些FP濾除工作。

5.BEV只能通過(guò)Camera的光流信息捕捉實(shí)現(xiàn)嗎？LiDAR和RADAR是否在其中有價(jià)值？

BEV不只是對(duì)相機(jī)。之前大家做算法任務(wù)時(shí)，思考都是以傳感器視角的Front View 形式。而B(niǎo)EV提供了一個(gè)更適合自動(dòng)駕駛的全新研究范式，它的來(lái)源最早應(yīng)該是在激光雷達(dá)領(lǐng)域，空間特征的表達(dá)不再是以Front View形式，而是以自車為中心，通過(guò)鳥(niǎo)瞰圖的形式把它拍平來(lái)做特征建模。這種特征建模對(duì)于激光雷達(dá)還是毫米波雷達(dá)都是有天然優(yōu)勢(shì)的，它們可以非常方便的加入進(jìn)來(lái)。

6.商湯的BEV算法相比同行有哪些領(lǐng)先之處？

其實(shí)前面的分享有陸續(xù)提到。首先在學(xué)術(shù)研究上，我們肯定是站在最前沿的，不管是國(guó)際挑戰(zhàn)賽，還是學(xué)術(shù)論文。同時(shí)我們會(huì)更多地做量產(chǎn)上的思考，強(qiáng)大的部署團(tuán)隊(duì)使得我們?cè)诘退懔ζ脚_(tái)也能夠?qū)崿F(xiàn)BEV算法；自動(dòng)化的真值系統(tǒng)；對(duì)算法冷啟動(dòng)泛化性地考慮等。

7.Clip 冷啟動(dòng)是通過(guò)預(yù)先搜索收集包含潛在標(biāo)簽的數(shù)據(jù)集嗎？

是的。

比如說(shuō)清障車，首先會(huì)在歷史的數(shù)據(jù)集搜索，生產(chǎn)一個(gè)小模型或者車端的模型。這時(shí)更多的是保證它的Recall，如果歷史數(shù)據(jù)不夠多，我們會(huì)把Recall比較高的小模型部署到車端，把車端數(shù)據(jù)拿回來(lái)，再通過(guò)大模型打標(biāo)以及生產(chǎn)形成閉環(huán)。

8.貴司的 AIDC 實(shí)際使用效率如何？有新項(xiàng)目導(dǎo)入，算力資源充沛嗎？

商湯SenseCore AI大裝置持續(xù)擴(kuò)建，完成2.7萬(wàn)塊GPU的部署并實(shí)現(xiàn)了5.0 exaFLOPS的算力輸出能力，以AI-as-a Service （AIaaS）的模式面向行業(yè)伙伴提供服務(wù)。目前可最多支持20個(gè)千億參數(shù)量大模型（以千卡并行）同時(shí)訓(xùn)練，最高可支持萬(wàn)億參數(shù)超大模型的訓(xùn)練。

除自用外，SenseCore目前服務(wù)8家客戶進(jìn)行大模型訓(xùn)練，總共提供7,000多張GPU卡；對(duì)外提供的AIaaS具體包括了計(jì)算基礎(chǔ)設(shè)施服務(wù)(IaaS)、深度學(xué)習(xí)平臺(tái)服務(wù)(PaaS)、模型部署及推理服務(wù)(MaaS)三大部分的能力。

9.TDA4上部署B(yǎng)EV后還能再部署其他模型的空間嗎？還是說(shuō)一個(gè)BEV可以實(shí)現(xiàn)多任務(wù)模型？

我們現(xiàn)在在TDA4上是可以同時(shí)部署其他模型的?；贐EV多任務(wù)實(shí)現(xiàn)目標(biāo) + 車道線的感知；然后還有一套2D檢測(cè)的融合模型，比如交通燈、標(biāo)志牌、光斑檢測(cè)等內(nèi)容，是一個(gè)額外的模型。

10.友商都在強(qiáng)調(diào)自己BEV落地速度的領(lǐng)先，您認(rèn)為BEV方案的質(zhì)量該如何評(píng)價(jià)？

評(píng)價(jià)質(zhì)量，我認(rèn)為有兩個(gè)方面，一是每個(gè)任務(wù)都有自己的評(píng)價(jià)指標(biāo)，例如感知目標(biāo)結(jié)果跟激光雷達(dá)、高精地圖相比的絕對(duì)誤差，穩(wěn)定性等。另外一個(gè)評(píng)價(jià)偏結(jié)合后的應(yīng)用，舉個(gè)例子對(duì)車道線還有目標(biāo)的預(yù)測(cè)結(jié)果，在BEV空間下的對(duì)齊效果，這就更多的是結(jié)合實(shí)車或者結(jié)合規(guī)控的角度來(lái)看這個(gè)問(wèn)題。

11.傳關(guān)于行人和車輛的軌跡預(yù)測(cè)用什么傳感器算法？對(duì)于人流量大的十字路口的場(chǎng)景好用嗎？

我們現(xiàn)在在車端部署的是基于結(jié)構(gòu)化數(shù)據(jù)的預(yù)測(cè)，當(dāng)前展示的端到端的還沒(méi)有部署到我們的車上?；诮Y(jié)構(gòu)化數(shù)據(jù)，不太關(guān)心數(shù)據(jù)是來(lái)自于什么傳感器，而是重點(diǎn)基于目標(biāo)的3D位置、速度信息進(jìn)行預(yù)測(cè)。

路口的預(yù)測(cè)確實(shí)比較難，特別是對(duì)于人的預(yù)測(cè)一直是個(gè)難點(diǎn)，這也是我們目前在解決的一個(gè)問(wèn)題。它的難點(diǎn)在于本身真值就有多樣性，比如怎么預(yù)測(cè)人下一秒究竟是要往前走還是突然掉頭，是一個(gè)非常難的問(wèn)題。

我們認(rèn)為，預(yù)測(cè)不單純是感知的問(wèn)題，還是規(guī)控的問(wèn)題，需要把預(yù)測(cè)跟規(guī)劃放到一起做考量，類似于博弈或者相互之間Social的建模。

12. 車道線是 BEV 分割給的嗎？

車道線現(xiàn)在是BEV給的，但商湯不是用的分割方案，而是基于矢量化方案。

我們今天的直播就先到這，非常感謝大家，感謝主辦方。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。