北京車(chē)展前夕，英偉達(dá)在北京辦公室召開(kāi)了北京車(chē)展媒體溝通會(huì)。

英偉達(dá)全球副總裁、汽車(chē)事業(yè)部負(fù)責(zé)人吳新宙，英偉達(dá)汽車(chē)事業(yè)部數(shù)據(jù)中心副總裁Norm Marks， 英偉達(dá)全球副總裁、中國(guó)區(qū)汽車(chē)事業(yè)部負(fù)責(zé)人劉通等人出席。這是吳新宙履新英偉達(dá)的第7個(gè)月。 

在這次溝通會(huì)之后的車(chē)展上，英偉達(dá)與奇瑞汽車(chē)簽訂了合作協(xié)議，雙方宣布圍繞英偉達(dá)旗下的 DRIVE Thor 計(jì)算平臺(tái)聯(lián)合打造新一代高端智駕平臺(tái)，該平臺(tái)將會(huì)在星途高端車(chē)型上首發(fā)。同一天里，由吉利控股和百度聯(lián)合打造的極越，也宣布采用新一代的DRIVE Thor計(jì)算平臺(tái)。

吳新宙表示，“DRIVE Thor大概2025年開(kāi)始有第一代的SOP，芯片也會(huì)比較快地拿到樣片?！?/p>

英偉達(dá)正在逐漸擴(kuò)大它在智能駕駛領(lǐng)域的領(lǐng)地。不過(guò)，吳新宙卻說(shuō)，“英偉達(dá)是定位于整個(gè)AI生態(tài)的賦能者，不止是專(zhuān)注于做車(chē)?？梢哉f(shuō)每個(gè)AI的突破，我們都希望在NVIDIA的生態(tài)中產(chǎn)生?！?/p>

AI定義汽車(chē)與軟件定義汽車(chē)有何不同?

吳新宙表示，過(guò)去十年，軟件定義汽車(chē)在汽車(chē)領(lǐng)域產(chǎn)生了非常深遠(yuǎn)的影響，特別是通過(guò)OTA技術(shù)，把汽車(chē)這樣一個(gè)固定不變的硬件產(chǎn)品變成可以自學(xué)習(xí)、不斷變化的用戶(hù)產(chǎn)品。但是，隨著生成式AI的大規(guī)模進(jìn)展，AI定義汽車(chē)一定會(huì)是趨勢(shì)。

自動(dòng)駕駛并不是一個(gè)新鮮事物，早在上世紀(jì)90年代的美國(guó)，就已經(jīng)有了自動(dòng)駕駛的相關(guān)論文和落地嘗試。而我們熟悉的現(xiàn)代化的自動(dòng)駕駛的發(fā)展會(huì)經(jīng)歷三段式的發(fā)展。

第一代的自動(dòng)駕駛系統(tǒng)是完全基于規(guī)則，有著大量人工Engineer Feature（工程師特征），通過(guò)很多算法去完成讓車(chē)自己開(kāi)的動(dòng)作。

第二代就是目前市場(chǎng)的主流，用大量的AI取代原有的人工Engineer Feature（工程師特征），不管是預(yù)測(cè)還是規(guī)劃都在用模型去做，但是仍然需要很多工程師的介入才能把獲取到的數(shù)據(jù)用好。

第三代應(yīng)該會(huì)通過(guò)NVIDIA達(dá)到更大的突破，就是變成端到端大模型的方式。

吳新宙向雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))表示，“這個(gè)過(guò)程不可避免，并在接下來(lái)的五年內(nèi)發(fā)生。”

而未來(lái)的AI汽車(chē)會(huì)比現(xiàn)在的自動(dòng)駕駛開(kāi)發(fā)簡(jiǎn)單很多，更多地集中在云端。因?yàn)橛ミ_(dá)在云端有大量的自動(dòng)駕駛模型訓(xùn)練的能力，仿真、驗(yàn)證都可以放在云端進(jìn)行。目前，這些技術(shù)的積累在自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)流程中已經(jīng)比較成熟，車(chē)端能夠把Corner Case的數(shù)據(jù)準(zhǔn)確觸發(fā)反饋到云端。 

相比之下，軟件定義汽車(chē)則有了諸多“落后”之處。

軟件定義汽車(chē)需要大量工程師介入，所有的組件的算法開(kāi)發(fā)量非常大，比如Corner Case識(shí)別比較慢，需要海量的路測(cè)，只有測(cè)過(guò)的路線，大家才有信心在ODD（運(yùn)行設(shè)計(jì)域）釋放，這是非常大的系統(tǒng)開(kāi)發(fā)工作流程。

另一方面，需要大規(guī)模的測(cè)試、運(yùn)營(yíng)，需要準(zhǔn)確、快速地把數(shù)據(jù)回傳給工程師，需要一個(gè)非常好的基礎(chǔ)建設(shè)設(shè)施支持?jǐn)?shù)據(jù)設(shè)施閉環(huán)。

經(jīng)過(guò)大量測(cè)試以后，軟件定義汽車(chē)是通過(guò)OTA的方法更新，現(xiàn)在還有國(guó)家合規(guī)的要求，不管是軟件開(kāi)發(fā)、模型開(kāi)發(fā)還是數(shù)據(jù)閉環(huán)需要大量人工參與的工作。

所以，這也是AI定義汽車(chē)與軟件定義汽車(chē)的區(qū)別，前者可以讓流程得到很大的簡(jiǎn)化。

在AI定義汽車(chē)時(shí)代，大部分模型都能夠在云端完成訓(xùn)練，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式，車(chē)端觸發(fā)Edge Case（邊緣案例），然后通過(guò)自動(dòng)數(shù)據(jù)驅(qū)動(dòng)完成模型的自我迭代，也可以在云端通過(guò)仿真完成大部分的驗(yàn)證，極大地減少車(chē)端大規(guī)模設(shè)備部署和測(cè)試的依賴(lài)性。未來(lái)的部署也可以簡(jiǎn)化成模型更新的工作，而不是巨大的代碼更新。

除了自動(dòng)駕駛，智能座艙也會(huì)面臨大變化。隨著生成式AI能力的進(jìn)一步提升，也會(huì)對(duì)座艙有巨大的提升。NVIDIA在智能駕駛和座艙領(lǐng)域有哪些舉措，吳新宙提出了一個(gè)三步走的規(guī)劃。

第一步是完善現(xiàn)有的L2和L2+系統(tǒng)，以達(dá)到市場(chǎng)領(lǐng)先水平或者第一梯隊(duì)水平；

第二步希望L2++領(lǐng)域取得新突破，實(shí)現(xiàn)未來(lái)軟件棧的端到端可訓(xùn)練，將上游模型和下游模型打通，整體上用生成式大模型的布局已經(jīng)開(kāi)始，今年晚些時(shí)間會(huì)有DEMO展示，通過(guò)端到端模型的方式完成；

第三步就是希望能夠在2026年量產(chǎn)的L3，實(shí)現(xiàn)完全自動(dòng)駕駛。

端到端的行業(yè)熱點(diǎn)，繞不開(kāi)的數(shù)據(jù)難題

除了AI與大模型方面的規(guī)劃，英偉達(dá)還在使用生成式數(shù)據(jù)，其自研渲染工具Omniverse能夠?qū)崿F(xiàn)數(shù)據(jù)生成，補(bǔ)足仿真Corner Case，從而快速轉(zhuǎn)成虛擬數(shù)據(jù)，然后進(jìn)行隨機(jī)處理，衍生出更多的Corner Case。

目前就有多家中國(guó)車(chē)企通過(guò)Omniverse虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)對(duì)汽車(chē)制造工廠的工作流程優(yōu)化。

英偉達(dá)中國(guó)區(qū)汽車(chē)事業(yè)部負(fù)責(zé)人劉通透露，除了在端到端全棧式合作，包括車(chē)端芯片DRIVE Orin和DRIVE Thor、智駕芯片和數(shù)據(jù)中心端的解決方案等，比亞迪和NVIDIA還在智能工廠方面進(jìn)行合作，利用Omniverse做自主機(jī)器的仿真，包括物流小車(chē)、機(jī)械臂等。

英偉達(dá)汽車(chē)事業(yè)部數(shù)據(jù)中心副總裁Norm Marks表示，自動(dòng)駕駛汽車(chē)1.0時(shí)代主要是基于標(biāo)注圖像的訓(xùn)練，并在上面開(kāi)發(fā)和部署深度神經(jīng)網(wǎng)絡(luò)的集成，可能會(huì)有40-50個(gè)深度神經(jīng)網(wǎng)絡(luò)從L2+層級(jí)轉(zhuǎn)向更高級(jí)的自動(dòng)駕駛。假設(shè)一個(gè)車(chē)隊(duì)50輛測(cè)試車(chē)，每周可能會(huì)生成2PB的數(shù)據(jù)，但其中只有10%-15%會(huì)得到標(biāo)注。

而在自動(dòng)駕駛汽車(chē)2.0時(shí)代，是基于視頻進(jìn)行模型的訓(xùn)練，就像真人看世界那樣，是一整個(gè)大的融合世界的統(tǒng)一模型。 

Norm Marks還預(yù)計(jì)，未來(lái)自動(dòng)駕駛汽車(chē)2.0轉(zhuǎn)型的模型規(guī)模將增長(zhǎng)13倍，數(shù)據(jù)存儲(chǔ)規(guī)模將增長(zhǎng)17倍。基于Transformer需要3000個(gè)服務(wù)器節(jié)點(diǎn)，而如果以GPT4作為基礎(chǔ)的話需要上萬(wàn)的服務(wù)器節(jié)點(diǎn)，即達(dá)到超算水平。

英偉達(dá)的NeMo平臺(tái)可作為一站式工具幫助構(gòu)建大語(yǔ)言模型，從最開(kāi)始的數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)獲取、數(shù)據(jù)測(cè)轉(zhuǎn)、預(yù)訓(xùn)練、模型定制化、提示語(yǔ)調(diào)優(yōu)化以及人為反饋進(jìn)入閉環(huán)，包括后續(xù)的信息檢索，實(shí)現(xiàn)比較精確的信息檢索。

在溝通會(huì)上，吳新宙還對(duì)今年最熱的端到端話題進(jìn)行了回應(yīng)。

雖然端到端智能駕駛方案已經(jīng)成為業(yè)內(nèi)的一個(gè)共識(shí)，但是端到端的問(wèn)題也很明顯：通常需要處理大量的傳感器數(shù)據(jù)，包括圖像、點(diǎn)云、雷達(dá)等，直接輸出控制指令，對(duì)算力的要求較高。此外，為了訓(xùn)練這些復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，需要大量的標(biāo)注數(shù)據(jù)。

吳新宙認(rèn)為，“端到端模型上線之前，一定會(huì)有一個(gè)“護(hù)欄”，因?yàn)樾枰煌５貎?yōu)化和成長(zhǎng)，要是一開(kāi)始就上線端到端的模型是非常困難的。把端到端模型做好的企業(yè)一定也需要非常好的第二代甚至第一代的自動(dòng)駕駛堆棧?！?/p>

所以，端到端模型仍然離不開(kāi)原有模型，通過(guò)原有的模型和方法保證安全性，這些是把端到端模型真正大規(guī)模部署變成主流的過(guò)程。

至于如何解決黑盒問(wèn)題，吳新宙提出了幾個(gè)緯度：

一、原有的第一代、第二代算法棧，可以保證端到端模型的安全性，也可以不停地判斷端到端模型決定的合理性，把雙方有差異的地方作為輸入。這就類(lèi)似于大語(yǔ)言模型訓(xùn)練的反饋，讓結(jié)果更加合理化，

二、未來(lái)的大模型、端到端模型有周邊的輸出點(diǎn)可以觀測(cè)，比如可以觀測(cè)DEV輸出的結(jié)果，訓(xùn)練的時(shí)候也是部分訓(xùn)練等。于是在黑盒上開(kāi)啟幾扇“窗”，看到信號(hào)是怎樣的模式。

吳新宙認(rèn)為，英偉達(dá)的一個(gè)巨大優(yōu)勢(shì)就是端到端，而且是整體AI賦能，汽車(chē)只是其中的一個(gè)垂直領(lǐng)域。

他表示，“我們?cè)跀?shù)據(jù)中心、訓(xùn)練工具都有巨大的投入，我們有SoC和安全平臺(tái)，從底層軟件加上芯片，所有的每一層都有引入非常強(qiáng)的安全概念，我們還有端到端全棧軟件的開(kāi)發(fā)。以上四個(gè)方面構(gòu)成我們汽車(chē)生態(tài)系統(tǒng)，”雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。