生成式AI預(yù)訓(xùn)練大模型的能力越來越強大，吸引了更多人探索大模型在端側(cè)的落地應(yīng)用。

不過在生成式AI火爆之前，CNN已經(jīng)讓端側(cè)擁有了AI能力，所以讓人更關(guān)心的問題是，端側(cè)大模型會帶來革命性的變化嗎？

2024世界人工智能大會期間，愛芯元智創(chuàng)始人、董事長仇肖莘對雷峰網(wǎng)表示，“目前端側(cè)大模型的應(yīng)用還是探索階段，還不好判斷是否會帶來顛覆?！?/strong>

愛芯元智創(chuàng)始人、董事長 仇肖莘

在世界人工智能大會期間，愛芯元智主辦的“芯領(lǐng)未來丨智能芯片及多模態(tài)大模型論壇”上，智慧物聯(lián)和人工智能創(chuàng)新融合專家殷俊分享，“不應(yīng)該讓用戶放棄原有的技術(shù)投資，而是要通過大小模型協(xié)同和模型小型化，實現(xiàn)最優(yōu)算力配置，來加快大模型行業(yè)落地。”

這是一個值得進(jìn)一步探討的話題，端側(cè)大模型落地到底面臨哪些挑戰(zhàn)？會在哪些場景先落地？又會帶來怎樣的變化？ 

端側(cè)大模型到底是不是一場革命？

包括智能手機、城市中隨處可見的攝像頭幾年前已經(jīng)經(jīng)歷過一輪AI浪潮，借助CNN、RNN等AI算法，手機能夠AI拍照、美顏，攝像頭也能識別車牌，統(tǒng)計人流等，雖然不夠完美，但已經(jīng)廣泛應(yīng)用。

端側(cè)大模型要帶來革命性的變革不僅要效果更好，而且可能要比傳統(tǒng)AI方案成本更低，目前業(yè)界都還處于探索階段，技術(shù)的變革并非一夜之間發(fā)生。

“我們做AI-ISP已經(jīng)很多年，今年突然成為了爆款。”仇肖莘說，“傳統(tǒng)的ISP降噪、防抖功能是通過硬件模塊實現(xiàn)，AI-ISP用算法取代了這些模塊，但AI算法也只是將傳統(tǒng)ISP通路中20多個模塊中的幾個換成了AI算法?！?/p>

同樣的道理，端側(cè)大模型是否能帶來顛覆，以及何時會帶來顛覆，也還值得探討。

在談顛覆之前，端側(cè)大模型首先應(yīng)該解決的是落地的問題。

殷俊認(rèn)為，大模型在文本、語音等領(lǐng)域快速發(fā)展，但在視覺領(lǐng)域的落地卻面臨可靠性、穩(wěn)定性、理解不夠全面等挑戰(zhàn)，真實準(zhǔn)確描述客觀世界是視覺大模型落地的關(guān)鍵。

算力、內(nèi)存和帶寬都是端側(cè)大模型落地最底層的挑戰(zhàn)。

“大模型在端側(cè)的落地，內(nèi)存大小、帶寬的限制超過了算力限制?！?/strong>仇肖莘進(jìn)一步表示，“算力可以很大，但數(shù)據(jù)會成為瓶頸，芯片一定要和算法做聯(lián)合優(yōu)化?！?/p>

業(yè)界也正在積極探索端側(cè)大模型落地內(nèi)存和帶寬限制的問題，比如探索DDR用Wafer to Wafer的形式，實現(xiàn)1024個通道，解決帶寬和延遲的問題。又或者開發(fā)出能夠在端側(cè)使用的HBM，解決數(shù)據(jù)墻問題。

技術(shù)向前演進(jìn)的同時應(yīng)用的探索也在加速，仇肖莘認(rèn)為汽車、手機、PC都將是率先落地端側(cè)大模型的場景。

這些場景無疑需要原生支持Transformer架構(gòu)的處理器。

押中生成式AI，原生支持Transformer有10倍性能優(yōu)勢

愛芯元智在世界人工智能大會2024上正式發(fā)布了愛芯通元AI處理器，在高中低三檔算力中已完成布局，已經(jīng)在智慧城市和輔助駕駛兩個領(lǐng)域?qū)崿F(xiàn)了規(guī)模化量產(chǎn)，并且可以支持以文搜圖、通用檢測、以圖生文、AI Agent等通用大模型應(yīng)用。

這是一個有趣的話題，愛芯通元混合精度NPU早在2021年就已經(jīng)立項，2022年年中回片，并在年底向客戶銷售，三年前設(shè)計的芯片為什么能原生支持Transformer？

愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉介紹，愛芯元智NPU設(shè)計是AI處理器的設(shè)計思路，從一開始就考慮各種模型結(jié)構(gòu)包括Transformer等模型的算子支持，愛芯通元AI處理器的核心是算子指令集和數(shù)據(jù)流微架構(gòu)。底層采用可編程數(shù)據(jù)流的微架構(gòu)提高能效和算力密度。同時，愛芯通元的靈活性也保證了算子指令集的完備性，支撐各種AI的應(yīng)用。

還有愛芯通元成熟的軟件工具鏈可以讓開發(fā)者快速上手，也能夠快速實現(xiàn)對端側(cè)大模型的適配。

今年四月，愛芯元智就基于AX650N平臺完成了Llama 3 8B和Phi-3-mini模型的適配。

愛芯通元V4(AX630C)也已經(jīng)適配了通義千問0.5B、TinyLlama-1.1 1.1B模型的適配，Token速度也不錯。

“愛芯通元AI處理器現(xiàn)在最高支持7B參數(shù)的模型?！?/strong>仇肖莘表示，“我們也注意到蘋果手機上的大模型是3B，落地邊緣側(cè)和端側(cè)模型的參數(shù)大小預(yù)計是3B-7B?！?/p>

如果模型的參數(shù)更大，帶來的是更智能，但也更考驗芯片和算法的聯(lián)合調(diào)優(yōu)。

“模型的輕量化很重要，這時候混合精度就非常有價值。比如同樣是7B參數(shù)，如果用混合精度可以將計算和存儲的需求都降低，愛芯通元就支持混合精度?！背鹦ぽ分赋?。

得益于愛芯通元采用的DSA架構(gòu)，相比英偉達(dá)GPGPU架構(gòu)，在端側(cè)Transformer架構(gòu)推理場景，愛芯通元AI處理器相比英偉達(dá)有10倍的性能優(yōu)勢。

愛芯元智會基于這些優(yōu)勢在哪些場景做探索？

手機和汽車兩大端側(cè)大模型落地場景

“從此前的單模態(tài)，到現(xiàn)在的多模態(tài)，AI檢測的效率、準(zhǔn)確度都會更高，應(yīng)用場景也會更多?！背鹦ぽ氛J(rèn)為。

手機、PC和汽車無疑是當(dāng)下端側(cè)大模型最適合落地的場景。

“我們已經(jīng)接觸了很多手機廠商，以及手機芯片廠商，探討將我們的IP集成到他們SoC里的可能性?！背鹦ぽ吠嘎?。

另外智能手機現(xiàn)在想要快速實現(xiàn)對生成式AI的支持，可以在SoC之外增加一個協(xié)處理器，這樣做的劣勢是成本高，應(yīng)該是一個臨時的解決方案。

“未來一定是在手機SoC中集成NPU，但要集成多大算力的NPU，能夠支持手機各種應(yīng)用的同時成本又不太高，蘋果和國內(nèi)手機廠商的探索都很重要。”仇肖莘說。

汽車的計算實時性需求，以及對智能化的需求，也讓汽車成為了落地端側(cè)大模型一個重要的市場。

如今汽車行業(yè)關(guān)注端到端，比如信號通過ISP之后是否可以通過黑盒子的大模型直接成像、出執(zhí)行策略，通過大模型降低系統(tǒng)的復(fù)雜性，這都是端側(cè)大模型在汽車行業(yè)落地非常好的場景。

愛芯元智的AI芯片在2022年下半年就已經(jīng)通過了車規(guī)，基于成熟的工具鏈很快就做出了demo通過Tire1提供給主機廠。

“我們的時機比較好，那時候國內(nèi)缺性價比的智駕方案，加上國內(nèi)的車企比較愿意嘗試新方案，很快就拿到了定點?！背鹦ぽ氛J(rèn)為，“目前汽車智能化是一個很好的市場，特別是10萬及以下級別汽車的法律法規(guī)市場，比如7月份歐盟要求汽車的主動安全變成強制標(biāo)配，用于減少交通事故，國內(nèi)主動安全帶動的裝配量也會快速增長。”

愛芯元智瞄準(zhǔn)的是售價10萬以下汽車的L2、L2+智能駕駛場景，性價比就是關(guān)鍵。

愛芯元智降低成本的方法是將芯片平臺化，也就是取不同應(yīng)用場景需求的最大公約數(shù)設(shè)計芯片并平臺化，用同一個平臺面向不同市場，通過大量出貨降低芯片成本。

仇肖莘指出，愛芯元智要做普惠AI，智慧城市是愛芯元智增長的第一曲線，第二曲線是智能駕駛，現(xiàn)在也在探索邊緣計算和具身智能。

從傳統(tǒng)CV算法到Transformer，從智慧城市到智能汽車再到未來的具身智能，愛芯元智不僅前瞻性的看準(zhǔn)了算法演進(jìn)的方向，還非常明確要做普惠AI以性價比立足市場，無論是技術(shù)路線還是戰(zhàn)略，愛芯元智顯然走在正確的道路上。雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。