作者｜包永剛

編輯｜林覺民

DeepSeek的火熱，不僅點(diǎn)燃了資本與市場的激情，也讓AI推理的需求在短時間內(nèi)驟然升溫。需求膨脹的同時，產(chǎn)業(yè)內(nèi)部出現(xiàn)了兩種截然不同的判斷。

“我認(rèn)為未來AI推理主要在云和端側(cè)，邊緣推理的需求會越來越小。”AI芯片公司的銷售晨坤認(rèn)為，“因?yàn)檫吘堿I的性能和成本都不占優(yōu)勢，會是一個過渡狀態(tài)?！?/p>

另一位資深芯片銷售嘉銘有不一樣的觀點(diǎn)，“端側(cè)提升AI性能，功耗和價格難以平衡，并不是一個好選擇。我認(rèn)為邊緣AI推理的需求會持續(xù)增加?！?/p>

這種對未來格局的分歧，也折射出AI推理市場的不確定性。端、邊、云的占比至今難有定論，但可以明確，在泛安防這個巨大的端側(cè)AI推理市場，即便大模型掀起一場技術(shù)革命，格局依舊穩(wěn)固。占據(jù)市場份額的公司依然處于易守難攻的位置。

然而，AI算力需求100TOPS以上的邊緣推理市場，正悄然醞釀著一場變局。無論是待上市的摩爾線程、沐曦、燧原科技、天數(shù)智芯、登臨科技，還是已經(jīng)上市的云天勵飛，或者是發(fā)布了新品的江原科技、后摩智能，都試圖搶占AI推理市場的先機(jī)。

他們必須直面同一個強(qiáng)大的對手——英偉達(dá)4090。

“國產(chǎn)芯片沒有一款能全面超越英偉達(dá)4090，但通過極致的性能優(yōu)化，可以在特定領(lǐng)域?qū)崿F(xiàn)超越英偉達(dá)4090的極致性價比?！奔毋懼毖浴＿@些特定領(lǐng)域包括信創(chuàng)、交通、能源、通信、消費(fèi)等領(lǐng)域。

2025年的AI推理市場，是一場雙重博弈，既是國產(chǎn)芯片對英偉達(dá)4090的一次集體圍攻，也是一次攸關(guān)未來格局的關(guān)鍵卡位戰(zhàn)。

誰能從中切下更大的一塊蛋糕？獲取更多國產(chǎn)AI推理芯片的信息添加作者微信BENSONEIT互通有無。雷峰網(wǎng)

AI推理，邊緣和端側(cè)市場誰的空間更大？

無論是ChatGPT還是DeepSeek，當(dāng)下最受關(guān)注的AI應(yīng)用幾乎都依賴云端AI推理。在可預(yù)見的未來，云端依然會在AI發(fā)展中扮演核心角色。但云、邊、端三者究竟如何協(xié)同，業(yè)界存在明顯分歧。

在深入探討之前，有必要先明確：什么是云、邊、端？在CNN（卷積神經(jīng)網(wǎng)絡(luò)）時代，如果按算力劃分，小于8TOPS為端側(cè)，小于64TOPS為邊緣，大于64TOPS為云端。

然而，大模型正在重新定義端、邊、云的邊界。在本文中，將使用70B模型進(jìn)行AI推理，單卡AI算力超過100TOPS@TF32，使用單臺或少量服務(wù)器的應(yīng)用視為邊緣AI市場；小于10B模型的推理場景，則歸入端側(cè)市場。

“CNN時代之所以誕生邊緣計算，是因?yàn)榉喊卜缊鼍跋?，一路攝像頭就需要4兆帶寬。帶寬不夠時，就必須在邊緣增加計算盒子?！背坷ふf，“當(dāng)前的AI推理主要以文本為主，即便未來向多模態(tài)發(fā)展，也不再需要處理實(shí)時視頻流。端側(cè)小模型（10B以內(nèi)）完全可以滿足識別和檢測的需求。如果需要更高性能，直接調(diào)用云端AI就夠了。因此，未來邊緣推理的需求會逐漸下降?！?/p>

晨坤認(rèn)為，隨著端側(cè)小模型能力不斷提升，邊緣AI在成本和性能上難以形成優(yōu)勢。生成式AI時代的推理需求，將主要由云端和端側(cè)主導(dǎo)。

嘉銘持不同觀點(diǎn)，在端側(cè)大幅增加AI算力的必要性并不高，因?yàn)楣呐c性價比難以兼顧。他認(rèn)為，邊緣AI推理的需求仍將保持快速增長。

江原科技董事長李瑛則認(rèn)為，生成式AI時代的AI推理依舊會是云-邊-端協(xié)同的格局。

從市場角度出發(fā)，云天勵飛副總裁羅憶提出：“目前云端推理市場的絕對規(guī)模不大，但其占比正在逐步提升；相比之下，泛安防的邊緣和端側(cè)推理雖然體量巨大，但整體份額正在下降。等云端應(yīng)用逐漸飽和后，端側(cè)推理的需求或?qū)⒂瓉硇乱惠喸鲩L。”

眼下，哪種觀點(diǎn)更為準(zhǔn)確尚無法定論，但這并不妨礙對邊緣與端側(cè)市場格局進(jìn)行判斷。

傳統(tǒng)端側(cè)推理市場易守難攻，新興AI應(yīng)用還未爆發(fā)

在生成式AI席卷市場之前，AI推理最重要的戰(zhàn)場，是泛安防。經(jīng)歷多年激烈角逐后，這一市場格局已相對穩(wěn)定：華為、云天勵飛、登臨科技、算能科技、愛芯元智等公司各自握有優(yōu)勢。

“泛安防的邊緣和端側(cè)這個萬億級市場，已經(jīng)非常卷，增長也很緩慢?！背坷ふf。

羅憶也表示：“泛安防屬于典型的存量市場。目前最大的開銷是運(yùn)維。在各地預(yù)算緊張的大背景下，預(yù)算首先保證運(yùn)維開銷，剩余資金才可能投向少量新設(shè)備?！?/p>

今年，泛安防市場仍有一些大的設(shè)備更新的項(xiàng)目。

“設(shè)備都有使用年限。原本計劃5年更換的設(shè)備，一些地方用了8年，今年終于到了不得不更新的時候。”羅憶說，“不過各地做法不一：有的只是標(biāo)清換高清，有的直接換成智能相機(jī)。從整體來看，智能攝像頭的滲透率依然很低?！?/p>

那么，設(shè)備更新疊加生成式AI的浪潮，是否會撼動這個龐大的端側(cè)AI市場？

羅憶判斷，“即便今年有大額訂單，由于市場格局已經(jīng)固化，除非新玩家?guī)眍嵏彩絼?chuàng)新，否則很難改變現(xiàn)有格局。”

泛安防端側(cè)推理市場需求分散，芯片類型繁多，有的擅長視頻編解碼，有的AI能力更強(qiáng)。經(jīng)過多年市場篩選，目前仍留在市場上的國產(chǎn)AI芯片公司，都已經(jīng)各自分得屬于自己的蛋糕。

晨坤也強(qiáng)調(diào)：“即便生成式AI帶來一些變化，新玩家切入成本極高?！?/p>

實(shí)際上，在泛安防市場的客戶目前更關(guān)注的是如何把有限的資源利用到極致。羅憶對此深有感觸，“能夠用有性價比的方式幫助客戶完成智能化升級，做更多精細(xì)化的工作，才能留住泛安防客戶。”

除了泛安防這個AI推理的大市場，生成式AI正在催生大量新應(yīng)用——AI玩具、AI眼鏡、AI戒指，以及基于小模型的各種智能硬件，這些潛在產(chǎn)品將帶來新的端側(cè)AI芯片需求。

AI芯片公司的資深市場泰瑋說，“國內(nèi)已有老牌芯片公司押注了這一賽道，專為7B模型設(shè)計芯片?！?/p>

與端側(cè)相比，70B以下模型的邊緣推理芯片市場更受國產(chǎn)廠商關(guān)注，其成長性和潛力顯然更具吸引力。想要進(jìn)一步探討端側(cè)AI添加作者微信BENSONEIT。

國產(chǎn)AI芯片圍攻英偉達(dá)4090，極致性價比的戰(zhàn)場

年初，DeepSeek的火熱再次點(diǎn)燃了各行各業(yè)將AI引入工作流的熱情。大模型一體機(jī)需求暴漲，邊緣AI推理市場也隨之升溫。

“48G的英偉達(dá)4090，是當(dāng)前邊緣推理的王者?！奔毋懼毖?，“想讓客戶為國產(chǎn)芯片買單，就要做到超越4090的極致性價比。”

泰瑋對“極致性價比”有切身感受：“我們瞄準(zhǔn)商業(yè)市場，但商業(yè)市場的客戶對成本有極致要求。他們甚至愿意用淘汰的英偉達(dá)3090、4090礦卡——這些二手GPU便宜得令人難以置信，但穩(wěn)定性堪憂。我們只能靠性價比與穩(wěn)定性，在這個市場與英偉達(dá)正面競爭?！?/p>

嘉銘也指出，4090確實(shí)具備性價比優(yōu)勢，但畢竟是消費(fèi)級產(chǎn)品，不適合7×24小時連續(xù)運(yùn)行。對于有合規(guī)要求、需要全天候運(yùn)作的客戶，他們可能選擇英偉達(dá)L20，但使用量有限，性價比也不如4090。

國產(chǎn)AI芯片的優(yōu)勢，除了穩(wěn)定性，還在于大顯存和大帶寬。李瑛舉例：“運(yùn)行滿血版DeepSeek時，8卡的4090服務(wù)器需要兩臺，而我們產(chǎn)品單臺就能跑滿血版DeepSeek，TCO（總體擁有成本）優(yōu)勢明顯?！?/p>

泰瑋也說，“我們一張售價5000元左右的加速卡，擁有128G的大顯存，運(yùn)行30B量化模型速度可達(dá)20 token/s，性價比極高。”

Qwen3和DeepSeek量化模型的首字延遲和每秒Token數(shù)只是敲門磚。嘉銘強(qiáng)調(diào)：“如果這兩個指標(biāo)不夠，說明TCO沒有優(yōu)勢。但也幾乎沒有客戶不因?yàn)檫@兩個指標(biāo)直接下單，還需要在實(shí)際場景中測試性能?！?/p>

在具體場景下做極致的軟件優(yōu)化，是國產(chǎn)AI芯片實(shí)現(xiàn)超越4090的關(guān)鍵。

嘉銘表示：“芯片落地時一般三個關(guān)鍵流程，編譯、調(diào)精度、調(diào)性能。若是NPU等專用芯片架構(gòu)，這三步每一步可能都需1–2個月，累計可能需要數(shù)月時間，GPGPU架構(gòu)的芯片可大幅縮短落地時間，也降低了客戶的TCO?！?/p>

李瑛認(rèn)為，“若兩種架構(gòu)的芯片從零起步布局同一場景，GPGPU 因可依托已有的成熟生態(tài)體系，初期優(yōu)勢會比專用架構(gòu)更突出。但隨著專用架構(gòu)芯片在算子庫優(yōu)化、軟件生態(tài)構(gòu)建等軟件領(lǐng)域積累足夠經(jīng)驗(yàn)并達(dá)成成熟應(yīng)用標(biāo)準(zhǔn)，且能充分滿足主流業(yè)務(wù)的實(shí)際需求，GPGPU 的原有優(yōu)勢將大幅減弱，不再具備明顯差異化特點(diǎn)?！?/p>

“在DeepSeek火爆之后，AI算子的種類已經(jīng)銳減，這時候只要把有限的算子優(yōu)化好，不僅能縮小GPGPU相比專用芯片在軟件生態(tài)方面的優(yōu)勢，如果做好了特定場景的算子優(yōu)化，還能實(shí)現(xiàn)相比GPGPU數(shù)倍的性價比優(yōu)勢。”李瑛進(jìn)一步表示。

羅憶也說，“專用架構(gòu)芯片雖然有專精領(lǐng)域，但適用場景會越來越廣?！?/strong>

華為Atlas 300I Duo已驗(yàn)證了這一點(diǎn)，專用架構(gòu)芯片只要適配好場景，就能體現(xiàn)強(qiáng)大性價比。

因此，對于國產(chǎn)AI推理芯片而言，要與4090競爭，必須依靠大顯存優(yōu)勢，同時針對客戶場景和使用模型進(jìn)行優(yōu)化，實(shí)現(xiàn)極致性價比。

“國內(nèi)基于英偉達(dá)5090魔改的產(chǎn)品，性能調(diào)試已完成，很快將推向市場。性能比4090更強(qiáng)，價格接近，國產(chǎn)芯片還能有TCO或性價比優(yōu)勢嗎？”晨坤提出疑問。

嘉銘則保持樂觀：“我相信英偉達(dá)5090將成為新一代邊緣AI推理王者，但并非無懈可擊。國內(nèi)各家公司也在設(shè)計下一代產(chǎn)品，準(zhǔn)備與5090正面競爭?！?/p>

跑馬未圈地，國產(chǎn)邊緣推理芯片的卡位戰(zhàn)

在下一代產(chǎn)品尚未上市之前，國產(chǎn)AI推理芯片公司的當(dāng)務(wù)之急，是充分發(fā)揮現(xiàn)有產(chǎn)品優(yōu)勢，找到合適落地的場景。

國產(chǎn)替代需求最迫切的信創(chuàng)市場，成為了國產(chǎn)AI芯片最容易相遇的戰(zhàn)場。

“信創(chuàng)市場的規(guī)模沒有想象中那么大，也沒有那么容易進(jìn)入?！?/strong>羅憶認(rèn)為，“目前信創(chuàng)市場的剛需主要是CPU，滿足日常辦公需求，AI算力的需求還相對有限。再加上各地財政預(yù)算收縮，購買AI算力和設(shè)備的意愿并不高，因此現(xiàn)階段信創(chuàng)市場并不是AI推理芯片的理想賽道?！?/p>

李瑛對此樂觀一些，“信創(chuàng)市場確實(shí)存在挑戰(zhàn)，但也有機(jī)會。一方面，信創(chuàng)市場已經(jīng)啟動AI芯片測試報名，這意味著對AI算力的需求正在增長；另一方面，通過更靈活的產(chǎn)品形式，例如在PC上擴(kuò)展加速卡，也能降低成本?！?/p>

雷峰網(wǎng)(公眾號：雷峰網(wǎng))了解到，江原、沐曦、天數(shù)智芯都在信創(chuàng)市場尋找落地機(jī)會，同時積極拓展商業(yè)市場。

“醫(yī)療和能源市場也是我們重點(diǎn)關(guān)注的方向?！崩铉f，“醫(yī)療領(lǐng)域涉及大量敏感數(shù)據(jù)，這個領(lǐng)域的客戶對替換國產(chǎn)芯片也有比較高的意愿。”

在羅憶看來，AI推理市場存在兩個優(yōu)質(zhì)機(jī)會：一是互聯(lián)網(wǎng)大廠，這些企業(yè)走在AI技術(shù)前沿，對算力需求龐大；二是各行業(yè)頭部企業(yè)，這些公司也在數(shù)字化轉(zhuǎn)型前沿，對AI算力有更多剛需。

“云天勵飛現(xiàn)有的AI芯片能實(shí)現(xiàn)8TOPS-256TOPS算力，既能鞏固泛安防存量市場，也能面向增量市場。我們同時在規(guī)劃下一代產(chǎn)品，充分發(fā)揮后發(fā)者優(yōu)勢?！绷_憶補(bǔ)充道，“作為上市公司，我們不僅有戰(zhàn)略決心，還擁有資金和人才優(yōu)勢。更重要的是，過去11年公司在智能硬件、智算中心、智慧城市等多個領(lǐng)域積累了大量實(shí)踐經(jīng)驗(yàn)。這些寶貴的第一手資料，為芯片設(shè)計提供了明確指導(dǎo)?！?/p>

在泛安防市場站穩(wěn)腳跟的登臨科技，也將重點(diǎn)關(guān)注商業(yè)市場，在預(yù)算10萬元左右的客戶群中尋找對AI推理有實(shí)際需求的企業(yè)，比如中小企業(yè)。

走存算一體技術(shù)路線的后摩智能則瞄準(zhǔn)不同賽道。后摩智能創(chuàng)始人兼CEO吳強(qiáng)說，“我們比較看重三個領(lǐng)域，一是平板和電腦這種消費(fèi)終端類，這是大模型生產(chǎn)力工具，對AI性能有剛需。二是智能語音系統(tǒng)，大模型語音會議也是重點(diǎn)布局的一個方面。三是運(yùn)營商的邊緣計算，看中了5G+AI的趨勢。”

吳強(qiáng)補(bǔ)充：“目前這三個方向已有早期客戶。我們精力有限，先把這幾塊做扎實(shí)，未來只要涉及大模型和對功耗敏感的應(yīng)用場景，都會逐步拓展?！?/p>

整體來看，國內(nèi)AI芯片公司都在積極布局快速增長的大模型邊緣AI推理市場。羅憶形象地總結(jié)：“大家現(xiàn)在是在跑馬，但還沒有真正圈地。要成功圈地，必須與大客戶深度綁定。目前還沒有廠商做到這一點(diǎn)?！?/p>

在這場AI推理的競爭中，生態(tài)合作伙伴尤其關(guān)鍵，其中ISV（獨(dú)立軟件開發(fā)商）扮演不可替代的角色。相比芯片公司，ISV更了解客戶需求，也能在擅長的領(lǐng)域服務(wù)更多客戶。

若把芯片公司和ISV的合作比作“0到1”的工作，那么芯片公司優(yōu)化算子、提供高效編譯器，讓ISV開發(fā)解決方案，就是把AI從“1到100”實(shí)現(xiàn)規(guī)?；瘧?yīng)用的過程。

這樣說來，通過一家AI芯片公司的軟件生態(tài)合作伙伴，不僅能了解其重點(diǎn)落地的領(lǐng)域，也能看出各家的競爭優(yōu)勢。

明年，切換全國產(chǎn)工藝的AI芯片將陸續(xù)發(fā)布，誰能在特定場景中發(fā)揮大顯存和極致性價比優(yōu)勢，誰就有機(jī)會贏得大客戶的深度綁定，也可能在端-邊-云格局中搶占更有利的位置。

可以預(yù)見，國產(chǎn)AI芯片的“圍攻戰(zhàn)”才剛剛開始。未來，隨著技術(shù)成熟、生態(tài)完善以及大模型應(yīng)用的持續(xù)落地，誰能分到更大的蛋糕？關(guān)于國產(chǎn)AI推理芯片的更多討論，歡迎添加作者微信BENSONEIT。

注，文中晨坤、嘉銘、泰瑋均為化名 雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。