英偉達GPU在AI領域的成功引來了大量的挑戰(zhàn)者。在國外，云端芯片初創(chuàng)公司幾乎都采用DSA（Domain Specific Architecture，領域?qū)Ｓ眉軜?gòu)）挑戰(zhàn)英偉達，比如已經(jīng)被英特爾收購的Habana Labs。在國內(nèi)，也有多家初創(chuàng)公司用GPGPU的架構(gòu)研發(fā)AI云端芯片。

“用相同的架構(gòu)競爭，專利就是一個問題。DSA是不同的道路，特別在云端AI推理方面，DSA可以完勝GPU?！?瀚博半導體創(chuàng)始人兼CEO錢軍解釋了創(chuàng)業(yè)前的技術(shù)路線思考。

雷鋒網(wǎng)此前的文章介紹過，錢軍有25年以上高端芯片設計經(jīng)驗，離職前在AMD任Senior Director，全面負責GPU（圖像處理器）和AI服務器芯片設計和生產(chǎn)，現(xiàn)在市場上的AMD Radeon圖像處理器和AI服務器芯片都是由其帶隊開發(fā)。

瀚博半導體創(chuàng)始人兼CEO錢軍

瀚博的另一個創(chuàng)始人，也是CTO和總架構(gòu)師的張磊有23年以上芯片和IP架構(gòu)設計的豐富經(jīng)驗，2013年晉升為AMD Fellow，負責AI、深度學習，視頻編解碼和視頻處理領域。

外界不少人誤以為有多款GPU成功經(jīng)驗的兩位創(chuàng)始人會選擇用GPU挑戰(zhàn)英偉達，但瀚博在2021世界人工智能大會（WAIC 2021）開幕前夕發(fā)布的首款產(chǎn)品SV102云端推理芯片采用的是DSA架構(gòu)，而這款AI芯片獲取客戶的秘訣是TCO（Total Cost of Ownership，總體擁有成本）。

GPU不是云端推理最好的架構(gòu)

初創(chuàng)公司要與巨頭競爭，差異化是必然的選擇。對于芯片公司而言，市場規(guī)模和技術(shù)路線是關(guān)鍵的考量因素。就云端芯片而言，隨著AI模型的成熟，市場對云端AI訓練需求的增速會降低，云端AI推理的市場規(guī)模將會迅速增加。有數(shù)據(jù)顯示，2021年云端推理芯片市場已經(jīng)大于訓練市場。

云端AI芯片市場的變化是挑戰(zhàn)英偉達的一個好機會。根據(jù)MLPerf此前發(fā)布的基準測試，英偉達在訓練測試中一直保持著較高的水平，但在推理測試中，GPU并不如其在訓練中的表現(xiàn)那么亮眼。

本月初，英國初創(chuàng)公司Graphcore的IPU首度公開MLPerf基準測結(jié)果，結(jié)果顯示在Inference v1.0基準測試下，IPU相比GPU有1倍多的性價比收益。

“GPU在推理側(cè)不是最好的架構(gòu)，我們更好的DSA架構(gòu)，能夠在云端推理市場完勝GPU?！卞X軍表示。

但即便如此，能夠定義和推出客戶愿意買單的AI推理芯片才能夠挑戰(zhàn)英偉達。錢軍分享了他的一些思考。他表示，計算機視覺占了AI市場的大半壁江山，視頻流又占近70%的數(shù)據(jù)流，未來視頻相關(guān)的數(shù)據(jù)只會越來越多，因此基于視頻的AI應用首先要有強大的解碼能力。

錢軍認為，AI芯片視頻處理能力可以用三個指標去衡量，包括延遲、吞吐量和能效。

當然，芯片的性能也是核心指標，同時，對于各種數(shù)據(jù)類型和AI模型的支持也是吸引客戶的關(guān)鍵。錢軍介紹，“我們的產(chǎn)品對于支持主流AI模型很全面，芯片設計也有前瞻性，支持計算機視覺、自然語言處理、搜索推薦、智能視頻處理領域的眾多常用神經(jīng)網(wǎng)絡，軟件棧支持靈活擴展，支持用戶自定義算子?！?/p>

云端推理DSA架構(gòu)芯片完勝GPU

英偉達的眾多挑戰(zhàn)者中，有底氣說出完勝的公司并不多。雷鋒網(wǎng)了解到，瀚博的首款芯片研發(fā)周期大概是兩年半，這也是業(yè)界高性能芯片普遍的研發(fā)周期。2018年底瀚博半導體創(chuàng)立之后，瀚博的團隊就開始自主IP的研發(fā)，到了今年6月份，首款芯片SV102測試成功。

“SV102開始測試后的8分鐘就全部點亮，也就是通過PCIe就能看到所有功能模塊，在30多個小時內(nèi)，所有模塊基礎測試都提前完成?！卞X軍說，“這對于一個全新設計的高端芯片是一個奇跡?！?/strong>

雖然錢軍沒有具體介紹瀚博的DSA架構(gòu)，不過CTO張磊用一組數(shù)據(jù)展示了瀚博首款產(chǎn)品相比GPU的競爭優(yōu)勢。

瀚博SV102是面向云端高性能推理的AI芯片，強調(diào)AI推理、視頻處理以及可擴展性三大能力。AI推理性能表現(xiàn)在高效、高能耗比和低延時三方面，具體而言，SV102在Int8精度下的峰值性能為200TOPS，在75功耗下，吞吐率是GPU的2-10倍，延時更是不到GPU的5%。

瀚博半導體創(chuàng)始人兼CTO張磊

張磊介紹，SV102采用的是單寬半高半長的設計，存儲最高支持32GB，接口是16個PCIe Gen4，采用被動散熱的方式。之所以單獨給出Int8的性能數(shù)據(jù)是因為最新和主流云端推理GPU都只用了Int8做推理基準測試，SV102也支持FP16和BF16的數(shù)據(jù)類型。

從給出的數(shù)據(jù)可以看到，在ResNet50和BERT兩個模型下，瀚博SV102對比英偉達最新的A10和主流的T4有2-10倍的性能優(yōu)勢。

視頻處理則是瀚博AI芯片的一大特色。“國內(nèi)外已經(jīng)推出的云端AI推理芯片幾乎都沒有內(nèi)置視頻解碼功能，如果客戶需要做視頻解碼，就需要用單獨的芯片進行解碼。SV102就支持64路以上H.264、H.265或AVS2 1080P解碼，支持8K分辨率?！睆埨诒硎尽?/strong>

由此帶來的是TCO的優(yōu)勢，這里的TCO主要包含服務器+AI芯片+芯片功耗+運營成本。張磊給出的測算是，基于SV102的性能、功耗以及尺寸的特性，相比T4的服務器可以節(jié)省60%以上的TCO，對比A10的服務器也可以節(jié)省50%的成本。在高密度視頻處理場景，瀚博給出的數(shù)據(jù)也顯示出其性能和價格的優(yōu)勢。

贏得互聯(lián)網(wǎng)客戶

即便從產(chǎn)品性能層面瀚博有完勝GPU的信心，但客戶的認可才是最終的成功。所以，首要問題就是客戶的遷移成本。張磊告訴雷鋒網(wǎng)：“從AI推理的角度看，遷移到我們的AI芯片上的成本比較小。對于那些有自己算法的客戶，遷移的成本也是很小的一部分。更重要的是要讓客戶看到TCO的巨大節(jié)省，這樣對于客戶來說才能具有足夠的吸引力，應用落地也會非常快。”

錢軍補充表示：“一定要理解客戶的需求，然后針對需求投入精力。”

對于瀚博來說，就是盡快完善軟件和生態(tài)的建設。瀚博的VastStream軟件平臺支持TensorFlow、 PyTorch、Caffe2等常見的深度學習框架模型與ONNX格式的模型，借助高度定制的AI編譯器可以充分優(yōu)化模型的執(zhí)行效率。

錢軍介紹，“我們在互聯(lián)網(wǎng)側(cè)的落地速度更快一些，現(xiàn)已與國內(nèi)外多家頭部互聯(lián)網(wǎng)公司合作。同時，我們還在大力增加軟件團隊，未來軟件人員的數(shù)量會是硬件團隊規(guī)模的3-5倍?！?/p>

雖然錢軍沒有透露具體的合作客戶，不過快手作為瀚博的A輪投資人，雙方應該在業(yè)務上更容易達成合作。但無論如何，瀚博的首款芯片的大規(guī)模落地還有一段距離。

“瀚博今年的產(chǎn)能已經(jīng)確定，明年大部分的產(chǎn)能也已經(jīng)提前預知?！卞X軍透露。

小結(jié)

今年四月份第一次和錢軍深度對話的時候，對于其產(chǎn)品錢軍僅僅透露了技術(shù)路線的選擇。在首款產(chǎn)品流片和完成測試之后，瀚博對外透露了有限的產(chǎn)品信息，但核心的架構(gòu)以及內(nèi)置多路視頻解碼能力的特性并未公布更多消息，雷鋒網(wǎng)認為這些才是瀚博最核心的競爭力。

當然，對于互聯(lián)網(wǎng)客戶以及行業(yè)客戶而言，TCO以及易用程度才是更直接的考量因素。瀚博能否用TCO打動足夠多的客戶，仍需觀察。但同樣值得關(guān)注的是，在瀚博的產(chǎn)品規(guī)劃里，有15瓦到150瓦的硬件產(chǎn)品，覆蓋邊緣和云端。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。