0
本文作者: 包永剛 | 2022-04-14 18:42 |
市場和資本對AI的態(tài)度回歸理性之時,AI領導者們之間的較量也變得愈加激烈。
一個很明確的信號是,目前全球最權威的AI基準測試(Benchmark)之一MLPerf,其基準測試成績正在被你追我趕的AI領導者們不斷刷新。
作為現(xiàn)有的50多家MLPerf基準測試聯(lián)盟成員之一,阿里巴巴此前已經(jīng)在MLPerf數(shù)據(jù)中心基準測試中斬獲多項第一。在本月最新發(fā)布的MLPerf Tiny v0.7榜單中,基于平頭哥玄鐵RISC-V C906處理器的軟硬件聯(lián)合優(yōu)化方案,取得了全部4個指標的第一。
RISC-V國際基金會CEO Calista Redmond對此表示:“物聯(lián)網(wǎng)(IoT)領域的AI技術競爭激烈,不同層面的定向優(yōu)化對于以極低功耗取得新突破至關重要。阿里此次的工作證明了其在RISC-V產(chǎn)業(yè)的領導者地位,也給全球RISC-V社區(qū)和生態(tài)的發(fā)展提供了信心?!?/p>
已經(jīng)在MCU市場攻城略地,給Arm帶來不小壓力的RISC-V處理器,在阿里平頭哥玄鐵的進一步推動下,很大程度證明了RISC-V在IoT市場的發(fā)展?jié)摿?,RISC-V在IoT領域的優(yōu)勢不容忽視。
從整個RISC-V發(fā)展的層面來看,相對年輕的RISC-V仍然有很多挑戰(zhàn)和需要提升的地方,但隨著英特爾、蘋果、谷歌等業(yè)界有影響力的公司在RISC-V領域邁出的關鍵一步,加上阿里巴巴、西部數(shù)據(jù)在RISC-V生態(tài)建中取得的成果,RISC-V站在生態(tài)繁榮的前夜,即將迎來春天,RISC-V處理器應用市場將從優(yōu)勢確立的AIoT,進一步拓展至汽車、工業(yè)等領域。
平頭哥玄鐵斬獲四項第一的秘密——系統(tǒng)級優(yōu)化
MLPerf在AI火熱的2018年12月首次發(fā)布基準測試,隨后迅速得到了各大公司、科研機構和高校支持和參與。此后,MLPerf基準測試不斷完善,基準測試也從最初的AI訓練,拓展至數(shù)據(jù)中心、邊緣、智能手機和IoT的AI推理基準測試,參與者越來越多,競爭也越來越激烈。
MLPerf Tiny 是最新的基準測試榜單,聚焦低功耗、高性價比的IoT場景,2021年6月首次發(fā)布V0.5基準測試結果,本月最新的MLPerf Tiny V0.7榜單出爐。
MLPerf Tiny V0.7的榜單中,CPU的架構涵蓋了Arm、RISC-V架構和自研架構,平頭哥霸榜足以說明RISC-V架構CPU的AI能效比優(yōu)勢。
最終的成績顯示,阿里自研RISC-V玄鐵C906處理器的軟件硬件聯(lián)合優(yōu)化性能結果,在不使用加速器的情況下,滿足精度要求的同時,全部4個基準測試(喚醒、圖像分類、語音喚醒及異常監(jiān)測)的性能數(shù)據(jù)均位列第一,刷新了MLPerf Tiny Open的全部4個基準測試記錄。
雷峰網(wǎng)(公眾號:雷峰網(wǎng))注意到,在MLPerf Tiny V0.7的四個測試中,阿里平頭哥玄鐵的成績比其它提交者的性能至少高10倍。也就是說,相比其他提交者,平頭哥玄鐵的性能有一個數(shù)量級的優(yōu)勢。
能夠實現(xiàn)如此顯著的優(yōu)勢可以概括為——軟硬一體創(chuàng)新。
MLPerf Tiny V0.7性能數(shù)據(jù)對比
平頭哥副總裁孟建熠對雷峰網(wǎng)表示,“我們能夠刷新MLPerf Tiny榜單,是因為平頭哥聯(lián)合了阿里云、達摩院等多個部門,進行了從最底層硬件到編譯再到上層算法的軟硬件協(xié)同創(chuàng)新?!?/strong>
最底層的硬件,玄鐵C906是業(yè)界最早量產(chǎn)的向量擴展RISC-V指令集處理器,也是一款64位高能效處理器,標配內存管理單元。針對AI處理的特點,C906在數(shù)據(jù)預取上做了優(yōu)化,采用多通道多模式的數(shù)據(jù)預取技術,可大幅提升數(shù)據(jù)訪問帶寬。
編譯層面,平頭哥進一步優(yōu)化神經(jīng)網(wǎng)絡模型部署工具集HHB及加速庫CSI-NN2,二者配合,能簡單快速的將原始單精度浮點模型量化為開發(fā)板上性能最優(yōu)的數(shù)據(jù)類型。同時,CSI-NN2 在實現(xiàn)神經(jīng)網(wǎng)絡算子時,充分考慮到玄鐵C906的硬件特性(包括流水線、高速緩存等),充分挖掘了FP16 數(shù)據(jù)格式在算法中的并行能力,發(fā)揮出玄鐵硬件的高能效優(yōu)勢。
在離開發(fā)者更近的算法層面,借助阿里云震旦異構加速平臺利用架構感知的模型優(yōu)化工具SinianML,通過壓縮、網(wǎng)絡結構搜索、蒸餾、彈性伸縮等優(yōu)化,使AI推理實現(xiàn)了計算效率的大幅提升。同時,結合達摩院在語音和視覺AI算法方面的領域知識,在具體任務上通過算法優(yōu)化實現(xiàn)加速。
“在MLPerf Tiny榜單中取得4項第一,證明了RISC-V在性能及能效方面非常優(yōu)異的潛力,也體現(xiàn)出了RISC-V在高能效AI處理中非常有價值?!泵辖谡f:“RISC-V架構更靈活,更能滿足AIoT時代定制化需求?!?/strong>
RISC-V確立AI優(yōu)勢,將迅速占領AIoT市場
過去幾年間,憑借著可定制化以開放開源的優(yōu)勢,比肩Arm Cortex-M0甚至Cortex-M4的RISC-V處理器產(chǎn)品上市,給Arm帶來了不小的壓力。
2017 年圖靈獎得主,也是帶領伯克利加州大學團隊在2011年發(fā)布RISC-V(第五代精簡指令集)的David Patterson教授2020年時對雷峰網(wǎng)說,“正如今天的Linux是專有操作系統(tǒng)的強大競爭對手一樣,我希望開放的RISC-V架構在未來五年內成為專有處理器架構的非常強大的競爭對手。它可能從物聯(lián)網(wǎng)產(chǎn)品開始,但我希望RISC-V從智能手機、筆記本電腦到高性能計算,在各個層級都變得非常有競爭力。”
RISC-V國際基金會董事譚章熹曾對雷峰網(wǎng)表示:“新的應用總會伴隨新的技術和機會,就算不替代Arm,RISC-V架構的AI芯片無疑也是IoT時代的重要玩家。我覺得真正有意思的是,RISC-V開始慢慢對Arm新推出的物聯(lián)網(wǎng)芯片進行一些替代。”
RISC-V的AI優(yōu)勢在此次榜單中正是一個很好的展示,玄鐵C906作為一款CPU,在不借助加速器的情況下,就實現(xiàn)了比其它架構CPU配合加速器更高的AI性能。
“平頭哥的定位是提供RISC-V原生的AI支持,所以我們所有的基準測試都是由CPU來完成。”孟建熠說,“基于玄鐵處理器能效的表現(xiàn),很多對AI算力要求不高的IoT場景(1TOPS以下)就不需要在單獨設計AI加速器,無論是成本、可調試性、可開發(fā)性都非常友好。如果是對AI有更高要求的客戶,也可以開發(fā)單獨的AI加速器?!?/p>
據(jù)悉,在語音AI場景,達摩院語音實驗室聯(lián)合平頭哥打造了基于RISC-V玄鐵C906核的語音交互AIoT模組,可以為客戶整機降低一半以上的模組成本,同時依然保持高性能的算法體驗,已經(jīng)服務于天貓精靈等內外部客戶,結合有25億顆累積應用的玄鐵CPU生態(tài),能夠為更多的智能設備帶來低功耗和高性價比的AI技術。
接下來,平頭哥還將繼續(xù)通過軟硬件的協(xié)同創(chuàng)新不斷增強RISC-V的AI優(yōu)勢。
這一點從平頭哥選擇的MLPerf Tiny V0.7 Open Division就可以明確看出。MLPerf Tiny分為Closed Division 和Open Division。Closed Division只能從底層做模型的量化和算子加速。Open Division則可以從模型層次結構、網(wǎng)絡結構等更大范圍內的優(yōu)化,MLPerf也希望通過Open Division鼓勵創(chuàng)新。
孟建熠說,“相較于Closed Division,Open Division更能體現(xiàn)軟硬協(xié)同的能力。長期來看,我們可能還是會堅持從Open Division的角度不斷優(yōu)化和提升玄鐵RISC-V處理器的AI性能?!?/p>
RISC-V從技術層面的不斷創(chuàng)新,也能夠更好地符合IoT市場碎片化的需求。
平頭哥生態(tài)負責人楊靜表示,“我們軟硬協(xié)同優(yōu)化和創(chuàng)新的模式從某種角度看是可以復制的模式。我們也希望在更多的行業(yè)里,更懂應用的客戶能夠把上層的軟件優(yōu)化做好,從應用出發(fā),通過軟硬件配合提升能效,不斷豐富RISC-V的生態(tài)?!?/p>
孟建熠認為,“在IoT領域,RISC-V的技術和生態(tài)進入了快速發(fā)展的階段。但RISC-V除了IoT還要走向邊緣、數(shù)據(jù)中心等市場,這需要生態(tài)的繁榮?!?/strong>
走在生態(tài)繁榮前夜,RISC-V將迎來春天
正如Arm花費了數(shù)年時間建立服務器CPU生態(tài),才在最近幾年能有與x86服務器CPU競爭的機會一樣。生態(tài)的豐富和完善程度決定了RISC-V真正的競爭力。RISC-V建設生態(tài)的優(yōu)勢在于,與x86的封閉,以及Arm的授權模式不同,RISC-V在芯片領域全新的開放、可定制化能夠吸引更多開發(fā)者。
孟建熠認為,生態(tài)繁榮的一些關鍵特征包括,有足夠數(shù)量的開發(fā)者,有足夠豐富的軟件,以及足夠的可供使用的資源。RISC-V的整個生態(tài)走在了繁榮的前夜。
最近一年,越來越多業(yè)界有影響力的公司在推動RISC-V發(fā)展中邁出了實質性的一步,足以說明RISC-V未來的潛力。比如x86架構的主導者英特爾在今年2月宣布加入RISC-V International,并成為Premier級別會員。谷歌在去年10月發(fā)布的自研獨立安全芯片,改用RISC-V指令集架構。蘋果在去年9月放出了RISC-V人才的招聘信息。
作為RISC-V的領導者之一,平頭哥對RISC-V生態(tài)的繁榮已經(jīng)做出了重要貢獻。2021年10月13日,平頭哥宣布玄鐵C910成功兼容安卓系統(tǒng),可運行Chrome瀏覽器等應用。這是RISC-V架構處理器首次實現(xiàn)對安卓的支持,意味著RISC-V架構有望打破場景壁壘,成為高性能芯片設計的新選擇。
2021年10月13日,平頭哥玄鐵C910成功兼容安卓系統(tǒng)
性能和應用不斷向上突破的同時,平頭哥已經(jīng)擁有從低功耗、低成本到中高性能等豐富的RISC-V處理器產(chǎn)品家族,廣泛應用于MCU、藍牙、無線、語音、視覺等應用場景。目前,玄鐵系列處理器已出貨超25億顆,擁有150余家客戶、超500個授權數(shù),是國內應用規(guī)模最大的國產(chǎn)CPU。
除了從技術維度進行創(chuàng)新,平頭哥從商業(yè)模式維度的創(chuàng)新也對RISC-V生態(tài)的繁榮意義重大。
RISC-V一個顯著的特性就是開源,平頭哥也通過開源開放推進算力普及。2019年,玄鐵C910一面世就對外開放,2021年玄鐵4款量產(chǎn)處理器全棧開源,為全球開發(fā)者提供了架構新選擇,在此基礎上,開發(fā)者可實現(xiàn)開源EDA協(xié)同,創(chuàng)新硬件架構,豐富軟件應用生態(tài)。
過去幾年間,平頭哥適配了AliOS、FreeRTOS、RT-Thread、Linux、Android等操作系統(tǒng),在百余款芯片中得到了應用。這也使得玄鐵系列成為國內RISC-V領域影響力和市場占有率最大的處理器產(chǎn)品,以每年50%的授權數(shù)增長。
楊靜介紹,“玄鐵處理器不斷豐富的同時,也有越來越多可供開發(fā)者群體使用的開發(fā)。我們會逐步增加可使用開發(fā)板的觸達度??梢钥吹?,基于這些開發(fā)板開發(fā)的項目不止有創(chuàng)意,也有一些真正進入IoT商業(yè)化領域的嘗試?!?/strong>
高校更能夠在人才培養(yǎng)的階段就普及RISC-V技術。孟建熠說,“4款玄鐵處理器全棧開源之后,許多科研院所,以及國內知名的高校都基于玄鐵做研究,也已經(jīng)有玄鐵架構的分析論文。當然,我們也和高校合作,在計算機體系結構課程中增加玄鐵處理器的相關內容。”
“開源之后,我們看到更多的初創(chuàng)公司,甚至一些大公司都會看我們開源內核的使用情況。玄鐵處理器的開源代碼在GitHub的下載量相當可觀?!睏铎o補充表示。
RISC-V的生態(tài)在業(yè)界的共同努力下,正在走向繁榮,這也意味著RISC-V市場即將迎來春天。
AIoT市場之后,在可以預見的未來,RISC-V的下一個戰(zhàn)場或許是車載和工業(yè)市場。將時間線拉長,RISC-V也將在云端和邊緣端高性能處理器市場占有一席之地。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。