0
本文作者: 包永剛 | 2022-04-14 18:42 |
市場和資本對AI的態(tài)度回歸理性之時(shí),AI領(lǐng)導(dǎo)者們之間的較量也變得愈加激烈。
一個(gè)很明確的信號是,目前全球最權(quán)威的AI基準(zhǔn)測試(Benchmark)之一MLPerf,其基準(zhǔn)測試成績正在被你追我趕的AI領(lǐng)導(dǎo)者們不斷刷新。
作為現(xiàn)有的50多家MLPerf基準(zhǔn)測試聯(lián)盟成員之一,阿里巴巴此前已經(jīng)在MLPerf數(shù)據(jù)中心基準(zhǔn)測試中斬獲多項(xiàng)第一。在本月最新發(fā)布的MLPerf Tiny v0.7榜單中,基于平頭哥玄鐵RISC-V C906處理器的軟硬件聯(lián)合優(yōu)化方案,取得了全部4個(gè)指標(biāo)的第一。
RISC-V國際基金會(huì)CEO Calista Redmond對此表示:“物聯(lián)網(wǎng)(IoT)領(lǐng)域的AI技術(shù)競爭激烈,不同層面的定向優(yōu)化對于以極低功耗取得新突破至關(guān)重要。阿里此次的工作證明了其在RISC-V產(chǎn)業(yè)的領(lǐng)導(dǎo)者地位,也給全球RISC-V社區(qū)和生態(tài)的發(fā)展提供了信心?!?/p>
已經(jīng)在MCU市場攻城略地,給Arm帶來不小壓力的RISC-V處理器,在阿里平頭哥玄鐵的進(jìn)一步推動(dòng)下,很大程度證明了RISC-V在IoT市場的發(fā)展?jié)摿?,RISC-V在IoT領(lǐng)域的優(yōu)勢不容忽視。
從整個(gè)RISC-V發(fā)展的層面來看,相對年輕的RISC-V仍然有很多挑戰(zhàn)和需要提升的地方,但隨著英特爾、蘋果、谷歌等業(yè)界有影響力的公司在RISC-V領(lǐng)域邁出的關(guān)鍵一步,加上阿里巴巴、西部數(shù)據(jù)在RISC-V生態(tài)建中取得的成果,RISC-V站在生態(tài)繁榮的前夜,即將迎來春天,RISC-V處理器應(yīng)用市場將從優(yōu)勢確立的AIoT,進(jìn)一步拓展至汽車、工業(yè)等領(lǐng)域。
平頭哥玄鐵斬獲四項(xiàng)第一的秘密——系統(tǒng)級優(yōu)化
MLPerf在AI火熱的2018年12月首次發(fā)布基準(zhǔn)測試,隨后迅速得到了各大公司、科研機(jī)構(gòu)和高校支持和參與。此后,MLPerf基準(zhǔn)測試不斷完善,基準(zhǔn)測試也從最初的AI訓(xùn)練,拓展至數(shù)據(jù)中心、邊緣、智能手機(jī)和IoT的AI推理基準(zhǔn)測試,參與者越來越多,競爭也越來越激烈。
MLPerf Tiny 是最新的基準(zhǔn)測試榜單,聚焦低功耗、高性價(jià)比的IoT場景,2021年6月首次發(fā)布V0.5基準(zhǔn)測試結(jié)果,本月最新的MLPerf Tiny V0.7榜單出爐。
MLPerf Tiny V0.7的榜單中,CPU的架構(gòu)涵蓋了Arm、RISC-V架構(gòu)和自研架構(gòu),平頭哥霸榜足以說明RISC-V架構(gòu)CPU的AI能效比優(yōu)勢。
最終的成績顯示,阿里自研RISC-V玄鐵C906處理器的軟件硬件聯(lián)合優(yōu)化性能結(jié)果,在不使用加速器的情況下,滿足精度要求的同時(shí),全部4個(gè)基準(zhǔn)測試(喚醒、圖像分類、語音喚醒及異常監(jiān)測)的性能數(shù)據(jù)均位列第一,刷新了MLPerf Tiny Open的全部4個(gè)基準(zhǔn)測試記錄。
雷峰網(wǎng)注意到,在MLPerf Tiny V0.7的四個(gè)測試中,阿里平頭哥玄鐵的成績比其它提交者的性能至少高10倍。也就是說,相比其他提交者,平頭哥玄鐵的性能有一個(gè)數(shù)量級的優(yōu)勢。
能夠?qū)崿F(xiàn)如此顯著的優(yōu)勢可以概括為——軟硬一體創(chuàng)新。
MLPerf Tiny V0.7性能數(shù)據(jù)對比
平頭哥副總裁孟建熠對雷峰網(wǎng)表示,“我們能夠刷新MLPerf Tiny榜單,是因?yàn)槠筋^哥聯(lián)合了阿里云、達(dá)摩院等多個(gè)部門,進(jìn)行了從最底層硬件到編譯再到上層算法的軟硬件協(xié)同創(chuàng)新?!?/strong>
最底層的硬件,玄鐵C906是業(yè)界最早量產(chǎn)的向量擴(kuò)展RISC-V指令集處理器,也是一款64位高能效處理器,標(biāo)配內(nèi)存管理單元。針對AI處理的特點(diǎn),C906在數(shù)據(jù)預(yù)取上做了優(yōu)化,采用多通道多模式的數(shù)據(jù)預(yù)取技術(shù),可大幅提升數(shù)據(jù)訪問帶寬。
編譯層面,平頭哥進(jìn)一步優(yōu)化神經(jīng)網(wǎng)絡(luò)模型部署工具集HHB及加速庫CSI-NN2,二者配合,能簡單快速的將原始單精度浮點(diǎn)模型量化為開發(fā)板上性能最優(yōu)的數(shù)據(jù)類型。同時(shí),CSI-NN2 在實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算子時(shí),充分考慮到玄鐵C906的硬件特性(包括流水線、高速緩存等),充分挖掘了FP16 數(shù)據(jù)格式在算法中的并行能力,發(fā)揮出玄鐵硬件的高能效優(yōu)勢。
在離開發(fā)者更近的算法層面,借助阿里云震旦異構(gòu)加速平臺(tái)利用架構(gòu)感知的模型優(yōu)化工具SinianML,通過壓縮、網(wǎng)絡(luò)結(jié)構(gòu)搜索、蒸餾、彈性伸縮等優(yōu)化,使AI推理實(shí)現(xiàn)了計(jì)算效率的大幅提升。同時(shí),結(jié)合達(dá)摩院在語音和視覺AI算法方面的領(lǐng)域知識(shí),在具體任務(wù)上通過算法優(yōu)化實(shí)現(xiàn)加速。
“在MLPerf Tiny榜單中取得4項(xiàng)第一,證明了RISC-V在性能及能效方面非常優(yōu)異的潛力,也體現(xiàn)出了RISC-V在高能效AI處理中非常有價(jià)值?!泵辖谡f:“RISC-V架構(gòu)更靈活,更能滿足AIoT時(shí)代定制化需求。”
RISC-V確立AI優(yōu)勢,將迅速占領(lǐng)AIoT市場
過去幾年間,憑借著可定制化以開放開源的優(yōu)勢,比肩Arm Cortex-M0甚至Cortex-M4的RISC-V處理器產(chǎn)品上市,給Arm帶來了不小的壓力。
2017 年圖靈獎(jiǎng)得主,也是帶領(lǐng)伯克利加州大學(xué)團(tuán)隊(duì)在2011年發(fā)布RISC-V(第五代精簡指令集)的David Patterson教授2020年時(shí)對雷峰網(wǎng)(公眾號:雷峰網(wǎng))說,“正如今天的Linux是專有操作系統(tǒng)的強(qiáng)大競爭對手一樣,我希望開放的RISC-V架構(gòu)在未來五年內(nèi)成為專有處理器架構(gòu)的非常強(qiáng)大的競爭對手。它可能從物聯(lián)網(wǎng)產(chǎn)品開始,但我希望RISC-V從智能手機(jī)、筆記本電腦到高性能計(jì)算,在各個(gè)層級都變得非常有競爭力?!?/strong>
RISC-V國際基金會(huì)董事譚章熹曾對雷峰網(wǎng)表示:“新的應(yīng)用總會(huì)伴隨新的技術(shù)和機(jī)會(huì),就算不替代Arm,RISC-V架構(gòu)的AI芯片無疑也是IoT時(shí)代的重要玩家。我覺得真正有意思的是,RISC-V開始慢慢對Arm新推出的物聯(lián)網(wǎng)芯片進(jìn)行一些替代?!?/p>
RISC-V的AI優(yōu)勢在此次榜單中正是一個(gè)很好的展示,玄鐵C906作為一款CPU,在不借助加速器的情況下,就實(shí)現(xiàn)了比其它架構(gòu)CPU配合加速器更高的AI性能。
“平頭哥的定位是提供RISC-V原生的AI支持,所以我們所有的基準(zhǔn)測試都是由CPU來完成。”孟建熠說,“基于玄鐵處理器能效的表現(xiàn),很多對AI算力要求不高的IoT場景(1TOPS以下)就不需要在單獨(dú)設(shè)計(jì)AI加速器,無論是成本、可調(diào)試性、可開發(fā)性都非常友好。如果是對AI有更高要求的客戶,也可以開發(fā)單獨(dú)的AI加速器。”
據(jù)悉,在語音AI場景,達(dá)摩院語音實(shí)驗(yàn)室聯(lián)合平頭哥打造了基于RISC-V玄鐵C906核的語音交互AIoT模組,可以為客戶整機(jī)降低一半以上的模組成本,同時(shí)依然保持高性能的算法體驗(yàn),已經(jīng)服務(wù)于天貓精靈等內(nèi)外部客戶,結(jié)合有25億顆累積應(yīng)用的玄鐵CPU生態(tài),能夠?yàn)楦嗟闹悄茉O(shè)備帶來低功耗和高性價(jià)比的AI技術(shù)。
接下來,平頭哥還將繼續(xù)通過軟硬件的協(xié)同創(chuàng)新不斷增強(qiáng)RISC-V的AI優(yōu)勢。
這一點(diǎn)從平頭哥選擇的MLPerf Tiny V0.7 Open Division就可以明確看出。MLPerf Tiny分為Closed Division 和Open Division。Closed Division只能從底層做模型的量化和算子加速。Open Division則可以從模型層次結(jié)構(gòu)、網(wǎng)絡(luò)結(jié)構(gòu)等更大范圍內(nèi)的優(yōu)化,MLPerf也希望通過Open Division鼓勵(lì)創(chuàng)新。
孟建熠說,“相較于Closed Division,Open Division更能體現(xiàn)軟硬協(xié)同的能力。長期來看,我們可能還是會(huì)堅(jiān)持從Open Division的角度不斷優(yōu)化和提升玄鐵RISC-V處理器的AI性能?!?/p>
RISC-V從技術(shù)層面的不斷創(chuàng)新,也能夠更好地符合IoT市場碎片化的需求。
平頭哥生態(tài)負(fù)責(zé)人楊靜表示,“我們軟硬協(xié)同優(yōu)化和創(chuàng)新的模式從某種角度看是可以復(fù)制的模式。我們也希望在更多的行業(yè)里,更懂應(yīng)用的客戶能夠把上層的軟件優(yōu)化做好,從應(yīng)用出發(fā),通過軟硬件配合提升能效,不斷豐富RISC-V的生態(tài)?!?/p>
孟建熠認(rèn)為,“在IoT領(lǐng)域,RISC-V的技術(shù)和生態(tài)進(jìn)入了快速發(fā)展的階段。但RISC-V除了IoT還要走向邊緣、數(shù)據(jù)中心等市場,這需要生態(tài)的繁榮?!?/strong>
走在生態(tài)繁榮前夜,RISC-V將迎來春天
正如Arm花費(fèi)了數(shù)年時(shí)間建立服務(wù)器CPU生態(tài),才在最近幾年能有與x86服務(wù)器CPU競爭的機(jī)會(huì)一樣。生態(tài)的豐富和完善程度決定了RISC-V真正的競爭力。RISC-V建設(shè)生態(tài)的優(yōu)勢在于,與x86的封閉,以及Arm的授權(quán)模式不同,RISC-V在芯片領(lǐng)域全新的開放、可定制化能夠吸引更多開發(fā)者。
孟建熠認(rèn)為,生態(tài)繁榮的一些關(guān)鍵特征包括,有足夠數(shù)量的開發(fā)者,有足夠豐富的軟件,以及足夠的可供使用的資源。RISC-V的整個(gè)生態(tài)走在了繁榮的前夜。
最近一年,越來越多業(yè)界有影響力的公司在推動(dòng)RISC-V發(fā)展中邁出了實(shí)質(zhì)性的一步,足以說明RISC-V未來的潛力。比如x86架構(gòu)的主導(dǎo)者英特爾在今年2月宣布加入RISC-V International,并成為Premier級別會(huì)員。谷歌在去年10月發(fā)布的自研獨(dú)立安全芯片,改用RISC-V指令集架構(gòu)。蘋果在去年9月放出了RISC-V人才的招聘信息。
作為RISC-V的領(lǐng)導(dǎo)者之一,平頭哥對RISC-V生態(tài)的繁榮已經(jīng)做出了重要貢獻(xiàn)。2021年10月13日,平頭哥宣布玄鐵C910成功兼容安卓系統(tǒng),可運(yùn)行Chrome瀏覽器等應(yīng)用。這是RISC-V架構(gòu)處理器首次實(shí)現(xiàn)對安卓的支持,意味著RISC-V架構(gòu)有望打破場景壁壘,成為高性能芯片設(shè)計(jì)的新選擇。
2021年10月13日,平頭哥玄鐵C910成功兼容安卓系統(tǒng)
性能和應(yīng)用不斷向上突破的同時(shí),平頭哥已經(jīng)擁有從低功耗、低成本到中高性能等豐富的RISC-V處理器產(chǎn)品家族,廣泛應(yīng)用于MCU、藍(lán)牙、無線、語音、視覺等應(yīng)用場景。目前,玄鐵系列處理器已出貨超25億顆,擁有150余家客戶、超500個(gè)授權(quán)數(shù),是國內(nèi)應(yīng)用規(guī)模最大的國產(chǎn)CPU。
除了從技術(shù)維度進(jìn)行創(chuàng)新,平頭哥從商業(yè)模式維度的創(chuàng)新也對RISC-V生態(tài)的繁榮意義重大。
RISC-V一個(gè)顯著的特性就是開源,平頭哥也通過開源開放推進(jìn)算力普及。2019年,玄鐵C910一面世就對外開放,2021年玄鐵4款量產(chǎn)處理器全棧開源,為全球開發(fā)者提供了架構(gòu)新選擇,在此基礎(chǔ)上,開發(fā)者可實(shí)現(xiàn)開源EDA協(xié)同,創(chuàng)新硬件架構(gòu),豐富軟件應(yīng)用生態(tài)。
過去幾年間,平頭哥適配了AliOS、FreeRTOS、RT-Thread、Linux、Android等操作系統(tǒng),在百余款芯片中得到了應(yīng)用。這也使得玄鐵系列成為國內(nèi)RISC-V領(lǐng)域影響力和市場占有率最大的處理器產(chǎn)品,以每年50%的授權(quán)數(shù)增長。
楊靜介紹,“玄鐵處理器不斷豐富的同時(shí),也有越來越多可供開發(fā)者群體使用的開發(fā)。我們會(huì)逐步增加可使用開發(fā)板的觸達(dá)度??梢钥吹?,基于這些開發(fā)板開發(fā)的項(xiàng)目不止有創(chuàng)意,也有一些真正進(jìn)入IoT商業(yè)化領(lǐng)域的嘗試。”
高校更能夠在人才培養(yǎng)的階段就普及RISC-V技術(shù)。孟建熠說,“4款玄鐵處理器全棧開源之后,許多科研院所,以及國內(nèi)知名的高校都基于玄鐵做研究,也已經(jīng)有玄鐵架構(gòu)的分析論文。當(dāng)然,我們也和高校合作,在計(jì)算機(jī)體系結(jié)構(gòu)課程中增加玄鐵處理器的相關(guān)內(nèi)容?!?/p>
“開源之后,我們看到更多的初創(chuàng)公司,甚至一些大公司都會(huì)看我們開源內(nèi)核的使用情況。玄鐵處理器的開源代碼在GitHub的下載量相當(dāng)可觀?!睏铎o補(bǔ)充表示。
RISC-V的生態(tài)在業(yè)界的共同努力下,正在走向繁榮,這也意味著RISC-V市場即將迎來春天。
AIoT市場之后,在可以預(yù)見的未來,RISC-V的下一個(gè)戰(zhàn)場或許是車載和工業(yè)市場。將時(shí)間線拉長,RISC-V也將在云端和邊緣端高性能處理器市場占有一席之地。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。