近年來(lái)，在萬(wàn)物智聯(lián)的趨勢(shì)下，物聯(lián)網(wǎng)產(chǎn)業(yè)從概念炒作進(jìn)入加速落地的實(shí)質(zhì)性階段，端側(cè)數(shù)據(jù)處理能力與云端數(shù)據(jù)處理能力已變的同等重要，而AI芯片從“云端”走向“邊緣”已呈現(xiàn)出不可逆的趨勢(shì)。

不久前，中國(guó)科學(xué)院自動(dòng)化研究所南京人工智能芯片創(chuàng)新研究院（AiRiA研究院）舉辦戰(zhàn)略發(fā)布會(huì)，公布了其“普惠AI，芯向邊緣”戰(zhàn)略。同時(shí)，AiRiA研究院、賽格導(dǎo)航和高新興物聯(lián)完成了三方戰(zhàn)略合作簽約儀式，三方將共推出基于低成本芯片的自動(dòng)駕駛算法解決方案。

會(huì)上，AiRiA研究院常務(wù)副院長(zhǎng)程健透露，該團(tuán)隊(duì)自主設(shè)計(jì)的量化神經(jīng)處理器（QNPU）定名為“Watt A1”，將在今年流片，預(yù)計(jì)可能在9~10月實(shí)現(xiàn)?；顒?dòng)現(xiàn)場(chǎng)還展出了AiRiA研究院的Q-box、Q-Engine等多項(xiàng)成果。會(huì)后，雷鋒網(wǎng)與AiRiA研究院常務(wù)副院長(zhǎng)程健和AiRiA研究院副院長(zhǎng)冷聰進(jìn)行了進(jìn)一步交流。

普惠AI，進(jìn)軍邊緣端訓(xùn)練

AiRiA研究院成立于2017年9月，依托中國(guó)科學(xué)院自動(dòng)化研究所和南京市麒麟科技創(chuàng)新園，由中國(guó)科學(xué)院自動(dòng)化研究所負(fù)責(zé)運(yùn)營(yíng)管理。

據(jù)介紹，AiRiA研究院的愿景是普惠AI，基于20余年技術(shù)積累，從軟（核心智能算法）、硬（AI芯片）兩方面進(jìn)行布局，以期達(dá)到低功耗和高效性能，為各行各業(yè)創(chuàng)新科技賦能。

物聯(lián)網(wǎng)時(shí)代，消費(fèi)者對(duì)身邊事物（端側(cè)）智能化的期待越來(lái)越高，各行各業(yè)對(duì)AI的需求呈現(xiàn)爆發(fā)式增長(zhǎng)。比如在自動(dòng)駕駛、安防、工業(yè)機(jī)器人等場(chǎng)景中。然而，AI能力需求上升之際，其作為一項(xiàng)賦能各個(gè)行業(yè)的通用技術(shù)，卻遲遲未能普及。

AI芯片走過(guò)云端訓(xùn)練、云端推理、邊緣端推理后，正在對(duì)邊緣端訓(xùn)練產(chǎn)生新的訴求。目前邊緣端訓(xùn)練幾乎空白，Watt的定位正是面向邊緣計(jì)算的AI芯片，QNPU能在功耗、成本等受限的情況下保持高性能。

“研究院將一系列產(chǎn)品命名為Q，這是因?yàn)檠芯吭旱漠a(chǎn)品主要采用量化技術(shù)。這項(xiàng)技術(shù)具有低功耗和較高計(jì)算性能表現(xiàn)的特點(diǎn)，可以滿足邊緣計(jì)算對(duì)AI芯片有低成本、低功耗、低延時(shí)的要求。”冷聰表示，QNPU架構(gòu)具有低位寬、計(jì)算架構(gòu)和算子融合三大優(yōu)勢(shì)。其中的一大創(chuàng)新是將乘法全部用移位操作來(lái)替代，盡量減少對(duì)存儲(chǔ)的訪問(wèn)，進(jìn)一步降低功耗和時(shí)間。

Watt A1采用臺(tái)積電28nm工藝，峰值算力達(dá)24Tops，幀效比達(dá)到6Tops/W，支持1080P四路視頻實(shí)時(shí)檢測(cè)，MobileNet圖像分類達(dá)每秒8000幀。該芯片采用量化模型壓縮技術(shù)，計(jì)算被極大程度簡(jiǎn)化，實(shí)現(xiàn)了完整片內(nèi)計(jì)算，打破了內(nèi)存墻瓶頸，將功耗和成本顯著降低。

此外，程健還向雷鋒網(wǎng)介紹道，QNPU可以做到在片上處理大規(guī)模神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)計(jì)算在片內(nèi)處理，不必反復(fù)訪問(wèn)外部存儲(chǔ)器，這避免了芯片計(jì)算領(lǐng)域備受關(guān)注的“內(nèi)存墻”難題，可以大幅減少芯片自身的功耗，提高推理速度。

片內(nèi)數(shù)據(jù)處理可以省卻大量外部存儲(chǔ)，將進(jìn)一步縮小芯片的面積，所以該芯片流片后面積會(huì)相當(dāng)小。“如此設(shè)計(jì)，功耗和成本都保持很低，計(jì)算能力依然保持較高，因此QNPU非常適合邊緣計(jì)算對(duì)低功耗、低時(shí)延的計(jì)算場(chǎng)景?！背探≌f(shuō)道。

據(jù)悉，QNPU的下一步計(jì)劃就是向邊緣端訓(xùn)練進(jìn)發(fā)，然后實(shí)現(xiàn)“自主進(jìn)化”的目標(biāo)。

全棧式解決方案

除Watt A1芯片外，AiRiA研究院還推出了模型壓縮工具QTrainer和深度學(xué)習(xí)推理引擎QEngine。

QTrainer通過(guò)低比特量化和剪枝在實(shí)現(xiàn)壓縮功能的同時(shí)保持較高性能表現(xiàn)，支持客戶開發(fā)自定義應(yīng)用。

冷聰對(duì)雷鋒網(wǎng)說(shuō)明道，量化技術(shù)并非AiRiA研究院所獨(dú)有，但在量化精度上達(dá)到3bit甚至更低是其他團(tuán)隊(duì)難以比擬的優(yōu)勢(shì)。“8bit已經(jīng)很不錯(cuò)了，但是QTrainer的量化結(jié)果可以做到3bit、2bit甚至1bit?！?/p>

另一方面，QEngine提供算法專家定制合作和免費(fèi)技術(shù)支持，不僅支持QNPU，也支持客戶自研硬件。與QTrainer及Watt A1一起，構(gòu)成了普惠AI全棧式解決方案。

“AiRiA研究院是AI芯片的后來(lái)者，結(jié)合了自身優(yōu)勢(shì)并選擇了發(fā)展前景最好的邊緣計(jì)算方向?！背探?duì)雷鋒網(wǎng)說(shuō)，“從這里切進(jìn)去，一方面源于我們對(duì)市場(chǎng)的研判，一方面我們有十多年的技術(shù)積累來(lái)支撐我們的判斷?！?/p>

他指出，AI芯片技術(shù)和市場(chǎng)正在快速變革，其應(yīng)用與政策環(huán)境都帶來(lái)了多重利好。芯片國(guó)有化關(guān)乎國(guó)家安全問(wèn)題，無(wú)論是企業(yè)還是高校、研究院，都在探索AI芯片研究和落地的新思路。

隨著物聯(lián)網(wǎng)的繁榮及5G商用的迫近，邊緣計(jì)算越來(lái)越成為熱門，大有與云計(jì)算平分秋色之勢(shì)。各大計(jì)算廠商、云業(yè)務(wù)服務(wù)商也紛紛面向邊緣計(jì)算布局。過(guò)去的兩年間，芯片公司、云計(jì)算巨頭、AI算法公司等紛紛涌入云端訓(xùn)練與推理以及邊緣推理領(lǐng)域，而邊緣訓(xùn)練還是新興領(lǐng)域，明顯的格局尚未形成。

程健告訴雷鋒網(wǎng)，邊緣訓(xùn)練的一大好處是可以在邊緣設(shè)備用實(shí)時(shí)實(shí)地?cái)?shù)據(jù)進(jìn)行訓(xùn)練個(gè)性化模型，同時(shí)無(wú)需將數(shù)據(jù)傳輸?shù)皆贫?，保障了?shù)據(jù)隱私安全。邊緣訓(xùn)練要解決的重點(diǎn)包括邊緣端的小樣本數(shù)據(jù)，以及在邊緣端不標(biāo)或少標(biāo)數(shù)據(jù)的情況下實(shí)現(xiàn)無(wú)監(jiān)督或半監(jiān)督學(xué)習(xí)。

程健表示，AiRiA研究院會(huì)持續(xù)針對(duì)這些難題進(jìn)行研究和探索。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。