雷鋒網(wǎng)AI開發(fā)者訊，日前，神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS 2019）于12月8日至14日在加拿大溫哥華舉行，中國科學(xué)院自動(dòng)化研究所及其南京人工智能芯片創(chuàng)新研究院聯(lián)合團(tuán)隊(duì)在本次大會(huì)的神經(jīng)網(wǎng)絡(luò)壓縮與加速競賽（MicroNet Challenge）中獲得雙料冠軍！

據(jù)悉，本次NeurIPS大會(huì)參會(huì)人數(shù)愈13000人，今年共收到投稿 6743 篇，再次打破了歷年來的接收記錄。而歷來，NeurIPS競賽單元都被譽(yù)為AI界的華山論劍，匯聚了全球AI頂尖力量決戰(zhàn)技術(shù)之巔。 

以模型壓縮和加速為代表的深度學(xué)習(xí)計(jì)算優(yōu)化技術(shù)是近幾年學(xué)術(shù)界和工業(yè)界最為關(guān)注的焦點(diǎn)之一。隨著人工智能技術(shù)不斷地落地到各個(gè)應(yīng)用場景中，在終端上部署深度學(xué)習(xí)方案面臨了新的挑戰(zhàn)：模型越來越復(fù)雜、參量越來越多，但終端的算力、功耗和內(nèi)存受限，如何才能得到適用于終端的性能高、速度快的模型？ 

由Google、Facebook、OpenAI等機(jī)構(gòu)在NeurIPS2019上共同主辦的MicroNet Challenge競賽旨在通過優(yōu)化神經(jīng)網(wǎng)絡(luò)架構(gòu)和計(jì)算，達(dá)到模型精度、計(jì)算效率、和硬件資源占用等方面的平衡，實(shí)現(xiàn)軟硬件協(xié)同優(yōu)化發(fā)展，啟發(fā)新一代硬件架構(gòu)設(shè)計(jì)和神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)等。

MicroNet Challenge競賽對于人工智能軟件、硬件的未來發(fā)展都有著非比尋常的意義，此次不僅集結(jié)了MIT、加州大學(xué)、KAIST、華盛頓大學(xué)、京都大學(xué)、浙大、北航等國內(nèi)外著名前沿科研院校，同時(shí)還吸引了ARM、IBM、高通、Xilinx等國際一流芯片公司的參與。

MicroNet Challenge競賽包括ImageNet圖像分類、CIFAR-100圖像分類和WikiText-103語言模型三個(gè)子任務(wù)。來自自動(dòng)化所程健研究員實(shí)驗(yàn)室的團(tuán)隊(duì)參加了競爭最激烈的ImageNet和CIFAR-100兩個(gè)子賽道的比拼。歷經(jīng)五個(gè)多月的廝殺，團(tuán)隊(duì)一舉包攬了圖像類的全部兩項(xiàng)冠軍。

團(tuán)隊(duì)結(jié)合極低比特量化技術(shù)和稀疏化技術(shù)，在ImageNet任務(wù)上相比主辦方提供的基準(zhǔn)模型取得了20.2倍的壓縮率和12.5倍的加速比，在CIFAR-100任務(wù)上取得了732.6倍的壓縮率和356.5倍的加速比，遙遙領(lǐng)先兩個(gè)任務(wù)中的第二名隊(duì)伍。

同時(shí)，受組織方的邀請，團(tuán)隊(duì)在大會(huì)以“A Comprehensive Study of Network Compression for Image Classification”為主題詳細(xì)介紹了相關(guān)的量化和稀疏化壓縮和加速技術(shù)。

 

針對比賽任務(wù)，團(tuán)隊(duì)在報(bào)告中給出解決辦法：采用量化和稀疏化技術(shù)，將深度學(xué)習(xí)算法模型進(jìn)行輕量化和計(jì)算提速，以大幅降低算法模型對算力、功耗以及內(nèi)存的需求，讓低端設(shè)備實(shí)現(xiàn)人工智能方案。團(tuán)隊(duì)成員冷聰副研究員表示，量化及稀疏化技術(shù)也是深度學(xué)習(xí)軟、硬件協(xié)同加速方案的突破口。通過將其與人工智能硬件架構(gòu)設(shè)計(jì)緊密結(jié)合，可以進(jìn)一步降低人工智能技術(shù)落地難度，讓AI更為易得易用。

 

NeruIPS 2019 MicroNet Challenge神經(jīng)網(wǎng)絡(luò)壓縮與加速競賽雙項(xiàng)冠軍技術(shù)解讀

賽題介紹 

本比賽總共包括三個(gè)賽道：ImageNet分類、CIFAR-100分類、WikiText-103語言模型。在三個(gè)賽道上，參賽團(tuán)隊(duì)要求構(gòu)建輕量級(jí)網(wǎng)絡(luò)，在精度滿足官方要求的條件下，盡可能降低網(wǎng)絡(luò)計(jì)算量和存儲(chǔ)。對于ImageNet分類，要求至少達(dá)到75%的top-1精度，而對于CIFAR-100，top-1精度需要達(dá)到80%以上。

評測指標(biāo)

最終評分指標(biāo)包括存儲(chǔ)壓縮和計(jì)算量壓縮兩部分，均采用理論計(jì)算量和存儲(chǔ)進(jìn)行計(jì)算。

對于存儲(chǔ)，所有在推理階段需要使用的參數(shù)均需要計(jì)算在內(nèi)，比如稀疏化中的mask、量化中的字典、尺度因子等。對于存儲(chǔ)，32比特位算作一個(gè)參數(shù)，低于32比特的數(shù)按照比例計(jì)算，例如8比特?cái)?shù)算作1/4個(gè)參數(shù)。 

對于計(jì)算量，乘法計(jì)算量和加法計(jì)算量分別計(jì)算。對于稀疏而言，稀疏的位置可以認(rèn)為計(jì)算量為0。對于定點(diǎn)量化，32比特操作算作一個(gè)操作，低于32比特的操作按照比例計(jì)算。操作的比特?cái)?shù)認(rèn)為是兩個(gè)輸入操作數(shù)中較大的那一個(gè)，例如一個(gè)3比特?cái)?shù)和一個(gè)5比特?cái)?shù)進(jìn)行計(jì)算，輸出為7比特?cái)?shù)，那么該操作數(shù)為5/32。

對于ImageNet，以MobileNet-V2-1.4作為基準(zhǔn)（6.9M參數(shù)，1170M計(jì)算量，精度大約為75%）。所以，如果參數(shù)量記為Param，計(jì)算量記為Operation，則最終評分Score為：

 

對于CIFAR-100，以WideResNet-29-10為基準(zhǔn)（36.5M參數(shù)，10.49B計(jì)算量，精度大約為80%），評分公式為：

 

解決方案

我們主要采用稀疏化+量化的方式，主要包括模型選擇、網(wǎng)絡(luò)剪枝、定點(diǎn)量化、算子融合等操作，實(shí)現(xiàn)大規(guī)模稀疏和極低比特壓縮。

首先是模型選擇，復(fù)雜的模型往往具有更高的精度，參數(shù)量和計(jì)算量較大，但同時(shí)壓縮空間也比較大；輕量級(jí)模型精度相對較低，但參數(shù)量和計(jì)算量相對較小，同時(shí)對網(wǎng)絡(luò)壓縮也比較敏感，因此需要再模型復(fù)雜度和精度之前進(jìn)行權(quán)衡。我們選擇輕量級(jí)、同時(shí)精度略高于比賽要求的網(wǎng)絡(luò)。最終在ImageNet上選擇了MixNet-S模型（精度75.98%），在CIFAR-100上選擇了DenseNet-100（精度81.1%）。

在確定好模型之后，我們先對網(wǎng)絡(luò)進(jìn)行剪枝，去掉不重要的參數(shù)量和計(jì)算。在這之前，我們對每一層進(jìn)行了魯棒性分析。具體而言，對于每一層，我們進(jìn)行稀疏度從0.1到0.9的剪枝，然后測試網(wǎng)絡(luò)精度。圖1顯示了網(wǎng)絡(luò)各層對不同稀疏度的影響，可以看出某幾層對網(wǎng)絡(luò)剪枝特別敏感，而其余一些層對剪枝卻很魯邦?；诖?，我們確定了每一層的稀疏度，然后刪除不重要的節(jié)點(diǎn)，再對剩余連接進(jìn)行重新訓(xùn)練。我們可以實(shí)現(xiàn)在稀疏度大概為60%的情況下，精度損失只有0.4%。

 圖1 網(wǎng)絡(luò)各層對剪枝操作的魯棒性分析

在對網(wǎng)絡(luò)進(jìn)行剪枝以后，再對網(wǎng)絡(luò)進(jìn)行定點(diǎn)量化。我們采用了均勻量化策略，量化公式如下：

 

對于激活，每層引入一個(gè)浮點(diǎn)數(shù)尺度因子；而對于權(quán)值，每個(gè)3D卷積核引入一個(gè)浮點(diǎn)數(shù)尺度因子。在給定比特?cái)?shù)的情況下，以上優(yōu)化公式唯一的待求解參數(shù)就是尺度因子，即優(yōu)化目標(biāo)為，我們采用迭代優(yōu)化的方式計(jì)算出每一層的尺度因子。在求解尺度因子之后，與網(wǎng)絡(luò)剪枝類似，我們需要對網(wǎng)絡(luò)進(jìn)行微調(diào)來恢復(fù)精度，在網(wǎng)絡(luò)微調(diào)階段，我們保持尺度因子一直不變。通過以上方式，我們可以實(shí)現(xiàn)在激活7比特，參數(shù)大部分為3、4、5比特的情況下，網(wǎng)絡(luò)精度損失為0.5個(gè)點(diǎn)，最終網(wǎng)絡(luò)模型top-1精度為75.05%。

最后，我們進(jìn)行了算子融合，把量化中的尺度因子、卷積層偏置、BN層參數(shù)等融合成一個(gè)Scale層，以進(jìn)一步降低網(wǎng)絡(luò)的存儲(chǔ)和計(jì)算量。最終，我們的方法在ImageNet上只有0.34M參數(shù)和93.7M計(jì)算量，相對于基準(zhǔn)模型實(shí)現(xiàn)20.2倍的壓縮和12.5倍的加速；而在CIFAR-100上，我們的模型存儲(chǔ)僅有49.8K，計(jì)算量為29.4M，相對于基準(zhǔn)模型壓縮732.6倍，加速365.5倍。

雷鋒網(wǎng)AI開發(fā)者

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。