雷鋒網(wǎng) AI 科技評(píng)論按：百度關(guān)于網(wǎng)絡(luò)壓縮和加速的論文《 Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》被 CCF A 類學(xué)術(shù)會(huì)議 CVPR 2019 收錄為 Oral 論文，這篇論文提出了新的基于濾波器的幾何中心（geometric median）的剪枝算法，來(lái)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮和加速。本文是論文作者之一何洋為雷鋒網(wǎng) AI 科技評(píng)論提供的論文解讀。

論文地址： https://arxiv.org/pdf/1811.00250.pdf

Github 地址： https://github.com/he-y/filter-pruning-geometric-median

1.背景

卷積神經(jīng)網(wǎng)絡(luò)(CNN)通常通過(guò)更深和更寬的結(jié)構(gòu)實(shí)現(xiàn)了更好的性能，但是當(dāng)神經(jīng)網(wǎng)絡(luò)需要部署到移動(dòng)設(shè)備時(shí)，神經(jīng)網(wǎng)絡(luò)需要的資源遠(yuǎn)遠(yuǎn)超過(guò)了移動(dòng)設(shè)備的限制。例如，ResNet-152擁有6020萬(wàn)個(gè)參數(shù)，需要231MB存儲(chǔ)空間；此外，它還需要超過(guò)380MB的內(nèi)存和11.3億浮點(diǎn)運(yùn)算（在CPU上耗時(shí)6秒鐘）來(lái)處理單張圖像。因此，我們需要找到高效率的模型來(lái)滿足移動(dòng)設(shè)備的需要。

網(wǎng)絡(luò)剪枝是網(wǎng)絡(luò)的壓縮和加速中一個(gè)重要的方向，自1989年LeCun提出以來(lái)，得到了迅速發(fā)展?，F(xiàn)在主要分為2種方向：1）權(quán)重剪枝；2）濾波器剪枝。濾波器剪枝相對(duì)于權(quán)重剪枝有一系列優(yōu)點(diǎn)，包括它可以得到規(guī)則的模型，由此減少內(nèi)存消耗，并且加速網(wǎng)絡(luò)的推斷。

圖1: 濾波器剪枝

上圖是典型的濾波器剪枝的流程?，F(xiàn)有的方法認(rèn)為濾波器的范數(shù)（p-norm）越小，相對(duì)應(yīng)的特征圖越接近于0，于是對(duì)網(wǎng)絡(luò)對(duì)貢獻(xiàn)越小，那么這些濾波器可以去掉而不會(huì)嚴(yán)重影響網(wǎng)絡(luò)的性能。于是我們用濾波器的p-norm進(jìn)行重要性排序，并且刪除p-norm小的濾波器。

2.現(xiàn)有的濾波器范數(shù)評(píng)價(jià)指標(biāo)的問(wèn)題

圖2: 范數(shù)評(píng)價(jià)指標(biāo)的條件

上述的范數(shù)評(píng)價(jià)指標(biāo)，實(shí)際上包含了兩個(gè)隱含條件（圖2）：1）范數(shù)標(biāo)準(zhǔn)差足夠大；2）最小的范數(shù)接近于0。

圖3: 濾波器范數(shù)分布可能出現(xiàn)的情況 

但是實(shí)際的濾波器范數(shù)分布也會(huì)出現(xiàn)不滿足上述條件的情況（圖3），1）范數(shù)的標(biāo)準(zhǔn)差太??；2）最小范數(shù)的值仍然很大。如果出現(xiàn)情況1，很多濾波器有相似的重要性，我們不知道到底應(yīng)該去掉哪個(gè)。如果出現(xiàn)情況2，我們很難找到特征圖越接近于0的濾波器。

 

圖4:實(shí)際的濾波器范數(shù)分布

我們通過(guò)分析實(shí)際的預(yù)訓(xùn)練網(wǎng)絡(luò)（圖4），發(fā)現(xiàn)這些網(wǎng)絡(luò)確實(shí)出現(xiàn)了上述的情況。 雷鋒網(wǎng)

3.基于幾何中心的濾波器評(píng)價(jià)指標(biāo)（FPGM）

圖5 基于范數(shù)和幾何中心的評(píng)價(jià)指標(biāo)

幾何中心（Geometric Median, GM）的定義：

https://baike.baidu.com/item/%E5%BD%A2%E5%BF%83

圖6: 幾何中心

幾何中心是對(duì)于歐幾里得空間的點(diǎn)的中心的一個(gè)估計(jì)。我們認(rèn)為濾波器也是歐氏空間中的點(diǎn)，于是我們可以根據(jù)計(jì)算GM來(lái)得到這些濾波器的“中心”，也就是他們的共同性質(zhì)。如果某個(gè)濾波器接近于這個(gè)GM，可以認(rèn)為這個(gè)濾波器的信息跟其他濾波器重合，甚至是冗余的，于是我們可以去掉這個(gè)濾波器而不對(duì)網(wǎng)絡(luò)產(chǎn)生大的影響。去掉它后，它的功能可以被其他濾波器代替。

圖7: 基于幾何中心的濾波器評(píng)價(jià)指標(biāo)

由此我們得到一種跟范數(shù)無(wú)關(guān)的濾波器評(píng)價(jià)方法FPGM，打破了范數(shù)評(píng)價(jià)指標(biāo)的局限性。

4.實(shí)驗(yàn)

在Cifar-10數(shù)據(jù)集上，F(xiàn)PGM在ResNet-110上的計(jì)算量降低了52％以上，相對(duì)精確度提高了2.69％。此外，在ILSVRC-2012數(shù)據(jù)集上，F(xiàn)PGM還在ResNet-101上減少了超過(guò)42％的計(jì)算量。

圖8: ResNet on CIIFAR-10實(shí)驗(yàn)結(jié)果

圖9: ResNet on ImageNet實(shí)驗(yàn)結(jié)果

圖10: 可視化結(jié)果

我們把 ResNet-50的第一個(gè)卷積層的特征圖進(jìn)行了可視化。紅色的(7,23,27,46,56,58)是被FPGM選中的需要被去掉的通道。可以看出這些被去掉的通道特征主要有兩部分。1）竹子的骨架，2）熊貓的輪廓。其中竹子的骨架可以被剩下的 (5,12,16,18,22)通道代替，而熊貓的輪廓可以被剩下的 (0,4,33,34,47) 通道代替，由此驗(yàn)證了我們基于幾何中心進(jìn)行濾波器剪枝的理論。

5.總結(jié)

我們探討了現(xiàn)有的濾波器范數(shù)評(píng)價(jià)指標(biāo)的問(wèn)題，并且提出了基于濾波器的幾何中心的剪枝算法。我們的方法還可以結(jié)合矩陣分解，權(quán)重量化等方法進(jìn)一步對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮和加速。

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。