雷鋒網(wǎng) AI 科技評論按：百度關(guān)于網(wǎng)絡(luò)壓縮和加速的論文《 Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》被 CCF A 類學(xué)術(shù)會議 CVPR 2019 收錄為 Oral 論文，這篇論文提出了新的基于濾波器的幾何中心（geometric median）的剪枝算法，來對神經(jīng)網(wǎng)絡(luò)進行壓縮和加速。本文是論文作者之一何洋為雷鋒網(wǎng) AI 科技評論提供的論文解讀。

論文地址： https://arxiv.org/pdf/1811.00250.pdf

Github 地址： https://github.com/he-y/filter-pruning-geometric-median

1.背景

卷積神經(jīng)網(wǎng)絡(luò)(CNN)通常通過更深和更寬的結(jié)構(gòu)實現(xiàn)了更好的性能，但是當(dāng)神經(jīng)網(wǎng)絡(luò)需要部署到移動設(shè)備時，神經(jīng)網(wǎng)絡(luò)需要的資源遠遠超過了移動設(shè)備的限制。例如，ResNet-152擁有6020萬個參數(shù)，需要231MB存儲空間；此外，它還需要超過380MB的內(nèi)存和11.3億浮點運算（在CPU上耗時6秒鐘）來處理單張圖像。因此，我們需要找到高效率的模型來滿足移動設(shè)備的需要。

網(wǎng)絡(luò)剪枝是網(wǎng)絡(luò)的壓縮和加速中一個重要的方向，自1989年LeCun提出以來，得到了迅速發(fā)展。現(xiàn)在主要分為2種方向：1）權(quán)重剪枝；2）濾波器剪枝。濾波器剪枝相對于權(quán)重剪枝有一系列優(yōu)點，包括它可以得到規(guī)則的模型，由此減少內(nèi)存消耗，并且加速網(wǎng)絡(luò)的推斷。

圖1: 濾波器剪枝

上圖是典型的濾波器剪枝的流程?，F(xiàn)有的方法認為濾波器的范數(shù)（p-norm）越小，相對應(yīng)的特征圖越接近于0，于是對網(wǎng)絡(luò)對貢獻越小，那么這些濾波器可以去掉而不會嚴重影響網(wǎng)絡(luò)的性能。于是我們用濾波器的p-norm進行重要性排序，并且刪除p-norm小的濾波器。

2.現(xiàn)有的濾波器范數(shù)評價指標的問題

圖2: 范數(shù)評價指標的條件

上述的范數(shù)評價指標，實際上包含了兩個隱含條件（圖2）：1）范數(shù)標準差足夠大；2）最小的范數(shù)接近于0。

圖3: 濾波器范數(shù)分布可能出現(xiàn)的情況 

但是實際的濾波器范數(shù)分布也會出現(xiàn)不滿足上述條件的情況（圖3），1）范數(shù)的標準差太?。?）最小范數(shù)的值仍然很大。如果出現(xiàn)情況1，很多濾波器有相似的重要性，我們不知道到底應(yīng)該去掉哪個。如果出現(xiàn)情況2，我們很難找到特征圖越接近于0的濾波器。

 

圖4:實際的濾波器范數(shù)分布

我們通過分析實際的預(yù)訓(xùn)練網(wǎng)絡(luò)（圖4），發(fā)現(xiàn)這些網(wǎng)絡(luò)確實出現(xiàn)了上述的情況。 雷鋒網(wǎng)

3.基于幾何中心的濾波器評價指標（FPGM）

圖5 基于范數(shù)和幾何中心的評價指標

幾何中心（Geometric Median, GM）的定義：

https://baike.baidu.com/item/%E5%BD%A2%E5%BF%83

圖6: 幾何中心

幾何中心是對于歐幾里得空間的點的中心的一個估計。我們認為濾波器也是歐氏空間中的點，于是我們可以根據(jù)計算GM來得到這些濾波器的“中心”，也就是他們的共同性質(zhì)。如果某個濾波器接近于這個GM，可以認為這個濾波器的信息跟其他濾波器重合，甚至是冗余的，于是我們可以去掉這個濾波器而不對網(wǎng)絡(luò)產(chǎn)生大的影響。去掉它后，它的功能可以被其他濾波器代替。

圖7: 基于幾何中心的濾波器評價指標

由此我們得到一種跟范數(shù)無關(guān)的濾波器評價方法FPGM，打破了范數(shù)評價指標的局限性。

4.實驗

在Cifar-10數(shù)據(jù)集上，F(xiàn)PGM在ResNet-110上的計算量降低了52％以上，相對精確度提高了2.69％。此外，在ILSVRC-2012數(shù)據(jù)集上，F(xiàn)PGM還在ResNet-101上減少了超過42％的計算量。

圖8: ResNet on CIIFAR-10實驗結(jié)果

圖9: ResNet on ImageNet實驗結(jié)果

圖10: 可視化結(jié)果

我們把 ResNet-50的第一個卷積層的特征圖進行了可視化。紅色的(7,23,27,46,56,58)是被FPGM選中的需要被去掉的通道?？梢钥闯鲞@些被去掉的通道特征主要有兩部分。1）竹子的骨架，2）熊貓的輪廓。其中竹子的骨架可以被剩下的 (5,12,16,18,22)通道代替，而熊貓的輪廓可以被剩下的 (0,4,33,34,47) 通道代替，由此驗證了我們基于幾何中心進行濾波器剪枝的理論。

5.總結(jié)

我們探討了現(xiàn)有的濾波器范數(shù)評價指標的問題，并且提出了基于濾波器的幾何中心的剪枝算法。我們的方法還可以結(jié)合矩陣分解，權(quán)重量化等方法進一步對神經(jīng)網(wǎng)絡(luò)進行壓縮和加速。

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。