雷鋒網 AI科技評論按：雖然CVPR 2017已經落下帷幕，但對精彩論文的解讀還在繼續(xù)。下文是Momenta高級研發(fā)工程師蔣云飛對此次大會收錄的 Mimicking Very Efficient Network for Object Detection 一文進行的解讀。

背景

Mimic作為一種模型小型化的方法，Hinton在 Distilling the Knowledge in a Neural Network  一文中已經詳細定義并介紹過，但近些年來大部分有關于mimic的論文主要都是局限在較為簡單的classification 的任務中，而對于較為復雜一些的detection任務，直接套用以前的方案則顯得不行。本文提出了一種學習feature map來實現(xiàn)Object Detection任務上mimic的方法。

傳統(tǒng)的Mimic過程，一般使用一個已經訓練好的大模型，固定該模型的weights不變，設計一個小模型，學習大模型的soft targets 或者logits的輸出；大模型學習到有效的信息可以傳遞給小模型，使得小模型也可以有較為不錯的性能表現(xiàn)，其Loss函數(shù)如下：

其中W為小模型的weights，g(x;W) 為小模型的輸出，z為學習的大模型的輸出。

然而直接套用該方法在檢測任務中，效果很差，因此作者進行了進一步的探索。首先，對于常見的檢測網絡如Faster-RCNN、RFCN、SSD等進行分析，可以發(fā)現(xiàn)，它們主要包含兩部分，分別為feature extractor以及feature decoder。而不同的大網絡主要是feature extractor不同，因此作者認為對于feature map進行mimic，可以獲得較為有效的結果。

Mimic方法詳細敘述：

因此作者提出了本文的mimic算法，在使用本身ground-truth監(jiān)督小模型訓練的同時，加入大小模型之間feature map的監(jiān)督，使得mimic的效果會更好。大致的流程如下圖所示：

但同時作者也指出，單純使小模型學習大模型的feature map并不能work，原因在于feature map的維度太高，包含太多全局的信息，而對于僅有少量object的feature map，通常只有微弱的響應。因此，該文中提出了一個新的卷積網絡mimic方法，即將學習整個feature map變?yōu)閷W習proposal采樣之后的feature來簡化任務。

在由小網絡生成的proposal中，使用spatial pyramid pooling方法在大小網絡上進行局部特征采樣（后經作者指正為直接使用pixel-wise的學習），然后通過L2 loss減小二者之間的差別，loss function定義如下：

總的loss主要由兩部分組成，分別為mimic loss 以及ground-truth loss，作者在實驗中發(fā)現(xiàn)，對于mimic loss進行normalization可以取得更為穩(wěn)定的mimic結果：

同時，作者還提到了對于小網絡與大網絡feature map大小不同的情況（譬如小網絡中輸入圖像減半），可以增加一個轉換層（deconvolution）使得大小網絡最終mimic的層保持一致，如下圖所示：

另外，在faster rcnn中stage2 fast rcnn的訓練過程中，也可以添加大網絡的監(jiān)督信號（監(jiān)督框的classification以及regression），使得小網絡可以學習到更多大網絡的有效信息，得到更好的結果。

結果分析：

作者在Caltech行人數(shù)據集以及PASCAL VOC 2007 數(shù)據集上進行了實驗。

Caltech使用log average Miss Rate on False Positive Per Image作為評價標準，作者首先訓練并得到了兩個baseline檢測網絡：

同時，定義了mimic的小網絡的結構為1/n-Inception 網絡，網絡的深度與層數(shù)沒有改變，減小每層conv的channel個數(shù)，使得網絡變得更細。

可以看到直接使用傳統(tǒng)mimic方法訓練模型，結果非常糟糕，甚至不及直接使用數(shù)據集對小網絡進行訓練：

而后作者使用本文方法進行Mimic訓練，取得了較為可觀的性能增長：

從上述結果中，可以看到使用mimic的結果取得了與原網絡差不多甚至稍好的結果。

同理，在VOC數(shù)據集的測試結果中也可以看到，Mimic的方法取得了很有競爭力的結果。

現(xiàn)場問答

在2017 CVPR現(xiàn)場與論文的作者李全全進行的討論與交流：

Q：本文為何使用 spatial pyramid pooling進行feature map的sample，是否考慮使用其他方式例如ROI-pooling？

A：經過李全全確認，他后期是直接使用ROI，也即兩個feature map pixel-wise相減，而不是spatial pyramid pooling；使用SPP的效果理應是好于單size的pooling的（roi-pooling）。

Q：為何使用單層（最后一層）feature map進行mimic，是否可以融合多個feature map？

A：可以嘗試融合多個feature map 進行監(jiān)督，理論上來說效果應該會比較好，但由于時間較為緊張，所以沒有做。文中使用的normalization是為了穩(wěn)定，因為每次出來的proposal的size是不斷變化的，因此在計算loss的時候的pixel的數(shù)量也會發(fā)生較大的變化，因此需要使用normalization。

Q：為何使用 deconvolution，是否可以對feature map 直接進行線性縮放？

A：直接對于feature map進行縮放是可行的。同時，這樣的結構本身會在小物體的檢測上比較有用。如果把deconv層獨立成一個分支的話（deploy的時候去掉這個分支），效果可能比不上將這個小網絡放大，目前看來，大的feature層對于小物體的檢測還是比較有好處的。

Q：為何使用小網絡生成的 proposal ，有沒有嘗試過直接使用 ground-truth boxes？

A：希望模型更多的是關注object在feature map上有響應的地方，所以使用Top-proposal。具體來說，Top-proposal的方法中，proposal的數(shù)量設定在256或者512，正負樣本比例設定在1:1；而使用GroundTruth的框來做監(jiān)督的效果并不好，作者有進行過類似的實驗：對于負樣本來說使用random的sample，正樣本直接使用GroundTruth，結果比使用top-proposal的方法差一些。

Q：有沒有嘗試過其他不同網絡結構的mimic （更小或者更瘦長的）？

A：對于mimic來說，其實小網絡本身有一個baseline，大網絡有一個baseline，mimic的任務便是縮小兩者之間的差別；而對于小網絡來說，相似的網絡會有較好的學習能力，當然對于不同結構的小網絡也可以使用deconv的方式來進行學習。

論文地址：http://openaccess.thecvf.com/content_cvpr_2017/papers/Li_Mimicking_Very_Efficient_CVPR_2017_paper.pdf

雷鋒網 AI科技評論編輯。

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。