0
論文標題：Progressive Feature Polishing Network for Salient Object Detection
論文地址：https://arxiv.org/abs/1911.05942
本文為 AAAI2020 接收論文
解讀作者：BBuf
摘要：圖像的特征對于顯著性目標檢測非常重要?，F(xiàn)有的方法主要集中在設計復雜的結構以合并多級特征并濾除混亂的特征。這篇論文提出了一個新的漸進式特征打磨網絡（PFPN），通過重復使用多個特征打磨模塊(FPM)可以檢測出具有精細細節(jié)的顯著目標，且無需任何后處理。FPM通過直接合并所有高級別的上下文信息來并行更新每個級別的特征并且可以保留特征圖的尺寸和層次結構，這使得它可以應用在任何CNN結構中。PFPN在5個benchmark數(shù)據集上獲得了SOTA。
顯著性目標檢測旨在提取出圖像中最吸引人的區(qū)域，已經在計算機視覺中被廣泛應用，如視頻壓縮，視覺跟蹤以及圖像檢索。顯著性檢測主要依賴于圖像語義特征，包括低級特征和高級特征。
因此，為了利用詳細的語義特征，各種特征融合方法層出不窮。但由于某些特征層上的特征不準確，特征之間的長期依賴問題，對高層特征利用不充分會影響檢測能力等原因導致這一問題仍然充滿挑戰(zhàn)。為了充分利用語義和細節(jié)信息，本文提出了一個簡潔高效的漸進式特征打磨網絡。這篇文章的貢獻如下：
本文提出了一種用于顯著目標檢測的漸進式特征打磨網絡以遞歸方式逐步完善特征。
對于每一個打磨步驟，論文提出FPM來精煉特征，從而保留特征圖的尺寸和層次結構。它將高級語義信息直接集成到所有低級特征中以避免長期依賴問題。
在5個benchmark數(shù)據集上均獲得了SOTA精度。
2.1 整體結構
用于顯著性目標檢測的漸進式特征打磨網絡的整體結構如Figure2所示。
首先，輸入圖像被喂到骨干網絡中提取出多個尺度的特征。論文中選擇了ResNet-101做骨干網絡。同時以VGG16做骨干網絡的結果論文在實驗部分也展示了。
具體來說ResNet-101網絡可以用stride=2的下采樣操作來分成5個塊。這5個塊的輸出特征圖可以表示為：Conv-1，Res-2，Res-3，Res-4，Res-5。為了減小特征圖的尺寸使得實現(xiàn)更加簡介，這些特征圖首先經過第一個轉換模塊（Figure2中的TM1），其中每個級別的特征經過 1x1 卷積轉換為相同的維度，例如在我們的實現(xiàn)中為 256 個。
在獲得相同維度的多個特征之后，一系列的FPM模塊被接在每個特征圖后面以進行特征精煉。Figure2展示了一個 T=2 的例子。在每個FPM中，高級特征直接被引入到所有的低級特征以對其進行改進，這比間接方式更加有效并顯著減少了信息損失。FPM的輸入和輸出有相同的維度并且所有的FPMs共享同一個網絡結構。
我們對每個FPM使用不同的參數(shù)，以期它們可以逐漸學習專注于越來越多的細節(jié)信息。實驗證明當 T=2 的時候，模型表現(xiàn)出了SOTA精度并且有20FPS的速度。
然后，模型利用第2個轉換模塊(Figure2中的TM2)，這是由一個雙線性上采樣接一個 1x1 卷積組成的，直接將目標上采樣為原始圖像的分辨率并且將通道數(shù)壓縮為32。
最后，一個融合模塊(FM)被用來融合多個特征圖獲得最終的顯著圖。由于使用FPM之后的特征表示更加準確，因此FM使用簡單的串聯(lián)策略來實現(xiàn)，并且網絡使用端到端的方式進行訓練。
2.2 特征打磨模塊
特征打磨模塊(FPM)在論文提出的PFPN網絡中是核心組件，F(xiàn)PM是一個簡單而有效的模塊，可以和任何卷積網絡幾何使用以完善特征表示。
它保留了CNN生成的多級特征，例如主干或者或者前一級的FPM輸出，并學習使用殘差連接更新它們。對于N個特征圖F={fi,i=1,...,N}，F(xiàn)PM會產生N個打磨后尺寸相同的特征圖F^{p}={fi^p,i=1,...,N}，如Figure2所示，F(xiàn)PM包含N個平行的FPM模塊，每一個都對應于一個單獨的特征圖并表示為FPM-k。
具體來說，從較深的一側到較淺的一側采用了殘差連接。結果，將具有全局信息的高級特征直接注入到較低級的特征中，以幫助更好的發(fā)現(xiàn)顯著區(qū)域。以Figure2中的FPM1-3來說，Res-3，Res-4，Res-5的特征都通過shortcut連接被更新到Res-3上了。FPM還吸收了殘差網絡的優(yōu)勢(He et al. 2016)，因此它可以更新特征圖并逐漸濾除混亂的信息。
這由Figure2中的各種連接來說明。$FPM-k$模塊的實現(xiàn)可以被如下公式化：
它接受N-k+1個特征圖如{fj，j=k,..,N}。對于特征圖fj，我們首先使用一個3x3的卷積+BN+ReLU的組件去捕獲語義信息，然后將其插值到fk大小。這些插值上采樣后的特征使用concat進行融合后，再經過一個 1x1 卷積降維獲得pk。然后pk被當作殘差函數(shù)去更新原始的特征圖fk來計算最終的特征圖f_k^p。當k=3時的一個例子如Figure3所示。
2.3 融合模塊
論文使用融合模塊(FM)來融合多個特征圖的特征并檢測顯著對象。如Figure2所示，首先將TM2的多級特征進行Concat，然后送入兩個 3x3 卷積層中。然后，在最后一個 1x1 卷積層中獲得最終的顯著圖。
2.4 實現(xiàn)細節(jié)
論文使用交叉熵損失來優(yōu)化最終的顯著圖和標注顯著圖。然后作者使用了一個輔助損失，具體就是優(yōu)化在FM模塊之前的一系列中間結果，最終網絡的總損失如下：
下面的Table1展示了本文的方法在5個數(shù)據集上均獲得了SOTA精度，證明了此方法的有效性。
為了充分利用語義和細節(jié)信息，本文提出了一個簡潔高效的漸進式特征打磨網絡（PFPN）。PFPN致力于通過遞歸的方式逐步精煉特征來改進多層次的特征圖表示，對于每個特征打磨步驟，均用特征打磨模塊(FPM)將高級語義信息直接集成到所有較低級別的特征圖中，從而減少了信息丟失。最終，PFPN在5個benchmark上的性能明顯優(yōu)于16種最新方法。
雷鋒網雷鋒網雷鋒網
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
