本文為 AI 研習社編譯的技術博客，原標題 ：

Review: DeconvNet?—?Unpooling Layer (Semantic Segmentation)

作者 | SH Tsang

翻譯 | 斯蒂芬·二狗子       

校對 | 醬番梨        審核 | 約翰遜·李加薪       整理 | 立魚王

原文鏈接：

https://towardsdatascience.com/review-deconvnet-unpooling-layer-semantic-segmentation-55cf8a6e380e

在本文中，我們簡要回顧了DeconvNet，反卷積網絡（DeconvNet）由反卷積deconvolution 和上池化unpooling層組成。

對于傳統(tǒng)的全卷積網絡FCN，輸出是通過高比率（32×,16×和8×倍）的上采樣獲得的，這可能引起粗分割輸出結果（標簽圖）。在DeconvNet中，最終的輸出標簽是通過逐漸進行的反卷積和上池化獲得的。這篇論文發(fā)表于2015年ICCV上，當我寫這篇博文時，已經有一千多的引用量（SH Tsang @ Medium）。

本文涉及的內容

1. 上池化和反卷積

2. 實例分割

3. 兩階段訓練

4. 模型結果

以下是DeconvNet的整體架構：

DeconvNet 的架構

正如我們看到的，該網絡使用VGG作為其backbone框架。第一部分是卷積網絡，像FCN一樣，具有卷積和池化層。第二部分是反卷積網絡，這是本文中的一個新穎部分。

Pooling過程（左），模型記住位置信息，在Unpooling期間使用位置信息（右）

要執(zhí)行上池化，我們需要記住執(zhí)行最大池時每個最大激活值的位置，如上所示。然后，記住的位置信息用于上池化操作，如上所示。

卷積是將輸入轉換為更小的尺寸（左），反卷積是將輸入轉換回更大的尺寸（右）

反卷積只是為了將輸入轉換回更大的尺寸。 （如有興趣，請閱讀我的有關FCN評論一文，詳細了解。）

一個反卷積Deconvolution 和上池化Unpooling的例子

上圖是一個例子。 （b）是14×14 反卷積層的輸出。 （c）是上池化后的輸出，依此順序類推。我們可以在（j）中看到自行車的標簽圖可以在最后的224×224 反卷積層重建，這表明學習特征的這些卷積核可以捕獲類特定的形狀信息。

輸入圖像（左），F(xiàn)CN-8s（中），DeconvNet（右）

上面展示的其他示例表明DeconvNet比FCN-8可以給出更精確的形狀。

不使用區(qū)域提議Region Proposals的語義分割任務的不好的例子

如上所示，基本上大于或小于感受野的物體可能被模型給碎片化分割或貼上錯誤的標簽。像素較小的目標經常被忽略并歸類為背景。

語義分割可以看為是實例分割問題。首先，通過對象檢測方法EdgeBox檢測2000個區(qū)域建議region proposals中的前50個（邊界框）。然后，DeconvNet應用于每個區(qū)域，并將所有建議區(qū)域的輸出匯總回原始圖像。通過使用 proposals  ，可以有效地處理各種規(guī)模的圖片分割問題。

第一階段訓練

使用ground-truth標注來裁剪目標實例，使目標在裁剪的邊界框中居中，然后進行訓練。這有助于減少對象位置和大小的變化。

第二階段訓練

使用更具挑戰(zhàn)性的例子。這些例子是由重疊的ground-truth 分割的區(qū)域建議生成/裁剪的。

其他細節(jié)

• BN 在網絡中使用

• 使用VGG的權重來初始化卷積層的參數(shù)

• 反卷積層的參數(shù)初始化為0均值的高斯分布

• 每batch樣本數(shù)量是64

mean Iou結果

• FCN-8s:只有 64.4% mean IoU.

• DeconvNet: 69.6%

• DeconvNet+CRF: 70.5% (其中CRF只是一個模型輸出后的處理步驟)

• EDeconvNet: 71.5% (EDeconvNet 是指DeconvNet和FCN-8s模型集成后的結果)

• EDeconvNet+CRF: 72.5％具有最高的mean IoU結果。

實例分割的優(yōu)勢

從上圖中知道，實例分割有助于逐個實例地逐步分割，而不是一次對所有實例進行分段。

值得注意的是，DeconvNet的優(yōu)勢不僅來逐步的反卷積和上池，還可能來自實例分割和兩階段 two-stage的訓練。

一些可視化結果

即使EConvNet + CRF輸出結果比FCN差，但通常它的實際效果還是很好的。

參考文獻

[2015 ICCV] [DeconvNet]
Learning Deconvolution Network for Semantic Segmentation

我的其他文章

[FCN] [VGGNet]

想要繼續(xù)查看該篇文章相關鏈接和參考文獻？

點擊【一文帶你讀懂 DeconvNet 上采樣層（語義分割）】或長按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1530

AI研習社今日推薦：雷鋒網雷鋒網雷鋒網

李飛飛主講王牌課程，計算機視覺的深化課程，神經網絡在計算機視覺領域的應用，涵蓋圖像分類、定位、檢測等視覺識別任務，以及其在搜索、圖像理解、應用、地圖繪制、醫(yī)學、無人駕駛飛機和自動駕駛汽車領域的前沿應用。

加入小組免費觀看視頻：https://ai.yanxishe.com/page/groupDetail/19