0
| 本文作者： 奕欣 | 2018-05-31 18:17 |
從學(xué)術(shù)開發(fā)和企業(yè)活動上看，阿里巴巴達(dá)摩院機(jī)器智能技術(shù)實(shí)驗(yàn)室在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評論旗下數(shù)據(jù)庫項(xiàng)目「AI 影響因子」中有不錯(cuò)的表現(xiàn)。實(shí)驗(yàn)室分別在 SQuAD 和 KITTI 比賽中獲得第一名，近期在 AAAI 2018 上，達(dá)摩院機(jī)器智能技術(shù)實(shí)驗(yàn)室共有 4 篇論文被錄用，在CVPR 2018上，也有多篇論文被錄用，成績斐然。
近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法在單幅圖像超分辨率（SISR）領(lǐng)域取得了非常大的進(jìn)展。然而現(xiàn)有基于 CNN 的 SISR 方法主要假設(shè)低分辨率（LR）圖像由高分辨率（HR）圖像經(jīng)過雙三次 (bicubic) 降采樣得到，因此當(dāng)真實(shí)圖像的退化過程不遵循該假設(shè)時(shí)，其超分辨結(jié)果會非常差。此外，現(xiàn)有的方法不能擴(kuò)展到用單一模型解決多種不同的圖像退化類型。為此，提出了一種維度拉伸策略使得單個(gè)卷積超分辨率網(wǎng)絡(luò)能夠?qū)?SISR 退化過程的兩個(gè)關(guān)鍵因素（即模糊核和噪聲水平）作為網(wǎng)絡(luò)輸入。歸因于此，訓(xùn)練得到超分辨網(wǎng)絡(luò)模型可以處理多個(gè)甚至是退化空間不均勻的退化類型。實(shí)驗(yàn)結(jié)果表明提出的卷積超分辨率網(wǎng)絡(luò)可以快速、有效的處理多種圖像退化類型，為 SISR 實(shí)際應(yīng)用提供了一種高效、可擴(kuò)展的解決方案。
單幅圖像超分辨率（SISR）的目的是根據(jù)單幅低分辨（LR）圖像輸入得到清晰的高分辨率（HR）圖像。一般來說，LR 圖像 y 是清晰 HR 圖像 x 由下面的退化過程得來，
其中 
表示 HR 清晰圖像 x 與模糊核 k 之間的卷積，
表示系數(shù)為 s 的降采樣算子，n 表示標(biāo)準(zhǔn)差（噪聲水平）為σ的加性高斯白噪聲（AWGN）。
SISR 方法主要分為三類：基于插值的方法、基于模型的方法以及基于判別學(xué)習(xí)的方法?；诓逯档姆椒ǎɡ纾鹤罱彶逯?、雙三次插值）雖然速度快，但是其效果比較差?；谀Ｐ偷姆椒ㄍㄟ^引入圖像先驗(yàn)，例如：非局部相似性先驗(yàn)、去噪先驗(yàn)等，然后求解目標(biāo)函數(shù)得到視覺質(zhì)量較好的 HR 圖像，然而速度較慢。雖然結(jié)合基于 CNN 的去噪先驗(yàn)可以在某種程度上提升速度，但仍然受限于一些弊端，例如：無法進(jìn)行端對端的訓(xùn)練，包含一些比較難調(diào)的參數(shù)等。基于判別學(xué)習(xí)的方法尤其是基于 CNN 的方法因其速度快、可以端對端的學(xué)習(xí)因而效果好等在近幾年受到了廣泛關(guān)注，并且逐漸成為解決 SISR 的主流方法。
自從首個(gè)用 CNN 解決 SISR 的工作 SRCNN 在 ECCV（2014）發(fā)表以來，各種不同的改進(jìn)方法相繼提出。例如，VDSR 在 PSNR 指標(biāo)上取得了非常大的提升；ESPCN 和 FSRCNN 分別在速度上進(jìn)行了改進(jìn)；SRGAN 在放大倍數(shù)較大情況下針對視覺效果的改善提出了有效的方法。然而這些方法都存在一個(gè)共同缺點(diǎn)，也就是它們只考慮雙三次 (bicubic) 降采樣退化模型并且不能靈活的將其模型擴(kuò)展到同時(shí)（非盲）處理其它退化類型。由于真實(shí)圖像的退化過程多種多樣，因而此類方法的有效實(shí)際應(yīng)用場景非常有限。一些 SISR 工作已經(jīng)指出圖像退化過程中的模糊核的準(zhǔn)確性對 SISR 起著至關(guān)重要的作用，然而并沒有基于 CNN 的相關(guān)工作將模糊核等因素考慮在內(nèi)。為此引出本文主要解決的問題：是否可以設(shè)計(jì)一個(gè)非盲超分辨率（non-blind SISR）模型用以解決不同的圖像退化類型？
本文首先分析了在最大后驗(yàn)（MAP）框架下的 SISR 方法，借此希望可以指導(dǎo) CNN 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)。由于 SISR 問題的不適定性，通常需要引入正則項(xiàng)來約束解空間。具體來說，LR 圖像 y 對應(yīng)的 HR 圖像 x 可以通過求解下述問題近似，
其中 
為似然（也即數(shù)據(jù)保真）項(xiàng)，
為先驗(yàn)（也即正則）項(xiàng)，λ為似然項(xiàng)和先驗(yàn)項(xiàng)之間的權(quán)衡參數(shù)。簡單來說，上述公式包含兩點(diǎn)：
1）估計(jì)得到的 HR 圖像不僅要符合 SISR 的退化過程，并且還要滿足清晰圖像所具有的先驗(yàn)特征；
2）對于非盲超分辨率問題，x 的求解與 LR 圖像 y、模糊核 k、噪聲水平σ以及權(quán)衡參數(shù)λ有關(guān)。
簡而言之，非盲 SISR 的 MAP 估計(jì)可以表示為
，其中 ∵ 為 MAP 估計(jì)中的參數(shù)。進(jìn)而如果將 CNN 看作 MAP 估計(jì)另一種形式的解，那么有如下結(jié)論：
由于數(shù)據(jù)保真項(xiàng)對應(yīng)著 SISR 的退化過程，因此退化過程的準(zhǔn)確建模對 SISR 的結(jié)果起著至關(guān)重要的作用。然而現(xiàn)有的基于 CNN 的方法其目標(biāo)是求解下面的問題,
由于沒有將模糊核和噪聲等因素考慮在內(nèi)，因此其實(shí)用性非常有限。為了設(shè)計(jì)更加有效的基于 CNN 的 SISR 模型，應(yīng)該將更多的圖像退化類型考慮在內(nèi)，一個(gè)簡單的思路就是將模糊核 k 和噪聲水平σ也作為網(wǎng)絡(luò)的輸入。由于權(quán)衡參數(shù)λ可以融入噪聲水平σ之中，因此 CNN 映射函數(shù)可以簡化成如下形式：
由于 MAP 估計(jì)中大部分的參數(shù)都對應(yīng)著圖像先驗(yàn)部分，而圖像先驗(yàn)是與圖像退化過程不相關(guān)的，因此單一的 CNN 模型具有處理不同退化類型的建模能力。
通過上述分析可以得出非盲 SISR 應(yīng)該將退化模型中的模糊核和噪聲水平也作為網(wǎng)絡(luò)的輸入。然而 LR 圖像、模糊核和噪聲水平三者的維度是不同的，因此不能直接作為 CNN 的輸入。為此本文提出了一種維度拉伸策略。假設(shè) LR 圖像大小為 W×H，首先將向量化的模糊核 PCA 降維，然后和噪聲水平并在一起得到一個(gè) t+1 維的向量 v，接著將 v 拉伸為 W×H×(t+1) 維的張量，我們將此張量稱之為退化圖（Degradation Maps），其中第 i 個(gè) W×H 圖的所有元素均為 vi。
圖 1：維度拉伸示意圖
至此，我們可以將退化圖和 LR 圖像合并在一起作為 CNN 的輸入。為了證明此策略的有效性，選取了快速有效的 ESPCN 超分辨網(wǎng)絡(luò)結(jié)構(gòu)框架。值得注意的是為了加速訓(xùn)練過程的收斂速度，同時(shí)考慮到 LR 圖像中包含高斯噪聲，因此網(wǎng)絡(luò)中加入了 Batch Normalization 層。圖 2 給出了提出的超分辨率網(wǎng)絡(luò)（簡稱 SRMD）結(jié)構(gòu)框架。
圖 2：提出的超分辨率網(wǎng)絡(luò)結(jié)構(gòu)框架（卷積層數(shù)為 12，每層通道數(shù)為 128）。
在訓(xùn)練階段，SRMD 采用了各向同性和各向異性的高斯模糊核、噪聲水平在 [0, 75] 之間的高斯白噪聲以及 bicubic 降采樣算子。需要指出的是 SRMD 可以擴(kuò)展到其它降采樣算子，甚至其它退化模型。
在測試階段，SRMD 比較了不同方法在同為 bicubic 降采樣退化下的 PSNR 和 SSIM 結(jié)果（如表 1 所示）?？梢钥闯鲭m然 SRMD 是用來處理各種不同的退化類型，但是仍然在 bicubic 降采樣退化下取得不錯(cuò)的效果。需要指出的是 SRMD 在速度上也有很大的優(yōu)勢，在 Titan Xp GPU 上處理 512×512 的 LR 圖像僅需 0.084 秒，是 VDSR 超分辨率兩倍所用時(shí)間的一半。表 2 給出了不同退化類型下的 PSNR 和 SSIM 結(jié)果比較，可以看到 SRMD 同樣取得了不錯(cuò)的效果。圖 4 舉例說明了 SRMD 可以設(shè)定非均勻退化圖，進(jìn)而可以處理退化空間不均勻的 LR 圖像。最后，圖 5 展示了不同方法在真實(shí)圖像上的視覺效果比較，可以看到 SRMD 復(fù)原的 HR 圖像在視覺效果上明顯優(yōu)于其它方法。
表 1：不同方法在 bicubic 降采樣退化下的 PSNR 和 SSIM 結(jié)果比較（其中 SRMDNF 表示不考慮噪聲情況下訓(xùn)練得到的模型）。
圖 3：不同方法在 bicubic 降采樣退化下超分辨率四倍的視覺效果比較。
表 2：不同方法在不同退化類型下的 PSNR 和 SSIM 結(jié)果比較。
圖 4：舉例說明 SRMD 可以處理退化空間不均勻的情形。（a）噪聲水平以及模糊核寬度的空間分布；（b）LR 圖像（最近鄰插值放大）；（c）復(fù)原得到的 HR 圖像（放大兩倍）。
圖 5：不同方法在 SISR 經(jīng)典測試圖像「Chip」上超分辨率四倍的視覺效果比較。
最后總結(jié)一下，本文的主要貢獻(xiàn)有三個(gè)方面：
提出了一種簡單、有效、可擴(kuò)展的超分辨率模型，其不僅可以處理 bicubic 降采樣退化模型，并且可以處理多個(gè)甚至是退化空間不均勻的退化類型，為 SISR 實(shí)際應(yīng)用提供了一種解決方案。
提出了一種簡單有效的維度拉伸策略使得卷積神經(jīng)網(wǎng)絡(luò)可以處理維度不同的輸入，此策略可以擴(kuò)展到其他應(yīng)用。
通過實(shí)驗(yàn)展示了用合成圖像訓(xùn)練得到的超分辨網(wǎng)絡(luò)模型可以有效的處理真實(shí)圖像復(fù)雜的退化類型。
論文鏈接：
http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR18_SRMD.pdf
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
