去雨指的是：對(duì)于一張雨中的圖片，去除畫面中的雨滴，得到還原后的圖片，與圖片去霧、超分辨率等同屬CV領(lǐng)域中圖像處理的范疇。去雨作為一種偏向low level的圖像處理，本質(zhì)上是分離圖片中的內(nèi)容與疊加的雨滴模式，并加以去除。這一問(wèn)題以往多采用字典學(xué)習(xí)、稀疏編碼等方法加以建模。在今年的CVPR中同時(shí)出現(xiàn)了2篇使用deep learning處理去雨問(wèn)題的文章，而思路各不相同，故分別介紹供大家參考。

第一篇Removing rain from single images via a deep detail network（下稱deep detail），對(duì)于雨滴模型的創(chuàng)新主要是提出了2點(diǎn)insights。

1、類似ResNet的思路，回歸帶雨圖像與原圖的殘差，而不是直接輸出還原圖像。這樣一來(lái)可以使算法操作的圖像目標(biāo)值域縮小，稀疏性增強(qiáng)。實(shí)際上這一點(diǎn)在超分辨率等很多問(wèn)題中已經(jīng)被廣泛應(yīng)用。

2、使用頻域變換，分離圖像中的低頻部分和高頻部分，只對(duì)高頻部分做去雨操作。原因是雨滴基本只存在于高頻部分，分離后可以使得操作目標(biāo)進(jìn)一步稀疏化，實(shí)驗(yàn)效果顯著優(yōu)于不做這一操作的結(jié)果。

實(shí)現(xiàn)上作者使用了一個(gè)26層的ResNet，為了保證輸出分辨率不變，去掉了所有的Pooling操作。實(shí)驗(yàn)表明：與直接輸入帶雨圖像、輸出原圖相比，一個(gè)26層的ResNet效果已經(jīng)與原始方法50層的ResNet效果相近，并顯著優(yōu)于其他舊方法。這證明了兩個(gè)技巧的有效性。

第二篇Deep Joint Rain Detection and Removal from a Single Image（下稱joint detection）對(duì)于雨滴建模如下：

其中B是原圖，O是帶雨的圖片，其他的量代表雨滴帶來(lái)的影響。S指疊加的雨滴的強(qiáng)度，R指含雨滴范圍的一個(gè) binary mask，A對(duì)雨霧進(jìn)行建模。之所以將S、R分別描述并分別用網(wǎng)絡(luò)預(yù)測(cè)，是為了避免只回歸S影響了圖中不含雨滴的部分，R實(shí)際上描述了雨滴存在的區(qū)域，這也是標(biāo)題中rain detection的含義。S、R預(yù)測(cè)的例子可見下圖。t指的是圖片中多個(gè)方向的雨疊加的效果，訓(xùn)練所用的合成雨的圖片就是多次疊加的結(jié)果。最后A描述了一個(gè)圖像整體的偏移，這是由大雨中遠(yuǎn)處大量雨滴疊加造成的類似霧的效果，實(shí)際算法中也用了去霧算法做處理。

在訓(xùn)練時(shí)作者使用了多分支的dilated convolution網(wǎng)絡(luò)，以在節(jié)約計(jì)算量的同時(shí)擴(kuò)大網(wǎng)絡(luò)的感受，也獲得更多的context信息。網(wǎng)絡(luò)級(jí)聯(lián)地預(yù)測(cè)S和R，在訓(xùn)練時(shí)都提供loss，在測(cè)試時(shí)得到S、R后，按之前的模型進(jìn)行去雨處理。在實(shí)際實(shí)驗(yàn)中還發(fā)現(xiàn)采用去雨1次 – 去霧1次 – 再去雨1次的流程得到的結(jié)果是最好的。

此外兩篇文章在訓(xùn)練數(shù)據(jù)和測(cè)試方法上都是沿用之前工作的方法。訓(xùn)練數(shù)據(jù)都是使用不帶雨的圖片人工合成帶雨的圖片，并從圖中抽取patch進(jìn)行訓(xùn)練。在測(cè)試流程上，對(duì)于合成圖片，主要比較衡量圖片結(jié)構(gòu)相似度的SSIM指標(biāo)。對(duì)于真實(shí)環(huán)境的帶雨圖片，主要是視覺上的qualitative比較。

對(duì)于去雨算法的應(yīng)用領(lǐng)域，join detection論文作者表示，主要可以用于監(jiān)控視頻、比賽視頻等場(chǎng)景中，需要增強(qiáng)畫質(zhì)的時(shí)候應(yīng)用。此外deep detail論文的作者還表示，他們的框架在其他畫質(zhì)增強(qiáng)的應(yīng)用實(shí)驗(yàn)中也得到了不錯(cuò)的效果，包括透過(guò)玻璃觀看景物而玻璃上有大量雨滴等情形。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。