本文為 AI 研習社編譯的技術博客，原標題 ：

Demystifying—Deep Image Prior

作者 | Pratik KatteFollow

翻譯 | GAOLILI             

校對 | 醬番梨        審核 | 約翰遜·李加薪       整理 | 立魚王

原文鏈接：

https://towardsdatascience.com/demystifying-deep-image-prior-7076e777e5ba

在這篇文章中，我將主要介紹圖像復原和深度圖像先驗如何用于圖像復原。

圖像復原是指從退化的圖像中恢復未知的真實圖像。圖像的退化可能出現(xiàn)在圖像形成、傳輸和保存期間。圖像復原技術廣泛應用于衛(wèi)星圖像和低光攝影。并且由于數字技術、計算和通信技術的發(fā)展，從退化的圖像中復原出原始的圖像變得非常重要，這已經發(fā)展成一種與圖像處理、計算機視覺以及計算成像相交叉的研究領域。

圖像復原主要有三個任務：

1.圖像去噪：

圖像去噪是指復原包含多余噪聲的圖像。這是圖像復原中最簡單的任務，已經廣泛被多個技術團隊所研究。

圖1 （左）包含噪聲的圖像，（中）不含噪聲的圖像，（右）高斯噪聲

2. 超分辨率技術：

超分辨率技術是指從一組低分辨率圖像重建出相應的高分辨率圖像（或一系列高分辨率圖像）的過程。

圖2.（左）低分辨率圖像，（右）高分辨率圖像

3. 圖像修復：

圖像修復是指重建圖像丟失損壞部分的過程。圖像修復實際上是一種人們填補繪畫作品中損壞和丟失部分的傳統(tǒng)藝術，但在現(xiàn)如今的研究中已經提出了很多利用深度卷積網絡自動修復的方法。

圖3.（左）輸入，（右）輸出

隨著AlexNet在2012年ImageNet競賽中取得成功，卷積神經網絡開始流行起來并且被應用在每個計算機視覺和圖像處理任務中，而且也被廣泛用于執(zhí)行圖像重建這樣的逆任務，并且已經取得了最好的表現(xiàn)。

深度卷積網絡因其能夠從大量圖像數據中學習而取得成功。Dmitry Ulyanov發(fā)表的令人驚嘆的論文“Deep Image Prior”表明解決像圖像復原這樣的逆問題，網絡結構已經能夠并且很好的從損壞的圖像復原出原圖像。這篇論文強調，進行圖像復原不需要預訓練網絡和大量的圖像數據，僅僅有損壞的圖像就可以。

在圖像復原中，基于學習的方法和基于非學習的方法是兩種通用的并且研究人員主要使用的方法。

基于學習的方法是一種直接的方法，它將噪聲圖像作為輸入數據，原始圖像作為輸出數據去訓練深度卷積網絡進行學習。另一方面，基于非學習的方法或手動制作先驗的方法是我們從合成數據里強行加入和告知了什么類型的圖像是自然的、真實的等等。用數學表達像自然這樣的狀態(tài)變數非常困難。

在Deep Image Prior里，作者試圖通過使用卷積神經網絡構造一個新的基于非學習的方法去彌補這兩種通用的圖像復原方法之間的鴻溝。

圖4.（左）原始圖像，（中）損壞的圖像，（右）復原的圖像

X→原始圖像

→損壞的圖像

→復原圖像

我們可以從經驗數據中使用最大后驗分布來估計看不到的值。

使用貝葉斯規(guī)則，我們可以將其表示為似然*先驗。

我們可以將方程式表示為優(yōu)化問題，而不是單獨使用分布。

對式（1）應用負算法

E(x;?)是數據項，它是負似然對數，R(x)是圖像先驗項，是先驗的負對數。

現(xiàn)在的任務是最小化圖像X上的公式（2）。傳統(tǒng)的方法是用隨機噪聲初始化X，然后計算函數相對于X的梯度并遍歷圖像空間直到其收斂到某個點。

圖5.常規(guī)方法的可視化

另一種方法是構造一個用隨機數θ初始化的函數g，它來自不同空間的輸出可以映射到圖像X，并使用梯度下降更新θ直到其在某個點收斂。因此，與其優(yōu)化圖像空間，我們可以優(yōu)化θ。

圖6.參數化方法的可視化

但是，為什么這種方法可行并且我們要使用它呢？這可能是因為從理論上講，如果g是滿射的，g:θ →x （如果至少一個θ映射到圖像X），那么這兩種優(yōu)化方法就是等價的，即它們具有相同的解。但是實際上g會極大地改變搜索圖像空間的優(yōu)化方法。我們實際上可以將g視為超參數并對它進行調整。如果我們觀察一下就可以發(fā)現(xiàn)，g(θ)是作為一個先驗的，它有助于選擇一個良好的映射，給出一個我們想要的輸出圖像，并防止我們得到一個錯誤的圖像。

因此，與其優(yōu)化兩個部分的總和，我們現(xiàn)在只需要優(yōu)化第一個部分就可以。

現(xiàn)在，公式（2）可以表示為：

其中z是固定的隨機輸入圖像，θ是隨機初始化的權重，它將通過梯度下降來進行更新以獲得目標輸出圖像。

但是，為什么我們應該考慮這種參數化方法的原因依然不明確。從理論上來看，它似乎會產生原始的噪聲圖像。在論文中作者進行了一項實驗，該實驗表明，在使用梯度下降來優(yōu)化網絡的時候，卷積神經網絡對噪聲圖像不敏感，并且會更快更容易下降到看到更自然的圖像。

圖7.復原任務的學習曲線：一個自然的圖像，同樣的圖像加一些噪聲，一樣的隨機亂碼，和白噪聲?？雌饋碜匀坏膱D像會更快的收斂，而噪聲圖像會被拒絕。

是損壞的圖像（觀察到的）

1. 初始化Z:用均勻噪聲或任何其他隨機圖像填充輸入的Z。

2. 使用基于梯度的方法求解和優(yōu)化函數。

3. 最后我們找到最佳θ時，我們可以通過將固定輸入z向前傳遞到具有參數θ的網絡來獲得最佳圖像。

圖8.圖像復原使用Deep Image Prior。從一個隨機的權重θ0開始，我們迭代地更新它來達到最小化數據項公式（2）。在每次迭代時權重θ被映射到圖像，x = f θ (z)，其中Z是固定張量，映射f是具有參數θ的神經網絡。圖像X被用于計算和任務相關的損失E(x, x 0 )。損失w.r.t.的梯度和權重θ被計算并且用于更新參數。

《Deep Image Prior》這篇論文試圖證明構造具有隨機權重的隱式先驗在深度卷積神經網絡體系結構里非常適合于圖像復原任務。論文中的結果表明正確的手動構造的網絡結構足以解決圖像復原問題。

想要繼續(xù)查看該篇文章相關鏈接和參考文獻？

點擊【使用《Deep Image Prior》】或長按下方地址打開：

https://ai.yanxishe.com/page/TextTranslation/1498

AI研習社今日推薦：雷鋒網雷鋒網雷鋒網

卡耐基梅隆大學 2019 春季《神經網絡自然語言處理》是CMU語言技術學院和計算機學院聯(lián)合開課，主要內容是教學生如何用神經網絡做自然語言處理。神經網絡對于語言建模任務而言，可以稱得上是提供了一種強大的新工具，與此同時，神經網絡能夠改進諸多任務中的最新技術，將過去不容易解決的問題變得輕松簡單。

加入小組免費觀看視頻：https://ai.yanxishe.com/page/groupDetail/33