0
| 本文作者： AI研習(xí)社-譯站 | 2019-03-29 10:28 |
本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：
Image Inpainting with Deep Learning
作者 | Tarun Bonu
翻譯 | 許毅
校對(duì) | 鄧普斯?杰弗 審核 | 醬番梨 整理 | 立魚王
原文鏈接：
https://medium.com/jamieai/image-inpainting-with-deep-learning-dd8555e56a32
機(jī)器能夠產(chǎn)生幻覺。機(jī)器這樣的能力可以幫助我們開發(fā)一些技術(shù)，例如圖像修復(fù)。
修復(fù)指的是恢復(fù)圖像損失的部分并且基于背景信息將它們重建的技術(shù)。它指的是在視覺輸入的指定區(qū)域中填充缺失數(shù)據(jù)的過程。在數(shù)字世界中，它指的是應(yīng)用復(fù)雜算法以替代圖像數(shù)據(jù)中缺失或者損壞部分。
在數(shù)字效果圖像復(fù)原，圖像編碼和傳輸?shù)膽?yīng)用中，圖像修復(fù)已經(jīng)被廣泛地研究。
給定上面的圖像，我們?cè)趺礃犹钛a(bǔ)缺失的信息呢？想象我們正在建造一個(gè)填補(bǔ)元件的系統(tǒng)。系統(tǒng)該如何做呢？人類的大腦該如何做呢？我們需要使用哪種類型的數(shù)據(jù)呢？這些都是我們需要思考的問題以解決圖像修復(fù)這樣的問題。
有兩種類型的信息需要關(guān)注：
情景信息
感知信息
傳統(tǒng)上，圖像修復(fù)可以使用基于擴(kuò)散方法來處理，這種方法將局部結(jié)構(gòu)傳播到位置部分，或者基于示例的方法，每一次構(gòu)建缺失部分的一個(gè)像素點(diǎn)（塊）同時(shí)保持和周圍像素點(diǎn)的一致性。
當(dāng)缺失部分很大時(shí)，這些方法會(huì)失效，因此需要一個(gè)額外的部件提供合理的想象力（來自機(jī)器的幻覺）。這些附加的信息可能是由自然圖像的高階模型提供，例如由深度神經(jīng)網(wǎng)絡(luò)計(jì)算的那些。
在這個(gè)方法中，我們依賴預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的幻覺來填補(bǔ)圖像中的大洞。深度神經(jīng)網(wǎng)絡(luò)使用監(jiān)督圖像分類。在監(jiān)督圖像分類中，每個(gè)圖像都有一個(gè)特定的標(biāo)簽，并且神經(jīng)網(wǎng)絡(luò)通過一連串的基本操作運(yùn)算來學(xué)習(xí)圖像到標(biāo)簽之間的映射。當(dāng)在巨大的數(shù)據(jù)集（數(shù)百萬張帶有成千個(gè)的標(biāo)簽的圖像）上被訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)具有卓越的分類表現(xiàn)并且偶爾可以超越人類的準(zhǔn)確率。實(shí)施一個(gè)判別式預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來指導(dǎo)圖像重建，其中神經(jīng)網(wǎng)絡(luò)的最后一層在圖像修復(fù)問題中被直接運(yùn)用。
判別式預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)
極大值問題：
讓我們考慮極大化：
max I? Nl( ?I) subject to ?I? = I?
N?—訓(xùn)練網(wǎng)絡(luò)
I?—?圖像缺失部分
I?—需要恢復(fù)的部分
? the subset of R2 (R squared, contains known part of the image)
我們的目標(biāo)是恢復(fù)Ω（用Ωc表示）補(bǔ)碼中的像素。上述問題利用分類器的先驗(yàn)知識(shí)重建缺失的部件Ωc，在訓(xùn)練階段可能會(huì)看到數(shù)以百萬計(jì)的圖像。
正則化策略
Total Variation (TV) norm 是一種在保留邊緣等重要細(xì)節(jié)的同時(shí)，去除不良細(xì)節(jié)的策略。Total Variation (TV) norm由于具有保邊性，在反問題如去噪、超分辨率等中被廣泛用作正則化器。
原始圖像被特意標(biāo)出來檢驗(yàn)性能。
擴(kuò)散會(huì)導(dǎo)致邊緣丟失。
[5]是一種示例性方法，它并不能有效地重建損壞的圖像。
深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)正確地使圖形的形狀完整。深度網(wǎng)絡(luò)的幻想性和正則化的結(jié)合完成了有效的圖像恢復(fù)。
其他結(jié)果
(1)
(2)
(3)
(4)
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？
點(diǎn)擊【深度學(xué)習(xí)的圖像修復(fù)】或打開下方鏈接即可訪問：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
https://ai.yanxishe.com/page/TextTranslation/1564
AI入門、大數(shù)據(jù)、機(jī)器學(xué)習(xí)免費(fèi)教程
35本世界頂級(jí)原本教程限時(shí)開放，這類書單由知名數(shù)據(jù)科學(xué)網(wǎng)站 KDnuggets 的副主編，同時(shí)也是資深的數(shù)據(jù)科學(xué)家、深度學(xué)習(xí)技術(shù)愛好者的Matthew Mayo推薦，他在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域具有豐富的科研和從業(yè)經(jīng)驗(yàn)。
點(diǎn)擊鏈接即可獲取：https://ai.yanxishe.com/page/resourceDetail/417
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
