來自伯克利大學(xué)和麻省理工學(xué)院的三名研究者Richard Zhang、Phillip Isola、Alexei A. Efros日前給出了深度學(xué)習(xí)在另一個(gè)特定領(lǐng)域的研究進(jìn)展，開發(fā)了一套可以通過深度學(xué)習(xí)自動(dòng)學(xué)會(huì)幫黑白圖片上色的技術(shù)。從給出的示例來看，這項(xiàng)技術(shù)的準(zhǔn)確性還是比較高的。說到這些技術(shù)的應(yīng)用，讓許多承載著回憶的老照片煥發(fā)新生是它能做的極好的貢獻(xiàn)之一。

值得注意的是，這個(gè)算法是在算法應(yīng)用平臺(tái)Algorithmia上的，雷鋒網(wǎng)之前報(bào)道過這個(gè)平臺(tái)，它的主要作用就是讓算法的開發(fā)者將他們開發(fā)出來的算法托管在平臺(tái)上，而APP的開發(fā)者等需要算法的人就可以很方便的通過幾條簡(jiǎn)單的指令就調(diào)用上面存儲(chǔ)著的算法，這樣就能達(dá)到一個(gè)研究成果最大化利用的目的。

算法的原理

研究小組表示，他們給算法制定的目標(biāo)——為隨意給出的黑白照片上色，很明顯條件過于寬泛，因此之前的類似算法要么需要用戶很多的干涉，要么生成的照片的顏色飽和度往往相當(dāng)?shù)汀６麄兺ㄟ^將算法設(shè)定為一個(gè)分類任務(wù)并且在訓(xùn)練時(shí)使用重分類方法來增加了圖像顏色的多樣性。他們?yōu)樗惴ㄔO(shè)計(jì)了一個(gè)類似于圖靈測(cè)試的“顏色圖靈測(cè)試”，用來評(píng)估算法的效果。讓受試者區(qū)分?jǐn)z制了同樣物體的照片，哪張是真的哪張是程序生成顏色的結(jié)果。結(jié)果他們的方法成功騙過了20%的人，這個(gè)結(jié)果要顯著高于之前的方法。

上圖是這個(gè)算法的網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層（conv layer）都代表著由2到3個(gè)重復(fù)的卷積和整流線性單元（ReLU）層組成的區(qū)塊，最后是一個(gè)BatchNorm層。整個(gè)網(wǎng)絡(luò)沒有池化層。分辨率的變化是由卷積塊之間的空間縮減取樣或不取樣實(shí)現(xiàn)的。

研究團(tuán)隊(duì)在他們的論文中介紹，在圖像本身的信息之外，該方法的靈感倒主要來源于它的語(yǔ)義學(xué)特征和其中物體的表面提供的線索，在實(shí)例中通常意味著圖像標(biāo)簽（label）所含有的信息：如草一般都是綠的，天一般都是藍(lán)的等。雖然這個(gè)規(guī)律并不一定是通用的，但是事實(shí)上，要讓一幅圖變成漂亮的彩色，并不意味著它的著色一定要跟現(xiàn)實(shí)中的顏色一模一樣，很多時(shí)候只要顏色的相對(duì)關(guān)系看起來合理，就足夠騙過人類的眼睛了。

與傳統(tǒng)的實(shí)現(xiàn)方法不同，他們并不是利用著色問題的損失定制來實(shí)現(xiàn)算法的，之前提到過，其實(shí)顏色的預(yù)測(cè)結(jié)果有時(shí)并不需要同現(xiàn)實(shí)結(jié)果一模一樣，比如一件襯衫，表現(xiàn)出很多種顏色看起來其實(shí)都是合理的。他們的方法是在算法中對(duì)每一個(gè)像素點(diǎn)都預(yù)測(cè)了顏色可能的分布情況。并且在訓(xùn)練中給不常出現(xiàn)的顏色更多的權(quán)重，以增加最終顏色的多樣性。最終以一種分布退火的方式得到最后的顏色分布函數(shù)。得到的結(jié)果同以前的結(jié)果相比看起來會(huì)更加真實(shí)。

研究團(tuán)隊(duì)展示了他們的算法在1000組來自ImageNet的圖像上的實(shí)驗(yàn)效果，其中大部分都得到了比較好的效果。

實(shí)現(xiàn)及結(jié)果展示

研究團(tuán)隊(duì)在Github上提供了他們算法的源代碼（目前還是Demo版）：https://github.com/richzhang/colorization

由于其算法發(fā)在了Algorithmia上，因此想要使用他們的研究結(jié)論，只需用簡(jiǎn)單的幾句指令就可以調(diào)用算法實(shí)現(xiàn)圖片的轉(zhuǎn)換。

或者用這樣的格式

小組展示了許多算法成功的案例。如下圖

不過還需要注意的一點(diǎn)是，該團(tuán)隊(duì)自己也表示，這個(gè)算法仍處在試驗(yàn)階段，它在運(yùn)算有些圖片的時(shí)候表現(xiàn)得會(huì)很好，但有的時(shí)候又會(huì)表現(xiàn)得很差，（不過在這一點(diǎn)上其他的類似算法也一樣）。因?yàn)槟壳斑@個(gè)算法主要使用ImageNet的圖像做訓(xùn)練數(shù)據(jù)，因此在處理與其訓(xùn)練數(shù)據(jù)類似的圖像的時(shí)候會(huì)表現(xiàn)得比較好。但該團(tuán)隊(duì)也給出了一些失敗的例子，不過他們?cè)谑纠型瑫r(shí)加入了其他算法的表現(xiàn)，可以看出，在這些圖片上，其他算法幾乎也無法給出比他們算法更好的結(jié)果：

最右側(cè)是現(xiàn)實(shí)情況，中間的三個(gè)是不同算法的橫向比較，其中標(biāo)記為“Ours”的就是該團(tuán)隊(duì)的算法。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。