最近大火的應(yīng)用Prisma恐怕?lián)糁辛瞬簧偃说能浝?，那種讓普通照片變身藝術(shù)作品的感覺確實(shí)非同凡響。不過(guò)，加個(gè)濾鏡誰(shuí)都會(huì)，但能將抽象變得具體恐怕就不那么容易了。眼下，在荷蘭研究者的努力下，這一概念正在變成現(xiàn)實(shí)。

荷蘭內(nèi)梅亨大學(xué)的四位神經(jīng)科學(xué)家正在利用深度神經(jīng)網(wǎng)絡(luò)打造新的模型，利用該模型，用戶可以將普通的面部素描作品變成逼真的圖片。這項(xiàng)名為卷積素描反轉(zhuǎn)（Convolutional Sketch Inversion）的研究開始登陸了在線論文預(yù)印平臺(tái)arXiv（未經(jīng)同行評(píng)審的論文），不過(guò)現(xiàn)在已經(jīng)得到了歐洲計(jì)算機(jī)視覺會(huì)議的首肯。

神經(jīng)科學(xué)家們表示，他們的模型可以兼容各種藝術(shù)品，將自畫像轉(zhuǎn)換成普通照片。不過(guò)，恐怕其最大的受益者還是警方，因?yàn)樵静簧跚逦哪繐粽呙枋鼋K于可以變成正常的照片了。

“我們做出這個(gè)模型也是受了neural style（讓機(jī)器模仿已有畫作的繪畫風(fēng)格來(lái)把一張圖片重新繪制的算法）的啟發(fā)，”參與研究的神經(jīng)科學(xué)家Ya?mur Gü?lütürk和Umut Gü?lü說(shuō)道。

此前，他們?cè)鴮⒁粡埖聡?guó)蒂賓根市的風(fēng)景圖轉(zhuǎn)換成了類似梵高名作《星夜》風(fēng)格的油畫?！斑@次經(jīng)歷讓我們有了新的思考，反過(guò)來(lái)轉(zhuǎn)換會(huì)如何呢？梵高的《星夜》又會(huì)變成什么模樣？”Gü?lütürk和Gü?lü寫道。

在研究論文中，Gü?lütürk和Gü?lü講解了他們類神經(jīng)網(wǎng)絡(luò)軟件的工作方式：

“下面，我們來(lái)解釋下類神經(jīng)網(wǎng)絡(luò)是如何將素描轉(zhuǎn)換成普通照片的。首先，我需要搭建一個(gè)龐大的數(shù)據(jù)集，并為其填充各種素描和照片（成對(duì)的）。隨后，我開始向類神經(jīng)網(wǎng)絡(luò)展示素描，并要求它轉(zhuǎn)換成照片。起初，類神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度一般。將其轉(zhuǎn)換的圖片與數(shù)據(jù)庫(kù)進(jìn)行對(duì)比后，我會(huì)指出類神經(jīng)網(wǎng)絡(luò)的失誤。根據(jù)這些反饋，類神經(jīng)網(wǎng)絡(luò)需要不斷調(diào)整策略并最終給出精確的轉(zhuǎn)換圖片?！?/p>

 

圖注：類神經(jīng)網(wǎng)絡(luò)的作品，左邊的圖片是原版，中間為素描，右側(cè)的則是算法轉(zhuǎn)換出的圖片，精確度確實(shí)相當(dāng)高。

熟能生巧，只要不斷地進(jìn)行重復(fù)，該模型就學(xué)會(huì)了匹配素描和圖片。

“我們不斷重復(fù)最后兩步，”Gü?lütürk和Gü?lü說(shuō)道?！白罱K，類神經(jīng)網(wǎng)絡(luò)終于能轉(zhuǎn)換出較為完美的圖片了。如果一切順利，未來(lái)類神經(jīng)網(wǎng)絡(luò)不但可以轉(zhuǎn)換看到過(guò)的素描，在轉(zhuǎn)換全新素描時(shí)也能有相當(dāng)高的準(zhǔn)確度。”

為了不斷訓(xùn)練并測(cè)試這一算法，神經(jīng)科學(xué)家還用上了電腦生成的素描，這些素描主要基于CelebA數(shù)據(jù)集（大規(guī)模名人人臉標(biāo)注數(shù)據(jù)集，包含20萬(wàn)+的名人圖片）和LFW數(shù)據(jù)集（13000+網(wǎng)絡(luò)圖片）。

除了拿自己的臉部素描做實(shí)驗(yàn)，神經(jīng)科學(xué)家們還用了三個(gè)荷蘭著名藝術(shù)家的自畫像（倫勃朗、梵高和埃舍爾）。

 

圖注：三位著名藝術(shù)家自畫像的轉(zhuǎn)換

眼下，Gü?lütürk和Gü?lü正考慮如何將該技術(shù)推向市場(chǎng)。據(jù)悉，藝術(shù)市場(chǎng)和法庭可能是首批沐浴新技術(shù)的領(lǐng)域。Gü?lütürk和Gü?lü表示：“我們的子公司已經(jīng)開始了前期準(zhǔn)備，希望能盡快將該技術(shù)推向市場(chǎng)?！?/p>

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。