雷鋒網(wǎng)：雷鋒字幕組編譯系列短視頻《 2 分鐘論文 》，帶大家用碎片時(shí)間閱覽前沿技術(shù)，了解 AI 領(lǐng)域的最新研究成果。

翻譯/ 鄧玉愷

整理/ 孫云  凡江

本期論文：Unsupervised Image-to-Image Translation Networks

論文譯名：無(wú)監(jiān)督以圖生圖(圖到圖遷移網(wǎng)絡(luò))

英偉達(dá)推出的新技術(shù)無(wú)監(jiān)督圖到圖遷移網(wǎng)絡(luò)，可以根據(jù)已有的圖像，創(chuàng)造出不同場(chǎng)景下的新圖像。比如，把冬天變成夏天，把城市照片換成城市地圖，將白天公路換成夜間公路。

這種技術(shù)的一種典型實(shí)現(xiàn)方式是使用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，簡(jiǎn)稱(chēng)GANS）。GANS是一對(duì)神經(jīng)網(wǎng)絡(luò)，其中的生成網(wǎng)絡(luò)負(fù)責(zé)生成合成圖像以欺騙判別網(wǎng)絡(luò)，而判別網(wǎng)絡(luò)嘗試區(qū)分生成器生成的合成圖像和真實(shí)圖像。

這兩個(gè)神經(jīng)網(wǎng)絡(luò)共同學(xué)習(xí)，其中生成網(wǎng)絡(luò)嘗試生成更真實(shí)的圖像以欺騙判別網(wǎng)絡(luò)，而判別網(wǎng)絡(luò)則嘗試著能更好的區(qū)分真實(shí)圖像和合成圖像。這個(gè)對(duì)抗過(guò)程將使得這兩個(gè)網(wǎng)絡(luò)變得越來(lái)越好，最終的結(jié)果也表明了該技術(shù)生成的轉(zhuǎn)化圖相當(dāng)真實(shí)。

? 觀(guān)看雷鋒網(wǎng)論文解讀大概需要 4 分鐘

在雷鋒網(wǎng)介紹的這篇論文中，作者使用了6個(gè)網(wǎng)絡(luò)而不是2個(gè)網(wǎng)絡(luò)。在一項(xiàng)早期的圖像轉(zhuǎn)化工作中，研究者依靠的是循環(huán)一致性約束。這意味著我們可以假設(shè)源圖像可以被轉(zhuǎn)換成目標(biāo)圖像，而目標(biāo)圖像可以再反過(guò)來(lái)轉(zhuǎn)換成和源圖像十分相似的圖像。該假設(shè)的成立意味著，圖像轉(zhuǎn)化并非任意隨機(jī)，而是隱含了深層次的算法轉(zhuǎn)換。

這項(xiàng)新技術(shù)構(gòu)建在一個(gè)假設(shè)上，假定存在一個(gè)隱空間，在這個(gè)隱空間中輸入和輸出圖像可以共存。這個(gè)隱空間便是復(fù)雜數(shù)據(jù)的一種直觀(guān)、簡(jiǎn)潔的描述。但該技術(shù)仍然存在的局限是，訓(xùn)練過(guò)程過(guò)度依賴(lài)對(duì)抗網(wǎng)絡(luò)，沒(méi)有顯在的訓(xùn)練指標(biāo)，訓(xùn)練過(guò)程收斂的臨界點(diǎn)自然無(wú)從得知。

冬天變成夏天

哈士奇變成柯基

現(xiàn)實(shí)世界視頻轉(zhuǎn)變成游戲視頻

還可以給人換個(gè)發(fā)型或是戴上墨鏡，甚至加個(gè)笑容

論文：https://arxiv.org/pdf/1703.00848.pdf
代碼：https://github.com/mingyuliutw/UNIT

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。