雷鋒網(wǎng) AI 科技評(píng)論按：隨著 ICCV 2019 發(fā)榜，許多學(xué)者已經(jīng)開(kāi)始公開(kāi)以及傳播自己的 ICCV 錄用論文。計(jì)算機(jī)視覺(jué)領(lǐng)域重磅大佬、UC 伯克利 Jitendra Malik 和南京大學(xué)合作的一篇論文引發(fā)了我們的注意。我們也一同回顧一下與它相關(guān)的幾篇論文。

《Diverse Image Synthesis from Semantic Layouts via Conditional IMLE》

通過(guò)條件 IMLE 從語(yǔ)義布局圖中生成多樣的圖像

• 作者：Ke Li（UC 伯克利）, Tianhao Zhang（南京大學(xué)）, Jitendra Malik（UC 伯克利）

• 論文地址：https://arxiv.org/abs/1811.12373

• ICCV 2019 錄用論文

• 論文項(xiàng)目頁(yè)面：https://people.eecs.berkeley.edu/~ke.li/projects/imle/scene_layouts/

在對(duì)應(yīng)白天-黑夜的隱含噪聲向量控制下，圖像內(nèi)容可以在白天和黑夜之間進(jìn)行連續(xù)的變化

• 亮點(diǎn)簡(jiǎn)介：對(duì)于不使用 GANs 的，也就是基于端對(duì)端網(wǎng)絡(luò)的條件圖像生成以及圖像轉(zhuǎn)換任務(wù)來(lái)說(shuō)，大多數(shù)現(xiàn)有方法都只能生成一張或者有限張好的圖像；甚至于，使用 GANs 的方法雖然理論上可以不受數(shù)量限制，但實(shí)際上也需要想辦法克服模式崩潰（mode collapse）問(wèn)題，不然生成的圖像都大同小異。這篇論文就是 Jitendra Malik 等人對(duì)模式崩潰問(wèn)題提出的解決方案，目標(biāo)是能根據(jù)語(yǔ)義分割圖像生成任意多張對(duì)應(yīng)的真實(shí)圖像，在保留同樣的語(yǔ)義布局的同時(shí)，可以有無(wú)限多的外觀變化。

  他們的方法是使用了最近提出的 Implicit Maximum Likelihood Estimation (隱式最大似然估計(jì)，IMLE) 框架，在網(wǎng)絡(luò)中用隱含向量對(duì)應(yīng)圖像外觀的不同因素，從而通過(guò)隱含向量的變化，控制圖像的外觀變化；這樣，對(duì)圖像風(fēng)格的變化有了更多控制，通過(guò)不同向量的值的組合也就能讓得到的結(jié)果更多樣、不重復(fù)。另外，即便使用同樣的模型架構(gòu)，他們的方法生成的圖像也瑕疵更少。雖然學(xué)習(xí)到的隱含空間缺乏監(jiān)督，但是能夠?qū)W習(xí)到一些合理的結(jié)構(gòu)，就能夠幫助讓模型發(fā)揮出很多的表現(xiàn)。

• 這篇論文的方法同時(shí)讓我們想起 ICCV 2017 論文 《Photographic Image Synthesis with Cascaded Refinement Networks》 和 CVPR 2019 論文 《A Style-Based Generator Architecture for Generative Adversarial Networks》。雷鋒網(wǎng) AI 科技評(píng)論下面也做簡(jiǎn)單介紹。

《Photographic Image Synthesis with Cascaded Refinement Networks》 

用級(jí)聯(lián)優(yōu)化網(wǎng)絡(luò)生成照片級(jí)圖像

• 作者：斯坦福大學(xué)博士陳啟峰，英特爾實(shí)驗(yàn)室視覺(jué)組主管 Vladlen Koltun

• 論文地址：https://arxiv.org/abs/1707.09405v1

• ICCV 2017 錄用論文

• 項(xiàng)目地址：https://github.com/CQFIO/PhotographicImageSynthesis

• 亮點(diǎn)簡(jiǎn)介：在這篇論文發(fā)表時(shí)，用 GANs 生成大尺寸、高精度、高真實(shí)度圖像的方法尚未出現(xiàn)，這篇論文的成果可以說(shuō)是一大突破；而且論文只用了端到端的網(wǎng)絡(luò)就達(dá)到了這個(gè)目標(biāo)。

  具體來(lái)說(shuō)，「從一張真實(shí)世界的圖像生成語(yǔ)義分割布局圖像」這一監(jiān)督學(xué)習(xí)任務(wù)已經(jīng)得到了較好的解決，那么反過(guò)來(lái)，從「從語(yǔ)義布局圖像生成照片級(jí)圖像」也就是完全有可能的，這就為生成大尺寸、高精度、高真實(shí)度圖像打開(kāi)了一扇窗戶(hù)。當(dāng)然了，真的做到這一點(diǎn)還是需要一些技巧的，作者們通過(guò)大量實(shí)驗(yàn)，總結(jié)出模型需要兼顧全局協(xié)調(diào)性、高分辨率、記憶力三個(gè)特點(diǎn)才能達(dá)到好的效果，并設(shè)計(jì)了對(duì)應(yīng)的逐級(jí)提高分辨率的級(jí)聯(lián)優(yōu)化網(wǎng)絡(luò) CRN。另外，他們也采取了一些手段，首先讓模型生成多張不同的圖像，然后從多張圖像中選擇最真實(shí)的部分進(jìn)行拼接。最終達(dá)到了非常好的效果。

《A Style-Based Generator Architecture for Generative Adversarial Networks》

一個(gè)基于風(fēng)格的 GANs 圖像生成架構(gòu)

• 論文作者：NVIDIA 實(shí)驗(yàn)室 Tero Karras, Samuli Laine, Timo Aila

• 論文地址：https://arxiv.org/abs/1812.04948

• CVPR 2019 最佳論文之一

• 項(xiàng)目地址：https://github.com/NVlabs/stylegan

• 人臉生成公開(kāi) Demo：https://thispersondoesnotexist.com/

• 論文亮點(diǎn)：我們都知道，GANs 生成圖像都是從一個(gè)隨機(jī)種子開(kāi)始的，然后我們就只能期盼這是一個(gè)好的隨機(jī)種子，可以帶來(lái)好的圖像 —— 說(shuō)白了我們對(duì)中間的生成過(guò)程完全沒(méi)有控制。在條件圖像生成的論文中人們對(duì)這個(gè)問(wèn)題有一些研究，但是沒(méi)有大的突破。

  這篇論文提出的新架構(gòu)從圖像風(fēng)格遷移論文中得到了啟發(fā)。他們的模型架構(gòu)可以自動(dòng)地、無(wú)監(jiān)督地學(xué)習(xí)到不同的高級(jí)別屬性（比如在人臉上訓(xùn)練時(shí)可以學(xué)習(xí)到姿態(tài)和膚色），而且在生成的圖像中有足夠的隨機(jī)變化。他們方法的關(guān)鍵在于，對(duì)控制圖像中變化的隱含變量進(jìn)行了解耦，這樣我們就得以具體地控制不同高級(jí)別屬性的取值以及它們的變化。他們提出的兩種新方法也可以用在任意的生成器架構(gòu)中。

這三篇論文中，第一篇、第二篇論文都有「從語(yǔ)義布局圖生成圖像」，而第一篇和第三篇論文都有「學(xué)習(xí)隱含變量空間、嘗試隱含變量解耦」。這三篇論文值得放在一起讀一讀，仔細(xì)揣摩對(duì)比一下他們的做法。

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。