2
| 本文作者： skura | 2019-03-19 18:21 |
雷鋒網(wǎng) AI 科技評(píng)論按，一個(gè)新手畫家可能會(huì)用畫筆在畫布上畫畫，目的是創(chuàng)作一幅壯美的日落景觀圖——崎嶇的、白雪覆蓋的山峰倒映在清澈的湖泊中——但最終畫出來的只不過是一些看起來更像多色墨水點(diǎn)的東西。
但是，由 Nvidia Research 開發(fā)的深度學(xué)習(xí)模型卻恰恰相反：它可以輕松地將粗糙的涂鴉變成照片級(jí)的寫實(shí)杰作。該工具利用生成的對(duì)抗網(wǎng)絡(luò)（GANs）將語意分割圖轉(zhuǎn)換為逼真的圖像。
這款使用該模型的交互式應(yīng)用程序，輕輕松松地就達(dá)到了后印象派畫家的水平，它被命名為 GauGAN。
后印象派畫家 Paul Gauguin 畫了幾幅自畫像，包括這幅自 1885 年起就收藏在 Kimbell 藝術(shù)博物館的作品（照片來自 Wikimedia Commons）。
GauGAN 可以為從建筑師、城市規(guī)劃者到景觀設(shè)計(jì)師和游戲開發(fā)商的每個(gè)人提供一個(gè)強(qiáng)大的工具來創(chuàng)建虛擬世界。有了一個(gè)能夠理解現(xiàn)實(shí)世界的人工智能，這些專業(yè)人員可以更好地設(shè)計(jì)出想要的原型，并快速改變它們。
NVIDIA 應(yīng)用深度學(xué)習(xí)研究院副總裁 Bryan Catanzaro 說：「用簡單的草圖進(jìn)行頭腦風(fēng)暴設(shè)計(jì)要容易得多，而且這項(xiàng)技術(shù)能夠?qū)⒉輬D轉(zhuǎn)換成高度逼真的圖像。」
Catanzaro 將 GauGAN 背后的技術(shù)比作「智能畫筆」，它可以在粗略的語意分割圖（即顯示場景中對(duì)象位置的高級(jí)輪廓）中填充細(xì)節(jié)。
GauGAN 使用戶可以畫出語意分割圖，并合成自己需要的場景，其中，這些分割圖都需要相應(yīng)的標(biāo)簽，如天空、大?；蛘哐?。
經(jīng)過 100 萬張圖片的訓(xùn)練，深度學(xué)習(xí)模型通過結(jié)果來填充景觀：在池塘中畫畫，附近的元素如樹木和巖石將在水中映射。將一個(gè)段標(biāo)簽從「草地」換成「雪」，整個(gè)圖像將變?yōu)槎緢鼍埃瓉碇Ψ比~茂的樹木則變成了不毛之地。
Catanzaro 說：「這就像一幅彩色的圖畫，描繪了一棵樹在哪里，太陽在哪里，天空在哪里?！谷缓螅窠?jīng)網(wǎng)絡(luò)能夠根據(jù)對(duì)真實(shí)圖像的了解，填充所有細(xì)節(jié)和紋理，以及反射、陰影和顏色。
由于 GANs 是由一對(duì)網(wǎng)絡(luò)——生成器和對(duì)抗器組成的，因此，盡管缺乏對(duì)真實(shí)世界的了解，但它仍然可以生成讓人滿意的圖像。生成器創(chuàng)建圖像并呈現(xiàn)給對(duì)抗器。對(duì)抗器在真實(shí)圖像上訓(xùn)練后，反饋給生成器如何逐素提高合成圖像的真實(shí)性。
經(jīng)過對(duì)真實(shí)圖像的訓(xùn)練后，對(duì)抗器知道真實(shí)的池塘和湖泊是包含反射的——因此生成器學(xué)會(huì)了創(chuàng)造令人驚嘆的逼真圖像。
該工具還允許用戶添加樣式過濾器，更改生成的圖像以適應(yīng)特定畫家的風(fēng)格，或?qū)⑷臻g場景更改為日落場景。
Catanzaro 說：「這項(xiàng)技術(shù)不僅僅是將其他圖像拼接在一起或者剪切和粘貼紋理，它實(shí)際上是合成新的圖像，這和藝術(shù)家創(chuàng)造新東西的方法非常相似?！?br/>
雖然 GauGAN 應(yīng)用程序?qū)Ｗ⒂陉懙?、海洋和天空等自然元素，但底層的神?jīng)網(wǎng)絡(luò)也有能力填充其他景觀特征，包括建筑物、道路和人等。
關(guān)于 GauGAN 的研究論文已被 6 月的 CVPR 會(huì)議評(píng)為 Oral 論文——而獲得這一殊榮的論文不到提交論文總數(shù)的 5%。
在此之前，雷鋒網(wǎng)也報(bào)導(dǎo)過一篇 ICCV 2017 論文，關(guān)于用端到端網(wǎng)絡(luò)生成非常逼真的高分辨率圖像的文章，文中的方法卻并沒有用到 GANs。查看這篇文章可以點(diǎn)擊：如此逼真的高清圖像居然是端到端網(wǎng)絡(luò)生成的？GANs 自嘆不如 | ICCV 2017 。
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
