0
雷鋒網(wǎng) AI 科技評(píng)論按：最近推出的幾個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域中的突破性論文在圖像合成領(lǐng)域展示了新的可能，他們能夠創(chuàng)造非常自然的圖像，并且合成無(wú)比真實(shí)甚至同時(shí)保持面部信息的人臉圖像。論文《CVAE-GAN：一種通過(guò)非對(duì)稱(chēng)訓(xùn)練的細(xì)粒圖像生成模型》就是其中之一，它是由微軟和中國(guó)科學(xué)技術(shù)大學(xué)的研究團(tuán)隊(duì)在威尼斯舉辦的 ICCV 2017 上展示的一種方法，它是一種基于變分自動(dòng)編碼器生成對(duì)抗網(wǎng)絡(luò)的圖像生成模型，能夠在特定細(xì)粒類(lèi)別中合成自然圖像。特定細(xì)粒度的類(lèi)別包括特定的人臉，如名人或者真實(shí)世界的物體，如特定類(lèi)型的花或者鳥(niǎo)。雷鋒網(wǎng) AI 科技評(píng)論根據(jù)微軟研究院博客簡(jiǎn)單介紹如下。
微軟研究院的 Dong Chen、Fang Wen 和 Gang Hua，微軟研究院實(shí)習(xí)生 Jianmin Bao 以及中國(guó)科學(xué)技術(shù)大學(xué)的李厚強(qiáng)教授一直在研究如何構(gòu)建更好有效的自然圖像生成模型。在計(jì)算機(jī)視覺(jué)領(lǐng)域存在一個(gè)關(guān)鍵問(wèn)題：如何通過(guò)改變與世界上任何圖片自然分布相關(guān)的有限數(shù)量的隱變量，來(lái)生成多樣化且逼真的圖像。該問(wèn)題的挑戰(zhàn)主要在于找到一個(gè)生成模型能夠捕捉到這些數(shù)據(jù)的分布。他們選擇使用生成對(duì)抗網(wǎng)絡(luò)與變分自動(dòng)編碼器相結(jié)合的方法作為學(xué)習(xí)框架。該方法將任何圖像建模為概率模型中標(biāo)簽和隱屬性的組合。通過(guò)改變輸入生成模型細(xì)粒類(lèi)別的標(biāo)簽（比如，特定的鳥(niǎo)的類(lèi)別，如金鶯或者八哥，或者特定人的人臉），該團(tuán)隊(duì)能夠使用根據(jù)隨機(jī)抽取的隱變量的值合成屬于該類(lèi)別的圖像。微軟雷蒙德研究院首席研究員Gang Hua解釋說(shuō)：「直到最近，才有深度學(xué)習(xí)模型能夠從真實(shí)世界的圖像中對(duì)某類(lèi)物體的圖像分布建模，使得我們能夠從模型中得到基本的圖像合成方式?！?/p>
首席研究員 Gang Hua 表示，該方法有兩個(gè)新穎的方面：首先，對(duì)于判別網(wǎng)絡(luò)即分類(lèi)器，使用了交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練，但是對(duì)于生成網(wǎng)絡(luò)，使用了平均差值目標(biāo)函數(shù)（mean discrepancy objective）。由此產(chǎn)生的非對(duì)稱(chēng)損失函數(shù)及其對(duì)機(jī)器學(xué)習(xí)方面的影響很激動(dòng)人心。非對(duì)稱(chēng)損失實(shí)際上使得 GAN 的訓(xùn)練變得更加穩(wěn)定，這種非對(duì)稱(chēng)損失函數(shù)能夠解決訓(xùn)練原始 GAN 中的不穩(wěn)定的問(wèn)題，尤其是能夠解決匹配兩個(gè)不重疊分布時(shí)遇到的數(shù)值難題。
另一個(gè)創(chuàng)新在于采用了一種新穎的編碼器結(jié)構(gòu)，它能夠?qū)W習(xí)到隱空間之間的關(guān)系，并使用成對(duì)的特征匹配了保留合成圖像的結(jié)構(gòu)信息。
在自然圖像的實(shí)驗(yàn)中，在自然界中的真實(shí)圖片，如人臉，花朵和鳥(niǎo)類(lèi)等，研究人員展示了他們的機(jī)器學(xué)習(xí)模型在某個(gè)特定的類(lèi)別中，能夠合成非常真實(shí)且多樣性的圖像。該模型的潛在應(yīng)用方向覆蓋了包括圖像修復(fù)，數(shù)據(jù)增強(qiáng)，和更好的人臉識(shí)別模型等所有方面。
該技術(shù)解決了圖像生成中的基本挑戰(zhàn)，即個(gè)體因素的可控制性問(wèn)題。這使得該模型能夠生成我們想要的樣子的圖片。
如何利用這個(gè)能力將合成花或者鳥(niǎo)的的圖片變得更加真實(shí)？以人臉為例，在包含個(gè)體身份信息的上下文的情況下，人臉是自然中能夠捕捉到的最復(fù)雜的圖像。在本月鹽湖城舉辦的 CVPR 2018的「面向開(kāi)放式身份的保持人臉合成」（Toward Open-Set Identity preserving Face Synthesis）任務(wù)中，研究人員開(kāi)發(fā)了一個(gè)基于 GAN 的框架，可以解耦人臉的身份信息和屬性信息，其中屬性包含諸如鼻子和嘴的形狀甚至年齡，以及環(huán)境因素，比如光線狀況，臉上是否有化妝等等。之前的保持身份人臉合成方法的主要局限在于只能合成包含在訓(xùn)練集中的已知身份人臉，但是現(xiàn)在研究人員開(kāi)發(fā)了一種在開(kāi)放集中也能保持身份的人臉合成方法，也就是說(shuō)，能夠合成訓(xùn)練集外的人臉。為了能夠做到這一點(diǎn)，他們使用了一種獨(dú)特的方法，對(duì)于輸入圖片，先生成一個(gè)身份向量，將該身份向量與其他人臉圖像（不是同一個(gè)人的人臉圖像）結(jié)合，提取一個(gè)特征向量，例如姿勢(shì)，情緒或者光線狀況等。接下來(lái)，將身份向量和特征向量結(jié)合到一起，生成一張新的人臉圖片。值得注意的是，該框架無(wú)須以任何方式標(biāo)注或者分類(lèi)任何面部屬性。它使用非對(duì)稱(chēng)損失函數(shù)以更好的保持身份信息，并能夠穩(wěn)定機(jī)器學(xué)習(xí)的訓(xùn)練過(guò)程。它還可以有效地利用大量未標(biāo)記的人臉圖像進(jìn)行訓(xùn)練（可以被看作是隨機(jī)的面部圖像），以進(jìn)一步增強(qiáng)合成人臉的真實(shí)度和準(zhǔn)確性。
該模型有一個(gè)有趣的應(yīng)用方向，就是攝影師為幾十個(gè)人拍一張合照，想要一張照片里幾十個(gè)人都是笑著的瞬間是很難捕捉到的。使用該模型就能夠讓每個(gè)人都是微笑的，這跟單純的圖像編輯是完全不同的，因?yàn)槊恳粋€(gè)微笑的臉都是合成的，都是并沒(méi)有在這個(gè)世界上發(fā)生過(guò)的，但是每個(gè)人的臉部真實(shí)身份得到了保留，這個(gè)面孔就是屬于這個(gè)人的，身份信息在改變圖像的過(guò)程中被保留了下來(lái)。
該模型的許多種可能的應(yīng)用都會(huì)是有益于社會(huì)的，并且在圖像識(shí)別，視頻理解甚至藝術(shù)方向都有著不斷的進(jìn)步。
via Microsoft Research Blog，雷鋒網(wǎng) AI 科技評(píng)論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
