0
| 本文作者： AI研習(xí)社 | 2019-05-14 17:22 |
谷歌大腦工程師Eric Jang近期體驗(yàn)了Snapchat的性別交換濾鏡并寫了一篇體驗(yàn)文章，雷鋒網(wǎng)AI研習(xí)社將這篇文章編譯如下。
Snapchat的性別交換濾鏡是無盡樂趣和歡聚派對(duì)的源泉，其轉(zhuǎn)換結(jié)果令人非常滿意。作為一個(gè)每天都和機(jī)器學(xué)習(xí)算法打交道的人，這個(gè)功能的強(qiáng)大程度可以說非常神奇了。
我對(duì)這個(gè)功能非常感興趣，作為一個(gè)好奇寶寶，我今天早上注冊(cè)了Snapchat并試用了一段時(shí)間，試圖弄清楚背后的原理，以及我如何去破解它。注意：這不是對(duì)Snapchat的API文件進(jìn)行逆向工程或研究其他應(yīng)用如何設(shè)計(jì)類似功能，它只是一些基本的假設(shè)測(cè)試，測(cè)試它什么時(shí)候會(huì)生效，什么時(shí)候會(huì)不生效，當(dāng)然再加上一點(diǎn)點(diǎn)自戀的浴室自拍樂趣。[手動(dòng)滑稽.gif]
中間的照片是一張?jiān)∈易耘牡脑颊掌Ｗ筮吺恰澳行浴睘V鏡的效果，右邊是“女性”濾鏡的效果。
大多數(shù)用戶可能會(huì)注意到的第一件事是這個(gè)濾鏡是實(shí)時(shí)工作的，你可以使用幾個(gè)不同的角度，并且不需要聯(lián)網(wǎng)也能運(yùn)行。戴著毛線帽的時(shí)候，頭發(fā)的渲染表現(xiàn)也非常自然。
下圖是一個(gè)我在轉(zhuǎn)頭的時(shí)候拍攝的動(dòng)圖。應(yīng)用程序似乎能檢測(cè)到面部是否指向指定的方向，并且只有滿足該布爾值的時(shí)候才會(huì)觸發(fā)濾鏡效果。
性別交換濾鏡可適用于各種光線條件，但是頭發(fā)似乎沒有陰影的投射。
你看變身女裝大佬的我是不是很可愛 [嘻嘻]。
接下來是一個(gè)我認(rèn)為很酷的例子 —— 合成的頭發(fā)可以捕捉光線的關(guān)鍵來源。
從前面的觀察來看，它的效果非常好。那么我們可以讓它失敗嗎？該濾鏡可以檢測(cè)出人臉是否處于錯(cuò)誤的姿勢(shì)，但是如果有東西擋住了臉怎么辦，那么被遮擋的人臉也會(huì)被“轉(zhuǎn)性”嗎？答案是肯定的。下面是一個(gè)（水平遮擋的）測(cè)試，我在臉上滑動(dòng)一個(gè)物體。當(dāng)僅有半邊臉被遮擋時(shí)，濾鏡就能正常工作，但如果臉部被遮擋的太多，“我應(yīng)該換臉嗎”的選項(xiàng)就會(huì)被設(shè)為False。
再來看下垂直遮擋，這里的濾鏡效果似乎取決于“臉部區(qū)域被遮擋的百分比”，而不是什么重要的語義特征（例如眼睛、嘴唇）被遮擋。就在濾鏡決定“我應(yīng)該換臉嗎”應(yīng)該切換到“False”之前，你可以看到手中拿著的白色的瓶子變模糊了。而且，當(dāng)我把瓶子放在視線中央時(shí)，我的頭發(fā)變成了金黃色。這個(gè)效果很有趣。在我看來，這一定是機(jī)器學(xué)習(xí)在起作用，它會(huì)從訓(xùn)練過的數(shù)據(jù)中提取一些數(shù)據(jù)進(jìn)行渲染。那么問題來了，金發(fā)女郎會(huì)繼續(xù)做更多的化妝教程嗎？
我用黑色的活性炭面膜遮住了一部分臉，得出的渲染效果似乎很穩(wěn)定。女性的濾鏡確實(shí)將面膜稍微消除了。從下面的GIF可以很明顯地看出，“面部交換”功能僅限于追蹤頭部的矩形區(qū)域（注意頭發(fā)到達(dá)我肩膀時(shí)的尖銳截止）。
一旦我用面膜覆蓋臉部的其余部分，濾鏡就會(huì)停止工作。 有趣的是，我臉部的裸露區(qū)域似乎還是會(huì)被檢測(cè)為面部，濾鏡會(huì)繼續(xù)執(zhí)行該區(qū)域的面部樣式轉(zhuǎn)換。 你可以看到頭部和面部的渲染效果像伊藤潤(rùn)二的恐怖故事一樣閃爍。
把面膜揭除的時(shí)候，渲染效果則令人驚訝地穩(wěn)定。
我對(duì)頭發(fā)的真實(shí)感印象最深，所以我想弄清楚是否有用于動(dòng)態(tài)照明的頭發(fā)網(wǎng)格模型，或者是否都是基于機(jī)器學(xué)習(xí)的。
頭發(fā)似乎會(huì)被渲染為最頂層（就像Photoshop的圖層），但與平常所用的簡(jiǎn)單的小狗耳朵/舌頭的濾鏡不同，這個(gè)頭發(fā)層有一個(gè)部分透明的alpha通道。 如果你仔細(xì)觀察，頭發(fā)上還有一個(gè)清晰的分割面罩，可以讓臉部顯露出來。Snapchat可能正在進(jìn)行頭部的跟蹤，以確定頭部的位置，并計(jì)算頭發(fā)的2D alpha蒙版。
第一眼看上去，我的腦海里浮現(xiàn)的是某個(gè)CycleGAN架構(gòu)，它會(huì)將男性的面孔分布映射到女性面孔上，反之亦然。數(shù)據(jù)集應(yīng)該是包括了過去8年中用戶們上傳到Snapchat（且沒有被Snapchat刪掉）的數(shù)十億張自拍照。
但這確實(shí)引發(fā)了很多問題：
他們訓(xùn)練的圖像轉(zhuǎn)換器真的是無需成對(duì)圖像的嗎？如果是真的，這將極其令人震驚，鑒于CycleGAN是很多問題，甚至有可能根本就做不了這件事。那么我敢打賭他們有一個(gè)不成對(duì)的對(duì)齊目標(biāo)，這個(gè)目標(biāo)是由有限的真實(shí)成對(duì)數(shù)據(jù)集來進(jìn)行規(guī)范，例如男/女兄弟姐妹的成對(duì)圖像，甚至是有一些數(shù)據(jù)是手工設(shè)計(jì)的性別轉(zhuǎn)換結(jié)果，可以作為數(shù)據(jù)增強(qiáng)使用（例如，使下頜輪廓更圓的效果可以在沒有機(jī)器學(xué)習(xí)的情況下完成）。
頭發(fā)和面部的變換似乎是各自獨(dú)立合成的，因?yàn)樗鼈冋紦?jù)不同的圖層（或者可能是一起合成的，并在渲染之前分割成不同的圖層）。 這也是我第一次看到GANs被用來渲染alpha通道。我有點(diǎn)懷疑頭發(fā)是不是真的由GAN產(chǎn)生。一方面，顯然有一些平滑的功能，它可以根據(jù)遮擋物體的位置切換高光和頭發(fā)顏色，這表明顏色可能部分是從數(shù)據(jù)中習(xí)得的。另一方面，頭發(fā)非常穩(wěn)定，我很難相信它完全是用GAN發(fā)生器合成的。我看過一些其他東亞男性用類似發(fā)型換臉的例子，這表明可能存在一個(gè)大型的haridos模板庫（用一些機(jī)器學(xué)習(xí)模型進(jìn)行了改進(jìn)）。
Snap的ML工程師如何知道，CycleGAN在這么大的數(shù)據(jù)集上訓(xùn)練以后到底收斂沒有？
只有如此有限的計(jì)算資源，他們是怎么把這種水平的神經(jīng)網(wǎng)絡(luò)運(yùn)行起來的？它們動(dòng)態(tài)生成的圖像分辨率是多少?
如果它確實(shí)是一個(gè)CycleGAN，那么將男性濾鏡應(yīng)用于我的女性濾鏡圖像的時(shí)候應(yīng)該恢復(fù)成原始圖像才對(duì)，對(duì)嗎？
如上面動(dòng)圖所示，這張照片的比例基本不變，但當(dāng)我們把它放大得非常近時(shí)，這張臉確實(shí)更像是我的臉。我猜想在將標(biāo)準(zhǔn)的人臉圖像輸入神經(jīng)網(wǎng)絡(luò)之前，會(huì)有一個(gè)預(yù)處理步驟對(duì)其進(jìn)行裁剪和大小調(diào)整。這個(gè)濾鏡中可能還有其他的子程序，例如調(diào)整下顎大小，它們不使用CycleGAN，但是它的添加會(huì)使得M2F和F2M濾波器不再完全相反。
我有個(gè)朋友就是這樣，他在做變裝之前要做很多的工作。我對(duì)這樣的技術(shù)感到非常興奮，因?yàn)樗鼤?huì)讓化妝師、角色扮演者和變裝藝術(shù)家更容易以更廉價(jià)更快速的方式嘗試新的想法和身份。
面部和語音變化等技術(shù)使公共互聯(lián)網(wǎng)角色與這些角色背后的真人之間的差距更大。 不過這不一定是件壞事：如果你是一個(gè)男人，但又熱衷于在網(wǎng)上成為一個(gè)可愛的動(dòng)漫女孩，那么我們應(yīng)該拿哪一個(gè)身份進(jìn)行評(píng)判呢？（鏈接是Youtube視頻） 隨著我們的日常社交媒體將性別扭曲正?；詣e流動(dòng)性和變裝文化會(huì)在社會(huì)中變得更加正?；瘑?？
未來非常令人興奮。
via https://blog.evjang.com/2019/05/fun-with-snapchats-gender-swapping.html
編譯整理：Pita
雷鋒網(wǎng)AI研習(xí)社編譯整理，更多精彩內(nèi)容，歡迎訪問雷鋒網(wǎng)AI研習(xí)社社區(qū)。
【封面圖片來源：網(wǎng)站名Eric Jang，所有者：Eric Jang】
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
