作者 | 吳彤

編輯 | 青暮

比起卡粉，悶痘，油光，手殘，新一代年輕人的美麗可以來得更容易，快速變美只需要兩步，打開美圖，擺好pose——詮釋那句話，“為了美麗，我堅持開美顏”。

今年來，容貌焦慮和發(fā)際線危機已經(jīng)不止一次搬上話事桌，甚至讓大眾誤以為這并非為資本或是人的思維創(chuàng)造物。實際上，這是一個由意識形態(tài)到符號結(jié)構(gòu)再到技術(shù)決定的邏輯蛻變過程，美圖公司在后排默默觀察。

1

美圖秀秀推出“生發(fā)”功能

去年9月，美圖秀秀推出增發(fā)功能，可填充發(fā)際線、增加劉海 。

今年2月，美圖秀秀發(fā)布《00后圖片社交報告》，報告顯示，當00后被問及“最在意的修圖部位”，出乎意料的是00后用戶不僅關(guān)注腹肌、鎖骨和黑眼圈這些細節(jié)，也關(guān)注發(fā)際線的完美程度。

其背后的美圖影像實驗室（MT Lab），目前已經(jīng)落地了多個頭發(fā)生成項目，在美圖旗下核心產(chǎn)品美圖秀秀及海外產(chǎn)品AirBrush上線劉海生成、發(fā)際線調(diào)整與稀疏區(qū)域補發(fā)等功能。

其中，劉海生成功能可以基于自定義的生成區(qū)域，生成不同樣式的劉海；

發(fā)際線調(diào)整功能在保持原有發(fā)際線樣式的情況下，可以對發(fā)際線的不同高度進行調(diào)整；

稀疏區(qū)域補發(fā)則可以在指定區(qū)域或者智能檢測區(qū)域中，自定義調(diào)整稀疏區(qū)域的頭發(fā)濃密程度。

成立于2010年的MT Lab是致力于計算機視覺、機器學(xué)習(xí)、增強現(xiàn)實、云計算等人工智能相關(guān)領(lǐng)域的研發(fā)團隊，深耕人臉、美顏、美妝、人體、圖像分割、圖像生成等多個技術(shù)研發(fā)領(lǐng)域，目前已廣泛應(yīng)用于美圖旗下產(chǎn)品。

美圖秀秀的人像美容欄中的外貌修飾功能

如今，美圖秀秀不僅在人臉上做“減法’，還做起了“加法”，推出面部豐盈、整牙以及發(fā)際線調(diào)整、稀疏區(qū)域補發(fā)的新功能。

美圖秀秀的整牙和面部填充對比圖

2

"做加法"，難在沒東西可加

但怎么解決當下大家最關(guān)注的頭發(fā)生成問題，在落地過程中仍面臨幾個亟待突破的關(guān)鍵技術(shù)瓶頸：數(shù)據(jù)缺少、發(fā)絲細節(jié)不足和清晰度低。稍有不慎，頭發(fā)就容易糊成一片。

當年Angel大寶貝在電視劇中的摳圖效果可太假了

首先是生成數(shù)據(jù)的獲取問題

以劉海生成任務(wù)為例，在生成出特定款式的劉海時，需要大量劉海數(shù)據(jù)，但是通過搜集真實數(shù)據(jù)的形式做數(shù)據(jù)喂養(yǎng)，其實就是個“體力活”：有劉海、無劉海的真實數(shù)據(jù)難獲取；斜劉海、直劉海、八字劉海等特定款式的劉海數(shù)據(jù)耗費高成本。

這兩種方式基本都不具備可操作性。

多款劉海生成效果圖

其次是高清圖像細節(jié)的生成問題

要么頭發(fā)太假，要么像是用座機拍出來的糊圖。

由于頭發(fā)部位擁有復(fù)雜的紋理細節(jié)，通過CNN難以生成真實且達到理想狀態(tài)的發(fā)絲。

其中，在有配對數(shù)據(jù)的情況下，雖然可以通過設(shè)計類似Pixel2PixelHD、U2-Net等網(wǎng)絡(luò)進行監(jiān)督學(xué)習(xí)，但目前通過該方式生成的圖像清晰度仍然非常有限。

而在非配對數(shù)據(jù)情況下，一般通過類似HiSD、StarGAN、CycleGAN的方式進行屬性轉(zhuǎn)換生成，利用該方式生成的圖片不僅清晰度不佳，還存在目標效果生成不穩(wěn)定、生成效果不真實等問題。

真實的頭發(fā)數(shù)據(jù)沒有，自己造“假”又太假，針對上述情況， MT Lab基于龐大的數(shù)據(jù)資源與突出的模型設(shè)計能力，借助StyleGAN解決了頭發(fā)生成任務(wù)所面臨的配對數(shù)據(jù)生成與高清圖像細節(jié)兩大核心問題。

3

基于StyleGAN的頭發(fā)編輯方案

StyleGAN作為當前生成領(lǐng)域的主要方向（Gan生成式對抗網(wǎng)絡(luò)），是一種基于風格輸入的無監(jiān)督高清圖像生成模型。能夠基于7萬張1024*1024的高清人臉圖像訓(xùn)練數(shù)據(jù)FFHQ，通過精巧的網(wǎng)絡(luò)設(shè)計與訓(xùn)練技巧生成清晰逼真的圖像效果。

基于StyleGAN生成的圖片

此外，StyleGAN還能基于風格輸入的方式擁有屬性編輯的能力，通過隱變量的編輯，實現(xiàn)圖像語意內(nèi)容的修改。

具體有三步：配對數(shù)據(jù)生成（生發(fā)）——配對數(shù)據(jù)增益（控制發(fā)量）——image-to-image生成（高清）。

1.配對數(shù)據(jù)生成

StyleGAN生成配對數(shù)據(jù)最為直接的方式就是在w+空間直接進行相關(guān)屬性的隱向量編輯，生成相關(guān)屬性。其中隱向量編輯方法包括GanSpace、InterFaceGAN以及StyleSpace等等。

但這種圖像生成方式通常隱含著屬性向量不解耦的情況，即在生成目標屬性的同時往往伴隨其他屬性（背景和人臉信息等）產(chǎn)生變化。

因此，MT Lab結(jié)合StyleGAN Projector、PULSE及Mask-Guided Discovery等迭代重建方式來解決生成頭發(fā)配對數(shù)據(jù)的問題。該方案的主要思路是通過簡略編輯原始圖片，獲得一張粗簡的目標屬性參考圖像，將其與原始圖像都作為參考圖像，再通過StyleGAN進行迭代重建。

以為頭發(fā)染淺色發(fā)色為例，需要先對原始圖片中的頭發(fā)區(qū)域染上統(tǒng)一的淺色色塊，經(jīng)由降采樣獲得粗略編輯簡圖作為目標屬性參考圖像，在StyleGAN的迭代重建過程中，生成圖片在高分辨率尺度下與原始圖片進行相似性監(jiān)督，以保證頭發(fā)區(qū)域以外的原始信息不發(fā)生改變。

另一方面，生成圖片通過降采樣與目標屬性參考圖像進行監(jiān)督，以保生成的淺色發(fā)色區(qū)域與原始圖片的頭發(fā)區(qū)域一致，二者迭代在監(jiān)督平衡下生成期望中的圖像，與此同時也獲得了一個人有無淺色頭發(fā)的配對數(shù)據(jù)。

值得強調(diào)的是，在該方案執(zhí)行過程中既要保證生成圖片的目標屬性與參考圖像一致，也要保證生成圖像在目標屬性區(qū)域外與原始圖片信息保持一致；還需要保證生成圖像的隱向量處于StyleGAN的隱向量分布中，才能夠確保最終的生成圖像是高清圖像。

染淺色頭發(fā) StyleGAN 迭代重建示意圖

此外，基于該方案的思路，在頭發(fā)生成領(lǐng)域還可以獲取到發(fā)際線調(diào)整的配對數(shù)據(jù)、劉海生成的配對數(shù)據(jù)以及頭發(fā)蓬松的配對數(shù)據(jù)。

但是想用補發(fā)功能，前提得還沒毛光光。不然基于頭發(fā)原本顏色的補色，系統(tǒng)一律按膚色計算了。

不同膚色做出來的發(fā)色不一致（左圖為沖浪達人阿怡視頻中的網(wǎng)紅爺爺）

2.配對數(shù)據(jù)增益

基于迭代重建，還能夠獲得配對數(shù)據(jù)所對應(yīng)的StyleGAN隱向量，通過隱向量插值的方式還能實現(xiàn)數(shù)據(jù)增益，進而獲得足夠數(shù)量的配對數(shù)據(jù)。

以發(fā)際線調(diào)整的配對數(shù)據(jù)為例，在每一組配對數(shù)據(jù)間，可以通過插值獲得發(fā)際線不同程度調(diào)整的配對數(shù)據(jù)。同樣的，兩組配對數(shù)據(jù)間也可以通過隱向量插值獲得更多配對數(shù)據(jù)。

此外，通過插值獲得的配對數(shù)據(jù)也能夠生成新的配對數(shù)據(jù)，基于此可以滿足對理想的發(fā)際線調(diào)整配對數(shù)據(jù)的需求。

3.image-to-image生成

基于StyleGan的迭代重建獲得配對數(shù)據(jù)后，就可以通過pixel2piexlHD模型進行有監(jiān)督的學(xué)習(xí)訓(xùn)練，這種image-to-image的方式相對穩(wěn)定且針對各類環(huán)境都有穩(wěn)定的結(jié)果輸出。但生成圖像的清晰度還無法達到理想的效果，因此選擇通過在image-to-image模型上采用StyleGAN的預(yù)訓(xùn)練模型來幫助實現(xiàn)生成細節(jié)的提升。

傳統(tǒng)的StyleGAN實現(xiàn)image-to-image的方式是通過encoder網(wǎng)絡(luò)獲得輸入圖的圖像隱向量，然后直接編輯隱向量，最后實現(xiàn)目標屬性圖像生成，但由這種方式生成的圖像與原圖像比對往往相似度較低，無法滿足基于原圖像進行編輯的要求。

因此MT Lab對這種隱向量編輯的方式進行了改進，一方面直接將原圖像encode到目標屬性的隱向量，省去進行中間隱向量編輯的步驟；另一方面將encoder網(wǎng)絡(luò)的特征與StyleGAN網(wǎng)絡(luò)的特征進行融合，最終通過融合后的特征生成目標屬性圖像，以最大限度保證生成圖像與原圖像的相似度，整體網(wǎng)絡(luò)結(jié)構(gòu)與GLEAN模型非常相似。該方式兼顧了圖像高清細節(jié)生成與原圖相似度還原兩個主要問題，由此也完成了高清且具有真實細節(jié)紋理的頭發(fā)生成全流程。

頭發(fā)生成網(wǎng)絡(luò)結(jié)構(gòu)

4

搞定了頭發(fā)，還可以舉一反三

這種StyleGAN編輯生成方案也具有很高的擴展性。日后圖像編輯和圖像清晰度的難題，可以套用頭發(fā)生成的“三步走”技術(shù)。

其中，結(jié)合StyleGAN生成理想頭發(fā)配對數(shù)據(jù)的方式極大地降低了圖像編輯任務(wù)的難度，如將該方案關(guān)注的屬性拓展到頭發(fā)以外，就能夠獲得更多屬性的配對數(shù)據(jù)，例如五官更換的配對數(shù)據(jù)，借此可以嘗試對任何人臉屬性編輯任務(wù)進行落地實踐。

五官更換的配對數(shù)據(jù)：原圖（左），參考圖（中），結(jié)果圖（右）

借助StyleGAN預(yù)訓(xùn)練模型實現(xiàn)image-to-image的方式能夠保證生成圖像的清晰度，還可以將其推廣到如圖像修復(fù)、圖像去噪、圖像超分辨率等等更為一般的生成任務(wù)中。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。