雷鋒網(wǎng) AI 科技評(píng)論按：「在你離開家之前，先照一照鏡子，再拿掉一件東西。」這是優(yōu)雅的可可·香奈兒 (Coco Chanel) 曾經(jīng)說過的一句名言，意思是指小小的改變，也可能對(duì)一個(gè)人的時(shí)尚程度造成很大的影響。無論是摘掉一件配飾、選擇一件領(lǐng)口更高的襯衫、把襯衫塞進(jìn)褲子里或者換一條顏色更深的褲子，這些小調(diào)整通常能讓現(xiàn)有的衣服顯得更時(shí)尚。換句話說，身為一名普通消費(fèi)者，我們無需將原有的衣柜推倒重來也能取得「質(zhì)變」。

近期，一項(xiàng)研究工作試圖讓 AI 成為能夠提供類似調(diào)整意見的小助手，且已取得初步成果。

這項(xiàng)成果是 Fashion++，如先前所說，這是一項(xiàng)可以通過對(duì)整體著裝進(jìn)行微調(diào)整以獲得時(shí)尚感的方法。該模型由懂得學(xué)習(xí)服裝編碼的深度圖像生成神經(jīng)網(wǎng)絡(luò)構(gòu)成，其潛在編碼能夠根據(jù)形狀和結(jié)構(gòu)進(jìn)行顯式分解，從而允許模型分別對(duì)著裝/表示以及顏色/模式/材料進(jìn)行直接編輯。

• 只要給定一套原始服裝，模型就會(huì)將其組成部分 (如包、襯衫、靴子等) 映射至對(duì)應(yīng)各自的代碼。

• 接著將具有辨別力的時(shí)尚模型作為編輯模塊，從得分最大化角度逐步更新服裝編碼，達(dá)到改進(jìn)服裝風(fēng)格的目的。

Fashion++ 框架。首先從紋理與形狀編碼器（Et 和 Es）中獲得潛在特征，接著由編輯模塊 F ++ 對(duì)潛在紋理特征 t 與形狀特征 s 進(jìn)行編輯。編輯完成后，形狀生成器 Gs 首先將更新后的形狀特征 s ++ 解碼成 2D 分割掩碼 m ++，然后我們利用它將更新后的紋理特征 t ++ 區(qū)域散播（region-wise broadcast）成一個(gè)二維特征映射 u ++。這個(gè)特征映射與更新后的分割掩碼會(huì)被傳遞給紋理生成器 Gt，最終生成更新后的著裝 x++。

讓我們一起來看看最終的生成結(jié)果吧（建議點(diǎn)擊大圖進(jìn)行觀看）：

只對(duì)形狀/大小進(jìn)行微調(diào)

只對(duì)顏色/圖案進(jìn)行微調(diào)

增添/除去衣服碎片

怎么樣，是不是變得時(shí)尚時(shí)尚最時(shí)尚了呢？

AI 是怎么懂得時(shí)尚的？

一開始，為了讓編輯模塊具備判別時(shí)尚的能力，F(xiàn)ashion++ 的研究人員試圖創(chuàng)建出這么一個(gè)訓(xùn)練數(shù)據(jù)集——由兩組圖片組成，圖片中都是同一個(gè)人，只不過在不同組中穿著不同的服裝，其中一組將被判定比另一組更加時(shí)尚。然而這樣的合集實(shí)踐起來不僅難度重重，而且一旦時(shí)尚風(fēng)向轉(zhuǎn)變了，該合集就會(huì)變得過時(shí)。另外一種方法是，將來自特定群體 (如網(wǎng)紅) 的圖像視為正面范例，而將另一組圖像 (如日普通行人) 視為負(fù)面范例。然而這種方法也有問題，這種合集會(huì)導(dǎo)致身份與風(fēng)格的混淆，分類器將發(fā)現(xiàn)兩組之間與時(shí)尚無關(guān)的屬性的區(qū)別。

最后，研究人員決定換一條思路，讓模型從那些時(shí)尚達(dá)人的網(wǎng)絡(luò)服裝照中自動(dòng)生成時(shí)尚度欠缺的照片。

具體流程上，先從一張「正面范例」的全身服裝照開始，選擇需要進(jìn)行調(diào)整的部件，然后用另一套著裝上的部件進(jìn)行替換。為了增加替換部件有效降低時(shí)尚感的可能性，模型將從與原服裝最不相似的選擇中提取部件，主要根據(jù) CNN features 的歐幾里德距離 (Euclidean distance) 測(cè)量得出。

最后，再利用這些數(shù)據(jù)訓(xùn)練出一個(gè)具有三層多層級(jí)感知器 (MLP) 的時(shí)尚分類器 f。

這種訓(xùn)練方式不僅能讓模型隨著時(shí)尚的進(jìn)化進(jìn)行實(shí)時(shí)更新，同時(shí)模型也能基于這些編碼器有效掌握微妙的服裝協(xié)同作用。此外，由于訓(xùn)練照片主要采自于路人街拍，因此模型有機(jī)會(huì)學(xué)習(xí)到服裝目錄（catalog）所不具備關(guān)于合身與呈現(xiàn)方面的知識(shí) (如掖好衣服、卷起衣服等)，以及人們?cè)谌粘Ｇ闆r下的自然搭配風(fēng)格。

結(jié)論

當(dāng)然，目前模型并非十全十美。服裝分類模型、時(shí)尚分類器、編輯操作器，任何一方的不足，都可能導(dǎo)致糟糕的著裝建議。

一些失敗例子

無論如何，該工作依然為我們推介了一款充分考慮個(gè)性化、可伸縮性以及操作靈活性的生成框架，讓我們通過微調(diào)即可優(yōu)化著裝問題。Fashion++ 研究人員也準(zhǔn)備在未來的工作中進(jìn)一步豐富訓(xùn)練資源的組合，讓基于個(gè)人偏好風(fēng)格或場(chǎng)合的調(diào)整成為可能。無論是從定量還是人為主觀判斷的角度，這項(xiàng)工作皆具有一定的推廣意義。

論文鏈接：

https://arxiv.org/pdf/1904.09261.pdf

雷鋒網(wǎng) AI 科技評(píng)論雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。