雷鋒網(wǎng) AI 科技評論按：「在你離開家之前，先照一照鏡子，再拿掉一件東西?！惯@是優(yōu)雅的可可·香奈兒 (Coco Chanel) 曾經(jīng)說過的一句名言，意思是指小小的改變，也可能對一個人的時尚程度造成很大的影響。無論是摘掉一件配飾、選擇一件領口更高的襯衫、把襯衫塞進褲子里或者換一條顏色更深的褲子，這些小調(diào)整通常能讓現(xiàn)有的衣服顯得更時尚。換句話說，身為一名普通消費者，我們無需將原有的衣柜推倒重來也能取得「質(zhì)變」。

近期，一項研究工作試圖讓 AI 成為能夠提供類似調(diào)整意見的小助手，且已取得初步成果。

這項成果是 Fashion++，如先前所說，這是一項可以通過對整體著裝進行微調(diào)整以獲得時尚感的方法。該模型由懂得學習服裝編碼的深度圖像生成神經(jīng)網(wǎng)絡構成，其潛在編碼能夠根據(jù)形狀和結構進行顯式分解，從而允許模型分別對著裝/表示以及顏色/模式/材料進行直接編輯。

• 只要給定一套原始服裝，模型就會將其組成部分 (如包、襯衫、靴子等) 映射至對應各自的代碼。

• 接著將具有辨別力的時尚模型作為編輯模塊，從得分最大化角度逐步更新服裝編碼，達到改進服裝風格的目的。

Fashion++ 框架。首先從紋理與形狀編碼器（Et 和 Es）中獲得潛在特征，接著由編輯模塊 F ++ 對潛在紋理特征 t 與形狀特征 s 進行編輯。編輯完成后，形狀生成器 Gs 首先將更新后的形狀特征 s ++ 解碼成 2D 分割掩碼 m ++，然后我們利用它將更新后的紋理特征 t ++ 區(qū)域散播（region-wise broadcast）成一個二維特征映射 u ++。這個特征映射與更新后的分割掩碼會被傳遞給紋理生成器 Gt，最終生成更新后的著裝 x++。

讓我們一起來看看最終的生成結果吧（建議點擊大圖進行觀看）：

只對形狀/大小進行微調(diào)

只對顏色/圖案進行微調(diào)

增添/除去衣服碎片

怎么樣，是不是變得時尚時尚最時尚了呢？

AI 是怎么懂得時尚的？

一開始，為了讓編輯模塊具備判別時尚的能力，F(xiàn)ashion++ 的研究人員試圖創(chuàng)建出這么一個訓練數(shù)據(jù)集——由兩組圖片組成，圖片中都是同一個人，只不過在不同組中穿著不同的服裝，其中一組將被判定比另一組更加時尚。然而這樣的合集實踐起來不僅難度重重，而且一旦時尚風向轉(zhuǎn)變了，該合集就會變得過時。另外一種方法是，將來自特定群體 (如網(wǎng)紅) 的圖像視為正面范例，而將另一組圖像 (如日普通行人) 視為負面范例。然而這種方法也有問題，這種合集會導致身份與風格的混淆，分類器將發(fā)現(xiàn)兩組之間與時尚無關的屬性的區(qū)別。

最后，研究人員決定換一條思路，讓模型從那些時尚達人的網(wǎng)絡服裝照中自動生成時尚度欠缺的照片。

具體流程上，先從一張「正面范例」的全身服裝照開始，選擇需要進行調(diào)整的部件，然后用另一套著裝上的部件進行替換。為了增加替換部件有效降低時尚感的可能性，模型將從與原服裝最不相似的選擇中提取部件，主要根據(jù) CNN features 的歐幾里德距離 (Euclidean distance) 測量得出。

最后，再利用這些數(shù)據(jù)訓練出一個具有三層多層級感知器 (MLP) 的時尚分類器 f。

這種訓練方式不僅能讓模型隨著時尚的進化進行實時更新，同時模型也能基于這些編碼器有效掌握微妙的服裝協(xié)同作用。此外，由于訓練照片主要采自于路人街拍，因此模型有機會學習到服裝目錄（catalog）所不具備關于合身與呈現(xiàn)方面的知識 (如掖好衣服、卷起衣服等)，以及人們在日常情況下的自然搭配風格。

結論

當然，目前模型并非十全十美。服裝分類模型、時尚分類器、編輯操作器，任何一方的不足，都可能導致糟糕的著裝建議。

一些失敗例子

無論如何，該工作依然為我們推介了一款充分考慮個性化、可伸縮性以及操作靈活性的生成框架，讓我們通過微調(diào)即可優(yōu)化著裝問題。Fashion++ 研究人員也準備在未來的工作中進一步豐富訓練資源的組合，讓基于個人偏好風格或場合的調(diào)整成為可能。無論是從定量還是人為主觀判斷的角度，這項工作皆具有一定的推廣意義。

論文鏈接：

https://arxiv.org/pdf/1904.09261.pdf

雷鋒網(wǎng) AI 科技評論雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。