雷鋒網(wǎng)按：本文作者嚴(yán)燦祥，碩士畢業(yè)于中科院計算所VIPL課題組。目前就職于百度深度學(xué)習(xí)研究院。主要從事商品檢索技術(shù)的研發(fā)。所在的識圖策略組包括商品搜索、相似搜索、相同搜索與圖像猜詞等方向。

摘要

商品檢索是一門綜合了物體檢測、圖像分類以及特征學(xué)習(xí)的技術(shù)。近期，很多研究者成功地將深度學(xué)習(xí)方法應(yīng)用到這個領(lǐng)域。本文對這些方法進行了總結(jié)，然后概括地提出了商品特征學(xué)習(xí)框架以及垂類數(shù)據(jù)挖掘方式，最后介紹了商品檢索技術(shù)在服裝搭配中的應(yīng)用。

前言

幾年前，當(dāng)人們還在感嘆于網(wǎng)頁購物的快速便捷時，各大電商巨頭就“悄悄地”將它們的購物應(yīng)用推廣到了用戶的手機里。從那一刻起，用戶購買的習(xí)慣也在悄悄地發(fā)生著改變：人們不再局限于時間與地點，只要擁有一部聯(lián)網(wǎng)的手機，就能輕松獲取想要的商品。發(fā)展至今，移動設(shè)備的安全、高速等特點越來越獲得人們的認可，也使得移動購物行為變得更加普遍。然而目前PC和Mobile終端中，用戶基本都是通過文本關(guān)鍵詞獲取目標(biāo)商品，這種單一的關(guān)鍵詞描述有時很難獲取用戶的真實需求。

為此，電商們也進行了很多改進。其中最有效的一些做法是構(gòu)建高度結(jié)構(gòu)化的后臺商品數(shù)據(jù)庫。其目的是能夠通過分析用戶的查詢來推薦一些更加精細粒度、時效性好、熱度高的商品品類，并提供給用戶一個限定了價格、品牌、風(fēng)格等等的商品候選集合。這種基于文本的由粗到精的推薦方式，能夠很好的幫助用戶定位到具有精細且具體標(biāo)簽的商品。然而，當(dāng)用戶需求的商品的周邊信息不明確時，很難通過抽象出有限的關(guān)鍵詞來進行檢索。這類商品包括：未知品牌的化妝品，樣式新穎的家具或者時尚流行的服裝等（如圖1）。

圖1：一些難以用關(guān)鍵詞描述的商品

所見即所得

對于上述的問題，可以用一句話歸結(jié)為：當(dāng)需求物品難以用文本量化描述時， 給定它的一張圖像，是否有可能推薦給用戶相關(guān)的商品？ 可以想象這樣的場景： 當(dāng)你看到一件喜歡的物品，只通過手機拍照將其圖像上傳購物網(wǎng)站，就能獲取實物購買信息。如果商品檢索能做到這樣的“所見即所得”， 必將會給有購物需求的用戶帶來很大的便捷。

“所見”如何才能變成“所得”呢？ 在回答這個問題之前， 首先需要了解商品檢索中的難點問題：

商品品類繁多

小到柴米油鹽，大到家具電器， 都可以稱為商品。而且很多商品都包括多級且細致的分類，例如，家具可分為臥室家具、客廳家具、餐廳家具、書房家具等；服裝的一級品類包括女裝、男裝、內(nèi)衣、配飾與童裝童鞋等， 女裝又可分為連衣裙、T恤、雪紡衫等； 母嬰中的童車童床類別可分為安全座椅、嬰兒推車、嬰兒床、嬰兒床、墊餐、椅學(xué)步車等。由此可見， 好的檢索技術(shù)不僅要識別這么多的商品類別， 并且需要區(qū)分每個類別下的不同商品實例； 同時后臺商品數(shù)據(jù)庫應(yīng)該具有很高的覆蓋面。

圖2：多種多樣的商品

同款與相似款的混淆

根據(jù)多級類目或?qū)傩赃M行商品劃分的方式，盡管區(qū)分了大多數(shù)具有精細語義的商品，但在區(qū)分同款與相似款上的作用仍然是有限的，即無法確認兩件分為一個類別的商品是相同款。 舉例來說，已知兩個人都穿著白色短袖圓領(lǐng)T恤， 因為姿態(tài)、角度、光照等影響，有可能會使得相似款更像同款，或者同款被誤識別為相似款。這就是計算機視覺中經(jīng)常碰到的類內(nèi)差異性與類間相似性問題。圖3的例子可以說明這兩個問題。 左側(cè)(a)中的上衣是同一款衣服，但由于人體姿態(tài)、懸掛方式、手臂遮擋、光線等問題的存在，使得它的顏色以及長度等表觀屬性具有很大的差異性；三款相似的黑色印花連衣裙如(b)所示，它們擁有相似的不規(guī)則的印花圖案，以及黑色的底色和A字裙擺；這些特點都讓他們很相似，但從袖型可看出它們非同款。

圖3：同款與相似款服飾圖像

其實，計算機視覺的各個領(lǐng)域都在解決這樣的“所見即所得”難題， 即如何讓機器能夠自動準(zhǔn)確的理解圖像內(nèi)容。隨著深度學(xué)習(xí)的興起， 包括人臉識別、 圖像分類與物體檢測在內(nèi)的方向都取得了很多重要的進展， 也為深度學(xué)習(xí)在商品檢索中的應(yīng)用奠定了堅實的基礎(chǔ)。

概括的講， 為達到“所見即所得”的目標(biāo)， 商品檢索技術(shù)的框架中需要包含以下三個部分：

(1)  商品主體檢測： 用于自動定位用戶感興趣的商品，去除背景、多主體等因素的影響，也有利于抽取的語義特征的對齊。

(2)  商品品類識別：通過識別商品的主體的品類， 使得在檢索時可以在商品子數(shù)據(jù)子庫進行搜索，提升檢索的效果與效率。

(3)  商品特征表示： 通過學(xué)習(xí)獲得商品主體的判別性特征， 使得同款商品距離更近且非同款商品相距更遠； 對光照、姿態(tài)、遮擋等變化有一定的魯棒性。

服飾檢索技術(shù)回顧

基于拍照的商品檢索問題本質(zhì)是一個跨域(cross-domain)圖像檢索問題：需要根據(jù)用戶輸入的移動拍照圖像，從電商庫中獲取同款或是非常相似的商品圖片列表。這些特點決定了商品檢索是一項綜合性的圖像處理技術(shù)——它涉及圖像識別、檢測、特征學(xué)習(xí)等各方面的內(nèi)容。

其中， 服裝垂類檢索是商品檢索中一個重要的問題。因為服裝包含非常多的細品類， 而且存在非常多的視覺變化， 如光照、形變、視角、尺度、背景影響等等。解決服裝檢索的技術(shù)能夠很好的被推廣到其他垂類上。當(dāng)前，很多學(xué)者和研究機構(gòu)都嘗試基于深度學(xué)習(xí)進行服裝檢索技術(shù)的探究與創(chuàng)新。 下文將回顧三篇基于深度學(xué)習(xí)來解決跨域服裝檢索問題的文章。

Where-to-Buy-It (WTBI)

這篇文章發(fā)表于ICCV2015，作者是來自北卡羅來納大學(xué)教堂山分校的M. Hadi Kiapour。作者把street-to-shop的服裝檢索場景， 形式化為cross-domain的商品相似度學(xué)習(xí)問題，并設(shè)計了一種用于特定類別的相似度計算的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方式。整個學(xué)習(xí)流程如圖4所示。

圖4 基于特定類別的度量學(xué)習(xí)網(wǎng)絡(luò)

首先， 利用裙子、外套、上衣、褲子、裙子等五個主要的商品類別的同款標(biāo)注圖像， 基于cross entropy loss訓(xùn)練一個通用商品的同款判別模型；然后，對于特定細分類的商品檢索模型學(xué)習(xí)問題，采用其對應(yīng)的同款訓(xùn)練數(shù)據(jù)進行網(wǎng)絡(luò)參數(shù)微調(diào)，將通用同款模型遷移成特定類別的同款模型。在進行方法驗證時，文中還收集了40萬的電商數(shù)據(jù)，以及近4萬組的street-to-shop的同款商品數(shù)據(jù)。實驗表明，通過這種“由粗到細”方式學(xué)習(xí)到的相似度量網(wǎng)絡(luò)，比基于ImageNet訓(xùn)練的深度特征有更好的檢索性能。但此文只基于離線CNN特征學(xué)習(xí)相似度， 并沒有進行端到端的檢索模型的探索。

Dual Attribute-aware Ranking Network (DARN)

這篇文章發(fā)表于ICCV2015，作者是來自新加坡國立大學(xué)的Junshi Huang。此文與WTBI方法相比的不同在于：在處理街拍場景(street scenario)與電商場景(shopping scenario)服裝圖像之間的檢索問題時，提出了一種端到端的雙路神經(jīng)網(wǎng)絡(luò)模型（DARN）來學(xué)習(xí)深度特征。如圖5所示：其中一路網(wǎng)絡(luò)學(xué)習(xí)街拍場景下的服裝特征；另一路網(wǎng)絡(luò)學(xué)習(xí)電商場景下的服裝特征。

圖5：DARN方法的網(wǎng)絡(luò)結(jié)構(gòu)

為了提升圖像檢索特征的判別能力，作者還采用了多種標(biāo)注數(shù)據(jù)來監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)過程：多標(biāo)簽的屬性標(biāo)注與服裝同款I(lǐng)D標(biāo)注。為此，在設(shè)計網(wǎng)絡(luò)損失時，同時采用了基于多標(biāo)簽屬性數(shù)據(jù)的cross-entropy loss以及服裝同款I(lǐng)D數(shù)據(jù)的triplet loss?？偟膩砜矗W(wǎng)絡(luò)的輸出特征同時隱含了局部語義屬性的判別能力以及全局表觀的區(qū)分性， 在檢索效果的提升上具有很好的互補性。

DeepFashion

這篇文章發(fā)表于CVPR2016，作者是來自香港中文大學(xué)的Ziwei Liu。為了使服飾識別相關(guān)的研究更加貼近實際應(yīng)用場景， 作者收集了一個規(guī)模更大且語義標(biāo)注更全面的服裝數(shù)據(jù)集DeepFashion；它在圖像數(shù)目、類別與屬性數(shù)目、同款對、位置標(biāo)定與數(shù)據(jù)開放等方面都占據(jù)優(yōu)勢。其與WTBI和DARN中的數(shù)據(jù)庫對比如表格1所示。

表格1：DeepFashion與WTBI、DARN中圖像數(shù)據(jù)庫對比

此文還提出了一種FashionNet， 融合了大類、屬性、服裝ID以及關(guān)鍵點四種監(jiān)督信息來進行服裝特征學(xué)習(xí)。它的創(chuàng)新之處是，設(shè)計了分別對全局表觀以及局部部件進行特征學(xué)習(xí)的網(wǎng)絡(luò)；其中的局部網(wǎng)絡(luò)結(jié)構(gòu)利用了服裝局部關(guān)鍵點對卷積特征響應(yīng)圖進行對齊，避免了關(guān)鍵點所在部件的變化帶來的影響。整個網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6：FashionNet網(wǎng)絡(luò)

方法總結(jié)

復(fù)雜體系下的商品類別識別以及檢索問題的解決，不僅在于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計，而且需要多種類型的標(biāo)注數(shù)據(jù)來約束整個網(wǎng)絡(luò)的訓(xùn)練；這些數(shù)據(jù)包括商品位置、商品類別、 商品屬性以及商品同款數(shù)據(jù)等；由此，檢索結(jié)果與查詢圖像才能具有全局表觀相似性與局部語義一致性。當(dāng)然，對于如何結(jié)合這些監(jiān)督數(shù)據(jù)進行學(xué)習(xí)仍有待進一步探索，是否端到端網(wǎng)絡(luò)的性能一定優(yōu)于分段學(xué)習(xí)網(wǎng)絡(luò)也猶未可知。與傳統(tǒng)方法相比，此類深層神經(jīng)網(wǎng)絡(luò)模型在進行商品檢索特征學(xué)習(xí)時并沒有脫離一般圖像檢索的特征學(xué)習(xí)框架： 不僅需要在前端進行語義對齊，也需要在后端提升特征判別性?？偟膩碚f， 以上深度學(xué)習(xí)方法的探索與創(chuàng)新, 都將為商品檢索技術(shù)趨于實用化打下扎實的基礎(chǔ)。

特征學(xué)習(xí)框架

盡管以上的論文主要在探究服裝類商品的檢索技術(shù)， 但這些方法在其他的商品垂類上也是適用的。如圖7所示，這些方法可概括成一套特征學(xué)習(xí)框架。圖中三個部分的意義分別是：

(1) 商品圖像預(yù)處理。商品有剛體（如鞋子、箱包、化妝品等）與非剛體（如男裝、女裝、童裝等）之分， 姿態(tài)、形變、尺寸等差異很大； 因此，需要采用一定的語義對齊方式使得模型對這些變化魯棒，常見操作有商品檢測框?qū)R、旋轉(zhuǎn)對齊、局部關(guān)鍵點對齊等。

(2) 全局表觀與局部語義特征融合。將一個商品圖像映射為一個特征的方法有很多；為了使得到的特征具有很好的判別性，多種語義監(jiān)督信息被用于引導(dǎo)模型的學(xué)習(xí)。以服裝垂類為例，最終的特征不僅需要區(qū)分語義（如服裝的袖長、 領(lǐng)型、 扣型等），也需要能衡量表觀的相似性（如顏色、紋理等） 因此，這類監(jiān)督數(shù)據(jù)的收集也是整個特征學(xué)習(xí)框架的重要組成。

(3) 特征降維。特征的學(xué)習(xí)是一個精益求精的過程，維度低且判別性好的特征才能保證檢索的性能與效率。用于降維學(xué)習(xí)的數(shù)據(jù)一般是商品同款數(shù)據(jù)；常用的降維方式有線性判別分析（LDA）、圖像分類與度量學(xué)習(xí)等。

圖7：商品垂類特征學(xué)習(xí)框架

垂類數(shù)據(jù)挖掘

基于這套框架，特征學(xué)習(xí)就可以依靠大量的標(biāo)注數(shù)據(jù)來完成。如何來獲取標(biāo)注數(shù)據(jù)呢？ 簡單粗暴的全量數(shù)據(jù)標(biāo)注會非常耗時耗力。 這里針對同款數(shù)據(jù)與類別數(shù)據(jù)分別給出了數(shù)據(jù)挖掘的方法， 如圖8所示。

（a）同款數(shù)據(jù)挖掘?；谝延械臋z索特征模型以及大類屬性分類模型，可以將互聯(lián)網(wǎng)數(shù)據(jù)按照類別預(yù)測結(jié)果進行劃分，并根據(jù)子類進行單獨的聚類。對于每個cluster，根據(jù)一些準(zhǔn)則（如特征數(shù)目、平均距離、距離方差等）來判定噪聲并進行篩選；最后通過人工標(biāo)注的方式進一步切分每一個cluster來獲取同款的商品。

（b）類別數(shù)據(jù)挖掘。首先，通過爬蟲抓取以及人工構(gòu)造的方式，可以獲得大量的關(guān)鍵詞集合；并將它們進行多詞組合的方式在圖像搜索引擎獲取top-K的檢索結(jié)果，放入類別圖像候選集合；之后，基于已有的大類屬性模型，對候選集進行提純，去除低質(zhì)量以及語義錯誤的圖像。

圖8：同款與類別數(shù)據(jù)挖掘

技術(shù)應(yīng)用

本節(jié)介紹一種新商品檢索技術(shù)應(yīng)用方向： 服裝搭配。服裝搭配是指根據(jù)用戶給定的一件衣服單品，推薦出能夠與之搭配的時尚款式。它的應(yīng)用場景包括時尚資訊推薦、電商導(dǎo)購等。由于服飾品類繁多、穿著標(biāo)準(zhǔn)各異， 如何定義并獲取時尚的款式以及給用戶個性化推薦搭配方案，都面臨很大的挑戰(zhàn)。下文將圍繞這兩個問題，介紹一種基于商品檢索技術(shù)的服飾搭配方法。

定義時尚款式

“工欲善其事必先利其器”。在服飾搭配過程中，構(gòu)建時尚款式的數(shù)據(jù)庫是非常必要的。然而，時尚是一種比較感性的認識， 且人們對于時尚的理解各不相同，“時尚款式”的定義是沒有一個統(tǒng)一的量化標(biāo)準(zhǔn)的。下圖給出了一些時尚圖像的例子， 可以看出，圖像中服裝的時尚取決于很多方面： 服裝樣式、發(fā)型、 鞋子、 拍照場景、 身材等等。

圖9：時尚庫中的四款搭配

為了解決這個難題，數(shù)據(jù)來源選自多個頂級時尚網(wǎng)站。這些網(wǎng)站往往通過時尚達人編輯的方式來推薦出時尚圖片，確保了服裝的時尚性與新穎性； 除此之后，從視覺上影響圖像時尚程度的因素還有很多，如背景灰暗、T臺秀、非全身圖、身材差、分辨率低等； 基于這類數(shù)據(jù)訓(xùn)練低質(zhì)圖片過濾模型，就能獲取最終的高質(zhì)時尚庫。

服裝搭配技術(shù)

簡單講，服飾搭配就是一種通過用戶上衣（下裝），推薦時尚下裝（上衣）的技術(shù)。這里根據(jù)優(yōu)化目標(biāo)的不同將現(xiàn)有方法分為兩大類： 基于上下衣度量學(xué)習(xí)的方法以及基于相似服飾檢索的方法。前者的實現(xiàn)基于不同服裝部件的度量學(xué)習(xí)： 適合搭配的上下裝距離應(yīng)該盡量的近，而不適合搭配的則要盡量的遠。后者假定時尚庫的圖像擁有優(yōu)質(zhì)的搭配, 將用戶服裝單品輸入時尚服裝數(shù)據(jù)庫的檢索引擎， 獲得語義與表觀相似的時尚推薦結(jié)果。

圖10：服飾搭配。上排：灰色短袖T恤；下排：黑色七分闊腿褲

總結(jié)與展望

本文回顧了基于深度學(xué)習(xí)的服裝檢索技術(shù)，并且基于這些方法，概括出一套通用的商品特征學(xué)習(xí)框架。針對不同種類商品圖像的采集，給出了基于圖像搜索引擎的數(shù)據(jù)挖掘方法。后續(xù)仍有待進一步探究的方向包括多品類商品檢索技術(shù)、基于大規(guī)模同款數(shù)據(jù)的特征學(xué)習(xí)以及全自動數(shù)據(jù)挖掘方法等。

雷鋒網(wǎng)注：本文由深度學(xué)習(xí)大講堂授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請注明作者和出處，不得刪減內(nèi)容。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。