雷鋒網(wǎng)按：本文作者祝浩(皮搋子狐貍)，3M Cogent Beijing R&D 高級(jí)算法工程師。本碩分別畢業(yè)于哈爾濱工業(yè)大學(xué)機(jī)械專業(yè)和北京師范大學(xué)計(jì)算機(jī)專業(yè)，并于2012年加入3M。14年拿到NICTA Scholarship及top-up Scholarship。熟悉計(jì)算機(jī)視覺(jué)，神經(jīng)影像和醫(yī)學(xué)圖像處理。在各種相關(guān)國(guó)際會(huì)議期刊上發(fā)表論文10余篇。

摘要

在大家吐槽用softmax訓(xùn)練出來(lái)的人臉模型性能差，contrastive 和 triplet需要個(gè)中謎一樣的采樣方法之際。ECCV 2016有篇文章提出了權(quán)衡的解決方案。通過(guò)添加center loss使得簡(jiǎn)單的softmax就能夠訓(xùn)練出擁有內(nèi)聚性的特征。該特點(diǎn)在人臉識(shí)別上尤為重要，從而使得在很少的數(shù)據(jù)情況下訓(xùn)練出來(lái)的模型也能有不俗的性能。本文嘗試用一種比較容易理解的方式來(lái)解釋這篇文章。

我覺(jué)得在開(kāi)始正式介紹center loss之前，我有必要講一個(gè)故事。請(qǐng)大家回答我，做人臉研究，最期待的事情是什么？來(lái)100塊Titan……！咦，還不如換成銀子呢。

筆者認(rèn)為，對(duì)于做人臉的人而言，最幸福的事情就是拿到全世界所有人的若干張人臉數(shù)據(jù)(畫(huà)外音：地球人都知道!)。各位看官先勿開(kāi)噴，請(qǐng)聽(tīng)故事….假設(shè)我拿到了世界所有人的人臉數(shù)據(jù)，也訓(xùn)練好了一個(gè)所謂的映射空間(其實(shí)我更喜歡叫嵌入空間)…..此時(shí)我們覺(jué)得這個(gè)空間的畫(huà)風(fēng)應(yīng)該是這樣的(密集恐懼癥慎入)….

圖 1

咦？這不是海洋球么→_→，我書(shū)讀得少你不要騙我？各位看官好眼力，這真的就是海洋球( T___T )。如果我們把一個(gè)球就看成一個(gè)人的話，球的中心就是類中心，直徑就是他若干張照片帶來(lái)的variance。理想情況我們當(dāng)然認(rèn)為每個(gè)人所代表的球應(yīng)該差不多大，人與人之間也是能分開(kāi)的，就跟海洋球一樣。然后海洋球所在的池子呢，就是能容納所有球的界。

夢(mèng)做完了，醒醒，我翻了翻硬盤(pán)，也就有10W人的數(shù)據(jù)?，F(xiàn)實(shí)總是那么骨感。接下來(lái)發(fā)生的事情胖子可能會(huì)不太愛(ài)聽(tīng)，因?yàn)槲覀冎挥?0W人的數(shù)據(jù)，但是池子還是很大，如果我們用普通的方法訓(xùn)練的話，海洋球就會(huì)填不滿這個(gè)池子。最簡(jiǎn)單的解決方案就是，我們從50億個(gè)海洋球，變成10W個(gè)足球(估計(jì)還是不夠，沒(méi)準(zhǔn)得用月球( ˉ □ ˉ ))，對(duì)，你沒(méi)聽(tīng)錯(cuò)，通過(guò)變成吃貨長(zhǎng)胖這種方式我們把損失49億多海洋球弟兄的空間填滿了。

圖 2

看官可能會(huì)問(wèn)，填滿了不就填滿了么？有什么問(wèn)題么？請(qǐng)大家注意，雖然那49億多個(gè)兄弟不在你的訓(xùn)練集里面，但是有可能在你的測(cè)試集喲。所以當(dāng)以前的兩個(gè)離得比較近的海洋球兄弟進(jìn)入到這個(gè)胖子的世界的時(shí)候(‘‘)(’’)， 這個(gè)新世界會(huì)要求新來(lái)的弟兄跟他們的國(guó)民一樣胖，然后悲劇發(fā)生了。他們很有可能撞在了一起，以至于他們老媽都很有可能都分不清誰(shuí)是誰(shuí)(因?yàn)樵谛?shù)據(jù)情況下的可分行并不能推廣到全集)。如圖3，如果用所有數(shù)據(jù)訓(xùn)練是可分的話，只用部分?jǐn)?shù)據(jù)訓(xùn)練因?yàn)樽兣謫?wèn)題，會(huì)使得兩個(gè)不同的identity出現(xiàn)碰撞風(fēng)險(xiǎn)，從而會(huì)造成錯(cuò)誤接受和錯(cuò)誤拒絕。

圖 3

那么請(qǐng)問(wèn)，什么樣的方式才合理呢？鄙人認(rèn)為，我心目中比較合理的海洋球擺放畫(huà)風(fēng)應(yīng)該是這樣的（7顆海洋球用來(lái)召喚神龍 (╯-_-)╯）：

圖 4

該畫(huà)風(fēng)的滿足的條件就一個(gè)，那10W海洋球兄弟不允許吃胖。這樣剩下來(lái)的空間就能夠給他們每人一個(gè)大院子，這樣一旦有新的朋友(49億多個(gè)兄弟)來(lái)玩耍的時(shí)候，不至于撞得他們老媽都分不清楚是誰(shuí)(至少?gòu)母怕噬蠘O大的降低了)。

不好意思，主持人，故事講得太爽，忘記我們是來(lái)講一篇paper的了 (╯-_-)╯╧╧  。今天我們要講的文章名字叫做A Discriminative Feature Learning Approach for Deep Face Recognition. 在放公式驅(qū)散一票讀者之前，我覺(jué)得還是放點(diǎn)圖來(lái)緩和一下作者和讀者之間的緊張關(guān)系。論文中提出我們之前訓(xùn)練出來(lái)的features只是可分而已(下圖左)，如果要得到一個(gè)判別性比較高的features應(yīng)該是右邊這種樣子的。用我們的胖子理論，不好意思應(yīng)該叫海洋球理論，大家就可以知道，并且理解為什么右圖的特征更合理。

圖 5

我們用論文中的另一個(gè)圖來(lái)表達(dá)，海洋球理論的論據(jù)。我們?cè)趫D6的左上圖上畫(huà)了三條線來(lái)模擬feature之間的角度(因?yàn)槿四榲erification基本上就是cosine距離)，可以看到，如果每一個(gè)類別吃的太胖，可能會(huì)導(dǎo)致他的類內(nèi)距離可能比類間距離大，從而……你懂的(假分很高)。如果我們引入論文中的center loss并且給一個(gè)比較高的weight的時(shí)候，比如右下圖，我基本找不到反例了。

圖 6

同時(shí)新的未知類別進(jìn)來(lái)的時(shí)候也有更大的概率會(huì)和其他的類別分開(kāi)(包含未知類和已知類)。在這center loss起到的作用就是減肥劑，怎么讓一個(gè)比較胖的類內(nèi)數(shù)據(jù)分布，變瘦，從而使得他有足夠的院子容納新的客人。

以上文字給初學(xué)者品嘗，接下來(lái)的文字將會(huì)上公式，請(qǐng)有耐心的初學(xué)者和大牛們接著往下看。整個(gè)softmax+center loss的定義如下：

我基本不太想解釋一遍…….左邊是softmax，右邊嘛，就是約束當(dāng)一個(gè)樣本看到自己的類中心的時(shí)候，走上去打個(gè)招呼。這樣才能瘦。主持人快來(lái)…..我編不下去了…..

可能大家會(huì)問(wèn)了，為什么需要右邊的約束才能達(dá)到這個(gè)效果呢？softmax為什么達(dá)不到這個(gè)效果？或者說(shuō)softmax有啥缺點(diǎn)？

昂，簡(jiǎn)單來(lái)說(shuō)就是偉大的softmax管殺不管埋。不對(duì)，應(yīng)該說(shuō)是只許自己胖，不準(zhǔn)別人胖。

各位看官請(qǐng)看softmax的更新函數(shù)，如果出現(xiàn)input的條件概率分?jǐn)?shù)比較低的情況，他就會(huì)告訴所有的參數(shù)，\theta_j。你們礙著我長(zhǎng)胖了，離我遠(yuǎn)點(diǎn)，然后乘機(jī)偷偷的向著input方向長(zhǎng)胖一點(diǎn)(不改其吃貨本質(zhì))。所以每個(gè)類都這么流氓的結(jié)果，就是大家都變成胖子，每個(gè)胖子的鼻子都貼著另一個(gè)胖子。

寫(xiě)到這本來(lái)想停筆了，但是wanda同學(xué)提了個(gè)問(wèn)題。這玩意和contrastive loss和triplet loss之間有什么區(qū)別或者是聯(lián)系沒(méi)有呀？

上面的公式可以看成softmax + contrastive loss只不過(guò)只提供一個(gè)類內(nèi)樣本作為pair，而這個(gè)類內(nèi)樣本就是整個(gè)類的類中心。這在一定程度上解決了contrastive loss坑爹的采樣問(wèn)題，大家都知道contrastive loss需要坑爹的采樣很多pair對(duì)，一不小心還會(huì)搞得positive pair和negative pair嚴(yán)重imbalance。

盡管triplet一定意義上解決了這個(gè)imbalance的問(wèn)題，帶來(lái)的后果是更復(fù)雜的采樣策略，導(dǎo)致實(shí)際在使用過(guò)程中的trick實(shí)在太多，什么semi-hard example mining等等。Center loss相當(dāng)于拆解了contrastive loss的兩種情況：positive pair和negative pair。Center loss相當(dāng)于把每一個(gè)進(jìn)來(lái)的樣本都自動(dòng)配了一個(gè)positive sample(也就是他們類中心)， negative pair的inter-class separation則是通過(guò)softmax來(lái)完成的，就是那么的簡(jiǎn)單粗暴有效。

Wanda童鞋已經(jīng)重復(fù)出很positive的結(jié)果并提供了mxnet code，歡迎試用。

雷鋒網(wǎng)注：本文由深度學(xué)習(xí)大講堂授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請(qǐng)注明作者和出處，不得刪減內(nèi)容。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。