雷鋒網(wǎng)按：本文作者祝浩(皮搋子狐貍)，3M Cogent Beijing R&D 高級算法工程師。本碩分別畢業(yè)于哈爾濱工業(yè)大學(xué)機械專業(yè)和北京師范大學(xué)計算機專業(yè)，并于2012年加入3M。14年拿到NICTA Scholarship及top-up Scholarship。熟悉計算機視覺，神經(jīng)影像和醫(yī)學(xué)圖像處理。在各種相關(guān)國際會議期刊上發(fā)表論文10余篇。

摘要

在大家吐槽用softmax訓(xùn)練出來的人臉模型性能差，contrastive 和 triplet需要個中謎一樣的采樣方法之際。ECCV 2016有篇文章提出了權(quán)衡的解決方案。通過添加center loss使得簡單的softmax就能夠訓(xùn)練出擁有內(nèi)聚性的特征。該特點在人臉識別上尤為重要，從而使得在很少的數(shù)據(jù)情況下訓(xùn)練出來的模型也能有不俗的性能。本文嘗試用一種比較容易理解的方式來解釋這篇文章。

我覺得在開始正式介紹center loss之前，我有必要講一個故事。請大家回答我，做人臉研究，最期待的事情是什么？來100塊Titan……！咦，還不如換成銀子呢。

筆者認為，對于做人臉的人而言，最幸福的事情就是拿到全世界所有人的若干張人臉數(shù)據(jù)(畫外音：地球人都知道!)。各位看官先勿開噴，請聽故事….假設(shè)我拿到了世界所有人的人臉數(shù)據(jù)，也訓(xùn)練好了一個所謂的映射空間(其實我更喜歡叫嵌入空間)…..此時我們覺得這個空間的畫風(fēng)應(yīng)該是這樣的(密集恐懼癥慎入)….

圖 1

咦？這不是海洋球么→_→，我書讀得少你不要騙我？各位看官好眼力，這真的就是海洋球( T___T )。如果我們把一個球就看成一個人的話，球的中心就是類中心，直徑就是他若干張照片帶來的variance。理想情況我們當然認為每個人所代表的球應(yīng)該差不多大，人與人之間也是能分開的，就跟海洋球一樣。然后海洋球所在的池子呢，就是能容納所有球的界。

夢做完了，醒醒，我翻了翻硬盤，也就有10W人的數(shù)據(jù)?，F(xiàn)實總是那么骨感。接下來發(fā)生的事情胖子可能會不太愛聽，因為我們只有10W人的數(shù)據(jù)，但是池子還是很大，如果我們用普通的方法訓(xùn)練的話，海洋球就會填不滿這個池子。最簡單的解決方案就是，我們從50億個海洋球，變成10W個足球(估計還是不夠，沒準得用月球( ˉ □ ˉ ))，對，你沒聽錯，通過變成吃貨長胖這種方式我們把損失49億多海洋球弟兄的空間填滿了。

圖 2

看官可能會問，填滿了不就填滿了么？有什么問題么？請大家注意，雖然那49億多個兄弟不在你的訓(xùn)練集里面，但是有可能在你的測試集喲。所以當以前的兩個離得比較近的海洋球兄弟進入到這個胖子的世界的時候(‘‘)(’’)， 這個新世界會要求新來的弟兄跟他們的國民一樣胖，然后悲劇發(fā)生了。他們很有可能撞在了一起，以至于他們老媽都很有可能都分不清誰是誰(因為在小數(shù)據(jù)情況下的可分行并不能推廣到全集)。如圖3，如果用所有數(shù)據(jù)訓(xùn)練是可分的話，只用部分數(shù)據(jù)訓(xùn)練因為變胖問題，會使得兩個不同的identity出現(xiàn)碰撞風(fēng)險，從而會造成錯誤接受和錯誤拒絕。

圖 3

那么請問，什么樣的方式才合理呢？鄙人認為，我心目中比較合理的海洋球擺放畫風(fēng)應(yīng)該是這樣的（7顆海洋球用來召喚神龍 (╯-_-)╯）：

圖 4

該畫風(fēng)的滿足的條件就一個，那10W海洋球兄弟不允許吃胖。這樣剩下來的空間就能夠給他們每人一個大院子，這樣一旦有新的朋友(49億多個兄弟)來玩耍的時候，不至于撞得他們老媽都分不清楚是誰(至少從概率上極大的降低了)。

不好意思，主持人，故事講得太爽，忘記我們是來講一篇paper的了 (╯-_-)╯╧╧  。今天我們要講的文章名字叫做A Discriminative Feature Learning Approach for Deep Face Recognition. 在放公式驅(qū)散一票讀者之前，我覺得還是放點圖來緩和一下作者和讀者之間的緊張關(guān)系。論文中提出我們之前訓(xùn)練出來的features只是可分而已(下圖左)，如果要得到一個判別性比較高的features應(yīng)該是右邊這種樣子的。用我們的胖子理論，不好意思應(yīng)該叫海洋球理論，大家就可以知道，并且理解為什么右圖的特征更合理。

圖 5

我們用論文中的另一個圖來表達，海洋球理論的論據(jù)。我們在圖6的左上圖上畫了三條線來模擬feature之間的角度(因為人臉verification基本上就是cosine距離)，可以看到，如果每一個類別吃的太胖，可能會導(dǎo)致他的類內(nèi)距離可能比類間距離大，從而……你懂的(假分很高)。如果我們引入論文中的center loss并且給一個比較高的weight的時候，比如右下圖，我基本找不到反例了。

圖 6

同時新的未知類別進來的時候也有更大的概率會和其他的類別分開(包含未知類和已知類)。在這center loss起到的作用就是減肥劑，怎么讓一個比較胖的類內(nèi)數(shù)據(jù)分布，變瘦，從而使得他有足夠的院子容納新的客人。

以上文字給初學(xué)者品嘗，接下來的文字將會上公式，請有耐心的初學(xué)者和大牛們接著往下看。整個softmax+center loss的定義如下：

我基本不太想解釋一遍…….左邊是softmax，右邊嘛，就是約束當一個樣本看到自己的類中心的時候，走上去打個招呼。這樣才能瘦。主持人快來…..我編不下去了…..

可能大家會問了，為什么需要右邊的約束才能達到這個效果呢？softmax為什么達不到這個效果？或者說softmax有啥缺點？

昂，簡單來說就是偉大的softmax管殺不管埋。不對，應(yīng)該說是只許自己胖，不準別人胖。

各位看官請看softmax的更新函數(shù)，如果出現(xiàn)input的條件概率分數(shù)比較低的情況，他就會告訴所有的參數(shù)，\theta_j。你們礙著我長胖了，離我遠點，然后乘機偷偷的向著input方向長胖一點(不改其吃貨本質(zhì))。所以每個類都這么流氓的結(jié)果，就是大家都變成胖子，每個胖子的鼻子都貼著另一個胖子。

寫到這本來想停筆了，但是wanda同學(xué)提了個問題。這玩意和contrastive loss和triplet loss之間有什么區(qū)別或者是聯(lián)系沒有呀？

上面的公式可以看成softmax + contrastive loss只不過只提供一個類內(nèi)樣本作為pair，而這個類內(nèi)樣本就是整個類的類中心。這在一定程度上解決了contrastive loss坑爹的采樣問題，大家都知道contrastive loss需要坑爹的采樣很多pair對，一不小心還會搞得positive pair和negative pair嚴重imbalance。

盡管triplet一定意義上解決了這個imbalance的問題，帶來的后果是更復(fù)雜的采樣策略，導(dǎo)致實際在使用過程中的trick實在太多，什么semi-hard example mining等等。Center loss相當于拆解了contrastive loss的兩種情況：positive pair和negative pair。Center loss相當于把每一個進來的樣本都自動配了一個positive sample(也就是他們類中心)， negative pair的inter-class separation則是通過softmax來完成的，就是那么的簡單粗暴有效。

Wanda童鞋已經(jīng)重復(fù)出很positive的結(jié)果并提供了mxnet code，歡迎試用。

雷鋒網(wǎng)注：本文由深度學(xué)習(xí)大講堂授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請注明作者和出處，不得刪減內(nèi)容。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。