0
| 本文作者： 蔣寶尚 | 2020-05-13 18:43 |
作者 | 蔣寶尚
編輯 | 賈偉
近日，F(xiàn)acebook AI 和 Cornell Tech 的研究人員近期發(fā)表研究論文預(yù)覽文稿，聲稱近十三年深度度量學(xué)習(xí)（deep metric learning） 領(lǐng)域的目前研究進展和十三年前的基線方法(Contrastive, Triplet) 比較并無實質(zhì)提高，近期發(fā)表論文中的性能提高主要來自于不公平的實驗比較, 泄露測試集標(biāo)簽，以及不合理的評價指標(biāo)。
也就是說：新出的ArcFace, SoftTriple, CosFace 等十種算法與十三年前的依賴成對或成三元組的損失函數(shù)并沒有本質(zhì)上的區(qū)別。
FB和康奈爾科技此論無疑是對深度度量學(xué)習(xí)過去十三年研究成果蓋棺定論，斬釘截鐵表示，雖然深度度量學(xué)習(xí)非常重要，但是學(xué)界這些年一直在灌水。
損失函數(shù)對度量學(xué)習(xí)很重要
論文下載地址：https://arxiv.org/pdf/2003.08505.pdf
在綜述論文開頭，F(xiàn)B和康奈爾先肯定了深度度量學(xué)習(xí)的重要性，他們表示：深度度量學(xué)習(xí)已成為近年來機器學(xué)習(xí)最具吸引力的研究領(lǐng)域之一，如何有效的度量物體間的相似性成為問題的關(guān)鍵。
度量學(xué)習(xí)試圖將數(shù)據(jù)映射到一個嵌入空間，在這個空間中，相似的數(shù)據(jù)靠得很近，類型不同的數(shù)據(jù)離的很遠。而映射的方式可以通過嵌入損失和分類損失實現(xiàn)，這兩種方式各有特點，嵌入損失是根據(jù)一批樣本之間的關(guān)系來操作，而分類損失包括一個權(quán)重矩陣，將嵌入空間轉(zhuǎn)化為類logits向量。
在一些適用分類損失的任務(wù)下，當(dāng)任務(wù)是信息檢索的某個變體時，通常使用嵌入方法，目標(biāo)是返回與查詢最相似的數(shù)據(jù)。例如圖像搜索：輸入是查詢圖像，輸出是數(shù)據(jù)庫中視覺上最相似的圖像。
然后，在某些情況下無法使用分類損失。例如，在構(gòu)建數(shù)據(jù)集時，為每個樣本分配類別標(biāo)簽可能很困難或成本很高，并且可能更容易以配對或三元組關(guān)系的形式指定樣本之間的相對相似性。另外，樣本對( pair ) 或者樣本三元組（triplets）還可以為現(xiàn)有數(shù)據(jù)集提供額外的訓(xùn)練信號。所以在這兩種情況下都沒有顯式標(biāo)注，因此嵌入損失成為合適的選擇。
換句話說損失函數(shù)在度量學(xué)習(xí)中起到了非常重要的作用。很多深度度量學(xué)習(xí)的損失函數(shù)構(gòu)建在樣本對( pair ) 或者樣本三元組 ( triplet ) 之上。隨著深度學(xué)習(xí)在眾多領(lǐng)域出色表現(xiàn)，逐漸這種方法對度量學(xué)習(xí)產(chǎn)生了影響，于是度量學(xué)習(xí)將深度學(xué)習(xí)方法結(jié)合了起來，產(chǎn)生了一個新的領(lǐng)域，即深度度量學(xué)習(xí)。
最新的論文也都采用了神經(jīng)網(wǎng)絡(luò)技術(shù)，例如構(gòu)建生成網(wǎng)絡(luò)，用生成器作為建模類中心和類內(nèi)方差的框架的一部分（Lin et al）；使用自適應(yīng)插值方法，根據(jù)模型的強度，產(chǎn)生不同難度的負值（Zheng et al）。除此之外，還有基于注意力的技術(shù)、基于聚類和編碼器組合的技術(shù)等等。
在列舉了一系列技術(shù)方法之后，研究員開始針對各種損失函數(shù)進行實驗，研究結(jié)果表明：通過交叉驗證對超參數(shù)進行適當(dāng)調(diào)整時，大多數(shù)方法的性能相似。
研究員一共指出了現(xiàn)有文獻中的三個缺陷：不公平的比較、通過測試集反饋進行訓(xùn)練、不合理的評價指標(biāo)
不公平的比較：一般大家聲明一個算法性能優(yōu)于另一個算法，通常需要確保盡可能多的參數(shù)不變，而在度量學(xué)習(xí)的論文中不是如此。另外，一些論文中所提到的精度提高其實只是所選神經(jīng)網(wǎng)絡(luò)帶來的，并不是他們提出的“創(chuàng)新”方法。例如2017年的一篇論文聲稱使用ResNet50 獲得了巨大的性能提升，而實際上他的對比對象是精度較低的GoogleNet。
通過測試集反饋進行訓(xùn)練：不僅是度量學(xué)習(xí)領(lǐng)域，大多數(shù)論文都有這一通?。簩?shù)據(jù)集一半拆分為測試集，一半拆分為訓(xùn)練集，不設(shè)驗證集。在具體訓(xùn)練的過程中，定期檢查模型的測試集精度，并報告最佳測試集精度，也就是說模型選擇和超參數(shù)調(diào)優(yōu)是通過來自測試集的直接反饋來完成的，這顯然會有過擬合的風(fēng)險。
不合理的評價指標(biāo)：為了體現(xiàn)準確性，大多數(shù)度量學(xué)習(xí)論文都會報告Recall@K、歸一化相互信息(NMI)和F1分數(shù)。但這些一定是最好的衡量標(biāo)準嗎？如下圖三個嵌入空間，每一個recall@1指標(biāo)評價都接近滿分，而事實上，他們之間的特征并不相同。此外，F(xiàn)1和NMI分數(shù)也接近，這在一定程度上說明，其實，這幾個指標(biāo)并沒帶來啥信息。
三個 toy示例：不同的精確指標(biāo)如何評分。
在指出問題的同時，F(xiàn)B和康奈爾的研究員自然也指出了改進建議，針對上述三個缺點建議進行公平比較和重復(fù)性實驗、通過交叉驗證進行超參數(shù)搜索、采用更加準確的信息性、準確性度量。
公平比較和重復(fù)性實驗：實驗使用PyTorch；設(shè)置相同的輸出嵌入進行預(yù)訓(xùn)練；批次大小設(shè)置為32；在訓(xùn)練期間，使用隨機調(diào)整大小的裁剪策略來增強圖像；設(shè)置固定的學(xué)習(xí)率；公開配置文件。
通過交叉驗證進行超參數(shù)搜索：多用交叉驗證；優(yōu)化超參數(shù)，并以最大程度地提高平均驗證準確性；多使用最佳超參數(shù)進行訓(xùn)練，然后報告運行的平均值以及置信區(qū)間。
調(diào)整度量指標(biāo)：建議用MAP@R來做平均精度，因為它結(jié)合了MAP（Mean Average Precision）和R精度（ R-precision）。
勸退？不，滄海橫流，方顯英雄本色！
深度度量學(xué)習(xí)，是否有用？是否還值得入坑？??！
在知乎上迅速激起諸多網(wǎng)友的熱烈討論。
一位曾在Deep Metric Learning中單槍匹馬、摸爬滾打過的網(wǎng)友（MS Loss 一作）直言：DML領(lǐng)域大部分方法并無宣稱的那么大，其“進步”往往來源于：調(diào)參、方法本身以及大的Batch Size。
該領(lǐng)域確實水文比例挺大的，有些文章為了中，確實會用特別低的baseline, 用resnet甚至densenet和別人googlenet的結(jié)果去比，或者用2048維特征去比過去方法的128維的結(jié)果。
一位網(wǎng)友提到，度量學(xué)習(xí)在數(shù)學(xué)上優(yōu)雅，在可視化上炫酷，在論文結(jié)果上漂亮，但在實際應(yīng)用中卻毫無效果。
Metric learning在數(shù)學(xué)上推得很優(yōu)雅，在可視化上很酷炫，在論文結(jié)果上表現(xiàn)得很漂亮，但實際應(yīng)用上卻毫無效果。asoftmax am amm等在某些數(shù)據(jù)集上確實擬合很好，適合刷指標(biāo)，但實際在跨數(shù)據(jù)開集上，還是最簡單的softmax更香。
或者用另一位網(wǎng)友的說法：公式超級多，論文看起來就專業(yè)可視化好看，類間離散圖很優(yōu)雅
當(dāng)然也有網(wǎng)友認為還是有進展的，就是李飛飛用超大規(guī)模數(shù)據(jù)集，告訴大家堆數(shù)據(jù)要比算法提升更優(yōu)秀！基本認同。唯一的進展是李飛飛的超大規(guī)模數(shù)據(jù)集，告訴大家堆數(shù)據(jù)帶來的提升效果比算法創(chuàng)新還要大。然而這基本只算一個工程經(jīng)驗，根本也談不上一個'進展'。
不過也有網(wǎng)友認為，發(fā)展還是有的，那就是正則化。
那么metirc learning有沒有發(fā)展呢，我認為最主要的發(fā)展還是近幾年的normalization，這個東西明確了幾何空間的定義，使得研究人員能夠更好的在幾何層面設(shè)計metric，最后無論是訓(xùn)練的收斂速度還是最后的準確率都有了極大的提升。
最后，我們引用一下知名博主「王晉東不在家」的話（編者注：有刪減）——
其實大可不必心潮澎湃、攻擊別人、對該領(lǐng)域前途失望。每當(dāng)一個研究領(lǐng)域出現(xiàn)一些retlinking、revisiting、comprehensive analysis等類型的文章時，往往都說明了幾個現(xiàn)象：
1、這個領(lǐng)域發(fā)展的還可以，出現(xiàn)了很多相關(guān)的工作可以參考；
2、這個領(lǐng)域的文章同質(zhì)化太嚴重，到了傳說中的“瓶頸期”；
3、研究人員思考為什么已經(jīng)有這么多好工作，卻好像覺得還差點意思，還“不夠用”、“不好用”、“沒法用”。
其實這對于研究而言是個好事。我們在一條路上走了太久，卻常常忘記了為什么出發(fā)。此時需要有些人敢于“冒天下之大不睫”，出來給大家頭上澆盆冷水，重新思考一下這個領(lǐng)域出現(xiàn)了什么問題。哲學(xué)上也有“否定之否定”規(guī)律。
回到metric learning的問題上來。其實想想看，機器學(xué)習(xí)的核心問題之一便是距離。Metric learning這種可以自適應(yīng)地學(xué)習(xí)度量的思想，真的是沒用嗎?還是說它只是被目前的方法、實驗手段、評測數(shù)據(jù)集等等束縛了手腳，陰差陽錯地導(dǎo)致了不好的結(jié)果這也是這個問題的提出者原文作者質(zhì)疑的問題。
不能經(jīng)受得住質(zhì)疑和時間的洗禮的工作，不是好工作。事實上此類事情并不是第一次發(fā)生。
不信你看，作為當(dāng)下ICML、ICLR、NIPS等頂會的“寵兒”，meta-learning可謂風(fēng)頭一時無兩。然而，大家都清楚，meta-learning的一大部分工作都是在few-shot的任務(wù)上進行算法開發(fā)和評測的。從18年開始到今年的ICLR，就已經(jīng)不斷地有人“質(zhì)疑”其有效性了?！百|(zhì)疑”的核心問題之一是：用簡單的pretrain network去學(xué)習(xí)feature embedding，然后再加上簡單的分類器就可以在few-shot那幾個通用任務(wù)上，打敗很多“著名”的meta-learning方法。所以到底是meta-learning的這種“學(xué)會學(xué)習(xí)”的思想沒用，還是它只是被不恰當(dāng)?shù)厥褂昧?或者說，meta-learning的正確用法是什么?我認為這也是要思考的。我個人是非常喜歡meta的思想的。
其實在transfer learning領(lǐng)域。我之前也有一篇看似“打臉”的paper:Easy Transfer Learning by Exploiting Intra-domain Structures。我們的實驗同樣證明了僅需簡單pretrain過的ResNet50提取源域和目標(biāo)域的feature embedding，然后加上簡單的線性規(guī)劃分類器，甚至是nearest centroid,就能取得當(dāng)時（2018年底）幾乎最好的分類結(jié)果。但是你能說transfer learning沒用嗎?顯然這并不能掩蓋transfer learning方法的光芒。所以我一直都在質(zhì)疑自己：肯定是這些數(shù)據(jù)集不完善、精度不能作為唯一指標(biāo)、其他方法需要再調(diào)參數(shù)，等等。
我覺得這可能是個實驗科學(xué)的誤區(qū)：我們實驗設(shè)定本來就需要完善，并不能因此否定一類方法的有效性。深度學(xué)習(xí)大部分都是建立在實驗科學(xué)的基礎(chǔ)上，因此實驗很關(guān)鍵。
有了廣泛的質(zhì)疑，才會有更廣泛的討論，于是會有更廣泛的反質(zhì)疑、新范式、新思想。從整個領(lǐng)域的發(fā)展來看，這無疑是好事。
所以這應(yīng)是“滄海橫流，方顯英雄本色”的時候了。加油吧！
（雷鋒網(wǎng)）、（雷鋒網(wǎng)）、（雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
