0
| 本文作者： 蔣寶尚 | 2020-05-13 18:43 |
作者 | 蔣寶尚
編輯 | 賈偉
近日，F(xiàn)acebook AI 和 Cornell Tech 的研究人員近期發(fā)表研究論文預(yù)覽文稿，聲稱近十三年深度度量學(xué)習(xí)（deep metric learning） 領(lǐng)域的目前研究進(jìn)展和十三年前的基線方法(Contrastive, Triplet) 比較并無(wú)實(shí)質(zhì)提高，近期發(fā)表論文中的性能提高主要來(lái)自于不公平的實(shí)驗(yàn)比較, 泄露測(cè)試集標(biāo)簽，以及不合理的評(píng)價(jià)指標(biāo)。
也就是說(shuō)：新出的ArcFace, SoftTriple, CosFace 等十種算法與十三年前的依賴成對(duì)或成三元組的損失函數(shù)并沒(méi)有本質(zhì)上的區(qū)別。
FB和康奈爾科技此論無(wú)疑是對(duì)深度度量學(xué)習(xí)過(guò)去十三年研究成果蓋棺定論，斬釘截鐵表示，雖然深度度量學(xué)習(xí)非常重要，但是學(xué)界這些年一直在灌水。
損失函數(shù)對(duì)度量學(xué)習(xí)很重要
論文下載地址：https://arxiv.org/pdf/2003.08505.pdf
在綜述論文開(kāi)頭，F(xiàn)B和康奈爾先肯定了深度度量學(xué)習(xí)的重要性，他們表示：深度度量學(xué)習(xí)已成為近年來(lái)機(jī)器學(xué)習(xí)最具吸引力的研究領(lǐng)域之一，如何有效的度量物體間的相似性成為問(wèn)題的關(guān)鍵。
度量學(xué)習(xí)試圖將數(shù)據(jù)映射到一個(gè)嵌入空間，在這個(gè)空間中，相似的數(shù)據(jù)靠得很近，類型不同的數(shù)據(jù)離的很遠(yuǎn)。而映射的方式可以通過(guò)嵌入損失和分類損失實(shí)現(xiàn)，這兩種方式各有特點(diǎn)，嵌入損失是根據(jù)一批樣本之間的關(guān)系來(lái)操作，而分類損失包括一個(gè)權(quán)重矩陣，將嵌入空間轉(zhuǎn)化為類logits向量。
在一些適用分類損失的任務(wù)下，當(dāng)任務(wù)是信息檢索的某個(gè)變體時(shí)，通常使用嵌入方法，目標(biāo)是返回與查詢最相似的數(shù)據(jù)。例如圖像搜索：輸入是查詢圖像，輸出是數(shù)據(jù)庫(kù)中視覺(jué)上最相似的圖像。
然后，在某些情況下無(wú)法使用分類損失。例如，在構(gòu)建數(shù)據(jù)集時(shí)，為每個(gè)樣本分配類別標(biāo)簽可能很困難或成本很高，并且可能更容易以配對(duì)或三元組關(guān)系的形式指定樣本之間的相對(duì)相似性。另外，樣本對(duì)( pair ) 或者樣本三元組（triplets）還可以為現(xiàn)有數(shù)據(jù)集提供額外的訓(xùn)練信號(hào)。所以在這兩種情況下都沒(méi)有顯式標(biāo)注，因此嵌入損失成為合適的選擇。
換句話說(shuō)損失函數(shù)在度量學(xué)習(xí)中起到了非常重要的作用。很多深度度量學(xué)習(xí)的損失函數(shù)構(gòu)建在樣本對(duì)( pair ) 或者樣本三元組 ( triplet ) 之上。隨著深度學(xué)習(xí)在眾多領(lǐng)域出色表現(xiàn)，逐漸這種方法對(duì)度量學(xué)習(xí)產(chǎn)生了影響，于是度量學(xué)習(xí)將深度學(xué)習(xí)方法結(jié)合了起來(lái)，產(chǎn)生了一個(gè)新的領(lǐng)域，即深度度量學(xué)習(xí)。
最新的論文也都采用了神經(jīng)網(wǎng)絡(luò)技術(shù)，例如構(gòu)建生成網(wǎng)絡(luò)，用生成器作為建模類中心和類內(nèi)方差的框架的一部分（Lin et al）；使用自適應(yīng)插值方法，根據(jù)模型的強(qiáng)度，產(chǎn)生不同難度的負(fù)值（Zheng et al）。除此之外，還有基于注意力的技術(shù)、基于聚類和編碼器組合的技術(shù)等等。
在列舉了一系列技術(shù)方法之后，研究員開(kāi)始針對(duì)各種損失函數(shù)進(jìn)行實(shí)驗(yàn)，研究結(jié)果表明：通過(guò)交叉驗(yàn)證對(duì)超參數(shù)進(jìn)行適當(dāng)調(diào)整時(shí)，大多數(shù)方法的性能相似。
研究員一共指出了現(xiàn)有文獻(xiàn)中的三個(gè)缺陷：不公平的比較、通過(guò)測(cè)試集反饋進(jìn)行訓(xùn)練、不合理的評(píng)價(jià)指標(biāo)
不公平的比較：一般大家聲明一個(gè)算法性能優(yōu)于另一個(gè)算法，通常需要確保盡可能多的參數(shù)不變，而在度量學(xué)習(xí)的論文中不是如此。另外，一些論文中所提到的精度提高其實(shí)只是所選神經(jīng)網(wǎng)絡(luò)帶來(lái)的，并不是他們提出的“創(chuàng)新”方法。例如2017年的一篇論文聲稱使用ResNet50 獲得了巨大的性能提升，而實(shí)際上他的對(duì)比對(duì)象是精度較低的GoogleNet。
通過(guò)測(cè)試集反饋進(jìn)行訓(xùn)練：不僅是度量學(xué)習(xí)領(lǐng)域，大多數(shù)論文都有這一通?。簩?shù)據(jù)集一半拆分為測(cè)試集，一半拆分為訓(xùn)練集，不設(shè)驗(yàn)證集。在具體訓(xùn)練的過(guò)程中，定期檢查模型的測(cè)試集精度，并報(bào)告最佳測(cè)試集精度，也就是說(shuō)模型選擇和超參數(shù)調(diào)優(yōu)是通過(guò)來(lái)自測(cè)試集的直接反饋來(lái)完成的，這顯然會(huì)有過(guò)擬合的風(fēng)險(xiǎn)。
不合理的評(píng)價(jià)指標(biāo)：為了體現(xiàn)準(zhǔn)確性，大多數(shù)度量學(xué)習(xí)論文都會(huì)報(bào)告Recall@K、歸一化相互信息(NMI)和F1分?jǐn)?shù)。但這些一定是最好的衡量標(biāo)準(zhǔn)嗎？如下圖三個(gè)嵌入空間，每一個(gè)recall@1指標(biāo)評(píng)價(jià)都接近滿分，而事實(shí)上，他們之間的特征并不相同。此外，F(xiàn)1和NMI分?jǐn)?shù)也接近，這在一定程度上說(shuō)明，其實(shí)，這幾個(gè)指標(biāo)并沒(méi)帶來(lái)啥信息。
三個(gè) toy示例：不同的精確指標(biāo)如何評(píng)分。
在指出問(wèn)題的同時(shí)，F(xiàn)B和康奈爾的研究員自然也指出了改進(jìn)建議，針對(duì)上述三個(gè)缺點(diǎn)建議進(jìn)行公平比較和重復(fù)性實(shí)驗(yàn)、通過(guò)交叉驗(yàn)證進(jìn)行超參數(shù)搜索、采用更加準(zhǔn)確的信息性、準(zhǔn)確性度量。
公平比較和重復(fù)性實(shí)驗(yàn)：實(shí)驗(yàn)使用PyTorch；設(shè)置相同的輸出嵌入進(jìn)行預(yù)訓(xùn)練；批次大小設(shè)置為32；在訓(xùn)練期間，使用隨機(jī)調(diào)整大小的裁剪策略來(lái)增強(qiáng)圖像；設(shè)置固定的學(xué)習(xí)率；公開(kāi)配置文件。
通過(guò)交叉驗(yàn)證進(jìn)行超參數(shù)搜索：多用交叉驗(yàn)證；優(yōu)化超參數(shù)，并以最大程度地提高平均驗(yàn)證準(zhǔn)確性；多使用最佳超參數(shù)進(jìn)行訓(xùn)練，然后報(bào)告運(yùn)行的平均值以及置信區(qū)間。
調(diào)整度量指標(biāo)：建議用MAP@R來(lái)做平均精度，因?yàn)樗Y(jié)合了MAP（Mean Average Precision）和R精度（ R-precision）。
勸退？不，滄海橫流，方顯英雄本色！
深度度量學(xué)習(xí)，是否有用？是否還值得入坑？！！
在知乎上迅速激起諸多網(wǎng)友的熱烈討論。
一位曾在Deep Metric Learning中單槍匹馬、摸爬滾打過(guò)的網(wǎng)友（MS Loss 一作）直言：DML領(lǐng)域大部分方法并無(wú)宣稱的那么大，其“進(jìn)步”往往來(lái)源于：調(diào)參、方法本身以及大的Batch Size。
該領(lǐng)域確實(shí)水文比例挺大的，有些文章為了中，確實(shí)會(huì)用特別低的baseline, 用resnet甚至densenet和別人googlenet的結(jié)果去比，或者用2048維特征去比過(guò)去方法的128維的結(jié)果。
一位網(wǎng)友提到，度量學(xué)習(xí)在數(shù)學(xué)上優(yōu)雅，在可視化上炫酷，在論文結(jié)果上漂亮，但在實(shí)際應(yīng)用中卻毫無(wú)效果。
Metric learning在數(shù)學(xué)上推得很優(yōu)雅，在可視化上很酷炫，在論文結(jié)果上表現(xiàn)得很漂亮，但實(shí)際應(yīng)用上卻毫無(wú)效果。asoftmax am amm等在某些數(shù)據(jù)集上確實(shí)擬合很好，適合刷指標(biāo)，但實(shí)際在跨數(shù)據(jù)開(kāi)集上，還是最簡(jiǎn)單的softmax更香。
或者用另一位網(wǎng)友的說(shuō)法：公式超級(jí)多，論文看起來(lái)就專業(yè)可視化好看，類間離散圖很優(yōu)雅
當(dāng)然也有網(wǎng)友認(rèn)為還是有進(jìn)展的，就是李飛飛用超大規(guī)模數(shù)據(jù)集，告訴大家堆數(shù)據(jù)要比算法提升更優(yōu)秀！基本認(rèn)同。唯一的進(jìn)展是李飛飛的超大規(guī)模數(shù)據(jù)集，告訴大家堆數(shù)據(jù)帶來(lái)的提升效果比算法創(chuàng)新還要大。然而這基本只算一個(gè)工程經(jīng)驗(yàn)，根本也談不上一個(gè)'進(jìn)展'。
不過(guò)也有網(wǎng)友認(rèn)為，發(fā)展還是有的，那就是正則化。
那么metirc learning有沒(méi)有發(fā)展呢，我認(rèn)為最主要的發(fā)展還是近幾年的normalization，這個(gè)東西明確了幾何空間的定義，使得研究人員能夠更好的在幾何層面設(shè)計(jì)metric，最后無(wú)論是訓(xùn)練的收斂速度還是最后的準(zhǔn)確率都有了極大的提升。
最后，我們引用一下知名博主「王晉東不在家」的話（編者注：有刪減）——
其實(shí)大可不必心潮澎湃、攻擊別人、對(duì)該領(lǐng)域前途失望。每當(dāng)一個(gè)研究領(lǐng)域出現(xiàn)一些retlinking、revisiting、comprehensive analysis等類型的文章時(shí)，往往都說(shuō)明了幾個(gè)現(xiàn)象：
1、這個(gè)領(lǐng)域發(fā)展的還可以，出現(xiàn)了很多相關(guān)的工作可以參考；
2、這個(gè)領(lǐng)域的文章同質(zhì)化太嚴(yán)重，到了傳說(shuō)中的“瓶頸期”；
3、研究人員思考為什么已經(jīng)有這么多好工作，卻好像覺(jué)得還差點(diǎn)意思，還“不夠用”、“不好用”、“沒(méi)法用”。
其實(shí)這對(duì)于研究而言是個(gè)好事。我們?cè)谝粭l路上走了太久，卻常常忘記了為什么出發(fā)。此時(shí)需要有些人敢于“冒天下之大不睫”，出來(lái)給大家頭上澆盆冷水，重新思考一下這個(gè)領(lǐng)域出現(xiàn)了什么問(wèn)題。哲學(xué)上也有“否定之否定”規(guī)律。
回到metric learning的問(wèn)題上來(lái)。其實(shí)想想看，機(jī)器學(xué)習(xí)的核心問(wèn)題之一便是距離。Metric learning這種可以自適應(yīng)地學(xué)習(xí)度量的思想，真的是沒(méi)用嗎?還是說(shuō)它只是被目前的方法、實(shí)驗(yàn)手段、評(píng)測(cè)數(shù)據(jù)集等等束縛了手腳，陰差陽(yáng)錯(cuò)地導(dǎo)致了不好的結(jié)果這也是這個(gè)問(wèn)題的提出者原文作者質(zhì)疑的問(wèn)題。
不能經(jīng)受得住質(zhì)疑和時(shí)間的洗禮的工作，不是好工作。事實(shí)上此類事情并不是第一次發(fā)生。
不信你看，作為當(dāng)下ICML、ICLR、NIPS等頂會(huì)的“寵兒”，meta-learning可謂風(fēng)頭一時(shí)無(wú)兩。然而，大家都清楚，meta-learning的一大部分工作都是在few-shot的任務(wù)上進(jìn)行算法開(kāi)發(fā)和評(píng)測(cè)的。從18年開(kāi)始到今年的ICLR，就已經(jīng)不斷地有人“質(zhì)疑”其有效性了?！百|(zhì)疑”的核心問(wèn)題之一是：用簡(jiǎn)單的pretrain network去學(xué)習(xí)feature embedding，然后再加上簡(jiǎn)單的分類器就可以在few-shot那幾個(gè)通用任務(wù)上，打敗很多“著名”的meta-learning方法。所以到底是meta-learning的這種“學(xué)會(huì)學(xué)習(xí)”的思想沒(méi)用，還是它只是被不恰當(dāng)?shù)厥褂昧?或者說(shuō)，meta-learning的正確用法是什么?我認(rèn)為這也是要思考的。我個(gè)人是非常喜歡meta的思想的。
其實(shí)在transfer learning領(lǐng)域。我之前也有一篇看似“打臉”的paper:Easy Transfer Learning by Exploiting Intra-domain Structures。我們的實(shí)驗(yàn)同樣證明了僅需簡(jiǎn)單pretrain過(guò)的ResNet50提取源域和目標(biāo)域的feature embedding，然后加上簡(jiǎn)單的線性規(guī)劃分類器，甚至是nearest centroid,就能取得當(dāng)時(shí)（2018年底）幾乎最好的分類結(jié)果。但是你能說(shuō)transfer learning沒(méi)用嗎?顯然這并不能掩蓋transfer learning方法的光芒。所以我一直都在質(zhì)疑自己：肯定是這些數(shù)據(jù)集不完善、精度不能作為唯一指標(biāo)、其他方法需要再調(diào)參數(shù)，等等。
我覺(jué)得這可能是個(gè)實(shí)驗(yàn)科學(xué)的誤區(qū)：我們實(shí)驗(yàn)設(shè)定本來(lái)就需要完善，并不能因此否定一類方法的有效性。深度學(xué)習(xí)大部分都是建立在實(shí)驗(yàn)科學(xué)的基礎(chǔ)上，因此實(shí)驗(yàn)很關(guān)鍵。
有了廣泛的質(zhì)疑，才會(huì)有更廣泛的討論，于是會(huì)有更廣泛的反質(zhì)疑、新范式、新思想。從整個(gè)領(lǐng)域的發(fā)展來(lái)看，這無(wú)疑是好事。
所以這應(yīng)是“滄海橫流，方顯英雄本色”的時(shí)候了。加油吧！
（雷鋒網(wǎng)）、（雷鋒網(wǎng)）、（雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
