0
雷鋒網(wǎng)AI科技評(píng)論：我們通常都會(huì)學(xué)習(xí)前輩或大牛的經(jīng)典作品，而引用次數(shù)自然也成為了論文的一個(gè)重要標(biāo)桿。在GitHub上，@Terryum整理了一份精心編寫的論文推薦列表，其中包含了在深度學(xué)習(xí)領(lǐng)域中引用次數(shù)最多的前100篇論文（自2012年起）。囿于篇幅限制，雷鋒網(wǎng)整理編譯了理解/泛化/遷移領(lǐng)域的七篇論文，并增加了論文的概要，方便讀者快速了解。
有一些深度學(xué)習(xí)論文，無論它們屬于哪個(gè)應(yīng)用領(lǐng)域，都值得仔細(xì)研習(xí)。文章在精不在多，雷鋒網(wǎng)提供的這些文章，都被認(rèn)為是值得一讀的優(yōu)秀論文。
除此列表之外，還有一些優(yōu)秀的深度學(xué)習(xí)論文推薦列表，比如《Deep Vision》,《Awesome Recurrent neural networks》和《Deep Learning Papers Reading Roadmap》。其中《Deep Learning Papers Reading Roadmap》是一個(gè)適合深度學(xué)習(xí)初學(xué)者的論文推薦列表，包含了很多重要的論文，被很多深度學(xué)習(xí)的研究者所喜愛，但是想要讀完其中包含的所有論文還是有一定難度的。正如我在介紹中提到的一樣，任何應(yīng)用領(lǐng)域的開創(chuàng)性工作都會(huì)讓我們受益匪淺。因此，我將介紹前一百篇深度學(xué)習(xí)論文，作為概述深度學(xué)習(xí)研究的起點(diǎn)。
入選論文的發(fā)表年份限于2012年至2016年間
每當(dāng)一篇新的論文入選此列表(通常從《More Papers from 2016》選擇)，那么就會(huì)有另一篇論文被淘汰，確保始終只提供前100篇論文。（選擇淘汰論文的工作與選擇加入的工作同樣重要）
有一些沒有入選的重要論文，將會(huì)在《More than Top 100》中陳列
對(duì)于2012年前或者近六個(gè)月發(fā)表的論文，請(qǐng)參考《New Papers and Old papers》
按論文發(fā)表的時(shí)間：
<6 個(gè)月: 新論文（經(jīng)討論決定）
2016年 : 引用次數(shù)大于60次或者入選了《More Papers from 2016》
2015年 : 引用次數(shù)大于200次
2014年 : 引用次數(shù)大于400次
2013年 : 引用次數(shù)大于600次
2012年 : 引用次數(shù)大于800次
~2012年 : 舊論文（經(jīng)討論決定）
注意：我們優(yōu)先選擇學(xué)術(shù)領(lǐng)域而不是應(yīng)用領(lǐng)域的開創(chuàng)性論文，入選的論文影響力相對(duì)較大，也更加適用于其他研究匱乏的學(xué)術(shù)領(lǐng)域，因此有些滿足評(píng)選標(biāo)準(zhǔn)的論文沒有被選中，而有些選中了。
論文集目前包括以下幾個(gè)分類：理解/泛化/遷移、最優(yōu)化/訓(xùn)練技巧、無監(jiān)督學(xué)習(xí)/生成模型等十個(gè)子類，本篇文章只簡單對(duì)理解/泛化/遷移的論文進(jìn)行介紹。
對(duì)于大型的機(jī)器學(xué)習(xí)任務(wù)，通常在訓(xùn)練階段和應(yīng)用階段會(huì)使用相似的模型。為了使特征提取更容易，我們?cè)敢庥?xùn)練一個(gè)相對(duì)復(fù)雜的模型，甚至是訓(xùn)練幾個(gè)模型的集合。一旦這樣的集合模型訓(xùn)練完成，使用一種叫做“壓縮”的技術(shù)把復(fù)雜模型的知識(shí)轉(zhuǎn)化到一個(gè)較小的模型中以便應(yīng)用模型使用。Caruana曾經(jīng)提出過一種將一個(gè)大的模型集合轉(zhuǎn)化為小的單一模型的方法，來自谷歌的Geoffrey Hinton, Oriol Vinyals和Jeff Dean三位技術(shù)專家合著了《Distilling the knowledge in a neural network 》，他們改善了Caruana的方法，應(yīng)用了一種不同的壓縮方法并在MNIST數(shù)據(jù)集上取得了驚人的成績。論文表明，把集合模型中的知識(shí) “壓縮” 到單一模型中可以顯著地改善一種頻繁使用的商業(yè)系統(tǒng)的聲學(xué)模型。
[1]Distilling the knowledge in a neural network (2015), G. Hinton et al. [pdf]
深度神經(jīng)網(wǎng)絡(luò) (DNN) 在分類圖片物體的問題上達(dá)到了近乎人類的程度，很多人會(huì)有疑問，計(jì)算機(jī)視覺和人類視覺究竟有何不同？ Anh Nguyen, Jason Yosinski和 Jeff Clune在《Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images 》一文中提出了DNN和人類視覺的差異，文章認(rèn)為，在面對(duì)人類完全不能辨認(rèn)的圖片時(shí)，DNN很容易被糊弄。文中通過進(jìn)化算法或者梯度下降方法來處理圖片，實(shí)驗(yàn)顯示，即使對(duì)于人類無法辨別的圖片，DNN依然能夠呈現(xiàn)很高的置信度。其中，處理過后的MNIST數(shù)據(jù)集，DNN的辨別置信度達(dá)到了99%，而辨別ImageNet數(shù)據(jù)集的置信度則相對(duì)較低些。
很多深度神經(jīng)網(wǎng)絡(luò)在分類自然圖片時(shí)都表現(xiàn)出了同一種奇怪的現(xiàn)象，它們?cè)诘谝粚泳W(wǎng)絡(luò)層學(xué)習(xí)的特征與Gabor 濾波器和Color blobs很像，無論選擇怎樣的數(shù)據(jù)集和損失函數(shù)，似乎這樣的第一層特征都會(huì)出現(xiàn)，具有普遍性。另外，我們知道訓(xùn)練的網(wǎng)絡(luò)最后一層的特征與選擇的數(shù)據(jù)集和訓(xùn)練任務(wù)緊密相關(guān)，具有特殊性。網(wǎng)絡(luò)層的特征在訓(xùn)練過程中會(huì)由一般轉(zhuǎn)變?yōu)樘厥?，但是目前這種轉(zhuǎn)變過程還沒有研究的很透徹。由Jason Yosinski, Jeff Clune, Yoshua Bengio和Hod Lipson合著的《How transferable are features in deep neural networks? 》通過實(shí)驗(yàn)量化了深度卷積神經(jīng)網(wǎng)絡(luò)每一層中的神經(jīng)元的普遍性和特殊性。實(shí)驗(yàn)表明，有兩個(gè)因素會(huì)造成遷移特征的性能下降：高層特征本身的特殊性；由于在協(xié)同工作的相鄰網(wǎng)絡(luò)層之間進(jìn)行分割造成的優(yōu)化困難。另外，實(shí)驗(yàn)觀察了這兩個(gè)因素在不同遷移方式下的表現(xiàn)，量化了因訓(xùn)練任務(wù)不同而改變的遷移差異性變化，結(jié)果表明，即使是從完全不同的訓(xùn)練任務(wù)遷移過來的特征，表現(xiàn)的性能都要優(yōu)于隨機(jī)設(shè)置權(quán)重的網(wǎng)絡(luò)。另外，實(shí)驗(yàn)表明，即使是進(jìn)行微調(diào)參，使用遷移的特征還是可以提高泛化性能，這可以作為提高深度神經(jīng)網(wǎng)絡(luò)性能的有效手段。
[3]How transferable are features in deep neural networks? (2014), J. Yosinski et al. [pdf]
已有研究表明從卷積神經(jīng)網(wǎng)絡(luò)中提取出的通用描述符是非常有用的，從CNN網(wǎng)絡(luò)中學(xué)習(xí)到的通用特征，可以成功應(yīng)用于其他的識(shí)別任務(wù)。《CNN Features off-the-shelf: an Astounding Baseline for Recognition》再次證明了這一點(diǎn)，論文作者Ali Sharif Razavian等進(jìn)行了一系列實(shí)驗(yàn)，使用已有的OverFeat網(wǎng)絡(luò)加上簡單的分類器SVM，來處理不同種類的識(shí)別任務(wù)，包括物體對(duì)象識(shí)別，場景識(shí)別，精細(xì)分類，屬性檢測，圖像檢索，OverFeat+SVM在這些任務(wù)上都表現(xiàn)出了非常優(yōu)異的性能。結(jié)果表明，卷積網(wǎng)絡(luò)獲得的特征可作為大多數(shù)視覺識(shí)別任務(wù)的首選。
CNN模型的訓(xùn)練過程，相當(dāng)于在擁有大量標(biāo)簽過的圖片樣本的情況下，估算百萬個(gè)參數(shù)的值。CNN的這一性質(zhì)使得它無法在訓(xùn)練數(shù)據(jù)有限的情況下使用，由Maxime Oquab, Leon Bottou，Ivan Laptev，Josef Sivic等人合著的《Learning and transferring mid-Level image representations using convolutional neural networks 》展現(xiàn)了使用大規(guī)模標(biāo)簽數(shù)據(jù)集和CNN模型訓(xùn)練過的圖片表征，可以有效地應(yīng)用到其他的視覺識(shí)別任務(wù)上。論文設(shè)計(jì)了一種方法，在ImageNet數(shù)據(jù)集訓(xùn)練過的網(wǎng)絡(luò)層可以重用，用于計(jì)算PASCAL數(shù)據(jù)集的中層圖片表征。
來自紐約大學(xué)的Matthew D. Zeiler和Rob Fergus合著了《Visualizing and Understanding Convolutional Networks》，這篇論文解釋了為什么很多CNN模型在ImageNet上表現(xiàn)優(yōu)異并介紹了如何提升這些模型的性能。論文引入了一種新的可視化技術(shù)展示中間層特征函數(shù)和分類器的操作。可視化使得我們可以找到這些在ImageNet分類基準(zhǔn)中比Krizhevsky模型表現(xiàn)更好的模型結(jié)構(gòu)。
[6]Visualizing and understanding convolutional networks (2014), M. Zeiler and R. Fergus [pdf]
對(duì)于一個(gè)大的, 固定的物體的識(shí)別任務(wù)，在全監(jiān)督學(xué)習(xí)中訓(xùn)練過的深度卷積網(wǎng)絡(luò)的激勵(lì)層提取出來的特征，是否能夠在新的通用任務(wù)中再利用?《DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition》一文討論了這個(gè)問題。論文中調(diào)查并可視化了不同任務(wù)的深度卷積特征的語義聚類，比較了不同網(wǎng)絡(luò)層次的效果來定義固定特征。報(bào)告的新成果明顯優(yōu)異于目前在視覺任務(wù)挑戰(zhàn)中表現(xiàn)的最優(yōu)水平。
本文介紹了列表中屬于理解/泛化/遷移領(lǐng)域的七篇引用次數(shù)最多的論文，對(duì)于其他類別的論文，請(qǐng)參考原文鏈接：https://github.com/terryum/awesome-deep-learning-papers#unsupervised--generative-models
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
