雷鋒網(wǎng)AI科技評(píng)論：我們通常都會(huì)學(xué)習(xí)前輩或大牛的經(jīng)典作品，而引用次數(shù)自然也成為了論文的一個(gè)重要標(biāo)桿。在GitHub上，@Terryum整理了一份精心編寫的論文推薦列表，其中包含了在深度學(xué)習(xí)領(lǐng)域中引用次數(shù)最多的前100篇論文（自2012年起）。

有一些深度學(xué)習(xí)論文，無論它們屬于哪個(gè)應(yīng)用領(lǐng)域，都值得仔細(xì)研習(xí)。文章在精不在多，雷鋒網(wǎng)提供的這些文章，都被認(rèn)為是值得一讀的優(yōu)秀論文。囿于篇幅限制，雷鋒網(wǎng)整理編譯了無監(jiān)督學(xué)習(xí)/生成模型的七篇論文，并增加了論文的概要，方便讀者快速了解。

自然圖像分布的建模在無監(jiān)督學(xué)習(xí)中是一個(gè)里程碑式的難題，因?yàn)閳D像的高維度和高結(jié)構(gòu)性，建模時(shí)需要考慮模型的可表達(dá)性，可控性和可擴(kuò)展性，這使得很多模型在建立時(shí)以犧牲性能為代價(jià)，才能提取出有意義的圖像表征。來自Google的Aaron van den Oord，Nal Kalchbrenner和Koray Kavukcuoglu在《Pixel Recurrent Neural Networks》一文中提出了一種能連續(xù)預(yù)測(cè)圖像像素的二維RNN模型（PixelRNN）和全卷積網(wǎng)絡(luò)CNN模型（PixelCNN）。作者對(duì)原像素的離散概率建模，并編碼了完整的圖像依賴關(guān)系。模型在MNIST和CIFAR-10上進(jìn)行了測(cè)試，取得的對(duì)數(shù)似然函數(shù)值明顯優(yōu)于當(dāng)下的技術(shù)發(fā)展水平。最后作者還給出了PixelRNN生成的一個(gè)樣本定性評(píng)估。

[1] Pixel recurrent neural networks (2016), A. Oord et al. [pdf]

來自O(shè)penAI 的多位技術(shù)專家聯(lián)合發(fā)表了一篇名為《Improved Techniques for Training GANs》的論文，他們?cè)谡撐闹薪o出了訓(xùn)練GAN模型時(shí)應(yīng)用的一些技巧。這些技巧的應(yīng)用使得他們?cè)贛NIST,CIFAR-10和SVHN數(shù)據(jù)集的半監(jiān)督分類問題中取得了目前技術(shù)發(fā)展的最高水平。視覺圖靈測(cè)試證實(shí)了模型生成圖像的高質(zhì)量，連肉眼也無法分辨模型生成的MNIST樣本和真實(shí)數(shù)據(jù)的區(qū)別，而模型生成的CIFAR-10樣本，人類判斷的錯(cuò)誤率為21.3%。模型生成的ImageNet樣本更是達(dá)到了空前未有的分辨率。作者在文章提出，這些技巧使得模型能夠?qū)W習(xí)ImageNet類的可辨別特征。

[2] Improved techniques for training GANs (2016), T. Salimans et al. [pdf]

近幾年在計(jì)算機(jī)視覺領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)在有監(jiān)督學(xué)習(xí)問題上得到了大量應(yīng)用，而在無監(jiān)督學(xué)習(xí)問題上卻鮮少有人關(guān)注。Alec Radford，Luke Metz和Soumith Chintala在論文《Unsupervised representation learning with deep convolutional generative adversarial networks》中介紹了一類名為深度卷積生成式對(duì)抗網(wǎng)絡(luò)（DCGAN）的CNN模型，并認(rèn)為這種模型很適合無監(jiān)督學(xué)習(xí)問題。通過在不同的圖像數(shù)據(jù)集上訓(xùn)練，模型在生成器和判別器上，從物體物件到場(chǎng)景圖像，都能學(xué)習(xí)到的一種層次的表征。最后，將學(xué)習(xí)到的特征應(yīng)用到新任務(wù)中，證明了它們作為通用圖像表征的適用性。

[3] Unsupervised representation learning with deep convolutional generative adversarial networks (2015), A. Radford et al. [pdf]

《DRAW: A Recurrent Neural Network For Image Generation》一文出自Google的DeepMind實(shí)驗(yàn)室，介紹了一種可應(yīng)用于圖像生成的Deep Recurrent Attentive Writer（DRAW）神經(jīng)網(wǎng)絡(luò)模型，此模型能夠生成高質(zhì)量的自然圖像，并提高了當(dāng)前在MNIST數(shù)據(jù)集上生成模型表現(xiàn)的最好水平。此外，使用SVHN數(shù)據(jù)集訓(xùn)練的DRAW模型生成的圖片，裸眼無法分辨其與真實(shí)數(shù)據(jù)的區(qū)別。

[4] DRAW: A recurrent neural network for image generation (2015), K. Gregor et al. [pdf]

作為生成對(duì)抗網(wǎng)絡(luò)（GAN）的開山之作，《Generative Adversarial Nets》論文初次提出了這種對(duì)抗過程估計(jì)生成模型的新框架，文中同時(shí)訓(xùn)練了兩個(gè)模型，一個(gè)生成模型G（獲取數(shù)據(jù)分布），一個(gè)判別模型D（估計(jì)樣本來自訓(xùn)練數(shù)據(jù)集或者生成模型G 的概率）。生成模型G的訓(xùn)練目標(biāo)是最大化判別模型D犯錯(cuò)的概率。這個(gè)模型類似于兩個(gè)人在玩極小極大算法的游戲。對(duì)于任意的函數(shù)G和D，存在唯一解，使得G恢復(fù)訓(xùn)練數(shù)據(jù)分布，而D處處為1/2。 當(dāng)G和D由多層感知器定義時(shí)，整個(gè)系統(tǒng)都可以用反向傳播算法來訓(xùn)練。在訓(xùn)練和樣本生成過程中不需要任何的馬爾科夫鏈或者unrolled approximate inference。實(shí)驗(yàn)通過對(duì)生成樣本的定性和定量評(píng)估，證明了此框架的潛力。

[5] Generative adversarial nets (2014), I. Goodfellow et al. [pdf]

在面對(duì)連續(xù)的潛變量，復(fù)雜的后驗(yàn)分布和數(shù)據(jù)集龐大的情況下，貝葉斯概率模型（directed probabilistic models）如何進(jìn)行有效的推理和學(xué)習(xí)？Diederik P. Kingma 和Max Welling在《Auto-Encoding Variational Bayes》一文中提出了一種隨機(jī)變分推理和學(xué)習(xí)算法，能夠適應(yīng)龐大的數(shù)據(jù)集和弱可微條件。論文提出了一種新的變分下界估計(jì)，可以直接應(yīng)用SGD來優(yōu)化和調(diào)整。另外，論文引入了自動(dòng)編碼變分貝葉斯（AEVB），這是針對(duì)有效推理和學(xué)習(xí)的一種高效算法。

 [6] Auto-encoding variational Bayes (2013), D. Kingma and M. Welling [pdf]

“有沒有可能從無標(biāo)簽的圖像數(shù)據(jù)中學(xué)習(xí)一個(gè)面部特征器？”《Building High-level Features Using Large Scale Unsupervised Learning》一文討論了關(guān)于大規(guī)模無監(jiān)督高層特征構(gòu)建的問題。論文作者基于龐大的圖像數(shù)據(jù)集，訓(xùn)練了一個(gè)9層的局部連接稀疏自編碼網(wǎng)絡(luò)模型，模型帶有池化層和局部對(duì)比歸一化層。通過模型并行化和異步SGD在1000個(gè)機(jī)器（16000個(gè)核）上訓(xùn)練了3天，由此證明了從無標(biāo)簽圖像數(shù)據(jù)中訓(xùn)練面部特征器是可行的。對(duì)照實(shí)驗(yàn)表明，訓(xùn)練出來的特征探測(cè)器在平移，縮放和平面外旋轉(zhuǎn)上都體現(xiàn)了魯棒性。除此之外，相同網(wǎng)絡(luò)對(duì)于其他高層概念的探測(cè)表現(xiàn)的很靈敏，比如對(duì)貓臉、人類身體結(jié)構(gòu)的探測(cè)。通過這些學(xué)習(xí)到的特征，訓(xùn)練的網(wǎng)絡(luò)在識(shí)別22000類物體的ImageNet數(shù)據(jù)集上獲得了15.8%的準(zhǔn)確率，相對(duì)之前的最高水平有了70% 的性能提升。

[7] Building high-level features using large scale unsupervised learning (2013), Q. Le et al. [pdf]

本文只介紹了列表中屬于無監(jiān)督學(xué)習(xí)/生成模型的七篇引用次數(shù)最多的論文，對(duì)于其他類別的論文，請(qǐng)參考作者其他編譯文章或者原文鏈接：https://github.com/terryum/awesome-deep-learning-papers#unsupervised--generative-models，雷鋒網(wǎng)編譯。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。