1
| 本文作者： 奕欣 | 2016-10-20 17:02 |
編者按：新手上路都會有一個疑問，如果自己沒有相關基礎，如何學習晦澀的專業(yè)知識？此前雷鋒網編譯了《從0到1：我是如何在一年內無師自通機器學習的？》，這篇文章講述了 Per Harald Borgen 的自學歷程。而關于深度學習，GitHub的 songrotek 同樣有話要說。原文名為《Deep Learning Papers Reading Roadmap》，雷鋒網奕欣及老呂IO整理編譯，未經許可不得轉載。
0. 深度學習的“圣經”
提到入門級的書，就不得不提這一本 Bengio Yoshua，Ian J. Goodfellow 和 Aaron Courville共同撰寫的《深度學習》（Deep Learning）。
“這本關于深度學習的教課書是一本為了幫助學生及從業(yè)者入門機器學習，并專注于深度學習領域的教材?！敝档靡惶岬氖?，這本 MIT 出版的“書”數(shù)年來一直在網上實時更新和完善，不斷補充研究成果和新的參考文獻，也向公眾開放評論，接受修改意見，其火爆程度甚至被譽為深度學習的“圣經”。 目前該書可在亞馬遜預定，今年年底就會送到你手上。
《深度學習》閱讀網址：http://www.deeplearningbook.org/
1. 調研
Yann LeCun , Yoshua Bengio和Geoffrey Hinton被作者譽為深度學習界三大天王，他們所發(fā)布在 Nature上的“Deep Learning”包含了大量的研究和調查，五星推薦，值得一讀！
[1] http://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
2. 建立深度學習的知識網
作為 AI 領袖級人物，Geoffrey Hinton 目前就職于谷歌，而其與E., Simon Osindero和Yee-Whye The的代表作《A fast learning algorithm for deep belief nets》更是被奉為圭臬，不妨看看。
[2] http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf
此外，他還有一篇署名第一作者的《Reducing the dimensionality of data with neural networks》，可以說是深度學習的里程碑之作。
[3] http://www.cs.toronto.edu/~hinton/science.pdf
3. ImageNet 革命
當你讀完了上面的幾篇論文，相信你對深度學習也有了一個大致的了解。那么深度學習的突破點在哪呢？在 2012 年，Krizhevsky 的《Imagenet classification with deep convolutional neural networks》預示著神經網絡的出現(xiàn)和發(fā)展有了突破性的研究進展。來不及了，趕緊上車吧，推薦指數(shù)五顆星。
[4] http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
而深度對于網絡有多重要？《Very deep convolutional networks for large-scale image recognition》是牛津大學視覺幾何組（VGG）Karen Simonyan 和 Andrew Zisserman 于 2014 年撰寫的論文，主要探討了深度對于網絡的重要性；并建立了一個 19層的深度網絡并獲得了很好的結果。該論文在 ILSVRC上定位第一，分類第二。
[5] https://arxiv.org/pdf/1409.1556.pdf
如果想要了解下神經網絡結構是如何改進的，那一定得讀下這篇。Szegedy 和 Christian 都是當代著名的計算機科學家，他們曾在 2015 年合寫了《Going deeper with convolutions》，這篇論文是為 ImageNet2014 的比賽而作，論文中的方法獲得了比賽的第一名，包括 task1 分類任務和 task2 檢測任務。本文主要關注針對計算機視覺的高效深度神經網絡結構，通過改進神經網絡的結構達到不增加計算資源需求的前提下提高網絡的深度，從而達到提高效果的目的。
在第六屆 ImageNet 年度圖像識別測試中，微軟研究院的計算機圖像識別系統(tǒng)在幾個類別的測試中拔得頭籌，擊敗了谷歌、英特爾、高通、騰訊以及一些創(chuàng)業(yè)公司和學術實驗室的系統(tǒng)。微軟的獲勝系統(tǒng)名為“圖像識別的深度殘差學習”(Deep Residual Learning for Image Recognition)，由微軟研究員何愷明、張祥雨、任少卿和孫劍組成的團隊開發(fā)。因此，記錄這一團隊系統(tǒng)開發(fā)心得的《Deep Residual Learning for Image Recognition》絕對是學習必備啊，五星推薦。
[7] https://arxiv.org/pdf/1512.03385.pdf
4. 語音識別大法好
Hinton 與 Geoffrey 等技術專家合著的《Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups》是語音識別領域的巨大突破。它融合了四個小組利用深度神經網絡和聲學建模完成語音識別的實例。
[8] http://cs224d.stanford.edu/papers/maas_paper.pdf
除了上面的幾篇論文，Geoffrey Hinton 大神 在《Speech recognition with deep recurrent neural networks》一文中也是思如泉涌，他向我們介紹了深度循環(huán)神經網絡（RNNs）在語音識別中的重要性。
[9] https://arxiv.org/pdf/1303.5778.pdf
想必我們對語音輸入并不陌生，但這是如何實現(xiàn)的呢？這篇名為《Towards End-To-End Speech Recognition with Recurrent Neural Networks》由 Graves、Alex 和多倫多大學教授 Navdeep Jaitly 共同撰寫。它向我們描述了一個無需中繼語音重構的音頻轉文字識別系統(tǒng)。
[10] http://www.jmlr.org/proceedings/papers/v32/graves14.pdf
如果你要問谷歌語音識別系統(tǒng)之源是什么，那我一定會向你推薦這篇名為《Fast and accurate recurrent neural network acoustic models for speech recognition》的論文由 Sak 和 Hasim 等多位專家撰寫而成，它是谷歌語音識別系統(tǒng)的重要理論基礎之一。
[11] https://arxiv.org/pdf/1507.06947.pdf
百度近日公布了其硅谷人工智能實驗室（SVAIL）的一項新的研究成果，被稱為 Deep Speech 2。Deep Speech 通過使用一個單一的學習算法實現(xiàn)了準確識別英語和漢語的能力。這一成果就發(fā)表在論文《Deep speech 2: End-to-end speech recognition in english and mandarin》之中。
[12] https://arxiv.org/pdf/1512.02595.pdf
本月 18 日，微軟人工智能與研究部門的研究員和工程師發(fā)表了一篇名為《Achieving Human Parity in Conversational Speech Recognition》的論文。論文表明，微軟的對話語音識別技術在產業(yè)標準 Switchboard 語音識別基準測試中實現(xiàn)了詞錯率（word error rate, 簡稱WER）低至 5.9% 的好成績，首次達成與人類專業(yè)速記員持平，并且要優(yōu)于絕大多數(shù)人的表現(xiàn)。雷鋒網此前也有提及，詳情可點擊原文查看。同時，也刷新了自己的一個月前創(chuàng)造的 6.3% 的記錄。微軟首席語音科學家黃學東是這一研究的參與者之一。
[13] https://arxiv.org/pdf/1610.05256v1.pdf
讀完了上面推薦的論文，你一定對深度學習的歷史有了一個基本了解，其基本的模型架構（CNN/RNN/LSTM）與深度學習如何應用在圖片和語音識別上肯定也不在話下了。下一部分，我們將通過新一批論文，讓你對深度學習的方式與深度學習在不同領域的運用有個清晰的了解。由于第二部分的論文開始向細化方向延展，因此你可以根據自己的研究方向酌情進行選擇。
推薦閱讀：
微軟研究院新成果！對話語音識別水平超人類，錯誤率僅為 5.9 %
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
