1
| 本文作者： 奕欣 | 2016-10-20 17:02 |
編者按：新手上路都會(huì)有一個(gè)疑問(wèn)，如果自己沒(méi)有相關(guān)基礎(chǔ)，如何學(xué)習(xí)晦澀的專業(yè)知識(shí)？此前雷鋒網(wǎng)編譯了《從0到1：我是如何在一年內(nèi)無(wú)師自通機(jī)器學(xué)習(xí)的？》，這篇文章講述了 Per Harald Borgen 的自學(xué)歷程。而關(guān)于深度學(xué)習(xí)，GitHub的 songrotek 同樣有話要說(shuō)。原文名為《Deep Learning Papers Reading Roadmap》，雷鋒網(wǎng)奕欣及老呂IO整理編譯，未經(jīng)許可不得轉(zhuǎn)載。
0. 深度學(xué)習(xí)的“圣經(jīng)”
提到入門(mén)級(jí)的書(shū)，就不得不提這一本 Bengio Yoshua，Ian J. Goodfellow 和 Aaron Courville共同撰寫(xiě)的《深度學(xué)習(xí)》（Deep Learning）。
“這本關(guān)于深度學(xué)習(xí)的教課書(shū)是一本為了幫助學(xué)生及從業(yè)者入門(mén)機(jī)器學(xué)習(xí)，并專注于深度學(xué)習(xí)領(lǐng)域的教材?！敝档靡惶岬氖?，這本 MIT 出版的“書(shū)”數(shù)年來(lái)一直在網(wǎng)上實(shí)時(shí)更新和完善，不斷補(bǔ)充研究成果和新的參考文獻(xiàn)，也向公眾開(kāi)放評(píng)論，接受修改意見(jiàn)，其火爆程度甚至被譽(yù)為深度學(xué)習(xí)的“圣經(jīng)”。 目前該書(shū)可在亞馬遜預(yù)定，今年年底就會(huì)送到你手上。
《深度學(xué)習(xí)》閱讀網(wǎng)址：http://www.deeplearningbook.org/
1. 調(diào)研
Yann LeCun , Yoshua Bengio和Geoffrey Hinton被作者譽(yù)為深度學(xué)習(xí)界三大天王，他們所發(fā)布在 Nature上的“Deep Learning”包含了大量的研究和調(diào)查，五星推薦，值得一讀！
[1] http://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
2. 建立深度學(xué)習(xí)的知識(shí)網(wǎng)
作為 AI 領(lǐng)袖級(jí)人物，Geoffrey Hinton 目前就職于谷歌，而其與E., Simon Osindero和Yee-Whye The的代表作《A fast learning algorithm for deep belief nets》更是被奉為圭臬，不妨看看。
[2] http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf
此外，他還有一篇署名第一作者的《Reducing the dimensionality of data with neural networks》，可以說(shuō)是深度學(xué)習(xí)的里程碑之作。
[3] http://www.cs.toronto.edu/~hinton/science.pdf
3. ImageNet 革命
當(dāng)你讀完了上面的幾篇論文，相信你對(duì)深度學(xué)習(xí)也有了一個(gè)大致的了解。那么深度學(xué)習(xí)的突破點(diǎn)在哪呢？在 2012 年，Krizhevsky 的《Imagenet classification with deep convolutional neural networks》預(yù)示著神經(jīng)網(wǎng)絡(luò)的出現(xiàn)和發(fā)展有了突破性的研究進(jìn)展。來(lái)不及了，趕緊上車吧，推薦指數(shù)五顆星。
[4] http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
而深度對(duì)于網(wǎng)絡(luò)有多重要？《Very deep convolutional networks for large-scale image recognition》是牛津大學(xué)視覺(jué)幾何組（VGG）Karen Simonyan 和 Andrew Zisserman 于 2014 年撰寫(xiě)的論文，主要探討了深度對(duì)于網(wǎng)絡(luò)的重要性；并建立了一個(gè) 19層的深度網(wǎng)絡(luò)并獲得了很好的結(jié)果。該論文在 ILSVRC上定位第一，分類第二。
[5] https://arxiv.org/pdf/1409.1556.pdf
如果想要了解下神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是如何改進(jìn)的，那一定得讀下這篇。Szegedy 和 Christian 都是當(dāng)代著名的計(jì)算機(jī)科學(xué)家，他們?cè)?2015 年合寫(xiě)了《Going deeper with convolutions》，這篇論文是為 ImageNet2014 的比賽而作，論文中的方法獲得了比賽的第一名，包括 task1 分類任務(wù)和 task2 檢測(cè)任務(wù)。本文主要關(guān)注針對(duì)計(jì)算機(jī)視覺(jué)的高效深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)改進(jìn)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)達(dá)到不增加計(jì)算資源需求的前提下提高網(wǎng)絡(luò)的深度，從而達(dá)到提高效果的目的。
在第六屆 ImageNet 年度圖像識(shí)別測(cè)試中，微軟研究院的計(jì)算機(jī)圖像識(shí)別系統(tǒng)在幾個(gè)類別的測(cè)試中拔得頭籌，擊敗了谷歌、英特爾、高通、騰訊以及一些創(chuàng)業(yè)公司和學(xué)術(shù)實(shí)驗(yàn)室的系統(tǒng)。微軟的獲勝系統(tǒng)名為“圖像識(shí)別的深度殘差學(xué)習(xí)”(Deep Residual Learning for Image Recognition)，由微軟研究員何愷明、張祥雨、任少卿和孫劍組成的團(tuán)隊(duì)開(kāi)發(fā)。因此，記錄這一團(tuán)隊(duì)系統(tǒng)開(kāi)發(fā)心得的《Deep Residual Learning for Image Recognition》絕對(duì)是學(xué)習(xí)必備啊，五星推薦。
[7] https://arxiv.org/pdf/1512.03385.pdf
4. 語(yǔ)音識(shí)別大法好
Hinton 與 Geoffrey 等技術(shù)專家合著的《Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups》是語(yǔ)音識(shí)別領(lǐng)域的巨大突破。它融合了四個(gè)小組利用深度神經(jīng)網(wǎng)絡(luò)和聲學(xué)建模完成語(yǔ)音識(shí)別的實(shí)例。
[8] http://cs224d.stanford.edu/papers/maas_paper.pdf
除了上面的幾篇論文，Geoffrey Hinton 大神 在《Speech recognition with deep recurrent neural networks》一文中也是思如泉涌，他向我們介紹了深度循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）在語(yǔ)音識(shí)別中的重要性。
[9] https://arxiv.org/pdf/1303.5778.pdf
想必我們對(duì)語(yǔ)音輸入并不陌生，但這是如何實(shí)現(xiàn)的呢？這篇名為《Towards End-To-End Speech Recognition with Recurrent Neural Networks》由 Graves、Alex 和多倫多大學(xué)教授 Navdeep Jaitly 共同撰寫(xiě)。它向我們描述了一個(gè)無(wú)需中繼語(yǔ)音重構(gòu)的音頻轉(zhuǎn)文字識(shí)別系統(tǒng)。
[10] http://www.jmlr.org/proceedings/papers/v32/graves14.pdf
如果你要問(wèn)谷歌語(yǔ)音識(shí)別系統(tǒng)之源是什么，那我一定會(huì)向你推薦這篇名為《Fast and accurate recurrent neural network acoustic models for speech recognition》的論文由 Sak 和 Hasim 等多位專家撰寫(xiě)而成，它是谷歌語(yǔ)音識(shí)別系統(tǒng)的重要理論基礎(chǔ)之一。
[11] https://arxiv.org/pdf/1507.06947.pdf
百度近日公布了其硅谷人工智能實(shí)驗(yàn)室（SVAIL）的一項(xiàng)新的研究成果，被稱為 Deep Speech 2。Deep Speech 通過(guò)使用一個(gè)單一的學(xué)習(xí)算法實(shí)現(xiàn)了準(zhǔn)確識(shí)別英語(yǔ)和漢語(yǔ)的能力。這一成果就發(fā)表在論文《Deep speech 2: End-to-end speech recognition in english and mandarin》之中。
[12] https://arxiv.org/pdf/1512.02595.pdf
本月 18 日，微軟人工智能與研究部門(mén)的研究員和工程師發(fā)表了一篇名為《Achieving Human Parity in Conversational Speech Recognition》的論文。論文表明，微軟的對(duì)話語(yǔ)音識(shí)別技術(shù)在產(chǎn)業(yè)標(biāo)準(zhǔn) Switchboard 語(yǔ)音識(shí)別基準(zhǔn)測(cè)試中實(shí)現(xiàn)了詞錯(cuò)率（word error rate, 簡(jiǎn)稱WER）低至 5.9% 的好成績(jī)，首次達(dá)成與人類專業(yè)速記員持平，并且要優(yōu)于絕大多數(shù)人的表現(xiàn)。雷鋒網(wǎng)此前也有提及，詳情可點(diǎn)擊原文查看。同時(shí)，也刷新了自己的一個(gè)月前創(chuàng)造的 6.3% 的記錄。微軟首席語(yǔ)音科學(xué)家黃學(xué)東是這一研究的參與者之一。
[13] https://arxiv.org/pdf/1610.05256v1.pdf
讀完了上面推薦的論文，你一定對(duì)深度學(xué)習(xí)的歷史有了一個(gè)基本了解，其基本的模型架構(gòu)（CNN/RNN/LSTM）與深度學(xué)習(xí)如何應(yīng)用在圖片和語(yǔ)音識(shí)別上肯定也不在話下了。下一部分，我們將通過(guò)新一批論文，讓你對(duì)深度學(xué)習(xí)的方式與深度學(xué)習(xí)在不同領(lǐng)域的運(yùn)用有個(gè)清晰的了解。由于第二部分的論文開(kāi)始向細(xì)化方向延展，因此你可以根據(jù)自己的研究方向酌情進(jìn)行選擇。
推薦閱讀：
微軟研究院新成果！對(duì)話語(yǔ)音識(shí)別水平超人類，錯(cuò)誤率僅為 5.9 %
從0到1：我是如何在一年內(nèi)無(wú)師自通機(jī)器學(xué)習(xí)的？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
