雷鋒網(wǎng) AI 科技評論按：本文轉(zhuǎn)自「李理的博客」，作者李理為環(huán)信人工智能研發(fā)中心 vp，有十多年自然語言處理和人工智能研發(fā)經(jīng)驗(yàn)，主持研發(fā)過多款智能硬件的問答和對話系統(tǒng)，負(fù)責(zé)環(huán)信中文語義分析開放平臺和環(huán)信智能機(jī)器人的設(shè)計(jì)與研發(fā)。近日，他在博客上對外公開國內(nèi)首本免費(fèi)的深度學(xué)習(xí)書籍——《深度學(xué)習(xí)理論與實(shí)戰(zhàn)：提高篇》，該書籍涵蓋聽覺、視覺、語言和強(qiáng)化學(xué)習(xí)四大領(lǐng)域，深入淺出的理論分析和詳盡的代碼分析。

轉(zhuǎn)載請聯(lián)系作者 (fancyerii at gmail dot com)！

序言

16 年 9 月的時(shí)候我在 CSDN 發(fā)了一些深度學(xué)習(xí)的文章，主要是面向沒有太多經(jīng)驗(yàn)的開發(fā)者。達(dá)文讀了后覺得我的文章比較通俗易懂，邀請我寫一本書，當(dāng)時(shí)頭腦一熱就答應(yīng)下來。雖然現(xiàn)在出版的書籍汗牛充棟，但是對我來說著書立言始終是一件非常嚴(yán)肅和重大的事情。立德、立功、立言乃儒家的三不朽，可見古人對于其重視。我的這本書只是關(guān)于深度學(xué)習(xí)的技術(shù)類書籍，遠(yuǎn)遠(yuǎn)談不上立言，但是總歸會有一些讀者的，因此我希望這本書至少對讀者有一些幫助，而不是誤人子弟。從開始寫下第一個(gè)字到現(xiàn)在，前后跨越四年歷時(shí)兩年半。一方面是因?yàn)楣ぷ髅]有太多時(shí)間，但更重要的原因是我希望把它寫得更好一點(diǎn)。寫書的過程也是學(xué)習(xí)的過程，書中的每一篇論文每一行代碼，作者都要求自己完全讀懂，不懂的內(nèi)容絕對不放到書里面。當(dāng)然由于個(gè)人水平有限，肯定還是會有很多理解的偏差和疏漏，敬請讀者不吝指教。

市面上關(guān)于深度學(xué)習(xí)的書籍很多，本書最大的特點(diǎn)是理論結(jié)合實(shí)戰(zhàn)和內(nèi)容的廣度。現(xiàn)在大家能夠看到的深度學(xué)習(xí)書籍大概可以分為兩類，一類只關(guān)注理論而另一類只關(guān)注應(yīng)用。前者多為一些會議論文集，當(dāng)然也包括 Ian Goodfellow 和 Yoshua Bengio 等人的 Deep Learning。這類書籍的讀者是專業(yè)的研究者和相關(guān)專業(yè)的學(xué)生，它更多的是關(guān)注基礎(chǔ)理論和最新的前沿進(jìn)展。這類書籍通常比較難懂，而且讀完之后仍然不知道怎么動(dòng)手解決問題。而另外一類書籍更關(guān)注應(yīng)用，多為框架工具的介紹，偶爾提及一些理論也是點(diǎn)到而止，在讀者看來各種算法只是一個(gè)黑盒子，雖然能跑起來，但是知其然不知其所以然，不知道怎么調(diào)優(yōu)，碰到問題時(shí)更加不知道怎么解決。本書的目標(biāo)是使用通俗易懂的語言來介紹基礎(chǔ)理論和最新的進(jìn)展，同時(shí)也介紹代碼的實(shí)現(xiàn)。通過理論與實(shí)踐的結(jié)合使讀者更加深入的理解理論知識，同時(shí)也把理論知識用于指導(dǎo)實(shí)踐。因此本書的一大特點(diǎn)就是每介紹完一個(gè)模型都會介紹它的實(shí)現(xiàn)，讀者閱讀完一個(gè)模型的介紹之后就可以運(yùn)行、閱讀和修改一下這些代碼，從而可以更加深刻的理解理論知識。

本書第二個(gè)比較大的特點(diǎn)就是內(nèi)容的廣度，本書覆蓋聽覺、視覺、語言和強(qiáng)化學(xué)習(xí)四大領(lǐng)域。從章節(jié)的命名讀者也可以看到作者的」野心」，本書覆蓋了深度學(xué)習(xí)的大部分常見應(yīng)用方向。市面上的書大部分只介紹視覺和語言的內(nèi)容，而且一般也只限于 CNN 用于簡單的圖像分類或者 RNN、seq2seq 模型在 NLP 中的應(yīng)用。本書的視覺部分除了介紹 CNN 以及最新的 ResNet 和 Inception 模型之外，還介紹了用于目標(biāo)檢測的 R-CNN、Fast R-CNN、Faster R-CNN 模型；用于實(shí)例分割的 Mask R-CNN 模型；用于人臉識別的 FaceNet；還包括 Neural Style Transfer 和 GAN(包括 DCGAN 和 Cycle GAN)。語言部分除了很多書都有的 RNN/LSTM/GRU 等基礎(chǔ)模型，用于機(jī)器翻譯、chatbot 的 seq2seq 模型和 Attention 機(jī)制之外還包括最新的 ELMo、OpenAI GPT 和 BERT 等模型，此外本書還介紹了 NLP 的很多經(jīng)典任務(wù)，包括語言模型、詞性標(biāo)注、成分句法分析、依存句法分析和機(jī)器翻譯。除了介紹深度學(xué)習(xí)的解決方案之外也會介紹傳統(tǒng)的基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法，讓讀者能夠了解這個(gè)領(lǐng)域的發(fā)展過程。而聽覺和強(qiáng)化學(xué)習(xí)是目前市面上大部分書都很少提及的內(nèi)容。大家都知道 2012 年 AlexNet 在視覺領(lǐng)域的突破，但是深度學(xué)習(xí)最早的突破其實(shí)發(fā)生在語音識別方向。本書會詳細(xì)介紹經(jīng)典的基于 HMM-GMM 的語音識別系統(tǒng)，包括基于 WFST 的解碼器和 Kaldi 的用法。接著會介紹 HMM-DNN 系統(tǒng)，然后到最新的 End-to-End 的語音識別系統(tǒng)，主要會介紹 CTC 模型，包括 CTC 用于驗(yàn)證碼識別的示例和 DeepSpeech 系統(tǒng)。最后會介紹使用 CNN 實(shí)現(xiàn)簡單的語音關(guān)鍵詞識別，這個(gè)簡單的例子在智能設(shè)備上會非常有用。國內(nèi)關(guān)于強(qiáng)化學(xué)習(xí)的書籍不多，因此本書首先用一章的篇幅介紹強(qiáng)化學(xué)習(xí)的基本概念，包括 MDP、動(dòng)態(tài)規(guī)劃、蒙特卡羅方法、TD 學(xué)習(xí)和 Policy Gradient。接著會介紹 DQN、基于深度學(xué)習(xí)的 Policy Gradient 算法，最后是介紹 AlphaGo、AlphaGo Zero 和 Alpha Zero 算法。

當(dāng)然由于時(shí)間和作者的水平所限，這些領(lǐng)域都遺漏了很多內(nèi)容，比如聽覺只包括了語音識別，但是沒有語音合成、Music 等；深度強(qiáng)化學(xué)習(xí)也沒有最新的 Imitation Learning、Inverse Reinforcement Learning 和 Meta Learning 等內(nèi)容。但是讀者在了解了本書的基本概念和基本模型之后，要學(xué)習(xí)更新的內(nèi)容也會比較容易，作者以后有時(shí)間和精力也會持續(xù)更新這些內(nèi)容。

最后還包含一章哲學(xué)的內(nèi)容，主要是作者對于人工智能是否可以實(shí)現(xiàn)的一些個(gè)人觀點(diǎn)。本書的大部分內(nèi)容都是來自別人的知識，最多是加上了我自己的一些理解。如果要在這本書里尋找一點(diǎn)「原創(chuàng)性」內(nèi)容的話，最有可能就是在這一章了。里面有很多荒誕無稽的觀點(diǎn)，但是讀者不妨在飯后茶余當(dāng)成消遣的文章看看也并無太大壞處，看后有什么想法也可以在后面留言和作者交流。

本書的內(nèi)容參考了很多論文、書籍以及開源代碼，感謝他們的工作！作者會盡量在文章加入相關(guān)鏈接，如果原作者認(rèn)為有版權(quán)問題，請聯(lián)系作者。

由于涉及的內(nèi)容很廣，再加上作者比較啰嗦的寫作方式 (作者喜歡閱讀英文書，因?yàn)楹芏嘤⑽臅淖髡甙炎x者當(dāng)小白，總是不厭其煩的解釋，而大多數(shù)中文書不知道是作者水平太高還是太低，總會有太多」顯然」、」易證」的東西。作者寫書也是假設(shè)讀者什么都不懂，所以會很啰嗦)，所以幾年下來寫的內(nèi)容竟然上千頁。出版社的編輯說這么厚的書得賣多少錢啊，這沒法出版。因此把這本書拆分成了兩本：《深度學(xué)習(xí)理論與實(shí)戰(zhàn)：基礎(chǔ)篇》和《深度學(xué)習(xí)理論與實(shí)戰(zhàn)：提高篇》?；A(chǔ)篇已經(jīng)在編輯出版中，預(yù)計(jì)年中可以和讀者見面。提高篇?jiǎng)t更加專業(yè)，不同的人可能只關(guān)注不同的方向，為了小部分內(nèi)容而購買整本書似乎不合算。所以作者把提高篇免費(fèi)開放出來，希望對讀者的學(xué)習(xí)和工作有所裨益。本文會持續(xù)更新，敬請關(guān)注！

草稿目錄

下面是《深度學(xué)習(xí)理論與實(shí)戰(zhàn)：提高篇》草稿的目錄截圖，感謝 ElegantLaTeX 免費(fèi)提供的 Latex 模板。作者在整理時(shí)可能會有所調(diào)整，因此僅供參考。

更多關(guān)于本書詳情，請戳：

http://fancyerii.github.io/2019/03/14/dl-book/

雷鋒網(wǎng) AI 科技評論雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。