編者按：深度學習領(lǐng)域泰斗級人物 Yann LeCun 是 Quora上非常踴躍的答者，他樂于分享自己的心得體會。例如，有人問“你最喜歡的機器學習算法是什么？”，Yann LeCun 的回答是“Backdrop”。深度學習是新興領(lǐng)域，很多人想要學習，也不知如何入手，所以 Quora上有很多關(guān)于“如何學習深度學習技術(shù)”的問題，Yann LeCun 在一些問題下面給出了一些自己的見解，雷鋒網(wǎng)據(jù)此整理編輯成本文，供讀者參考。

問：自學機器學習技術(shù)，你有哪些建議？

在網(wǎng)上有很多關(guān)于Machine Learning 的材料、教程和視頻課程，包括 Coursera 上的一些大學課程。這里我主要講講深度學習領(lǐng)域。

你可以在網(wǎng)上聽一些指導性課程和演講，對深度學習有一個大致的了解。里面我比較推薦的有：

• 2015年5月《自然》上刊登的一篇概述性論文《深度學習》（Deep learning），由我自己、Yoshua Bengio 、Geoff Hinton共同撰寫。（網(wǎng)址：http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html）

• 系統(tǒng)性的課本方面，我推薦由 Goodfellow、Bengio 和 Courville共同撰寫的《深度學習》（Deep learning）（這個在網(wǎng)上有HTML版本，本書旨在幫助學生和從業(yè)人員入門機器學習，尤其是深度學習領(lǐng)域。HTML版本已經(jīng)編輯完成，并且永久免費。網(wǎng)址：http://www.deeplearningbook.org/）

• 我曾在巴黎法蘭西公學院開課，其中有8堂課是關(guān)于深度學習，當時是用法語講課，現(xiàn)在加上了英文版本。

法語版網(wǎng)址：Accueil 

英語版網(wǎng)址：Home

• Coursera 上面有 Geoff Hinton 關(guān)于神經(jīng)網(wǎng)絡的視頻課程（不過從現(xiàn)在的角度看，內(nèi)容稍微有點過時了）

• 2012 年 IPAM 上針對研究生的“深度學習和特征學習夏季課程”（這個夏季課程的授課老師包括 Geoff Hinton 、Yann LeCun、吳恩達、Yoshua Bengio等眾多深度學習專家，歷時半個多月時間，網(wǎng)上有完整視頻錄像，網(wǎng)址：http://www.ipam.ucla.edu/programs/summer-schools/graduate-summer-school-deep-learning-feature-learning/?tab=schedule）

• 2015 年我在紐約大學開了一門“深度學習”的課程，當時錄成視頻放到了網(wǎng)上，但是由于愚蠢的法律原因，視頻現(xiàn)在已經(jīng)不在了，但 PPT 還在。2017 年春天我會重新在紐約大學教這門課。網(wǎng)址：http://cilvr.nyu.edu/doku.php?id=deeplearning2015%3Aschedule）

• 2015年在加拿大蒙特利爾市舉行了“深度學習夏季課程”（該課程的對象為：已經(jīng)具備的機器學習基本知識的研究生、業(yè)界工程師和研究人員，授課量十分豐富。網(wǎng)址：http://videolectures.net/deeplearning2015_montreal/）

• 另外，我還推薦一些關(guān)于特定平臺的使用教程，比如Torch、TensorFlow 和 Theano。

問：如果一名本科生想要成為深度學習領(lǐng)域的研究型科學家，你有什么建議？

首先，盡你所能，把所有具有連續(xù)性的數(shù)學和物理課都上一遍。如果必須要在“iOS 編程”和“量子力學”之間選一門，一定要選后者。在任何情況下，都要上微積分（I）、 微積分（II）, 微積分（III）、線性代數(shù)、概率論和統(tǒng)計學，另外盡可能多的去聽物理學的課程。同時，還是要確保學習編程。

為什么物理學這么重要？因為物理學發(fā)明了很多數(shù)學方法，來給真實世界建模。比如，貝葉斯推理（BayesIan inference）在本質(zhì)上與統(tǒng)計力學（Statistical Mechanics）是相同的，反向傳播算法（ Backpropagation）可以看作是經(jīng)典力學里拉格朗日算符（Lagrangian）的一種簡單應用。圖模型里的前向算法（ Forward Algorithm）是一種廣泛應用于量子力學的路徑積分（Path Integral）。物理，能夠教你如何使用傅里葉變換（“海森伯不確定原理”的基石）、最大熵原理、配分函數(shù)、蒙特卡洛法、熱處理、波爾茲曼分布、動力系統(tǒng)、混沌等等。

1. 選一個你感興趣的與 AI 有關(guān)的問題。

2. 然后獨立對這個問題進行思考。

3. 一旦你形成了自己的想法，就開始閱讀圍繞這個問題的相關(guān)文獻。

4. 你將會發(fā)現(xiàn)（a）你之前的想法有點幼稚，但是（b）你對該問題的看法開始有點不一樣了。

5. 在你就讀的學校里，找到一個教授，他可以幫你把想法具體化。這或許有點困難，因為教授們都很忙，沒有多少時間來指導本科生。有很多空余時間的教授往往很年輕，而那些年紀比較大的教授，又往往不再活躍在研究圈子里。

6. 如果你找到一個合適的教授，但他沒有空余時間指導你，那么你可以轉(zhuǎn)而去“勾搭”他/她實驗室里的博士后或博士生。

7. 問問這個教授，是否可以讓你去參加他/她實驗室里的會議和研討，或者只是在他們開會的時候旁聽也行。

8. 在你本科畢業(yè)之前，嘗試著寫一篇關(guān)于你研究工作的論文，或者在網(wǎng)上公布一些開源代碼。

9. 現(xiàn)在，你可以去申請  PhD 項目了。不要去管所謂的學?！芭琶?，一定要找你感興趣領(lǐng)域里有聲譽的教授，他論文你很喜歡或欽佩。

10. 你可以同時申請幾個學校的 PhD 項目，當然選擇的時候參考上條標準。在申請信里，你要提到你很希望跟這個教授一起工作，但是也愿意與其他教授一起。

11. 問一問你的本科教授，請他幫你寫一封推薦信。如果你的本科教授與你所申請的 PhD 項目教授認識，那么將是非常有利的。

12. 如果你沒有錄取到自己心儀的 PhD 項目，可以到Facebook或谷歌工作，并且嘗試去FAIR 或Google Brain 實驗室做一個工程師，來協(xié)助實驗室里科學家的工作。

13. 發(fā)表與公司實驗室里課題有關(guān)的論文，然后重新申請 PhD 項目，并且讓 FAIR 或 Google Brain 實驗室里的科學家?guī)湍銓懲扑]信。

問：在未來5-10年內(nèi)，AI 將可能朝哪些方向發(fā)展？

有很多人在致力于不同的領(lǐng)域，并取得了非常好的進展：

1. 深度學習與推理和規(guī)劃相結(jié)合。

2. 基于模型的深度強化學習（涉及到無監(jiān)管預測型學習）。

3. 經(jīng)由可辨的記憶模塊鞏固加強的遞歸神經(jīng)網(wǎng)絡（例如，記憶網(wǎng)絡）：

   a. 記憶網(wǎng)絡(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AumqufdRvDiIC）
   b. 堆棧增強的RNN(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=oBu8kMMAAAAJ&sortby=pubdate&citation_for_view=oBu8kMMAAAAJ%3AgKiMpY-AVTkC）
   c. 神經(jīng)圖錄機(DeepMind)（網(wǎng)址：https://arxiv.org/abs/1410.5401）
   d. 端對端型MemNN (FAIR/NYU)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AKbBQZpvPDL4C）
   

4. 經(jīng)過對抗性訓練得到的生成型（預測）模型。

5. “微程序設(shè)計”：其核心思想----將程序（或電路）看作可通過Backdrop進行訓練的微模塊。這一思想表明深度學習不僅可以學會識別模型（如前饋神經(jīng)網(wǎng)），而且可以生成算法（如循環(huán)算法，遞歸算法，子程序算法等）。從DeepMind、FAIR及其他資源中可獲得一些相關(guān)方面的文章，但是，這些僅僅是初級階段的成果。

6. 分層規(guī)劃與分層強化學習：這是學習將一個復雜的任務拆分成一些簡單的子任務的問題所在，是所有智能系統(tǒng)要滿足的要求。

7. 對外界事物的無監(jiān)管學習預測模型（例如，視頻預測）。

如果未來幾年 AI 能在這些方向取得重大發(fā)展，那么將會涌現(xiàn)大量更為智慧的AI 智能體，應用于對話系統(tǒng)、問答、適應性的機器人控制與規(guī)劃等領(lǐng)域 。

構(gòu)建出無監(jiān)督學習方法，這是一大挑戰(zhàn)。但這將允許大型神經(jīng)網(wǎng)絡在沒有直接人工注釋數(shù)據(jù)的情況下，通過看視頻、閱讀書本便能夠“學習現(xiàn)實世界是如何運轉(zhuǎn)的”。

這將最終衍生出對現(xiàn)實世界有足夠了解的機器，它們開始具有人類的“常識”。要實現(xiàn)這一目標，可能會花費5年、10年、20年，甚至更久的時間，我們尚不能確定具體的期限。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。