編者按：深度學(xué)習(xí)領(lǐng)域泰斗級(jí)人物 Yann LeCun 是 Quora上非常踴躍的答者，他樂(lè)于分享自己的心得體會(huì)。例如，有人問(wèn)“你最喜歡的機(jī)器學(xué)習(xí)算法是什么？”，Yann LeCun 的回答是“Backdrop”。深度學(xué)習(xí)是新興領(lǐng)域，很多人想要學(xué)習(xí)，也不知如何入手，所以 Quora上有很多關(guān)于“如何學(xué)習(xí)深度學(xué)習(xí)技術(shù)”的問(wèn)題，Yann LeCun 在一些問(wèn)題下面給出了一些自己的見(jiàn)解，雷鋒網(wǎng)據(jù)此整理編輯成本文，供讀者參考。

問(wèn)：自學(xué)機(jī)器學(xué)習(xí)技術(shù)，你有哪些建議？

在網(wǎng)上有很多關(guān)于Machine Learning 的材料、教程和視頻課程，包括 Coursera 上的一些大學(xué)課程。這里我主要講講深度學(xué)習(xí)領(lǐng)域。

你可以在網(wǎng)上聽(tīng)一些指導(dǎo)性課程和演講，對(duì)深度學(xué)習(xí)有一個(gè)大致的了解。里面我比較推薦的有：

• 2015年5月《自然》上刊登的一篇概述性論文《深度學(xué)習(xí)》（Deep learning），由我自己、Yoshua Bengio 、Geoff Hinton共同撰寫(xiě)。（網(wǎng)址：http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html）

• 系統(tǒng)性的課本方面，我推薦由 Goodfellow、Bengio 和 Courville共同撰寫(xiě)的《深度學(xué)習(xí)》（Deep learning）（這個(gè)在網(wǎng)上有HTML版本，本書(shū)旨在幫助學(xué)生和從業(yè)人員入門機(jī)器學(xué)習(xí)，尤其是深度學(xué)習(xí)領(lǐng)域。HTML版本已經(jīng)編輯完成，并且永久免費(fèi)。網(wǎng)址：http://www.deeplearningbook.org/）

• 我曾在巴黎法蘭西公學(xué)院開(kāi)課，其中有8堂課是關(guān)于深度學(xué)習(xí)，當(dāng)時(shí)是用法語(yǔ)講課，現(xiàn)在加上了英文版本。

法語(yǔ)版網(wǎng)址：Accueil 

英語(yǔ)版網(wǎng)址：Home

• Coursera 上面有 Geoff Hinton 關(guān)于神經(jīng)網(wǎng)絡(luò)的視頻課程（不過(guò)從現(xiàn)在的角度看，內(nèi)容稍微有點(diǎn)過(guò)時(shí)了）

• 2012 年 IPAM 上針對(duì)研究生的“深度學(xué)習(xí)和特征學(xué)習(xí)夏季課程”（這個(gè)夏季課程的授課老師包括 Geoff Hinton 、Yann LeCun、吳恩達(dá)、Yoshua Bengio等眾多深度學(xué)習(xí)專家，歷時(shí)半個(gè)多月時(shí)間，網(wǎng)上有完整視頻錄像，網(wǎng)址：http://www.ipam.ucla.edu/programs/summer-schools/graduate-summer-school-deep-learning-feature-learning/?tab=schedule）

• 2015 年我在紐約大學(xué)開(kāi)了一門“深度學(xué)習(xí)”的課程，當(dāng)時(shí)錄成視頻放到了網(wǎng)上，但是由于愚蠢的法律原因，視頻現(xiàn)在已經(jīng)不在了，但 PPT 還在。2017 年春天我會(huì)重新在紐約大學(xué)教這門課。網(wǎng)址：http://cilvr.nyu.edu/doku.php?id=deeplearning2015%3Aschedule）

• 2015年在加拿大蒙特利爾市舉行了“深度學(xué)習(xí)夏季課程”（該課程的對(duì)象為：已經(jīng)具備的機(jī)器學(xué)習(xí)基本知識(shí)的研究生、業(yè)界工程師和研究人員，授課量十分豐富。網(wǎng)址：http://videolectures.net/deeplearning2015_montreal/）

• 另外，我還推薦一些關(guān)于特定平臺(tái)的使用教程，比如Torch、TensorFlow 和 Theano。

問(wèn)：如果一名本科生想要成為深度學(xué)習(xí)領(lǐng)域的研究型科學(xué)家，你有什么建議？

首先，盡你所能，把所有具有連續(xù)性的數(shù)學(xué)和物理課都上一遍。如果必須要在“iOS 編程”和“量子力學(xué)”之間選一門，一定要選后者。在任何情況下，都要上微積分（I）、 微積分（II）, 微積分（III）、線性代數(shù)、概率論和統(tǒng)計(jì)學(xué)，另外盡可能多的去聽(tīng)物理學(xué)的課程。同時(shí)，還是要確保學(xué)習(xí)編程。

為什么物理學(xué)這么重要？因?yàn)槲锢韺W(xué)發(fā)明了很多數(shù)學(xué)方法，來(lái)給真實(shí)世界建模。比如，貝葉斯推理（BayesIan inference）在本質(zhì)上與統(tǒng)計(jì)力學(xué)（Statistical Mechanics）是相同的，反向傳播算法（ Backpropagation）可以看作是經(jīng)典力學(xué)里拉格朗日算符（Lagrangian）的一種簡(jiǎn)單應(yīng)用。圖模型里的前向算法（ Forward Algorithm）是一種廣泛應(yīng)用于量子力學(xué)的路徑積分（Path Integral）。物理，能夠教你如何使用傅里葉變換（“海森伯不確定原理”的基石）、最大熵原理、配分函數(shù)、蒙特卡洛法、熱處理、波爾茲曼分布、動(dòng)力系統(tǒng)、混沌等等。

1. 選一個(gè)你感興趣的與 AI 有關(guān)的問(wèn)題。

2. 然后獨(dú)立對(duì)這個(gè)問(wèn)題進(jìn)行思考。

3. 一旦你形成了自己的想法，就開(kāi)始閱讀圍繞這個(gè)問(wèn)題的相關(guān)文獻(xiàn)。

4. 你將會(huì)發(fā)現(xiàn)（a）你之前的想法有點(diǎn)幼稚，但是（b）你對(duì)該問(wèn)題的看法開(kāi)始有點(diǎn)不一樣了。

5. 在你就讀的學(xué)校里，找到一個(gè)教授，他可以幫你把想法具體化。這或許有點(diǎn)困難，因?yàn)榻淌趥兌己苊?，沒(méi)有多少時(shí)間來(lái)指導(dǎo)本科生。有很多空余時(shí)間的教授往往很年輕，而那些年紀(jì)比較大的教授，又往往不再活躍在研究圈子里。

6. 如果你找到一個(gè)合適的教授，但他沒(méi)有空余時(shí)間指導(dǎo)你，那么你可以轉(zhuǎn)而去“勾搭”他/她實(shí)驗(yàn)室里的博士后或博士生。

7. 問(wèn)問(wèn)這個(gè)教授，是否可以讓你去參加他/她實(shí)驗(yàn)室里的會(huì)議和研討，或者只是在他們開(kāi)會(huì)的時(shí)候旁聽(tīng)也行。

8. 在你本科畢業(yè)之前，嘗試著寫(xiě)一篇關(guān)于你研究工作的論文，或者在網(wǎng)上公布一些開(kāi)源代碼。

9. 現(xiàn)在，你可以去申請(qǐng)  PhD 項(xiàng)目了。不要去管所謂的學(xué)?！芭琶保欢ㄒ夷愀信d趣領(lǐng)域里有聲譽(yù)的教授，他論文你很喜歡或欽佩。

10. 你可以同時(shí)申請(qǐng)幾個(gè)學(xué)校的 PhD 項(xiàng)目，當(dāng)然選擇的時(shí)候參考上條標(biāo)準(zhǔn)。在申請(qǐng)信里，你要提到你很希望跟這個(gè)教授一起工作，但是也愿意與其他教授一起。

11. 問(wèn)一問(wèn)你的本科教授，請(qǐng)他幫你寫(xiě)一封推薦信。如果你的本科教授與你所申請(qǐng)的 PhD 項(xiàng)目教授認(rèn)識(shí)，那么將是非常有利的。

12. 如果你沒(méi)有錄取到自己心儀的 PhD 項(xiàng)目，可以到Facebook或谷歌工作，并且嘗試去FAIR 或Google Brain 實(shí)驗(yàn)室做一個(gè)工程師，來(lái)協(xié)助實(shí)驗(yàn)室里科學(xué)家的工作。

13. 發(fā)表與公司實(shí)驗(yàn)室里課題有關(guān)的論文，然后重新申請(qǐng) PhD 項(xiàng)目，并且讓 FAIR 或 Google Brain 實(shí)驗(yàn)室里的科學(xué)家?guī)湍銓?xiě)推薦信。

問(wèn)：在未來(lái)5-10年內(nèi)，AI 將可能朝哪些方向發(fā)展？

有很多人在致力于不同的領(lǐng)域，并取得了非常好的進(jìn)展：

1. 深度學(xué)習(xí)與推理和規(guī)劃相結(jié)合。

2. 基于模型的深度強(qiáng)化學(xué)習(xí)（涉及到無(wú)監(jiān)管預(yù)測(cè)型學(xué)習(xí)）。

3. 經(jīng)由可辨的記憶模塊鞏固加強(qiáng)的遞歸神經(jīng)網(wǎng)絡(luò)（例如，記憶網(wǎng)絡(luò)）：

   a. 記憶網(wǎng)絡(luò)(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AumqufdRvDiIC）
   b. 堆棧增強(qiáng)的RNN(FAIR)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=oBu8kMMAAAAJ&sortby=pubdate&citation_for_view=oBu8kMMAAAAJ%3AgKiMpY-AVTkC）
   c. 神經(jīng)圖錄機(jī)(DeepMind)（網(wǎng)址：https://arxiv.org/abs/1410.5401）
   d. 端對(duì)端型MemNN (FAIR/NYU)（網(wǎng)址：https://scholar.google.com/citations?view_op=view_citation&hl=en&user=lMkTx0EAAAAJ&sortby=pubdate&citation_for_view=lMkTx0EAAAAJ%3AKbBQZpvPDL4C）
   

4. 經(jīng)過(guò)對(duì)抗性訓(xùn)練得到的生成型（預(yù)測(cè)）模型。

5. “微程序設(shè)計(jì)”：其核心思想----將程序（或電路）看作可通過(guò)Backdrop進(jìn)行訓(xùn)練的微模塊。這一思想表明深度學(xué)習(xí)不僅可以學(xué)會(huì)識(shí)別模型（如前饋神經(jīng)網(wǎng)），而且可以生成算法（如循環(huán)算法，遞歸算法，子程序算法等）。從DeepMind、FAIR及其他資源中可獲得一些相關(guān)方面的文章，但是，這些僅僅是初級(jí)階段的成果。

6. 分層規(guī)劃與分層強(qiáng)化學(xué)習(xí)：這是學(xué)習(xí)將一個(gè)復(fù)雜的任務(wù)拆分成一些簡(jiǎn)單的子任務(wù)的問(wèn)題所在，是所有智能系統(tǒng)要滿足的要求。

7. 對(duì)外界事物的無(wú)監(jiān)管學(xué)習(xí)預(yù)測(cè)模型（例如，視頻預(yù)測(cè)）。

如果未來(lái)幾年 AI 能在這些方向取得重大發(fā)展，那么將會(huì)涌現(xiàn)大量更為智慧的AI 智能體，應(yīng)用于對(duì)話系統(tǒng)、問(wèn)答、適應(yīng)性的機(jī)器人控制與規(guī)劃等領(lǐng)域 。

構(gòu)建出無(wú)監(jiān)督學(xué)習(xí)方法，這是一大挑戰(zhàn)。但這將允許大型神經(jīng)網(wǎng)絡(luò)在沒(méi)有直接人工注釋數(shù)據(jù)的情況下，通過(guò)看視頻、閱讀書(shū)本便能夠“學(xué)習(xí)現(xiàn)實(shí)世界是如何運(yùn)轉(zhuǎn)的”。

這將最終衍生出對(duì)現(xiàn)實(shí)世界有足夠了解的機(jī)器，它們開(kāi)始具有人類的“常識(shí)”。要實(shí)現(xiàn)這一目標(biāo)，可能會(huì)花費(fèi)5年、10年、20年，甚至更久的時(shí)間，我們尚不能確定具體的期限。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。