0
雷鋒網(wǎng) AI 科技評論按：自從深度學(xué)習(xí)在各項任務(wù)中頻頻取得佳績、人工智能的研究員也越來越受追捧以來，許多人都加入了相關(guān)領(lǐng)域開始工作或者學(xué)習(xí)。不過，除了元老級的教授和研究人員之外，恐怕多數(shù)后來者都不是特別清楚神經(jīng)網(wǎng)絡(luò)的干柴是如何被點燃成熊熊烈火的。
近日 Ian Goodfellow、Fran?ois Chollet、Yann LeCun 等人就在推特上簡單討論了「深度學(xué)習(xí)是怎么火起來的？應(yīng)該歸功給誰？」雷鋒網(wǎng) AI 科技評論把他們的討論內(nèi)容整理如下。
「GANs 之父」、谷歌大腦高級研究員 Ian Goodfellow 首先發(fā)推說道：
「看到很多人把深度學(xué)習(xí)看作是通過反向傳播完成的監(jiān)督學(xué)習(xí)，這事真的很奇怪，要知道 2006 年的深度學(xué)習(xí)革命最初就是基于反向傳播和監(jiān)督學(xué)習(xí)兩件事都不是很奏效的觀點的?！?/p>
在這條推文下面與網(wǎng)友的討論中，Ian Goodfellow 也繼續(xù)補充說明了自己的觀點：
監(jiān)督學(xué)習(xí)和基于梯度的優(yōu)化方法，兩者的實際表現(xiàn)都比人們開始想象的要好，所以做深度學(xué)習(xí)的人才開始用它們了。
（回復(fù)網(wǎng)友「Hinton 的無監(jiān)督預(yù)訓(xùn)練和深度置信網(wǎng)絡(luò)并沒能給深度學(xué)習(xí)帶來什么突破。6 年后使用了監(jiān)督學(xué)習(xí)和反向傳播的 AlexNet 才是突破（當然了還有 GPU、卷積層、ReLU、dropout）」）無監(jiān)督預(yù)訓(xùn)練和深度置信網(wǎng)絡(luò)是另一件 2006 開始的更大的變革的一部分。Yoshua 的實驗室在去噪和壓縮自動編碼器的堆疊上做了很多工作，Yann 的實驗室在預(yù)測性稀疏分解等模型的堆疊上做了很多工作。
Keras作者、谷歌大腦高級研究員 Fran?ois Chollet 幾個小時后也發(fā)出推文：
「我看到很多人都言之鑿鑿地說深度學(xué)習(xí)的大爆發(fā)開始于 Krizhevsky 等人 2012 年的成果。但是我很少看到有人記得 Ciresan 等人也有功勞，他們 2011 年的時候就用 CUDA 實現(xiàn)深度卷積網(wǎng)絡(luò)、在 NVIDIA GPU 上訓(xùn)練，并贏得了圖像分類比賽冠軍。」「我指的是 IJCNN 2011 上的德國交通信號燈識別比賽，以及 ICDAR 2011 中文手寫字符識別比賽?！?/p>
然后（話很多的） Fran?ois Chollet 也在下面評論區(qū)繼續(xù)著討論，「CNN之父」、Facebook 人工智能實驗室總監(jiān) Yann LeCun 也參與了進來：
Fran?ois：我還記得自己在 2014 年的時候問過 Dan Ciresan 怎么看 Torch7，那時候我還是 Torch 用戶。他給我的回答簡單總結(jié)一下是說，他覺得里面的 bug 一串接著一串沒法用，他還是更喜歡用自己寫的 CUDA 代碼。那時候我不太贊同他的立場（現(xiàn)在也不）。
Ian：這篇論文里的卷積網(wǎng)絡(luò)在CUDA出現(xiàn)之前就用了GPU https://hal.inria.fr/inria-00112631/document
Yann：回復(fù) Ian ：沒錯。那個時候（2005 年）微軟研究院的 Patrice Simard 還需要向 NIVIDA 要一些專用文件。把多重卷積操作轉(zhuǎn)換成矩陣乘積比較快的這件事是他的團隊首先發(fā)現(xiàn)的。
Fran?ois：回復(fù) Ian ：你覺得哪個是更大的突破？是卷積網(wǎng)絡(luò)在 GPU 上運行得更快了，還是卷積網(wǎng)絡(luò)可以贏下參與者眾多的圖像分類比賽？
Ian：回復(fù) Fran?ois ：2011 年的時候我也用 GPU 上跑的卷積網(wǎng)絡(luò)贏過機器學(xué)習(xí)比賽（NIPS 的遷移學(xué)習(xí)比賽），不過我沒覺得這是深度學(xué)習(xí)大爆發(fā)的開始
Yann：回復(fù) Fran?ois ：后者更重要。其實在用上 GPU 、拿下交通信號燈比賽冠軍之前，卷積網(wǎng)絡(luò)就在一系列 benchmark 中取得了最佳成績。只是那時候整個社區(qū)還不相信卷積網(wǎng)絡(luò)，或者是覺得這之間沒什么聯(lián)系。ImageNet 比賽改變了這一切。
Fran?ois：回復(fù) Ian ：我覺得沒人會低估 AlexNet 一舉掀起深度學(xué)習(xí)熱潮的重要意義（明擺著的）。不過同時也很難否認這就是當時的浪潮的一部分。討論歸功給誰很復(fù)雜，我們這個社區(qū)在這件事情上并沒有一直做得很好。
Fran?ois：回復(fù) Ian ：再說明白一點：討論做出的貢獻的時候，人們往往會掉進「贏者通吃」的觀念里，把創(chuàng)新的想法看作是逐漸的積累過程，而其實宏觀的趨勢可能要比單個人的貢獻更重要。
討論最后總結(jié)一下，三個人表達的意思分別是：
Ian Goodfellow：神經(jīng)網(wǎng)絡(luò)發(fā)生革命的原因并不是反向傳播和監(jiān)督學(xué)習(xí)，它們只是如虎添翼。GPU 的使用也并不是革命性因素。
Fran?ois Chollet：當時的趨勢就是很多人都在用 GPU 運行神經(jīng)網(wǎng)絡(luò)，我們事后不應(yīng)該只歸功給 AlexNet。
Yann LeCun：在 AlexNet 之前，運行在 GPU 上的卷積神經(jīng)網(wǎng)絡(luò)就已經(jīng)成績斐然，但正是 AlexNet 在 ImageNet 比賽上的亮眼表現(xiàn)成功贏得了整個領(lǐng)域的關(guān)注。
過去的事情畢竟已經(jīng)過去了，不過這簡單的回顧也提醒了我們，一方面不要把反向傳播和有監(jiān)督學(xué)習(xí)看作是深度學(xué)習(xí)的理所當然，另外也要正確認識技術(shù)趨勢和其中涌現(xiàn)出的典型成果之間的關(guān)系。
via Twitter，雷鋒網(wǎng) AI 科技評論整理編譯
相關(guān)文章：
Yann LeCun爆驚人言論：深度學(xué)習(xí)已死？
Yann LeCun 怒噴 Sophia：這就是徹頭徹尾的騙局
“深度學(xué)習(xí)才不是煉金術(shù)”，Yann LeCun為這個和NIPS獲獎?wù)撐淖髡咂饋砹?/a>
奇點后人工智能會大爆發(fā)嗎？Keras作者Fran?ois Chollet：你們想多了，不會的
Ian Goodfellow叒來探討安全問題了，noisy SGD和PATE能滿足傳統(tǒng)計算機安全原則嗎？
MIT TR 35揭曉：阿里巴巴王剛、吳翰清等六位華人當選，Ian Goodfellow上榜
吳恩達親自采訪百度林元慶和谷歌 Ian Goodfellow，他們對剛?cè)腴T者有何忠告？
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
