0
雷鋒網(wǎng) AI 科技評(píng)論按：自從深度學(xué)習(xí)在各項(xiàng)任務(wù)中頻頻取得佳績(jī)、人工智能的研究員也越來(lái)越受追捧以來(lái)，許多人都加入了相關(guān)領(lǐng)域開(kāi)始工作或者學(xué)習(xí)。不過(guò)，除了元老級(jí)的教授和研究人員之外，恐怕多數(shù)后來(lái)者都不是特別清楚神經(jīng)網(wǎng)絡(luò)的干柴是如何被點(diǎn)燃成熊熊烈火的。
近日 Ian Goodfellow、Fran?ois Chollet、Yann LeCun 等人就在推特上簡(jiǎn)單討論了「深度學(xué)習(xí)是怎么火起來(lái)的？應(yīng)該歸功給誰(shuí)？」雷鋒網(wǎng) AI 科技評(píng)論把他們的討論內(nèi)容整理如下。
「GANs 之父」、谷歌大腦高級(jí)研究員 Ian Goodfellow 首先發(fā)推說(shuō)道：
「看到很多人把深度學(xué)習(xí)看作是通過(guò)反向傳播完成的監(jiān)督學(xué)習(xí)，這事真的很奇怪，要知道 2006 年的深度學(xué)習(xí)革命最初就是基于反向傳播和監(jiān)督學(xué)習(xí)兩件事都不是很奏效的觀點(diǎn)的。」
在這條推文下面與網(wǎng)友的討論中，Ian Goodfellow 也繼續(xù)補(bǔ)充說(shuō)明了自己的觀點(diǎn)：
監(jiān)督學(xué)習(xí)和基于梯度的優(yōu)化方法，兩者的實(shí)際表現(xiàn)都比人們開(kāi)始想象的要好，所以做深度學(xué)習(xí)的人才開(kāi)始用它們了。
（回復(fù)網(wǎng)友「Hinton 的無(wú)監(jiān)督預(yù)訓(xùn)練和深度置信網(wǎng)絡(luò)并沒(méi)能給深度學(xué)習(xí)帶來(lái)什么突破。6 年后使用了監(jiān)督學(xué)習(xí)和反向傳播的 AlexNet 才是突破（當(dāng)然了還有 GPU、卷積層、ReLU、dropout）」）無(wú)監(jiān)督預(yù)訓(xùn)練和深度置信網(wǎng)絡(luò)是另一件 2006 開(kāi)始的更大的變革的一部分。Yoshua 的實(shí)驗(yàn)室在去噪和壓縮自動(dòng)編碼器的堆疊上做了很多工作，Yann 的實(shí)驗(yàn)室在預(yù)測(cè)性稀疏分解等模型的堆疊上做了很多工作。
Keras作者、谷歌大腦高級(jí)研究員 Fran?ois Chollet 幾個(gè)小時(shí)后也發(fā)出推文：
「我看到很多人都言之鑿鑿地說(shuō)深度學(xué)習(xí)的大爆發(fā)開(kāi)始于 Krizhevsky 等人 2012 年的成果。但是我很少看到有人記得 Ciresan 等人也有功勞，他們 2011 年的時(shí)候就用 CUDA 實(shí)現(xiàn)深度卷積網(wǎng)絡(luò)、在 NVIDIA GPU 上訓(xùn)練，并贏得了圖像分類比賽冠軍?！埂肝抑傅氖?IJCNN 2011 上的德國(guó)交通信號(hào)燈識(shí)別比賽，以及 ICDAR 2011 中文手寫字符識(shí)別比賽。」
然后（話很多的） Fran?ois Chollet 也在下面評(píng)論區(qū)繼續(xù)著討論，「CNN之父」、Facebook 人工智能實(shí)驗(yàn)室總監(jiān) Yann LeCun 也參與了進(jìn)來(lái)：
Fran?ois：我還記得自己在 2014 年的時(shí)候問(wèn)過(guò) Dan Ciresan 怎么看 Torch7，那時(shí)候我還是 Torch 用戶。他給我的回答簡(jiǎn)單總結(jié)一下是說(shuō)，他覺(jué)得里面的 bug 一串接著一串沒(méi)法用，他還是更喜歡用自己寫的 CUDA 代碼。那時(shí)候我不太贊同他的立場(chǎng)（現(xiàn)在也不）。
Ian：這篇論文里的卷積網(wǎng)絡(luò)在CUDA出現(xiàn)之前就用了GPU https://hal.inria.fr/inria-00112631/document
Yann：回復(fù) Ian ：沒(méi)錯(cuò)。那個(gè)時(shí)候（2005 年）微軟研究院的 Patrice Simard 還需要向 NIVIDA 要一些專用文件。把多重卷積操作轉(zhuǎn)換成矩陣乘積比較快的這件事是他的團(tuán)隊(duì)首先發(fā)現(xiàn)的。
Fran?ois：回復(fù) Ian ：你覺(jué)得哪個(gè)是更大的突破？是卷積網(wǎng)絡(luò)在 GPU 上運(yùn)行得更快了，還是卷積網(wǎng)絡(luò)可以贏下參與者眾多的圖像分類比賽？
Ian：回復(fù) Fran?ois ：2011 年的時(shí)候我也用 GPU 上跑的卷積網(wǎng)絡(luò)贏過(guò)機(jī)器學(xué)習(xí)比賽（NIPS 的遷移學(xué)習(xí)比賽），不過(guò)我沒(méi)覺(jué)得這是深度學(xué)習(xí)大爆發(fā)的開(kāi)始
Yann：回復(fù) Fran?ois ：后者更重要。其實(shí)在用上 GPU 、拿下交通信號(hào)燈比賽冠軍之前，卷積網(wǎng)絡(luò)就在一系列 benchmark 中取得了最佳成績(jī)。只是那時(shí)候整個(gè)社區(qū)還不相信卷積網(wǎng)絡(luò)，或者是覺(jué)得這之間沒(méi)什么聯(lián)系。ImageNet 比賽改變了這一切。
Fran?ois：回復(fù) Ian ：我覺(jué)得沒(méi)人會(huì)低估 AlexNet 一舉掀起深度學(xué)習(xí)熱潮的重要意義（明擺著的）。不過(guò)同時(shí)也很難否認(rèn)這就是當(dāng)時(shí)的浪潮的一部分。討論歸功給誰(shuí)很復(fù)雜，我們這個(gè)社區(qū)在這件事情上并沒(méi)有一直做得很好。
Fran?ois：回復(fù) Ian ：再說(shuō)明白一點(diǎn)：討論做出的貢獻(xiàn)的時(shí)候，人們往往會(huì)掉進(jìn)「贏者通吃」的觀念里，把創(chuàng)新的想法看作是逐漸的積累過(guò)程，而其實(shí)宏觀的趨勢(shì)可能要比單個(gè)人的貢獻(xiàn)更重要。
討論最后總結(jié)一下，三個(gè)人表達(dá)的意思分別是：
Ian Goodfellow：神經(jīng)網(wǎng)絡(luò)發(fā)生革命的原因并不是反向傳播和監(jiān)督學(xué)習(xí)，它們只是如虎添翼。GPU 的使用也并不是革命性因素。
Fran?ois Chollet：當(dāng)時(shí)的趨勢(shì)就是很多人都在用 GPU 運(yùn)行神經(jīng)網(wǎng)絡(luò)，我們事后不應(yīng)該只歸功給 AlexNet。
Yann LeCun：在 AlexNet 之前，運(yùn)行在 GPU 上的卷積神經(jīng)網(wǎng)絡(luò)就已經(jīng)成績(jī)斐然，但正是 AlexNet 在 ImageNet 比賽上的亮眼表現(xiàn)成功贏得了整個(gè)領(lǐng)域的關(guān)注。
過(guò)去的事情畢竟已經(jīng)過(guò)去了，不過(guò)這簡(jiǎn)單的回顧也提醒了我們，一方面不要把反向傳播和有監(jiān)督學(xué)習(xí)看作是深度學(xué)習(xí)的理所當(dāng)然，另外也要正確認(rèn)識(shí)技術(shù)趨勢(shì)和其中涌現(xiàn)出的典型成果之間的關(guān)系。
via Twitter，雷鋒網(wǎng) AI 科技評(píng)論整理編譯
相關(guān)文章：
Yann LeCun爆驚人言論：深度學(xué)習(xí)已死？
Yann LeCun 怒噴 Sophia：這就是徹頭徹尾的騙局
“深度學(xué)習(xí)才不是煉金術(shù)”，Yann LeCun為這個(gè)和NIPS獲獎(jiǎng)?wù)撐淖髡咂饋?lái)了
奇點(diǎn)后人工智能會(huì)大爆發(fā)嗎？Keras作者Fran?ois Chollet：你們想多了，不會(huì)的
Ian Goodfellow叒來(lái)探討安全問(wèn)題了，noisy SGD和PATE能滿足傳統(tǒng)計(jì)算機(jī)安全原則嗎？
MIT TR 35揭曉：阿里巴巴王剛、吳翰清等六位華人當(dāng)選，Ian Goodfellow上榜
吳恩達(dá)親自采訪百度林元慶和谷歌 Ian Goodfellow，他們對(duì)剛?cè)腴T者有何忠告？
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
