0
| 本文作者： 楊曉凡 | 2017-08-11 16:26 |
雷鋒網(wǎng) AI 科技評論按：隨著吳恩達公開 Deeplearning.ai 系列深度學習課程，他也出人意料地放出了一系列主題為“The Heros in Deep Learning”的采訪視頻。吳恩達親自上陣采訪了“深度學習教父” Geoffery Hinton、“GANs之父” Ian Goodfellow、“深度學習三駕馬車”中另一位 Yoshua Bengio 、UC伯克利教授 Pieter Abbeel 、百度研究院院長林元慶 、“深度學習網(wǎng)紅”Andrej Karpathy、蘋果機器學習總監(jiān) Ruslan Salakhutdinov 這7位深度學習界重要人物。
吳恩達此舉的目的之一當然是宣傳推廣 Deeplearning.ai ，但他也希望大家從課程中了解深度學習的技術(shù)思維之后，也能夠認識幾位深度學習界的重要人物，他們在這個領(lǐng)域的創(chuàng)立和發(fā)揚光大中發(fā)揮了很大的作用。而且他還請這些重要人物們給新入門的人提一提職業(yè)建議，應該如何進行研究，或者如何找到工作。
林元慶是現(xiàn)任百度深度學習實驗室（IDL）主任，擁有清華大學光學工程碩士學位和賓夕法尼亞大學電氣工程博士學位。林元慶在機器學習和計算機視覺等研究領(lǐng)域擁有多年的研究經(jīng)驗和顯著的成果，曾擔任NIPS大會領(lǐng)域主席、大規(guī)模視覺識別和檢索國際研討會聯(lián)合主席等。在加入百度前，曾帶領(lǐng)NEC的研究團隊在深度學習、計算機視覺和無人駕駛等領(lǐng)域取得世界領(lǐng)先水平。
另一方面，今年2月，國家發(fā)改委正式批復由百度牽頭籌建深度學習技術(shù)及應用國家工程實驗室，實驗室將由百度深度學習實驗室主任林元慶、百度深度學習實驗室科學家徐偉、清華大學張鈸院士和北京航空航天大學李未院士組成團隊。除了牽頭方百度外，實驗室共建單位還有清華大學、北京航空航天大學、中國信息通信研究院、中國電子技術(shù)標準化研究院等單位。
吳恩達：謝謝元慶，很榮幸可以邀請您參加這次采訪！那么，現(xiàn)在您擔任著百度研究院的院長，中國政府想要建立一個全國性的深度學習研究院（雷鋒網(wǎng) AI 科技評論注：深度學習技術(shù)及應用國家工程實驗室）的時候也選擇了您來負責牽頭，那在我看來，您就是全中國最重量級的深度學習專家。關(guān)于您的研究我有很多問題想問，不過在此之前，我想先請您講講您自己的故事，您是如何一步步來到今天的位置的？
林元慶：好的。其實在我讀博之前，我的專業(yè)是光學，更接近做物理的，我也就有很不錯的數(shù)學背景。后來當我來到美國，我也在考慮博士應該讀什么專業(yè)，是繼續(xù)讀光學還是讀別的。那時是2000年前后，微電子技術(shù)非常熱門，但是我想要選一個更刺激的。那時剛好有個好機會去賓夕法尼亞大學聽了幾節(jié) Daniel D. Lee 的課，后來他也就是我的博士生導師。當時聽完課以后的感覺是，機器學習是一件很有意思的事情，我覺得很激動，就換了專業(yè)，在賓大讀了機器學習的博士學位。我在那里待了5年，始終都讓我覺得很帶勁，有很多事情都是從零學起的，很多算法、甚至PCA，我在那之前都不知道，每天都有新東西學，對我來說是一段非常有意思的經(jīng)歷。
吳恩達：那時候有很多著名的學者做出了很多研究，但是都沒有得到足夠的重視。
林元慶：對的。NEC也是一個有趣的地方，我在那里一開始是研究員，在那里也是學到了很多新東西。我也就是在NEC的時候開始研究計算機視覺的，其實開始的挺遲的，相對比較遲。我在那里做的第一件大事就是參加了 ImageNet 比賽，還是比賽的第一屆，我?guī)Я艘粋€團隊在研究。我覺得特別幸運，我們團隊很強，最后真的拿下了比賽第一名。
吳恩達：世界上第一個贏得 ImageNet 比賽的人
林元慶：沒錯，而且我也是在 workshop 上做演講的那個人，這段經(jīng)歷很美妙。這也是讓我走向超大規(guī)模機器視覺方向的一件事，從那以后我研究的都是很大規(guī)模的計算機視覺問題。到后來 AlexNet 之類的網(wǎng)絡出現(xiàn)的時候我覺得很震驚，我心里說“深度學習真的很厲害”。我也就是做了很多這方面的研究。
吳恩達：那么作為深度學習國家級實驗室的負責人，您肯定在里面領(lǐng)導著很多有趣的研究吧？其中有可以講給全球的觀眾們聽聽的嗎？
林元慶：這個國家級實驗室的目標是建立超大規(guī)模的深度學習平臺，甚至建立全球最大的平臺，起碼中國最大吧。在這樣的平臺上，我們可以給研究者提供深度學習框架，比如PaddlePaddle，還有計算技能和資源，以及超大規(guī)模的數(shù)據(jù)。如果有人能夠借助平臺做研究、開發(fā)出新技術(shù)，我們也會給他們提供應用的機會，比如把新技術(shù)對接到百度中，新技術(shù)就可以迭代、升級。所以我們就是把這些資源整合到一起，從而成為一個強大的平臺，而且還可以，比如有人發(fā)布了一項研究成果，別人想要重復他的結(jié)果的話，就需要找地方下載代碼到自己的電腦里，要找到他用的數(shù)據(jù)集，還要能夠正確地配置代碼才能讓模型跑起來，都會花不少的功夫。在國家級實驗室的平臺上，這些事情都會變得輕松很多，如果研究是在平臺上進行的，平臺上就會有這些代碼，代碼的計算環(huán)境也是設(shè)置好的，數(shù)據(jù)集也是現(xiàn)成的，要重復結(jié)果的話，輸一行指令就好了。這樣就基本解決了計算機科學方面的重復性問題，幾乎是幾秒鐘時間就可以開始運行在別人論文中看到的成果。這樣的事情就很厲害，這也就是我們在國家級實驗室做的事情之一，來保證我們給機器學習的研究和工業(yè)界提供了非常強大的平臺。
吳恩達：這個很棒啊，能大大加速深度學習的研究進程。能不能介紹一下為了建立這個國家級實驗室，中國政府都提供了多少資源呢？
林元慶：中國政府提供了許多資金構(gòu)建這個國家級工程實驗室的基礎(chǔ)設(shè)施，但是我覺得更重要的是這件事會成為國內(nèi)的一件標志性的事件，引發(fā)更多的人進行深度學習研究，比如國家級項目、政策支持等等。這樣就會形成強大的力量。對百度來說，這個實驗室也是一件大事。
吳恩達：您是中國深度學習界的核心人物之一，不過全球研究者的了解還不多。您有哪些關(guān)于中國深度學習的事情是想告訴中國之外的人的嗎？
林元慶：我覺得在過去幾年中，深度學習驅(qū)動的產(chǎn)品在爆發(fā)式增長，從搜索引擎、詞語識別，到安防、電子商務，有非常多的應用，它們也都在深度學習方面做出了很多努力，真的借助這些技術(shù)把自己的產(chǎn)品變得非常強大。總的來說這樣的環(huán)境對 AI 技術(shù)的研究也有很大意義，不僅是我，很多人都覺得形成一個“正向循環(huán)”是非常重要的。比如當我們考慮用技術(shù)構(gòu)建應用的時候，我們有一些初始數(shù)據(jù)，有一些初始算法，發(fā)布一個初始的產(chǎn)品；然后就可以從用戶獲得數(shù)據(jù)，獲得更多的數(shù)據(jù)就可以構(gòu)建更好的算法，更多數(shù)據(jù)和更好的算法就可以帶來更好的技術(shù)、更好的產(chǎn)品，那么就可以吸引更多的用戶，就又有了更多的數(shù)據(jù)。這就是一個正向循環(huán)，而且也是人工智能相關(guān)的技術(shù)特有的現(xiàn)象。傳統(tǒng)的技術(shù)就不是這樣，比如激光，我學過激光嘛，那么傳統(tǒng)技術(shù)的發(fā)展就比較線性，而人工智能技術(shù)因為有這樣的正向循環(huán)，就很容易想象在某個點上一定會出現(xiàn)技術(shù)的飛速增長。我們在研發(fā)開發(fā)中也會很看重這樣的過程，我們研究這個規(guī)律，來讓自己更快地達到這個飛速增長的點。如果我們商業(yè)模式?jīng)]辦法形成這樣的正向循環(huán)，我們可能就不會沿那個方向走下去，因為別人可能會有很強的商業(yè)模式、很強的循環(huán)、更快地達到高技術(shù)水平。這就是我們公司里在挑選做哪些方向的時候的重要邏輯。
吳恩達：現(xiàn)在美國、在全球有很多人想要參與到深度學習和人工智能中來，您對想要加入的人有什么建議嗎？
林元慶：現(xiàn)在的人有很多開源框架可以作為入門的選擇，對初學者來說這些框架功能很強大。當我剛開始學習深度學習的時候，沒什么開源資源?，F(xiàn)在在人工智能方面，尤其是深度學習，有很多的開源資源，是非常好的研究社區(qū)，有很多個很好的深度學習框架，比如TensorFlow、Caffe，現(xiàn)在都已經(jīng)是Caffe2了，在中國還有PaddlePaddle也很不錯。大多數(shù)框架都能找到許多線上課程教你如何使用，公開的benchmark也有很多，人們可以去圍觀那些厲害的、有經(jīng)驗的研究者，看看他們的表現(xiàn)如何。所以想要了解深度學習的話，這些方面都很方便起步。
吳恩達：您對深度學習的深入了解是如何形成的？
林元慶：我其實跟剛才說的剛好相反，我先接觸的都是 PCA、LDA 等等數(shù)學方法，然后才開始做深度學習。不過我覺得這個方式也不錯，構(gòu)建了很多基礎(chǔ)、學了圖模型。現(xiàn)在深度學習當然是主流，不過有這些知識的話，就對深度學習的運行方式有了更好的直覺。深度學習和這些基礎(chǔ)框架之間本來也有各種聯(lián)系，這些知識也會讓這種聯(lián)系更緊密，也讓做深度學習的方式更加豐富。所以我覺得從那些強大的開源框架開始學習很好，同時我也建議學習一些機器學習的基礎(chǔ)知識。
吳恩達：謝謝！您講的非常精彩！我認識您這么久，但是都沒有聽到過您考慮問題時候的這么多細節(jié)。謝謝！
林元慶：感謝邀請！
Ian Goodfellow目前是谷歌大腦的研究員，也是機器學習界的大名人。他是 Yoshua Bengio 的弟子，最近 Ian Goodfellow、Yoshua Bengio、Aaron Courville三人合著的“花書”「Deep Learning」中文版「深度學習」也上市了，是領(lǐng)域內(nèi)最優(yōu)秀的教材之一。 讓 Ian Goodfellow 名聲鵲起的是他提出的 GANs 生成式對抗性網(wǎng)絡，為解決生成式問題提供了革命性的思路，從提出以后一直是熱門的研究課題。
吳恩達：Ian 你是全世界最出名的深度學習研究員之一，給我們講講你的故事吧，你是如何開始做現(xiàn)在的工作的？
Ian Goodfellow：嗯好的。其實我認識你的時候才接觸機器學習沒多久，我以前學的是神經(jīng)科學，我在斯坦福讀本科時候的導師鼓勵我看看你的“AI入門”課程。
吳恩達：這樣啊，我還是第一次聽說
Ian Goodfellow：對。那時候我覺得人工智能聽起來挺美的，但是實際看到它們的時候都是游戲里的那種 AI，人們提前給游戲里的NPC編好固定的規(guī)則，他們就可以根據(jù)那些腳本在不同的時間地點說不同的話。然后這樣我就看了你的“AI入門”課程，你在課里講了線性回歸、線性回歸誤差的偏置-方差分解，我就開始意識到這是一門真正的科學，可以把 AI 作為科學事業(yè)去做，不再做神經(jīng)科學了。
吳恩達：不錯~ 然后呢？
Ian Goodfellow：后來我就來旁聽你的課，其中有個很大的轉(zhuǎn)折點是，這門課的學生里有個人是我的朋友 Ethan，他掉進 Geoff Hinton 的深度信念網(wǎng)絡論文里出不來了（雷鋒網(wǎng) AI 科技評論注：Ian 的原話是“got arrested in Geoff Hinton's deep belief net paper”，這個用詞好精彩），后來為了運行玻爾茲曼機，我們倆人就用課后時間造了一臺基于CUDA GPU的計算機，是斯坦福最早的之一。那個時候我就建立起了這樣的信念，未來應當是屬于深度學習的。我也研究過其它的算法，比如支持向量機在很多時候感覺還是不理想，面對更多數(shù)據(jù)它會更慢，或者是對于一樣的訓練數(shù)據(jù)，沒有什么別的參數(shù)可以調(diào)整來優(yōu)化它的表現(xiàn)。這時候開始我就盡可能多地學習深度學習。
吳恩達：我還記得有篇很老的GPU論文，認可了很多你做的早期工作
Ian Goodfellow：對的，那些都是在我們早期的機器上完成的。第一臺機器是我和Ethan兩個人自己出錢在Ethan家造出來的，后來的第二臺第三臺就是用實驗室的錢造給斯坦福實驗室用的。
吳恩達：厲害啊，我還真不知道是這樣的。那么到現(xiàn)在，讓深度學習突飛猛進的重要事情之一就是你發(fā)明的GANs，你是怎么想出來的？
Ian Goodfellow：我研究生成式模型研究了好久，GANs就是一種建立生成式模型的方法，你手里有很多訓練數(shù)據(jù)，然后想要創(chuàng)造更多類似的數(shù)據(jù)，不過是要創(chuàng)造全新的、從來沒有以那種形式出現(xiàn)過的數(shù)據(jù)。在我想到GANs之前，構(gòu)建生成式模型有好多熱門方法，我讀博士的時候?qū)λ鼈兌甲隽俗屑毜难芯?，就對它們的?yōu)點缺點都非常清楚，比如玻爾茲曼機、稀疏編碼等等當時幾年內(nèi)都很熱門的方法，我就想找一個能夠避開所有這些方法的缺點的新方法。后來當我和朋友在酒吧里爭論的時候，終于有個靈感劃過，我就說要做如何如何就行，那個朋友不相信。那時候我其實應該是正在寫「深度學習」課本的，但是我特別相信這個想法肯定能行，所以我當晚就編程把它寫出來，然后也真的成功了。
吳恩達：就花了一晚上就實現(xiàn)了GANs的第一個版本
Ian Goodfellow：我從朋友的送別聚會出來回到家的時候大概半夜，然后花了一晚上寫出來。事后想起來的時候覺得特別幸運，第一個版本就成了，不用調(diào)超參數(shù)什么的。
吳恩達：我從別的地方聽到一個傳聞說，你有一次接近死亡的經(jīng)歷，而且它讓你對 AI 的投入更堅定了，能給我講講嗎？
Ian Goodfellow：嗯，其實不是真的快要死掉，但是覺得自己很可能會死，那時候頭特別疼，有幾位醫(yī)生說我可能有腦出血。所以就做了MRI來確定到底有沒有腦出血，在等MRI結(jié)果的時候我就意識到，那時候我大多數(shù)的念頭都是想讓別的人能夠試試我的研究想法，其實很多想法都挺傻的，不過那時候我意識到，我生命中最大的財富之一其實就來自于自己進行更多的研究。
吳恩達：啊，所以當你覺得你快要死去的時候，你心里想的是要把研究做完。這種決心真的讓人覺得震撼。然后，現(xiàn)在你仍然參與很多GANs的研究，那么你覺得GANs的未來如何？
Ian Goodfellow：現(xiàn)在GANs可以用來做很多不同的事情，比如在監(jiān)督學習中，給其它的模型生成訓練數(shù)據(jù)，甚至模擬科學實驗。根本上來說，這些事情都可以用其他的生成式模型完成，所以我覺得GANs現(xiàn)在在一個重要的交叉路口面前，目前的GANs有時候效果很好，但是真的要發(fā)揮出GANs的厲害之處就靠的不都是科學，更像是一種藝術(shù)。這就跟十年前人們對深度學習的總體感覺一樣，那時候我們用的是基于玻爾茲曼機的深度信念網(wǎng)絡，它們特別特別難處理。后來我們逐漸換成了ReLU、Batch Normalization之后，深度學習就變得可靠多了。如果我們能夠讓GANs變得像深度學習這樣可靠的話，那我覺得現(xiàn)在使用GANs的場景，以后也還會繼續(xù)用GANs，而且能夠達到更好的效果。但是如果我們解決不了GANs的穩(wěn)定性的問題的話，它在歷史上留下的貢獻就只是多展示了一種構(gòu)建生成式模型的方法，然后最終還是會被其它形式的生成式模型取代。所以我現(xiàn)在的所有時間里大概有40%都是用在研究如何讓GANs更穩(wěn)定上的。
吳恩達：不錯。有很多人加入深度學習界已經(jīng)10年了，比如你就是，而且現(xiàn)在還是先行者之一。也許現(xiàn)在加入GANs的研究的人假如能夠搞定它的話，也會是未來的先行者。
Ian Goodfellow：對，很多人已經(jīng)是GANs的早期先行者，當我們梳理歷史上對GANs的發(fā)展做出貢獻的人的時候，也不能漏了別的研究小組，比如Facebook、伯克利等等，他們也做出了很多貢獻。
吳恩達：除了你自己的研究之外，你也是「Deep Learning」這本書的作者之一，跟我講講吧。
Ian Goodfellow：這本書是我和Yoshua Bengio、Aaron Courville合著的，Aaron是我的博士生導師。這是關(guān)于現(xiàn)代深度學習的第一本教科書，英文版和中文版都很受歡迎，兩種語言的加起來應該已經(jīng)賣出7萬本了。我也收到了很多學生的反饋，說看書以后有很大的收獲。我們的書和其它的書有一點不一樣，我們在開頭專門有一章講深度學習里需要用到的數(shù)學知識。我從你在斯坦福教授的課程里學感受到線性代數(shù)和概率論是非常重要的，就是，人們對機器學習算法很感興趣，但是如果想做一個優(yōu)秀的實踐者的話，就需要先掌握算法背后的基礎(chǔ)數(shù)學原理才行。所以我們就在一開始集中介紹所需的數(shù)學知識，這樣就不用學會全部的線性代數(shù)知識，但是可以很快學會深度學習最常用的那些線性代數(shù)知識。
吳恩達：所以對數(shù)學感到頭痛的、有段時間沒看過數(shù)學的人，就可以從數(shù)的開頭學到這些背景知識，然后進入深度學習的部分
Ian Goodfellow：里面有所有有必要知道的知識和公理，然后還是要很花一些功夫練習，才能把它們用好。對于真的不喜歡數(shù)學的人，應該還是會比較痛苦的。但是對于愿意學習、有信心掌握的人，所有需要用到的數(shù)學工具都在這里了。
吳恩達：作為深度學習領(lǐng)域的長期研究者，你覺得這些年里人工智能和深度學習的發(fā)展趨勢如何？
Ian Goodfellow：10年前的時候，整個研究大家庭里最大的問題是如何運用深度學習的方法解決人工智能相關(guān)的問題。那時候我們用厲害的工具解決簡單的問題，比如如何從手工提取的特征中識別模式，人類設(shè)計師要做其中的很多工作，創(chuàng)建那些特征然后輸入到電腦里。這樣的方法對預測廣告點擊、各種基本科學分析之類的任務很好使，但是花了非常多的精力才能讓它處理上百萬像素的圖像、音頻波形之類的，因為這樣的系統(tǒng)是完全從零開發(fā)出來的，差不多解決這些問題也就是5年前的事?，F(xiàn)在我們遇到的問題是，面前的方法太多了，對于一個想要進入 AI 領(lǐng)域的人來說，最大的問題是選擇到底從事哪個方向，是想要把強化學習提升到監(jiān)督學習的水平還是想要把無監(jiān)督學習提升到監(jiān)督學習的水平，是想要保證機器學習算法能夠保證公平、不要表現(xiàn)出人類想要避免的偏見，還是想要解決 AI 帶來的社會問題來保證 AI 能夠讓每個人都受益而不是造成剝削和失業(yè)?，F(xiàn)在真的是一個很精彩的時刻，有很多不同的事情可以做，我們既需要避開 AI 帶來的問題，也要盡可能發(fā)揮 AI 的長處。
吳恩達：現(xiàn)在有很多人想要加入到人工智能的潮流中來，你有什么建議給他們嗎？
Ian Goodfellow：很多想要研究 AI 的人都覺得一個博士學位或者類似的證書是必需品，但是我覺得這已經(jīng)不再是硬性要求了。我覺得寫代碼然后把它們放在github上面就是一種很好的吸引注意力的方式。如果你有一個有意思的項目，解決的問題剛好是和頂級研究者一樣的問題，那么一旦他們看到了你的github項目，他們就會主動來找你，邀請你去工作。我去年在OpenAI招的、今年在谷歌招的人里面，很多都是因為我先在github上面看到了他們的開源項目，跟他們合作覺得很愉快，然后就把他們招進來了。在arXiv上面發(fā)論文也不錯。很多時候你的想法可能還推敲得不夠深入，沒法形成能夠被科學界接納的新的學術(shù)成果，但是只是形成一個軟件項目就會容易得多、快得多。
吳恩達：所以就是從你的書中學習，再在編程中訓練，最后發(fā)布在github甚至arXiv上
Ian Goodfellow：我覺得如果是以看書的方式學習的話，同步開發(fā)一個項目真的很重要，找個自己感興趣的地方試試學到的算法，假設(shè)你是一個想學深度學習的戶外生物學家，你就可以自己開發(fā)一套識別鳥類的系統(tǒng)；或者如果你不知道如何在自己的生活中運用深度學習的話，你也可以做一個街景照片門牌號分類器，數(shù)據(jù)集都是現(xiàn)成的，非常好上手。這樣就可以看書或者看視頻課程的技術(shù)解析的過程中對所有的基礎(chǔ)技能加以練習。
吳恩達：在過去的兩三年時間里，我也看到你做了很多對抗性樣本方面的研究，也跟我們講講吧。
Ian Goodfellow：對抗性樣本其實開創(chuàng)了一個新的研究領(lǐng)域，我把它稱作“機器學習安全”領(lǐng)域。以前我們已經(jīng)見識過了計算機安全問題，攻擊者可以欺騙計算機，讓它運行別的代碼，這是應用層安全；也有的攻擊是讓計算機錯誤地識別網(wǎng)絡信息的發(fā)送者，他們就可以偽裝成別的人，這就是網(wǎng)絡層安全?，F(xiàn)在我們已經(jīng)表明也可以讓機器學習算法出現(xiàn)不正常的表現(xiàn)，即便運行算法的計算機執(zhí)行的代碼是正確的、而且也知道網(wǎng)絡信息的發(fā)送者到底是誰。我覺得在新技術(shù)剛剛出現(xiàn)時就把安全作為它的一部分是很重要的，我們發(fā)現(xiàn)已經(jīng)有一個完整的功能性系統(tǒng)以后再提高它的安全性特別困難。所以我特別支持現(xiàn)在就要重視和提高機器學習安全性的觀點，這樣才能確保這些算法一開始就是安全的，而不是幾年以后再補丁摞補丁。
吳恩達：非常感謝！雖然認識你這么多年了，你講的這些事情聽起來還是那么精彩，我都沒想到。謝謝！
Ian Goodfellow：謝謝邀請我參加采訪，我也聊得很開心！
已經(jīng)有朋友把7集采訪視頻搬運到了國內(nèi)，點擊下方鏈接即可觀看。
via Deeplearning.ai，文中采訪內(nèi)容雷鋒網(wǎng) AI 科技評論聽譯
相關(guān)文章：
科技圈自媒體達人吳恩達又雙叒叕刷屏了 這次是因為Deeplearning.ai
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
