雷鋒網(wǎng) AI 科技評論按：紐約大學(xué)教授、Facebook 副總裁與首席 AI 科學(xué)家 Yann LeCun 由于對深度學(xué)習(xí)的突出貢獻(xiàn)，被譽為深度學(xué)習(xí)的「三駕馬車」之一，更被稱為「CNN」之父。Yann LeCun 也一直非?；钴S，發(fā)論文、教學(xué)、創(chuàng)立學(xué)術(shù)會議、出席學(xué)術(shù)與公共活動、引領(lǐng) Facebook 的 AI 學(xué)術(shù)研究，是計算機(jī)科學(xué)研究者中的一面旗幟，也是大眾眼中的人工智能「偶像」。

前段時間，RSIP VISION 出版的《Computer Vision News》雜志對這位偶像進(jìn)行了專訪并發(fā)表在了 2018 年 11 月刊中。專訪中 Yann LeCun 談到了學(xué)術(shù)生涯中的趣事、對自己是否是個聰明人的評價、對近期技術(shù)進(jìn)展的評價、對工業(yè)界學(xué)術(shù)界合作的期待和誤解的澄清，以及「退休之前最希望做出的成果」。雷鋒網(wǎng) AI 科技評論編譯如下。

記者：在過去的二三十年中，你對整個人工智能界產(chǎn)生了巨大影響。跟我們講講你是如何一步步走到今天這個位置的呢？

LeCun：我很小的時候就對人工智能很感興趣。「智慧」這個概念讓我感到十分著迷。并不僅僅是我們現(xiàn)在天天談起的機(jī)器智能，而是一般意義上的「智慧」。我一直都覺得「學(xué)習(xí)」是智慧中的重要部分。我大學(xué)專業(yè)是電氣工程，然后做研究的時候發(fā)現(xiàn)在 1950、60 年代就有人在研究會學(xué)習(xí)的機(jī)器了。我接觸到這些知識其實有那么點意外成分，然后本科畢業(yè)之前就開始讀這方面的各種文獻(xiàn)。我想在這方面做更多研究的想法就是這時候出現(xiàn)的，接下來趁著在學(xué)校，我做了好幾個有關(guān)的項目，然后決定了我就要研究這個方向。

我發(fā)現(xiàn)在法國有一群人在研究一種叫做 Automata 網(wǎng)絡(luò)的東西，似乎和智慧隱隱有那么點聯(lián)系；這大概是 1983 年前后的事情。那時候計算機(jī)科學(xué)這邊還沒有任何人在研究神經(jīng)網(wǎng)絡(luò)，甚至只是簡單的機(jī)器學(xué)習(xí)都沒有。在 AI 的大課題下有那么一點點機(jī)器學(xué)習(xí)的研究，但是只有很少很少的一撮人。我當(dāng)時遇到了一些人，他們已經(jīng)開始思考很多簡單的單元互相連接起來形成的網(wǎng)絡(luò)會有哪些新的性質(zhì)，實際上這就是神經(jīng)網(wǎng)絡(luò)了。我和他們?nèi)〉寐?lián)系以后，發(fā)現(xiàn)他們有一個全球性的研究社區(qū)，他們已經(jīng)開始研究神經(jīng)網(wǎng)絡(luò)了。我當(dāng)時讀了 John Hopfield 寫的 Hopfield 網(wǎng)絡(luò)的論文，也聽說了 Geoff Hinton 和 Terry Sejnowski 這兩個人。他們那時候剛剛發(fā)表了一篇關(guān)于玻爾茲曼機(jī)的論文，我覺得那篇論文棒極了，很想見見他們。

然后我就開始讀博士了。但我的導(dǎo)師對神經(jīng)網(wǎng)絡(luò)一無所知，他就說：「我可以給你的論文簽字，你似乎挺聰明的，但是從技術(shù)角度講我確實沒辦法幫助你。」我通過我本科的母校 ESIEE 獲得了獎學(xué)金。最后我自己在 1984 年左右發(fā)現(xiàn)了一個版本的反向傳播，終于在 1985 年在法國的一個會議上與 Geoff Hinton 和 Terry Sejnowski 見面了。有一個會議上我遇到了貝爾實驗室的 Larry Jackel 和 John Denker，后來就是他們把我招到貝爾實驗室去的。1987 到 1988 年，我跟著 Geoff Hinton 在多倫多做了博士后。Larry Jackel 在貝爾實驗室建立了一個小組研究神經(jīng)網(wǎng)絡(luò)硬件，我博士后一結(jié)束他們就把我招過去了。

記者：現(xiàn)在我們談?wù)勀愕膫€人天份的部分？之前我們采訪 Yoshua Bengio 的時候他說：「我能成功并不是因為我比別人聰明，而是因為我很明白如何專注?！?/strong>你同意這句話嗎？如果這是他的秘訣，那你的秘訣是什么？

LeCun：我是鉆到一群比我聰明的人里面去，所以在很多方面我都根本沒覺得自己有什么天賦。反倒是我經(jīng)常為別人感到驚嘆。比如我和 Léon Bottou 有過很長時間的聯(lián)系和合作。在機(jī)器學(xué)習(xí)界他是一個知名人物，而且?guī)缀趺總€方面他都比我強(qiáng)?。ㄐΓ┪蚁矚g做的事，而且可能還是我做的不錯的一件事，就是一直向下挖掘，去發(fā)現(xiàn)一個疑問背后真正的問題是什么?！溉绾尾拍茏寵C(jī)器學(xué)習(xí)」，類似這種。有點像是考慮大方向、考慮哪些是真正重要的問題。把問題簡化、再簡化，直到達(dá)到真正的核心問題。

有時候一個想法或者一個概念顯得很復(fù)雜，因為其中用到了很多很麻煩的數(shù)學(xué)知識，但是它真正的核心往往就是一個很簡單的想法。我覺得我還沒法和 Richard Feynman 相提并論，但是這種思考方式真的和他的很像。就是要問最基本的問題、摒棄一切表面上的東西，直到得到一個簡單得不可思議的問題。不過我做得還沒有他那么好。

至于 Yoshua 說的那句話，他是一個非常自律的、井井有條的人。我不是那樣的人，我活得亂糟糟的。

記者：那是因為你是法國人嘛！

LeCun：Yoshua 也是在法國出生的呀！不過我不是一個好的理論科學(xué)家。相比之下我的朋友 Léon Bottou 就對數(shù)學(xué)啊什么的理論性很強(qiáng)的東西很在行。我做的還行的是實現(xiàn)、讓東西跑起來，不過做的也算不上多好。不同的人擅長不同的事情嘛。

記者：唔，你是法國人，我是意大利人。有人說這兩個國家的人都做事不是很有條理！

LeCun：（笑）我也不知道，據(jù)說法國人都特別橫平豎直的，但我就不那樣，我特別隨性。

記者：有沒有導(dǎo)師或者教師對你的影響很大？還是說你基本上靠自學(xué)？

LeCun：對我有很大影響的人有好幾個。我在工程學(xué)院的時候，那些數(shù)學(xué)教授給了我很大幫助。我和他們一起做了好幾個項目，幾個項目的主題他們自己也不是很懂，但是他們允許我自己探索，也就很早就讓我嘗試到了做科研的感覺。他們都是很好的人。也就是這個時候我開始研究神經(jīng)網(wǎng)絡(luò)。我并不知道應(yīng)該怎么研究。我必須自己琢磨出來它是怎么回事。我當(dāng)時看了很多日本人用英文寫的論文，就這樣學(xué)會的英語，所以那時候我的英語簡直糟透了。（笑）70 年代末、80 年代初的時候，大多數(shù)關(guān)于神經(jīng)網(wǎng)絡(luò)的研究成果都是日本人做出來的，因為西方的人已經(jīng)完全拋棄了這個領(lǐng)域了；我們能讀到的論文就只有這些了。

然后也有一些我很感興趣的科學(xué)人物。很自然地，我一開始看了很多關(guān)于愛因斯坦的東西，也就對物理學(xué)很感興趣。后來我的閱讀材料就是 Geoff Hinton 這樣的人。我跟著他做的博士后，也發(fā)現(xiàn)我們其實有很多共同點。

記者：我們聊聊 Facebook 的事情吧。如今人工智能界的出色的軟件人員，有很多都跟著你干活。我采訪過好多出色的 AI 軟件人員，有很多現(xiàn)在就在 Facebook，也有一些在其他大公司。但很滑稽的是，這些人里的大多數(shù)并不參與 Facebook 的核心業(yè)務(wù)，而是做一些在你看來中長期比較重要的事情。能跟我們講講這是怎么回事嗎？談?wù)勀苷劦摹?/p>

LeCun：其實沒有什么不能談的，起碼很少很少吧。因為 Facebook 人工智能研究院是 Facebook 的一個基礎(chǔ) AI 研究實驗室，它也是對外的。它和整個研究社區(qū)有很多的聯(lián)系。我們做的所有東西都會公開發(fā)表，我們向開源世界貢獻(xiàn)很多代碼，我們和大學(xué)有很多合作，我們在法國和美國都有實習(xí)生和訪問博士生。它是高度開放的。它對整個社會是有好處的，而且，當(dāng)然長遠(yuǎn)來看也對 Facebook 自己有好處，因為如今的 AI 技術(shù)面對的最大的限制并不是 Facebook 領(lǐng)先谷歌、IBM、微軟多少，而是整個領(lǐng)域的發(fā)展有沒有向著我們希望的方向前進(jìn)。比如如果你想要造智能虛擬助理的話，它和人類之間的互動需要具備一些人類常識，然而我們現(xiàn)在并沒有科學(xué)技術(shù)能讓我們造出這樣虛擬助理來。所以我們的目標(biāo)就是開發(fā)出這些技術(shù)來，這樣的產(chǎn)品才能變成現(xiàn)實。即便我們雇傭了很多頂尖的人才，我們也不會壟斷任何好的想法。為此我們也需要和更廣泛的研究社區(qū)有充分的溝通。這也是我們?nèi)绱碎_放的原因。

Facebook 里還有另外一些機(jī)構(gòu)，可以算是更廣泛的「Facebook AI」機(jī)構(gòu)。它們更關(guān)注于和 Facebook 直接相關(guān)的問題，比如計算機(jī)視覺、自然語言處理、搜索，等等。其中的很多小組使用的技術(shù)都是最初由Facebook 人工智能研究院開發(fā)出來的，雖然可能是出于其他的目的，所以也還是有很大的影響力；但這些小組的運轉(zhuǎn)方式也就和研究院不一樣了，他們主要關(guān)注的是公司的業(yè)務(wù)需求。他們也會發(fā)一些論文，但是不那么頻繁。他們要不斷改進(jìn) Facebook 提供的服務(wù)，或者創(chuàng)造新的服務(wù)。Facebook 人工智能研究院做的事情就是一開始說的開發(fā)全新的技術(shù)、推進(jìn)整個領(lǐng)域的前進(jìn)。有時候我們會說希望 3 年、5 年或者 10 年之后看到回報，但是也有時候我們想出來的東西其實馬上就會變得很有用。有時候還會給我們帶來驚喜。

記者：在你看來，2018 年最棒的計算機(jī)視覺論文是哪一篇？我們雜志評選的 2017 年的最佳計算機(jī)視覺論文是 Mask R-CNN，我相信你不會覺得意外吧哈哈。

LeCun：我也同意?。。ㄐΓ┯嬎銠C(jī)視覺領(lǐng)域發(fā)生了太多事情，太多太多了，我都看不過來了。我沒法單獨點出某一篇論文，但我覺得自我監(jiān)督學(xué)習(xí)的整個領(lǐng)域都有非常有趣的成果。不管是用對抗性生成式網(wǎng)絡(luò)（GANs），還是用一些別的技術(shù)，人們都在想辦法挖掘更高層次的視覺概念，比如物體、運動、深度等等，而且不需要真正顯式地給系統(tǒng)提供監(jiān)督。我覺得這是一條光明大道，而且我們已經(jīng)邁出了一步。目前這些技術(shù)還沒有什么實際的應(yīng)用，但我覺得這是未來的很大的技術(shù)成就的開始，可能會帶來計算機(jī)視覺的下一次革命，或者說是人工智能的下一次革命。過去三年的公開演講里我都在說這句話，就是「AI 的未來就在自我監(jiān)督學(xué)習(xí)里」。

這種學(xué)習(xí)方式是，你訓(xùn)練一個機(jī)器學(xué)習(xí)這個世界是怎么回事，并不指定什么具體的任務(wù)；然后你再訓(xùn)練它做某一個具體的任務(wù)，但是只給它非常非常少的數(shù)據(jù)。人類和動物的學(xué)習(xí)方式就是這樣的。Facebook、英特爾、谷歌、DeepMind 和 NVIDIA 都在這方面發(fā)表了很多論文。有一篇關(guān)于上色的論文，里面讓 AI 給視頻里面的物體上色，得到的結(jié)果是，可以說它學(xué)到了物體的運動。類似這樣的讓人驚嘆的東西還有很多。

記者：我們的一位工程師拜托我問你一個問題。據(jù)說這個問題挺滑稽的，不過我自己不是工程師所以不理解這個問題的笑點在哪里。他的問題是，ReLU 和批量正則化兩者之間，你更喜歡哪個？

LeCun：哦我知道了啊哈哈哈哈哈……

記者：所以，真的很好笑嗎？

LeCun：真的很好笑！這個問題的答案很簡單，但是這個問題會引出很多別的問題。我會回答 ReLU，因為它是個很簡單的想法，所有人都會用它，可以說正是有了 ReLU 才可以讓我們訓(xùn)練相對比較深的神經(jīng)網(wǎng)絡(luò)。還有另外一個想法，就是何愷明提出的殘差連接，它讓我們可以訓(xùn)練更深的網(wǎng)絡(luò)。而批量正則化在很多人看來，包括我自己看來，是一種必要的惡。要怎么理解呢，可以說沒有人喜歡它，但是它的作用還不錯，所以大家還是都會用它；但同時大家都在嘗試把它換成什么的別的東西，因為大家都討厭它。它自身有一些東西不是很讓大家滿意。我們都有一種感覺，就是肯定有什么東西比它更好。另一方面，大家并不理解它為什么有效、是怎么發(fā)揮效果的。對于神經(jīng)網(wǎng)絡(luò)是怎么收斂和學(xué)習(xí)的，我們有一些直覺上的思考，但是批量正則化和我們的這些思考是沖突的，所以想要理解它為什么有效、找個別的東西來代替它的話，我們還有很多工作要做。何愷明也提出了分組正則化，他的目的就是要替換掉批量正則化，看起來也確實表現(xiàn)要更好一些。

記者：暢想未來，你覺得在計算機(jī)視覺以及人工智能社區(qū)里，學(xué)術(shù)界和工業(yè)界怎么才能更好地協(xié)作？

LeCun：我自己的職業(yè)生涯中，有一半的時間在學(xué)術(shù)界、一半的時間在工業(yè)界。我一開始在貝爾實驗室，后來它變成了 AT&T 實驗室；接著我在 NEC 研究院待了 18 個月。后來我做了教授，我的時間一部分花在工業(yè)界，一部分花在學(xué)術(shù)界。我覺得可以一部分時間花在工業(yè)界、一部分時間花在學(xué)術(shù)界是一個很好的想法，我也寫過一篇文章談這件事。

記者：嗯，我讀了這篇文章。《雙重聯(lián)盟》。

LeCun：就是這篇。我覺得很多人都誤解了這篇文章里面的非常重要的一點，就是，只有在那個你工作的工業(yè)界實驗室是一個研究性質(zhì)的實驗室，而不是開發(fā)性質(zhì)的實驗室，以及，這個實驗室做的是開放性的研究、設(shè)立這個實驗室的企業(yè)對實驗室的知識產(chǎn)權(quán)沒有很強(qiáng)的占有欲的時候，這種雙重聯(lián)盟的模式才是可行的。之所以我推崇雙重聯(lián)盟，就是要讓工業(yè)界和學(xué)術(shù)界之間有足夠多的信息溝通，這樣你才能利用到兩面的好處：在工業(yè)界這邊，你能得到工程方面的支持，有大規(guī)模的計算設(shè)施，而在大學(xué)里有很多學(xué)生、很多年輕人，他們有很多的創(chuàng)意，但是他們的運行模式是和工業(yè)界不一樣的。

對不同的人有不同的激勵方法是一件好事，當(dāng)他們在不同的環(huán)境的時候也就可以產(chǎn)生不同的點子。這當(dāng)然是一件好事，但是前提是你所在的工業(yè)界實驗室做的是開放性的研究、做的是真正的研究，而且肯發(fā)表論文。如果雙重聯(lián)盟的工業(yè)界那一方對任何東西都要保密、任何工作都是為了實際應(yīng)用的和工程性的，那就做不成。我看到了一些對我的文章的回應(yīng)，其中有一些明顯是弄混了這兩種工業(yè)界研究方式的區(qū)別。他們會說，雙重聯(lián)盟是不現(xiàn)實的，因為既然你在工業(yè)界工作了，你要做的東西就無論如何都要是對這個企業(yè)有用的，而且有一些東西要保密，這樣就和學(xué)術(shù)界的做法產(chǎn)生沖突了。如果是這樣的話，那我也同意，確實是有沖突的；但是我不同意說沒有可能在工業(yè)界做雙重聯(lián)盟。這要取決于工業(yè)界的這個研究院是如何運轉(zhuǎn)的。

我在 Facebook 做的事情之一就是設(shè)計這個研究院的運行方式，讓它不要和學(xué)術(shù)界的做法產(chǎn)生沖突。過去五年中我對工業(yè)界研究風(fēng)氣做的一大貢獻(xiàn)大概就是這個吧，而且可以說直到現(xiàn)在才真正形成了這樣的合作模式。過去也曾經(jīng)有工業(yè)界的組織對科學(xué)發(fā)展有很大的的影響，比如我曾經(jīng)工作過的貝爾實驗室，還有 IBM 研究院和微軟研究院也是這樣，但是他們對于知識產(chǎn)權(quán)的占有欲都太強(qiáng)了。那時候并沒有開源啊或者其他開放的傳統(tǒng)。現(xiàn)在，現(xiàn)在時代已經(jīng)不一樣了，這里已經(jīng)形成了一種工業(yè)界做研究的新方式。我覺得已經(jīng)有一些別的企業(yè)或多或少受到了我們的影響。比如在過去五年里，谷歌對于自己的研究成果要比更早的時候開放得多。他們現(xiàn)在也還是有一些保密性的，但是肯定比以前要開放太多了。

記者：我知道一個人，她可以算是你想要在 Facebook 做的這些事情的見證人！這個人就是 Pauline Luc，我上個月才剛剛采訪過她，她告訴我說：「我在 Facebok 的實驗室就和我在學(xué)校的實驗室一樣。」

LeCun：對的，就是這樣。當(dāng)然我也很了解 Pauline 的工作，因為我有參與她的項目，和她一起寫過論文。我覺得她的研究成果特別棒。

記者：最后，我們來談?wù)勗谀阃诵葜白钕胱龀鰜淼某晒鞘裁矗?/p>

LeCun：找到一個普遍通用的好方法來做自我監(jiān)督學(xué)習(xí)。我在確實計算機(jī)視覺方面做過一些研究，不過我不覺得自己是一個計算機(jī)視覺研究員。起碼不完全是做計算機(jī)視覺的。我的興趣實際上還是在學(xué)習(xí)上，比如我喜歡尋找不同的方式讓機(jī)器通過觀察來學(xué)習(xí)這個世界是怎么運作的。這就意味著在包含有不確定性的環(huán)境中學(xué)習(xí)。如果你讓機(jī)器看一段視頻，然后讓它預(yù)測接下來會發(fā)生什么，可能的發(fā)展其實會有很多。但另一方面，所有這些可能的發(fā)展里，真正發(fā)生在接下來的視頻里只會有一種，但其他的狀況也還是有可能發(fā)生的。當(dāng)你訓(xùn)練一個機(jī)器預(yù)測視頻的時候，如果你不小心的話，它就會輸出一個模糊的預(yù)測結(jié)果，差不多是所有可能發(fā)生的情境的平均值。那這就是一個糟糕的預(yù)測了。

我們想要解決的一個技術(shù)問題就是，在一個理想的預(yù)測結(jié)果不是單一的值、而是一系列值的環(huán)境里，我們要怎么樣訓(xùn)練一個機(jī)器。寫成數(shù)學(xué)形式的話，我們可以說是讓它預(yù)測一個概率分布，不再是單個的點。但我們并不知道如何在高維連續(xù)空間里表示概率分布。我覺得這里很有可能是，就像采訪前面說過的那樣，要弄清楚其中真正關(guān)鍵的概念，然后找到簡單的架構(gòu)，容易理解，也容易處理表示不確定性的問題。GANs 是一個有潛力的方法，但我們對 GANs 的理解也不是很透徹。它們不是總能收斂，但是當(dāng)它們能出結(jié)果的時候通常都能出很棒的結(jié)果。既然它們不能保證每次都出結(jié)果，那我們就需要找別的辦法，要么理解 GANs 能出結(jié)果的原因，要么尋找一些別的方法，用這些新的方法幫助機(jī)器學(xué)習(xí)盡可能多地通過觀察視頻、照片等等的學(xué)習(xí)這個世界的背景知識。然后等到機(jī)器學(xué)到了關(guān)于這個世界的好的模型之后，它就能夠像我們理想的那樣只需要很少的樣本或者只嘗試幾次就能學(xué)會任何具體的任務(wù)。我未來幾年的目標(biāo)就是這個。

via rsipvision.com，雷鋒網(wǎng) AI 科技評論編譯

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。