1
本文作者: 亞萌 | 2017-02-16 10:14 |
最近,Google Brain的研究工程師Eric Jang在Quora上回答了“IBM、谷歌、Facebook、蘋果和微軟等幾家公司里,誰在領(lǐng)導(dǎo)著AI研究的發(fā)展?”(Who is leading in AI research among big players like IBM, Google, Facebook, Apple and Microsoft?)這一問題,短短時間便獲得了超過4000的閱讀量。之所以獲得這么廣泛的關(guān)注,一方面是因為Eric Jang犀利的行文風(fēng)格,也因為他直接對原本Yann LeCun的回答做出了反駁。
以下是Eric Jang對這幾家公司的排行,由雷鋒網(wǎng)進(jìn)行編譯。
首先,我的回答包含了一部分偏向性,因為我目前在Google Brain工作而我真心喜歡這里。我的觀點僅代表我個人,并不代表我的同事和Alphabet公司的立場。
我把題目里提到的這幾家“AI研究領(lǐng)導(dǎo)者”做以下排序:
我認(rèn)為Deepmind很大程度上是如今的第一名。
他們發(fā)表的工作成果受到研究圈的高度重視,而且都涉及到了非常頂級的議題,比如深度增強(qiáng)學(xué)習(xí)、貝葉斯神經(jīng)網(wǎng)絡(luò)、機(jī)器人學(xué)、遷移學(xué)習(xí)等。他們從牛津大學(xué)和劍橋大學(xué)吸收了大量人才,這些學(xué)校在全歐洲有著很多非常棒的機(jī)器學(xué)習(xí)初級課程。Deepmind打造了一支多元化的團(tuán)隊致力于通用AI的研究,里面既有傳統(tǒng)的軟件工程師來構(gòu)建基礎(chǔ)架構(gòu)和工具、UX設(shè)計師幫助建造研究工具、甚至還有生態(tài)學(xué)者(Drew Purves)來研究更具有深遠(yuǎn)影響的議題,比如地球生態(tài)和智能技術(shù)的關(guān)系。
Deepmind在PR和抓住公眾想象力方面,也是無人能出其右。比如用DQN-Atari和創(chuàng)造歷史的AlphaGo。一旦Deepmind有論文發(fā)表,往往都會登頂Reddit的Machine Learning板塊和Hacker News上,這恰好佐證了他們的工作是多么受到科技圈的重視。
是的,我把兩家Alphabet旗下的公司放到了排行的前兩名,在你對我翻白眼之前,我想說一下,其實我也把Facebook和OpenAI都放在了第二名。但如果你不想聽我講關(guān)于Google Brain的事情,往下翻就好了(笑臉)。
我對 Yann LeCun是很尊敬的(他之前的回答也很不錯),但是我認(rèn)為他對于Google Brain在研究領(lǐng)域的評價是錯誤的。他說:
“但是谷歌主要關(guān)注與應(yīng)用和產(chǎn)品開發(fā),而不是長期的AI研究工作?!?/p>
這句評價絕對是錯的,完全錯。
TensorFlow(Google Brain團(tuán)隊最主要的產(chǎn)品)只是Google Brain下屬眾多團(tuán)隊的研發(fā)成果之一,據(jù)我所知這個團(tuán)隊是唯一一個打造對外產(chǎn)品的團(tuán)隊。Google Brain剛起步時的項目確實比較偏向工程,但是今天,Google Brain有很多員工都是專注于長期的AI研究 ,而且是涉及所有可能的AI次級領(lǐng)域,這跟Facebook FAIR和Deepmind是類似的。
Facebook FAIR有16篇論文被ICLR 2017大會接收,其中有3篇被選為做現(xiàn)場論文展示。
而實際上,Google Brain被ICLR 2017大會接收的論文數(shù)量還略略超過Facebook FAIR,總共有20篇,其中4篇被選為做現(xiàn)場論文展示。而這并沒有算上Deepmind和其它谷歌內(nèi)部團(tuán)隊的工作(比如搜索、VR、圖片)。論文接收數(shù)量并非一個很好的衡量尺度,但是我以此想反駁那些暗示Google Brain不善深度學(xué)習(xí)研究的暗示。
Google Brain也是最具合作靈活性的業(yè)界研究機(jī)構(gòu)。我想,世界上還不會有任何其他的研究機(jī)構(gòu),無論是工業(yè)的還是其他性質(zhì)的機(jī)構(gòu),能與伯克利大學(xué)、斯坦福、CMU、OpenAI、Deepmind、Google X以及眾多Google內(nèi)部頂級產(chǎn)品團(tuán)隊同時展開合作。
我相信Google Brain將很快位列第一流的研發(fā)機(jī)構(gòu)。我曾經(jīng)同時拿到Google Brain和Deepmind的offer,最終選擇了前者,是因為我覺得Google Brain能給我更大的自由來設(shè)計我自己的研究項目,并能保持與其它Google內(nèi)部團(tuán)隊緊密合作。我還能參與一些非常有趣的機(jī)器人項目,當(dāng)然這些項目我不能透露更多信息。
FAIR實驗室的論文都很棒,我的印象是他們比較多地關(guān)注與語音領(lǐng)域的問題,比如問答、動態(tài)記憶(dynamic memory)、圖靈測試類型等。他們偶爾也會有一些“數(shù)據(jù)物理與深度學(xué)習(xí)結(jié)合”一類的論文。顯然,他們也做計算機(jī)視覺類相關(guān)工作。我希望自己能講的更多一些,但是我對FAIR了解的確實不多,但他們的聲譽是很好的。
由于TensorFlow的廣泛應(yīng)用,F(xiàn)acebook幾乎在深度學(xué)習(xí)框架之爭中失敗了。但我們還是要看看,Pytorch能否搶回一部分市場份額。
OpenAI有一連串的明星員工,比如:Ilya Sutskever(全面的深度學(xué)習(xí)大師)、John Schulman(TRPO發(fā)明者,策略梯度大師)、Pieter Abbeel (發(fā)表了大量機(jī)器人學(xué)領(lǐng)域的研究論文)、Andrej Karpathy(Char-RNN和CNNs)、Durk Kingma(VAEs聯(lián)合發(fā)明者)、Ian Goodfellow(GANs發(fā)明者)等。
盡管只是一支不到50人的小團(tuán)隊,他們也有一流的工程團(tuán)隊,而且發(fā)布了一流的、非常有想法的研究工具,比如Gym和Universe。他們通過提供相關(guān)軟件,為更廣泛的研究社群帶來價值,這些軟件曾經(jīng)掌握在科技巨頭手里。他們的這種做法,也迫使其他研究團(tuán)隊開始開源代碼和工具。
鑒于OpenAI與Deepmind都擁有的一流人才隊伍,我原來還打算把二者并列第一,但是OpenAI成立時間不長,我還不能足夠有信心將二者并列在一起。OpenAI也還沒與做出像AlphaGo一樣成就的系統(tǒng),雖然Gym和Universe對于研究圈來說也很重要,但也沒有達(dá)到AlphaGo那樣的高度。
作為一個小型的非贏利性研究機(jī)構(gòu),從無到有建立他們的基礎(chǔ)架構(gòu),OpenAI不具有像大公司一樣豐富的GPU資源、機(jī)器人和軟件基礎(chǔ)架構(gòu)。擁有強(qiáng)大的計算力,對研究能力有很大的影響,甚至有時對研究想法也能產(chǎn)生影響。
百度SVAIL和IDL研究院是非常棒的做研究的地方,他們正在致力于多項具有潛力的技術(shù),比如家庭助理、盲人廣告和自動駕駛汽車等。
百度這家公司確實在聲譽上面臨一些問題,比如最近違反ImageNet 競賽規(guī)則的丑聞、低質(zhì)量的搜索結(jié)果導(dǎo)致一個中國學(xué)生死于癌癥以及被美國人刻板地認(rèn)為是一家盲目模仿的技術(shù)公司。
但是,這家公司在中國的AI領(lǐng)域里,是最強(qiáng)的。
在深度學(xué)習(xí)革命發(fā)生之前,微軟研究院曾經(jīng)是最具有聲譽的地方。他們雇傭具有多年經(jīng)驗的研究員,這一定程度上也解釋了為什么微軟研究院有點錯過了深度學(xué)習(xí),因為深度學(xué)習(xí)革命很大程度上都是由博士生推動的。
不幸的是,如今幾乎所有的深度學(xué)習(xí)研究都是在Linux平臺上進(jìn)行的,而微軟的CNTK深度學(xué)習(xí)框架沒有得到與TensorFlow、torch和Chainer一樣多的關(guān)注。
蘋果在招人方面確實面臨一些問題,因為研究人員都想要公開自己的研究成果。蘋果也做一些產(chǎn)品驅(qū)動的研究,這并不能吸引那些想解決通用AI問題或希望自己的工作被學(xué)術(shù)圈看到的研究人員。我認(rèn)為他們設(shè)計的根本也需要一些相應(yīng)的研究,尤其是面臨大膽的創(chuàng)意時,但是我也看到了發(fā)布新產(chǎn)品也會成為長期基礎(chǔ)研究的一種阻礙。
我認(rèn)識一個IBM Watson項目的前雇員,他把 IBM的“認(rèn)知計算工作”形容為一場災(zāi)難。該項目由管理層推動,而這群人根本不知道機(jī)器學(xué)習(xí)能做什么、不能做什么,只管拿著這個熱詞到處賣。據(jù)我所知,Watson使用了深度學(xué)習(xí)來做圖像理解,但它其余的信息檢索系統(tǒng)并沒有應(yīng)用最新的深度學(xué)習(xí)技術(shù)。基本上,IBM是面臨著危機(jī)的,對于初創(chuàng)企業(yè)來說,在二級市場有很多應(yīng)用機(jī)器學(xué)習(xí)的機(jī)遇。
說實話,上面提到的公司(或許除了IBM之外)都是做深度學(xué)習(xí)研究非常好的去處,鑒于開源軟件和整個領(lǐng)域的快速發(fā)展,我不認(rèn)為任何一家科技公司能夠以絕對的優(yōu)勢“領(lǐng)導(dǎo)AI研究”。
我對于未來的深度學(xué)習(xí)研究員的建議是,找到一個你確實感興趣的團(tuán)隊/項目,忽略別人所說的聲譽等條件,專注于將自己的工作做到最好,幫助你所在的機(jī)構(gòu)成為AI研究領(lǐng)域的領(lǐng)導(dǎo)者。
下面是Yann LeCun關(guān)于此題的回答,原答案發(fā)表于2016年7月份。
我是有一定偏向性的(笑臉),但我可以說一說以下幾點:
蘋果公司不是AI研究領(lǐng)域的主要參與者,因為他們有一種秘密文化。你是無法在私密的情況下做先進(jìn)研究的,如果你不能公布研究成果,這就不能算是研究,頂多算是一項技術(shù)開發(fā)。
微軟正在做一些很好的工作,但它很多的員工都流失到了Facebook和谷歌。他們語音方面的深度學(xué)習(xí)做的很不錯(在21世紀(jì)初,他們在手寫識別方面做得很好),但相比于FAIR和DeepMinde的工作,微軟在深度學(xué)習(xí)方面似乎沒有太大野心。
谷歌(包括Google Brain及其它內(nèi)部團(tuán)隊)或許是將深度學(xué)習(xí)投入產(chǎn)品和服務(wù)方面的領(lǐng)頭者,這是因為他們比任何人開始的都早,也因為其本身是一家大公司。谷歌在基礎(chǔ)架構(gòu)方面做了很多工作(如TensorFlow和TPU硬件等)。但是谷歌主要關(guān)注于應(yīng)用和產(chǎn)品開發(fā),而不是長期的AI研究工作。Google Brain很多頂級研究員都離開了原來的團(tuán)隊,去了DeepMind、OpenAI、或者FAIR。
DeepMind在基于學(xué)習(xí)的AI方面做了很好的工作。他們的長期研究目標(biāo)與我們在FAIR實驗室的目標(biāo)非常相近,而且我們工作的議題也都很類似,包括:非監(jiān)督/生成模型、規(guī)劃、增強(qiáng)學(xué)習(xí)、游戲、記憶增強(qiáng)網(wǎng)絡(luò)、可微編程等。DeepMind面臨的挑戰(zhàn)是,在地理上和組織上與Alphatbet內(nèi)部最大客戶分離。這使得DeepMind更難為其擁有者Alphatbet產(chǎn)生營收來“支付他們的行程”,不過看起來他們似乎做得還不錯。
Facebook在兩年半前開創(chuàng)了FAIR實驗室,并且想方設(shè)法在短時間內(nèi)讓自己成為AI研究領(lǐng)域的領(lǐng)導(dǎo)者。對于我們可以吸引到這么多世界級的研究員(現(xiàn)在FAIR在紐約、門洛帕克、巴黎和西雅圖總共約有60名研究人員和工程師),我為此感到很驚訝。對兩年半內(nèi)FAIR研究工作的質(zhì)量和影響力,我也同樣感到印象深刻。我們對自己的目標(biāo)雄心勃勃,我們準(zhǔn)備好了長期競爭,我們對公司也具有影響力,這使得我們很容易證明FAIR存在的價值。最重要的是,我們是非常開放的:我們的研究人員每年發(fā)表多篇論文。如果一個有潛力的年輕研究員加入一個不那么開放的公司或初創(chuàng)公司,從此從研究圈子銷聲匿跡,沒有什么比這種情況更令人警醒了。
更多雷鋒網(wǎng)相關(guān)內(nèi)容:
大神Yann LeCun親授:如何自學(xué)深度學(xué)習(xí)技術(shù)并少走彎路
谷歌大腦的2016實現(xiàn)了哪八個小目標(biāo)?Jeff Dean親自撰文回顧
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。