1
| 本文作者： 章敏 | 2016-07-29 17:52 |
聯(lián)合編譯：陳圳，高斐，章敏
深度學(xué)習(xí)的一些“典型”形式包括各種前饋模塊（卷積網(wǎng)絡(luò)）和遞歸網(wǎng)絡(luò)（有時以記憶單元，如LSTM或MemNN的形式呈現(xiàn)出來）的多種結(jié)合形式。
這些模型在其“推理”能力方面具有局限性，即執(zhí)行復(fù)雜的推理或優(yōu)化程序，以得到一個適切的答案。計算步驟受到前饋網(wǎng)絡(luò)中的層數(shù)和遞歸網(wǎng)絡(luò)對事物的記憶時間的長短兩者共同約束。
為了使深度學(xué)習(xí)結(jié)構(gòu)具備推理能力，我們需要對該結(jié)構(gòu)進(jìn)行調(diào)整，使其不僅能計算得出一個單一的輸出結(jié)果（例如，對一個圖像的理解，對一個句子的翻譯等），而且能夠產(chǎn)出一系列可替換的輸出結(jié)果（例如，一個句子對應(yīng)不同的翻譯方法）。這便是基于能量的模型的設(shè)計目的所在：對將被推理的所有變量的每一個潛在的配置結(jié)果計分。因子圖（非概率圖形模型）是基于能量的模型的一個特例。將因子圖與學(xué)習(xí)系統(tǒng)相結(jié)合被稱為機(jī)器學(xué)習(xí)中的“結(jié)構(gòu)型預(yù)測”方法。追溯至20世紀(jì)90年代初期，有許多關(guān)于將神經(jīng)網(wǎng)絡(luò)與結(jié)構(gòu)型預(yù)測方法相結(jié)合的提議。事實上，我和我的同事當(dāng)時在貝爾實驗室建立的檢測閱讀系統(tǒng)除了運用卷積網(wǎng)絡(luò)，還運用了一種結(jié)構(gòu)型預(yù)測方法，我們稱之為“圖形轉(zhuǎn)換網(wǎng)絡(luò)”。關(guān)于將圖形模型粘貼到ConvNets上，訓(xùn)練端對端的算法，近期涌現(xiàn)出眾多研究成果。
如需對基于能量的模型和神經(jīng)網(wǎng)絡(luò)上的結(jié)構(gòu)型預(yù)測作更多了解請參考該文章：詳情
就深度學(xué)習(xí)當(dāng)前的形式而言，其當(dāng)然具有局限性，因為有關(guān)其用法的所有成功應(yīng)用均需要在人工注釋數(shù)據(jù)的幫助下進(jìn)行監(jiān)管學(xué)習(xí)。我們需要找到從“原始”非注釋數(shù)據(jù)入手訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)的方法，以便這些網(wǎng)絡(luò)能夠熟悉現(xiàn)實世界的運行規(guī)律。正如我在之前訪問時給出的回答，我的錢都投入到對抗性訓(xùn)練中了。
這是現(xiàn)在一個十分熱門的研究課題。我很高興看到有名的數(shù)學(xué)家和理論物理學(xué)家越來越關(guān)注深度學(xué)習(xí)背后的理論。
其中一個理論難題就是，當(dāng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)工作看似可靠時，為什么需要進(jìn)行非凸性優(yōu)化。其中一個直覺表明優(yōu)化非凸性函數(shù)是十分困難的，因為我們會陷入極小局部，并隨著高原和鞍點的到來速度也會減緩。而高原或是鞍點都有可能成為問題，但是局部極小點卻不會。我們的直覺是錯誤的，因為我們能在低維度中進(jìn)行能量圖規(guī)劃。但是深層網(wǎng)絡(luò)神經(jīng)的主觀目標(biāo)通常會有1億多的維度或是更多。但是在1億多的維度上建立盒子是十分困難的。因為會有許多的限制。這是我在紐約大學(xué)試驗中所開展的一些理論工作，并且Yoshua Bengio實驗室也是從事這一方向的。他們從隨機(jī)矩陣?yán)碚摶蚴墙y(tǒng)計機(jī)制方面使用數(shù)學(xué)工具。
另一個有趣的理論問題是為什么多層網(wǎng)絡(luò)會對神經(jīng)網(wǎng)絡(luò)有幫助？所有布爾函數(shù)的有限節(jié)點都能在2層之內(nèi)進(jìn)行實施（使用函數(shù)的合并或是分離模式）。但是大多數(shù)布爾函數(shù)需要公式的一項指數(shù)（例如，需要在兩層神經(jīng)網(wǎng)絡(luò)中所隱藏的單位指數(shù)）。作為計算機(jī)程序員，如果使用多個連續(xù)步驟進(jìn)行函數(shù)計算（多層次計算），許多的功能會變得非常的簡單。這是一個多層的手工波浪式函數(shù)。但是卻不清楚在類似神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的背景下，做出更加正式的說明。
第三個有趣的問題是為什么卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)的非常好。Mark Tygert等人寫了一篇非常棒的文章是關(guān)于為什么在進(jìn)行特定信號分析時使用類似卷積網(wǎng)絡(luò)結(jié)構(gòu)是正確的選擇（我不是本文的聯(lián)合編者，所以所有的榮譽應(yīng)歸屬Mark，此外他還是FAIR的科學(xué)研究家）。
這一項研究工作是基于之前Stephane Mallat以及他所帶的博士研究生Joan Bruna對“散射轉(zhuǎn)變”的研究結(jié)果來進(jìn)行的。散射轉(zhuǎn)換是一個帶有固定過濾器的類似卷積網(wǎng)絡(luò)結(jié)構(gòu)，且其數(shù)學(xué)上的成就能進(jìn)行正式的研究：谷歌學(xué)者引用（Joan之前是紐約大學(xué)實驗室的一個博士后接著又參加FAIR，但是在此之前他曾作為助理教授在伯克利參加過統(tǒng)計部門）。
我認(rèn)為在深度學(xué)習(xí)方面對于理論家來說有許多有趣的問題，例如，周邊分布的隨機(jī)優(yōu)化問題。
顯然，以其當(dāng)前的學(xué)習(xí)模式來看，深度學(xué)習(xí)具有局限性。不過，當(dāng)人們找到構(gòu)建具有人類水平的人工智能途徑后，諸如深度學(xué)習(xí)等概念將會為解決與深層結(jié)構(gòu)相關(guān)的優(yōu)化難題提供部分解決方案。
與深度學(xué)習(xí)這一概念的相關(guān)的思想如下：
(1) 對于AI（人工智能）來講，學(xué)習(xí)是不可或缺的重要組成部分：在20世紀(jì)80年代至90年代，這一觀點尚未受到人們的廣泛認(rèn)可。但是，一直以來我都確信，越來越多的人們將慢慢接受這一觀點。
(2) 深度學(xué)習(xí)主張，一個AI（人工智能）系統(tǒng)應(yīng)當(dāng)具備學(xué)習(xí)生活中事物的抽象，高層次或多層次表征的能力。不論該人工智能系統(tǒng)是通過何種途徑學(xué)習(xí)這些表征的，這都將為發(fā)展AI（人工智能）過程中遇到的難題提供部分解決方案。
(3) 達(dá)到人類水平的AI（人工智能）是否能夠依據(jù)機(jī)器學(xué)習(xí)的中心范式進(jìn)行發(fā)展，旨在運用這一中心范式旨在對目標(biāo)函數(shù)取最小值；這種取最小值的算法是否能夠用基于梯度的方法（如運用backdrop進(jìn)行計算的隨機(jī)梯度下降算法）進(jìn)行計算，這是深度學(xué)習(xí)過程中存在的一個問題。倘若，達(dá)到人類水平的AI（人工智能）不能夠依據(jù)該中心范式發(fā)展，我們需要發(fā)現(xiàn)一些新的范式，依據(jù)這些新的范式建立新的表征學(xué)習(xí)算法。
此外，關(guān)于AI（人工智能）存在一個哲學(xué)及理論問題尚待解決：有哪些任務(wù)是可以學(xué)習(xí)的，有哪些任務(wù)是不論提供多少資源都無法學(xué)習(xí)的。在學(xué)習(xí)理論中，關(guān)于這些問題我們還要投入更多的努力。由此產(chǎn)生的一些有趣的結(jié)果遵循“沒有免費的午餐定理”，即在可控制范圍內(nèi)，一種特殊的學(xué)習(xí)機(jī)器能夠從眾多可能的任務(wù)中學(xué)習(xí)一小部分的任務(wù)。目前，尚無任何學(xué)習(xí)機(jī)器能夠高效率地學(xué)習(xí)所有潛在的任務(wù)。所有的機(jī)器都得有所側(cè)重地學(xué)習(xí)某些特定的任務(wù)。我們?nèi)祟惖拇竽X不是普通的學(xué)習(xí)機(jī)器，盡管這樣講，聽起來有點自我貶低，但是，這是事實。我們的大腦盡管表面上看起來具有較強的適應(yīng)能力，卻是極具專業(yè)性的。
任何計算設(shè)備均存在內(nèi)在固有的難題。這也就解釋了為什么即使我們制造出具有超人類智能的機(jī)器，在真實世界里這些機(jī)器仍然不能超越人類的智力水平。盡管這些智能機(jī)器能夠在象棋和圍棋中戰(zhàn)勝我們，但是，在擲硬幣的游戲，它們和我們?nèi)祟愐粯硬荒軠?zhǔn)確預(yù)測是正面還是反面。
最近在深度學(xué)習(xí)方面有許多有趣的進(jìn)展，但是我卻不能在此進(jìn)行一一描述。但也有一些想法吸引了我的注意，并且我也參與到研究項目之中。
在我看來，最重要的一個研究是對抗性訓(xùn)練（同時也稱作GAN，生成對抗性網(wǎng)絡(luò)）。這一想法是由Ian Goodfellow當(dāng)他與Yoshua Bengio還是蒙特利亞大學(xué)的學(xué)生時提出來的（他曾在Google Brain工作過，現(xiàn)在在OpenAI）。
這是近10年來ML中提出的最有趣的想法。
這一想法的中心思想是同時訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)。第一個稱為辨別者—讓我們將它標(biāo)注為D（Y）—接受一個輸入（例如，圖像），接著輸出一個標(biāo)量指示圖像Y看起來是“自然”還是不自然。在一個對抗性實例中，D（Y）能看做是某種能量函數(shù)，但Y是一個真實樣本（例如，源于數(shù)據(jù)集的圖像）時，它能接受一個較低的值；或是樣本不是真實的（例如，是一個奇怪的圖像），它會接受一個正值。第二個神經(jīng)網(wǎng)絡(luò)是生成者，標(biāo)注為G(Z)，其中Z是在樣本分布（例如，高斯）中隨機(jī)取樣的一個向量。生成者的作用是生成圖像并用于D(Y)函數(shù)訓(xùn)練已接受正確的圖像（真實圖片是低值，其他的則是高值）。在訓(xùn)練過程中，D顯示的是一個真實圖像，并對其參數(shù)進(jìn)行調(diào)整，讓其輸出值更低。接著D會顯示一個從G生成的圖像，對其參數(shù)進(jìn)行調(diào)整使得其輸出D（G（Z））變得更大（緊接著的是由函數(shù)所決定的目標(biāo)梯度）。但是G(Z)會進(jìn)行自我訓(xùn)練，并產(chǎn)生能愚弄D的圖像讓它誤以為是真的。它是按照D對應(yīng)的Y產(chǎn)生每一個實例的梯度進(jìn)行的。換句話說，它試圖將D的輸出最小化，盡管D試圖將其最大化。因此稱為對抗性訓(xùn)練。
最原始的公式是使用相當(dāng)復(fù)雜的概率框架，但是這是它的要點。
為什么這個會十分的有趣？因為它讓我們訓(xùn)練辨別者，并讓其作為一種無監(jiān)督的“密度估計”，例如，對比功能，這給我們的數(shù)據(jù)一般是低值，但是對其他的一些的則是較高的輸出。辨別者為合理解決問題必須生成一個良好的內(nèi)部數(shù)據(jù)表示。它接著也可以用作特征處理器。但是更有趣的是，生成者能看做是真實數(shù)據(jù)參數(shù)化的復(fù)雜曲面：給它一個向量Z，并將其映射到數(shù)據(jù)流行上的一點。這里有許多人們對此感到十分驚訝的論文，例如生成房間的圖像，在Z向量空間上做算術(shù)。
這里來源于FAIR關(guān)于此話題的有趣論文：
· Denton et al. “Deep Generative Image Models using a? Laplacian Pyramid of Adversarial Networks” (NIPS 2015) : 原文
· Radford et al. “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks” (ICLR 2015): 原文
· Mathieu et al. “Deep multi-scale video prediction beyond mean square error” :原文
最后一個是在視頻預(yù)測上進(jìn)行對抗性訓(xùn)練。這解決了非常重要的問題，當(dāng)你在訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)（或是其他模式）對未來進(jìn)行預(yù)測，或是當(dāng)有幾個可能性的未來時，按照最傳統(tǒng)的方式進(jìn)行訓(xùn)練的網(wǎng)絡(luò)（例如，最小二乘法）會預(yù)測所有可能特征的平均未來。在視頻的條件下，它會產(chǎn)生一個模糊的混亂。對抗性訓(xùn)練能讓系統(tǒng)產(chǎn)生它所想要的一切，只要是在辨別這所允許的范圍內(nèi)。這也就解決了在不確定下，進(jìn)行預(yù)測遇到“模糊”的問題。
這看起來是一個技術(shù)含量極高的事情，但是我真的認(rèn)為它打開了全世界可能性的大門。
人們當(dāng)前致力于在許多領(lǐng)域，且取得了巨大的進(jìn)步：
1. 深度學(xué)習(xí)與推理和規(guī)劃相結(jié)合；
2. 基于模型的深度強化學(xué)習(xí)（涉及到無監(jiān)管預(yù)測型學(xué)習(xí)）；
3. 經(jīng)由可辨的記憶模塊鞏固加強的遞歸神經(jīng)網(wǎng)絡(luò)（例如，記憶網(wǎng)絡(luò)）：
a. 記憶網(wǎng)絡(luò)(FAIR): 詳情
b. 堆棧增強的RNN(FAIR): 詳情
c. 神經(jīng)圖錄機(jī)(DeepMind): 詳情
d. 端對端型MemNN (FAIR/NYU):詳情
4. 經(jīng)過對抗性訓(xùn)練得到的生成型模型、預(yù)測模型
5. “微程序設(shè)計”：其核心思想----將程序（或電路）看作可通過backdrop進(jìn)行訓(xùn)練的微模塊。這一思想表明深度學(xué)習(xí)不僅可以學(xué)會識別模型（如前饋神經(jīng)網(wǎng)），而且可以生成算法（如循環(huán)算法，遞歸算法，子程序算法等）。從DeepMind,FAIR及其他資源中可獲得一些相關(guān)方面的文章，但是，這些僅僅是初級階段的成果。
6. 分層規(guī)劃與分層強化學(xué)習(xí)：這是學(xué)習(xí)將一個復(fù)雜的任務(wù)拆分成一些簡單的子任務(wù)的問題所在，是所有智能系統(tǒng)要滿足的要求。
7. 對外界事物的無監(jiān)管學(xué)習(xí)預(yù)測模型（例如，視頻預(yù)測）
如果在未來幾年人工智能能夠朝向這些方向取得重大發(fā)展，將會出現(xiàn)大量更為智能的關(guān)于對話系統(tǒng)，回答問題，及具有適應(yīng)性的機(jī)器人控制與規(guī)劃等的AI代理器。
設(shè)計出無監(jiān)管式/預(yù)測型學(xué)習(xí)方法，這些學(xué)習(xí)方法允許大型神經(jīng)網(wǎng)絡(luò)在沒有直接人工注釋數(shù)據(jù)的幫助下，通過看視頻，閱讀書本便能夠“學(xué)習(xí)現(xiàn)實世界是如何運轉(zhuǎn)的”。
這將最終衍生出對現(xiàn)實世界有足夠了解的機(jī)器，我們甚至?xí)X得這些冷冰冰的機(jī)器也有了人類的“常識”。要實現(xiàn)這一目標(biāo)，可能會花費5年，10年，20年，甚至更久的時間。我們尚不能確定具體的期限。
如果人工智能成為人類的威脅，什么將會是有效的解決途徑（如果有的話）？
我認(rèn)為AI不會真正的威脅到人類。我并沒有說這是不可能的，但我們是愚昧到了什么地步，才會讓這樣的事情發(fā)生。很多人聲稱：我們足夠聰明，以防止這類事情發(fā)生，但我并不認(rèn)為這是事實。如果我們足夠聰明去建立超級人類智能機(jī)器的話，其風(fēng)險是我們不會愚蠢到給他們無限的力量來毀滅人類。
此外，存在一個完全的錯誤的觀點——我們獲得智能方面情報的唯一途徑是其它人類。根本沒有理由證明：智能機(jī)器甚至將要主宰世界或威脅人類。支配的意志是非常人性化的（而且只針對某些特定的人）。
即使在人類中，智力與權(quán)力的欲望也不相關(guān)。事實上，目前的事件告訴我們，有限智力的人對權(quán)力（和一些成功的東西）的渴望反而過度了。
身為工業(yè)研究實驗室的經(jīng)理，我是大部分人（在某種程度上比我聰明）的老板（我把雇用比我聰明的人當(dāng)成我工作的目標(biāo)）。
許多人類所做的壞事，對于人性都是非常具體的。類似于，感到害怕變得暴力，嫉妒，想獨占訪問的資源，相比于陌生人跟喜歡我們的親戚，等行為，都是通過進(jìn)化物種的生存建立在我們身上的。智能機(jī)器將不會有這些基本的行為，除非我們明確地為他們建立了這些行為。但我們?yōu)槭裁匆@么做呢？
此外，如果有人故意建立一個危險的，大眾智能的人工智能，其他人就可以建立第二個更窄的人工智能，其唯一的目的是摧毀第一個。如果AIs獲取計算資源量相同，第二個人會贏，就像老虎鯊魚或病毒可以殺死一個智力超群的人類。
我認(rèn)為AI不會真正的威脅到人類。我并沒有說這是不可能的，但我們是愚昧到了什么地步，才會讓這樣的事情發(fā)生。很多人聲稱：我們足夠聰明，以防止這類事情發(fā)生，但我并不認(rèn)為這是事實。如果我們足夠聰明去建立超級人類智能機(jī)器的話，其風(fēng)險是我們不會愚蠢到給他們無限的力量來毀滅人類。
此外，存在一個完全的錯誤的觀點——我們獲得智能方面情報的唯一途徑是其它人類。根本沒有理由證明：智能機(jī)器甚至將要主宰世界或威脅人類。支配的意志是非常人性化的（而且只針對某些特定的人）。
即使在人類中，智力與權(quán)力的欲望也不相關(guān)。事實上，目前的事件告訴我們，有限智力的人對權(quán)力（和一些成功的東西）的渴望反而過度了。
身為工業(yè)研究實驗室的經(jīng)理，我是大部分人（在某種程度上比我聰明）的老板（我把雇用比我聰明的人當(dāng)成我工作的目標(biāo)）。
許多人類所做的壞事，對于人性都是非常具體的。類似于，感到害怕變得暴力，嫉妒，想獨占訪問的資源，相比于陌生人跟喜歡我們的親戚，等行為，都是通過進(jìn)化物種的生存建立在我們身上的。智能機(jī)器將不會有這些基本的行為，除非我們明確地為他們建立了這些行為。但我們?yōu)槭裁匆@么做呢？
此外，如果有人故意建立一個危險的，大眾智能的人工智能，其他人就可以建立第二個更窄的人工智能，其唯一的目的是摧毀第一個。如果AIs獲取計算資源量相同，第二個人會贏，就像老虎鯊魚或病毒可以殺死一個智力超群的人類。
我承認(rèn)自己有偏見，但我可以說：
·Apple不是AI研究領(lǐng)域的選手，因為他們有非常隱秘的文化。你無法私底下做最先進(jìn)的研究。如果不公布的話，它就不是研究，最多算是技術(shù)開發(fā)。
·Microsoft正在做一些很好的工作，但它很多的員工都去了Facebook和Google。他們在深度學(xué)習(xí)的演講方面做的很不錯（以及本世紀(jì)當(dāng)前熱潮之前的手寫識別方面）但相比于他們最近在FAIR和DeepMinde方面的努力，在深度學(xué)習(xí)方面他們似乎沒有了太大的野心。
·Google（包括Google Brain和其他的團(tuán)隊）或許是將深度學(xué)習(xí)投入產(chǎn)品和服務(wù)方面的領(lǐng)頭者。因為他們比任何人開始的都早，并且是一家非常大的公司。它們在基礎(chǔ)設(shè)施方面做了很多的背景工作（如TensorFlow，張量處理單元的硬件……）。但它的工作大部分都集中在應(yīng)用程序和產(chǎn)品開發(fā)方面，而不是長期的人工智能研究。大部分來自Google Brain的研究都轉(zhuǎn)向DeepMind，OpenAI，或者FAIR。
·DeepMind在基于學(xué)習(xí)AI方面做了很好的工作。他們的長期研究目標(biāo)與我們在FAIR方面的目標(biāo)非常相似，而且大部分的工作點相似：監(jiān)督/生成模型、規(guī)劃、RL、游戲、記憶增強網(wǎng)絡(luò)的可微規(guī)劃，等。他們面臨的挑戰(zhàn)是，在地理上和組織上與他們最大的內(nèi)部客戶（包括Alphabet（Google））分離。它使他們更難通過為他們的所有者創(chuàng)造收入的方式“支付他們的行程”。但他們似乎做得很好。
·Facebook在2.5年前開創(chuàng)了FAIR，并且想方設(shè)法在短時間內(nèi)讓自己成為AI研究領(lǐng)域的領(lǐng)導(dǎo)者。我驚訝于我們可以吸引多少世界級的研究員（現(xiàn)在FAIR在紐約，門洛帕克，巴黎和西雅圖之間約有60名研究人員和工程師）。我同樣被最近2.5年來我們研究的質(zhì)量和影響所打動。我們雄心勃勃，我們準(zhǔn)備好了長期競爭，我們對公司有著影響力，這使得我們很容易證明我們有存在感。最重要的是，我們是非常開放的：我們的研究人員每年發(fā)布多篇論文。沒有什么比看到一個很有前途的年輕研究員加入less-than-open公司或從研究圈啟動并且消失更加可以令人清醒了。
下面是我們的目標(biāo)，機(jī)構(gòu)，和運行方式。
首先，談一談目標(biāo)。我們基本上有一個長期目標(biāo)：理解人工智能并建立智能機(jī)器。這不僅僅是技術(shù)的挑戰(zhàn)，同時也是個科學(xué)問題。什么是人工智能？我們怎樣才可以將其在機(jī)器中重生？與“什么是宇宙”和“什么是生活”一樣，“什么是智能”可能是我們這個時代最重要的科學(xué)問題之一。最終，它不僅可以幫助我們建立智能機(jī)器，還有助于了解人類的大腦，以及大腦是如何進(jìn)行工作的。
也就是說，在建立真正的智能機(jī)器的道路上，我們會發(fā)現(xiàn)新的理論，新的規(guī)則，新的方法，和新的算法（在短期和中期可以應(yīng)用）。很多其它的科技在Facebook產(chǎn)品和服務(wù)中很快找到了關(guān)于圖像理解，自然語言理解，內(nèi)容過濾/排名，等的方法。
當(dāng)Mark Zuckerberg在Facebook雇傭我的時候，他和CTO Mike Schroepfer（我的老板）給予了我極大的自由去建立我認(rèn)為最好的FAIR。
之前我在幾家工業(yè)研究實驗室上過班（Bell Labs, AT&T Labs, NEC Research Institute, even at Xerox PARC as an intern in the 1980s）而且在 Microsoft Research, IBM Research, Google, DeepMind 和很多其它的地方都有朋友（有些人研究過世了）。所以我知道在一個工業(yè)研究環(huán)境中需要什么樣的工作，不需要什么樣的工作。我同樣也知道了一個研究實驗室為什么會成功，或消亡。這些經(jīng)驗讓我知道FAIR該怎么構(gòu)建，以及如何運行。
首先，只有公司有著長遠(yuǎn)的眼光，才可以負(fù)擔(dān)得起有著雄心勃勃目標(biāo)的先進(jìn)的研究實驗室。這意味著有“真正的”研究實驗室的公司是比較大的，并且在他們的市場上生存環(huán)境良好（他們不需要擔(dān)心長期生存）。從歷史上看，就是這些公司如IBM, AT&T, Xerox, General Electric, Microsoft, and now Google and Facebook。
第二，研究必須在開放的，必須強制研究人員發(fā)布他們的工作。這是非常重要的：相比于發(fā)布的研究，秘密進(jìn)行的研究的質(zhì)量幾乎總是相當(dāng)?shù)牡停ㄓ悬c像公開源代碼軟件的質(zhì)量，往往比封閉源代碼軟件更好。順便說一句，我們在FAIR發(fā)布了我們的源代碼。）如果他們發(fā)表并通過了同行審查的過濾，研究結(jié)果會更可靠，更堅實。此外，一個研究人員的生活和職業(yè)是與他/她的智力影響有關(guān)的。除非你鼓勵他們發(fā)表自己的作品，否則你無法吸引最好的研究科學(xué)家。最后出版對于公司的聲譽非常有益。許多工程師和科學(xué)家,想為那些是科學(xué)/技術(shù)領(lǐng)導(dǎo)者/創(chuàng)新者的公司工作。這種開放的研究理念，使我們能夠輕松地與大學(xué)和公共/非營利性研究實驗室合作。公司壟斷好的想法。許多好的想法來自學(xué)術(shù)界（事實上，它們中的大多數(shù)都來自學(xué)術(shù)界），但一些可能需要公司如Facebook中的基礎(chǔ)設(shè)施和工程支持，以充分發(fā)揮他們的潛力。
第三，科學(xué)發(fā)現(xiàn)是一個“自下而上”的過程。我們聘請研究人員的一部分，因為他們良好的嗅覺，去選擇好的項目工作和良好的探索主題。在最初階段，大量的研究是探索性的：你有想法，并嘗試它。你需要有靈活的工具，讓你快速地實現(xiàn)事情，并探討他們?nèi)绾喂ぷ?。?dāng)事情開始時，你可以形成一個科學(xué)家和工程師小組，專注于讓想法成功，并把它應(yīng)用到實際問題。如果事情順利的話，它就成為一個工程項目。在這個過程中的每一階段，團(tuán)隊越來越大，工程師（和科學(xué)家）的比例也在增加。在FAIR，我們與一個稱為AML（Applied Machine Learning）的團(tuán)隊非常密切地進(jìn)行工作，他們比FAIR更偏向于工程方向（盡管他們在機(jī)器學(xué)習(xí)/人工智能、計算攝影、虛擬和增強現(xiàn)實等領(lǐng)域，有相當(dāng)多令人難以置信的非?？岬难芯宽椖浚?。FAIR是70%的研究加30%的工程，而AML則是另一方式。我有過在Bell實驗室的實驗經(jīng)驗，在一個研究實驗室中，坐在同一走廊，并與一個工程組密切合作，這種模式運作得很好。以下的鏈接非常恰當(dāng)?shù)拿枋龀隽薋AIR和AML的關(guān)系:Facebook's Race To Dominate AI
PS : 本文由雷鋒網(wǎng)獨家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
