6
| 本文作者： 新智元 | 2016-02-02 18:15 |
編者按：本文由張巨巖翻譯自Quora。
Serkan Piantino，F(xiàn)acebook AI研究工程部主管，F(xiàn)acebook紐約部主任。曾是Bridgewater Assciates公司的投資合伙人。之前負責領導開發(fā)Newsfeed、Newsfeed排序算法、Timeline和Messenger的基礎設施建設等。
Serkan Piantino 在 Quora 上對關于 Facebook AI 研究院的問題給了詳細的解答，新智元整理如下：
有很多有趣的東西，但我會突出一些亮點，還有一些用途廣泛的、令人興奮的項目關鍵點。
首先，在感知方面，我們構建了能理解圖片、視頻、聲音等等外界輸入的系統(tǒng)。Facebook網(wǎng)站上也有一些示例，例如，我們構建了能夠回答圖片場景相關問題的系統(tǒng)，這里是我們近期在參加MSCOCO挑戰(zhàn)賽時用于分割和標記物體的系統(tǒng)所生成的圖片。
這類東西——完成了人類認知任務，如標記、對高維輸入（像素、視頻幀、音頻樣本等等）回答問題——近幾年被廣泛地使用，特別是使用了卷積神經(jīng)網(wǎng)絡這類技巧后。卷積神經(jīng)網(wǎng)絡是我的同事Yann LeCun很早以前發(fā)明的，后來因為GPU處理海量數(shù)據(jù)的強大能力而變得很實用。這很令人興奮，因為它的進步速度十分快，而且這也開辟了以往沒有的新產(chǎn)品領域——能夠在Facebook上理解文本和意圖的產(chǎn)品領域。
我們也開始逆向應用這些網(wǎng)絡，讓它們從一段文字描述中想象場景或圖片，而不是從圖片中總結出文字。以下是FAIRy Soumith Chintala和波士頓的indico Research的一些合作成果，它生成了AI自己想象出的臥室場景。
而且這些網(wǎng)絡也被用于生成面部圖像、專輯封面、花、中國漢字甚至還有二次元角色圖像。
下一件我想突出的事情是我們賦予這些網(wǎng)絡類似于人類記憶和推理的能力。Facebook M項目中一些自動化部分是依靠記憶網(wǎng)絡的，這一工作是被FAIRy的Jason Weston發(fā)表出來。為了處理長對話，我們不得不理解每段文本的意思，而且為了我們以后也能查詢這些內容，我們也需要存儲和訪問它們。這些記憶網(wǎng)絡是在時間中學習如何創(chuàng)造并查詢既定事實的一系列網(wǎng)絡構建方法的一部分。如果說我們傳統(tǒng)而無狀態(tài)（stateless）的方法看起來像是在時間的推移中學習構建簡單電路的話，那么這些網(wǎng)絡看起來就像是完全的自主布線處理器（full, self-wiring processors）。我們也有一些關于這種網(wǎng)絡讀故事并隨后回答問題的網(wǎng)絡示例。
最后，我們從Facebook本身也學到很多東西。Facebook有15.5億用戶，他們之間的相互聯(lián)系和對外部世界的發(fā)掘給了我們絕佳機會來研究人類。作為一名工程師，將系統(tǒng)擴展到整個Facebook社交圖上并從中學習讓我非常興奮，而全球唯一能夠做到這一點的地方就在這里。我們還有很遠的路要走，但我們希望在工作（預測和理解Facebook社交關系圖）中學到更多關于人們的東西。
這無論如何都不是所有的有趣研究，但是它們是我個人喜歡的一些亮點。
根據(jù)我們的經(jīng)驗，在FAIR的工程師首先應該具有一名強大的Facebook工程師所有的特點——如聰明、勤奮、適合我們文化、能將抽象想法轉化為可用的電腦代碼。有了這些，我還需要尋找：
有一些機器學習的基本背景，作為理解你周圍其他語言的基礎；
對相關領域的強烈興趣。對你所從事的東西有強烈興趣；
具有天生的好奇心——閱讀文獻，跟進科學進展
快速習得新研究工具（如CUDA，Torch）而不只是學習它們，還要從事改進它們的工作。
最重要的一個地方是建立這個領域的生態(tài)系統(tǒng)和創(chuàng)業(yè)氛圍，而且創(chuàng)新是人們承受他們生涯中真實存在的風險并控制它們的能力。理想狀態(tài)下，人們在“從創(chuàng)立一個企業(yè)并從頭學起”到“加入能提供更多穩(wěn)定性的大公司并幫助他們從以往的成功中學習”的過程中有很多選擇。
在過去的幾年里，我們看到了NYC的巨大成長，不僅僅是初創(chuàng)公司還有更大的機構，如Facebook NYC。結果是，這個生態(tài)系統(tǒng)變得越來越完整，而且我認為你也會在不同公司和創(chuàng)業(yè)領域（硅谷的標志）中看到一些和諧而積極的行動。
所以，總體來講，我會說它正快速向硅谷，或者說是技術生態(tài)系統(tǒng)，這類的關系方向發(fā)展。
現(xiàn)在有很多神奇的產(chǎn)品，但現(xiàn)在大部分產(chǎn)品所具有的能力是很原始的。這些產(chǎn)品正用很多種方式轉化為Facebook的產(chǎn)品，但是我們需要做更多才能將這些技術挖掘出來，進而將人們天馬行空的想象轉化為真實的產(chǎn)品?，F(xiàn)在，一些AI公司太貪心科技研發(fā)以至于他們沒有發(fā)布任何東西。
所以，接下來的5年里，很多我們在研究社區(qū)中討論過的東西預計會變成更加普及和商品化的技術，也會有很多新初創(chuàng)公司（還有我們的團隊）盡他們所能來用AI改善生活。
對于FAIR或者其他工程領域來說，我們不特別要求學士或碩士學位（甚至類似的大專學歷）?？偸怯修k法證明你所具有的、在招聘時值得我們注意的能力，雖然在計算機科學或機器學習方面的頂級項目中取得優(yōu)異成績是我們注意到世界上最好人才的常見方式（很顯然）。
至于具體技能，見我之前的回答（Q2）。
我認為有一些結構方面的優(yōu)勢：
我們已經(jīng)特別擅長硬件、軟件、開發(fā)平臺和基礎設施的建設來加速團隊工作效率；
我們有全球最大的跨文化、多模態(tài)、結構化、有組織的人們互動的數(shù)據(jù)庫；
我們100%承諾會用5到10年時間來開拓AI領域，而且開源并發(fā)表我們所有的技術以供行業(yè)使用 。
在紐約，我們有繁榮的科技社群，還有很多其他產(chǎn)業(yè)。當產(chǎn)品的客戶和開發(fā)者之間有高頻率地接觸時，一些很好的產(chǎn)品和創(chuàng)新成果會被研發(fā)出來，因此如果你想要在為數(shù)不多的億萬美元級的產(chǎn)業(yè)中有所作為的話，紐約是一個合適的選擇。
在Facebook NYC，我們能首先目睹這一切。幾乎我們所有的大型團隊所關注的產(chǎn)品都因紐約（當?shù)厝?、新聞和出版商）而獲得利益——負責AI研究和移動設備基礎設施的團隊要么和當?shù)禺a(chǎn)業(yè)有緊密合作，進而開發(fā)有關城市環(huán)境體驗的產(chǎn)品，要么以東海岸豐富的人才為中心（如AI研究院或移動工程）。
如果我畫一個色譜圖，一端是小型個體研究項目，中間是很多研究人員或工程師的合作項目，另一端則是大規(guī)模團隊項目和用于產(chǎn)品的系統(tǒng)，在這個色譜圖中，我們會有很多項目同時進行。事實上，任何個體研究人員或工程師經(jīng)常一次性參與很多項目的很多階段。我們討論過很多次的話題是，想法“傳送帶”將原型變?yōu)镕acebook的產(chǎn)品，這也是現(xiàn)在FAIR的一個特色。
雖然這讓管理者的工作變得很復雜，于是在Menlo Park、紐約和巴黎有了一些辦公室，但是這對我們每一個參與的人來說是很興奮的，也有成就感，因為有很多種不同的方式來推進科學。
這里是一些技巧：
團隊結構很重要。分情況對待，遠程團隊中的單獨個體感到受挫的頻率以天為計算單位；需要遠程管理的一小波人所組成的團隊感到受挫的頻率以周來計算；遠離主管或其他機構領導的一個完整團隊感到受挫的頻率以月計算；一個完整的機構，還具有自主性、遠見和決策制定有可能永遠也不會感到受挫；
人們需要周期性“全面同步”，特別是在關鍵時期，例如做出了一些決定或某些計劃被合并了。這些同步之間不能相隔太久，否則有可能存在風險，如團隊成員做錯事或沒在相同的節(jié)奏上；
遠程管理會感覺十分陌生而且具有強制性。你需要嘗試拜訪你的團隊，再三確定他們是決定制定過程和組織變化過程的一部分，因為如果你不這樣做，他們傾向于將這些看做是公司總部的強制命令（這會讓人感受到封閉）；
雇員旅行訂票時不要有冗長的條條框框，鼓勵他們經(jīng)常旅行。他們比你了解應該何時到目的地更好。
強調他們的自主性，并保護它。如果他們感受到你的信任的話，他們會給你驚喜的。
好問題。經(jīng)過與一些很厲害的工程師共同開發(fā)很多項目后，這里是我注意到的一些趨勢：
軟件工程師主要擴展的方式——還要記住在生產(chǎn)力方面可以有10或100的差距——是處理程序分塊（chunking）。一個會思考和熟練寫代碼的工程師與一個在整個算法或系統(tǒng)的思考方面有經(jīng)驗的工程師相比，后者效率更高。為了真的將一些事情組塊化，首先應該掌握它，因此最好的工程師不僅僅能從抽象角度來描述系統(tǒng)，他們準確地知道內部每一塊是如何運作和相互影響的。
偉大的工程師都有第六感，這種第六感是關于何時何地來建立抽象部分。他們將代碼看做是開發(fā)過程中最自然和最有靈活性的表達方式，而這一點不僅讓他們在保持代碼的可讀性和簡潔性方面很細心，而且也讓系統(tǒng)因精心選擇的抽象方式而更具力量和靈活性。
他們自己有很多工具。因此，解決問題更像是選擇不同的工具，他們明白這一點，也在不斷地擴大自己的工具庫。
他們易于合作且很成熟。這個工作的很多部分是交流并成為可靠的隊友，因而個性是十分重要的。偉大的工程師不需要是性格外向的人，他們不需要友善和易于相處，他們也不需要渴望成為管理者。但他們必須清楚如何用開放而相互尊敬的方式來與他人合作。
我觀察到，一些公司在成長過程中感受到壓力，不管是內部（來源于那些想要離開的職員）和外部（來源于那些如果公司要搬走，他們就不加入公司的候選人），而且在這些時候，租用一個共享空間并讓這些人成立一間新辦公室這一選擇是很誘人的。
不幸的是，這保證了辦公室在公司尷尬但很小階段的成長過程中比較有用。這樣的工程師將來的工作有可能都要通過遠程團隊來完成，這會導致低效率和受挫感的出現(xiàn)；也有可能辦公室被強制專精某一產(chǎn)品或領域，這樣的話，辦公室后來很難有成長。
因此，我對公司的建議是等待，然后當你知道你可以沖刺為一個舒服的、可持續(xù)的規(guī)模時，謹慎地設立一家辦公室。在Facebook NYC，我們用了4年時間從0成長為350。我們一直快速地雇傭人才、設立更多和更深的研究項目，讓我們每一位早期工程師成為定義這家辦公室的一部分，因為這家辦公室就是圍繞他們而建立的。這使得FBNY更像是一家大公司內部的快速成長的初創(chuàng)公司，而不是一個被遺忘的小型機構。
首先，讓我指出一點，晶體管——整個數(shù)字和信息時代的基石——是在紐約的郊區(qū)被發(fā)明出來的。
總體來說，硅谷受益于以技術為中心的高密度和專業(yè)化機構，然后再加上健康的基礎設施和將想法轉化為產(chǎn)品和可持續(xù)企業(yè)的生態(tài)系統(tǒng)。
紐約的優(yōu)勢是多樣性，技術同比增長為40%（考慮到招聘），再加上以這里為中心的過剩的其他產(chǎn)業(yè)。大型科技公司，如我們（Facebook）也在茁壯成長，因此創(chuàng)業(yè)的生態(tài)圈、資金的基礎設施和對創(chuàng)意的培育在近幾年中呈現(xiàn)了爆炸式增長。
我期待具有野心的創(chuàng)意——特別是那些能夠解決世界性問題的想法，如健康護理、政府無障礙通行、教育等等——在接下來的10年里在這里成長，豐富這里的多樣性，進而為這里的科技和創(chuàng)業(yè)精神產(chǎn)生巨大影響。
現(xiàn)在這一研究社群有很多興奮的進展，因為一直有新的發(fā)現(xiàn)被公布，基準測試結果被不斷刷新。但是你不需要發(fā)明一些新的東西來從事AI工作。你需要復制這些成功的工具都是開源的，而且很有可能你想要的網(wǎng)絡在Github上是開放的，而且是預訓練好并隨時可用的。
查看一下代碼；鼓搗一下模型看看會發(fā)生什么；在社群中問問題。這個領域需要更多的實踐者，和更多的人來將這些發(fā)現(xiàn)變?yōu)橛杏玫漠a(chǎn)品。
我必須指出，News Feed項目最初成立是在2006年，那時我還沒有進入Facebook。這個故事也基本上傳開了，因此如果你有興趣的話，你應該能在Quora的其他問題中找到關于那些天的描述。
我在2007年才開始從事News Feed項目的工作，幫助重寫了后端部分，開發(fā)了排序算法，領導了幾年的團隊。這是我生涯中最好的體驗——我無法表達出這讓我多么自豪：你關于人們如何和為什么相互聯(lián)系的想法被采用，接著一路編譯到C++中，讓億萬計的人實時得到他們所關心的內容。
我們在FAIR用到了很多工具。主要有：
Lua（和Torch），用于原型制作、訓練、調試、可視化等等；
CUDA，用于編寫高性能模塊，GPU優(yōu)化模塊；
C/C++用于低層的編寫，Caffe用于產(chǎn)品；
Python、Matlab和一些其他工具用于一些專業(yè)的工作中；
非監(jiān)督學習。
我們今天構建的幾乎所有的東西都被我稱為專業(yè)AI。我們有某個任務的足夠樣本，接著我們訓練電腦在沒有我們的情況下完成任務。在我們的AI示例中沒有顯示出來的一件事是我們在人力標記圖片、標記視頻數(shù)據(jù)集等等方面花費了多少精力才讓機器得到了足夠數(shù)據(jù)來學習完成某個任務。
人類真的不是這樣學習的。我們能夠通過看、感知和體驗現(xiàn)實來理解世界并在世界中進行活動。如果我們想要造出類似通用AI的東西的話，我們要弄清楚如何從簡單的觀察中進行學習。換句話來說，我們要開發(fā)出一個不需要人類標記來“監(jiān)督”的系統(tǒng)。
我不認為有人真正破解了這個問題，雖然有很多人嘗試，而且我們的模型和電腦要想成功處理這類問題，有可能還要變強大10或100或1000倍。
當然，我們在評估中很珍惜研究所帶來的影響，也珍惜產(chǎn)品所帶來的影響。我們無法完美的測量這些，但我們有一些方式。如果你的產(chǎn)品有影響，它可能為很多用戶服務，帶來了很多互動或者作為一個平臺吸引了很多使用者。如果你的研究有影響力，它可能會有很多次引用，在開源社區(qū)中有很多人使用它，或者在Facebook中有很多產(chǎn)品團隊在嘗試將其應用到產(chǎn)品中。
注重影響力真的是讓Facebook取得如此成功的一個重要因素，這是我們在產(chǎn)品和研究中都在關注的東西。
我們最近的硬件設計就是這樣做的，名為“Big Sur”。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
