6
| 本文作者： 新智元 | 2016-02-02 18:15 |
編者按：本文由張巨巖翻譯自Quora。
Serkan Piantino，F(xiàn)acebook AI研究工程部主管，F(xiàn)acebook紐約部主任。曾是Bridgewater Assciates公司的投資合伙人。之前負(fù)責(zé)領(lǐng)導(dǎo)開發(fā)Newsfeed、Newsfeed排序算法、Timeline和Messenger的基礎(chǔ)設(shè)施建設(shè)等。
Serkan Piantino 在 Quora 上對關(guān)于 Facebook AI 研究院的問題給了詳細(xì)的解答，新智元整理如下：
有很多有趣的東西，但我會突出一些亮點(diǎn)，還有一些用途廣泛的、令人興奮的項(xiàng)目關(guān)鍵點(diǎn)。
首先，在感知方面，我們構(gòu)建了能理解圖片、視頻、聲音等等外界輸入的系統(tǒng)。Facebook網(wǎng)站上也有一些示例，例如，我們構(gòu)建了能夠回答圖片場景相關(guān)問題的系統(tǒng)，這里是我們近期在參加MSCOCO挑戰(zhàn)賽時(shí)用于分割和標(biāo)記物體的系統(tǒng)所生成的圖片。
這類東西——完成了人類認(rèn)知任務(wù)，如標(biāo)記、對高維輸入（像素、視頻幀、音頻樣本等等）回答問題——近幾年被廣泛地使用，特別是使用了卷積神經(jīng)網(wǎng)絡(luò)這類技巧后。卷積神經(jīng)網(wǎng)絡(luò)是我的同事Yann LeCun很早以前發(fā)明的，后來因?yàn)镚PU處理海量數(shù)據(jù)的強(qiáng)大能力而變得很實(shí)用。這很令人興奮，因?yàn)樗倪M(jìn)步速度十分快，而且這也開辟了以往沒有的新產(chǎn)品領(lǐng)域——能夠在Facebook上理解文本和意圖的產(chǎn)品領(lǐng)域。
我們也開始逆向應(yīng)用這些網(wǎng)絡(luò)，讓它們從一段文字描述中想象場景或圖片，而不是從圖片中總結(jié)出文字。以下是FAIRy Soumith Chintala和波士頓的indico Research的一些合作成果，它生成了AI自己想象出的臥室場景。
而且這些網(wǎng)絡(luò)也被用于生成面部圖像、專輯封面、花、中國漢字甚至還有二次元角色圖像。
下一件我想突出的事情是我們賦予這些網(wǎng)絡(luò)類似于人類記憶和推理的能力。Facebook M項(xiàng)目中一些自動化部分是依靠記憶網(wǎng)絡(luò)的，這一工作是被FAIRy的Jason Weston發(fā)表出來。為了處理長對話，我們不得不理解每段文本的意思，而且為了我們以后也能查詢這些內(nèi)容，我們也需要存儲和訪問它們。這些記憶網(wǎng)絡(luò)是在時(shí)間中學(xué)習(xí)如何創(chuàng)造并查詢既定事實(shí)的一系列網(wǎng)絡(luò)構(gòu)建方法的一部分。如果說我們傳統(tǒng)而無狀態(tài)（stateless）的方法看起來像是在時(shí)間的推移中學(xué)習(xí)構(gòu)建簡單電路的話，那么這些網(wǎng)絡(luò)看起來就像是完全的自主布線處理器（full, self-wiring processors）。我們也有一些關(guān)于這種網(wǎng)絡(luò)讀故事并隨后回答問題的網(wǎng)絡(luò)示例。
最后，我們從Facebook本身也學(xué)到很多東西。Facebook有15.5億用戶，他們之間的相互聯(lián)系和對外部世界的發(fā)掘給了我們絕佳機(jī)會來研究人類。作為一名工程師，將系統(tǒng)擴(kuò)展到整個(gè)Facebook社交圖上并從中學(xué)習(xí)讓我非常興奮，而全球唯一能夠做到這一點(diǎn)的地方就在這里。我們還有很遠(yuǎn)的路要走，但我們希望在工作（預(yù)測和理解Facebook社交關(guān)系圖）中學(xué)到更多關(guān)于人們的東西。
這無論如何都不是所有的有趣研究，但是它們是我個(gè)人喜歡的一些亮點(diǎn)。
根據(jù)我們的經(jīng)驗(yàn)，在FAIR的工程師首先應(yīng)該具有一名強(qiáng)大的Facebook工程師所有的特點(diǎn)——如聰明、勤奮、適合我們文化、能將抽象想法轉(zhuǎn)化為可用的電腦代碼。有了這些，我還需要尋找：
有一些機(jī)器學(xué)習(xí)的基本背景，作為理解你周圍其他語言的基礎(chǔ)；
對相關(guān)領(lǐng)域的強(qiáng)烈興趣。對你所從事的東西有強(qiáng)烈興趣；
具有天生的好奇心——閱讀文獻(xiàn)，跟進(jìn)科學(xué)進(jìn)展
快速習(xí)得新研究工具（如CUDA，Torch）而不只是學(xué)習(xí)它們，還要從事改進(jìn)它們的工作。
最重要的一個(gè)地方是建立這個(gè)領(lǐng)域的生態(tài)系統(tǒng)和創(chuàng)業(yè)氛圍，而且創(chuàng)新是人們承受他們生涯中真實(shí)存在的風(fēng)險(xiǎn)并控制它們的能力。理想狀態(tài)下，人們在“從創(chuàng)立一個(gè)企業(yè)并從頭學(xué)起”到“加入能提供更多穩(wěn)定性的大公司并幫助他們從以往的成功中學(xué)習(xí)”的過程中有很多選擇。
在過去的幾年里，我們看到了NYC的巨大成長，不僅僅是初創(chuàng)公司還有更大的機(jī)構(gòu)，如Facebook NYC。結(jié)果是，這個(gè)生態(tài)系統(tǒng)變得越來越完整，而且我認(rèn)為你也會在不同公司和創(chuàng)業(yè)領(lǐng)域（硅谷的標(biāo)志）中看到一些和諧而積極的行動。
所以，總體來講，我會說它正快速向硅谷，或者說是技術(shù)生態(tài)系統(tǒng)，這類的關(guān)系方向發(fā)展。
現(xiàn)在有很多神奇的產(chǎn)品，但現(xiàn)在大部分產(chǎn)品所具有的能力是很原始的。這些產(chǎn)品正用很多種方式轉(zhuǎn)化為Facebook的產(chǎn)品，但是我們需要做更多才能將這些技術(shù)挖掘出來，進(jìn)而將人們天馬行空的想象轉(zhuǎn)化為真實(shí)的產(chǎn)品?，F(xiàn)在，一些AI公司太貪心科技研發(fā)以至于他們沒有發(fā)布任何東西。
所以，接下來的5年里，很多我們在研究社區(qū)中討論過的東西預(yù)計(jì)會變成更加普及和商品化的技術(shù)，也會有很多新初創(chuàng)公司（還有我們的團(tuán)隊(duì)）盡他們所能來用AI改善生活。
對于FAIR或者其他工程領(lǐng)域來說，我們不特別要求學(xué)士或碩士學(xué)位（甚至類似的大專學(xué)歷）?？偸怯修k法證明你所具有的、在招聘時(shí)值得我們注意的能力，雖然在計(jì)算機(jī)科學(xué)或機(jī)器學(xué)習(xí)方面的頂級項(xiàng)目中取得優(yōu)異成績是我們注意到世界上最好人才的常見方式（很顯然）。
至于具體技能，見我之前的回答（Q2）。
我認(rèn)為有一些結(jié)構(gòu)方面的優(yōu)勢：
我們已經(jīng)特別擅長硬件、軟件、開發(fā)平臺和基礎(chǔ)設(shè)施的建設(shè)來加速團(tuán)隊(duì)工作效率；
我們有全球最大的跨文化、多模態(tài)、結(jié)構(gòu)化、有組織的人們互動的數(shù)據(jù)庫；
我們100%承諾會用5到10年時(shí)間來開拓AI領(lǐng)域，而且開源并發(fā)表我們所有的技術(shù)以供行業(yè)使用 。
在紐約，我們有繁榮的科技社群，還有很多其他產(chǎn)業(yè)。當(dāng)產(chǎn)品的客戶和開發(fā)者之間有高頻率地接觸時(shí)，一些很好的產(chǎn)品和創(chuàng)新成果會被研發(fā)出來，因此如果你想要在為數(shù)不多的億萬美元級的產(chǎn)業(yè)中有所作為的話，紐約是一個(gè)合適的選擇。
在Facebook NYC，我們能首先目睹這一切。幾乎我們所有的大型團(tuán)隊(duì)所關(guān)注的產(chǎn)品都因紐約（當(dāng)?shù)厝恕⑿侣労统霭嫔蹋┒@得利益——負(fù)責(zé)AI研究和移動設(shè)備基礎(chǔ)設(shè)施的團(tuán)隊(duì)要么和當(dāng)?shù)禺a(chǎn)業(yè)有緊密合作，進(jìn)而開發(fā)有關(guān)城市環(huán)境體驗(yàn)的產(chǎn)品，要么以東海岸豐富的人才為中心（如AI研究院或移動工程）。
如果我畫一個(gè)色譜圖，一端是小型個(gè)體研究項(xiàng)目，中間是很多研究人員或工程師的合作項(xiàng)目，另一端則是大規(guī)模團(tuán)隊(duì)項(xiàng)目和用于產(chǎn)品的系統(tǒng)，在這個(gè)色譜圖中，我們會有很多項(xiàng)目同時(shí)進(jìn)行。事實(shí)上，任何個(gè)體研究人員或工程師經(jīng)常一次性參與很多項(xiàng)目的很多階段。我們討論過很多次的話題是，想法“傳送帶”將原型變?yōu)镕acebook的產(chǎn)品，這也是現(xiàn)在FAIR的一個(gè)特色。
雖然這讓管理者的工作變得很復(fù)雜，于是在Menlo Park、紐約和巴黎有了一些辦公室，但是這對我們每一個(gè)參與的人來說是很興奮的，也有成就感，因?yàn)橛泻芏喾N不同的方式來推進(jìn)科學(xué)。
這里是一些技巧：
團(tuán)隊(duì)結(jié)構(gòu)很重要。分情況對待，遠(yuǎn)程團(tuán)隊(duì)中的單獨(dú)個(gè)體感到受挫的頻率以天為計(jì)算單位；需要遠(yuǎn)程管理的一小波人所組成的團(tuán)隊(duì)感到受挫的頻率以周來計(jì)算；遠(yuǎn)離主管或其他機(jī)構(gòu)領(lǐng)導(dǎo)的一個(gè)完整團(tuán)隊(duì)感到受挫的頻率以月計(jì)算；一個(gè)完整的機(jī)構(gòu)，還具有自主性、遠(yuǎn)見和決策制定有可能永遠(yuǎn)也不會感到受挫；
人們需要周期性“全面同步”，特別是在關(guān)鍵時(shí)期，例如做出了一些決定或某些計(jì)劃被合并了。這些同步之間不能相隔太久，否則有可能存在風(fēng)險(xiǎn)，如團(tuán)隊(duì)成員做錯(cuò)事或沒在相同的節(jié)奏上；
遠(yuǎn)程管理會感覺十分陌生而且具有強(qiáng)制性。你需要嘗試拜訪你的團(tuán)隊(duì)，再三確定他們是決定制定過程和組織變化過程的一部分，因?yàn)槿绻悴贿@樣做，他們傾向于將這些看做是公司總部的強(qiáng)制命令（這會讓人感受到封閉）；
雇員旅行訂票時(shí)不要有冗長的條條框框，鼓勵(lì)他們經(jīng)常旅行。他們比你了解應(yīng)該何時(shí)到目的地更好。
強(qiáng)調(diào)他們的自主性，并保護(hù)它。如果他們感受到你的信任的話，他們會給你驚喜的。
好問題。經(jīng)過與一些很厲害的工程師共同開發(fā)很多項(xiàng)目后，這里是我注意到的一些趨勢：
軟件工程師主要擴(kuò)展的方式——還要記住在生產(chǎn)力方面可以有10或100的差距——是處理程序分塊（chunking）。一個(gè)會思考和熟練寫代碼的工程師與一個(gè)在整個(gè)算法或系統(tǒng)的思考方面有經(jīng)驗(yàn)的工程師相比，后者效率更高。為了真的將一些事情組塊化，首先應(yīng)該掌握它，因此最好的工程師不僅僅能從抽象角度來描述系統(tǒng)，他們準(zhǔn)確地知道內(nèi)部每一塊是如何運(yùn)作和相互影響的。
偉大的工程師都有第六感，這種第六感是關(guān)于何時(shí)何地來建立抽象部分。他們將代碼看做是開發(fā)過程中最自然和最有靈活性的表達(dá)方式，而這一點(diǎn)不僅讓他們在保持代碼的可讀性和簡潔性方面很細(xì)心，而且也讓系統(tǒng)因精心選擇的抽象方式而更具力量和靈活性。
他們自己有很多工具。因此，解決問題更像是選擇不同的工具，他們明白這一點(diǎn)，也在不斷地?cái)U(kuò)大自己的工具庫。
他們易于合作且很成熟。這個(gè)工作的很多部分是交流并成為可靠的隊(duì)友，因而個(gè)性是十分重要的。偉大的工程師不需要是性格外向的人，他們不需要友善和易于相處，他們也不需要渴望成為管理者。但他們必須清楚如何用開放而相互尊敬的方式來與他人合作。
我觀察到，一些公司在成長過程中感受到壓力，不管是內(nèi)部（來源于那些想要離開的職員）和外部（來源于那些如果公司要搬走，他們就不加入公司的候選人），而且在這些時(shí)候，租用一個(gè)共享空間并讓這些人成立一間新辦公室這一選擇是很誘人的。
不幸的是，這保證了辦公室在公司尷尬但很小階段的成長過程中比較有用。這樣的工程師將來的工作有可能都要通過遠(yuǎn)程團(tuán)隊(duì)來完成，這會導(dǎo)致低效率和受挫感的出現(xiàn)；也有可能辦公室被強(qiáng)制專精某一產(chǎn)品或領(lǐng)域，這樣的話，辦公室后來很難有成長。
因此，我對公司的建議是等待，然后當(dāng)你知道你可以沖刺為一個(gè)舒服的、可持續(xù)的規(guī)模時(shí)，謹(jǐn)慎地設(shè)立一家辦公室。在Facebook NYC，我們用了4年時(shí)間從0成長為350。我們一直快速地雇傭人才、設(shè)立更多和更深的研究項(xiàng)目，讓我們每一位早期工程師成為定義這家辦公室的一部分，因?yàn)檫@家辦公室就是圍繞他們而建立的。這使得FBNY更像是一家大公司內(nèi)部的快速成長的初創(chuàng)公司，而不是一個(gè)被遺忘的小型機(jī)構(gòu)。
首先，讓我指出一點(diǎn)，晶體管——整個(gè)數(shù)字和信息時(shí)代的基石——是在紐約的郊區(qū)被發(fā)明出來的。
總體來說，硅谷受益于以技術(shù)為中心的高密度和專業(yè)化機(jī)構(gòu)，然后再加上健康的基礎(chǔ)設(shè)施和將想法轉(zhuǎn)化為產(chǎn)品和可持續(xù)企業(yè)的生態(tài)系統(tǒng)。
紐約的優(yōu)勢是多樣性，技術(shù)同比增長為40%（考慮到招聘），再加上以這里為中心的過剩的其他產(chǎn)業(yè)。大型科技公司，如我們（Facebook）也在茁壯成長，因此創(chuàng)業(yè)的生態(tài)圈、資金的基礎(chǔ)設(shè)施和對創(chuàng)意的培育在近幾年中呈現(xiàn)了爆炸式增長。
我期待具有野心的創(chuàng)意——特別是那些能夠解決世界性問題的想法，如健康護(hù)理、政府無障礙通行、教育等等——在接下來的10年里在這里成長，豐富這里的多樣性，進(jìn)而為這里的科技和創(chuàng)業(yè)精神產(chǎn)生巨大影響。
現(xiàn)在這一研究社群有很多興奮的進(jìn)展，因?yàn)橐恢庇行碌陌l(fā)現(xiàn)被公布，基準(zhǔn)測試結(jié)果被不斷刷新。但是你不需要發(fā)明一些新的東西來從事AI工作。你需要復(fù)制這些成功的工具都是開源的，而且很有可能你想要的網(wǎng)絡(luò)在Github上是開放的，而且是預(yù)訓(xùn)練好并隨時(shí)可用的。
查看一下代碼；鼓搗一下模型看看會發(fā)生什么；在社群中問問題。這個(gè)領(lǐng)域需要更多的實(shí)踐者，和更多的人來將這些發(fā)現(xiàn)變?yōu)橛杏玫漠a(chǎn)品。
我必須指出，News Feed項(xiàng)目最初成立是在2006年，那時(shí)我還沒有進(jìn)入Facebook。這個(gè)故事也基本上傳開了，因此如果你有興趣的話，你應(yīng)該能在Quora的其他問題中找到關(guān)于那些天的描述。
我在2007年才開始從事News Feed項(xiàng)目的工作，幫助重寫了后端部分，開發(fā)了排序算法，領(lǐng)導(dǎo)了幾年的團(tuán)隊(duì)。這是我生涯中最好的體驗(yàn)——我無法表達(dá)出這讓我多么自豪：你關(guān)于人們?nèi)绾魏蜑槭裁聪嗷ヂ?lián)系的想法被采用，接著一路編譯到C++中，讓億萬計(jì)的人實(shí)時(shí)得到他們所關(guān)心的內(nèi)容。
我們在FAIR用到了很多工具。主要有：
Lua（和Torch），用于原型制作、訓(xùn)練、調(diào)試、可視化等等；
CUDA，用于編寫高性能模塊，GPU優(yōu)化模塊；
C/C++用于低層的編寫，Caffe用于產(chǎn)品；
Python、Matlab和一些其他工具用于一些專業(yè)的工作中；
非監(jiān)督學(xué)習(xí)。
我們今天構(gòu)建的幾乎所有的東西都被我稱為專業(yè)AI。我們有某個(gè)任務(wù)的足夠樣本，接著我們訓(xùn)練電腦在沒有我們的情況下完成任務(wù)。在我們的AI示例中沒有顯示出來的一件事是我們在人力標(biāo)記圖片、標(biāo)記視頻數(shù)據(jù)集等等方面花費(fèi)了多少精力才讓機(jī)器得到了足夠數(shù)據(jù)來學(xué)習(xí)完成某個(gè)任務(wù)。
人類真的不是這樣學(xué)習(xí)的。我們能夠通過看、感知和體驗(yàn)現(xiàn)實(shí)來理解世界并在世界中進(jìn)行活動。如果我們想要造出類似通用AI的東西的話，我們要弄清楚如何從簡單的觀察中進(jìn)行學(xué)習(xí)。換句話來說，我們要開發(fā)出一個(gè)不需要人類標(biāo)記來“監(jiān)督”的系統(tǒng)。
我不認(rèn)為有人真正破解了這個(gè)問題，雖然有很多人嘗試，而且我們的模型和電腦要想成功處理這類問題，有可能還要變強(qiáng)大10或100或1000倍。
當(dāng)然，我們在評估中很珍惜研究所帶來的影響，也珍惜產(chǎn)品所帶來的影響。我們無法完美的測量這些，但我們有一些方式。如果你的產(chǎn)品有影響，它可能為很多用戶服務(wù)，帶來了很多互動或者作為一個(gè)平臺吸引了很多使用者。如果你的研究有影響力，它可能會有很多次引用，在開源社區(qū)中有很多人使用它，或者在Facebook中有很多產(chǎn)品團(tuán)隊(duì)在嘗試將其應(yīng)用到產(chǎn)品中。
注重影響力真的是讓Facebook取得如此成功的一個(gè)重要因素，這是我們在產(chǎn)品和研究中都在關(guān)注的東西。
我們最近的硬件設(shè)計(jì)就是這樣做的，名為“Big Sur”。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
