雷鋒網(wǎng) AI 科技評(píng)論按：Jeff Dean是谷歌首席架構(gòu)師、谷歌研究院的高級(jí)研究員，也是谷歌的人工智能團(tuán)隊(duì)谷歌大腦（Google Brain）的負(fù)責(zé)人。身披華盛頓大學(xué)博士、美國(guó)工程院院士、ACM（計(jì)算機(jī)協(xié)會(huì)） fellow、AAAS（美國(guó)科學(xué)促進(jìn)會(huì)）fellow名譽(yù)的Jeff Dean在谷歌負(fù)責(zé)過(guò)許多大型項(xiàng)目，支持谷歌運(yùn)行的超大規(guī)模計(jì)算框架MapReduce和機(jī)器學(xué)習(xí)的標(biāo)志性軟件TensorFlow就是在他的領(lǐng)導(dǎo)下開(kāi)發(fā)的。近兩年Jeff Dean還推動(dòng)了一個(gè)谷歌大腦培訓(xùn)生計(jì)劃（Google Brain Residency Program），給對(duì)人工智能感興趣的各界人士提供一個(gè)來(lái)到谷歌大腦進(jìn)行一年進(jìn)修的機(jī)會(huì)。

近日，Jeff Dean在科技自媒體Talking Machines接受采訪，談到了他的早年經(jīng)歷、在谷歌大腦領(lǐng)導(dǎo)的幾個(gè)研究項(xiàng)目以及谷歌大腦培訓(xùn)生計(jì)劃。雷鋒網(wǎng) AI 科技評(píng)論聽(tīng)譯。

您是如何做到現(xiàn)在的職位的？

Jeff Dean：我成為一個(gè)谷歌人已經(jīng)差不多17年了吧。我小時(shí)候的旅行特別多，在許多地方生活過(guò)，11年制和12年制的學(xué)校都上過(guò)。從夏威夷到波士頓、烏干達(dá)、再到波士頓、阿肯撒州、夏威夷、明尼蘇達(dá)、索馬里、明尼蘇達(dá)、亞特蘭大、日內(nèi)瓦、西雅圖，最后到了這兒（加利福尼亞州Palo Alto），大概20多年沒(méi)挪窩，終于定居了。挺好的，我小孩的童年終于不用像我自己那樣一直跑來(lái)跑去的了（笑）。

我長(zhǎng)大之前就對(duì)電腦很感興趣，因?yàn)槲腋赣H是一位醫(yī)生，他很感興趣電腦能不能用來(lái)幫忙解決健康問(wèn)題。所以當(dāng)他在雜志封底看到當(dāng)時(shí)第一臺(tái)組裝電腦Altair 8800的廣告之后立刻就買(mǎi)了，那時(shí)候我才9歲，然后我就看著他折騰、幫他折騰，后來(lái)我就能自己編程了，多數(shù)是游戲，我買(mǎi)了一本游戲源代碼的書(shū)，照著書(shū)上的往電腦里輸，然后自己也開(kāi)始修改；這時(shí)候我也就是十二三歲吧。

這之后我開(kāi)始感興趣電腦能不能用來(lái)解決實(shí)際問(wèn)題，因?yàn)槲液芟矚g在電腦上可以描述解決方案、可以快速嘗試得到結(jié)果知道怎么樣可行怎么樣不可行、可以拓展或者修改軟件的這些特點(diǎn)，很吸引人。然后我就在明尼蘇達(dá)大學(xué)讀了計(jì)算機(jī)和經(jīng)濟(jì)學(xué)本科，當(dāng)時(shí)為了獲得畢業(yè)榮譽(yù)我需要寫(xiě)一篇高級(jí)論文，我的論文內(nèi)容就是研究如何并行訓(xùn)練神經(jīng)網(wǎng)絡(luò)（記者：哇！?。@是人工智能第一次熱潮中的熱門(mén)話題。其實(shí)現(xiàn)在的計(jì)算機(jī)的計(jì)算能力都不完全夠，那時(shí)候就更不用說(shuō)了，所以用并行訓(xùn)練的方法就可以調(diào)用更多計(jì)算力來(lái)解決問(wèn)題。那時(shí)候我想了一些好玩的算法，在64臺(tái)電腦連成的集群上做流動(dòng)梯度。那時(shí)候的神經(jīng)網(wǎng)絡(luò)可以用有趣的方法完成一些小任務(wù)，但是沒(méi)辦法用來(lái)解決真正的問(wèn)題；實(shí)際上缺的就是計(jì)算能力。

然后我就先把這事兒放在腦后了，在世界衛(wèi)生組織工作了一年，這算是在學(xué)校時(shí)候的暑期工作，給HIV疫情做一些軟件建模預(yù)測(cè)。這算是讀研讀博前的一個(gè)間隔年（記者：抽時(shí)間幫聯(lián)合國(guó)做事情，輕松加愉快），對(duì)，然后在華盛頓大學(xué)讀計(jì)算機(jī)科學(xué)的研究生。這之后本來(lái)想根據(jù)前幾年研究神經(jīng)網(wǎng)絡(luò)的經(jīng)驗(yàn)，繼續(xù)學(xué)習(xí)并行計(jì)算的，結(jié)果被別人帶跑到研究詞匯語(yǔ)言的編譯器優(yōu)化去了，不過(guò)也挺好玩的。

然后我就來(lái)到了Palo Alto，在數(shù)字設(shè)備公司的西部研究實(shí)驗(yàn)室工作了大概3年，做了很多不同的事情，這也就是我喜歡這個(gè)實(shí)驗(yàn)室的一點(diǎn)，很多不同的人在做很多不同的事情。我做過(guò)操作系統(tǒng)級(jí)別的解析、研究過(guò)計(jì)算機(jī)架構(gòu)、做過(guò)信息提取，然后就沿著信息提取這條路逐漸來(lái)到了谷歌。

您現(xiàn)在在谷歌大腦這里做著各種各樣新奇的事情，那您手頭的事情里最吸引您的是哪件？

Jeff Dean：你知道，整個(gè)機(jī)器學(xué)習(xí)界都非常吸引人，有很多有趣的前沿研究，電腦能學(xué)會(huì)、有能力做的事情越來(lái)越多，有很多研究已經(jīng)投入實(shí)用了，我們想辦法把證明有效的技巧應(yīng)用在更多的領(lǐng)域里。然后對(duì)于計(jì)算機(jī)系統(tǒng)，我們要能夠擴(kuò)大它們的規(guī)模、提高計(jì)算能力，來(lái)滿足前面這些方法的計(jì)算力需求。我們還要構(gòu)建合理的底層硬件平臺(tái)才能達(dá)到我們現(xiàn)在能在神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)項(xiàng)目看到的這種結(jié)果，就是，數(shù)據(jù)越多，計(jì)算能力越強(qiáng)，結(jié)果就越好。那么，如何建立更強(qiáng)的計(jì)算能力來(lái)達(dá)到這個(gè)目標(biāo)，就是最吸引我的事情，實(shí)際做的時(shí)候也會(huì)有很多驚人的成果。

棒極了。我近期看到您說(shuō)您對(duì)醫(yī)療和機(jī)器人方面的應(yīng)用也很感興趣。給我們介紹一下這些方面的研究吧。

Jeff Dean：好。在醫(yī)療方面，人工智能可以實(shí)現(xiàn)很多現(xiàn)在需要由專業(yè)醫(yī)生才能做到的事情。我們其實(shí)在醫(yī)學(xué)圖像方面早已有所投入，我們過(guò)去5年的研究就足以證明計(jì)算機(jī)視覺(jué)可以很好地解決這些問(wèn)題，只要能搜集到大規(guī)模的帶標(biāo)簽圖像，然后用大規(guī)模深度卷積神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)這些圖像。醫(yī)學(xué)圖像處理問(wèn)題和其它的計(jì)算機(jī)視覺(jué)問(wèn)題其實(shí)沒(méi)有多少區(qū)別，我們覺(jué)得有很大機(jī)會(huì)可以做出能夠幫助醫(yī)生做多種醫(yī)療圖像診斷的系統(tǒng)。

厲害！您覺(jué)得這樣的實(shí)際應(yīng)用什么時(shí)候會(huì)出現(xiàn)呢？近幾年還是近幾十年？

Jeff Dean：肯定不需要幾十年那么久?，F(xiàn)在的問(wèn)題主要在監(jiān)管、隱私、敏感信息方面，而不是技術(shù)方面。如果你有大量的帶標(biāo)簽圖像， 比如研究了很久的根據(jù)視網(wǎng)膜照片做糖尿病診斷，我們已經(jīng)有了一些早期的結(jié)果，效果很好，很有希望，我們CEO Sundar Pichai在今年谷歌I/O大會(huì)上也簡(jiǎn)單提到過(guò)。我們覺(jué)得其它醫(yī)療圖像問(wèn)題的結(jié)構(gòu)、復(fù)雜度都是類似的，在機(jī)器學(xué)習(xí)面前都不是難題。

棒極了！ 我聽(tīng)說(shuō)您最近啟動(dòng)了一項(xiàng)谷歌大腦培訓(xùn)生計(jì)劃，培訓(xùn)谷歌內(nèi)部的或者其它背景的人。能不能跟我們講講這個(gè)計(jì)劃進(jìn)度如何了？有沒(méi)有引起各種經(jīng)歷的人都對(duì)機(jī)器學(xué)習(xí)產(chǎn)生興趣？

Jeff Dean：我們啟動(dòng)這個(gè)計(jì)劃的初衷就是訓(xùn)練更多的人，讓他們學(xué)會(huì)如何做機(jī)器學(xué)習(xí)研究?，F(xiàn)在這個(gè)領(lǐng)域的狀況是，有很多人加入進(jìn)來(lái)，都對(duì)做這件事很感興趣，不過(guò)全世界沒(méi)有那么多學(xué)術(shù)機(jī)構(gòu)可以讓很多人學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。我們以前招過(guò)一些短期的實(shí)習(xí)生，而這個(gè)進(jìn)修計(jì)劃則是一年期的，面向更多的、我們也不確定有怎樣的教育或者工作經(jīng)歷的人，不過(guò)很多人申請(qǐng)，大概有2400個(gè)人，然后我們第一期的進(jìn)修計(jì)劃班選了27個(gè)人。

我很喜歡的一點(diǎn)是，我們選的這些人以前的經(jīng)歷多種多樣，40%本科學(xué)歷、35%左右碩士學(xué)歷，其余的是博士或者某些領(lǐng)域的博士后；有一半的人在業(yè)界工作過(guò)，一半的是直接從大學(xué)過(guò)來(lái)的。他們之前的領(lǐng)域也有好幾種，三分之一是計(jì)算機(jī)科學(xué)的，三分之一是數(shù)學(xué)或者統(tǒng)計(jì)學(xué)，其它的人就是來(lái)自各種科學(xué)專業(yè)，比如物理學(xué)家、生物學(xué)家，還有來(lái)自醫(yī)藥學(xué)的，計(jì)算機(jī)金融的。所以有這么多種不同的人挺好的，以前我參與的讓不同經(jīng)歷、不同特長(zhǎng)的人聚在一起的項(xiàng)目就經(jīng)常能夠比只有一兩類人參與的做得更多更好，因?yàn)橐蝗喝司墼谝黄鹨院缶湍芙鉀Q很多沒(méi)辦法單獨(dú)一個(gè)人解決的問(wèn)題。

所以這個(gè)進(jìn)修計(jì)劃就跟目前機(jī)器學(xué)習(xí)的熱潮很相符，您在做的這種來(lái)自業(yè)界的內(nèi)部培訓(xùn)，所能提供的基礎(chǔ)研究的環(huán)境和大學(xué)實(shí)驗(yàn)室是同等的。您覺(jué)得隨著機(jī)器學(xué)習(xí)方面吸引人的事情越來(lái)越多，這樣的做法會(huì)如何改變工業(yè)界和學(xué)術(shù)界呢？

Jeff Dean：對(duì)，我覺(jué)得這事兒挺有意思的。當(dāng)你把機(jī)器學(xué)習(xí)社區(qū)看作一個(gè)整體的時(shí)候，你就能感覺(jué)到它發(fā)展得非常塊。我開(kāi)始是做計(jì)算機(jī)的，最近四五年開(kāi)始做機(jī)器學(xué)習(xí)，然后我的感覺(jué)就是，大家一旦寫(xiě)好了論文就會(huì)馬上把它傳到arXiv上去，以免被別人搶先了（笑）；全世界每個(gè)實(shí)驗(yàn)室都會(huì)搜集一下本周新出的上百篇論文是哪些，快速瀏覽下其中有意思的，然后對(duì)它們做一些修改和完善、加一點(diǎn)自己的想法， 就很快又發(fā)表到arXiv上去了。那么現(xiàn)在大家的思考時(shí)間就是一兩周，而不是以往子領(lǐng)域里慢得多的傳統(tǒng)方式，你要把論文投遞到會(huì)議，9個(gè)月以后論文被接收了以后你才會(huì)考慮在會(huì)議正式開(kāi)始之前把論文放到網(wǎng)上。那時(shí)候的思考時(shí)間大概是9個(gè)月或者1年，現(xiàn)在就只有一兩周，很震撼。

而且我發(fā)現(xiàn)機(jī)器學(xué)習(xí)可以影響很多很多的領(lǐng)域，除了計(jì)算機(jī)科學(xué)，還有很多理論研究、醫(yī)療保健、機(jī)器人等等，整體看來(lái)機(jī)器學(xué)習(xí)領(lǐng)域里面還有很多的東西可以挖，對(duì)人工智能基礎(chǔ)研究和實(shí)際應(yīng)用都有很大的影響。確實(shí)很厲害，可以把這么多不同背景的人聚集到一起，這也就是我們發(fā)起這個(gè)計(jì)劃的初衷。明年我們還會(huì)做一期，所以現(xiàn)在就可以開(kāi)始申請(qǐng)了，實(shí)際開(kāi)課的時(shí)間大概是在1月份。我們希望這會(huì)是另一批很棒的參加者，心里裝著有趣的點(diǎn)子的各種各樣不同的人。

真不錯(cuò)。您在谷歌大腦的團(tuán)隊(duì)非常棒，有很多厲害的人，那有沒(méi)有什么您自己特別感興趣的課題呢？

Jeff Dean：我對(duì)機(jī)器人很感興趣，我們?cè)谶@方面的研究也非常積極。利用機(jī)器學(xué)習(xí)可以對(duì)機(jī)器人的端對(duì)端控制帶來(lái)不小提升。我們先建立一個(gè)神經(jīng)網(wǎng)絡(luò)，然后有個(gè)攝像頭提供輸入，就可以用輸出直接對(duì)機(jī)器手臂做電機(jī)的扭矩控制，不用單獨(dú)的機(jī)械手控制算法什么的，直接就可以搞定手眼協(xié)調(diào)、用手臂做事情之類的任務(wù)。我們還從壁櫥里找到了二十個(gè)沒(méi)人用的機(jī)械臂做了一個(gè)機(jī)械臂社團(tuán)，都是一個(gè)谷歌收購(gòu)的公司里本來(lái)要作為產(chǎn)品賣(mài)的，但是后來(lái)改了路線圖；我們研究員發(fā)現(xiàn)它們的時(shí)候特別驚喜。這樣我們就有了一個(gè)“農(nóng)場(chǎng)”，其實(shí)我更喜歡的名字是“垃圾堆”，不過(guò)最后還是決定叫它“機(jī)械臂農(nóng)場(chǎng)”了。在這個(gè)實(shí)驗(yàn)室里我們就可以研究許多機(jī)器人之間的并行數(shù)據(jù)，你知道，大部分?jǐn)?shù)據(jù)都會(huì)是相同的，但是有些地方會(huì)有微秒的區(qū)別，比如攝像頭不一樣、攝像頭的位置不一樣，有的攝像頭沒(méi)有精確校準(zhǔn)到肩膀以上一定的位置 - 我不知道還能不能把那里叫肩膀。 （記者：那就叫“關(guān)節(jié)”吧）這樣能用真實(shí)的機(jī)器人做實(shí)驗(yàn)就很好；同時(shí)我們也在積極研究機(jī)器人模擬器，就是即便你有20個(gè)機(jī)器人，能做的實(shí)驗(yàn)也還是比較有限的。這事兒就挺讓人激動(dòng)的。

我們還有很多別的讓人激動(dòng)的事情，語(yǔ)言理解、計(jì)算機(jī)視覺(jué)，我們?cè)诟倪M(jìn)機(jī)器翻譯方面也下了很多功夫，（記者：谷歌神經(jīng)機(jī)器翻譯系統(tǒng)，Google Neural Machine Translation）對(duì)，很棒的，我們剛剛發(fā)了一篇很好理解的論文到arXiv上，而且還有第一個(gè)正式的語(yǔ)言對(duì)：中文到英文和英文到中文現(xiàn)在都上線了，未來(lái)幾周到幾個(gè)月的時(shí)間里我們還會(huì)上線更多的語(yǔ)言對(duì)。相比以前基于詞匯對(duì)的概率翻譯模型，翻譯質(zhì)量得到了巨大提升；現(xiàn)在的系統(tǒng)用的是神經(jīng)網(wǎng)絡(luò)，端到端訓(xùn)練的，語(yǔ)言之間轉(zhuǎn)換又輕松又好看。

那么下一步是把人類所用的所有語(yǔ)言都添加到里面，還是繼續(xù)提升翻譯質(zhì)量？

Jeff Dean：我們關(guān)注的事情有好幾件，谷歌翻譯這個(gè)產(chǎn)品支持的語(yǔ)言翻譯已經(jīng)有上萬(wàn)種 - 上百種語(yǔ)言中的一種到上百種語(yǔ)言中的另一種，所以讓翻譯系統(tǒng)支持所有的語(yǔ)言是最終的目標(biāo)之一；不過(guò)我們同樣關(guān)心如何提升翻譯質(zhì)量，我們有很多的好想法，有可能在目前的提升的基礎(chǔ)上再跨越一大步，我們自己也很期待。 我們小組的研究員和翻譯產(chǎn)品團(tuán)隊(duì)之間的合作也非常愉快。

您的小組最近有一篇論文我很感興趣，主題應(yīng)該是“監(jiān)督學(xué)習(xí)中的公平機(jī)會(huì)”，我理解它好像是關(guān)于繼承性歧視的。能詳細(xì)講一下嗎？

Jeff Dean：當(dāng)你給機(jī)器學(xué)習(xí)模型輸入很多數(shù)據(jù)的時(shí)候，它能夠識(shí)別其中的模式，有一些結(jié)果是我們想要的、有用的，但是有一些結(jié)果只是真實(shí)情況的客觀反應(yīng)，而不是我們想看到的樣子。那么這項(xiàng)研究的核心點(diǎn)是，一個(gè)經(jīng)過(guò)訓(xùn)練后的機(jī)器學(xué)習(xí)系統(tǒng)會(huì)有不同的行為，有沒(méi)有可能根據(jù)它的行為來(lái)矯正模型，這樣不管這個(gè)系統(tǒng)是如何訓(xùn)練出來(lái)的，都能讓它保持公正，比如不管什么膚色都有一樣的機(jī)會(huì)獲得貸款，即便機(jī)器學(xué)習(xí)系統(tǒng)可能會(huì)把其它的屬性和膚色聯(lián)系到一起從而導(dǎo)致膚色影響獲得貸款的可能性。我覺(jué)得這個(gè)問(wèn)題挺重要的，如何讓機(jī)器學(xué)習(xí)系統(tǒng)具有我們想讓它們擁有的特質(zhì)，比如公平、無(wú)偏見(jiàn)。論文里采用的方法我很喜歡，任意一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)都可以在最后額外增加這個(gè)保證公平的算法，而不是只能跟某一兩種機(jī)器學(xué)習(xí)系統(tǒng)緊密聯(lián)系起來(lái)。

學(xué)術(shù)界和工業(yè)界對(duì)其它一些道德問(wèn)題有沒(méi)有想到什么能夠做成系統(tǒng)一部分的方法呢？

Jeff Dean：我們幾個(gè)月前也發(fā)表過(guò)另外一個(gè)方面的成果，跟UC伯克利、斯坦福和一些OpenAI的人一起做的，是關(guān)于人工智能安全中的實(shí)際問(wèn)題的。不過(guò)這個(gè)就是安全問(wèn)題而不是道德問(wèn)題了。我覺(jué)得人們經(jīng)常談起對(duì)計(jì)算機(jī)取代人類的恐懼，一開(kāi)始我覺(jué)得大家擔(dān)心這種事情擔(dān)心得太早了、太偏了，沒(méi)什么道理；不過(guò)我現(xiàn)在覺(jué)得近期確實(shí)會(huì)有一些具體問(wèn)題是需要我們研究和改善的，要改進(jìn)或者想辦法對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的行為加以限制。即便它們是用數(shù)據(jù)訓(xùn)練出來(lái)的，但是當(dāng)它們遇到來(lái)自分布與訓(xùn)練集不同的數(shù)據(jù)的時(shí)候，我們也要保證它們的行動(dòng)也都安全、合理。這篇論文提出了五六個(gè)這種問(wèn)題，這個(gè)問(wèn)題就是其中一個(gè)。在我們看來(lái)這些就是具體的研究方向，它們遲早會(huì)變成真正的問(wèn)題，我們要抓緊行動(dòng)起來(lái)。對(duì)于真實(shí)世界中的機(jī)器人、接觸人類的機(jī)器人，這些問(wèn)題就會(huì)得到體現(xiàn)，我們希望它們能安全行動(dòng)，不要傷害別人，不要因?yàn)槭怯贸扇说臄?shù)據(jù)訓(xùn)練的就會(huì)把小孩踩在腳下，所以我們就要提前考慮、想到穩(wěn)妥的辦法預(yù)防這些問(wèn)題的出現(xiàn)。機(jī)器學(xué)習(xí)社區(qū)應(yīng)該多考慮、多研究這些問(wèn)題。

您曾經(jīng)提到過(guò)一個(gè)機(jī)器學(xué)習(xí)社區(qū)內(nèi)部的問(wèn)題，就是對(duì)于這些學(xué)習(xí)計(jì)算機(jī)的、做研究的人來(lái)說(shuō)，性別比例和少數(shù)族裔比例并不理想。您覺(jué)得有什么好辦法讓更多的人學(xué)計(jì)算機(jī)、讓更多不同的人參與思考和研究呢？

Jeff Dean：這件事也是我非常關(guān)心的一件事。從我個(gè)人在許多不同地方長(zhǎng)大、能看到許多不同來(lái)歷的人的經(jīng)歷來(lái)說(shuō)，我希望學(xué)習(xí)計(jì)算機(jī)科學(xué)的人的比例能反映出全世界的人群多樣性，而不僅僅是其中少數(shù)擁有這些機(jī)會(huì)的人的狀況。我覺(jué)得很重要的是要代表全世界范圍內(nèi)研究這個(gè)領(lǐng)域的人的多樣性，我們鼓勵(lì)女青年學(xué)習(xí)計(jì)算機(jī)科學(xué)，而不是在高中時(shí)候就被同班的男同學(xué)說(shuō)“你不應(yīng)該學(xué)數(shù)學(xué)”。我們要想一些更廣闊的方法，把它看作涵蓋了整個(gè)教育過(guò)程、需要我們以很多不同的方法參與解決的問(wèn)題；種族問(wèn)題和社會(huì)地位承認(rèn)的問(wèn)題也一樣。有的人家里沒(méi)有機(jī)會(huì)買(mǎi)電腦，中學(xué)也沒(méi)有，沒(méi)有機(jī)會(huì)玩或者研究，那么他們即便想學(xué)習(xí)計(jì)算機(jī)科學(xué)也會(huì)處于劣勢(shì)；他們甚至可能意識(shí)不到自己需要學(xué)習(xí)計(jì)算機(jī)。我覺(jué)得想辦法讓這些人能夠接觸到計(jì)算機(jī)就是一件重要的事。

您在TensorFlow當(dāng)中參與很多，它差不多改變了一切。那么您對(duì)TensorFlow的未來(lái)有什么打算？

Jeff Dean：TensorFlow一開(kāi)始是為了我們的內(nèi)部研究和機(jī)器學(xué)習(xí)生產(chǎn)需求開(kāi)發(fā)的開(kāi)源系統(tǒng)。從一開(kāi)始我們就決定要把它開(kāi)源，所以花了9個(gè)月才做出我們自己覺(jué)得滿意的初始版本；到現(xiàn)在已經(jīng)開(kāi)源了差不多一年了。我們都在準(zhǔn)備蛋糕和蠟燭要開(kāi)party慶祝開(kāi)源一周年了（笑）。

我們一開(kāi)始決定開(kāi)源有這么幾個(gè)原因，其中一個(gè)原因是，如果我們能夠拿出與論文中所做的事情相符的算法實(shí)現(xiàn)，那么就可以復(fù)現(xiàn)我們的結(jié)果。因?yàn)槟阒缹?xiě)技術(shù)論文的時(shí)候會(huì)省略掉很多細(xì)節(jié)，比如我們?nèi)绻谡撐睦飳?xiě)“我們選用了較低的學(xué)習(xí)速率”，那讀者就會(huì)問(wèn)“較低的學(xué)習(xí)速率具體是多少？”那么我們就覺(jué)得通過(guò)做出一個(gè)可重復(fù)的產(chǎn)品，可以加速科學(xué)到知識(shí)的轉(zhuǎn)化，而不僅僅是往arXiv上傳論文。第二個(gè)原因是，我們自己內(nèi)部覺(jué)得這可以讓整個(gè)社區(qū)獲益，這樣的系統(tǒng)可以讓算法的研究和生產(chǎn)實(shí)現(xiàn)用同一個(gè)系統(tǒng)完成，不用由于負(fù)載提升了就重寫(xiě)整個(gè)系統(tǒng)，這件事會(huì)變得簡(jiǎn)單得多。而且我們還希望它有一定的便攜性，可以在數(shù)據(jù)中心或者臺(tái)式機(jī)的GPU上訓(xùn)練算法，然后在手機(jī)的應(yīng)用程序里運(yùn)行同一個(gè)算法，這樣手機(jī)也就可以從深度學(xué)習(xí)受益了。

我們現(xiàn)在就基本達(dá)到了這些目標(biāo)，而且我們?cè)诔跏及姹景l(fā)布后的幾個(gè)月里還發(fā)布了一個(gè)分布式版本的TensorFlow。我們下面會(huì)開(kāi)源一個(gè)連接到系統(tǒng)的編譯器，這樣就可以對(duì)TensorFlow圖中的一部分節(jié)點(diǎn)做計(jì)算、生成優(yōu)化代碼，而不需要做整體的矩陣乘法或者比例操作，類似這種，我們覺(jué)得這對(duì)性能有很大的改進(jìn)；還有很多別的好處。我們現(xiàn)在還在考慮具體的細(xì)節(jié)，等到我們把這部分代碼開(kāi)源出來(lái)的時(shí)候肯定很讓人激動(dòng)。社區(qū)成員們一直在想辦法拿出越來(lái)越有用的模型，它們可以有效地解決各種各樣的問(wèn)題，我們也會(huì)好好寫(xiě)好文檔，TensorFlow一開(kāi)始受到歡迎，就跟我們的入門(mén)教程有關(guān)系，我們不僅展示和描述了機(jī)器學(xué)習(xí)的思路，而且也解釋清楚了如何在TensorFlow中實(shí)現(xiàn)這些方法。這樣用的人一看就知道要怎么建立自己的模型了。

所以結(jié)果的可重復(fù)性也是機(jī)器學(xué)習(xí)方面的一個(gè)重要問(wèn)題，尤其是有越來(lái)越多的人對(duì)機(jī)器學(xué)習(xí)感興趣，arXiv也一直推進(jìn)這方面發(fā)展得非常塊。學(xué)術(shù)界和工業(yè)界還需要做什么提高可重復(fù)性、可持續(xù)性的事情，來(lái)讓大家能夠跟上發(fā)展的腳步嗎？

Jeff Dean：我覺(jué)得有一件事是，希望大家有更多的標(biāo)準(zhǔn)數(shù)據(jù)集可以選擇用來(lái)做自己的研究。還有就是，當(dāng)我們看到別人發(fā)表的具有可重復(fù)性的算法實(shí)現(xiàn)的時(shí)候，理想狀況下，按下開(kāi)始按鈕，幾小時(shí)或者幾天以后就會(huì)得到一個(gè)和論文里的某個(gè)表格里一樣的結(jié)果，感覺(jué)起來(lái)很順暢，不過(guò)我們還要更努力才能達(dá)到這個(gè)目標(biāo)，這樣也對(duì)整個(gè)社區(qū)更好。

（完）

via The Talking Machines，雷鋒網(wǎng) AI 科技評(píng)論聽(tīng)譯

相關(guān)文章：

谷歌大腦的2016實(shí)現(xiàn)了哪八個(gè)小目標(biāo)？Jeff Dean親自撰文回顧

Jeff Dean解析谷歌大腦中的深度學(xué)習(xí)工作以及TensorFlow的前世今生 | AI Frontiers

Jeff Dean親自站臺(tái)背書(shū)，揭秘谷歌大腦培訓(xùn)生養(yǎng)成計(jì)劃

專訪 Jeff Dean丨谷歌戰(zhàn)神談增強(qiáng)學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。