0
前兩天，谷歌大腦團(tuán)隊(duì)又在Reddit上做了一次AMA（Ask me anything）活動。
去年8月時(shí)候谷歌大腦團(tuán)隊(duì)也在Reddit上做過同樣的活動，包括Jeff Dean、Geoffery Hinton、Samy Bengio、David Patterson在內(nèi)的23位谷歌大腦成員在 Machine Learning 版塊的帖子里回答了廣大網(wǎng)友們的關(guān)于谷歌大腦的工作模式、與DeepMind的關(guān)系、谷歌大腦的研究宗旨、對深度學(xué)習(xí)未來看法等等方面的提問。提問的問題、成員們的回答以及網(wǎng)友們的后續(xù)討論加起來一共有超過800條留言。谷歌大腦團(tuán)隊(duì)負(fù)責(zé)人、Senior Fellow Jeff Dean 在其中貢獻(xiàn)了22條非常充實(shí)的回答，從他的角度解答了一些網(wǎng)友們的重點(diǎn)疑問。
作為谷歌大腦團(tuán)隊(duì)的成員，Geoffery Hinton的回答里也有一條深深打動了網(wǎng)友們：
（大家應(yīng)該都很慶幸他做木匠做得不順利，不然……）
今年AMA期間Hinton比較忙，沒能參與，不過也有同事替他傳達(dá)了Capsule一切順利的消息。
兩年的AMA下來，Jeff Dean基本上借著網(wǎng)友提問對谷歌大腦的相關(guān)情況做了非常全面的回答，不僅有很多“是什么”和“為什么”，還有很多“未來會如何”。雷鋒網(wǎng) AI 科技評論把這些問答做了個(gè)整理，相信還對谷歌大腦有任何疑惑的讀者看完以后都會得到滿意的解答。（部分重復(fù)問答有刪節(jié)）
網(wǎng)友：谷歌大腦的機(jī)器學(xué)習(xí)團(tuán)隊(duì)首先是一個(gè)大公司的一部分，那你們對于研究方向和總體的未來路線圖送如何劃分優(yōu)先級，如何抉擇的？很大程度上決定于你們近期的工作成果、每個(gè)成員各自的研究內(nèi)容中發(fā)現(xiàn)的新的研究領(lǐng)域，還是團(tuán)隊(duì)領(lǐng)導(dǎo)人決定，還是總體上要向谷歌的商業(yè)需求靠攏？
Jeff Dean：有的研究領(lǐng)域里有重大的問題等待解決，而且解決其中一些問題能夠讓我們造出明顯更智能的系統(tǒng)，我們就會試著找這樣的領(lǐng)域去進(jìn)行研究。我們有一組跟登月差不多難度的研究領(lǐng)域，它們承載了很多研究項(xiàng)目，都是關(guān)于一些有意思的主題的。比如我們有一個(gè)登月項(xiàng)目就是開發(fā)能真正理解、總結(jié)一長段文字并回答問題的學(xué)習(xí)算法（一長段文字包括單個(gè)長文檔、成百上千個(gè)長文檔等等）。做這樣的研究的時(shí)候，我們心中是沒有考慮任何特定的商業(yè)化產(chǎn)品的，不過如果我們能夠成功地造出來這樣的系統(tǒng)，顯然它就可以用在許多不同的場景中。
還有一切其它的研究完全是好奇心驅(qū)動的。原因是我們每年都有很多充滿激情的年輕研究者來訪，不管是培訓(xùn)生還是實(shí)習(xí)生，所以我們也經(jīng)常研究一些機(jī)器學(xué)習(xí)領(lǐng)域總體比較感興趣的方向。
最后，我們也有一些研究是和谷歌其它的產(chǎn)品研發(fā)團(tuán)隊(duì)一起完成的，這些研究中基本都涉及到困難的機(jī)器學(xué)習(xí)問題。我們和翻譯、機(jī)器人、自動駕駛汽車團(tuán)隊(duì)都有研究正在進(jìn)行中，以前也和語音團(tuán)隊(duì)、搜索排名團(tuán)隊(duì)等等做過類似合作的合作。這些合作基本都涉及到開放性的、尚未解決的研究問題，一旦解決的話就能給這些產(chǎn)品帶來新的能力。
網(wǎng)友：深度學(xué)習(xí)領(lǐng)域一直有大量的新研究成果出現(xiàn)，你們是如何跟進(jìn)的？團(tuán)隊(duì)里的每個(gè)人都只看一個(gè)點(diǎn)，還是每個(gè)人每天都要看很多論文？我現(xiàn)在在人工智能專業(yè)讀研二，我覺得論文多到看不過來。以及，有沒有什么事情可以讓我們的社交網(wǎng)絡(luò)展現(xiàn)更多新的科技進(jìn)展？（除了社交媒體上明顯的分享之外）
Jeff Dean：不同的人有不同的處理方式吧。在谷歌大腦，為了讓知識擴(kuò)散得更好，我們每周都有一個(gè)論文閱讀小組活動，這樣每周大家都可以總結(jié)和展示幾篇有意思的論文；我們也有一個(gè)內(nèi)部的論文郵件列表，大家會把感興趣的論文的鏈接或者總結(jié)發(fā)成郵件。
要看每天的新Arxiv論文的話，Andrej Karpathy 的Arxiv Sanity tool 提供了一個(gè)更好的界面。
如果有論文引用了你的成果，谷歌學(xué)術(shù)會給你發(fā)提醒，那如果你已經(jīng)在某個(gè)問題上發(fā)表了一篇論文就能起到一些幫助。
Hacker News上也有一篇關(guān)于這個(gè)問題的討論，https://news.ycombinator.com/item?id=12233289 ，我覺得挺好的。（我喜歡 Hacker News 討論區(qū)里 semaphoreP 的說法：“我每天就自己動手上Arxiv看看自己的領(lǐng)域里有沒有什么新的論文。這跟養(yǎng)成刷reddit的習(xí)慣差不多，就是少了很多可愛的動物圖片”）
網(wǎng)友：你們好，我想了解一下你們的文化、戰(zhàn)略和遠(yuǎn)景。希望你們可以回答這個(gè)最重要的問題：“你們努力要達(dá)到的長期目標(biāo)是什么？為什么？”然后，你們要完成哪些任務(wù)？“每個(gè)谷歌大腦成員會制訂各自的計(jì)劃”就太寬泛了，可以說一說年度預(yù)算嗎？整個(gè)團(tuán)隊(duì)的KPI是怎么樣的？你們有年度盈利目標(biāo)嗎？我喜歡你們的那種分享文化，而且我知道很多別的公司（和政府機(jī)關(guān)）都不會這樣做。我可能沒法形容這對別人有多么大的幫助，不過分享文化能幫助到你們自己嗎？它能如何幫助谷歌和Alphabet？
Jeff Dean：我們的任務(wù)目標(biāo)真的非常寬泛（微笑）。我們的目標(biāo)是構(gòu)建有智慧的機(jī)器，以及用這些機(jī)器改善人類的生活，我們研究的問題基本上就是能夠幫助我們達(dá)成這些目標(biāo)的問題。
預(yù)算的具體數(shù)目我不能透露。
關(guān)于KPI（我還是搜了一下才知道KPI是啥意思），我們沒有什么“KPI”，也沒有任何跟盈利相關(guān)的目標(biāo)。我們做的研究當(dāng)然需要有科學(xué)價(jià)值或者商業(yè)價(jià)值，不過只要得到了很好的科研結(jié)果，那么有沒有商業(yè)價(jià)值并不重要（因?yàn)橥恢牢磥頃谑裁磿r(shí)候產(chǎn)生商業(yè)價(jià)值）。我們確實(shí)會做一些研究，研究結(jié)果現(xiàn)在有用或者將來會對世界有用，這些研究是和谷歌內(nèi)部的許多團(tuán)隊(duì)共同完成的，在語音識別、谷歌照片、YouTube、谷歌搜索、GMail、Adwords、AlphaGo等等許多領(lǐng)域，我們的研究都得到了顯著成果。把這些產(chǎn)品相關(guān)的數(shù)據(jù)拿出來看一看的話，我們谷歌大腦團(tuán)隊(duì)的研究成果對整個(gè)公司都有很大的影響力。
我們非常看重開放性，對我們來說也是好處遠(yuǎn)遠(yuǎn)多于壞處。比如，讓TensorFlow開源，就有很多外部開發(fā)者和我們一起工作，讓這個(gè)系統(tǒng)變得對任何人都更好用。開放性也讓我們更容易和谷歌之外的研究人員共同做研究，因?yàn)檫@樣我們可以經(jīng)常相互分享代碼（比如，有的學(xué)生在畢業(yè)前來谷歌實(shí)習(xí)做了一些工作，現(xiàn)在離開谷歌以后，借助開源的TensorFlow他們也可以更容易地把以前的工作繼續(xù)做下去）。當(dāng)我們公開我們的研究成果的時(shí)候，我們也從其它研究者那里收到有價(jià)值的反饋；這也是借機(jī)向全世界展示我們做的有意思的研究，能吸引更多的人做類似的研究。不過，我們也確實(shí)有一些研究成果是不會對外公開研究細(xì)節(jié)的（把機(jī)器學(xué)習(xí)用于我們的搜索排名系統(tǒng)和廣告系統(tǒng)這種）。
網(wǎng)友：作為谷歌產(chǎn)品的消費(fèi)者和一名研究者，首先感謝你們所有人的工作成果，向你們致意。我想問兩個(gè)問題，1，一個(gè)有用的點(diǎn)子（比如dropout）從發(fā)表在會議論文中，到實(shí)際應(yīng)用在手機(jī)里的谷歌app中，你們一般需要花多長時(shí)間？2，能不能講講在過去5年的研究和系統(tǒng)建造歷程中，你們研究和應(yīng)用的方法都發(fā)生了哪些變化？換句話說，我估計(jì)你們現(xiàn)在更多地用神經(jīng)網(wǎng)絡(luò)，不過那些還沒完全成形的技術(shù)我也很感興趣。謝謝！
Jeff Dean：對于問題1，可短可長，變化很大。舉個(gè)例子，這篇 Arxiv 論文里的序列到序列模型（http://arxiv.org/abs/1409.3215），論文發(fā)表的時(shí)間是2014年9月，論文中的研究內(nèi)容就是在這之前的幾個(gè)月中完成的。而帶有這種模型的產(chǎn)品的首次發(fā)布是在2015年的11月（可以看這篇博客 https://research.googleblog.com/2015/11/computer-respond-to-this-email.html ）。其它已經(jīng)完成的研究，周期還要長得多，而且我們也還不知道這些研究未來能用在什么產(chǎn)品中（如果真能用得到的話）。
對于問題2，據(jù)我所知我們的研究方向確實(shí)轉(zhuǎn)換和進(jìn)化了很多。比如，相比5年前，我們現(xiàn)在用強(qiáng)化學(xué)習(xí)的時(shí)候要多多了，尤其是把強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)結(jié)合起來。相比剛剛啟動項(xiàng)目的時(shí)候，現(xiàn)在我們對循環(huán)網(wǎng)絡(luò)模型的看重程度也要高得多，因?yàn)槲覀冊趪L試解決復(fù)雜的語言理解問題。我們從DistBelief轉(zhuǎn)換到TensorFlow也是一個(gè)例子，我們的想法進(jìn)化了、改變了，很大程度上是由于我們進(jìn)入上述的一些新研究方向的時(shí)候發(fā)現(xiàn)DistBelief的編程模型缺乏靈活性，我們才開發(fā)了TensorFlow。我們在健康保健和機(jī)器人方面的研究在過去幾年中得到了很大的加強(qiáng)，我們也時(shí)不時(shí)開啟新的研究路線，比如對AI安全問題的研究。
網(wǎng)友：在未來幾年內(nèi)，你覺得谷歌大腦團(tuán)隊(duì)會如何發(fā)展？以及你們招人嗎？
Jeff Dean：要考慮未來幾年的發(fā)展的話，有一種思路是看看我們團(tuán)隊(duì)在過去的幾年中都發(fā)生了哪些變化。
我們在機(jī)器學(xué)習(xí)的許多領(lǐng)域都開展了研究，包括機(jī)器學(xué)習(xí)算法、新的模型類型、感知、語音、語言理解、機(jī)器人、AI安全等等很多領(lǐng)域，也在NIPS、ICML、ICLR、CVPR、ICASSP等會議上發(fā)表了相關(guān)研究論文?？梢栽?nbsp;g.co/brain 上看看每個(gè)話題的子頁面。
我們啟動了一個(gè)機(jī)器學(xué)習(xí)研究培訓(xùn)生計(jì)劃，這個(gè)計(jì)劃在未來幾年要一直開展并擴(kuò)大下去，這是為了幫助訓(xùn)練下一代的機(jī)器學(xué)習(xí)研究人員們?？梢钥催@里 g.co/brainresidency。
我們設(shè)計(jì)、構(gòu)造并開源了TensorFlow，并且和越來越多的研究者、開發(fā)者構(gòu)成的社區(qū)一起逐步改善這個(gè)系統(tǒng)（也和我們在谷歌云平臺的同事合作，讓TensorFlow成為谷歌云機(jī)器學(xué)習(xí)平臺的基礎(chǔ)）。參見 tensorflow.org。
我們和其它研究團(tuán)隊(duì)、產(chǎn)品團(tuán)隊(duì)的谷歌同事一起，合作解決機(jī)器學(xué)習(xí)研究方面的問題，這也讓我們的研究成果得以來到數(shù)十億人的面前（通過RankBrain、智能回復(fù)、谷歌圖片、谷歌語音識別、谷歌云視覺等等產(chǎn)品）。
我們啟動了一個(gè)用于機(jī)器人的機(jī)器學(xué)習(xí)研究計(jì)劃 g.co/brain/robotics。
我們花了很多精力把機(jī)器學(xué)習(xí)用于健康保健，參見 g.co/brain/healthcare。
在未來的幾年中，我希望我們的團(tuán)隊(duì)可以繼續(xù)發(fā)展壯大，以各種各樣的形式改變世界，包括研究成果的出版物、開源軟件、解決機(jī)器學(xué)習(xí)研究方面的困難問題從而讓我們構(gòu)建更智能、更能干的系統(tǒng)，而且做這些事情的時(shí)候都要做得有聲有色。
以及，我們正在招全職的研究員、軟件工程師、研究實(shí)習(xí)生和新的研究培訓(xùn)生！可以從這個(gè)頁面的底部看到相關(guān)鏈接 http://g.co/brain
網(wǎng)友：作為研究員個(gè)人，你們按照不同時(shí)間段的研究目標(biāo)分別是什么樣的？（比如下個(gè)月、明年、職業(yè)生涯中其余的時(shí)間？）
Jeff Dean（2016年）：下個(gè)月以及大概到明年，我自己的興趣主要在改進(jìn)TensorFlow平臺上，以及訓(xùn)練非常大的、稀疏激活的模型（模型里大概有一萬億個(gè)參數(shù)，但是對于給定的一個(gè)樣本，模型里只有1%的部分會被激活）。對于職業(yè)生涯的其余時(shí)間，我想說我應(yīng)該會繼續(xù)和有意思的同事一起研究困難的問題，并且我希望這些共同解決的問題可以對世界產(chǎn)生一些明顯的影響。
網(wǎng)友：在你們團(tuán)隊(duì)工作大概是什么樣的？每天都有哪些例行的工作？
Jeff Dean：我領(lǐng)導(dǎo)整個(gè)谷歌大腦團(tuán)隊(duì)。一般來說，我會花一些時(shí)間看郵件、回郵件、看文件、寫意見，也有時(shí)候?qū)懠夹g(shù)文檔、跟團(tuán)隊(duì)內(nèi)或者整個(gè)谷歌的同事開一對一的小會或者小組會議、審查代碼、寫代碼，以及思考關(guān)于整個(gè)團(tuán)隊(duì)的技術(shù)或者組織問題。我有時(shí)候也會在公司內(nèi)部或者去外面做演講。
網(wǎng)友：你們有沒有什么具體的團(tuán)隊(duì)管理綱領(lǐng)？谷歌大腦運(yùn)轉(zhuǎn)的時(shí)候是像大學(xué)的學(xué)院、像傳統(tǒng)商業(yè)公司的研發(fā)中心，還是別的？以及，你們覺得ICML2017如何？澳大利亞算不上一個(gè)機(jī)器學(xué)習(xí)蓬勃發(fā)展的地方，不過我還是很開心可以在這里舉辦。
Jeff Dean：總的來說，我們試著去招那些選擇有趣和重要的問題的時(shí)候表現(xiàn)出不錯(cuò)的品味的人，而且我們很大程度上就是靠這一點(diǎn)來保持我們的組織架構(gòu)比較扁平的。我們會劃分成幾個(gè)很大的子團(tuán)隊(duì)，分別負(fù)責(zé)TensorFlow開發(fā)、機(jī)器學(xué)習(xí)的核心研究、機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)療保健和機(jī)器人這樣的新生領(lǐng)域。在我們的核心研究團(tuán)隊(duì)中，我們有一些有組織比較嚴(yán)謹(jǐn)?shù)拇笮晚?xiàng)目，原因也很簡單，就是因?yàn)橛泻芏嘌芯繂T、軟件工程師、培訓(xùn)生等等在這些項(xiàng)目中合作。研究團(tuán)隊(duì)里的其它人在研究一些單人的或者小團(tuán)隊(duì)的合作項(xiàng)目，不需要正式的組織架構(gòu)。我們嘗試執(zhí)行的管理綱領(lǐng)包括：可以自由選擇重要的研究問題，可以公開發(fā)表以及開源跟我們的研究相關(guān)的代碼，以及隨時(shí)都可以同時(shí)處理很多有不同研究風(fēng)險(xiǎn)/回報(bào)的研究問題。
很可惜我今年沒能去得了ICML，不過我聽說會議很棒，澳大利亞作為舉辦地點(diǎn)也很不錯(cuò)……
網(wǎng)友：谷歌大腦的實(shí)習(xí)生、培訓(xùn)生、研究員可以在谷歌大腦研究深度學(xué)習(xí)之外的項(xiàng)目嗎？比如非參數(shù)化的貝葉斯機(jī)器學(xué)習(xí)？
Jeff Dean：當(dāng)然可以。實(shí)際上，明年我們就打算把培訓(xùn)生計(jì)劃拓展一下，讓它囊括谷歌研究院更多的研究團(tuán)隊(duì)，包括我們的一些研究貝葉斯方法的研究員同事。在谷歌大腦團(tuán)隊(duì)，我們也歡迎研究者研究一些他們自己覺得有趣的研究方向，即便這些方向和整個(gè)團(tuán)隊(duì)正在做的不完全一致。我們覺得這是讓我們的理解不斷前進(jìn)的最好的方法。
網(wǎng)友：關(guān)于谷歌大腦培訓(xùn)生計(jì)劃，一個(gè)人最低要達(dá)到哪些要求你們才會考慮要他呢？我已經(jīng)看了任職要求，不過我想問問如果現(xiàn)在開始準(zhǔn)備的話有沒有什么好方法。另外，如果要招一個(gè)新的谷歌大腦成員，你們都看重什么？你們中的很多人都有各種各樣的過往經(jīng)歷，那過往經(jīng)歷的豐富性就很重要嗎？假如一個(gè)人的編程水平一般但是數(shù)學(xué)很厲害，跟一個(gè)編程很厲害但是數(shù)學(xué)一般的人相比，你們會更傾向于哪一個(gè)呢？
Jeff Dean：谷歌大腦培訓(xùn)生計(jì)劃的最低要求在招聘頁面里面有寫，不過最主要的條件之一是已經(jīng)有充足的證據(jù)證明你在機(jī)器學(xué)習(xí)研究上的興趣（在領(lǐng)域內(nèi)發(fā)表論文、自己寫小型的相關(guān)的項(xiàng)目然后在GitHub上開源等等都行）。
對于新的谷歌大腦成員，如果每個(gè)人在每個(gè)方面都很厲害那當(dāng)然最棒了。不過，不同的人畢竟有不同的知識和能力，所以我們發(fā)現(xiàn)把擁有各種各樣不同技能的人組成小團(tuán)隊(duì)往往可以有效地解決困難的問題，即便其中的人都沒辦法獨(dú)立解決這些問題。我們想要招的就是這樣能夠很好地和別人合作、并且給團(tuán)隊(duì)帶來有用的知識技能的人。
網(wǎng)友：實(shí)習(xí)生有年齡限制嗎？我都四十好幾了……
Jeff Dean：2012年夏天，我邀請了 Geoffrey Hinton 來我們團(tuán)隊(duì)做訪問學(xué)者，不過安排的時(shí)候出了一點(diǎn)問題，他被當(dāng)作了我?guī)У膶?shí)習(xí)生。我們對實(shí)習(xí)生沒有年齡限制的。我們只需要你有才華，而且求知欲很強(qiáng)，像 Geoffrey 這樣的就不錯(cuò)。
網(wǎng)友：6月的時(shí)候李飛飛說，不管是怕AI帶來世界末日，還是怕AI單一乏味，根源都是“在教育和科技研發(fā)中缺乏人性化思考和人性化的任務(wù)描述”。你們在谷歌大腦是如何培養(yǎng)“人性化的思考”的？
Jeff Dean：我本人不怎么擔(dān)心AI帶來世界末日，我覺得這種擔(dān)憂完全是捏造出來的。關(guān)于AI安全和隱私問題有一些合理的擔(dān)憂，我們團(tuán)隊(duì)（和其它一些組織一起）最近就發(fā)表了一篇關(guān)于其中一些問題的論文（ Concrete Problems in AI Safety ，https://arxiv.org/abs/1606.06565 ）。不過我確實(shí)擔(dān)心AI研究生態(tài)中、以及計(jì)算機(jī)科學(xué)總體來說多樣性不足的問題。
谷歌大腦團(tuán)隊(duì)的研究使命是：“讓機(jī)器具有智慧。改善人們的生活?！保∕ake machines intelligent. Improve people’s lives.）我覺得這個(gè)使命的后半部分可以幫我們培養(yǎng)“人性化的思考”，因?yàn)檫@樣我們會考慮我們研究起到的作用，我們會回過頭來考慮如何讓我們的研究成果給人們的生活帶來積極的影響（比如我們在醫(yī)療保健方面的成果 http://g.co/brain/healthcare ）。
谷歌大腦培訓(xùn)生計(jì)劃里有一點(diǎn)我很喜歡，那就是這些實(shí)習(xí)生可以給我們的研究過程帶來各種各樣的過往經(jīng)歷、知識技能（比如我們有物理學(xué)家、數(shù)學(xué)家、生物學(xué)家、神經(jīng)科學(xué)家、電子工程師，當(dāng)然也有計(jì)算機(jī)科學(xué)家）以及其它一些多樣性。以我的經(jīng)驗(yàn)來看，只要把有著不同技能、不同觀點(diǎn)等等的人放在一起，就可以做成沒有人能夠單獨(dú)做成的事情，因?yàn)闆]人能夠具備所有需要的技能和觀點(diǎn)。
網(wǎng)友：我想問問TPU的事情，可以盡量多講一講嗎（在可以公開講的范圍內(nèi)）？我從不同的工程師那里聽說了很多零散的信息，但都不是很統(tǒng)一。我還有幾個(gè)具體的問題：
1，TPU可以運(yùn)行哪些算法？它是為谷歌的某些算法專門做過優(yōu)化的嗎？比如Inception架構(gòu)、batch normalization、某些特定的卷積操作等等。
2，硬件只支持一些特定的算法會不會顯得比較短視？新的算法出來了以后怎么辦，你們要召回這些芯片么？
3，TPU和CPU/GPU相比，大概的能耗和性能是怎么樣的？
4，IIRC的Inception好像是第一個(gè)完全在CPU上訓(xùn)練出來的ImageNet比賽冠軍是嗎？隨著這一切發(fā)展到現(xiàn)在，還用CPU訓(xùn)練的能耗/性能是不是已經(jīng)完全不現(xiàn)實(shí)了，是不是最終每個(gè)人都會需要專用的硬件？
Jeff Dean（2016年）：TPU團(tuán)隊(duì)會寫一篇技術(shù)論文，詳細(xì)介紹這種芯片的架構(gòu)，不用過太久就可以讓大家看到。目前來說，我可以從比較高的層面給你幾個(gè)回答。
對于問題1和2：TPU是設(shè)計(jì)用來做深度神經(jīng)網(wǎng)絡(luò)中的那些運(yùn)算的。它支持的運(yùn)算沒有那么特定、不是只能支持一種特定的模型，而是為神經(jīng)網(wǎng)絡(luò)中高密度的數(shù)學(xué)運(yùn)算做了專門的優(yōu)化，比如矩陣乘法和非線性激活函數(shù)。我們贊同你說的“為一個(gè)特定的模型制造芯片可能會太局限了”，不過TPU并不是這樣的。
問題3：谷歌CEO Sundar Pichai 在谷歌 I/O 2016 大會的演講中分享了一個(gè)高層次的數(shù)據(jù)。具體來說，Sundar說：“TPU比目前所有的商用GPU和FPGA的每瓦性能都高了一個(gè)數(shù)量級”（在I/O大會的時(shí)候）
問題4：（首先說明我不是非常確定）不過我估計(jì)2012年之前的ImageNet冠軍（比如AlexNet之前的）都是在CPU上訓(xùn)練的，所以Inception應(yīng)該不是第一個(gè)在CPU上訓(xùn)練的ImageNet冠軍。舉例的話，講ImageNet 2011年冠軍的PPT里（http://image-net.org/challenges/LSVRC/2011/ilsvrc11.pdf）就沒有提到GPU，ImageNet 2010冠軍PPT（http://www.image-net.org/challenges/LSVRC/2010/ILSVRC2010_NEC-UIUC.pdf）的第八頁提到了100個(gè)成員的計(jì)算集群，應(yīng)該說的也是CPU。我下面會從用CPU訓(xùn)練高計(jì)算強(qiáng)度的深度神經(jīng)網(wǎng)絡(luò)的角度解答你的問題。我覺得CPU用來訓(xùn)練這些系統(tǒng)并不是完全不可行，但是它們在每美元性能和每瓦特性能方面的表現(xiàn)并不算好；而且，在同等條件下，把一大群較低FLOPs的設(shè)備做成集群很困難，用更少數(shù)量、但更高FLOPs的設(shè)備組成集群就容易得多。
網(wǎng)友：你們計(jì)劃在TensorFlow中支持ONNX(Open Neural Network Exchange)嗎？如果不的話可以說下原因嗎？（雷鋒網(wǎng) AI 科技評論注：ONNX是微軟、Facebook等聯(lián)合推出的開放機(jī)器學(xué)習(xí)模型格式，相關(guān)報(bào)道戳這里）
Jeff Dean：前幾天他們在博客上公布這件事的時(shí)候我們看到了。如果它能帶來明顯的作用的話，我估計(jì)TensorFlow社區(qū)是會支持它的。
TensorFlow從2015年11月開源的時(shí)候起就在源代碼里帶有我們的格式來存儲、還原模型的數(shù)據(jù)和參數(shù)。
（由于回答很多，文章分為了上下兩篇。下篇中還有Jeff Dean解答谷歌大腦和DeepMind之間的關(guān)系，以及對機(jī)器學(xué)習(xí)未來的許多看法，「Jeff Dean答疑解惑：關(guān)于谷歌大腦和機(jī)器學(xué)習(xí)未來的26個(gè)精彩問答（下）」。）
雷鋒網(wǎng) AI 科技評論編譯整理
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
