0
前兩天，谷歌大腦團(tuán)隊又在Reddit上做了一次AMA（Ask me anything）活動。
去年8月時候谷歌大腦團(tuán)隊也在Reddit上做過同樣的活動，包括Jeff Dean、Geoffery Hinton、Samy Bengio、David Patterson在內(nèi)的23位谷歌大腦成員在 Machine Learning 版塊的帖子里回答了廣大網(wǎng)友們的關(guān)于谷歌大腦的工作模式、與DeepMind的關(guān)系、谷歌大腦的研究宗旨、對深度學(xué)習(xí)未來看法等等方面的提問。提問的問題、成員們的回答以及網(wǎng)友們的后續(xù)討論加起來一共有超過800條留言。谷歌大腦團(tuán)隊負(fù)責(zé)人、Senior Fellow Jeff Dean 在其中貢獻(xiàn)了22條非常充實的回答，從他的角度解答了一些網(wǎng)友們的重點疑問。
兩年的AMA下來，Jeff Dean基本上借著網(wǎng)友提問對谷歌大腦的相關(guān)情況做了非常全面的回答，不僅有很多“是什么”和“為什么”，還有很多“未來會如何”。雷鋒網(wǎng) AI 科技評論把這些問答做了個整理，相信還對谷歌大腦有任何疑惑的讀者看完以后都會得到滿意的解答。（部分重復(fù)問答有刪節(jié)）
本篇為下篇，上篇中關(guān)于谷歌大腦團(tuán)隊自身的許多問答看雷鋒網(wǎng) AI 科技評論的上一篇文章「Jeff Dean答疑解惑：關(guān)于谷歌大腦和機(jī)器學(xué)習(xí)未來的26個精彩問答（上）」。
網(wǎng)友：谷歌大腦、DeepMind、谷歌量子人工智能實驗室（Quantum A.I. lab）三者之間的關(guān)系是怎么樣的？尤其是，1，三個團(tuán)隊之間的溝通和合作狀況如何？2，在決定路線圖之類的大事的時候，你們會把其它團(tuán)隊的研究也作為考慮因素，還是你們就只是各做各的、不管別人？
Jeff Dean：我們沒怎么和量子人工智能實驗室合作過，原因是他們研究的東西和我們做的研究區(qū)別非常大。
我們和DeepMind一樣，都有“構(gòu)建智能機(jī)器”的研究遠(yuǎn)景，我們會關(guān)注對方的研究成果，我們也在很多不同的研究項目中有合作。比如，AlphaGo 項目一開始是一個谷歌大腦和DeepMind合作的研究項目（ Chris Maddison 在谷歌大腦團(tuán)隊實習(xí)的時候發(fā)起的，詳情看論文 https://arxiv.org/abs/1412.6564），后來 DeepMind 的研究員們在早期研究的基礎(chǔ)上，加上了表現(xiàn)優(yōu)秀而且非常重要的從自我對局中學(xué)習(xí)的強化學(xué)習(xí)的內(nèi)容，把它發(fā)展成了一個真正的系統(tǒng)。Continuous Deep Q-Learning with Model-based Acceleration（http://arxiv.org/abs/1603.00748 ）也是一項合作研究的成果。這里我不得不承認(rèn)，倫敦和山景城之間的時差讓深入的合作變得有點痛苦。谷歌大腦的成員經(jīng)常去DeepMind那邊訪問，反過來也一樣。還有2016年DeepMind從Torch更換為TensorFlow期間，好幾位谷歌大腦的成員在DeepMind待了好幾周，幫他們解決轉(zhuǎn)換中的問題。
在機(jī)器學(xué)習(xí)運用于醫(yī)療保健方面，我們和DeepMind都有項目正在進(jìn)行中，這樣我們也就會定期開會仔細(xì)討論研究路線圖以及下一步怎么做。
所以總的來說，谷歌大腦和量子人工智能實驗室之間：沒什么合作。谷歌大腦和DeepMind之間：很多不同形式的合作。
網(wǎng)友：在你們看來，谷歌大腦和DeepMind的區(qū)別在哪里？如果有人想加入其中一個，有哪些情況是他需要知道的嗎？你們和DeepMind的合作多嗎？
Jeff Dean：我們和DeepMind的合作和互動很多，具體可以看我剛才的回答。
如果要比一比的話，谷歌大腦和DeepMind的目標(biāo)很相似，都是制造智能機(jī)器?？隙ㄐ枰ㄟ^一定的研究才能達(dá)成目的，那么我們和DeepMind就在研究方式上有一些區(qū)別；不過我覺得兩個團(tuán)隊的人做的工作都很精彩，也有一些互補之處。不同之處具體有下面這些：
DeepMind傾向于在人為控制的環(huán)境中做大多數(shù)研究，這樣的環(huán)境包括模擬電腦游戲或者圍棋這樣的比賽，相比之下谷歌大腦傾向于更多地在真實的、來自現(xiàn)實世界的問題和數(shù)據(jù)上進(jìn)行研究。
對谷歌大腦來說，研究路線圖是由研究員們各自的興趣和大家一致認(rèn)為有值得探索的登月式的領(lǐng)域共同決定的，因為我們覺得這樣定下來的路線圖能夠給有智慧的機(jī)器帶來新的能力。DeepMind則是先決定制造一般意義上的有智慧的系統(tǒng)都需要解決哪些問題，然后根據(jù)這些問題形成自上而下的路線圖。
我們更注重讓世界級的機(jī)器學(xué)習(xí)研究者和世界級的系統(tǒng)工程師配合工作，這樣能夠大規(guī)模地解決困難的機(jī)器學(xué)習(xí)問題。建造大規(guī)模的工具和基礎(chǔ)設(shè)施（比如TensorFlow）來支持我們自己的研究和整個研究生態(tài)、以及與谷歌的硬件設(shè)計團(tuán)隊一起協(xié)作，幫他們確認(rèn)他們設(shè)計的硬件解決了正確的問題，也是我們的研究重點。
我們的辦公地點在山景城，這就帶來一個好處是可以和很多不同的產(chǎn)品團(tuán)隊緊密協(xié)作，把研究成果送到其它產(chǎn)品團(tuán)隊以及廣大的谷歌用戶手中。
DeepMind的招聘流程和谷歌的招聘流程是各自獨立的，而且也有比較大的不同。
說了這么多，不過你加入兩個里的哪一個都很好，畢竟兩個團(tuán)隊做的都是前沿的機(jī)器學(xué)習(xí)研究，也會對世界產(chǎn)生巨大的影響。
網(wǎng)友：卷積深度學(xué)習(xí)網(wǎng)絡(luò)模型需要消耗大量的電力和計算資源，比人類大腦的能源效率要低多了，這種狀況也常常被人們作為“應(yīng)該多從人腦學(xué)習(xí)學(xué)習(xí)”的理由。那么，1，這樣對比公平嗎？如果公平的話，你覺得這種根本的區(qū)別是什么原因造成的？2，能源效率是谷歌大腦團(tuán)隊目前的研究目標(biāo)或者將來的研究目標(biāo)之一嗎？如果是的話，你可以說說對這個問題的其它方面的好點子嗎？
Jeff Dean：要說能源效率的話，生物大腦的能源效率確實比目前的機(jī)器要高得多，而且計算能力也要多好多。不過，這種區(qū)別差別其實沒有表面上那么糟糕，原因是，真實的大腦需要差不多20年的時間來“訓(xùn)練”，相比之下，機(jī)器學(xué)習(xí)的研究人員就特別的沒耐心，我們想只花一周就拿到結(jié)果。如果我們愿意讓實驗周期變成20年而不是一周的話，我們的能源效率也可以提升很多很多。不過顯然我們更喜歡很短的實驗周期，即便我們需要付出能源效率的代價。
網(wǎng)友：你們覺得這個領(lǐng)域下一個最大的難關(guān)是什么？
Jeff Dean：目前我們傾向于建造能夠完成一個或者很少的幾個特定任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng)（有時候真的是解決了很難的問題，比如從一個語言翻譯到另一種語言）。我覺得我們真正需要建造的是，一個機(jī)器學(xué)習(xí)系統(tǒng)，然后它可以解決成千上萬種不同的問題，而且可以從解決這些問題的經(jīng)驗中自動學(xué)習(xí)、解決新的問題；這個過程中模型內(nèi)不同的部分是根據(jù)任務(wù)的不同而部分稀疏激活的。想清楚如何做這件事會遇到很多的困難。今年早些時候我在斯坦福大規(guī)模機(jī)器學(xué)習(xí)大會（Scaled ML conference）做的一個演講里提到了一些相關(guān)的東西，可以從這個PPT的80頁開始看（https://www.matroid.com/scaledml/2017/jeff.pdf ，62頁還有一些背景知識）
網(wǎng)友：你認(rèn)為反向傳播在未來10年內(nèi)都還會是神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要算法嗎？
Jeff Dean：我覺得是的。從1980年代到現(xiàn)在，反向傳播都一直是神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要算法。（詳細(xì)可以看 Learning representations by back-propagating errors）。很多人都試著找一些別的、效果更好的方法，然而反向傳播還有如此的生命力，這就是它很可能繼續(xù)保持重要地位的證據(jù)。
不過，隨機(jī)梯度下降這樣的優(yōu)化神經(jīng)網(wǎng)絡(luò)的一階方法很可能在未來10年內(nèi)被別的什么東西取代掉。比如James Martens and Roger Grosse發(fā)表的 Optimizing Neural Networks with Kronecker-factored Approximate Curvature （http://arxiv.org/abs/1503.05671）看起來就很有希望。
網(wǎng)友：首先謝謝你們白忙之中抽出時間來做這次AMA，我們非常感激有這樣的機(jī)會！作為一個愛好者，我發(fā)現(xiàn)接觸神經(jīng)網(wǎng)絡(luò)訓(xùn)練最大的障礙不一定是知識，更多地可能是來自硬件上。我在自己的MacBook上用CPU訓(xùn)練模型慢得要命，而且那時候我沒法用NVIDIA GPU。從我的角度看，一個愛好者要么需要自己有一塊GPU，要么從GCP這樣的云服務(wù)提供商那里租一塊GPU來訓(xùn)練模型。那么，
1，對于數(shù)學(xué)科學(xué)家、開發(fā)者這樣的最終用戶來說，你覺得新TPU在價格和訓(xùn)練/推理速度方面是怎么樣的？
2，你覺得機(jī)器學(xué)習(xí)硬件未來5年的發(fā)展如何？15年呢？
3，用NVIDIA 1080Ti 挖以太坊的礦工一個星期可以掙差不多28美元，在AWS上租同樣的GPU算力要花284美元左右。你覺得有沒有可能給GPU計算建立一個類似AirBnB的市場，把機(jī)器學(xué)習(xí)愛好者和游戲玩家/礦工們連接起來？
Jeff Dean：我們堅信，給機(jī)器學(xué)習(xí)研究者提供更多的計算資源能夠讓他們完成更多事情、嘗試更多需要消耗計算力的點子，并且更快地進(jìn)步。云TPU就會是一種很棒的按需購買的方式，讓人們能夠獲得巨大的計算力。目前我們沒有開始收費（除了 TensorFlow Research Cloud，它是供愿意公開研究成果的研究者們免費申請的）。
我們覺得機(jī)器學(xué)習(xí)硬件在未來5到10年、乃至更長的時間內(nèi)都會是一個非常有意思的領(lǐng)域。以后對更高的計算量會有更多的需求，為低精度的線性代數(shù)運算專門優(yōu)化過的硬件也可以給今天的絕大多數(shù)深度學(xué)習(xí)模型帶來更高的速度，所以創(chuàng)造為機(jī)器學(xué)習(xí)優(yōu)化過的硬件會帶來優(yōu)秀的性能和更好的能源效率。有不少大公司和許許多多的創(chuàng)業(yè)公司都在這個領(lǐng)域內(nèi)研究著不同的方案，很值得期待。專門優(yōu)化過的硬件可以是用于靠電池供電的便攜設(shè)備的超低功耗的機(jī)器學(xué)習(xí)硬件，也可以是大型數(shù)據(jù)中心里的機(jī)器學(xué)習(xí)超級計算機(jī)。
網(wǎng)友：量子計算如果未來應(yīng)用在機(jī)器學(xué)習(xí)中，你們覺得總的來說會是什么樣的？對深度學(xué)習(xí)會有什么特別的影響嗎？
Jeff Dean：我個人的想法是，中短期來講（比如未來10年內(nèi)）量子計算對深度學(xué)習(xí)基本不會有什么大的影響。對于其它的機(jī)器學(xué)習(xí)方法來說，量子計算有可能會有影響，如果機(jī)器學(xué)習(xí)方法可以利用量子計算的好處、然后以足夠大的規(guī)模運行從而對實際問題做出大的改善的話。我覺得為了滿足深度學(xué)習(xí)的需求而設(shè)計的新型硬件平臺（類似TPU這樣的）對深度學(xué)習(xí)的影響要大得多。不過我對量子計算也不算多懂啦。
網(wǎng)友：機(jī)器學(xué)習(xí)的發(fā)展除了目前熱門的深度學(xué)習(xí)、人工智能神經(jīng)網(wǎng)絡(luò)之外，還有哪些別的方面值得注意？
Jeff Dean：機(jī)器學(xué)習(xí)領(lǐng)域作為一個整體，在過去的五六年時間里表現(xiàn)出了驚人的成長速度。現(xiàn)在很多人都想學(xué)機(jī)器學(xué)習(xí)，NIPS和ICML會場也是爆滿，等等。深度學(xué)習(xí)當(dāng)然是人們充滿了興趣的原因之一，不過當(dāng)更多的人進(jìn)入這個領(lǐng)域以后，更多的研究成果會出現(xiàn)，而且不僅限于深度學(xué)習(xí)。比如，強化學(xué)習(xí)、非凸函數(shù)的優(yōu)化技巧、高斯過程、深度非凸模型的理解等等許許多多的領(lǐng)域也吸引了很多注意力。各種各樣的用在機(jī)器學(xué)習(xí)問題中的計算機(jī)系統(tǒng)也吸引了許多興趣，建造適用于機(jī)器學(xué)習(xí)的專用硬件也是（由深度學(xué)習(xí)驅(qū)動的，不過這些硬件也很可能可以幫助其它類型的機(jī)器學(xué)習(xí)算法）。
網(wǎng)友：你們覺得差分隱私會在未來的機(jī)器學(xué)習(xí)研究中起到什么樣的作用？
Jeff Dean：我們團(tuán)隊目前沒有研究這個，不過我贊同這是一個很有意思的研究領(lǐng)域，也有很大的潛力。
順便說點別的，我這幾年讀的書里有一本特別喜歡的「Beyond Boundaries: The New Neuroscience of Connecting Brains with Machines—and How It Will Change Our Lives」，作者是 Miguel Nicolelis，是杜克大學(xué)的神經(jīng)科學(xué)家。我喜歡這本書有一個原因是因為這本書有點像他的實驗室里過去二十年的大事記，而且每一章的實驗和結(jié)果都越來越讓人欽佩，看完了以后整個人都覺得“天啊，5年甚至10年以后這些東西都還是很精彩的”。
網(wǎng)友：你們覺得進(jìn)化計算（基因算法、神經(jīng)進(jìn)化、創(chuàng)造性研究等等）未來有可能在商業(yè)/主流AI中得到使用嗎？（尤其是帶有很多不可微的組件所以反向傳播沒辦法用的那些問題里）以及，深度學(xué)習(xí)按理來說要比以前的實現(xiàn)人工智能的方法更好，因為它本質(zhì)上去掉了機(jī)器學(xué)習(xí)中的特征工程，可是我覺得這些工程方面的努力現(xiàn)在全都跑到了架構(gòu)工程方面，我們看到很多人花時間用手工試錯的方法找CNN、LSTM、RNN中的最優(yōu)超參數(shù)。那我能不能這樣想，在未來的某個時候，架構(gòu)工程也會被某種系統(tǒng)化的方法取代？我覺得這件事本質(zhì)上是不可微的，那么進(jìn)化計算能在這個方面幫到忙嗎？
Jeff Dean：我確實認(rèn)為進(jìn)化學(xué)習(xí)在未來會占有一席之地。實際上我們也已經(jīng)開始嘗試想要發(fā)現(xiàn)一些模型結(jié)構(gòu)方面的革命性的方法（不過現(xiàn)在還處在很早的階段所以沒有什么可以公開的結(jié)果）。我覺得如果要讓這些方法在大型的模型中也能發(fā)揮作用的話，可能需要龐大的計算能力才能支持?？梢韵胂氍F(xiàn)在的模型訓(xùn)練，每輪訓(xùn)練在幾百臺計算機(jī)上花幾天時間，這對我們的大模型都不是一件常見的事，那么給這種大小的模型做好幾代的進(jìn)化就肯定還會變得格外的困難。
網(wǎng)友：你覺得機(jī)器學(xué)習(xí)會成為一個真正意義上的隨拿隨用的商用工具嗎？門外漢可以從平臺上選一種算法，然后用算法去跑他們的數(shù)據(jù)，就在AWS、TensorFlow、Algorithimia 這樣的可以隨時部署的平臺上這樣。如果是的話，短期內(nèi)就會到來嗎？如果不是的話，為什么呢？
Jeff Dean：我覺得會的。在很多情況下，谷歌的機(jī)器學(xué)習(xí)研究員開發(fā)出了新的、有意思的算法和模型，它們可以很好地解決某一類問題。創(chuàng)造出這些新算法、新模型需要對機(jī)器學(xué)習(xí)有相當(dāng)?shù)闹R和見解，但是一旦證明了這些新算法和模型可以在某個領(lǐng)域發(fā)揮很好的作用，那么把同一個整體方案拿來解決完全不同領(lǐng)域的相關(guān)問題往往是一件簡單的事情。
另外，從研究的角度我覺得有一個很有潛力的領(lǐng)域是，在學(xué)習(xí)解決某些問題的時候，還能同時學(xué)到適當(dāng)?shù)哪Ｐ徒Y(jié)構(gòu)的算法和方案。（這和目前多數(shù)的深度學(xué)習(xí)研究都不一樣，目前基本都是人類指定了要選用的模型結(jié)構(gòu)，然后優(yōu)化過程在確定的模型結(jié)構(gòu)下調(diào)整里面的連接的權(quán)重，但是學(xué)習(xí)過程中并不會引入新的神經(jīng)元或者新的連接）。Net2Net: Accelerating Learning via Knowledge Transfer（http://arxiv.org/abs/1511.05641）這項我們團(tuán)隊的研究就是這方面的早期成果，我們同時也已經(jīng)開始探索完全不同的建立模型結(jié)構(gòu)的方式。
如果我們能夠開發(fā)出高效的模型來做這些事情的話，對基本沒有機(jī)器學(xué)習(xí)知識的人來說就真的是開啟了直接應(yīng)用機(jī)器學(xué)習(xí)的大門。
網(wǎng)友：你估計我們離通用AI還有多遠(yuǎn)？10分是明天就到了，1分是還有50年的話，1到10分你打幾分？
Jeff Dean：我打6分。不過我不想跟你們討論這個評分是線性的還是對數(shù)的。
（完）
感興趣的讀者可以在 Reddit 討論區(qū)看看其它谷歌大腦成員的精彩回答
Goolge Brain AMA 2016：https://redd.it/4w6tsv
Google Brain AMA 2017：https://redd.it/6z51xb
雷鋒網(wǎng) AI 科技評論編譯。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
