1
| 本文作者： 奕欣 | 2017-01-14 08:20 |
提起 Google Brain（谷歌大腦）團(tuán)隊(duì)，它在 2016 年因?yàn)橥瞥隽嘶谏窠?jīng)網(wǎng)絡(luò)的機(jī)器翻譯功能火了一把。雷鋒網(wǎng)編輯近日參加了硅谷人工智能前沿論壇 AI Frontier，會(huì)上谷歌大腦團(tuán)隊(duì)負(fù)責(zé)人 Jeff Dean 解析了谷歌大腦及 Tensorflow 的相關(guān)研究進(jìn)展，雷鋒網(wǎng)此前也編譯了一篇關(guān)于 Google Brain 的長(zhǎng)篇特寫，詳情可參看《谷歌大腦是如何煉成的：萬字無刪減版全解密》系列 。
而在今天，Jeff Dean 代表整個(gè)團(tuán)隊(duì)撰文回顧了谷歌大腦的 2016 年，并發(fā)表于 Google Research Blog 上，讓我們和雷鋒網(wǎng) AI 科技評(píng)論一起了解，這個(gè)為世界帶來科技驚喜的團(tuán)隊(duì)究竟如何看待自己的 2016 年吧。雷鋒網(wǎng)進(jìn)行了不改變?cè)獾恼砗途庉嫞唇?jīng)許可不得轉(zhuǎn)載。
谷歌大腦團(tuán)隊(duì)的宏愿一如既往：團(tuán)隊(duì)致力于通過多領(lǐng)域的純研究及應(yīng)用性研究，創(chuàng)造更多的智能軟件及智能系統(tǒng)，以此提升人們的生活水平。
“雖然這一藍(lán)圖是我們仰望星空的長(zhǎng)期愿景，但我們也需要腳踏實(shí)地，回顧一下我們過去一年完成的小目標(biāo)，并與你們一同分享那些會(huì)為 2017 年新成就奠基的點(diǎn)點(diǎn)滴滴?！?/p>
在國(guó)際頂級(jí)的期刊及學(xué)術(shù)會(huì)議（如 ICML、NIPS 及 ICLR）上提交論文是科研水平的質(zhì)量保證，谷歌大腦團(tuán)隊(duì)同樣寄望于此。過去一年間，團(tuán)隊(duì)共有 27 篇論文實(shí)現(xiàn)了這個(gè)小目標(biāo)，領(lǐng)域涉獵廣泛，包括：（雷鋒網(wǎng)附上了所對(duì)應(yīng)論文/文章的鏈接，方便讀者查閱）
程序合成：《Neural Programmer: Inducing Latent Programs with Gradient Descent》；
神經(jīng)網(wǎng)絡(luò)間的知識(shí)遷移：《Net2Net: Accelerating Learning via Knowledge Transfer》；
機(jī)器學(xué)習(xí)的分發(fā)式訓(xùn)練：《Revisiting Distributed Synchronous SGD》；
機(jī)器人的無監(jiān)督學(xué)習(xí)：《Unsupervised Learning for Physical Interaction through Video Prediction》；
定理的自動(dòng)證明：《DeepMath - Deep Sequence Models for Premise Selection》；
神經(jīng)網(wǎng)絡(luò)理論理解：《Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity》；
改進(jìn)強(qiáng)化學(xué)習(xí)的算法：《Continuous Deep Q-Learning with Model-based Acceleration》；
……
谷歌大腦還在許多其它優(yōu)秀期刊及學(xué)術(shù)會(huì)議上提交了論文，包括：
自然語言處理（ACL 及 CoNNL）；
語音識(shí)別（ICASSP）；
視覺領(lǐng)域（CVPR）；
機(jī)器人（ISER）；
計(jì)算機(jī)系統(tǒng)（OSDI）等。
團(tuán)隊(duì)目前已經(jīng)向機(jī)器學(xué)習(xí)研究的頂尖學(xué)術(shù)會(huì)議 ICLR 2017 提交了 34 篇論文。雷鋒網(wǎng)附上了提交論文的清單，如果感興趣的用戶可以點(diǎn)擊查看。
谷歌大腦研究的重點(diǎn)方向之一在于如何讓計(jì)算機(jī)更好地理解人類語言。
2014 年年底，三位谷歌大腦團(tuán)隊(duì)的成員發(fā)布了一篇名為《利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)序列到序列的學(xué)習(xí)》的論文，提出了此方法可應(yīng)用于機(jī)器翻譯。
2015 年，團(tuán)隊(duì)證明了此方法同樣能夠應(yīng)用于生成圖像標(biāo)題、分析句子成分及解決計(jì)算化的幾何問題當(dāng)中。
2016 年，谷歌大腦團(tuán)隊(duì)與谷歌翻譯團(tuán)隊(duì)進(jìn)行密切合作，將谷歌翻譯算法以一種完全端到端的學(xué)習(xí)系統(tǒng)所取代。該系統(tǒng)縮小了原有系統(tǒng)與人類高質(zhì)量翻譯之間的差距，而這一數(shù)字達(dá)到了 85%。
在數(shù)周后，谷歌大腦團(tuán)隊(duì)又發(fā)布了「zero-shot」翻譯系統(tǒng)，即使是系統(tǒng)之前從沒學(xué)習(xí)過的樣本對(duì)，機(jī)器也能夠順利翻譯出來。目前，這一系統(tǒng)已經(jīng)順利上線谷歌翻譯，而它所處理的語言對(duì)數(shù)量也在不斷增加。
Jeff Dean 還特別專門提及了雷鋒網(wǎng)于本文開始時(shí)提及的文章，這篇發(fā)布于《紐約時(shí)報(bào)》，原名為《超級(jí) AI 正在覺醒》的文章詳細(xì)描述了谷歌翻譯是如何一步步進(jìn)階深度學(xué)習(xí)的。
Jeff Dean 也回顧了谷歌大腦在機(jī)器人領(lǐng)域取得的成果，他表示，傳統(tǒng)機(jī)器人的控制算法是通過精心設(shè)計(jì)并進(jìn)行人工編程而實(shí)現(xiàn)的，因此，如何將新的能力「?jìng)魇凇菇o原有的機(jī)器人也成為一個(gè)挑戰(zhàn)。谷歌大腦團(tuán)隊(duì)相信，機(jī)器人如果能掌握機(jī)器學(xué)習(xí)能力，那么讓它自動(dòng)掌握這些新的技能也絕非難事。
在 2016 年，谷歌大腦團(tuán)隊(duì)與 Google X 團(tuán)隊(duì)合作實(shí)現(xiàn)了機(jī)械臂的手眼協(xié)調(diào)功能，并經(jīng)過 80 萬次的抓取實(shí)驗(yàn)，讓它們?cè)诓粩嗟膶W(xué)習(xí)過程中汲取自學(xué)經(jīng)驗(yàn)，雷鋒網(wǎng)此前也做過報(bào)道和覆蓋。
“隨后，我們探索了三種機(jī)器人學(xué)習(xí)新技能的三種可能方式，包括強(qiáng)化學(xué)習(xí)、通過機(jī)器與物體的交互，以及人類的操作示范等。谷歌大腦團(tuán)隊(duì)將在這些工作的基礎(chǔ)上繼續(xù)前行，以實(shí)現(xiàn)讓機(jī)器人在復(fù)雜的現(xiàn)實(shí)環(huán)境中習(xí)得新技能，并成功運(yùn)用的目標(biāo)?！?/p>
值得一提的是，為了讓其它機(jī)器人研究者也能嘗試在該領(lǐng)域探索，谷歌大腦團(tuán)隊(duì)共享了數(shù)個(gè)機(jī)器人數(shù)據(jù)庫(kù)。
機(jī)器學(xué)習(xí)有著巨大潛力，包括應(yīng)用于醫(yī)學(xué)診斷領(lǐng)域。谷歌大腦同樣注意到了這一進(jìn)步，并在今年 6 月的美國(guó)醫(yī)學(xué)學(xué)會(huì)刊物上（Journal of the American Medical Association）發(fā)布了一篇名為《深度學(xué)習(xí)算法的應(yīng)用及有效性：因糖尿病引致的視網(wǎng)膜病變》的論文，詳細(xì)了目前機(jī)器學(xué)習(xí)系統(tǒng)在疾病診斷上的新成果。「如果沒能篩查出早期的視網(wǎng)膜病變，將會(huì)有四億人面臨失明風(fēng)險(xiǎn)。通過這項(xiàng)技術(shù)，我們希望能夠幫助更多人口在眼科醫(yī)生稀缺的情況下獲得適當(dāng)?shù)臋z查?！估卒h網(wǎng)了解到，谷歌 DeepMind 目前已經(jīng)與英國(guó)國(guó)家醫(yī)療服務(wù)體系（NHS）進(jìn)行了二度合作，將和 Moorfields 眼科醫(yī)院一同開發(fā)識(shí)別視覺疾病的機(jī)器學(xué)習(xí)系統(tǒng)。
除此之外，谷歌大腦團(tuán)隊(duì)也致力于拓展醫(yī)學(xué)影像的其它領(lǐng)域，并相信機(jī)器學(xué)習(xí)能夠在接下來一年內(nèi)又好又快地提升醫(yī)患的就醫(yī)體驗(yàn)。
不論是印刷出版、電影或是電吉他，人們利用科技定義媒體內(nèi)容的創(chuàng)造與分享。在 2016 年，谷歌大腦成立了一個(gè)名為 Magenta 的項(xiàng)目，以探索藝術(shù)與機(jī)器智能的靈感火花，并利用機(jī)器學(xué)習(xí)豐富人類的創(chuàng)造力。（可參看雷鋒網(wǎng)此前報(bào)道：谷歌新研究項(xiàng)目Magenta：利用人工智能創(chuàng)作藝術(shù)）
先是用機(jī)器學(xué)習(xí)建立起音樂與圖像生成之間的聯(lián)系，再是文本生成與虛擬現(xiàn)實(shí)，Magenta 正在成為內(nèi)容創(chuàng)作的最佳生成模型。
谷歌大腦團(tuán)隊(duì)通過舉辦研討會(huì)及展覽會(huì)的方式，對(duì)音樂創(chuàng)作及藝術(shù)風(fēng)格遷移等主題進(jìn)行探討。而這些探索也同樣獲得了學(xué)界的認(rèn)可， demo 在年底的 NIPS 2016 上獲得了最佳獎(jiǎng)項(xiàng)的首肯。
「當(dāng)我們開發(fā)出強(qiáng)大且完善的 AI 系統(tǒng)，并廣泛應(yīng)用于這個(gè)世界之時(shí)，谷歌大腦團(tuán)隊(duì)同樣也心系安全與公平。我們同樣希望擁有能幫助人類更好理解機(jī)器生產(chǎn)的工具。」
在 AI 安全領(lǐng)域，谷歌大腦通過與斯坦福、伯克利及 OpenAI 等機(jī)構(gòu)的合作，發(fā)布了名為《AI 安全的具體問題》的白皮書，提及了人工智能領(lǐng)域可能設(shè)計(jì)的具體安全問題，而谷歌大腦團(tuán)隊(duì)也致力于在訓(xùn)練數(shù)據(jù)的隱私問題、涉及不同項(xiàng)目的隱私界定，以及知識(shí)遷移技術(shù)方面提出可行的保護(hù)方案。
而在另一篇名為《監(jiān)督學(xué)習(xí)中的機(jī)會(huì)公平性》的文章中，谷歌大腦也以 FICO 評(píng)分系統(tǒng)為例，嘗試通過調(diào)整訓(xùn)練的預(yù)測(cè)因子，以避免結(jié)果出現(xiàn)不必要的歧視。
如果你對(duì)此感興趣，歡迎通過他們的可視化項(xiàng)目了解。
TensorFlow 于 2015 年 11 月開源，當(dāng)時(shí)作為一個(gè)希望機(jī)器學(xué)習(xí)社區(qū)都能從中受益的開源平臺(tái)而存在。一年來，TensorFlow 已經(jīng)成為了 GitHub 上最受歡迎的機(jī)器學(xué)習(xí)項(xiàng)目，擁有超過 570 貢獻(xiàn)者的上萬次提交。而得益于社區(qū)的貢獻(xiàn)，TensorFlow 目前僅在 GitHub 上就有多于 5000 個(gè)與 TensorFlow 相關(guān)的項(xiàng)目了。
谷歌大腦團(tuán)隊(duì)表示，TensorFlow 目前已經(jīng)得到了許多研究團(tuán)隊(duì)與大型企業(yè)的認(rèn)可（如 DeepMind），此外在尋找海牛或幫助日本農(nóng)夫選黃瓜等特別的小項(xiàng)目中也取得了喜人的進(jìn)展。
（雷鋒網(wǎng)此前報(bào)道：谷歌用深度學(xué)習(xí)守衛(wèi)海洋：如何在 4.5 萬張照片中找到一只瀕危的“美人魚”？
一根優(yōu)秀的黃瓜應(yīng)該具備什么素質(zhì)？谷歌AI告訴你 ｜新智造）
而谷歌為 TensorFlow 所做的還不止這些：
TensorFlow 目前已經(jīng)在性能上已經(jīng)有了大量改進(jìn)，增加了分布式訓(xùn)練的支持；
兼容 iOS、樹莓派和 Windows，此外還與大數(shù)據(jù)框架進(jìn)行了整合；
拓展了可視化系統(tǒng) TensorBoard，能夠用于可視化計(jì)算圖表及 embedding；
開放了 Go、Rust 及 Haskell 的接口；
發(fā)布了最優(yōu)秀的圖像分類模型；
回答了 GitHub、StackOverflow 等論壇及 TensorFlow 郵件里收到的上千個(gè)問題；
TensorFlow Serving 得以簡(jiǎn)化 TensorFlow 模型在生產(chǎn)應(yīng)用的難度；
獲得了 Google Cloud Machine Learning 的托管服務(wù)。
在慶祝 TensorFlow 成立一周年之際（詳情可查看雷鋒網(wǎng)此前報(bào)道），谷歌大腦還在 OSDI 上提交了一篇名為《TensorFlow：大范圍機(jī)器學(xué)習(xí)系統(tǒng)》的論文。
通過與編譯器團(tuán)隊(duì)的合作，谷歌大腦也在致力開發(fā)用于 TensorFlow 的后端編譯器 XLA，并已經(jīng)在其中添加了一個(gè) alpha 版本。
谷歌大腦同樣也在努力教育指導(dǎo)人們?nèi)绾问褂脵C(jī)器學(xué)習(xí)，并開展相關(guān)研究。
2016 年 1 月，谷歌大腦團(tuán)隊(duì)的一名研究負(fù)責(zé)人 Vincent Vanhoucke 在優(yōu)達(dá)學(xué)城上開設(shè)了一門免費(fèi)的深度學(xué)習(xí)在線課程。此外，團(tuán)隊(duì)還組織了 TensorFlow Playground，這個(gè)交互式系統(tǒng)能夠通過可視化的方式，幫助人們更好地理解簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是如何完成任務(wù)的。
在去年 6 月，首屆 Google Brain Resident 項(xiàng)目在 2200 名申請(qǐng)者中篩選出了 27 名學(xué)員，并在過去的 7 個(gè)月時(shí)間內(nèi)開展了大量原創(chuàng)研究，并完成了 21 篇論文。
8 月份，許多谷歌大腦的成員都參與了 Reddit 的 MachineLearning 小組上的 AMA 問答，為網(wǎng)友們解答了機(jī)器學(xué)習(xí)社區(qū)及對(duì)團(tuán)隊(duì)的種種疑問。
在 2016 年，我們接納了 46 名實(shí)習(xí)生（大部分是博士生），他們與團(tuán)隊(duì)成員一同開展了研究。
除了上述公開活動(dòng)外，谷歌大腦也在谷歌內(nèi)部開展工作，以期將機(jī)器學(xué)習(xí)專業(yè)及精神滲透到其它產(chǎn)品團(tuán)隊(duì)中。谷歌大腦團(tuán)隊(duì)希望公司能做為一個(gè)整體，接納并利用新生的機(jī)器學(xué)習(xí)研究成果。比如與平臺(tái)團(tuán)隊(duì)緊密合作，為在 Google I/O 大會(huì)上提及的機(jī)器學(xué)習(xí)加速器 ASIC（張量處理單元 TPU）提出了個(gè)性化且高水平的目標(biāo)。這種定制芯片能夠在數(shù)量級(jí)上提升機(jī)器學(xué)習(xí)的性能，并廣泛應(yīng)用于谷歌產(chǎn)品中，包括 RankBrain、神經(jīng)機(jī)器翻譯系統(tǒng)，還有在 3 月份擊敗李世石的 AlphaGo。
總而言之，對(duì)于谷歌大腦團(tuán)隊(duì)及谷歌上上下下所有同事與合作伙伴而言，2016 是令人為之歡欣鼓舞的一年，而團(tuán)隊(duì)也同樣期待機(jī)器學(xué)習(xí)研究能在 2017 年更上一層樓。
via google blog，雷鋒網(wǎng)編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
