雷鋒網(wǎng)按：本文作者 Carlos E. Perez ，他來自機(jī)器學(xué)習(xí)技術(shù)公司 Intuition Machine，主要研究深度學(xué)習(xí)類型、方法論、以及行業(yè)戰(zhàn)略。 發(fā)布于 Medium 的這篇文章主要對 2017 年深度學(xué)習(xí)的十大趨勢做出了預(yù)測，雷鋒網(wǎng)編譯，未經(jīng)許可不得轉(zhuǎn)載。

作為一名人工智能領(lǐng)域里的圈內(nèi)人士，上次寫科技預(yù)測要追溯到 6 年前了，當(dāng)時我寫了一篇“2011 軟件開發(fā)趨勢及預(yù)測”的文章，文中對行業(yè)做了十點(diǎn)預(yù)測，其中六個預(yù)測準(zhǔn)確，分別是 Javascript VM、 NoSQL、大數(shù)據(jù)分析、私有云、反向桌面服務(wù)、Scala；四個略有偏差，分別是企業(yè)應(yīng)用商店，語義索引、企業(yè)級OA授權(quán)、前瞻性代理?，F(xiàn)在，我打算再來預(yù)測一下深度學(xué)習(xí)行業(yè)。 

不過，這次預(yù)測和以往的不太一樣，我不打算進(jìn)行企業(yè)級應(yīng)用預(yù)測，而是把重點(diǎn)放在了趨勢研究和預(yù)測。毫無疑問，深度學(xué)習(xí)將會驅(qū)動越來越多的企業(yè)采用人工智能技術(shù)，對于那些“老土”的企業(yè)，未來很可能會被淘汰。好了，廢話不多說，現(xiàn)在就來介紹一下我對 2017 年深度學(xué)習(xí)領(lǐng)域的預(yù)測和趨勢分析吧！ 

一、 硬件將會以摩爾定律的兩倍速度發(fā)展 

如果你了解英偉達(dá)和英特爾這兩家公司的硬件發(fā)展速度，就不會對摩爾定律的速度提升一倍感到意外了。在深度學(xué)習(xí)領(lǐng)域里，英偉達(dá)將會占據(jù)絕對統(tǒng)治地位，因?yàn)樗麄円呀?jīng)構(gòu)建了最豐富的生態(tài)系統(tǒng)。沒有人會傻到跳去選擇其他不成熟的深度學(xué)習(xí)生態(tài)系統(tǒng)，預(yù)計(jì)到 2017 年中旬，英特爾 Xeon Phi 才有可能在性能上趕超英偉達(dá)，不過距離投放市場依然有距離。 

另一方面，雖然英特爾 FPGA 解決方案可能會受到云技術(shù)提供商的青睞，但更多的是處于經(jīng)濟(jì)實(shí)惠的角度。如果想要減少成本，那么功耗是必須要改變一個要素，到明年中旬，英特爾的 Nervana 芯片預(yù)計(jì)可以達(dá)到 30 萬億次的浮點(diǎn)運(yùn)算能力——這是我依照推測的估算，因?yàn)楝F(xiàn)在英偉達(dá)已經(jīng)開發(fā)出了具備 20 萬億次浮點(diǎn)運(yùn)算能力的處理芯片，我不相信英特爾會“憋”到 2018 年才放大招。此外，英特爾現(xiàn)在手頭上唯一的大王牌可能是他們的 3D XPoint 技術(shù)，該技術(shù)可以改善整個硬件堆棧，但是在核心加速能力上相比于 AMD 使用的 HBM2 顯存似乎略有欠缺。

亞馬遜公司也宣布推出了基于現(xiàn)場可編程門陣列（FPGA）的云計(jì)算架構(gòu)，它基于賽靈思公司 UltraScale+ 技術(shù)，并提供了 6800 個數(shù)字信號處理器和 64 GB 內(nèi)存，這種配置的確非常強(qiáng)大，但是由于受到 I/O 束縛，可能也無法與 AMD 的 HBM 顯存的性能想必你。雖然相比于英偉達(dá)、英特爾和 AMD 這樣的廠商，亞馬遜公司提供了更低的內(nèi)存帶寬解決方案，但是對于開發(fā)人員而言，可能會考慮下是否需要投入更多復(fù)雜開發(fā)流程（比如硬件描述語言 VHDL、Verlog等）

我所了解的最新消息是，AMD 已經(jīng)發(fā)布全新一代Vega架構(gòu)產(chǎn)品，但它不是消費(fèi)級顯卡，而是一款高性能計(jì)算加速卡“Radeon Instinct”，主要用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，而且專門為了和英偉達(dá)旗下的硬件產(chǎn)品競爭。有消息稱，這款產(chǎn)品預(yù)計(jì)會在明年年初正式上市，不過在 AMD 能夠提供配套的軟件解決方案之前，不要期待太多英偉達(dá)用戶會“轉(zhuǎn)投”到 AMD 的懷抱。

二、卷積神經(jīng)網(wǎng)絡(luò)（CNN）將占主導(dǎo)地位

對于深度學(xué)習(xí)系統(tǒng)而言，卷積神經(jīng)網(wǎng)絡(luò)將會成為標(biāo)配，就像面包離不開黃油一樣。遞歸神經(jīng)網(wǎng)絡(luò)和長短記憶型遞歸神經(jīng)網(wǎng)絡(luò)周期性的配置，以及嵌入到內(nèi)存節(jié)點(diǎn)都會逐漸被越來越少使用，因?yàn)樗麄兒突诰矸e神經(jīng)網(wǎng)絡(luò)技術(shù)的解決方案相比沒有任何競爭力。就像現(xiàn)在人們編程時，沒有人會使用 GOTO 語句一樣，我認(rèn)為，遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和長短記憶型遞歸神經(jīng)網(wǎng)絡(luò)（LSTM）的“下場”也一樣。

可區(qū)分的記憶網(wǎng)絡(luò)也將會變得越來越常見。這是一個自然選擇的結(jié)果（或是架構(gòu)），內(nèi)存將會從核心節(jié)點(diǎn)上提取出來，在計(jì)算機(jī)制內(nèi)只是作為一個單獨(dú)的組成部分駐留。我們已經(jīng)看到了模塊化的長短記憶型遞歸神經(jīng)網(wǎng)絡(luò)從內(nèi)存中分離（比如增強(qiáng)現(xiàn)實(shí)遞歸神經(jīng)網(wǎng)絡(luò)）。

三、設(shè)計(jì)師將會越來越依賴于“元學(xué)習(xí)”

當(dāng)我開始自己的深度學(xué)習(xí)之旅時，曾想過優(yōu)化算法，特別是想去改進(jìn)那些二階優(yōu)化算法?？扇缃?，幾乎可以斷定的說，機(jī)器學(xué)習(xí)已經(jīng)可以學(xué)習(xí)為你優(yōu)化算法了。如果現(xiàn)在還有人嘗試使用一個更好版本的隨機(jī)梯度下降（SGD）算法的話，基本上可以不用自己寫代碼了。隨機(jī)梯度下降算法可以通過機(jī)器學(xué)習(xí)來變得更好，而且可以解決某個特定問題。元學(xué)習(xí)會根據(jù)自身所處領(lǐng)域，適應(yīng)性地優(yōu)化學(xué)習(xí)。與此相關(guān)的是，替代算法的反向傳播將開始出現(xiàn)在實(shí)踐中。我的預(yù)測是，明年隨機(jī)梯度下降算法可能要壽終正寢了。

四、強(qiáng)化學(xué)習(xí)只會變得更有創(chuàng)意

對現(xiàn)實(shí)的觀察永遠(yuǎn)是不完美的，當(dāng)隨機(jī)梯度下降算法不再適用之后，也同樣會帶來大量問題。未來，實(shí)際部署任何深度學(xué)習(xí)系統(tǒng)的時候，都需要一定形式的強(qiáng)化學(xué)習(xí)，這可能會成為一個必不可少的流程。除此之外，我們會看到強(qiáng)制學(xué)習(xí)將會越來越多地用于深度學(xué)習(xí)訓(xùn)練之中。舉個例子，元學(xué)習(xí)將會得到強(qiáng)制學(xué)習(xí)的支持，事實(shí)上，我們已經(jīng)看到了強(qiáng)制學(xué)習(xí)被用于尋找不同類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

五、對抗和協(xié)作學(xué)習(xí)將會成為主流

在過去，我們擁有的是單一深度學(xué)習(xí)系統(tǒng)，它只有單一解析目標(biāo)的功能。而在未來，我希望看到兩個或是多個神經(jīng)網(wǎng)絡(luò)合作（或競爭），最終找到一個最優(yōu)的解決方案。在此，我推薦一篇論文——《Game Theory reveals the future of Deep Learning》。2017 年，將會有更多人研究如何管理非平衡狀態(tài)的語境。實(shí)際上，現(xiàn)在我們已經(jīng)看到了一些相關(guān)研究，比如研究人員正在使用生成式對抗網(wǎng)絡(luò)(GAN)嘗試尋找處理非平衡狀態(tài)的方法。

六、預(yù)測學(xué)習(xí)或無監(jiān)督學(xué)習(xí)？可能進(jìn)步不大

“預(yù)測學(xué)習(xí)”（predictive learning）是人工智能大咖 Yann LeCun 提出的一個最新熱門詞，基本上已經(jīng)取代了之前我們常見的人工智能術(shù)語“無監(jiān)督學(xué)習(xí)”。當(dāng)然啦，現(xiàn)在我們還不清楚這個最新術(shù)語是否能夠被更廣泛地應(yīng)用，雖然這問題很難在 2017 年就獲得答案，但我可以斷言“預(yù)測學(xué)習(xí)”不會取得太大進(jìn)步。我現(xiàn)在的感覺是，這個技術(shù)過于復(fù)雜，因此存在很多概念上的斷鏈，人們也不知道它究竟是如何工作的。

如果你讀過我之前發(fā)表的文章《深度學(xué)習(xí)智能的五大能力》，可能會覺得預(yù)測學(xué)習(xí)完全是一種讓人無法感知到的技術(shù)能力，它就像是宇宙中的暗物質(zhì)似的，雖然我們都知道它的存在，但就是不知道該如何觀察到它。

七、遷移學(xué)習(xí)會導(dǎo)致產(chǎn)業(yè)化

吳恩達(dá)認(rèn)為這很重要，我也持同樣的觀點(diǎn)。雷鋒網(wǎng)了解到，吳恩達(dá)曾拿百度 NLP 團(tuán)隊(duì)的研究成果舉例，認(rèn)為如果同時學(xué)習(xí)多個語言對之間的翻譯，效果會比同時學(xué)習(xí)一個語言對的效果好。

八、越來越多的應(yīng)用程序?qū)焉疃葘W(xué)習(xí)作為組件

實(shí)際上，今年我們就已經(jīng)看到這一趨勢了，比如在大規(guī)模搜索算法中就被用于函數(shù)評估組件。谷歌的“阿法狗”在走棋估值和策略評估之中就采用了深度學(xué)習(xí)技術(shù)，Gmail 的自動回復(fù)系統(tǒng)也采用了機(jī)器學(xué)習(xí)技術(shù)和定向搜索服務(wù)結(jié)合在一起。明年，相比于全新的端到端訓(xùn)練深度學(xué)習(xí)系統(tǒng)，我更希望能看到更多混合算法出現(xiàn)。端到端深度學(xué)習(xí)是一個很有前景的研究領(lǐng)域，但就目前應(yīng)用層面來看，混合系統(tǒng)似乎更有效率。

九、設(shè)計(jì)模式會被更多地采納

深度學(xué)習(xí)只是眾多需要概念架構(gòu)的復(fù)雜領(lǐng)域中的一個，雖然它涉及到高等數(shù)學(xué)，也有大量文字?jǐn)⑹龊湍：母拍睿ㄟ@些概念也難以通過正規(guī)、嚴(yán)謹(jǐn)?shù)姆椒▉慝@?。?，但我們必須承認(rèn)，一些深度學(xué)習(xí)設(shè)計(jì)模型已經(jīng)在某些復(fù)雜的行業(yè)領(lǐng)域里，比如軟件開發(fā)得到了很好的使用。我預(yù)測，會有更多行業(yè)從業(yè)者能夠接受深度學(xué)習(xí)和設(shè)計(jì)模式。

十、工程將比理論更受重視

當(dāng)研究人員嘗試探索研究方法時，自身的背景和他們所使用的數(shù)學(xué)工具可能會帶來一些“偏見”，導(dǎo)致最終生成的結(jié)果不夠客觀，但是深度學(xué)習(xí)系統(tǒng)和無監(jiān)督學(xué)習(xí)系統(tǒng)可能不會遇到這些問題。就目前來說，沒有證據(jù)表明傳統(tǒng)的分析工具對揭開深度學(xué)習(xí)如何工作有什么幫助，相同的問題也出現(xiàn)在其他領(lǐng)域里，比如物理學(xué)對于動態(tài)系統(tǒng)如何工作也困惑了好幾十年，同樣的狀況也出現(xiàn)在動態(tài)學(xué)習(xí)系統(tǒng)里。

不過，雖然對很多基本原理缺乏深刻理解，但這并不妨礙我們?nèi)L試更多、更高級的應(yīng)用工程。深度學(xué)習(xí)就像是生物科技或是基因工程，我們已經(jīng)創(chuàng)造出了模擬學(xué)習(xí)的機(jī)器，但是我們還不知道它是如何工作的，然而這并不妨礙我們進(jìn)行創(chuàng)新。

最后想說的是，我會在明年這個時候來看看自己的預(yù)測結(jié)果如何，所以祝我好運(yùn)吧！ 

VIA medium

【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時間提供海外科技動態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。 

簡歷投遞至 wudexin@leiphone.com，工作地 北京。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。