在過(guò)去的幾年時(shí)間里，深度學(xué)習(xí)（Deep Learning）一直都是機(jī)器學(xué)習(xí)社區(qū)的核心主題， 2016年也不例外。 

研究人員長(zhǎng)久以來(lái)亟待解決的一個(gè)主要挑戰(zhàn)就是無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）。Tryolabs 認(rèn)為，2016 年對(duì)于這一領(lǐng)域來(lái)說(shuō)是取得偉大突破的一年，主要原因是出現(xiàn)了大量的基于生成模型（Generative Models）的研究。此外，雷鋒網(wǎng)會(huì)介紹自然語(yǔ)言處理（NLP）技術(shù)在 2016 年所取得的創(chuàng)新，這些技術(shù)會(huì)是實(shí)現(xiàn)該目標(biāo)的關(guān)鍵。除了回顧那些推動(dòng)該領(lǐng)域快速向前發(fā)展做出突出貢獻(xiàn)（或有極大潛力）的進(jìn)步，雷鋒網(wǎng)也將關(guān)注相關(guān)組織機(jī)構(gòu)和開(kāi)源平臺(tái)的建設(shè)情況。

一、無(wú)監(jiān)督學(xué)習(xí)

無(wú)監(jiān)督學(xué)習(xí)是指不需要額外信息就能從原始數(shù)據(jù)中提取模式和結(jié)構(gòu)的任務(wù)，這點(diǎn)和需要建立標(biāo)簽的監(jiān)督學(xué)習(xí)相反。

使用神經(jīng)網(wǎng)絡(luò)解決這個(gè)問(wèn)題的經(jīng)典方法是自動(dòng)編碼器。基本版本由多層感知器（MLP）組成，其中輸入和輸出層具有相同的大小，還有一個(gè)較小的隱藏層被訓(xùn)練用于恢復(fù)輸入層。一旦經(jīng)過(guò)訓(xùn)練，隱藏層就能對(duì)應(yīng)輸出可用于聚類(lèi)，降維，改進(jìn)監(jiān)督分類(lèi)甚至數(shù)據(jù)壓縮的數(shù)據(jù)表示。

而在其中，

1. 生成式對(duì)抗網(wǎng)絡(luò)（GANs）

最近一種基于生成模型的新方法出現(xiàn)了，名為“生成式對(duì)抗網(wǎng)絡(luò)”（GANs），它能夠使用模型來(lái)處理無(wú)監(jiān)督學(xué)習(xí)問(wèn)題。GANs 將是一場(chǎng)真正的革命,在相關(guān)的技術(shù)演講中，Yann LeCun（深度學(xué)習(xí)創(chuàng)始人之一）說(shuō) GANs 是過(guò)去 20 年里機(jī)器學(xué)習(xí)最重要的想法。

盡管 GANs 早在 2014 年由 Ian Goodfellow 提出，但直到 2016 年，GANs 才開(kāi)始展現(xiàn)出真正的潛能。今年提出的可助于訓(xùn)練和優(yōu)化架構(gòu)（Deep Convolutional GAN）的改進(jìn)技術(shù)修復(fù)了一些之前的限制，并且新的應(yīng)用程序（詳見(jiàn)下文，部分相關(guān)應(yīng)用名單）揭示了該項(xiàng)技術(shù)能夠如何的強(qiáng)大和靈活。

• 一個(gè)直觀的例子

試想一位有野心的畫(huà)家想要偽造藝術(shù)作品（Ｇ），同時(shí)又有人以鑒別畫(huà)作真假謀生（Ｄ）。開(kāi)始你先給Ｄ看一些畢加索的藝術(shù)作品。然后Ｇ每次都畫(huà)一些作品嘗試著騙過(guò)Ｄ，讓他相信這些都是畢加索的原作。開(kāi)始時(shí)候Ｇ是成功的，但是隨著Ｄ越來(lái)越了解畢加索的風(fēng)格（通過(guò)看越來(lái)越多的作品），Ｇ再想騙過(guò)Ｄ就會(huì)變得困難起來(lái)，所以Ｇ就必須做得更好。隨著過(guò)程的繼續(xù)，不僅Ｄ變得非常擅長(zhǎng)區(qū)分畢加索的作品，而且Ｇ也變得非常善于模仿畢加索的畫(huà)作。這就是GANs背后的設(shè)計(jì)思路。

技術(shù)上，GANｓ由兩個(gè)持續(xù)推動(dòng)的網(wǎng)絡(luò)組成（因此稱為“對(duì)抗”）：發(fā)生器（G）和鑒別器（D）。給定一組訓(xùn)練示例（例如圖像），我們可以想象有一個(gè)離散基本分布（Ｘ）來(lái)管理它們。 通過(guò)使用GANｓ，G將產(chǎn)生輸出，同時(shí)D將判定它們是否來(lái)自于訓(xùn)練集合的同一分布。

開(kāi)始時(shí)，伴隨著一些噪聲Ｚ，Ｇ開(kāi)始工作，其產(chǎn)生的圖像是Ｇ（ｚ）。Ｄ從真的分布和來(lái)自于Ｇ的假分布中提取圖像，并將它們分類(lèi)為：Ｄ（ｘ）和Ｄ（Ｇ（ｚ））。

GAN是如何工作的

D和Ｇ都在同時(shí)學(xué)習(xí)，并且一旦Ｇ被訓(xùn)練，它就能足夠了解訓(xùn)練實(shí)例的分布，產(chǎn)生有非常相似屬性的新示例：

　　　　　　　　　　　　　　　　　　GAN生成的圖像

這些圖像由采用CIFAR-10訓(xùn)練的GAN產(chǎn)生的。 如果你注意一下細(xì)節(jié)，你可以看到它們不是真實(shí)物體。 但是，通過(guò)捕捉某些確定的特征屬性，可以使它們從遠(yuǎn)處看起來(lái)很真實(shí)。

2. InfoGAN——數(shù)據(jù)集信息的描述模型

最近的進(jìn)展延伸了GAN的思想，不僅可用于近似數(shù)據(jù)分布，也能學(xué)習(xí)可解釋的、有用的數(shù)據(jù)向量表示。這些期望的向量表示需要捕獲豐富的信息（與自動(dòng)編碼器中相同），并且也需要是可解釋的，這意味著我們可以區(qū)分向量的某些部分，這些部分可使所生成的輸出中的存在特定類(lèi)型的形狀變換。

OpenAI研究人員在8月提出的InfoGAN模型解決了這個(gè)問(wèn)題。 簡(jiǎn)而言之，InfoGAN能夠以無(wú)監(jiān)督的方式生成包含有關(guān)數(shù)據(jù)集信息的表示。 例如，當(dāng)被應(yīng)用于MNIST數(shù)據(jù)集時(shí)，能夠推斷所生成樣本的數(shù)量類(lèi)型（1,2,3，...），例如生成樣本的旋轉(zhuǎn)和寬度，均不需要人工標(biāo)記數(shù)據(jù)。

3. 條件 GAN——先驗(yàn)知識(shí)的引入

GAN的另一擴(kuò)展是一類(lèi)被稱為條件GAN（cGAN）的模型。 這些模型能夠輸入外部信息（類(lèi)標(biāo)簽，文本，另一個(gè)圖像）生成樣本，使用它強(qiáng)制G生成特定類(lèi)型的輸出。 最近出現(xiàn)的一些應(yīng)用程序是：

• 文本描述作為先驗(yàn)生成圖像

采用文本描述(由字符級(jí)的 CNN 或 LSTM 將其編碼為向量)作為外部信息，然后基于它生成圖像。詳見(jiàn)論文：Generative Adversarial Text to Image Synthesis（２０１６年６月）。

• 圖像信息作為先驗(yàn)生成圖像

將輸入圖像映射到輸出圖像。詳見(jiàn)論文：Image-to-Image Translation with Conditional Adversarial Nets (2016年11月)。

• 下采樣圖像生成超分辨率圖像

它采用下采樣圖像(更少細(xì)節(jié))，生成器試圖將它們處理為更自然的視覺(jué)圖像?？催^(guò)CIS的讀者應(yīng)該知道我們?cè)谡務(wù)摰脑掝}。詳見(jiàn)論文：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (2016年11月)。

 你可以在這篇文章或 Ian Goodfellow 的演講中查看關(guān)于生成模型的更多信息。

二、自然語(yǔ)言處理（NLP）

為了能夠和機(jī)器流暢地對(duì)話，首先要解決幾個(gè)問(wèn)題，例如：文本理解、提問(wèn)回答和機(jī)器翻譯。

1. 語(yǔ)義理解

Salesforce MetaMind建立了一個(gè)稱為 Joint Many-Tasks(JMT)的新模型，目標(biāo)是要?jiǎng)?chuàng)造出一個(gè)可以學(xué)習(xí)五個(gè)常見(jiàn)自然語(yǔ)言處理任務(wù)的模型：

• 詞性標(biāo)記(Part-of-speech tagging)

  對(duì)句子中的每個(gè)詞分配合適的詞性，比如說(shuō)名詞、動(dòng)詞、形容詞等。

• 詞塊分析(Chunking)

  也稱作淺層句法分析(shallow parsing)，涉及到一系列的任務(wù)，像是查找名詞或動(dòng)詞詞組。

• 依存句法分析(Dependency parsing)

  識(shí)別詞語(yǔ)之間的語(yǔ)法關(guān)系 (比如說(shuō)形容詞修飾名詞)。

• 語(yǔ)義關(guān)聯(lián)性(Semantic relatedness)

  衡量?jī)蓚€(gè)句子之前的語(yǔ)義相關(guān)程度。結(jié)果采用一個(gè)實(shí)值分?jǐn)?shù)來(lái)表示。

• 文字蘊(yùn)涵(Textual entailment)

  確定前提的句子是否包含一個(gè)假設(shè)語(yǔ)句?？赡艹霈F(xiàn)的句子類(lèi)別有：蘊(yùn)含、矛盾和中立。

這個(gè)模型背后的神奇之處是它具有端到端的可訓(xùn)練性。 這意味著它允許不同層之間協(xié)同工作，從而改善低層任務(wù)（這些任務(wù)并不復(fù)雜），并從高層任務(wù)（更復(fù)雜的任務(wù)）中得到結(jié)果。 與舊的思路相比，這是一個(gè)新東西，舊想思路只能使用低層任務(wù)來(lái)改善高層任務(wù)。最終，該模型在除了詞性標(biāo)記之外，均取得了很好的成績(jī)。

2. 智能應(yīng)答

MetaMind 同樣提出了一個(gè)新的被稱為 Dynamic Coattention Network (DCN)的模型來(lái)解決問(wèn)答問(wèn)題，該模型建立在相當(dāng)直觀的基礎(chǔ)之上。

想象一下，我要給你一段長(zhǎng)文章，并且問(wèn)你一些問(wèn)題。 您喜歡先讀文章，然后被問(wèn)問(wèn)題，還是在開(kāi)始閱讀之前被給出問(wèn)題？ 當(dāng)然，提前知道問(wèn)題，你就能有選擇的注意答案。 如果不這樣，你就不得不將注意力平均分配并且記下與可能的問(wèn)題相關(guān)的每個(gè)細(xì)節(jié)。

DCN也做同樣的事情。 首先，它生成文檔的內(nèi)部表示，基于文本并且由系統(tǒng)將要回答的問(wèn)題做為約束條件，然后就是按照可能的回答列表迭代，直到收斂到最后的回答。

3. 機(jī)器翻譯

今年九月，谷歌發(fā)布了用于翻譯服務(wù)的新模型，谷歌神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)(Google Neural Machine Translation (GNMT))，這個(gè)系統(tǒng)是由如英-漢那樣獨(dú)立的語(yǔ)言對(duì)單獨(dú)訓(xùn)練的。雷鋒網(wǎng)最近全文編譯了關(guān)于谷歌大腦的介紹，實(shí)際上就是對(duì)這個(gè)團(tuán)隊(duì)研發(fā)過(guò)程的詳細(xì)解析。

在 11 月份，新的 GNMT 系統(tǒng)發(fā)布了。新的系統(tǒng)更進(jìn)一步，通過(guò)單一模型便能實(shí)現(xiàn)多語(yǔ)言對(duì)互譯?，F(xiàn)在 GNMT 系統(tǒng)與以前唯一不同之處就是它采用了能指定目標(biāo)語(yǔ)的新型輸入方法。它同樣能夠進(jìn)行 zero-shot translation，這就意味著它能夠翻譯一對(duì)沒(méi)有訓(xùn)練過(guò)的語(yǔ)言。

GNMT 系統(tǒng)表明了基于多語(yǔ)言對(duì)的訓(xùn)練要比單語(yǔ)言對(duì)的訓(xùn)練效果好得多，這也證明了從一種語(yǔ)言對(duì)把“翻譯知識(shí)”遷移到另一種語(yǔ)言對(duì)是可行的。

三、開(kāi)源平臺(tái)及組織

一些公司和企業(yè)已經(jīng)建立起非營(yíng)利性伙伴關(guān)系進(jìn)而討論機(jī)器學(xué)習(xí)的未來(lái)，來(lái)確保這些令人印象深刻的技術(shù)在利于社區(qū)的前提下正確使用。

OpenAI 成立于2015年末，目的是建立學(xué)界和工業(yè)界之間的合作關(guān)系，并免費(fèi)公開(kāi)其研究成果。該組織于2016年開(kāi)始首次發(fā)表它的研究結(jié)果(通過(guò) InfoGAN 出版刊物、Universe 平臺(tái)、this one會(huì)議)。該組織的目標(biāo)是確保人工智能技術(shù)能面向盡可能多的用戶，而且通過(guò)研究進(jìn)展的跟進(jìn)，了解是否會(huì)出現(xiàn)超人工智能。

另一方面，亞馬遜、DeepMind、谷歌、Facebook、IBM 和微軟還在人工智能方面簽訂了合作關(guān)系，其目標(biāo)是增強(qiáng)公眾對(duì)這一領(lǐng)域的理解，支持實(shí)踐活動(dòng)和開(kāi)發(fā)一個(gè)便于討論和參與的開(kāi)放平臺(tái)。

該研究社區(qū)值得注意的一點(diǎn)是其開(kāi)放性。你不僅可以在 ArXiv(或 ArXiv-Sanity)這類(lèi)的網(wǎng)站上找到免費(fèi)的幾乎相關(guān)的任何出版物，還能使用同樣的代碼復(fù)現(xiàn)他們的實(shí)驗(yàn)。其中一個(gè)很有用的工具是 GitXiv，其將 arXiv 上的論文和它們對(duì)應(yīng)的開(kāi)源項(xiàng)目庫(kù)鏈接到了一起。

現(xiàn)在，開(kāi)源工具已經(jīng)遍布各處，并且被研究人員和企業(yè)廣泛使用和再次開(kāi)發(fā)。雷鋒網(wǎng)整理了 2016 年最受歡迎的深度學(xué)習(xí)工具，并附網(wǎng)址如下：

• TensorFlow，來(lái)自谷歌，地址：https://github.com/tensorflow/tensorflow

• Keras，來(lái)自 Fran?ois Chollet，地址：https://github.com/fchollet/keras

• CNTK，來(lái)自微軟，地址：https://github.com/Microsoft/CNTK

• MXNET，來(lái)自 DMLC，被亞馬遜采用，地址：https://github.com/dmlc/mxnet

• Theano，來(lái)自蒙特利爾大學(xué)，地址：https://github.com/Theano/Theano

• Torch，來(lái)自 Ronan Collobert, Koray Kavukcuoglu, Clement Farabet，被 Facebook 廣泛使用，地址：https://github.com/torch/torch7

四、最后的思考

現(xiàn)在正是參與到機(jī)器學(xué)習(xí)發(fā)展中的最佳時(shí)機(jī)。正如你所見(jiàn)到的，今年真是碩果累累的一年。該領(lǐng)域的研究發(fā)展得如此迅猛，即使想要緊跟最近的前沿趨勢(shì)都變成了一件難事。但是包括雷鋒網(wǎng)在內(nèi)的所有人都應(yīng)該感到幸運(yùn)。只要愿意，人人都可以接觸到人工智能技術(shù)。

Via tryolabs

【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無(wú)人駕駛、VR/AR、Fintech、未來(lái)醫(yī)療等領(lǐng)域第一時(shí)間提供海外科技動(dòng)態(tài)與資訊。我們需要若干關(guān)注國(guó)際新聞、具有一定的科技新聞選題能力，翻譯及寫(xiě)作能力優(yōu)良的外翻編輯加入。 

簡(jiǎn)歷投遞至 wudexin@leiphone.com，工作地 北京。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。