0
| 本文作者： 石松 | 2016-12-22 15:20 |
在過去的幾年時間里，深度學習（Deep Learning）一直都是機器學習社區(qū)的核心主題， 2016年也不例外。
研究人員長久以來亟待解決的一個主要挑戰(zhàn)就是無監(jiān)督學習（Unsupervised Learning）。Tryolabs 認為，2016 年對于這一領(lǐng)域來說是取得偉大突破的一年，主要原因是出現(xiàn)了大量的基于生成模型（Generative Models）的研究。此外，雷鋒網(wǎng)會介紹自然語言處理（NLP）技術(shù)在 2016 年所取得的創(chuàng)新，這些技術(shù)會是實現(xiàn)該目標的關(guān)鍵。除了回顧那些推動該領(lǐng)域快速向前發(fā)展做出突出貢獻（或有極大潛力）的進步，雷鋒網(wǎng)也將關(guān)注相關(guān)組織機構(gòu)和開源平臺的建設(shè)情況。
無監(jiān)督學習是指不需要額外信息就能從原始數(shù)據(jù)中提取模式和結(jié)構(gòu)的任務(wù)，這點和需要建立標簽的監(jiān)督學習相反。
使用神經(jīng)網(wǎng)絡(luò)解決這個問題的經(jīng)典方法是自動編碼器?；景姹居啥鄬痈兄鳎∕LP）組成，其中輸入和輸出層具有相同的大小，還有一個較小的隱藏層被訓練用于恢復輸入層。一旦經(jīng)過訓練，隱藏層就能對應(yīng)輸出可用于聚類，降維，改進監(jiān)督分類甚至數(shù)據(jù)壓縮的數(shù)據(jù)表示。
而在其中，
最近一種基于生成模型的新方法出現(xiàn)了，名為“生成式對抗網(wǎng)絡(luò)”（GANs），它能夠使用模型來處理無監(jiān)督學習問題。GANs 將是一場真正的革命,在相關(guān)的技術(shù)演講中，Yann LeCun（深度學習創(chuàng)始人之一）說 GANs 是過去 20 年里機器學習最重要的想法。
盡管 GANs 早在 2014 年由 Ian Goodfellow 提出，但直到 2016 年，GANs 才開始展現(xiàn)出真正的潛能。今年提出的可助于訓練和優(yōu)化架構(gòu)（Deep Convolutional GAN）的改進技術(shù)修復了一些之前的限制，并且新的應(yīng)用程序（詳見下文，部分相關(guān)應(yīng)用名單）揭示了該項技術(shù)能夠如何的強大和靈活。
試想一位有野心的畫家想要偽造藝術(shù)作品（Ｇ），同時又有人以鑒別畫作真假謀生（Ｄ）。開始你先給Ｄ看一些畢加索的藝術(shù)作品。然后Ｇ每次都畫一些作品嘗試著騙過Ｄ，讓他相信這些都是畢加索的原作。開始時候Ｇ是成功的，但是隨著Ｄ越來越了解畢加索的風格（通過看越來越多的作品），Ｇ再想騙過Ｄ就會變得困難起來，所以Ｇ就必須做得更好。隨著過程的繼續(xù)，不僅Ｄ變得非常擅長區(qū)分畢加索的作品，而且Ｇ也變得非常善于模仿畢加索的畫作。這就是GANs背后的設(shè)計思路。
技術(shù)上，GANｓ由兩個持續(xù)推動的網(wǎng)絡(luò)組成（因此稱為“對抗”）：發(fā)生器（G）和鑒別器（D）。給定一組訓練示例（例如圖像），我們可以想象有一個離散基本分布（Ｘ）來管理它們。 通過使用GANｓ，G將產(chǎn)生輸出，同時D將判定它們是否來自于訓練集合的同一分布。
開始時，伴隨著一些噪聲Ｚ，Ｇ開始工作，其產(chǎn)生的圖像是Ｇ（ｚ）。Ｄ從真的分布和來自于Ｇ的假分布中提取圖像，并將它們分類為：Ｄ（ｘ）和Ｄ（Ｇ（ｚ））。
GAN是如何工作的
D和Ｇ都在同時學習，并且一旦Ｇ被訓練，它就能足夠了解訓練實例的分布，產(chǎn)生有非常相似屬性的新示例：
GAN生成的圖像
這些圖像由采用CIFAR-10訓練的GAN產(chǎn)生的。 如果你注意一下細節(jié)，你可以看到它們不是真實物體。 但是，通過捕捉某些確定的特征屬性，可以使它們從遠處看起來很真實。
最近的進展延伸了GAN的思想，不僅可用于近似數(shù)據(jù)分布，也能學習可解釋的、有用的數(shù)據(jù)向量表示。這些期望的向量表示需要捕獲豐富的信息（與自動編碼器中相同），并且也需要是可解釋的，這意味著我們可以區(qū)分向量的某些部分，這些部分可使所生成的輸出中的存在特定類型的形狀變換。
OpenAI研究人員在8月提出的InfoGAN模型解決了這個問題。 簡而言之，InfoGAN能夠以無監(jiān)督的方式生成包含有關(guān)數(shù)據(jù)集信息的表示。 例如，當被應(yīng)用于MNIST數(shù)據(jù)集時，能夠推斷所生成樣本的數(shù)量類型（1,2,3，...），例如生成樣本的旋轉(zhuǎn)和寬度，均不需要人工標記數(shù)據(jù)。
GAN的另一擴展是一類被稱為條件GAN（cGAN）的模型。 這些模型能夠輸入外部信息（類標簽，文本，另一個圖像）生成樣本，使用它強制G生成特定類型的輸出。 最近出現(xiàn)的一些應(yīng)用程序是：
采用文本描述(由字符級的 CNN 或 LSTM 將其編碼為向量)作為外部信息，然后基于它生成圖像。詳見論文：Generative Adversarial Text to Image Synthesis（２０１６年６月）。
將輸入圖像映射到輸出圖像。詳見論文：Image-to-Image Translation with Conditional Adversarial Nets (2016年11月)。
它采用下采樣圖像(更少細節(jié))，生成器試圖將它們處理為更自然的視覺圖像?？催^CIS的讀者應(yīng)該知道我們在談?wù)摰脑掝}。詳見論文：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (2016年11月)。
你可以在這篇文章或 Ian Goodfellow 的演講中查看關(guān)于生成模型的更多信息。
為了能夠和機器流暢地對話，首先要解決幾個問題，例如：文本理解、提問回答和機器翻譯。
Salesforce MetaMind建立了一個稱為 Joint Many-Tasks(JMT)的新模型，目標是要創(chuàng)造出一個可以學習五個常見自然語言處理任務(wù)的模型：
詞性標記(Part-of-speech tagging)
對句子中的每個詞分配合適的詞性，比如說名詞、動詞、形容詞等。
詞塊分析(Chunking)
也稱作淺層句法分析(shallow parsing)，涉及到一系列的任務(wù)，像是查找名詞或動詞詞組。
依存句法分析(Dependency parsing)
識別詞語之間的語法關(guān)系 (比如說形容詞修飾名詞)。
語義關(guān)聯(lián)性(Semantic relatedness)
衡量兩個句子之前的語義相關(guān)程度。結(jié)果采用一個實值分數(shù)來表示。
文字蘊涵(Textual entailment)
確定前提的句子是否包含一個假設(shè)語句?？赡艹霈F(xiàn)的句子類別有：蘊含、矛盾和中立。
這個模型背后的神奇之處是它具有端到端的可訓練性。 這意味著它允許不同層之間協(xié)同工作，從而改善低層任務(wù)（這些任務(wù)并不復雜），并從高層任務(wù)（更復雜的任務(wù)）中得到結(jié)果。 與舊的思路相比，這是一個新東西，舊想思路只能使用低層任務(wù)來改善高層任務(wù)。最終，該模型在除了詞性標記之外，均取得了很好的成績。
MetaMind 同樣提出了一個新的被稱為 Dynamic Coattention Network (DCN)的模型來解決問答問題，該模型建立在相當直觀的基礎(chǔ)之上。
想象一下，我要給你一段長文章，并且問你一些問題。 您喜歡先讀文章，然后被問問題，還是在開始閱讀之前被給出問題？ 當然，提前知道問題，你就能有選擇的注意答案。 如果不這樣，你就不得不將注意力平均分配并且記下與可能的問題相關(guān)的每個細節(jié)。
DCN也做同樣的事情。 首先，它生成文檔的內(nèi)部表示，基于文本并且由系統(tǒng)將要回答的問題做為約束條件，然后就是按照可能的回答列表迭代，直到收斂到最后的回答。
今年九月，谷歌發(fā)布了用于翻譯服務(wù)的新模型，谷歌神經(jīng)網(wǎng)絡(luò)機器翻譯系統(tǒng)(Google Neural Machine Translation (GNMT))，這個系統(tǒng)是由如英-漢那樣獨立的語言對單獨訓練的。雷鋒網(wǎng)最近全文編譯了關(guān)于谷歌大腦的介紹，實際上就是對這個團隊研發(fā)過程的詳細解析。
在 11 月份，新的 GNMT 系統(tǒng)發(fā)布了。新的系統(tǒng)更進一步，通過單一模型便能實現(xiàn)多語言對互譯?，F(xiàn)在 GNMT 系統(tǒng)與以前唯一不同之處就是它采用了能指定目標語的新型輸入方法。它同樣能夠進行 zero-shot translation，這就意味著它能夠翻譯一對沒有訓練過的語言。
GNMT 系統(tǒng)表明了基于多語言對的訓練要比單語言對的訓練效果好得多，這也證明了從一種語言對把“翻譯知識”遷移到另一種語言對是可行的。
一些公司和企業(yè)已經(jīng)建立起非營利性伙伴關(guān)系進而討論機器學習的未來，來確保這些令人印象深刻的技術(shù)在利于社區(qū)的前提下正確使用。
OpenAI 成立于2015年末，目的是建立學界和工業(yè)界之間的合作關(guān)系，并免費公開其研究成果。該組織于2016年開始首次發(fā)表它的研究結(jié)果(通過 InfoGAN 出版刊物、Universe 平臺、this one會議)。該組織的目標是確保人工智能技術(shù)能面向盡可能多的用戶，而且通過研究進展的跟進，了解是否會出現(xiàn)超人工智能。
另一方面，亞馬遜、DeepMind、谷歌、Facebook、IBM 和微軟還在人工智能方面簽訂了合作關(guān)系，其目標是增強公眾對這一領(lǐng)域的理解，支持實踐活動和開發(fā)一個便于討論和參與的開放平臺。
該研究社區(qū)值得注意的一點是其開放性。你不僅可以在 ArXiv(或 ArXiv-Sanity)這類的網(wǎng)站上找到免費的幾乎相關(guān)的任何出版物，還能使用同樣的代碼復現(xiàn)他們的實驗。其中一個很有用的工具是 GitXiv，其將 arXiv 上的論文和它們對應(yīng)的開源項目庫鏈接到了一起。
現(xiàn)在，開源工具已經(jīng)遍布各處，并且被研究人員和企業(yè)廣泛使用和再次開發(fā)。雷鋒網(wǎng)整理了 2016 年最受歡迎的深度學習工具，并附網(wǎng)址如下：
TensorFlow，來自谷歌，地址：https://github.com/tensorflow/tensorflow
Keras，來自 Fran?ois Chollet，地址：https://github.com/fchollet/keras
CNTK，來自微軟，地址：https://github.com/Microsoft/CNTK
MXNET，來自 DMLC，被亞馬遜采用，地址：https://github.com/dmlc/mxnet
Theano，來自蒙特利爾大學，地址：https://github.com/Theano/Theano
Torch，來自 Ronan Collobert, Koray Kavukcuoglu, Clement Farabet，被 Facebook 廣泛使用，地址：https://github.com/torch/torch7
現(xiàn)在正是參與到機器學習發(fā)展中的最佳時機。正如你所見到的，今年真是碩果累累的一年。該領(lǐng)域的研究發(fā)展得如此迅猛，即使想要緊跟最近的前沿趨勢都變成了一件難事。但是包括雷鋒網(wǎng)在內(nèi)的所有人都應(yīng)該感到幸運。只要愿意，人人都可以接觸到人工智能技術(shù)。
【招聘】雷鋒網(wǎng)堅持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時間提供海外科技動態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。
簡歷投遞至 wudexin@leiphone.com，工作地 北京。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
