2
| 本文作者： 宗仁 | 2016-09-09 21:46 |
9月9日，2016湖南人工智能論壇在長沙舉辦，大會期間，來自國內(nèi)外的許多頂級專家在會上給我們做了報告，下面是雷鋒網(wǎng)根據(jù)微軟亞洲研究院劉鐵巖教授的現(xiàn)場精華整理，全部內(nèi)容已經(jīng)經(jīng)由劉教授確認。
在人工智能高歌猛進，人們期待深度學習無往不勝之時，作為人工智能學者，我們必須保持冷靜，分析深度學習技術(shù)的短板，開展針對性研究將其克服，從而助力人工智能的長期繁榮。事實上，今天深度學習成功的主要因素：超大規(guī)模訓練數(shù)據(jù)、復雜的深層模型、分布式并行訓練，也正是影響其進一步發(fā)展的障礙。首先，取得大量有標簽訓練數(shù)據(jù)需要付出巨大代價，不是每個領(lǐng)域都能滿足這個條件；其次，深層模型很難優(yōu)化，超大模型會突破計算機容量；再次，同步并行效率低下、異步并行受通信延時影響收斂緩慢。在本報告中，我將會介紹微軟研究院的最新成果，展示如何通過“對偶通信博弈技術(shù)”有效利用無標簽訓練數(shù)據(jù)、如何利用“殘差學習技術(shù)”解決深層神經(jīng)網(wǎng)絡的優(yōu)化問題、如何借助“二維映射技術(shù)”縮小模型規(guī)模、以及如何使用“高階泰勒補償技術(shù)”解決通信延時問題。這些前沿技術(shù)將會陸續(xù)通過微軟的開源項目CNTK和DMTK分享給業(yè)界，以期和大家一起推動人工智能技術(shù)的進一步發(fā)展。
劉鐵巖博士，微軟亞洲研究院首席研究員，美國卡內(nèi)基梅隆大學（CMU）客座教授。劉博士的研究興趣包括：人工智能、機器學習、信息檢索、數(shù)據(jù)挖掘等。他的先鋒性工作促進了機器學習與信息檢索之間的融合，被國際學術(shù)界公認為“排序?qū)W習”領(lǐng)域的代表人物，他在該領(lǐng)域的學術(shù)論文已被引用近萬次。近年來，劉博士在博弈機器學習、深度學習、分布式機器學習等方面也頗有建樹，他的研究工作多次獲得最佳論文獎、最高引用論文獎、研究突破獎，并被廣泛應用在微軟的產(chǎn)品和在線服務中。他是國際電子電氣工程師學會（IEEE）、美國計算機學會（ACM）和中國計算機學會（CCF）的高級會員，中國計算機學會的杰出演講者和學術(shù)工委。
在我的報告開始之前，先介紹一下我所供職的單位：微軟研究院，它是微軟公司在全球設立的基礎研究機構(gòu)，它在全球有六個分院。位于北京的微軟亞洲研究院成立于1998年，到現(xiàn)在已經(jīng)有十八個年頭，這十八年里，微軟亞洲研究院在頂級國際會議和期刊上發(fā)表了近5000篇論文，其中包括50篇最佳論文，為微軟產(chǎn)品提供了400項技術(shù)。微軟亞洲研究院非常像一所大學，有近200余名世界頂尖的計算機科學家，以及來自各個高校的三四百名長期的實習生。
人工智能在最近取得了令人矚目的成果，微軟在這個過程中也做了很多的貢獻，比如在語音識別方面的突破，就起源于2006年微軟的研究員和Geoff Hinton一起從事的研究。這幾年人工智能領(lǐng)域在人臉識別、圖像識別、自然語言處理、人際對弈都取得了甚至超過人類水平的研究成果，非常喜人。
說到這幾年取得的成果，就不得不提到深度學習技術(shù)，深度學習技術(shù)概念很寬，但最主流的算法就是深度神經(jīng)網(wǎng)絡，這張圖展示了深度神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)。圖里的圓圈代表是一個神經(jīng)元，每一個神經(jīng)元會對它的輸入做一個線性加權(quán)求和，在進行一個非線性變換。經(jīng)過多層的變換，深度神經(jīng)網(wǎng)絡可以模擬非常復雜的非線性分類界面。
除了最基本的全連接網(wǎng)絡，最近深度神經(jīng)網(wǎng)絡有很多新的變種，比如說卷積神經(jīng)網(wǎng)絡，這是為圖像識別發(fā)明新的網(wǎng)絡結(jié)構(gòu)，循環(huán)神經(jīng)網(wǎng)絡主要為自然語言流式數(shù)據(jù)發(fā)明的神經(jīng)網(wǎng)絡結(jié)構(gòu)。
不管是標準多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡，還是循環(huán)神經(jīng)網(wǎng)絡，其學習過程都非常的簡單和一致。首先會有一個訓練集，我們用w表示深度神經(jīng)網(wǎng)絡里面的參數(shù)，用f來表示神經(jīng)網(wǎng)絡模型。
L稱為損失函數(shù)，深度學習神經(jīng)網(wǎng)絡的訓練其實通過在訓練集上最小化損失函數(shù)而求得的，就是我們通常所說的經(jīng)驗風險最小化。為了實現(xiàn)這個目標，人們使用的優(yōu)化技術(shù)也非常的簡單，就是大家上大一的時候就會學到梯度下降法：對損失函數(shù)求一個梯度，然后把模型向梯度下降最快的方向做一個更新，這種方法在神經(jīng)網(wǎng)絡領(lǐng)域也被稱為反向傳播。
到此為止我就給大家用了一兩張PPT做了非常快速的講座，什么是深度神經(jīng)網(wǎng)絡，它有哪些變種。
接下來我們來看看神經(jīng)網(wǎng)絡背后深層次的東西。當深度神經(jīng)網(wǎng)絡帶來了人工智能很大的飛躍，外行們討論的都是人工智能對人類會不會產(chǎn)生威脅？而內(nèi)行看到的則是深度神經(jīng)網(wǎng)絡有什么技術(shù)優(yōu)勢、往前發(fā)展還有什么樣子的短版？
前面提到，無論深度神經(jīng)網(wǎng)絡長什么樣子，其實就是一種經(jīng)驗風險最小化。這里，X是樣本，Y是標簽，所以X和Y加起來就是神經(jīng)網(wǎng)絡的訓練數(shù)據(jù)，F(xiàn)用來表示神經(jīng)網(wǎng)絡模型，L是損失函數(shù)。神經(jīng)網(wǎng)絡的訓練就是在整個神經(jīng)網(wǎng)絡的函數(shù)空間里面去找一個最優(yōu)模型，從而最好地擬合訓練數(shù)據(jù)。其實不僅神經(jīng)網(wǎng)絡在做這件事，歷史上那么多的分類模型，都在做的類似的事情。
為什么到今天神經(jīng)網(wǎng)絡可以取得傳統(tǒng)模型無法取得的成功呢？其實有三個理由：
一是要感謝我們這個大數(shù)據(jù)的時代，我們?nèi)缃裼兄八从械拇笥柧殧?shù)據(jù)，可以充分訓練復雜的模型。
二是深度神經(jīng)網(wǎng)絡和前面提到的模型相比，具有更強的表達能力。大家知道在神經(jīng)網(wǎng)絡領(lǐng)域有一個universal approximation theorem，講的是帶有隱層的神經(jīng)網(wǎng)絡可以逼近任意的連續(xù)函數(shù)。從這個意義上講，即便我們選一個非常復雜的問題，用深度神經(jīng)網(wǎng)絡也可以逼近它的分類界面。
有了大數(shù)據(jù)，又有了復雜模型，那怎么訓練呢？就需要非常強大的計算資源，就是可能要用上百臺、上千臺的計算機來共同訓練一個深度神經(jīng)網(wǎng)絡?？偨Y(jié)一下啊，大數(shù)據(jù)、復雜模型、運算集群能力其實共同支撐了今天深度神經(jīng)網(wǎng)絡的巨大成功。
但是世界上沒有免費的午餐，這三方面恰洽也是深度神經(jīng)網(wǎng)絡向前進一步發(fā)展的瓶頸所在。
第一個方面，其實大規(guī)模的數(shù)據(jù)不是那么容易取得的，尤其在某些領(lǐng)域，比如說醫(yī)學領(lǐng)域，有些疑難雜癥這世界上一共就一百個樣本，如何去產(chǎn)生成千上萬的大數(shù)據(jù)？
第二個方面深度神經(jīng)網(wǎng)絡非常難以優(yōu)化，目前人們?yōu)榇税l(fā)明了很多黑科技。我們經(jīng)常遇到這種情況，即便有一個組織宣布他有非常好的深度模型并且把算法進行了開源，但是我們當下載到自己的環(huán)境里，用自己的數(shù)據(jù)做訓練的時候，往往得不到那么好的結(jié)果。另外，有的時候很大的模型容量會超過計算機的限制，目前我們經(jīng)常用GPU來訓練深度神經(jīng)網(wǎng)絡，但是GPU的內(nèi)存很小，一般就是幾十個G，很多大的神經(jīng)網(wǎng)絡的規(guī)模會超過這個容量。
第三個方面，即便神經(jīng)網(wǎng)絡模型可以塞到GPU里，但是當數(shù)據(jù)夠大的時候，用單機進行訓練可能要花費非常多的時間，也許幾百年也訓練不出一個模型來。為此，我們需要用一個集群來做分布式的訓練，聽起來很簡單，好像是系統(tǒng)領(lǐng)域成熟的問題，但是我們關(guān)心的不是簡單地把模型訓練分發(fā)到多個機器上，而是要保證精度不發(fā)生損失，我們希望在加速的同時，還有很好的判別或者是分類能力，這件事情一點都不簡單。
前面提到了很多情況下，不是那么容易獲得大數(shù)據(jù)，當沒有大的訓練數(shù)據(jù)時候該怎么辦？通常獲得有標簽數(shù)據(jù)很難，但是獲得無標簽數(shù)據(jù)會相對榮國。比如現(xiàn)在ImageNet比賽的數(shù)據(jù)通常是1000類，每類1000幅圖像；但是我們?nèi)绻盟阉饕鎭硭阉鲌D像，可以獲得比這多得多的數(shù)據(jù)。 關(guān)鍵的問題是如何給這些無標簽數(shù)據(jù)打上一個標簽。常用的方法是標簽傳播，就是利用樣本的相似性，給無標簽數(shù)據(jù)賦予一個偽標簽。另一種情況是，我們有類別信息，但是沒有樣本。最近有一個很有趣的工作叫GAN: generative adversarial nets，它利用一個生成器和一個判別器的博弈，最終能根據(jù)標簽自動產(chǎn)生屬于這個類別的數(shù)據(jù)。
有了這個技術(shù)，我們就不用去采集數(shù)據(jù)，而是自動地淵源不斷輸出那些圖像。
這兩種工作是對稱的，一個工作處理的是有樣本但無標簽，另一個工作處理的是有標簽但無樣本。那么能不能使它們兩個對接在一起？這是我們今年在NIPS上發(fā)的一篇論文，稱為對偶通信博弈，可以把前面兩項技術(shù)完美結(jié)合在一起。
首先從任何一個無標簽的樣本出發(fā)，可以預測標簽，然后基于這個標簽又可以用生成技術(shù)生成一個新樣本出來，這個過程我們可以獲得很多反饋信息，比如標簽的分布、生成樣本和原樣本的相似度等。這個過程也可以從標簽出發(fā)，也能形成一個閉環(huán)。有了這個技術(shù)，我們就可以自己產(chǎn)生訓練數(shù)據(jù)。我們把這個技術(shù)應用到了機器翻譯上，取得了非常好的結(jié)果。大家知道機器翻譯這幾年有突飛猛進的進展，得益于大量雙語語料的存在，如果只有很少的數(shù)據(jù)能做什么呢？
這張圖上面最上面條形圖對應的是用百分之百的雙語語料訓練的結(jié)果，最底下一行是使用傳統(tǒng)的深度學習技術(shù)只用5%的雙語語料的結(jié)果。綠色的這一條也只是使用了5%的有標數(shù)據(jù)，但是使用了對偶通信博弈來自動生成更多的訓練數(shù)據(jù)，它可以很快逼近使用全部雙語語料的精度。當然，這里機器翻譯只是一個例子，同樣的方法可以解決很多其他的應用問題。
深度學習的網(wǎng)絡很復雜，訓練其實不容易，那么到底有哪些不容易？
一個典型的挑戰(zhàn)叫做梯度消減，深度神經(jīng)網(wǎng)絡是從輸出層的損失函數(shù)不斷向下傳播，用預測誤差來更改神經(jīng)網(wǎng)絡的參數(shù)，所謂梯度消減指的是當網(wǎng)絡很深的時候，輸出層的損失很難有效反饋到底層，所以底層神經(jīng)參數(shù)不能得到有效的更新。我們舉個簡單的例子，這是一個簡化的深度神經(jīng)網(wǎng)絡，每一層只有一個隱節(jié)點，但是有很多層次，C是損失函數(shù)，反向傳播無非就是對損失函數(shù)求一個偏導，求到每一個層的參數(shù)上面去，這個偏導長什么樣子，大家回去做一點演算的話就可以得到這個式子。這里sigma’對應于非線性激活函數(shù)的導數(shù)，它的最大值也不過是0.25，如果一個網(wǎng)絡很深，每一層對應的激活函數(shù)的導數(shù)會被連乘，一連串很小的量連乘會是什么結(jié)果呢，就是很快趨近于0，這就是梯度消減的起因。為了解決這個問題，人們提出在原有的神經(jīng)網(wǎng)絡基礎上增加了一條由門電路控制的線性通路。
我們做回傳的時候，線性通路可以把預測誤差有效傳遞到底的參數(shù)上，而不會有那么強的梯度消減問題。但是，這兩個工作使用的門電路，有的時候會通，有的時候會斷，還是會帶來一定的損失。我們研究院的同事提出在神經(jīng)網(wǎng)絡不同層次之間加一個直接的線性通路，不受任何的限制，永遠是通的，經(jīng)過這樣的一個改造之后，對于解決梯度消減問題效果更好，并且可以讓我們很輕易訓練出成千上萬層的網(wǎng)絡，其中152層的殘差網(wǎng)絡參加了去年的比賽，并且取得了五個項目的冠軍，獲得了全世界的矚目。
大家看看這個152層的網(wǎng)絡有多深。
其實，不僅深會帶來麻煩，網(wǎng)絡大也是件麻煩事。這個數(shù)據(jù)集是在網(wǎng)絡搜索領(lǐng)域常用的數(shù)學極，它包含十幾億的網(wǎng)頁，詞表大小大概1000萬。如果基于這樣數(shù)據(jù)去設計一個神經(jīng)網(wǎng)絡，因為輸出層是詞表那么大，輸入層也是詞表那么大，網(wǎng)絡大小是非?？捎^的，其參數(shù)個數(shù)會超過200億，存儲的量會超過200G，這樣是網(wǎng)絡是沒法塞到GPU的內(nèi)存里的。即便可以塞進去，訓練這么大的網(wǎng)絡也需要花很長的時間，粗略的計算告訴我們，用主流GPU來訓練，大約需要180年。
今年我們的研究組提出新的技術(shù)，就叫做參數(shù)維度壓縮技術(shù)，可以有效解決詞表過大的問題。因為詞表決定了輸出的結(jié)點數(shù)和輸入的結(jié)點數(shù)，我們工作的核心所在就是提出了詞表的二維向量表達。
每一個詞不是用一個節(jié)點表示，而是用兩個節(jié)點去表示，不同的詞會共享節(jié)點。如果用二維的表格來表述所有的詞條，原來10000個詞，只需要200個元素就可以了。通過二維詞表的構(gòu)造大大解決了內(nèi)存的空間，但是到底該怎么生成這些二維的詞表？
哪些詞要共享節(jié)點，哪些詞不需要共享節(jié)點，其實這是一個最優(yōu)的二分圖匹配問題，我們可以循環(huán)地求解二分圖匹配，從而獲得合理的二維詞表。相應地，我們把傳統(tǒng)的神經(jīng)網(wǎng)絡也做了改進，提出的二維循環(huán)神經(jīng)網(wǎng)絡。
這個網(wǎng)絡大大縮小了網(wǎng)絡儲存的內(nèi)存需求，像我剛才提到有200億個參數(shù)的網(wǎng)絡，用了這個技術(shù)以后，儲存量降低了三個數(shù)量級，運算量降低了四個數(shù)量級，這還不是最神奇的，我們使用了二維共享表之后，精度也得到了提高，這主要是因為傳統(tǒng)的神經(jīng)網(wǎng)絡輸入結(jié)點是互相獨立的，但是我們沒有做這樣的假設，我們是用了最優(yōu)二分圖的匹配來找到了詞與詞之間的語義相似性，因此提高了網(wǎng)絡的精度。
大家想象一下，如果真的有一個非常大的網(wǎng)絡，有很多數(shù)據(jù)要跑，一臺機器要一兩百年才能完成訓練。那就不得不使用多臺機器進行并行訓練。在并行的訓練當中最簡單的范式就是同步的并行。
比如說每一臺機器做一個局部運算，然后機器互相之間互相同步一下學到的東西。但是這一百臺機器可能運算的速度有很大差別，做同步的更新，這一百臺機器就需要互相等待，最后運算的效率是由最慢的機器決定的。
結(jié)果是，使用了100臺機器，可能由于互相等待，最終只實現(xiàn)了三五倍的加速比，得不償失。為了解決這個問題，最近學者們開始研究異步并行。
就是機器之間不互相等待，這樣雖然速度有所提高，但是會出現(xiàn)所謂延時通信的額問題。也就是，當一臺機器根據(jù)當前模型，得到模型更新，想要推送回全局模型的時候，全局模型很可能已經(jīng)被其他機器更新了好幾次了，導致它推送上的更新過時了，把這個過時的更新加到全局模型上，可能會導致出乎意料的結(jié)果。有學者做過分析，這種延時，或?qū)е聦W習的收斂速度變慢，最終也是影響加速比。
為了解決這個問題，我們需要弄清楚這個過時的更新到底會帶來什么影響。其實，這個舊的更新和新的更新之間的差別可以用泰勒展開來進行刻畫，傳統(tǒng)的異步并行相當于只利用了泰勒展開的零階項，那么，我們是不是可以用更多的高階項去補償這種延時呢？如果把所有高階項都用上，確實可以把通訊延遲完全解決掉，但是其運算復雜度也會增加，所以這中間有一個平衡的問題。我們做了一個簡單的嘗試，就是在零階項的基礎上，多保留了一階項。但是，即便這種簡單的操作，也需要我們計算原損失函數(shù)的二階導數(shù)（就是所謂海森陣），其復雜度是相當高的，可能得不償失。我們的貢獻在于證明了一個重要的定理，當損失函數(shù)具有對數(shù)似然的形式的時候，這個二階導數(shù)可以用一階導數(shù)的簡單變換，實現(xiàn)無偏估計。而神經(jīng)網(wǎng)絡里常用的交叉熵損失函數(shù)，正是一種對數(shù)似然的形式，因此我們的技術(shù)可以很好地應用到深度神經(jīng)網(wǎng)絡里面。
前面我講到了很多微軟在深度學習方面的前沿技術(shù)，這些技術(shù)將會陸續(xù)通過我們的開源項目分享給業(yè)界。其中一個開源項目叫CNTK，微軟深度學習工具包，還有一個叫DMTK，微軟分布式機器學習工具包。希望對這方面感興趣的同事可以嘗試一下我們的工具包，希望對你們的研究有一個推動作用。
最后，讓我們討論一下我們的未來研究方向，我們希望創(chuàng)造一個能夠自動創(chuàng)造人工智能的人工智能。今天人工智能雖然有很多成功的例子，但是絕大部分依靠人為編寫的程序。最近這幾年，學者們在思考，有沒有可能不需要人為控制深度學習的過程，而是由機器自己來優(yōu)化自己呢？比如說DeepMind今年發(fā)了一個論文，叫l(wèi)earning to learn by gradient descent by gradient descent，就是用循環(huán)神經(jīng)網(wǎng)絡取代人為定義的梯度下降方法。再比如，我們前面提到的對偶通信博弈，就是機器自己搜集和產(chǎn)生訓練數(shù)據(jù)。還有一些人在用機器學習的方法自動來調(diào)深度神經(jīng)網(wǎng)絡的超參數(shù)，比如學習率。隨著這些研究的開展，我們可以想象有一天機器學習工具可以針對給出的任務去自動搜索數(shù)據(jù)、選擇數(shù)據(jù)、處理數(shù)據(jù)，自動根據(jù)你所給的目標去生成模型優(yōu)化的方法，自動調(diào)整超參數(shù)，自動把訓練部署到多個機器上進行分布式訓練，如果真的有這樣一天，將是對所有機器學習使用者的一種解放，我們不需要那些掌握黑科技的巨頭，每個人都可以享受機器學習技術(shù)給大家?guī)淼募t利！讓貌似高深復雜的機器學習技術(shù)，真正飛入尋常百姓家！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
