深度 | 清華大學(xué)自動化系張長水教授：神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化

本文作者：亞萌

2017-03-14 14:57

導(dǎo)語：中國人工智能學(xué)會AIDL第二期【人工智能前沿講習(xí)班】在北京中科院自動化所舉行，清華大學(xué)自動化系張長水教授帶來了題為《神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化》的報告。

雷鋒網(wǎng)AI科技評論按：3月4日，中國人工智能學(xué)會AIDL第二期【人工智能前沿講習(xí)班】在北京中科院自動化所舉行，本期主題為【機器學(xué)習(xí)前沿】，由周志華教授擔任學(xué)術(shù)主任，前來授課的嘉賓有：耿新、郭天佑、劉鐵巖、王立威、葉杰平、于劍、俞揚、張長水、鄭宇、朱軍。清華大學(xué)自動化系張長水教授帶來了題為《神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化》的報告。

張長水

清華大學(xué)自動化系教授、博士生導(dǎo)師，智能技術(shù)與系統(tǒng)國家重點實驗室學(xué)術(shù)委員會委員，智能技術(shù)與系統(tǒng)國家重點實驗室副主任。主要從事機器學(xué)習(xí)、模式識別、人工智能、計算機視覺等領(lǐng)域的教學(xué)和科研工作。

以下是根據(jù)張長水教授現(xiàn)場分享整理的文字報告，雷鋒網(wǎng)【AI科技評論】做編輯整理。

今天我和大家分享的主題是“神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化”。我大概會講這么幾點：

研究背景
子模函數(shù)和超模函數(shù)
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化
實驗部分

Part 1: 研究背景

當前，深度神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)給我們帶成了很大的影響，這個影響大部分都是積極正面的，但是同時也存在一些不同看法。不管怎么說，深度學(xué)習(xí)模型在傳統(tǒng)的很多機器學(xué)習(xí)問題和相關(guān)問題上，都取得了令人矚目的突破和進展。

我舉幾個例子，比如圖像識別。圖像識別是這樣一個問題：有一張圖像，需要識別這個圖像是貓、是狗、是計算機、是羽毛球拍？在2012年的深度學(xué)習(xí)網(wǎng)絡(luò)用于解決問題時，有了很大的突破。

除此之外還有其他的問題，比如圖像描述、機器翻譯、語音識別。機器翻譯我們知道過去幾十年發(fā)展也很慢，基本上沒有辦法應(yīng)用實際，也是因為深度學(xué)習(xí)方法的應(yīng)用，使得機器翻譯有了一個很大的突破。百度因為這個方面的工作，大概在去年獲得了一個國家科技進步二等獎，是王海峰帶領(lǐng)他的團隊的成果。此外，語音識別，大家都知道，以前也是沒有到應(yīng)用的水平，而現(xiàn)在我們就可以用。比如說大家用微信，就可以用語音輸入。目前為止性能還不錯的語音識別系統(tǒng)，全部都是用深度學(xué)習(xí)方法去做的。

除此以外還有很多，比如醫(yī)療。還比如大家都知道的下棋。

深度學(xué)習(xí)方法應(yīng)用有很多好處，同時也有很多問題。比如說，深度學(xué)習(xí)網(wǎng)絡(luò)模型計算量特別大、模型特別復(fù)雜。模型復(fù)雜導(dǎo)致兩個問題，第一是訓(xùn)練上的困難，第二個是測試上的困難。訓(xùn)練上的困難在于它需要大量的時間，而且一個深度學(xué)習(xí)網(wǎng)絡(luò)要想在某個問題上達到特別好的實用化性能，需要特別多的數(shù)據(jù)。而這對于機器計算的要求、對于數(shù)據(jù)的要求，通常來說不是我們在高校擅長滿足的。因此，工業(yè)界就顯得很有優(yōu)勢，他們有數(shù)據(jù)、有計算資源?，F(xiàn)在深度學(xué)習(xí)的技術(shù)進步了，但是訓(xùn)練模型依然要花費很長時間。像我們實驗室動不動訓(xùn)練一個模型就要一兩天的時間。另外測試時間也很長，我給一個數(shù)據(jù)，跑神經(jīng)網(wǎng)絡(luò)，最后從末端給出一個結(jié)果。這個過程看起來只有一遍過程，但是由于中間計算過于復(fù)雜，所以時間仍然很長。比如給一張圖像，通常來說如果代碼寫的不夠好，大概需要幾秒的時間，如果寫的特別糟也可能一分鐘的時間。可是我們知道有些應(yīng)用問題不允許你這樣做，它需要你實時地識別圖像。還有就是對內(nèi)存有要求。神經(jīng)網(wǎng)絡(luò)模型有大量的參數(shù)都要存到計算機里去。如果你用的是服務(wù)器，這就沒問題，但當你的這個技術(shù)走向應(yīng)用變成產(chǎn)品，這就不一樣了。比如說無人駕駛車，我們希望無人駕駛車上裝的攝像頭能夠識別路上的情況、標識一些物體，你如果這么做，就要在無人駕駛車上有一個識別設(shè)備。我們知道無人駕駛車是一個那么有限的環(huán)境，它不太可能讓你放一個服務(wù)器或GPU，所以它的計算能力很弱。還有就是它對于電的要求高，我們知道GPU特別費電，車上不太可能放一個幾百瓦、上千瓦的供電系統(tǒng)。所以有人對AlphaGo的一個批評就是，你和人去比賽，人靠的是什么，喝一杯牛奶、一片面包、一個雞蛋就來參加比賽；AlphaGo靠什么，后面有那么大的一個供電系統(tǒng)。還有一個特別理想的狀況，既然深度學(xué)習(xí)做圖像識別已經(jīng)有了很多突破，為什么不用在手機上？可是一旦考慮用在手機上，就發(fā)現(xiàn)有一堆的問題：內(nèi)存太小、計算能力太弱、耗電太厲害，所有這些東西都導(dǎo)致了神經(jīng)網(wǎng)絡(luò)現(xiàn)在在應(yīng)用階段有非常大的困難。

因此就提出這樣的問題，我們怎么樣讓深度學(xué)習(xí)網(wǎng)絡(luò)緊湊、小型化。在實際中，我們做深度學(xué)習(xí)的時候有一個很重要的問題，就是要調(diào)參數(shù)。首先，給你一個問題，你有了數(shù)據(jù)，選擇了一個基本模型，但是這個模型結(jié)構(gòu)到底怎么設(shè)置，層有多少，每層寬度多少？這樣一些參數(shù)怎么去定？有很多的因素會影響我們學(xué)習(xí)的性能。有人做過一項這樣的研究，你能夠把網(wǎng)絡(luò)學(xué)的好，學(xué)習(xí)率（learning rate）是最重要的一個因素。學(xué)習(xí)率就是我們求偏導(dǎo)的時候，會對導(dǎo)數(shù)的權(quán)重調(diào)整的系數(shù)，這個系數(shù)特別重要，有相當多的研究工作關(guān)注在這個地方，這個地方任何一個突破對所有人都是至關(guān)重要的，這里“所有人”是指對神經(jīng)網(wǎng)絡(luò)使用的那部分研究人員。此外，每層的寬度也是一個重要的參數(shù)。我今天的報告主要講如何選擇每層寬度。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，有哪些已有的方法？

第一種，貝葉斯方法

權(quán)重參數(shù)是我們在訓(xùn)練階段要學(xué)習(xí)的一個參數(shù)，此外我們需要提前確定的參數(shù)我們叫超參數(shù)。我們在超參數(shù)這個問題上怎么去做？這是我們傳統(tǒng)的深度學(xué)習(xí)、機器學(xué)習(xí)比較關(guān)注的問題。我們假設(shè)有一個要學(xué)習(xí)的參數(shù)，有的時候我們給這個參數(shù)假設(shè)一個形式，例如：高斯分布，那這個高斯分布就是你的先驗，你再想辦法確定這個高斯分布的均值、方差。這就是貝葉斯方法。但是這樣的方法里面，你需要先確定先驗。

第二種，導(dǎo)數(shù)的方法

優(yōu)化目標函數(shù)通常的做法是通過求導(dǎo)完成的。我們往往對神經(jīng)網(wǎng)絡(luò)的權(quán)重進行求導(dǎo)。既然你的學(xué)習(xí)率是一個超參數(shù)，我們?yōu)槭裁床荒軌驅(qū)λM行學(xué)習(xí)？所以如果你能夠建立你要優(yōu)化的這個損失函數(shù)和你現(xiàn)在要學(xué)習(xí)的超參數(shù)之間的函數(shù)關(guān)系，建立這個函數(shù)關(guān)系以后，就可以去求梯度、求導(dǎo)。這個方法的優(yōu)點是很明顯的，但是缺點就是，可能需要你把這兩者之間的函數(shù)關(guān)系理清楚。第二個，對于離散的問題，這種辦法就不好用。

第三種，網(wǎng)格搜索

超參數(shù)還怎么優(yōu)化？在實際過程中我們還有一些經(jīng)驗上的做法，比如說網(wǎng)格搜索。大家去設(shè)想一下，在神經(jīng)網(wǎng)絡(luò)之前我們大家學(xué)過支持向量機。支持向量機的目標函數(shù)有兩項：是間隔項和懲罰項。這兩項之間會有一個C來平衡大的間隔和錯分樣本的懲罰。這里 C是需要提前定的。但是實際中我們不知道C是多少。實際做的過程就是，我們通過網(wǎng)格搜索把這C等間隔取值，分別優(yōu)化SVM，使得我能夠得到一個特別好的結(jié)果。調(diào)好參數(shù)很重要，一來你要去發(fā)文章的時候，把你的參數(shù)調(diào)的盡可能好，和其它最好的方法去比較。另一個就是調(diào)系統(tǒng)和產(chǎn)品，我們希望自己的系統(tǒng)性能盡可能好，去賣個好價錢。

假如我們要優(yōu)化一個神經(jīng)網(wǎng)絡(luò)，而我只關(guān)心這兩層的寬度。所謂的網(wǎng)格搜索就是，讓每層的寬度取值5、10、15、20、25個節(jié)點，然后兩層一起考慮，遍歷所有的組合。這樣做保證不丟掉一些重要的結(jié)構(gòu)?？上攵@種做法非常慢，而且我們神經(jīng)網(wǎng)絡(luò)往往會很多很多層，所以這是一個很頭疼的事。

即使采用遍歷的方法，網(wǎng)格搜索的方法后來也被認為不太好。在2012年Bengio在 “The Journal of Machine Learning Research”發(fā)表的工作告訴我們，假設(shè)你要優(yōu)化的那兩個參數(shù)，可能有一個很重要而另一個不那么重要，網(wǎng)格搜索就意味著構(gòu)成一個這樣的搜索點的分布，這個分布向兩個方向投影，就意味著你搜索了9個點，而在每個方向上都有一些搜索點重復(fù)。如果我們采用隨機采樣的方式，而不是網(wǎng)格搜索的話，就有可能會充分利用這九個點采到這個特別重要的點。他們做了一些理論的和實驗的分析，說明隨機搜索效果往往會更好。而比較有意思的，隨機搜索本身其實是一個很簡單的過程，不需要那么多的預(yù)備知識和技術(shù)，所以是一件挺好的事。

結(jié)構(gòu)優(yōu)化是一個離散優(yōu)化問題，所以我們用前邊很多的貝葉斯方法、求導(dǎo)方法不能用，所以通常情況下，都是人工做的。如果我們在座的有老師，讓你的學(xué)生去調(diào)參，說你要網(wǎng)格搜索，他可能會拒絕，他說這事我搞不定，這個參數(shù)組合太多了，另外，我們機器承受不了，我算一次就要1天、2天，我這樣一組合可能要幾百次、幾萬次人工調(diào)參數(shù)。所以人工調(diào)參數(shù)費時費力。此外，就是需要特別多的知識，你要有很多的知識和經(jīng)驗才能調(diào)好參數(shù)，對專家的依賴性很強。更關(guān)鍵的問題是，我好不容易花一個月把參數(shù)調(diào)好，現(xiàn)在換一個數(shù)據(jù)集，我還需要再花半個月時間調(diào)參。另外是當你的應(yīng)用場景發(fā)生變化的時候，新的客戶來了，這個時候你不得不調(diào)，非硬著頭皮做不可，所以熬夜就成了家常便飯。

第四種，其它優(yōu)化手段

一種是低秩近似。我們把神經(jīng)網(wǎng)絡(luò)這些權(quán)列成一個矩陣，假設(shè)這個矩陣是低秩的，加上低秩正則以后，去優(yōu)化這個網(wǎng)絡(luò)結(jié)構(gòu)。換句話說，在你優(yōu)化整個目標函數(shù)的時候，同時希望這個秩要低。如果把約束加在全連接層上，效果就比較好。

其二，去掉無用的連接和節(jié)點。神經(jīng)網(wǎng)絡(luò)每相鄰層之間都是連接，我們有的時候會問，所有這些連接都有用嗎，是不是有的連接沒有用？如果是這樣的話，我們是不是可以把沒有用的連接去掉。換句話說，看起來那個權(quán)重是有，但是其實很小，我們總覺得特別小的權(quán)重起的作用很弱，我們就把它去掉。這種想法有人做過，就是我先訓(xùn)練一個網(wǎng)絡(luò)，訓(xùn)練好以后，我看哪個權(quán)重特別小，把它去掉，然后再重新訓(xùn)練。訓(xùn)練穩(wěn)定了以后，看哪個權(quán)重又小，再把它去掉，一點點這么去做。好像2015年NIPS會議上就有這樣一個文章發(fā)表，大概用的是這樣的思路。當然也有人說，我對于你們的權(quán)重加一個稀疏的正則，去優(yōu)化。當然這樣從做法上更流暢、更漂亮。后來有人說，除了連接很重要，中間有幾十萬個節(jié)點，每個節(jié)點都很重要嗎，能不能把某個節(jié)點去掉，這個做法就是節(jié)點稀疏。

其三，量化權(quán)重。現(xiàn)在整個權(quán)訓(xùn)練好了，但是因為有很多權(quán)，我要存這些權(quán)就很麻煩，因此大家想，這個權(quán)重不用浮點數(shù)，用整數(shù)行不行？整數(shù)做的一種辦法就是，把所有的權(quán)重都聚類，在聚集多的地方取值，其它的用近似。還有一種做法就是，把所有的權(quán)重量化成幾個等級，比如有4個等級。一個極端是兩個等級，有和沒有，有的話就是1，沒有的話就是0。在這種情況下你會發(fā)現(xiàn)，整個神經(jīng)網(wǎng)絡(luò)計算就變得非常非常的容易，只存在有和沒有，就變得非常的簡單和快速。

當然，所有這些方法都會帶來副作用，就是你的識別率會下降。有的時候我們會說，我們關(guān)注這個算法能不能放手機里去，因為通常來說，放到手機里的很多應(yīng)用程序?qū)ψR別率沒有那么高的影響，認為大眾對有些識別問題的要求可能沒有那么高。這樣識別率降一點也沒有特別大的關(guān)系。

Part 2: 子模函數(shù)和超模函數(shù)

子模函數(shù)和超模函數(shù)是后邊的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化要用到的知識。介紹的時候我先說明，這里面大概有10頁左右的PPT是從這個網(wǎng)站上拿過來的（網(wǎng)址：http://www.select.cs.cmu.edu/tutorials/icml08submodularity.html）。在2008年國際機器學(xué)習(xí)大會有一個特別好的tutorial，就是關(guān)于子模函數(shù)和超模函數(shù)。那個報告給我印象深刻，所以我就把其中的幾頁拿過來在上面做了一些改動。不管怎么說，謝謝這兩個作者。課后大家如果對這個有興趣，可以去看看他們很完整的PPT。他們對子模函數(shù)和超模函數(shù)介紹非常詳細，很感謝他們。

子模函數(shù)和超模函數(shù)，是關(guān)于集合函數(shù)的一些性質(zhì)。集合函數(shù)是指，這個函數(shù)是定義在它的子集上的函數(shù)，這個函數(shù)在每個子集上的取值。通常我們認為空集函數(shù)是對應(yīng)的是0。

什么是子模函數(shù)？子模函數(shù)是怎么形成的，我們不去管它，可以把它看成一個黑箱（black box），但是我們希望這個函數(shù)具有一個這樣的性質(zhì)：對于任給的A、B兩個子集， F(A)+F(B) ≥ F(A ∪ B)+F(A ∩ B)。

如果它滿足這個條件，就說它是一個子模函數(shù)。這樣的性質(zhì)也等價于這個性質(zhì)：有兩個集合，一個是A，一個是B，A集合是B集合的一部分。這種情況下如果在A集合上加上一個元素，這個集合就變大一點，變大了以后，這個函數(shù)會比原來A集合函數(shù)增加了一部分，在小的集合上增加的量要更大大。換句話說，小集合加上一個元素帶來的改進更大，而在大的集合上增加同樣的元素以后，它帶來的影響會比較小一些。

深度 | 清華大學(xué)自動化系張長水教授：神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化

什么是超模函數(shù)？如果F是一個子模函數(shù)，前面加一個負號，那就是超模函數(shù)。

這件事有點太抽象，我們舉一個具體的問題，這樣大家就會有很直觀理解。假設(shè)，現(xiàn)在有一個房間，我們需要在房間里布置一些傳感器，布置傳感器是為了對整個房間進行數(shù)據(jù)采樣。每個每個傳感器會有一個覆蓋面積。我們希望放上有限的傳感器，覆蓋的面積越大越好。在這樣一個問題里邊，對于任何一個集合，F(xiàn)（A）=A能夠覆蓋的面積。所謂的A是什么呢？就是你放的傳感器，因為每個傳感器會放在一個位置上。

深度 | 清華大學(xué)自動化系張長水教授：神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化

這個問題里的F是一個子模函數(shù)（我定義F是它覆蓋的那個面積）。為什么呢？可以設(shè)想，我有兩種情況，一種情況是我放2個傳感器，還有一種情況是，我放4個傳感器，其中包含了剛才的兩個傳感器。我在2和4個傳感器的布局里，分別再加上同一個位置的1個傳感器，那么你會發(fā)現(xiàn)上面小的集合情況（2個傳感器）下帶來的面積增加量比較大。而原來4個傳感器的集合增加的面積部分比較小。這是一個非常直觀的例子。

深度 | 清華大學(xué)自動化系張長水教授：神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化

子模函數(shù)有一個很有意思的性質(zhì)：假如Fi是子模函數(shù)，這個λi>0，它的正的線性疊加仍然是子模函數(shù)。就是在正的這種線性組合的意義上它是封閉的。

我們怎么去理解子模函數(shù)？對子模函數(shù)的尋優(yōu)對應(yīng)的是一個離散的優(yōu)化問題，我們可能知道更多的是連續(xù)的優(yōu)化問題。在連續(xù)優(yōu)化問題里邊我們比較喜歡的一個問題叫凸問題，就是說白一點，我們只有一個單峰。這種情況下找最大值相對比較容易。我們通過求偏導(dǎo)，原則上一定能找到最優(yōu)值。但是到離散問題以后，什么是凸我們就不知道了。而子模函數(shù)類似于我們在連續(xù)問題里的凸函數(shù)。下面這個例子會呈現(xiàn)子模函數(shù)與凸問題的關(guān)系。

假設(shè)有一個這樣的函數(shù)g，它是從整數(shù)到實數(shù)的一個映射，函數(shù)F定義在A集合上，這個子模函數(shù)怎么定義呢？它就定義成我這個集合的“大小”，把集合別的因素都去掉，只考慮它的大小。這樣如果兩個集合a是b的子集，那么 a的大小 < b的大小。這個函數(shù)的特點就在于，在小的地方增加一點所帶來的增益，和在大的地方同樣增加一點所帶來的增益，前者要大。所以你也可以認為，子模函數(shù)是離散函數(shù)的一種凸性質(zhì)。

深度 | 清華大學(xué)自動化系張長水教授：神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)優(yōu)化