雷鋒網(wǎng)［AI科技評論］按:3月3日，中國人工智能學會AIDL第二期【人工智能前沿講習班】在北京中科院自動化所舉行，本期講習班的主題為【機器學習前沿】。周志華教授擔任學術(shù)主任，前來授課的嘉賓均為中國機器學習界一流專家、資深科研人員和企業(yè)精英，包括：耿新、郭天佑、劉鐵巖、王立威、葉杰平、于劍、余揚、張長水、鄭宇、朱軍。

來自清華大學計算機科學與技術(shù)系的朱軍副教授做了題為《貝葉斯學習前沿進展》的開場分享課?？偣?個小時時長的課程，內(nèi)容主要分為三大部分：貝葉斯基本理論、模型和算法；可擴展的貝葉斯方法；深度生成模型。本文乃三大內(nèi)容中的第一部分：貝葉斯基本理論、模型和算法。

朱軍

清華大學計算機系長聘副教授、智能技術(shù)與系統(tǒng)國家重點實驗室副主任、深度學習技術(shù)與應(yīng)用國家工程實驗室副主任、國家萬人計劃青年拔尖人才、中國自然科學基金優(yōu)秀青年基金獲得者、中國計算機學會青年科學家、IEEE AI’s 10 to Watch入選者。

以下是根據(jù)朱軍副教授現(xiàn)場分享整理的文字報告，雷鋒網(wǎng)［AI科技評論］做編輯整理。

學術(shù)主任周志華教授介紹詞：朱軍老師是我們國內(nèi)機器學習非常優(yōu)秀的一位年輕的學者，他特別在貝葉斯學習方面有一套非常有特色的東西，大家知道貝葉斯學習是機器學習里面非常主流的一個流派，朱軍老師是把這兩個東西做了非常有機的結(jié)合，今天請朱軍老師將給大家做一個全面的貝葉斯學習前沿介紹，下面歡迎朱軍老師。

朱軍：非常感謝周老師給這個機會讓我跟大家分享一下。我今天想和大家分享的是，在深度學習或者大數(shù)據(jù)環(huán)境下我們怎么去看待相對來說比較傳統(tǒng)的一類方法，貝葉斯方法。它是在機器學習和人工智能里比較經(jīng)典的方法。

類似的報告我之前在CCF ADL講過，包括去年暑假周老師做學術(shù)主任在廣州有過一次報告，大家如果想看相關(guān)的工作，我們寫了一個文章，正好我今天講的大部分思想在這個文章里面有一個更系統(tǒng)的講述，大家可以下去找這個文章讀。

這次分享主要包括三個部分：

第一部分：基本理論、模型和算法

貝葉斯方法基礎(chǔ)

正則化貝葉斯推理和案例

第二部分：可擴展的貝葉斯方法

在線學習

分布式MCMC

第三部分：深度生成模型

第一部分：貝葉斯基礎(chǔ)和正則化貝葉斯

貝葉斯方法概念是比較簡單的，一般情況下我們做貝葉斯推理，用了一個核心的工具叫貝葉斯定理或者貝葉斯準則，實際上寫出來就是這么一個簡單的公式，大家學概率基本上都學過這個。

公式里有幾個基本的對象，我們用θ描述模型的參數(shù)，這個模型可以是神經(jīng)網(wǎng)絡(luò)、線性模型、或者SVM，參數(shù)都用θ來描述；大D是我們的訓(xùn)練集；π(θ)是先驗分布，是我們看到數(shù)據(jù)之前對模型本身分布的描述；p(D|θ)是似然函數(shù)，給定一個模型θ的情況下描述這個數(shù)據(jù)的似然；我們的目標是想獲得這個后驗分布，是看到數(shù)據(jù)之后我們再重新看模型本身的分布情況。這是1763年當時貝葉斯生前沒有發(fā)表的文章里面，最早闡述了這個公式，最后正式發(fā)表了。

在機器學習里面，貝葉斯法則可以做什么？

首先，預(yù)測問題。我們用大M來描述model class，比如線性模型、非線性模型，model class里面有多個具體的模型，我們還是用參數(shù)θ表示。對新來的樣本做一個預(yù)測，比如算它的似然，這樣可以用前邊推出來的后驗分布來做一個積分。這個是給定模型下樣本的似然，這是所有可能模型的分布。本質(zhì)上是做了一個平均，這個思想實際上跟周老師的集成學習的思想是比較相近的，我們也是對很多種模型做了一個加權(quán)的平均，只是說在這個地方模型可能有無限多個，我們是用概率分布來去描述它。

這個似然函數(shù)通常假設(shè)在給定模型參數(shù)的情況下，測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)是獨立的，這就是我們通常說的獨立同分布的假設(shè)。

除了做預(yù)測，我們還可以做不同模型的比較、模型的選擇。比如說我們要做分類問題，到底是要選線性的模型還是深度學習的非線性模型，這是在做模型選擇的問題。這個問題可以描述成這樣：我們用M1表示一個model class，可能是一個線性模型，我們用M2表示另外一個model class，是非線性模型，我們在同樣數(shù)據(jù)集D的情況下，我們可以去比較這兩個量哪個大，這個量是描述的在M1下我們觀察到訓(xùn)練集的一個似然，另外一個是在M2的情況下觀察的數(shù)據(jù)集似然，可以通過這個比較看我應(yīng)該選擇哪一種模型，這是一個用貝葉斯方法做模型選擇的一個基本的規(guī)則。

為什么要用貝葉斯方法？

做貝葉斯的人會告訴你很多的理由，我們后邊從例子里邊也會看到一些答案。這里給大家簡單講一個，概率論的結(jié)果告訴我們實際上在很多情況下對數(shù)據(jù)的建模是存在這種貝葉斯的模型來刻畫的。這有一個基本性質(zhì)叫Infinite Exchangeability，假如你數(shù)據(jù)有N個樣本，如果將它們?nèi)我饨粨Q順序，這些數(shù)據(jù)的聯(lián)合分布不變化，也即是我們通常說的和序列無關(guān)，那么它的聯(lián)合分布可以寫成貝葉斯的形式---存在一個模型和對應(yīng)的分布，你通過積分的形式可以刻畫整個分布。如果用圖示畫一下，在給定這個模型的情況下，數(shù)據(jù)是完全獨立的，我們叫條件獨立性，這是概率圖模型里的一個非常重要的概念。

稍微提一點，可交換性比前面講的獨立同分布更廣泛一點，可交換的數(shù)據(jù)可以不是獨立同分布的。另外，這個定理只告訴你存在，但是后面的問題是我們不知道具體的模型應(yīng)該是什么樣的，比如說是線性模型、非線性模型，用什么樣的模型去刻畫，這是統(tǒng)計建模要解決的問題。

先驗（Prior）從哪里來？

在貝葉斯里有兩個流派，一個是客觀貝葉斯，另一個是主觀貝葉斯。所謂客觀貝葉斯，就是希望能夠把先驗的影響盡量弱化，所以會研究一些noninformative priors，就是你用貝葉斯的結(jié)果像用統(tǒng)計的方法得到結(jié)果一樣，有一些統(tǒng)計性質(zhì)。而主觀貝葉斯，實際上是更希望利用貝葉斯框架的靈活性，因為貝葉斯框架給了你一個先驗的分布，你可以在先驗上做文章，我們后邊也會有些例子來講怎么去利用先驗提供的靈活性，來做具體的學習任務(wù)或者解決問題。用主觀貝葉斯的好處之一是，當你的數(shù)據(jù)足夠多的時候，可以通過先驗引入一些知識來幫助你學習，這個尤其在交叉學科里，比如用貝葉斯方法做認知或者神經(jīng)科學，是大家比較喜歡用的方法。

當然還有另外一些具體的技術(shù)，我可以相信這個prior，但是我盡量弱化prior里邊參數(shù)的影響，這里面有一種技術(shù)叫“層次的prior”。有一個基本的假設(shè)，這個π里面的參數(shù)叫超參數(shù)，它離我這個產(chǎn)生數(shù)據(jù)的模型越遠的話影響就越弱，實際上利用這種基本假設(shè)，就可以構(gòu)建多層的prior。

從這里面可以看到，貝葉斯本身就是一個多層的，和深度學習的多層表示本質(zhì)是一樣的，只不過這里邊完全用概率的方式來刻畫。當然還有一些近似的方法，做一些empirical prior，通過數(shù)據(jù)估計出來。好處是計算相對比較簡單，不好的地方是多次用訓(xùn)練數(shù)據(jù)，會得到一些過擬合的問題。

我們?nèi)绾斡嬎惴e分？

我們前面已經(jīng)看到，不管是在最基本的貝葉斯運算或者是在多層先驗里面都會反復(fù)用到積分運算，這是在用貝葉斯方法時面臨的最討厭的事情，因為這里的積分不像我們學微積分時的那種一元或者二元簡單的積分運算，這里的積分可能是非常高維的積分。假設(shè)我們用一個線性模型，當特征100維時，我這個就是100維的積分，如果更高維的，比如說上千、上萬維，這個積分相應(yīng)更高維。這里面有很重要的計算問題，我怎么用數(shù)值的方法來算這個積分。這是在這種不確定性或者概率推理里邊要解決的主要目標。

近似貝葉斯推理

我用一頁PPT簡單給大家介紹了一下。因為積分非常難算，所以通常情況下會用一些近似，尤其是在機器學習里面，大家用的貝葉斯方法通常是一個近似的貝葉斯推理。

這里面我列舉了幾個比較常用的經(jīng)典近似貝葉斯推理的方法。

首先第一種，變分的方法。變分的基本原理是把一個要解的問題，通過引入一個變量變成一個優(yōu)化的問題。這樣做的好處是，你可以在優(yōu)化問題中引入一些約束，讓問題簡化，以達到快速求解的過程；但是也會帶來壞處，如果你的約束比較嚴格的話，近似的程度就會變差。

下面一種是非常通用而且理論上精確的方法，它是基于隨機模擬的，我們叫MCMC的方法，它是通過構(gòu)造一個隨機過程來逐漸逼近你要的分布，通過這個隨機過程不斷的采樣，達到刻畫目標分布的結(jié)果?，F(xiàn)在面臨的挑戰(zhàn)是：1）當數(shù)據(jù)比較多的時候，怎么去做這個計算；2）在高維空間里面怎么去做隨機的模擬；3）當我們的模型變得復(fù)雜的時候，比如最后會給大家講的深度產(chǎn)生式模型里邊有多層的隱含變量，像深度學習一樣，這種模型下我怎么還去做MCMC。這些挑戰(zhàn)同樣存在于變分近似方法里面，現(xiàn)在仍然是研究的熱點。還有一些相關(guān)的，比如像EP或者拉普拉斯近似，基本上可以理解為變分的一種特殊類別。

貝葉斯方法面臨的挑戰(zhàn)

其實我前面已經(jīng)給大家簡單講了一些，這個是我們的一個總結(jié)，如果想去做貝葉斯機器學習的話，基本面臨著幾個方面的問題。

第一點，是基本理論上的問題。我前面講的貝葉斯方法概念非常簡單，它的核心是貝葉斯定理。貝葉斯定理已經(jīng)250多年了，它存在一些自己的局限，我們怎么從基本信息處理準則的角度來重新理解它，去做更靈活的推理。

第二點，是關(guān)于計算方面的。有了模型、有了推理框架之后我怎么去做高效的計算、怎么做高精度的計算。

第三點，對不同場景怎么去做建模。將貝葉斯方法應(yīng)用到不同場景時，你要去理解你的問題，找到合適的模型。

我后面基本上圍繞這三個方面給大家講。第一個方面，給大家提出一種比較新的觀點來看經(jīng)典的貝葉斯定理，告訴大家怎么去擴展它的靈活性。第二個是關(guān)于Scalability，我怎么算比較快。最后一個，貝葉斯方法和深度學習怎么結(jié)合，既利用深度學習的好處又保持貝葉斯在概率建模和推理的能力。

KL散度

我們先從最基本的概念開始，可能大家學過模式識別或者信號處理，都會接觸過這個概念，叫KL散度，它描述兩個概率分布之間的差異有多大。

首先，我們可以通過優(yōu)化的方式重新審視貝葉斯推理。對任意一個分布我可以來做這件事情，這個是我們的目標P，我們可以找一個Q分布，它是一個well defined的分布，我可以通過最小化它們之間的KL，取最小值的時候兩個是相等的，這是非常簡單的道理。

我們可以把這個基本過程用到貝葉斯定理里。貝葉斯推理的目標是找到這個后驗分布，將它代入這個目標函數(shù)里，現(xiàn)在Q是我假設(shè)的分布。這樣，我們得到了一個優(yōu)化的問題。這是我們原來的貝葉斯定理，如果這個目標函數(shù)等于0的話，實際上Q等于我們想要的P（C/D）的后驗分布。目標函數(shù)的第一項是限制我們的后驗分布不能離先驗分布太遠，后面一項實際上是描述了對數(shù)據(jù)集的擬合程度。

這樣的話，我們獲得了一種新的角度來看貝葉斯推理在干嗎。有了這種新的理解之后，我們可以做的事情有很多。

貝葉斯定理作為一種信息處理準則

實際上，我們說貝葉斯定理或者貝葉斯推理是信息處理的一種準則。在信息論里，我們有一個通道，有輸入和輸出。在做貝葉斯推理時，我們的輸入是一個先驗分布和一個似然函數(shù)，輸出是一個后驗分布。有了這種觀點之后，我們可以做很多擴展。大家可以想，我的輸入、輸出可以保持不變，但我可以替換信息處理的準則。我可以把這里邊信息處理的準則拿掉，做的比經(jīng)典貝葉斯更加普適。

這種基于優(yōu)化的解釋，實際上在上世紀80年代就有統(tǒng)計學家提出過，E.T. Jaynes是比較有名的統(tǒng)計學家，對我們前面講的優(yōu)化解釋做了一些comments，它給經(jīng)典的貝葉斯提供了一個新穎（fresh）的解釋，可以讓貝葉斯方法更廣泛被應(yīng)用，而且可以激發(fā)（stimulate）新的發(fā)展。我們在2010年左右重新審視了這個思路，并依此為基礎(chǔ)又發(fā)展了一些更普適的貝葉斯推理準則，后面我會介紹。

上述優(yōu)化的觀點可以啟發(fā)我們把貝葉斯方法和基于風險最小化（risk-minimization）的機器學習框架有機結(jié)合。機器學習深入研究過risk-minimization以及相關(guān)的優(yōu)化工具，在我們的框架下可以融合貝葉斯推理，得到一個更靈活的信息處理準則。

學習目標

在機器學習和模式識別里，大家比較熟悉的是這個損失函數(shù)優(yōu)化問題。比如說，我要做分類，我要訓(xùn)練神經(jīng)網(wǎng)絡(luò)，第一項是一個損失函數(shù)，它度量了在訓(xùn)練集的錯誤率；第二項是我們想加的正則化項，目的是保護這個模型避免過擬合、避免發(fā)散，這是一個基本框架。這些東西在機器學習里基本上和貝葉斯是不搭邊的，不會和貝葉斯放在一起來討論。

還有一些，比如現(xiàn)在又引起大家很多關(guān)注的增強學習/在線學習，它的目標是優(yōu)化Regret/reward，也有一個目標函數(shù)來度量。那么，一個問題是這些傳統(tǒng)的方法能不能與貝葉斯有機融合？

先給大家看一個簡單的例子，是線性的SVM，它的目的是想找一個線性平面把不同類別區(qū)分開。

我們說有一個叫貝葉斯的SVM。

我們可以先簡單的把貝葉斯的思路套到SVM上來看發(fā)生了什么事。傳統(tǒng)的SVM是找一個決策面，按照一定的最優(yōu)準則來找。貝葉斯的思想是：我們可以有無窮多個決策面，但是每個決策面有一定的概率?？紤]這個簡單例子，設(shè)有有限多個可能決策面，如果隨機采樣的話，比如你采樣100次，這個藍色的線可能會出現(xiàn)30次，這個綠色的線可能出現(xiàn)5次，這個線可能出現(xiàn)15次。這里邊畫的幾條線，都可以把這幾個樣本分開。

假設(shè)這個分布是已經(jīng)知道的，我們怎么做分類判別。根據(jù)不同的判別準則，得到損失函數(shù)是不一樣的。比如：我現(xiàn)在來了這些打問號的測試樣本，我想問，那這些測試樣本到底屬于哪個類別？

因為這里面決策面是不確定的，我們可以有兩種策略來做判別。

一種是模型平均：先對這種模型做平均，在做判別。比如，我們可以取這個分布的均值，對應(yīng)于這個紅色的面（下圖中顏色較深的線），我可以用這個紅色平面來做判別，這是一種思路。它對應(yīng)的損失函數(shù)就可以像經(jīng)典的SVM一樣計算，因為取得平均之后就是一個決策面了，和我們傳統(tǒng)的問題一樣。

還有一種模型叫隨機模型，它實際上是這么做的：新來了一個測試樣本，我從后驗分布里面隨機采樣一個模型，比如對這個測試樣本我隨機采樣是這個紅色的線（下圖中顏色較深的線），然后用它來做判別。另外一個樣本來了之后，我再隨機采樣一次，可能采集的是這個。

下邊再來一個樣本，我再采樣一次，可能得到和第一次采樣一樣的決策面，然后用它來判別。

因為分類平面是隨機的，所以我還要去度量它的一個損失函數(shù)。所以，我們可以先假設(shè)這個分類面是固定的，做一個判別；然后對損失函數(shù)求期望。

放在一起來看一下。我們第一種策略是平均模型，第二個是隨機模型，這兩個在理論上有一些關(guān)系，這里我不細說了。我們有了這個loss函數(shù)之后，就可以直接進行優(yōu)化，這是從貝葉斯的角度做SVM的方法。。

有了上述問題之后，怎么去求解？對于第一種平均模型，可以通過用凸優(yōu)化的思路來求解。當模型是線性的，如果先驗是高斯，你的后驗分布還是一個高斯。這實際上退化到傳統(tǒng)的SVM。你還可以拓展，利用核方法來拓展非線性的模型，這都是可以的。

對于第二種，給定先驗，可以求出一般解。這里有一個問題，這個后驗分布通常沒有一個解析形式，所以大家研究怎么去做推理。這有一個比較好的方法，大家感興趣可以去看，用了統(tǒng)計里經(jīng)常用的數(shù)據(jù)增廣（data augmentation）。

它（數(shù)據(jù)增廣）的基本過程：原來這個分布不太好做，引入一個額外變量過來。它的條件是說，保證邊緣分布還是原來的分布。在這個聯(lián)合分布下你可以做吉布斯采樣，每一步都很簡單，比如：第一步可能是高斯，第二步也是某種標準分布。這樣可以不斷迭代進行采樣。具體細節(jié)，大家可以看Polson&Scott有一篇文章。

貝葉斯SVMs隱含變量

這種貝葉斯的觀點可以帶來一些額外的好處。跟深度學習中表示學習的思想一致，在貝葉斯SVM里，我們可以考慮隱含變量，也可以加很多層的隱含變量，來學這些隱變量的分布。在神經(jīng)網(wǎng)絡(luò)里可能學具體的取值，在概率模型里學分布，這是它們的一個差別。這里有一個典型的例子，叫主題模型，在文本分析里面用的比較多。

這是一個主題模型描述文本生成的一個過程。

它的基本假設(shè)是文檔是有若干主題刻畫的。假設(shè)這里有2個主題，大家從keyword里能看出來相應(yīng)的語義，比如：第一個是關(guān)于圖像，另一個是關(guān)于電力相關(guān)的東西。在第一個文檔里，我用顏色區(qū)分相應(yīng)的主題，比如說這里面的單詞以0.8的概率從第一個主題生成，相應(yīng)的， 0.2的概率從另一個主題生成。對于第二個文檔，混合分布是（0.3、0.7）。整個過程可以描述成一個非常經(jīng)典的層次貝葉斯方法。

這是它的圖模型，W是觀察到的文本里面的單詞，每個單詞對應(yīng)一個topic assignment。下面有一個混合概率，上面有一個先驗，這邊是我們要學的topic。它定義了這個聯(lián)合分布。

LDA非常經(jīng)典，2003年的一篇論文可能引了近2萬次，表明它在很多地方用。它有一個好處是可以代到很多復(fù)雜的模型里面。后期的工作基本上可以總結(jié)成有大概三個方面。一個是先驗，比如我要考慮主題之間的相關(guān)性，可以用非共軛的logistic-normal先驗分布。還可以做時間序列數(shù)據(jù)的分析，或者關(guān)系網(wǎng)絡(luò)數(shù)據(jù)的分析等。

這里給大家簡單看一個例子，如何將貝葉斯SVM用于主題模型。我們可以用同樣的原理，在主題模型上定義貝葉斯SVM分類器，通過最優(yōu)化目標函數(shù)，實現(xiàn)兩種功能：1）學習隱含主題；2）學習分類器。在定義分類器時，我們采用如前所述的兩種策略——平均模型和隨機模型，分別會得到相應(yīng)的模型。這是一些真實數(shù)據(jù)上的測試結(jié)果，能夠體現(xiàn)這種方法的有效性。

下面有一些特定的分析，可能有人會問，做后驗約束和在先驗上加約束會有什么差別？我現(xiàn)在告訴大家，在先驗上做的約束都可以在后驗上做，是我們的一個特例。另外，我們在后驗上做約束可以更靈活，也就是，有些后驗分布在經(jīng)典的方法得不到。

這是一個直觀的解釋。大家做貝葉斯方法，可以有各種的參數(shù)化、無參數(shù)化的貝葉斯模型，都是在這個平面里做的。我們做的事情實際上是增加了一個維度，它和之前的兩個維度是獨立的，因此，可以在這上面做很多事情。首先，可以把經(jīng)典的模型做到最大間隔學習，得到新的模型。其次，我們也可以把知識信息引入貝葉斯推理中。因此，我們可以形成一個有機的框架，包括知識、學習/推理、以及最下邊的統(tǒng)計建模。

這是第一部分，我想和大家分享的是：我們做貝葉斯方法，現(xiàn)在已經(jīng)不局限在經(jīng)典的貝葉斯框架，實際上有一些新的發(fā)展。

更多雷鋒網(wǎng)文章：

國產(chǎn)阿爾法狗"絕藝"晉升十段，騰訊AI在下一盤大棋？

百度首席科學家吳恩達：大腦能在一秒內(nèi)完成的任何工作，都會被AI取代

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。