8
| 本文作者： 奕欣 | 2017-01-11 09:39 |
雷鋒網(wǎng)按：不少人都在機(jī)器學(xué)習(xí)的過程中聽說過貝葉斯分類器，但它是如何與機(jī)器學(xué)習(xí)建立聯(lián)系的？作者Zygmunt Zaj?c 提供了一些基礎(chǔ)概念，雷鋒網(wǎng)也嘗試對(duì)其中的一些概念進(jìn)行簡(jiǎn)化說明，讓小白們也能容易地理解貝葉斯在機(jī)器學(xué)習(xí)中所起的作用。
簡(jiǎn)單說來，貝葉斯學(xué)派認(rèn)為，概率是一個(gè)人對(duì)于一件事的信念強(qiáng)度，概率是主觀的。
但頻率主義學(xué)派所持的是不同的觀念：他們認(rèn)為參數(shù)是客觀存在的， 即使是未知的，但都是固定值，不會(huì)改變。
雷鋒網(wǎng)參閱了一些資料，嘗試以我們以前課堂上所學(xué)的概率論來解釋一下，頻率學(xué)派認(rèn)為進(jìn)行一定數(shù)量的重復(fù)實(shí)驗(yàn)后，如果出現(xiàn)某個(gè)現(xiàn)象的次數(shù)與總次數(shù)趨于某個(gè)值，那么這個(gè)比值就會(huì)傾向于固定。最簡(jiǎn)單的例子就是拋硬幣了，在理想情況下，我們知道拋硬幣正面朝上的概率會(huì)趨向于1/2。
非常好理解不是么？但貝葉斯提出了一種截然不同的觀念，他認(rèn)為概率不應(yīng)該這么簡(jiǎn)單地計(jì)算，而需要加入先驗(yàn)概率的考慮。
先驗(yàn)概率也就是說，我們先設(shè)定一個(gè)假設(shè)（或信念，belief）。然后我們通過一定的實(shí)驗(yàn)來證明/推翻這個(gè)假設(shè)，這就是后驗(yàn)。隨后，舊的后驗(yàn)會(huì)成為一個(gè)新的先驗(yàn)，如此重復(fù)下去。而歸根結(jié)底，就得到了這樣一個(gè)著名的公式：
P( A | B ) = P( B | A ) * P( A ) / P( B )
（A | B表示A給定B的概率，也就是說，如果B發(fā)生，A發(fā)生的可能性有多大。反之亦然。）
在貝葉斯機(jī)器學(xué)習(xí)中，我們同樣采用貝葉斯公式從 data（D）中推導(dǎo)模型參數(shù)（θ）。
P(θ|D) = P(D|θ) * P(θ) / P(data)
值得說明的是，P（data）在通常情況下無法被計(jì)算，但這并不會(huì)帶來什么問題。因?yàn)槲覀冊(cè)谕茖?dǎo)及求解的過程中，最重要的還是那些含有θ的表達(dá)式，而 P（data）到底是多少，其實(shí)并不需要真的求出來。
P(θ) 為先驗(yàn)概率，也就是我們對(duì)樣本空間中各類樣本所占比例的可能性推測(cè)。通常我們認(rèn)為，當(dāng)訓(xùn)練集包含重組的獨(dú)立同分步樣本時(shí)，P(θ) 可通過各類樣本出現(xiàn)的頻率進(jìn)行判斷。關(guān)于先驗(yàn)的其它知識(shí)，可以參考 Where priors come from 的介紹。
P(D|θ) 是樣本 D 相對(duì)于類標(biāo)記θ的類條件概率，也就是我們理解的「似然」。人們經(jīng)常會(huì)使用可能性來評(píng)估模型，如果對(duì)實(shí)際數(shù)據(jù)能做出更高可能性的預(yù)測(cè)，那么這個(gè)模型自然更為有效。
那么，等式左邊的 P(θ|D) 就是我們最終想得到的東西，也就是基于先驗(yàn)概率與數(shù)據(jù)所獲得的模型參數(shù)所呈現(xiàn)的概率分布。
如果能通過數(shù)據(jù)采樣來估計(jì)概率分布參數(shù)，最經(jīng)典的方法就是最大似然估計(jì)（maximum-likelihood estimation，MLE），也就是我們所說的極大似然法。而如果將先驗(yàn)考慮在內(nèi)，那么就是最大后驗(yàn)概率（MAP）。如果在先驗(yàn)均勻分布的情況下，這兩者應(yīng)該相同。
我們先將貝葉斯方法分為兩類：一為統(tǒng)計(jì)建模，另一個(gè)為概率機(jī)器學(xué)習(xí)。后者包括了所謂的非參數(shù)方法。
建模通常在數(shù)據(jù)稀缺且難以獲得時(shí)得以應(yīng)用，比如在社會(huì)科學(xué)和其它難以進(jìn)行大規(guī)模對(duì)照實(shí)驗(yàn)的環(huán)境中。想象一下，如果一個(gè)數(shù)據(jù)學(xué)家手頭只擁有少量的數(shù)據(jù)，那么他會(huì)不遺余力地對(duì)算法進(jìn)行調(diào)整，以期讓每個(gè)數(shù)據(jù)都發(fā)揮最大的功用。
此外，對(duì)于小數(shù)據(jù)而言，最重要的是量化不確定性，這也正是貝葉斯方法所擅長(zhǎng)的。而貝葉斯方法——尤其是 MCMC——通常計(jì)算量巨大，這又與小數(shù)據(jù)是共存的。
在名為《Data Analysis Using Regression Analysis and Multilevel/Hierarchical Models》的書中，介紹了從一個(gè)沒有預(yù)測(cè)變量的線性模型開始，不斷增加到 11 個(gè)預(yù)測(cè)變量的情況并進(jìn)行討論。這種勞動(dòng)密集性模式實(shí)際上與我們的機(jī)器學(xué)習(xí)方向背道而馳，我們還是希望能使用數(shù)據(jù)，讓計(jì)算機(jī)自動(dòng)學(xué)習(xí)。
我們現(xiàn)在嘗試把“概率”一詞替換“貝葉斯”。從這個(gè)角度而言，它與其它分類方法并沒有區(qū)別。如果從分類考慮，大多數(shù)分類器都能夠輸出概率預(yù)測(cè)，比如最經(jīng)典的SVM（支持變量機(jī)）。但需要指出的是，這些概率只是源于分類器的信念陳述，而它們是否符合真實(shí)的概率則完全是另一回事了，這也就是所謂的校準(zhǔn)（calibration）。
接下來我們要說說貝葉斯非參數(shù)模型的一些內(nèi)容，顧名思義，這個(gè)名字代表著模型中的參數(shù)數(shù)量可以隨著數(shù)據(jù)的增大或減少而自適應(yīng)模型的變化。這與SVM有些相似，它能在訓(xùn)練點(diǎn)中選擇支持向量，而貝葉斯非參數(shù)模型也能根據(jù)數(shù)據(jù)多少來選擇參數(shù)確定模型。比較流行的貝葉斯非參數(shù)模型包括高斯回歸過程，還有隱含狄里克雷分布（LDA）。
高斯回歸過程有點(diǎn)類似于 SVM——采用內(nèi)核并具有類似的可伸縮性。其最大的特點(diǎn)在于回歸特性，分類做為事后的判斷，而對(duì)于 SVM 而言，這個(gè)過程是相反的。
此外，GP 是從頭開始進(jìn)行概率判斷，而 SVM 不是。大多數(shù)的常規(guī)方法只提供數(shù)據(jù)點(diǎn)估計(jì)，而貝葉斯非參數(shù)模型則會(huì)輸出不確定性估計(jì)。
不過，「悲劇」還沒有結(jié)束，像 GP 這樣的復(fù)雜方法通常在假設(shè)均勻的情況下操作，而實(shí)際上，噪聲實(shí)際上可能出現(xiàn)于輸入空間（異方差）上。
高斯回歸過程的流行主要應(yīng)用于機(jī)器學(xué)習(xí)算法的超參數(shù)優(yōu)化上。數(shù)據(jù)非常小，也只有幾個(gè)參數(shù)需要調(diào)整。
Latent Dirichlet Allocation（LDA）是一種非監(jiān)督機(jī)器學(xué)習(xí)技術(shù)，可以用來識(shí)別大規(guī)模文檔集（document collection）或語料庫（corpus）中潛藏的主題信息。
對(duì)于語料庫中的每篇文檔，LDA定義了如下生成過程（generativeprocess）：
1.對(duì)每一篇文檔，從主題分布中抽取一個(gè)主題；
2.從上述被抽到的主題所對(duì)應(yīng)的單詞分布中抽取一個(gè)單詞；
3.重復(fù)上述過程直至遍歷文檔中的每一個(gè)單詞。
至于軟件，Stan 可以說是貝葉斯最為知名的概率性編程語言，它能夠根據(jù)你的指定訓(xùn)練你想要的貝葉斯模型，能用 Python、R 或其它語言編寫，不過現(xiàn)在 Stan 有了一個(gè)叫 NUTS（No-U-Turn Sampler）的現(xiàn)代采樣器，它能夠得到比靜態(tài) HMC 更高的計(jì)算效率。
Stan 的另一個(gè)有趣的地方在于它能自動(dòng)變分推理。
變分推理是用于近似貝葉斯推理的可縮放技術(shù)。推導(dǎo)變分推理算法需要繁瑣的模型特定計(jì)算，而自動(dòng)變分推理（ADVI）算法能夠?yàn)橹行蛿?shù)據(jù)應(yīng)用于小型建模鋪平道路。
而在 Python 中，最為有名的是 PyMC。它并非是最先進(jìn)的一個(gè)，也沒有經(jīng)常進(jìn)行優(yōu)化或迭代，但它的效果也很不錯(cuò)。
Infer.NET 是微軟的概率編程庫，它主要由 C# 或 F# 等語言提供，但也能從.NET 的 IronPython 中調(diào)用。
此外，還有 CrossCat 等用于分析高維數(shù)據(jù)表領(lǐng)域通用的貝葉斯方法。
如果你想了解下你剛剛所學(xué)的知識(shí)，可了解下 Radford Neal 的《Bayesian Methods for Machine Learning》。
此外還可以看看 Kruschke 的《Doing Bayesian Data Analysis》，它被視為最易讀的貝葉斯數(shù)據(jù)分析讀物，作者對(duì)建模的內(nèi)容做出了詳細(xì)闡述。
基于同樣內(nèi)容的《Statistical rethinking》出版年代更新，加入了 R 語言的 Stan 實(shí)例。此外作者 Richard McElreath 也在 Youtube 上發(fā)布了一系列課程，可以點(diǎn)擊此處查看。
而如果你不想只局限于線性模型的話，Cam Davidson-Pylon 的《Probabilistic Programming & Bayesian Methods for Hackers》覆蓋了貝葉斯的部分。Alex Etz 的《understanding Bayes》也可以讀讀。
對(duì)于數(shù)學(xué)愛好者，Kevin Murphy 的《Machine Learning: a Probabilistic Perspective》是一本不可多得的讀物，如果對(duì)模式識(shí)別是真愛的話，可以看下《Pattern Recognition and Machine Learning》。
David Barber 的《Bayesian Reasoning and Machine Learning》目前在網(wǎng)上已經(jīng)有免費(fèi)電子版，最近也非常流行，主要討論了機(jī)器學(xué)習(xí)的高斯過程。
據(jù)雷鋒網(wǎng)所了解的是，目前貝葉斯機(jī)器學(xué)習(xí)還沒有 MOOC 課程，但 mathematicalmonk 頻道的機(jī)器學(xué)習(xí)視頻有對(duì)貝葉斯進(jìn)行介紹。
Stan 也有一個(gè)通用手冊(cè)，另外 PyMC 的引導(dǎo)書上也有不少例子。
關(guān)于貝葉斯與機(jī)器學(xué)習(xí)的一切，雷鋒網(wǎng)就為大家介紹到這里，所提供的資源也可能無法完全覆蓋現(xiàn)在所有的優(yōu)秀讀物，如果你有更好的建議，歡迎與雷鋒網(wǎng)交流討論。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
