對(duì)開(kāi)發(fā)者來(lái)說(shuō)，目前有一系列的機(jī)器學(xué)習(xí)模型可供選擇。雷鋒網(wǎng)了解，可以用線性回歸模型預(yù)測(cè)具體的數(shù)值，用邏輯回歸模型對(duì)不同的運(yùn)算結(jié)果進(jìn)行歸類(lèi)，以及用神經(jīng)網(wǎng)絡(luò)模型處理非線性的問(wèn)題等等。

不論哪一種，當(dāng)模型選定之后，下一步就是利用大量的現(xiàn)有數(shù)據(jù)對(duì)相關(guān)的機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練，探究既定的輸入數(shù)據(jù)和預(yù)想的輸出結(jié)果之間的內(nèi)在關(guān)系。但這時(shí)可能會(huì)出現(xiàn)一種情況：訓(xùn)練結(jié)果能夠成功應(yīng)用于原始輸入和輸出，可一旦有新的數(shù)據(jù)輸入就不行了。

或者說(shuō)得更直白一點(diǎn)，應(yīng)該怎樣評(píng)估一個(gè)機(jī)器學(xué)習(xí)模型是否真的行之有效呢？雷鋒網(wǎng)從偏差、方差、正確率和查全率等四個(gè)方面對(duì)這一問(wèn)題展開(kāi)了探討，并給出五條改進(jìn)措施。

  高偏差或高方差（High Bias or High Variance）

當(dāng)我們?cè)u(píng)估一個(gè)機(jī)器學(xué)習(xí)模型時(shí)，首先要做的一件事就是：搞清楚這個(gè)模型的偏差和方差是否太大。

高偏差：如上圖1所示，所謂高偏差就是指在取樣點(diǎn)上模型的實(shí)際輸出和預(yù)想輸出不匹配，而且相差很遠(yuǎn)。出現(xiàn)這一問(wèn)題的原因是模型并沒(méi)有準(zhǔn)確表征既定輸入和預(yù)想輸出之間的關(guān)系，從而造成輸出結(jié)果的高錯(cuò)誤率。

高方差：這種情況與高偏差的情況正好相反。在這一場(chǎng)景中，所有的取樣點(diǎn)結(jié)果都與預(yù)期結(jié)果完全相符。看起來(lái)模型的工作狀態(tài)完全正常，但其實(shí)隱藏著問(wèn)題。這樣的情況往往容易被忽視，就好像上文提到的，模型能夠成功應(yīng)用于原始輸入和輸出，但一旦輸入新數(shù)據(jù)，結(jié)果就會(huì)漏洞百出。

那么問(wèn)題來(lái)了，如何排查一個(gè)模型是否具有高偏差或者高方差呢？

一個(gè)最直接的辦法就是對(duì)數(shù)據(jù)進(jìn)行交叉驗(yàn)證。常見(jiàn)的交叉驗(yàn)證方法有很多，例如10折交叉驗(yàn)證、Holdout驗(yàn)證和留一驗(yàn)證等。但總體思路是一樣的：拿出大部分的數(shù)據(jù)（例如70%）進(jìn)行建模，留一小部分（例如30%）的數(shù)據(jù)作為樣本，用剛剛建立的模型進(jìn)行測(cè)試，并評(píng)估測(cè)試結(jié)果。持續(xù)進(jìn)行這一過(guò)程，直到所有的樣本數(shù)據(jù)都恰好被預(yù)測(cè)了一次為止。

經(jīng)過(guò)交叉驗(yàn)證，就可以很方便地排查一個(gè)模型的偏差和方差情況。當(dāng)建模數(shù)據(jù)和測(cè)試數(shù)據(jù)的輸出結(jié)果都出現(xiàn)與預(yù)期結(jié)果的不匹配時(shí)，那就說(shuō)明模型的偏差較大。反之，如果建模數(shù)據(jù)表現(xiàn)正常，而測(cè)試數(shù)據(jù)存在不匹配，那就說(shuō)明模型的方差較大。同時(shí)，如果建模數(shù)據(jù)和測(cè)試數(shù)據(jù)的輸出結(jié)果都與預(yù)期結(jié)果相匹配，那么就證明這一模型順利通過(guò)了交叉驗(yàn)證，在偏差和方差之間找到了一個(gè)很好的平衡點(diǎn)。

不過(guò)，即使偏差和方差都表現(xiàn)正常，一個(gè)機(jī)器學(xué)習(xí)模型也不一定就能正常工作，因?yàn)檫€可能受到其他因素的影響，例如正確率和查全率。

  低正確率或低查全率（Low Precision or Low Recall）

這里可以用垃圾郵件篩選的例子來(lái)說(shuō)明什么是正確率和查全率。在一般情況下，我們收到的大約99%的郵件都是正常郵件，而只有1%是垃圾郵件（這里不妨稱“垃圾郵件”為正向判斷，而“正常郵件”為反向判斷，后續(xù)會(huì)用到）。而如果一個(gè)機(jī)器學(xué)習(xí)模型被以類(lèi)似這樣分布的數(shù)據(jù)進(jìn)行訓(xùn)練，那么其訓(xùn)練結(jié)果很可能是：機(jī)器的判定結(jié)果有99%都是正確的，雖然正確率很高，但其中也一定漏掉了那1%的垃圾郵件（這顯然不是我們想要的結(jié)果）。

在這種情況下，最適于利用正確率和查全率來(lái)評(píng)估一個(gè)模型是否真的行之有效。

如圖所示，所謂正確率是指所有正向判斷中，最終判斷正確的比例。計(jì)算方法是用正向判斷中正確的次數(shù)除以所有正向判斷的次數(shù)。而查全率是指正向判斷中正確的次數(shù)，占實(shí)際正向結(jié)果的比例。計(jì)算方法是用正向判斷中正確的次數(shù)，除以正向判斷中正確的次數(shù)與反向判斷中錯(cuò)誤的次數(shù)之和。

乍一看似乎有點(diǎn)拗口，這里用具體的數(shù)字解釋一下。例如一個(gè)模型一共做了2次正向判斷，其中1次是正確的，10次反向判斷，其中8次是正確的。如果用郵件的例子來(lái)看，也就意味著系統(tǒng)一共收到了12封郵件，其中9封是正常郵件，3封是垃圾郵件。那么其正確率就是1/2=50%，而查全率就是1/3=33%。

可以看到，正確率反應(yīng)了一個(gè)模型的預(yù)測(cè)準(zhǔn)確度，而查全率反應(yīng)了一個(gè)模型的實(shí)際應(yīng)用效果。一個(gè)機(jī)器學(xué)習(xí)模型的設(shè)計(jì)目標(biāo)應(yīng)該是在正確率和查全率中找到一種平衡，一方面努力增加正向判斷中正確的次數(shù)，一方面減小反向判斷中錯(cuò)誤的次數(shù)。

  五條改進(jìn)措施

根據(jù)以上內(nèi)容，在面對(duì)偏差和方差，正確率和查全率的相關(guān)問(wèn)題時(shí)，有以下5點(diǎn)意見(jiàn)可供參考。

1. 當(dāng)模型出現(xiàn)高偏差時(shí)，嘗試增加輸入特征的個(gè)數(shù)。如上文討論的，當(dāng)建模數(shù)據(jù)和測(cè)試數(shù)據(jù)的輸出結(jié)果都出現(xiàn)與預(yù)期結(jié)果的不匹配時(shí)，那就說(shuō)明模型的偏差較大。根據(jù)一般的模型輸入特征和預(yù)測(cè)錯(cuò)誤之間的關(guān)系圖表可以看出（如上圖所示），隨著輸入特征的增加，偏差會(huì)顯著減小。

2.  反之，當(dāng)模型出現(xiàn)高方差時(shí)（也即出現(xiàn)了過(guò)耦合），這時(shí)可以嘗試減少輸入特征的個(gè)數(shù)。從圖表中也可以看出，當(dāng)輸入特征進(jìn)一步增加時(shí)，雖然建模數(shù)據(jù)的錯(cuò)誤會(huì)越來(lái)越少，但測(cè)試數(shù)據(jù)的錯(cuò)誤會(huì)越來(lái)越多。因此，輸入特征并不能無(wú)限制地增加，在高方差的情況下嘗試減少輸入特征的個(gè)數(shù)，可以找到二者之間的平衡。

3.  另外，通過(guò)增加訓(xùn)練用例的個(gè)數(shù)也可以顯著減少高方差的出現(xiàn)。因?yàn)殡S著測(cè)試用例的增加，模型的通用性也就越好，能應(yīng)對(duì)更多變的數(shù)據(jù)，也即方差越小。

4. 當(dāng)正確率較低時(shí)，嘗試增加概率閾值。如上圖所示，劃分正向判斷和反向判斷的概率閾值與正確率和查全率之間關(guān)系密切。隨著閾值的增加，模型對(duì)正向的判斷也就越保守，正確率也就越高。

5. 反之，當(dāng)出現(xiàn)較低的查全率時(shí)，可以嘗試減小概率閾值。因?yàn)楦怕书撝档臏p小意味著模型會(huì)做出更多的正向判斷，正向判斷的次數(shù)多了，查全率就會(huì)跟著提升。

總之，經(jīng)歷的迭代和調(diào)試越多，就越可能找到偏差和方差、正確率和查全率之間的平衡，也就越可能找到一個(gè)行之有效的機(jī)器學(xué)習(xí)模型。

來(lái)源：kdnuggets ，由雷鋒網(wǎng)編譯

【兼職召集令！】

如果你對(duì)未來(lái)充滿憧憬，喜歡探索改變世界的科技進(jìn)展，look no further！

我們需要這樣的你：

精通英語(yǔ)，對(duì)技術(shù)與產(chǎn)品感興趣，關(guān)注人工智能學(xué)術(shù)動(dòng)態(tài)的蘿莉&萌妹子&技術(shù)宅；

文字不求妙筆生花，但希望通俗易懂；

在這里，你會(huì)收獲：

一群來(lái)自天南地北、志同道合的小伙伴；

前沿學(xué)術(shù)科技動(dòng)態(tài)，每天為自己充充電；

更高的生活品質(zhì)，翻翻文章就能掙到零花錢(qián)；

有意向的小伙伴們把個(gè)人介紹/簡(jiǎn)歷發(fā)至 guoyixin@leiphone.com，如有作品，歡迎一并附上。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。