雷鋒網(wǎng)按：本文作者章華燕，金橋智慧科技算法工程師，原文載于作者個(gè)人博客，雷鋒網(wǎng)已獲授權(quán)。

在機(jī)器學(xué)習(xí)任務(wù)中，我們經(jīng)常會(huì)遇到這種困擾：數(shù)據(jù)不平衡問(wèn)題。

數(shù)據(jù)不平衡問(wèn)題主要存在于有監(jiān)督機(jī)器學(xué)習(xí)任務(wù)中。當(dāng)遇到不平衡數(shù)據(jù)時(shí)，以總體分類(lèi)準(zhǔn)確率為學(xué)習(xí)目標(biāo)的傳統(tǒng)分類(lèi)算法會(huì)過(guò)多地關(guān)注多數(shù)類(lèi)，從而使得少數(shù)類(lèi)樣本的分類(lèi)性能下降。絕大多數(shù)常見(jiàn)的機(jī)器學(xué)習(xí)算法對(duì)于不平衡數(shù)據(jù)集都不能很好地工作。

本文介紹幾種有效的解決數(shù)據(jù)不平衡情況下有效訓(xùn)練有監(jiān)督算法的思路：

1、重新采樣訓(xùn)練集

可以使用不同的數(shù)據(jù)集。有兩種方法使不平衡的數(shù)據(jù)集來(lái)建立一個(gè)平衡的數(shù)據(jù)集——欠采樣和過(guò)采樣。

1.1. 欠采樣

欠采樣是通過(guò)減少豐富類(lèi)的大小來(lái)平衡數(shù)據(jù)集，當(dāng)數(shù)據(jù)量足夠時(shí)就該使用此方法。通過(guò)保存所有稀有類(lèi)樣本，并在豐富類(lèi)別中隨機(jī)選擇與稀有類(lèi)別樣本相等數(shù)量的樣本，可以檢索平衡的新數(shù)據(jù)集以進(jìn)一步建模。

1.2. 過(guò)采樣

相反，當(dāng)數(shù)據(jù)量不足時(shí)就應(yīng)該使用過(guò)采樣，它嘗試通過(guò)增加稀有樣本的數(shù)量來(lái)平衡數(shù)據(jù)集，而不是去除豐富類(lèi)別的樣本的數(shù)量。通過(guò)使用重復(fù)、自舉或合成少數(shù)類(lèi)過(guò)采樣等方法（SMOTE）來(lái)生成新的稀有樣品。

注意到欠采樣和過(guò)采樣這兩種方法相比而言，都沒(méi)有絕對(duì)的優(yōu)勢(shì)。這兩種方法的應(yīng)用取決于它適用的用例和數(shù)據(jù)集本身。另外將過(guò)采樣和欠采樣結(jié)合起來(lái)使用也是成功的。

2、使用K-fold交叉驗(yàn)證

值得注意的是，使用過(guò)采樣方法來(lái)解決不平衡問(wèn)題時(shí)應(yīng)適當(dāng)?shù)貞?yīng)用交叉驗(yàn)證。這是因?yàn)檫^(guò)采樣會(huì)觀察到罕見(jiàn)的樣本，并根據(jù)分布函數(shù)應(yīng)用自舉生成新的隨機(jī)數(shù)據(jù)，如果在過(guò)采樣之后應(yīng)用交叉驗(yàn)證，那么我們所做的就是將我們的模型過(guò)擬合于一個(gè)特定的人工引導(dǎo)結(jié)果。這就是為什么在過(guò)度采樣數(shù)據(jù)之前應(yīng)該始終進(jìn)行交叉驗(yàn)證，就像實(shí)現(xiàn)特征選擇一樣。只有重復(fù)采樣數(shù)據(jù)可以將隨機(jī)性引入到數(shù)據(jù)集中，以確保不會(huì)出現(xiàn)過(guò)擬合問(wèn)題。

K-fold交叉驗(yàn)證就是把原始數(shù)據(jù)隨機(jī)分成K個(gè)部分，在這K個(gè)部分中選擇一個(gè)作為測(cè)試數(shù)據(jù)，剩余的K-1個(gè)作為訓(xùn)練數(shù)據(jù)。交叉驗(yàn)證的過(guò)程實(shí)際上是將實(shí)驗(yàn)重復(fù)做K次，每次實(shí)驗(yàn)都從K個(gè)部分中選擇一個(gè)不同的部分作為測(cè)試數(shù)據(jù)，剩余的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，最后把得到的K個(gè)實(shí)驗(yàn)結(jié)果平均。

3、轉(zhuǎn)化為一分類(lèi)問(wèn)題

對(duì)于二分類(lèi)問(wèn)題，如果正負(fù)樣本分布比例極不平衡，我們可以換一個(gè)完全不同的角度來(lái)看待問(wèn)題：把它看做一分類(lèi)（One Class Learning）或異常檢測(cè)（Novelty Detection）問(wèn)題。這類(lèi)方法的重點(diǎn)不在于捕捉類(lèi)間的差別，而是為其中一類(lèi)進(jìn)行建模，經(jīng)典的工作包括One-class SVM等，如下圖所示：

One Class SVM 是指你的訓(xùn)練數(shù)據(jù)只有一類(lèi)正（或者負(fù)）樣本的數(shù)據(jù)， 而沒(méi)有另外的一類(lèi)。在這時(shí)，你需要學(xué)習(xí)的實(shí)際上你訓(xùn)練數(shù)據(jù)的邊界。而這時(shí)不能使用最大化軟邊緣了，因?yàn)槟銢](méi)有兩類(lèi)的數(shù)據(jù)。 所以呢，在這邊文章中，“Estimating the support of a high-dimensional distribution”， Sch?lkopf 假設(shè)最好的邊緣要遠(yuǎn)離特征空間中的原點(diǎn)。左邊是在原始空間中的邊界，可以看到有很多的邊界都符合要求，但是比較靠譜的是找一個(gè)比較緊的邊界（紅色的）。這個(gè)目標(biāo)轉(zhuǎn)換到特征空間就是找一個(gè)離原點(diǎn)比較遠(yuǎn)的邊界，同樣是紅色的直線。當(dāng)然這些約束條件都是人為加上去的，你可以按照你自己的需要采取相應(yīng)的約束條件。比如讓你data 的中心離原點(diǎn)最遠(yuǎn)。

說(shuō)明：對(duì)于正負(fù)樣本極不均勻的問(wèn)題，使用異常檢測(cè)，或者一分類(lèi)問(wèn)題，也是一個(gè)思路。

4、組合不同的重采樣數(shù)據(jù)集

成功泛化模型的最簡(jiǎn)單方法是使用更多的數(shù)據(jù)，問(wèn)題是像邏輯回歸或隨機(jī)森林這樣開(kāi)箱即用的分類(lèi)器，傾向于通過(guò)舍去稀有類(lèi)來(lái)泛化模型。一個(gè)簡(jiǎn)單的最佳實(shí)踐是建立n個(gè)模型，每個(gè)模型使用稀有類(lèi)別的所有樣本和豐富類(lèi)別的n個(gè)不同樣本。假設(shè)想要合并10個(gè)模型，那么將保留例如1000例稀有類(lèi)別，并隨機(jī)抽取10000例豐富類(lèi)別。然后，只需將10000個(gè)案例分成10塊，并訓(xùn)練10個(gè)不同的模型。

如果擁有大量數(shù)據(jù)，這種方法是簡(jiǎn)單并且是可橫向擴(kuò)展的，這是因?yàn)榭梢栽诓煌募汗?jié)點(diǎn)上訓(xùn)練和運(yùn)行模型。集合模型也趨于泛化，這使得該方法易于處理。

5、用不同比例重新采樣

方法4 可以很好地將稀有類(lèi)別和豐富類(lèi)別之間的比例進(jìn)行微調(diào)，最好的比例在很大程度上取決于所使用的數(shù)據(jù)和模型。但是，不是在整體中以相同的比例訓(xùn)練所有模型，所以值得嘗試合并不同的比例。如果10個(gè)模型被訓(xùn)練，有一個(gè)模型比例為1：1（稀有：豐富）和另一個(gè)1：3甚至是2：1的模型都是有意義的。一個(gè)類(lèi)別獲得的權(quán)重依賴(lài)于使用的模型。

6、多模型Bagging

方法5 雖然能夠選出最好的樣本數(shù)據(jù)比例。但是它的魯棒性不能夠保證：它的魯棒性取決于測(cè)試集樣本的選取。

為了解決上述方法的缺陷，增加模型魯棒性。為此，我本人在 隨機(jī)森林算法 思想的啟發(fā)下，想出了在上述方法的基礎(chǔ)上，將不同比例下訓(xùn)練出來(lái)的模型進(jìn)行 多模型Bagging 操作，具體的步驟如下：

1. 對(duì)兩類(lèi)樣本選取 N 組不同比例的數(shù)據(jù)進(jìn)行訓(xùn)練并測(cè)試，得出模型預(yù)測(cè)的準(zhǔn)確率： 

P={ P_i | i=1,2,...N }

2. 對(duì)上述各模型的準(zhǔn)確率進(jìn)行歸一化處理，得到新的權(quán)重分布：

Ω={ ω_i | i=1,2,...N }

其中：

3. 按權(quán)重分布 Ω 組合多個(gè)模型，作為最終的訓(xùn)練器：

● 對(duì)于分類(lèi)任務(wù)：

● 對(duì)于回歸任務(wù)：

7、集群豐富類(lèi)

Sergey Quora提出了一種優(yōu)雅的方法，他建議不要依賴(lài)隨機(jī)樣本來(lái)覆蓋訓(xùn)練樣本的種類(lèi)，而是將r個(gè)群體中豐富類(lèi)別進(jìn)行聚類(lèi)，其中r為r中的例數(shù)。每個(gè)組只保留集群中心（medoid）。然后，基于稀有類(lèi)和僅保留的類(lèi)別對(duì)該模型進(jìn)行訓(xùn)練。

7.1. 對(duì)豐富類(lèi)進(jìn)行聚類(lèi)操作

首先，我們可以對(duì)具有大量樣本的豐富類(lèi)進(jìn)行聚類(lèi)操作。假設(shè)我們使用的方法是 K-Means聚類(lèi)算法 。此時(shí)，我們可以選擇K值為稀有類(lèi)中的數(shù)據(jù)樣本的個(gè)數(shù)，并將聚類(lèi)后的中心點(diǎn)以及相應(yīng)的聚類(lèi)中心當(dāng)做富類(lèi)樣本的代表樣例，類(lèi)標(biāo)與富類(lèi)類(lèi)標(biāo)一致。

7.2. 聚類(lèi)后的樣本進(jìn)行有監(jiān)督學(xué)習(xí)

經(jīng)過(guò)上述步驟的聚類(lèi)操作，我們對(duì)富類(lèi)訓(xùn)練樣本進(jìn)行了篩選，接下來(lái)我們就可以將相等樣本數(shù)的K個(gè)正負(fù)樣本進(jìn)行有監(jiān)督訓(xùn)練。如下圖所示：

8、設(shè)計(jì)適用于不平衡數(shù)據(jù)集的模型

所有之前的方法都集中在數(shù)據(jù)上，并將模型保持為固定的組件。但事實(shí)上，如果設(shè)計(jì)的模型適用于不平衡數(shù)據(jù)，則不需要重新采樣數(shù)據(jù)，著名的XGBoost已經(jīng)是一個(gè)很好的起點(diǎn)，因此設(shè)計(jì)一個(gè)適用于不平衡數(shù)據(jù)集的模型也是很有意義的。

通過(guò)設(shè)計(jì)一個(gè)代價(jià)函數(shù)來(lái)懲罰稀有類(lèi)別的錯(cuò)誤分類(lèi)而不是分類(lèi)豐富類(lèi)別，可以設(shè)計(jì)出許多自然泛化為稀有類(lèi)別的模型。例如，調(diào)整SVM以懲罰稀有類(lèi)別的錯(cuò)誤分類(lèi)。

雷鋒網(wǎng)相關(guān)閱讀：

如果算法當(dāng)上總統(tǒng)，它會(huì)說(shuō)什么？

谷歌超分辨率技術(shù) RAISR ：模糊圖片瞬變高清，速度提升數(shù)十倍

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。