0
| 本文作者： 恒亮 | 2016-12-30 17:34 |
對開發(fā)者來說，目前有一系列的機器學習模型可供選擇。雷鋒網(wǎng)了解，可以用線性回歸模型預測具體的數(shù)值，用邏輯回歸模型對不同的運算結(jié)果進行歸類，以及用神經(jīng)網(wǎng)絡模型處理非線性的問題等等。
不論哪一種，當模型選定之后，下一步就是利用大量的現(xiàn)有數(shù)據(jù)對相關(guān)的機器學習算法進行訓練，探究既定的輸入數(shù)據(jù)和預想的輸出結(jié)果之間的內(nèi)在關(guān)系。但這時可能會出現(xiàn)一種情況：訓練結(jié)果能夠成功應用于原始輸入和輸出，可一旦有新的數(shù)據(jù)輸入就不行了。
或者說得更直白一點，應該怎樣評估一個機器學習模型是否真的行之有效呢？雷鋒網(wǎng)從偏差、方差、正確率和查全率等四個方面對這一問題展開了探討，并給出五條改進措施。
當我們評估一個機器學習模型時，首先要做的一件事就是：搞清楚這個模型的偏差和方差是否太大。
高偏差：如上圖1所示，所謂高偏差就是指在取樣點上模型的實際輸出和預想輸出不匹配，而且相差很遠。出現(xiàn)這一問題的原因是模型并沒有準確表征既定輸入和預想輸出之間的關(guān)系，從而造成輸出結(jié)果的高錯誤率。
高方差：這種情況與高偏差的情況正好相反。在這一場景中，所有的取樣點結(jié)果都與預期結(jié)果完全相符?？雌饋砟Ｐ偷墓ぷ鳡顟B(tài)完全正常，但其實隱藏著問題。這樣的情況往往容易被忽視，就好像上文提到的，模型能夠成功應用于原始輸入和輸出，但一旦輸入新數(shù)據(jù)，結(jié)果就會漏洞百出。
那么問題來了，如何排查一個模型是否具有高偏差或者高方差呢？
一個最直接的辦法就是對數(shù)據(jù)進行交叉驗證。常見的交叉驗證方法有很多，例如10折交叉驗證、Holdout驗證和留一驗證等。但總體思路是一樣的：拿出大部分的數(shù)據(jù)（例如70%）進行建模，留一小部分（例如30%）的數(shù)據(jù)作為樣本，用剛剛建立的模型進行測試，并評估測試結(jié)果。持續(xù)進行這一過程，直到所有的樣本數(shù)據(jù)都恰好被預測了一次為止。
經(jīng)過交叉驗證，就可以很方便地排查一個模型的偏差和方差情況。當建模數(shù)據(jù)和測試數(shù)據(jù)的輸出結(jié)果都出現(xiàn)與預期結(jié)果的不匹配時，那就說明模型的偏差較大。反之，如果建模數(shù)據(jù)表現(xiàn)正常，而測試數(shù)據(jù)存在不匹配，那就說明模型的方差較大。同時，如果建模數(shù)據(jù)和測試數(shù)據(jù)的輸出結(jié)果都與預期結(jié)果相匹配，那么就證明這一模型順利通過了交叉驗證，在偏差和方差之間找到了一個很好的平衡點。
不過，即使偏差和方差都表現(xiàn)正常，一個機器學習模型也不一定就能正常工作，因為還可能受到其他因素的影響，例如正確率和查全率。
這里可以用垃圾郵件篩選的例子來說明什么是正確率和查全率。在一般情況下，我們收到的大約99%的郵件都是正常郵件，而只有1%是垃圾郵件（這里不妨稱“垃圾郵件”為正向判斷，而“正常郵件”為反向判斷，后續(xù)會用到）。而如果一個機器學習模型被以類似這樣分布的數(shù)據(jù)進行訓練，那么其訓練結(jié)果很可能是：機器的判定結(jié)果有99%都是正確的，雖然正確率很高，但其中也一定漏掉了那1%的垃圾郵件（這顯然不是我們想要的結(jié)果）。
在這種情況下，最適于利用正確率和查全率來評估一個模型是否真的行之有效。
如圖所示，所謂正確率是指所有正向判斷中，最終判斷正確的比例。計算方法是用正向判斷中正確的次數(shù)除以所有正向判斷的次數(shù)。而查全率是指正向判斷中正確的次數(shù)，占實際正向結(jié)果的比例。計算方法是用正向判斷中正確的次數(shù)，除以正向判斷中正確的次數(shù)與反向判斷中錯誤的次數(shù)之和。
乍一看似乎有點拗口，這里用具體的數(shù)字解釋一下。例如一個模型一共做了2次正向判斷，其中1次是正確的，10次反向判斷，其中8次是正確的。如果用郵件的例子來看，也就意味著系統(tǒng)一共收到了12封郵件，其中9封是正常郵件，3封是垃圾郵件。那么其正確率就是1/2=50%，而查全率就是1/3=33%。
可以看到，正確率反應了一個模型的預測準確度，而查全率反應了一個模型的實際應用效果。一個機器學習模型的設計目標應該是在正確率和查全率中找到一種平衡，一方面努力增加正向判斷中正確的次數(shù)，一方面減小反向判斷中錯誤的次數(shù)。
根據(jù)以上內(nèi)容，在面對偏差和方差，正確率和查全率的相關(guān)問題時，有以下5點意見可供參考。
當模型出現(xiàn)高偏差時，嘗試增加輸入特征的個數(shù)。如上文討論的，當建模數(shù)據(jù)和測試數(shù)據(jù)的輸出結(jié)果都出現(xiàn)與預期結(jié)果的不匹配時，那就說明模型的偏差較大。根據(jù)一般的模型輸入特征和預測錯誤之間的關(guān)系圖表可以看出（如上圖所示），隨著輸入特征的增加，偏差會顯著減小。
反之，當模型出現(xiàn)高方差時（也即出現(xiàn)了過耦合），這時可以嘗試減少輸入特征的個數(shù)。從圖表中也可以看出，當輸入特征進一步增加時，雖然建模數(shù)據(jù)的錯誤會越來越少，但測試數(shù)據(jù)的錯誤會越來越多。因此，輸入特征并不能無限制地增加，在高方差的情況下嘗試減少輸入特征的個數(shù)，可以找到二者之間的平衡。
另外，通過增加訓練用例的個數(shù)也可以顯著減少高方差的出現(xiàn)。因為隨著測試用例的增加，模型的通用性也就越好，能應對更多變的數(shù)據(jù)，也即方差越小。
當正確率較低時，嘗試增加概率閾值。如上圖所示，劃分正向判斷和反向判斷的概率閾值與正確率和查全率之間關(guān)系密切。隨著閾值的增加，模型對正向的判斷也就越保守，正確率也就越高。
反之，當出現(xiàn)較低的查全率時，可以嘗試減小概率閾值。因為概率閾值的減小意味著模型會做出更多的正向判斷，正向判斷的次數(shù)多了，查全率就會跟著提升。
總之，經(jīng)歷的迭代和調(diào)試越多，就越可能找到偏差和方差、正確率和查全率之間的平衡，也就越可能找到一個行之有效的機器學習模型。
來源：kdnuggets ，由雷鋒網(wǎng)編譯
【兼職召集令！】
如果你對未來充滿憧憬，喜歡探索改變世界的科技進展，look no further！
我們需要這樣的你：
精通英語，對技術(shù)與產(chǎn)品感興趣，關(guān)注人工智能學術(shù)動態(tài)的蘿莉&萌妹子&技術(shù)宅；
文字不求妙筆生花，但希望通俗易懂；
在這里，你會收獲：
一群來自天南地北、志同道合的小伙伴；
前沿學術(shù)科技動態(tài)，每天為自己充充電；
更高的生活品質(zhì)，翻翻文章就能掙到零花錢；
有意向的小伙伴們把個人介紹/簡歷發(fā)至 guoyixin@leiphone.com，如有作品，歡迎一并附上。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
