0
雷鋒網(wǎng)按：本文作者 filwaline，原載于作者知乎專欄，雷鋒網(wǎng)已獲授權(quán)。
機(jī)器學(xué)習(xí)最明顯的一個(gè)特點(diǎn)是需要大量的數(shù)據(jù)。特別對監(jiān)督學(xué)習(xí)來說，就是需要大量的帶標(biāo)簽數(shù)據(jù)（labeled data）。
很多入門的朋友很快就會(huì)遇見模型訓(xùn)練和測試這兩個(gè)階段，進(jìn)而也就了解到帶標(biāo)簽數(shù)據(jù)是要被劃分成兩個(gè)部分的：訓(xùn)練集(training set)與測試集(test set)。這兩個(gè)概念也很直觀，大部分朋友非常快就能接受。
可是到后面，在我們需要為機(jī)器學(xué)習(xí)模型調(diào)參的時(shí)候，半路殺出來了個(gè)交叉驗(yàn)證(cross validation)階段，這個(gè)對應(yīng)的數(shù)據(jù)集也有個(gè)名字，叫做驗(yàn)證集(validation set)。
據(jù)我觀察，很多入門機(jī)器學(xué)習(xí)的朋友在這個(gè)時(shí)候就會(huì)感到一頭霧水，并且非常困惑：咋又冒出來了個(gè)驗(yàn)證集??？我們不是有個(gè)測試集了嗎？直接在那上面做實(shí)驗(yàn)不就好了么？又劃分多一個(gè)數(shù)據(jù)集，那就使得能用于訓(xùn)練和測試的數(shù)據(jù)都變少了，驗(yàn)證集是那方神圣啊？...
這里我給你們來個(gè)非常形象的類比！別眨眼！
訓(xùn)練集 → 題解大全
驗(yàn)證集 → 模擬考試
測試集 → 高考！
是不是非常形象易懂呢？（得意臉）
呃？搞不懂為什么是這樣的對應(yīng)關(guān)系？別急我還沒說完呢。
機(jī)器學(xué)習(xí)算法是個(gè)笨學(xué)生，他沒法直接從人類教師那里學(xué)會(huì)抽象的概念，于是唯一有效的策略就是天賦不足勤來補(bǔ)：玩命刷題！ 想想看帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，是不是很像你平時(shí)做的習(xí)題冊呢？ 數(shù)據(jù)本身是題目，標(biāo)簽是正確答案。所以機(jī)器學(xué)習(xí)算法能夠通過大量做題來學(xué)會(huì)抽象概念（但是這個(gè)傻孩子實(shí)際上只學(xué)會(huì)了怎么解答與特定抽象概念相關(guān)的問題）。
你說你學(xué)會(huì)了東西，但空口無憑啊，你得通過考試來證明自己！于是就有了測試集。測試集相當(dāng)于考試的原因是，你只能看到題目（數(shù)據(jù)）而無法得知答案（標(biāo)簽）。你只能在交卷之后等老師給你打分。
于是就有朋友發(fā)問了：“那我一遍一遍考試來證明自己不就好？我大學(xué)掛科補(bǔ)考還少么？”。首先心疼你一秒鐘。然后請你思考這個(gè)問題，如果那場考試是高考怎么辦？你耗得起嗎？
所以我們需要模擬考試，也就是驗(yàn)證集。我們可以獲得驗(yàn)證集的標(biāo)簽，但是我們假裝得不到，讓自己以考試的心態(tài)去面對，過后也就能通過自己對答案來了解自己到底學(xué)會(huì)了多少，而這種幾乎沒有成本的考試我們想進(jìn)行多少次都行！這就是驗(yàn)證集存在的意義！你的模型只能在測試集上面跑一次，一考定終身！
我們需要驗(yàn)證集的真正原因是：防止機(jī)器學(xué)習(xí)算法作弊！我們訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型不是為了讓它在那有限的帶標(biāo)簽數(shù)據(jù) high 個(gè)夠，而是要將模型應(yīng)用于真實(shí)世界。絕大多數(shù)情況下，我們無法直接從真實(shí)世界獲得答案，我們能收集到的數(shù)據(jù)是沒有標(biāo)簽的裸數(shù)據(jù)，我們需要高效準(zhǔn)確的機(jī)器學(xué)習(xí)模型為我們提供答案。不能直接使用測試集不是因?yàn)槲覀冐?fù)擔(dān)不起在測試集上跑模型的成本（事實(shí)上幾乎為0），而是因?yàn)槲覀儾荒苄孤稖y試集的信息。試想一下，假如你搞到了真正的高考題和答案，你一遍又一遍地去做這套題目，會(huì)發(fā)生什么？也許你會(huì)成為高考狀元，可是你真的學(xué)會(huì)這些知識(shí)了嗎？你能夠再去做一套高考題并且拿高分嗎？你能夠去當(dāng)家教向?qū)W弟學(xué)妹傳授你的知識(shí)和解答他們的問題嗎？ 偷窺到了測試集的機(jī)器學(xué)習(xí)模型就是廢品，沒有人需要它，它也做不了任何有用的事情。
切記，你的機(jī)器學(xué)習(xí)模型只能在測試集上跑一次，一考定終身！
切記，你的機(jī)器學(xué)習(xí)模型只能在測試集上跑一次，一考定終身！
切記，你的機(jī)器學(xué)習(xí)模型只能在測試集上跑一次，一考定終身！
切記，你的機(jī)器學(xué)習(xí)模型只能在測試集上跑一次，一考定終身！
切記，你的機(jī)器學(xué)習(xí)模型只能在測試集上跑一次，一考定終身！
超級(jí)重要的事情說五次還嫌少，我得加粗了才行。哦還得加大字號(hào)，我怕你近視眼看不見！
都說到這個(gè)地步了，順便借這個(gè)類比說說過擬合(overfit)和欠擬合(underfit)的事吧。過擬合的模型是個(gè)真正的書呆子，玩命刷題解大全(Demidovich)，但是只記住了所有的習(xí)題和答案，去做模擬考試就直接傻掉了。欠擬合的模型就是個(gè)不聽課還懶惰的學(xué)渣，連習(xí)題冊上的題目都搞不懂，別說模擬考試了。高考？呵呵呵。
accuracy 就是百分制的考試分?jǐn)?shù)，我是想不到要怎么解釋了。（摳鼻）
precision 和 recall 倒是有兩個(gè)非常好的意象。
這里先說一下 precision 和 recall 哪來的。想象你在做一套全都是判斷題的考試題，你的答案總會(huì)跟正確答案有些出入（學(xué)神，學(xué)霸和 overfit 的書呆子一邊去）。
真陽性、假陽性、假陰性和真陰性
對比上面的表格很容易看出，你做對的題會(huì)對應(yīng)著 真(True) 這個(gè)前綴，對了就對了，不管啦。而你做錯(cuò)的題則帶了 假(False) 的前綴，做錯(cuò)的題分兩種：你回答真但答案是假，這是假陽性；你回答為假但是答案為真，則為假陰性。很明顯，陽性陰性是對應(yīng)著你的回答。
那我們?yōu)樯缎枰@亂七八糟的東西？直接用accuracy來衡量不就好了？
假設(shè)你有一個(gè)大小為1000的帶布爾標(biāo)簽數(shù)據(jù)集， 里面的“真”樣本只有100個(gè)不到，剩下的都是“假”樣本。你說這沒什么啊？ 別急，想象你訓(xùn)練了一個(gè)模型，不管輸入什么數(shù)據(jù)，它都只給出“假”的預(yù)測。這顯然是個(gè)失敗模型，也就比停了的鐘好一點(diǎn)（哦不對，是五十步笑百步），但是它在你這個(gè)數(shù)據(jù)上可能能拿到90分以上哦？ 很明顯，這個(gè)時(shí)候accuracy已經(jīng)失去它的作用了。是時(shí)候讓亂七八糟的概念上場了。
precision：嚴(yán)謹(jǐn)認(rèn)真的普通日本人
多做多錯(cuò) 少做少錯(cuò) 不做不錯(cuò)precision 和 recall 一般只在有傾斜數(shù)據(jù)集的時(shí)候出來玩。我們一般把數(shù)量較少的樣本叫陽性樣本，一般情況下我們也只關(guān)心陽性樣本的預(yù)測結(jié)果。最常見的傾斜數(shù)據(jù)例子是癌癥檢查，得了癌癥的不幸的人就是陽性樣本，相對于健康的大眾，他們是稀少的存在。
精確率 等于 真陽性 與 所有被預(yù)測為陽性的樣本 之比。
為什么說多做多錯(cuò)少做少錯(cuò)的理由很明顯了吧？ 如果模型預(yù)測為陽性的樣本越少，那么它犯錯(cuò)的可能性也就越小，也就是說精確率越高了。
思考題：一個(gè)精確率超級(jí)高的模型有什么問題？
recall：威武霸氣的川普移民禁令
寧可錯(cuò)殺，不能放過
召回率 等于 真陽性 與 所有真正的陽性樣本 之比
冤枉你就冤枉你咯，不服來咬我??？ —— 川普
川普爸爸近來又搞了個(gè)大新聞，多國移民禁止入境。理由當(dāng)然是防止恐怖分子混入美利堅(jiān)大地啦，你們這些國家的人素質(zhì)太差動(dòng)不動(dòng)搞恐怖襲擊，我實(shí)在沒精力去一個(gè)個(gè)查，所以你們通通別來了，我樂得輕松。
recall 的公式里并沒有假陽項(xiàng)，這說明它不關(guān)心自己冤枉了多少人，只要假陰的數(shù)量越少越好，恐怖分子一定不能漏了。
思考題：召回率與精確率是如何互相掣肘的？
wiki 的配圖也很棒，對比看看吧：
原本計(jì)劃弄兩個(gè)動(dòng)圖出來，可是 matplotlib 和 moviepy 死活導(dǎo)出不了gif（而且知乎文章也不支持），想玩的自己復(fù)制代碼吧。Github Gist 很簡陋，不過這種東西也沒必要做復(fù)雜是不是2333
源代碼鏈接：http://t.cn/RSeGsf0
學(xué)習(xí)率通常都會(huì)用步子的大小來形象比喻：
步子邁大了容易扯著蛋... 你會(huì)得到一個(gè)發(fā)散思維很強(qiáng)的模型...
步子走得太小啊... 你聽說過閃電么？
好了正經(jīng)點(diǎn)（一臉嚴(yán)肅）。計(jì)算完梯度以后，模型就需要更新它的參數(shù)了。梯度指出了一個(gè)讓loss提升最快的方向（沒錯(cuò)是提升），學(xué)習(xí)率控制我們應(yīng)該朝反方向走多遠(yuǎn)，學(xué)習(xí)率太大了可能會(huì)越過最低點(diǎn)，變得難以收斂甚至?xí)l(fā)散。學(xué)習(xí)率調(diào)低一般就能回避overshoot的問題了，但是調(diào)太低會(huì)讓模型半天不挪窩，于是模型會(huì)收斂得很慢。這對小規(guī)模的機(jī)器學(xué)習(xí)問題影響不大，但是這個(gè)大數(shù)據(jù)時(shí)代是無法接受的。針對當(dāng)前問題找一個(gè)合適的學(xué)習(xí)率很重要（機(jī)器玄學(xué)入門第一步），可惜一般只能靠猜靠試，現(xiàn)在有一些能幫你調(diào)整的學(xué)習(xí)率的算法，太超綱就不說了。
雷鋒網(wǎng)相關(guān)閱讀：
“回歸分析”真的算是“機(jī)器學(xué)習(xí)”嗎？
你在數(shù)據(jù)預(yù)處理上花費(fèi)的時(shí)間，是否比機(jī)器學(xué)習(xí)還要多？
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
