0
雷鋒網(wǎng) AI 科技評論按：對機器學習工程師們來說，最經(jīng)常遇到的狀況之一就是能輕松收集到一大堆數(shù)據(jù)，但是卻只有非常有限的資源做數(shù)據(jù)標注。每個遇到這種尷尬處境的人都只能冷靜下來，把他們的狀況總結(jié)成簡潔明了的「有監(jiān)督數(shù)據(jù)不多，但未標注數(shù)據(jù)有很多」，然后在查閱論文之后按圖索驥找到一類看似可行的方案：半監(jiān)督學習（semi-supervised learning）。
然后接下來事情就開始走樣了。
一直以來，半監(jiān)督學習都是機器學習領域內(nèi)的一個大坑，每個嘗試想從里面撈到好處的工程師最終都只能對傳統(tǒng)的、老式的數(shù)據(jù)標注增加更多的理解而已。不同的問題里可能會有不同的表現(xiàn)，但是最終大同小異，我們來看下面這張圖：
當標注數(shù)據(jù)不多的時候，半監(jiān)督學習確實可以帶來一定的性能提升。但是實際使用的時候你就會發(fā)現(xiàn)，那些提升只能幫你把模型表現(xiàn)從「糟糕透了、不可接受」提高到「稍微好了那么一點、但還是沒辦法使用」而已。說到底，如果你的標注數(shù)據(jù)規(guī)模較小，以至于半監(jiān)督學習可以起到幫助的話，那同時也說明你的分類器表現(xiàn)仍然在一個很差的水平，沒法實際使用。
除此之外，半監(jiān)督學習也需要一些額外的資源代價，而且使用了半監(jiān)督學習的方法面對更多的標注數(shù)據(jù)的時候，性能增長曲線會比有監(jiān)督學習更平緩；原因之一是無標注數(shù)據(jù)可能會帶來偏倚（見 MITPress-%20SemiSupervised%20Learning.pdf 第四節(jié)）。在深度學習早期曾經(jīng)流行過一種半監(jiān)督學習做法，首先在未標注數(shù)據(jù)上學習一個自動編碼器，然后在有標注數(shù)據(jù)上進行微調(diào)（fine-tune）?，F(xiàn)在已經(jīng)幾乎沒有人這么做了，因為大家通過無數(shù)的實驗發(fā)現(xiàn)，通過自動編碼器學習到的表征會影響到精細調(diào)節(jié)階段增加的有標注數(shù)據(jù)帶來的性能提升幅度，而且是起到限制作用。有趣的是，即便今天我們已經(jīng)大幅度改進了生成式方法，這仍然沒能讓這個模式變得更好使；這很可能是因為，做出一個好的生成式和模型和做出一個好的分類器畢竟不是一回事。所以結(jié)果是，今天的工程師們做微調(diào)的時候，他們是在監(jiān)督學習的基礎上做微調(diào)的（即便對于語言模型也一樣，學習文本其實是一種自監(jiān)督學習過程） —— 從實用角度講，從其他有監(jiān)督預訓練模型上做遷移學習的效果比從無監(jiān)督學習模型上做遷移的效果好太多了。
所以，一個一定要嘗試半監(jiān)督學習的機器學習工程師很可能會走上這樣一條路徑：
因為數(shù)據(jù)少，所以模型的表現(xiàn)糟透了。我們試試半監(jiān)督學習吧（畢竟這還有點技術含量，標數(shù)據(jù)太枯燥了）；
你看，準確率提升了吧！不過數(shù)字還是挺低的，看來我們還是得多標一些數(shù)據(jù)
標數(shù)據(jù)畢竟還是有用的，我多標好幾倍數(shù)據(jù)以后半監(jiān)督學習模型的表現(xiàn)又提升了一些。不過我有點好奇，我都標了這么多數(shù)據(jù)了，直接用監(jiān)督學習會怎么樣
實踐證明，有這么多數(shù)據(jù)以后，監(jiān)督學習還是更簡單直接，效果也更好。那我們?yōu)樯恫灰婚_始就多標注點數(shù)據(jù)呢，花了那么多時間精力試了半監(jiān)督學習結(jié)果還是用不上……
如果你比較幸運的話，你的問題有可能會有這樣一條性能曲線：
在這種情況下，在某一個數(shù)據(jù)規(guī)模之內(nèi)半監(jiān)督學習的效果會好一些，確實提高了數(shù)據(jù)使用效率。但以我的經(jīng)驗，首先很難達到這樣的狀況；其次，半監(jiān)督學習的提升總是不多的，學術論文里刷刷分還行，對實際應用來說影響很小，如果考慮到使用的方法的復雜性和多使用的計算資源的話，還是不如直接多標點數(shù)據(jù)的投入產(chǎn)出比比較好。
不過別急，咱們這篇文章的標題不是「悄悄來臨的半監(jiān)督學習革命」嗎？
如今有件事是微微讓人興奮的，那就是半監(jiān)督學習的性能提升曲線逐漸變成了這個樣子：
這就會產(chǎn)生真正的區(qū)別了。首先，這個曲線符合了所有人對于半監(jiān)督學習的期待：更多的數(shù)據(jù)就有更好的性能，而且對于同樣的有標注數(shù)據(jù)，性能總是比監(jiān)督學習方法更好；即便是數(shù)據(jù)量足夠大、監(jiān)督學習已經(jīng)能夠發(fā)揮出好的效果的范圍內(nèi)，半監(jiān)督學習也仍然有提升。而且，為了達到這些提升所需要額外付出的計算復雜度和資源也已經(jīng)很小了。這個「魔法般的區(qū)域」的起始點更低，而且不受到數(shù)據(jù)規(guī)模限制。
所以發(fā)生了什么呢？很多方面都有了新的改進，比如很多很聰明的方法為數(shù)據(jù)做自我標注，以及新的表示損失的方法，讓損失和數(shù)據(jù)中的噪聲以及自我標注可能帶來的偏倚之間相互協(xié)調(diào)。這兩篇論文是近期改進的典型例子，而且也能引領你瀏覽更多相關的論文：
MixMatch: A Holistic Approach to Semi-Supervised Learning
MixMatch：一種半監(jiān)督學習的整體性方法
論文摘要：半監(jiān)督學習方法的提出是為了更好地利用未標注的數(shù)據(jù)，減輕對于大規(guī)模標注數(shù)據(jù)集的依賴；如今也證明了這是一種強有力的學習范式。在這篇論文中，作者們把當前不同任務中的做法為半監(jiān)督學習做了統(tǒng)一，得到了一種新的算法，MixMatch，它的工作方式是通過 MixUp 猜測數(shù)據(jù)擴增方法產(chǎn)生的無標簽樣本的低熵標簽，并把無標簽數(shù)據(jù)和有標簽數(shù)據(jù)混合起來。作者們通過實驗表明 MixMatch 在多種不同的數(shù)據(jù)集、多種不同的有標簽數(shù)據(jù)規(guī)模中都能以很大幅度領先此前的所有方法。比如，在 CIFAR 數(shù)據(jù)集上、只有 250 個標簽的情況下，作者們把錯誤率降低到了之前方法的 1/4，在 STL-10 數(shù)據(jù)集上也降低到了之前方法的一半。作者們也展示了 MixMatch 可以在差分隱私的使用目的下，在準確率和隱私保護之間取得好得多的平衡。最后，作者們進行了對照實驗，分析了 MixMatch 方法中的哪些組件最為關鍵。
Unsupervised Data Augmentation
無監(jiān)督數(shù)據(jù)擴增
論文摘要：面對渴求大量數(shù)據(jù)的深度學習，數(shù)據(jù)擴增方法可以緩和一部分需求，但數(shù)據(jù)擴增方法往往只應用在有監(jiān)督學習設定中，帶來的提升也較為有限。在這篇論文中，作者們提出了一種在半監(jiān)督學習設定中，把數(shù)據(jù)擴增方法運用在未標注數(shù)據(jù)上的新方法。他們的方法，無監(jiān)督數(shù)據(jù)擴增 UDA，會鼓勵模型面對未標注數(shù)據(jù)和擴增過的未標注數(shù)據(jù)時產(chǎn)生一致的預測。與此前使用高斯噪聲和 dropout 噪聲的方法不同，UDA 有一些小的調(diào)整，它借助目前最先進的數(shù)據(jù)擴增方法產(chǎn)生了難度更高、更真實的噪聲。這些小調(diào)整讓 UDA 在六種語言任務、三種視覺任務中都帶來了顯著的表現(xiàn)提升，即便使用到的有標注數(shù)據(jù)集非常小。比如，在 IMDb 數(shù)據(jù)集的分類測試中，UDA 只使用 20 個標簽就得到了比此前最好的方法在 25,000 個有標簽數(shù)據(jù)上訓練更好的結(jié)果。在標準的半監(jiān)督學習測試（CIFAR-10，4000 個標簽；以及 SVHN，1000 個標簽）中，UDA 擊敗了此前所有的方法，而且把錯誤率降低了至少 30%。UDA 在大規(guī)模數(shù)據(jù)集上也有好的表現(xiàn)，比如在 ImageNet 上，只需要額外增加 130 萬張無標簽圖像，相比此前的方法，UDA 也可以繼續(xù)提升首位和前五位命中率。
在半監(jiān)督學習的整個世界得到革新之后，大家也開始意識到半監(jiān)督學習可能在機器學習的隱私問題方面可能能夠大有作為。比如使用在 PATE 中（有監(jiān)督數(shù)據(jù)是需要保護的隱私數(shù)據(jù)，帶有強隱私保護能力的學生模型只能通過無標簽數(shù)據(jù)訓練）。有能力保護隱私的知識蒸餾方法也是聯(lián)邦學習的關鍵組成部分之一，而聯(lián)邦學習的效果就是高效的分布式學習，它不需要模型接觸全部的用戶數(shù)據(jù)，而且?guī)в袛?shù)學上強有力的隱私保護。（了解更多可以參見雷鋒網(wǎng) AI 科技評論此前關于 差分隱私保護 PATE 以及 聯(lián)邦學習 的文章）
如今，在真實使用場景中考慮半監(jiān)督學習已經(jīng)重新成為了一件很有價值的事情。以前的研究者們對半監(jiān)督學習的不屑態(tài)度如今要受到挑戰(zhàn)，這也說明了這個領域內(nèi)技術水平發(fā)展之快。這些趨勢出現(xiàn)確實還沒有多久，我們也還需要觀察這些方法能夠經(jīng)得住時間的考驗。但是，如果常用的機器學習工具和范式能從這些新進展中獲得大的進步的話，這無疑是十分誘人的。
via towardsdatascience.com，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
