雷鋒網(wǎng) AI 科技評(píng)論按：計(jì)算機(jī)視覺盛會(huì) CVPR 2017已經(jīng)結(jié)束了，雷鋒網(wǎng) AI 科技評(píng)論帶來的多篇大會(huì)現(xiàn)場(chǎng)演講及收錄論文的報(bào)道相信也讓讀者們對(duì)今年的 CVPR 有了一些直觀的感受。

論文的故事還在繼續(xù)

相對(duì)于 CVPR 2017收錄的共783篇論文，即便雷鋒網(wǎng) AI 科技評(píng)論近期挑選報(bào)道的獲獎(jiǎng)?wù)撐?、業(yè)界大公司論文等等是具有一定特色和代表性的，也仍然只是滄海一粟，其余的收錄論文中仍有很大的價(jià)值等待我們?nèi)ネ诰?，生物醫(yī)學(xué)圖像、3D視覺、運(yùn)動(dòng)追蹤、場(chǎng)景理解、視頻分析等方面都有許多新穎的研究成果。

所以我們繼續(xù)邀請(qǐng)了宜遠(yuǎn)智能的劉凱博士對(duì)生物醫(yī)學(xué)圖像方面的多篇論文進(jìn)行解讀，延續(xù)之前最佳論文直播講解活動(dòng)，陸續(xù)為大家解讀2篇的論文。

劉凱博士是宜遠(yuǎn)智能的總裁兼聯(lián)合創(chuàng)始人，有著香港浸會(huì)大學(xué)的博士學(xué)位，曾任聯(lián)想（香港）主管研究員、騰訊高級(jí)工程師。半個(gè)月前宜遠(yuǎn)智能的團(tuán)隊(duì)剛剛在阿里舉辦的天池 AI 醫(yī)療大賽上從全球2887支參賽隊(duì)伍中脫穎而出取得了第二名的優(yōu)異成績(jī)。

在 8 月 1 日的直播分享中，劉凱博士為大家解讀了「Fine-tuning Convolutional Neural Networks for Biome?dical Image Analysis: Actively and Incrementally??」（用于生物醫(yī)學(xué)圖像分析的精細(xì)調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)：主動(dòng)的，增量的）這篇論文，它主要解決了一個(gè)深度學(xué)習(xí)中的重要問題：如何使用盡可能少的標(biāo)注數(shù)據(jù)來訓(xùn)練一個(gè)效果有潛力的分類器。以下為當(dāng)天分享的內(nèi)容總結(jié)。

圖文分享總結(jié)

劉凱博士：大家好，我是深圳市宜遠(yuǎn)智能科技有限公司的首席科學(xué)家劉凱。今天我給大家介紹一下 CVPR 2017 關(guān)于醫(yī)學(xué)圖像處理的一篇比較有意思的文章，用的是 active learning 和 incremental learning 的方法。

今天分享的主要內(nèi)容是，首先介紹一下這篇文章的 motivation，就是他為什么要做這個(gè)工作；然后介紹一下他是怎么去做的，以及在兩種數(shù)據(jù)集上的應(yīng)用；最后做一下簡(jiǎn)單的總結(jié)，說一下它的特點(diǎn)以及還有哪些需要改進(jìn)的地方。

其實(shí)在機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)方面，有一個(gè)很重要的前提是需要有足夠量的標(biāo)注數(shù)據(jù)。但是這種標(biāo)注數(shù)據(jù)一般是需要人工去標(biāo)注，有時(shí)候標(biāo)注的成本還是挺高的，特別是在醫(yī)學(xué)圖像處理上面。因?yàn)獒t(yī)學(xué)圖像處理需要一些 domain knowledge，就是說醫(yī)生對(duì)這些病比較熟悉他才能標(biāo)，我們一般人是很難標(biāo)的。不像在自然圖像上面，比如ImageNet上面的圖片，就是一些人臉、場(chǎng)景還有實(shí)物，我們每個(gè)人都可以去標(biāo)，這種成本低一點(diǎn)。醫(yī)學(xué)圖像的成本就會(huì)比較高，比如我右邊舉的例子，醫(yī)學(xué)圖像常見的兩種方式就是X光和CT。X光其實(shí)一個(gè)人一般拍出來一張，標(biāo)注成本大概在20到30塊錢人民幣一張；CT是橫斷面，拍完一個(gè)人大概有幾百張圖片，標(biāo)注完的成本就會(huì)高一點(diǎn)，標(biāo)注的時(shí)間也會(huì)比較長(zhǎng)。

舉個(gè)例子，比如標(biāo)1000張，這個(gè)數(shù)據(jù)對(duì) deep learning 來說數(shù)據(jù)量不算太大，X光需要2到3萬人民幣、3到4天才能標(biāo)完；CT成本就會(huì)更長(zhǎng)，而且時(shí)間成本也是一個(gè)很重要的問題。那要怎么解決深度學(xué)習(xí)在醫(yī)學(xué)方面、特別是醫(yī)學(xué)圖像方面的這個(gè)難題呢？就要用盡量少的標(biāo)注數(shù)據(jù)去訓(xùn)練一個(gè) promising 的分類器，就是說一個(gè)比較好的分類器。

那我們就要考慮要多少訓(xùn)練數(shù)據(jù)才夠訓(xùn)練一個(gè) promising 的分類器呢？這里有個(gè)例子，比如左邊這個(gè)圖，這個(gè)模型的 performance 隨著數(shù)據(jù)的增加是一個(gè)線性增長(zhǎng)的過程，就是說數(shù)據(jù)越多，它的 performance 就越高。但在實(shí)際中，這種情況很少出現(xiàn)，一般情況下都是數(shù)據(jù)量達(dá)到一定程度，它的 performance就會(huì)達(dá)到一個(gè)瓶頸，就不會(huì)隨著訓(xùn)練數(shù)據(jù)的增加而增加了。但是我們有時(shí)候想的是把這個(gè)臨界點(diǎn)提前一點(diǎn)，讓它發(fā)生在更小數(shù)據(jù)量的時(shí)候。比如右邊這個(gè)圖的紅色虛線部分，用更小的數(shù)據(jù)達(dá)到了相同的 performance。這篇論文里就是介紹主動(dòng)學(xué)習(xí) active learning 的手段，找到一個(gè)小數(shù)據(jù)集達(dá)到大數(shù)據(jù)集一樣的效果。

怎么樣通過 active learning 的方式降低剛才右圖里的臨界點(diǎn)呢？就是要主動(dòng)學(xué)習(xí)那些比較難的、容易分錯(cuò)的、信息量大的樣本，然后把這樣的樣本標(biāo)記起來。因?yàn)檫@些是比較難分的，容易分的可能幾個(gè)樣本就訓(xùn)練出來了，難分的就需要大量的數(shù)據(jù)，模型才能學(xué)出來。所以模型要先去學(xué)這些難的。

怎么去定義這個(gè)“難”呢？就是“難的”、“容易分錯(cuò)”、“信息量大”，其實(shí)說的是一個(gè)意思。這個(gè)“信息量大”用兩個(gè)指標(biāo)去衡量，entropy大和diversity高。entropy就是信息學(xué)中的“熵”，diversity就是多樣性。這個(gè)數(shù)據(jù)里的多樣性就代表了模型學(xué)出來的東西具有比較高的泛化能力。舉個(gè)例子，對(duì)于二分類問題，如果預(yù)測(cè)值是在0.5附近，就說明entropy比較高，因?yàn)槟Ｐ捅容^難分出來它是哪一類的，所以給了它一個(gè)0.5的概率。

用 active learning 去找那些比較難的樣本去學(xué)習(xí)有這5個(gè)步驟

1. 首先，把所有的未標(biāo)注圖片數(shù)據(jù)在大量自然圖像中訓(xùn)練的網(wǎng)絡(luò)，大家知道現(xiàn)在有很多常用的網(wǎng)絡(luò)，從最初的LeNet、AlexNet、GoogLeNet、VGG、ResNet這樣的網(wǎng)絡(luò)中去測(cè)試一遍，得到預(yù)測(cè)值。 然后挑出來那些最難的、信息量大的樣本去標(biāo)注

2. 用這些剛剛標(biāo)注了的樣本去訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，得到一個(gè)網(wǎng)絡(luò)N

3. 把剩下沒有標(biāo)簽的圖像用N過一遍，得到預(yù)測(cè)值，挑一遍那些最難的，用人工去給它標(biāo)注

4. 把剛剛標(biāo)注了的樣本和原來已經(jīng)標(biāo)好的樣本一起，也就是整個(gè)標(biāo)注集拿來繼續(xù)訓(xùn)練這個(gè)網(wǎng)絡(luò)

5. 重復(fù)3到4這個(gè)步驟，直到當(dāng)前的分類器可以對(duì)選出來的比較難的圖像很好的分類了。

剛才的文字講解可能不是很直觀，我們用一個(gè)圖來看一下。這個(gè)圖從左到右看，一開始灰蒙蒙的意思是都還沒有標(biāo)注，然后用一個(gè)pre-trained model去預(yù)測(cè)一遍都是哪個(gè)類。這樣每個(gè)數(shù)據(jù)上都有一個(gè)概率，可以根據(jù)這個(gè)概率去選擇它是不是難分的那個(gè)數(shù)據(jù)，就得到了中間這個(gè)圖，上面那一段是比較難的，然后我們把它標(biāo)注出來。然后用一個(gè) continuous fine-tune 的 CNN，就是在原來的模型上再做一次 fine-tune，因?yàn)橛辛艘恍?biāo)注數(shù)據(jù)了嘛，就可以繼續(xù) fine-tune了。 fine-tune后的模型對(duì)未標(biāo)注的數(shù)據(jù)又有了一個(gè)預(yù)測(cè)的值，再根據(jù)這些預(yù)測(cè)值與找哪些是難標(biāo)的，把它們標(biāo)上。然后把這些標(biāo)注的數(shù)據(jù)和之前就標(biāo)注好的數(shù)據(jù)一起，再做一次 continuous fine-tune，就得到 CNN2了。然后依次類推，直到把所有的數(shù)據(jù)都標(biāo)完了，或者是在沒有標(biāo)完的時(shí)候模型的效果就已經(jīng)很好了，因?yàn)榘哑渲须y的數(shù)據(jù)都已經(jīng)標(biāo)完了。

剛才提到了兩個(gè)指標(biāo)來判定一個(gè)數(shù)據(jù)是不是難分的數(shù)據(jù)。entropy比較直觀，預(yù)測(cè)結(jié)果在0.5左右就認(rèn)為它是比較難分的；但diversity這個(gè)值不是很好刻畫，就通過 data augmentation數(shù)據(jù)增強(qiáng)的方式來設(shè)計(jì)指標(biāo)，就是說從一個(gè)圖像設(shè)計(jì)出一系列它的變形。這些變形就可以是靠翻轉(zhuǎn)、旋轉(zhuǎn)、平移操作等等，一個(gè)變成了好幾個(gè)甚至十幾個(gè)，增加了它的多樣性。然后對(duì)這些所有的變形去預(yù)測(cè)它們的分類結(jié)果，如果結(jié)果不統(tǒng)一的話，就說明這副圖像的diversity比較強(qiáng)，那么這張圖像就是比較難分的，是hard sample；反之就是比較好分的，那么就不去做它的增強(qiáng)了。然后對(duì)所有增強(qiáng)以后的數(shù)據(jù)的預(yù)測(cè)值應(yīng)當(dāng)是一致的，因?yàn)樗鼈兇淼氖峭粋€(gè)東西，但是也有一些例外，如果是像我剛才說的那樣的簡(jiǎn)單的數(shù)據(jù)增強(qiáng)。

這就會(huì)產(chǎn)生一個(gè)問題，原始的圖像，比如左邊這只小貓，經(jīng)過平移、旋轉(zhuǎn)、縮放等一些操作以后得到9張圖，每張圖都是它的變形。然后我們用CNN對(duì)這9張圖求是一只貓的概率，可以看到上面三個(gè)圖的概率比較低，就是判斷不出來是一只貓，我們直觀的去看，像老鼠、狗、兔子都有可能。本來這是一個(gè)簡(jiǎn)單的例子，很容易識(shí)別出來這是一只貓，但是增強(qiáng)了以后反而讓模型不確定了。這種情況是需要避免的。

所以這種時(shí)候做一個(gè) majority selection，就是一個(gè)少數(shù)服從多數(shù)的方式，因?yàn)槎鄶?shù)都識(shí)別出來它是一只貓了。這就是看它的傾向性，用里面的6個(gè)預(yù)測(cè)值為0.9的數(shù)據(jù)，上面三個(gè)預(yù)測(cè)值為0.1的就不作為增強(qiáng)后的結(jié)果了。這樣網(wǎng)絡(luò)預(yù)測(cè)的大方向就是統(tǒng)一的了。

這篇文章的創(chuàng)新點(diǎn)除了active learning之外，它在學(xué)習(xí)的時(shí)候也不是從batch開始，而是sequential learning。它在開始的時(shí)候效果就不會(huì)特別好，因?yàn)橥耆珱]有標(biāo)注數(shù)據(jù)，它是從一個(gè)ImageNet數(shù)據(jù)庫訓(xùn)練出的模型直接拿到medical的應(yīng)用里來預(yù)測(cè)，效果應(yīng)該不會(huì)太好。然后隨著標(biāo)注數(shù)據(jù)的增加，active learning的效果就會(huì)慢慢體現(xiàn)出來。這里是在每一次fine-tune的時(shí)候，都是在當(dāng)前的模型基礎(chǔ)上的進(jìn)一步fine-tune，而不是都從原始的pre-train的model做fine-tune，這樣就對(duì)上一次的模型參數(shù)有一點(diǎn)記憶性，是連續(xù)的學(xué)習(xí)。這種思路就跟學(xué)術(shù)上常見的sequntial learning和online learning是類似的。但是有一個(gè)缺點(diǎn)就是，fine-tune的參數(shù)不太好控制，有一些超參數(shù)，比如learning rate還有一些其它的，其實(shí)是需要隨著模型的變化而變化的，而且比較容易一開始就掉入local minimal，因?yàn)橐婚_始的時(shí)候標(biāo)注數(shù)據(jù)不是很多，模型有可能學(xué)到一個(gè)不好的結(jié)果。那么這就是一個(gè)open的問題，可以從好幾個(gè)方面去解決，不過解決方法這篇文章中并沒有提。

這個(gè)方法在機(jī)器學(xué)習(xí)方面是比較通用的，就是找那些難分的數(shù)據(jù)去做sequntial的fine-tune。這篇論文里主要是用在了醫(yī)學(xué)圖像上面，用兩個(gè)例子實(shí)驗(yàn)了結(jié)果，一個(gè)是結(jié)腸鏡的視頻幀分類，看看有沒有病變、瘤之類的。結(jié)論是只用了5%的樣本就達(dá)到了最好的效果，因?yàn)槠鋵?shí)因?yàn)槭沁B續(xù)的視頻幀，通常都是差不多的，前后的幀都是類似的，不需要每一幀都去標(biāo)注。另一個(gè)例子也是類似的，肺栓塞檢測(cè)，檢測(cè)+分類的問題，只用1000個(gè)樣本就可以做到用2200個(gè)隨機(jī)樣本一樣的效果。

這個(gè)作者我也了解一些，他是在 ASU 的PhD學(xué)生，然后現(xiàn)在在梅奧，美國一個(gè)非常著名的私立醫(yī)院梅奧醫(yī)院做實(shí)習(xí)，就跟需要做標(biāo)注的醫(yī)生打交道比較多。這相當(dāng)于就是一個(gè)從現(xiàn)實(shí)需求得出來的一個(gè)研究課題。

總結(jié)下來，這篇文章有幾個(gè)比較好的亮點(diǎn)。

• 從標(biāo)注數(shù)據(jù)來說，從一個(gè)完全未標(biāo)注的數(shù)據(jù)集開始，剛開始的時(shí)候不需要標(biāo)注數(shù)據(jù)，最終以比較少量的數(shù)據(jù)達(dá)到很好的效果；

• 然后，從sequntial fine-tune的方式，而不是重新訓(xùn)練；

• 選擇樣本的時(shí)候，是通過候選樣本的一致性，選擇有哪些樣本是值得標(biāo)注的；

• 自動(dòng)處理噪音，就是剛才舉的貓的那個(gè)例子，數(shù)據(jù)增強(qiáng)的時(shí)候帶來的噪音，通過少數(shù)服從多數(shù)的方式把那些噪音去掉了；

• 在每個(gè)候選集只選少量的patches計(jì)算熵和KL距離，KL距離就是描述diversity的指標(biāo)，這樣減少了計(jì)算量。傳統(tǒng)的深度學(xué)習(xí)的時(shí)候會(huì)需要在訓(xùn)練之前就做數(shù)據(jù)增強(qiáng)，每個(gè)樣本都是同等的；這篇文章里面有一些數(shù)據(jù)增強(qiáng)不僅沒有起到好的作用，反而帶來了噪音，就需要做一些處理；而且還有一些數(shù)據(jù)根本不需要增強(qiáng)，這樣就減少了噪音，而且節(jié)省了計(jì)算。

我今天分享的大概就是這些內(nèi)容。其實(shí)這里還有一個(gè)更詳細(xì)的解釋，最好還是把論文讀一遍吧，這樣才是最詳細(xì)的。

提問環(huán)節(jié)

Q：為什么開始的時(shí)候 active learning 沒有比random selection好？

A：其實(shí)不一定，有時(shí)候是沒有辦法保證誰好。active learning在一開始的時(shí)候是沒有標(biāo)注數(shù)據(jù)的，相當(dāng)于這時(shí)候它不知道哪些數(shù)據(jù)是hard的，在這個(gè)醫(yī)學(xué)數(shù)據(jù)集上并沒有受到過訓(xùn)練。這時(shí)候跟 random selection 就一樣了，正在遷移原來 ImageNet 圖像的學(xué)習(xí)效果。random selection 則有可能直接選出來 hard的那些結(jié)果，所以有可能比剛開始的active selecting要好一點(diǎn)，但這不是每次都是 random selection 好。就是不能保證到底是哪一個(gè)更好。

（完）

雷鋒網(wǎng) AI 科技評(píng)論整理。系列后續(xù)的論文解讀分享也會(huì)進(jìn)行總結(jié)整理，不過還是最希望大家參與我們的直播并提出問題。

相關(guān)文章：

中山大學(xué)金牌隊(duì)伍分享獲獎(jiǎng)經(jīng)驗(yàn)：如何玩轉(zhuǎn)圖像比賽

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。