雷鋒網(wǎng) AI 科技評論按：計(jì)算機(jī)視覺盛會(huì) CVPR 2017已經(jīng)結(jié)束了，雷鋒網(wǎng) AI 科技評論帶來的多篇大會(huì)現(xiàn)場演講及收錄論文的報(bào)道相信也讓讀者們對今年的 CVPR 有了一些直觀的感受。

論文的故事還在繼續(xù)

相對于 CVPR 2017收錄的共783篇論文，即便雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 科技評論近期挑選報(bào)道的獲獎(jiǎng)?wù)撐?、業(yè)界大公司論文等等是具有一定特色和代表性的，也仍然只是滄海一粟，其余的收錄論文中仍有很大的價(jià)值等待我們?nèi)ネ诰?，生物醫(yī)學(xué)圖像、3D視覺、運(yùn)動(dòng)追蹤、場景理解、視頻分析等方面都有許多新穎的研究成果。

所以我們繼續(xù)邀請了宜遠(yuǎn)智能的劉凱博士對生物醫(yī)學(xué)圖像方面的多篇論文進(jìn)行解讀，延續(xù)之前最佳論文直播講解活動(dòng)，此次是第2篇。

劉凱博士是宜遠(yuǎn)智能的總裁兼聯(lián)合創(chuàng)始人，有著香港浸會(huì)大學(xué)的博士學(xué)位，曾任聯(lián)想（香港）主管研究員、騰訊高級工程師。半個(gè)月前宜遠(yuǎn)智能的團(tuán)隊(duì)剛剛在阿里舉辦的天池 AI 醫(yī)療大賽上從全球2887支參賽隊(duì)伍中脫穎而出取得了第二名的優(yōu)異成績。

在 8 月 1 日的直播分享中，劉凱博士為大家解讀了「Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation??」（用于三維生物醫(yī)學(xué)分割的合并序列學(xué)習(xí)和多形態(tài)卷積）這篇論文，它主要解決了一個(gè)三維生物醫(yī)學(xué)圖像分割中重要問題：如何綜合使用多種形態(tài)的 MRI 數(shù)據(jù)進(jìn)行區(qū)域分割。以下為當(dāng)天分享的內(nèi)容總結(jié)。

圖文分享總結(jié)

劉凱博士：大家好，我是深圳市宜遠(yuǎn)智能科技有限公司的劉凱，我們的官網(wǎng)是 yiyuan.ai。這里也有我的微博ID，我經(jīng)常會(huì)發(fā)一些跟人工智能相關(guān)的資料和文章，大家可以關(guān)注一下。今天講的也是關(guān)于生物醫(yī)學(xué)圖像的應(yīng)用，是結(jié)合序列學(xué)習(xí)和交叉模態(tài)卷積的3D生物醫(yī)學(xué)圖像分割。其實(shí)在醫(yī)學(xué)圖像方面，分割，英文是segmentation，是非常重要的工具或者應(yīng)用。 

我先講一下這篇文章的主要內(nèi)容，它講的是對核磁共振圖像中的腦部腫瘤部位進(jìn)行切割的例子。右邊的圖給出來的就是什么叫“對腫瘤部位進(jìn)行切割”。我們通過MRI拍出來圖片，如果有一些跟正常的大腦皮層細(xì)胞不太一樣的部位，這些部位就很有可能是有腦部腫瘤，所以要把它切出來，切出來之后再做相應(yīng)的研究。比如這三個(gè)例子可以看到大腦中有一些病變的位置，要達(dá)到的就是最右邊一列的樣子，把它們切出來。這個(gè)工作其實(shí)不算太容易，主要有幾個(gè)方面的原因。

首先比較難定位到哪些是腫瘤部位，因?yàn)槟[瘤部位的形狀千奇百怪，沒有固定的形狀，不像人臉識別的時(shí)候，每個(gè)人的五官都差不多，位置區(qū)別也不會(huì)很大。比如說神經(jīng)膠質(zhì)瘤和膠質(zhì)母細(xì)胞瘤的形狀兩種就就很不同，就是不同的腫瘤形狀也不一樣。然后腫瘤的分布很廣泛，可能分布在大腦的任何區(qū)域，那跟人臉也不一樣了，就跟剛才我說一樣。

那怎么去實(shí)現(xiàn)、怎么去解決這些難點(diǎn)呢，這篇文章提出來一個(gè)思路就是交叉形態(tài)卷積的方法做一個(gè) encoder-decoder 的網(wǎng)絡(luò)結(jié)構(gòu)，然后同時(shí)用LSTM對2D的切片序列建模。

這里有個(gè)概念，因?yàn)镸RI也是跟CT一樣斷層掃描的過程，就是它一層一層，一層掃出來的就是一個(gè)2D的圖片，然后多層累計(jì)起來就是3D的，但是其實(shí)切割是要切割出3D的腦部腫瘤位置，這樣就需要把2D的變成3D的，把2D的切片之間的關(guān)系通過LSTM描述出來，最后把多模態(tài)卷積和LSTM網(wǎng)絡(luò)結(jié)合在一起，達(dá)到3D切割。

剛才提到多模態(tài)的概念，就是因?yàn)檫@個(gè)是MRI特有的特征，因?yàn)镃T里面并沒有。這里有四個(gè)模態(tài)，就是通過四種方式掃描腦部得到MRI數(shù)據(jù)，這是這里列出來的四個(gè)的名字，我們先不用管它這四個(gè)具體是什么意思，只是知道它有四種模態(tài)就行了，這四種模態(tài)對最終切割的結(jié)果是有直接的作用的?，F(xiàn)在大多數(shù)的3D圖像切割方法只是用了一個(gè)模態(tài)，或者把多個(gè)模態(tài)分別來做，然后再堆積起來。

這個(gè)方法的framework大概是這樣的，從左到右看。

• 首先每一個(gè)腦部的MRI數(shù)據(jù)，他都是通過四種模態(tài)切出來的，這里用四種不同的顏色來表示，相當(dāng)于每一個(gè)slice就是我說的那個(gè)2D的圖片。

• 切完之后他會(huì)把四個(gè)模態(tài)，就是到圖b這個(gè)階段了，四個(gè)模態(tài)交叉在一起做一個(gè)multi-modal的encoder，這個(gè)encoder就是用一個(gè)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)的。

• 四個(gè)模態(tài)encode到一起之后，在這一步就用神經(jīng)網(wǎng)絡(luò)把四個(gè)模態(tài)下的腦部切割出來了，這是2D的情況下。

• 然后再加上convolution LSTM把2D的切割、2D和2D之間的dependency描述出來之后就形成了3D的切割，然后再做一下decoder，展現(xiàn)成最后這種形式。在最中間有一個(gè)切割出來的東西，其他沒被切割到的background。

這就是一個(gè)大體的流程，然后對具體對每一個(gè)細(xì)節(jié)的過程，我再詳細(xì)介紹一下。

第一個(gè)模塊就是multi-modal的encoder，這里的網(wǎng)絡(luò)結(jié)構(gòu)最主要的幾個(gè)方面是用四個(gè)卷積核，通過batch-normalization，然后加一個(gè)非線性變換，在后面有四個(gè)最大池化層。這就是先簡單介紹一下，如果要詳細(xì)了解這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)是怎么設(shè)計(jì)的，可以去讀一下這篇論文。

另外一個(gè)嗯比較重要的部分就是多模態(tài)交叉卷積。四個(gè)模態(tài)的數(shù)據(jù)進(jìn)入到這個(gè)卷積網(wǎng)絡(luò)之后，他就會(huì)把每一個(gè)模態(tài)下面的cross在一起，然后通過一個(gè)三維的卷積，卷積的大小里有個(gè)C×4，就是因?yàn)樗總€(gè)channel里面有 c 個(gè)slice，就是說它是一個(gè)立體結(jié)構(gòu)了，一個(gè)長寬是H、W，高是C的這種。四個(gè)模態(tài)弄到一起就是C×4×H×W，有大小。

然后在這里，是用4×1×1的一個(gè)卷積核，做卷積之后得到每一層的切割出來的特征。切割出來之后，然后就進(jìn)入了后面的convolution LSTM。

這個(gè)convolution LSTM跟普通的LSTM有一個(gè)區(qū)別，就是把原來的矩陣相乘替換為一個(gè)卷積操作，就是普通的乘法變成卷積層，這樣它就能夠在把之前狀態(tài)的空間信息保留著。其實(shí)它的目的就是，卷積LSTM會(huì)描述一個(gè)2D切割邊緣的趨勢，比如說這一張中切片它的形態(tài)是這樣的，然后到下一張它會(huì)有一個(gè)輕微的變化，要把這種變化描述出來。

因?yàn)閯傞_始有一個(gè)圖像的encoder，還是要把它解析出來。最后就有一個(gè)soft-max的分類，也是一個(gè)兩分類的，就是每一個(gè)像素是前景還是背景的概率。是前景的話，就是我們要切割出來的部位；如果是背景的話就不是我們感興趣的地方。

它的實(shí)驗(yàn)部分做了兩個(gè)，第一個(gè)跟醫(yī)學(xué)沒有關(guān)系，這個(gè)通用的場景就不講了。我講一下跟醫(yī)學(xué)相關(guān)的那個(gè)，他有一個(gè)公開的腦部MRI的數(shù)據(jù)，就叫BRATS-2015。

他切的是神經(jīng)膠質(zhì)瘤這個(gè)疾病，它的嚴(yán)重程度分為五種，0 就是非腫留，1 是腦細(xì)胞壞死，2 是水腫，3 是非增強(qiáng)性腫瘤，4 是增強(qiáng)性腫瘤，數(shù)字從低到高，它嚴(yán)重程度會(huì)越來越高。臨床上是從三種不同的方面去評價(jià)切分的效果：

• 第一種，完全把四種嚴(yán)重程度的病都切割切割出來，相當(dāng)于區(qū)分腫瘤和非腫瘤；

• 第二種，部分切割，只關(guān)注 1、3、4 這三種。2 的水腫，其實(shí)也是比較容易混淆的，就是它不是真正的腫瘤

• 第三種，只關(guān)注增強(qiáng)型的腫瘤，就是最嚴(yán)重的那種

最右邊是一個(gè)圖例，看這幾種方法哪一個(gè)切的好一些。第二列是就是ground truth，第三列是U-Net，是一個(gè)提的比較早、比較通用的一個(gè)benchmark的方法，來做數(shù)據(jù)切割；然后第四列的CMC，cross-modality convolution，這個(gè)也是這篇文章提出來的；然后CMC+convolution LSTM，就是描述了切片與切片之間的dependency的算法?？梢钥闯鰜恚詈笠粋€(gè)跟ground truth是比較接近的。

這里有從三個(gè)方面看的評價(jià)結(jié)果，三個(gè)指標(biāo)。其實(shí)都是算它切割得跟ground truth重合的部分的比例，第一種“Dice”就是它的 overlap 部分，除以他們兩個(gè)面積交集和并集的一個(gè)平均，這里的P就是predict出來的區(qū)域，然后T是ground truth的區(qū)域。PPV是positive predicted value，那是他的交集部分除以預(yù)測的區(qū)域；sensitivity就是交集的面積除以ground truth區(qū)域。這里也是跟U-Net比較了一下。

我下面補(bǔ)充一下這個(gè)U-Net的概念，如果沒有醫(yī)學(xué)圖像切割的一些知識背景的話，可能不太理解它。其實(shí)U-Net就是一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，參考文獻(xiàn)在最下面。這種網(wǎng)絡(luò)結(jié)構(gòu)，就是畫出來長得字母U，然后所以叫yU-Net。

它之所以長成這樣，是因?yàn)檫@個(gè)圖像進(jìn)來，最左邊可能大家看的不是很清楚，圖像里其實(shí)是一個(gè)一個(gè)的細(xì)胞，它們都連在一起，但是邊緣是有一些線割開的。網(wǎng)絡(luò)的目標(biāo)是把這些細(xì)胞一個(gè)一個(gè)地切開，就像最右邊的這種情況。網(wǎng)絡(luò)剛開始的時(shí)候用的卷積就先是3×3的卷積，然后加上ReLu這個(gè)非線性變換，然后一步一步做下去。其實(shí)這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)還是挺深的，如果有興趣可以去看一下這篇文章。其實(shí)這個(gè)算法對大物體小物體的切割都是做得還不錯(cuò)的，就是因?yàn)檫@種U結(jié)構(gòu)的，先對大物體切割，然后再去對小物體切割。

這里面還有一些trick，就是在BRATS-2015這個(gè)數(shù)據(jù)上來，因?yàn)檫@個(gè)數(shù)據(jù)量其實(shí)不大，好像正例一共只有60多個(gè)，負(fù)例兩百多個(gè)。這里也出現(xiàn)了一個(gè)數(shù)據(jù)不均衡的問題，它是用median frequency平衡法，這個(gè)很簡單，這個(gè)算式里有一個(gè)除法，就是分子式median frequency，就是每一個(gè)類的平均frequency，除以這一類總的出現(xiàn)的次數(shù)。如果出現(xiàn)次數(shù)越多，那它這個(gè)權(quán)重就會(huì)越小，就是賦了一個(gè)比較小的權(quán)重，就在 loss 函數(shù)里對這一類的數(shù)據(jù)設(shè)定了一個(gè)權(quán)重，相當(dāng)于下采樣的過程。

在這個(gè)學(xué)習(xí)過程中使用了two-stage training，第一個(gè)階段是只采用了包含腫瘤的切片，然后用median frequency減少大類的權(quán)重。第二階段是降低學(xué)習(xí)率，然后把median frequency這種限制去掉，它的分布就是接近你的真實(shí)的分布，因?yàn)槿绻褂胢edian frequency，它的分布是會(huì)變的，但是真實(shí)數(shù)據(jù)中那個(gè)大類的確實(shí)會(huì)存在，還是要去描述這個(gè)問題，先保證了這個(gè)模型第一部分不收斂到大類這個(gè)問題之后，然后第二個(gè)階段去再去慢慢的學(xué)習(xí)真實(shí)的分布。

在第一階段的時(shí)候避免采樣到空的序列，就是先去采樣了有腫瘤問題的，然后再在訓(xùn)練LSTM的時(shí)候也用了正交初始化的方法處理梯度消失的問題。這種方法其實(shí)都是可以用的，不一定非得這個(gè)問題上去用。

我讀到最后就發(fā)現(xiàn)一個(gè)不太好的一個(gè)地方，就是他在前面后面都提到了這個(gè)KU-Net，它說了跟它的方法模型是最相關(guān)的，其實(shí)這個(gè)KU-Net就是用U-Net+RNN，他用RNN也是去描述2D切片之間的dependency。

這篇論文里方法的不同就是，它用的交叉模態(tài)的方法去代替U-Net的那一部分，然后用LSTM去代替RNN那一部分。從直觀上來講應(yīng)該會(huì)比這個(gè)KU-Net效果要好，但是他說因?yàn)闆]有公開代碼不進(jìn)行實(shí)驗(yàn)對比，我覺得這個(gè)理由不是特別充分。其實(shí)寫文章的時(shí)候既然他都給了U-Net的比較了，然后這種跟他更相關(guān)的、而且思路上也挺像的，應(yīng)該更要比較一下才對。

問答環(huán)節(jié)

（先上一次論文講解中的問題開始）

Q：Sequntial learning的時(shí)候有沒有用move-and-average，就是有沒有移動(dòng)平移法

A：這個(gè)那篇文章里面并沒有講，但是我覺得這個(gè)移動(dòng)平均法在sequntial的學(xué)習(xí)的時(shí)候還是可以用的，就是相當(dāng)于你在不同的步驟的預(yù)測值都做一個(gè)平均，還是有一定的推廣性的。

Q：關(guān)于醫(yī)學(xué)圖像數(shù)據(jù)不平衡的問題

A：其實(shí)不平衡的問題，解決方法有好多種，最簡單的就是上采樣和下采樣。如果那些大類的數(shù)據(jù)特別多，做一下下采樣，然后小類的做一下上采樣。這個(gè)比較簡單，然后我在實(shí)際問題中有一些經(jīng)驗(yàn)，其實(shí)不是這一類多就一定要下采樣，這一類少就一定要上采樣，其實(shí)要看它具體的分布。

有的時(shí)候，比如說我們在做肺結(jié)節(jié)檢測的這個(gè)過程中，通過肺CT或者X光去看那個(gè)肺部有一些會(huì)癌變的結(jié)節(jié)，去找這些病變的點(diǎn)。其實(shí)在這里面小結(jié)節(jié)會(huì)比較多，大結(jié)節(jié)會(huì)比較少。在這種例子里，大家直觀的很可能覺得要下采樣小結(jié)節(jié)，那實(shí)際上并不是的，我們這反而是上采用了上采樣的小結(jié)節(jié)，就是把它的數(shù)據(jù)要增多。因?yàn)樾〗Y(jié)節(jié)比較難分，它其實(shí)很小，跟background非常像，然后就容易被忽略掉，然后大結(jié)節(jié)就很明顯，即使只有少量的數(shù)據(jù)，它也能分出來的。

所以這個(gè)跟實(shí)際的應(yīng)用有關(guān)系，一般情況下做模型之前一個(gè)很大的步驟是要去處理數(shù)據(jù)，有的時(shí)候一些trick是從數(shù)據(jù)得到靈感，就應(yīng)該去怎么去實(shí)現(xiàn)。包括數(shù)據(jù)增強(qiáng)也好，怎么解決數(shù)據(jù)偏移也好。這是預(yù)處理的部分。

然后在實(shí)際訓(xùn)練中解決數(shù)據(jù)不平衡的問題可以通過一個(gè)叫hard negative mining的方式，就比如剛開始的數(shù)據(jù)不平衡，有的傾向于分到大類那一部分。而且你這個(gè)模型在分的時(shí)候，前期會(huì)有一些分錯(cuò)的，分錯(cuò)了就說明這個(gè)模型分的效果還不太好。比如說把小類的分到大類里面去了，明顯是分錯(cuò)了，然后就把這些分錯(cuò)的小類的找出來，做一下增強(qiáng)，比如說做兩倍的增強(qiáng)，然后再放到模型里面、再去學(xué)，這樣持續(xù)下去，就會(huì)有針對性的把小的數(shù)據(jù)去增強(qiáng)，慢慢把數(shù)據(jù)變平衡了。這個(gè)思路其實(shí)是跟剛才的數(shù)據(jù)預(yù)處理是一樣的，但是更靈活一些，因?yàn)樵谟?xùn)練之前，直接把小的類做增強(qiáng)，這種是比較主觀的，實(shí)際上不一定小類的就難分，最好先去模型試一下，看哪些比較難分，然后就專注于這種數(shù)據(jù)去做數(shù)據(jù)增強(qiáng)。其實(shí)上一篇論文講解直播的時(shí)候，論文里面也提到這個(gè)思路。

然后數(shù)據(jù)增強(qiáng)的時(shí)候其實(shí)也挺有意思的，上一篇論文里面提到要根據(jù)泛化能力比較強(qiáng)的做增強(qiáng)，而不是統(tǒng)一形式的增強(qiáng)。我們在實(shí)際在做的時(shí)候，也還是以肺結(jié)節(jié)為例子，我們在做hard negative mining的時(shí)候，因?yàn)樵诜谓Y(jié)節(jié)檢測里面少，就是發(fā)現(xiàn)肺結(jié)節(jié)在跟常規(guī)思路的機(jī)器學(xué)習(xí)方式有一些相反的現(xiàn)象。其實(shí)正例跟負(fù)例相比，本身是偏少的，因?yàn)樗莻€(gè)肺里面有很多部位結(jié)節(jié)是很少的。但是實(shí)際模型去訓(xùn)練，然后訓(xùn)練的時(shí)候就會(huì)發(fā)現(xiàn)好多并不是結(jié)節(jié)的預(yù)測成結(jié)節(jié)了。這個(gè)需要hard negative mining，就是要把negative的sample要增強(qiáng)一些。原來我們心想的通常情況下是應(yīng)該把少的那一部分增強(qiáng)，那肺結(jié)節(jié)檢測是實(shí)際上是相反的。在腦部切割的時(shí)候也會(huì)有這個(gè)問題。

然后最近關(guān)于一個(gè)segmentation的一個(gè)新的方法，目前還沒有用到在segmentation里面，我只是有一個(gè)想法，提出目標(biāo)檢測Fast-RCNN這一系列的何愷明發(fā)了一篇文章，是Fast-RCNN的延續(xù)，叫做Mask-RCNN，就不光是把那個(gè)目標(biāo)能檢測出來了，還能把目標(biāo)的輪廓給畫出來。這樣的話就非常像這里，比如說把病變的位置detect出來，其實(shí)是在這個(gè)地方畫了一個(gè)rectangle，這是找出它的位置了。如果我們要把病變區(qū)域切出來的，就要沿著它的輪廓，把它做一個(gè)mask。我覺得這個(gè)方法是可以試一下的，就相當(dāng)于把目標(biāo)檢測和segmentation結(jié)合在一起了，所以還是一個(gè)挺好的思路。

（等待問題過程中順便插播一則公司介紹）

我們宜遠(yuǎn)智能位于深圳，也是一個(gè)初創(chuàng)公司，主要是做人工智能在醫(yī)學(xué)圖像處理上的應(yīng)用，然后做一些基于醫(yī)學(xué)圖像的輔助診斷，大家有興趣的話可以去我們官網(wǎng)看一下。我們現(xiàn)在也在招人，如果有興趣的話可以在微博里面艾特我或者發(fā)郵件給我，郵箱地址是 kennethkliu@foxmail.com。加我的微信也可以，但是微信的話我也不會(huì)發(fā)太多東西。微信號是 kenneth_liukai。

Q：這個(gè)問題有人問，我重復(fù)一下。也是數(shù)據(jù)不平衡的問題，當(dāng)positive和negative不平衡的時(shí)候可以做hard negative mining。那么假如第一次分類有部分?jǐn)?shù)據(jù)分錯(cuò)了，那么增強(qiáng)的權(quán)重是重采樣權(quán)重還是梯度的權(quán)重？

A：這個(gè)是兩種都可以，我們實(shí)際中一般是數(shù)據(jù)重采樣。如果增加梯度的權(quán)重，其實(shí)不知道是針對哪一種。只是說這個(gè)權(quán)重的話，就把數(shù)據(jù)重新放進(jìn)去。增加權(quán)重也可以，但是你增加這個(gè)權(quán)重的時(shí)候，學(xué)的時(shí)候就不只針對分錯(cuò)的那些了，會(huì)對所有的數(shù)據(jù)都增加了權(quán)重。那么還是重采樣來得更直接一些，就是分錯(cuò)的那個(gè)數(shù)據(jù)再重新放進(jìn)去，或者是加倍重新放進(jìn)去，再去訓(xùn)練，這個(gè)都是可以的。

其實(shí)在圖像上面做數(shù)據(jù)增強(qiáng)，不光是重采樣，還有一些時(shí)候?yàn)榱嗽黾铀姆夯?，?huì)做一些偏移、切割、平移這種操作，也是很有效果的。

Q：除了重采樣，還有其他辦法解決數(shù)據(jù)不平衡的問題嗎？

A：重采樣跟數(shù)據(jù)不平衡，其實(shí)是同一個(gè)思路。因?yàn)閿?shù)據(jù)不平衡，你為了能達(dá)到平衡，那就是要打亂原來的數(shù)據(jù)分布了。除非這個(gè)模型對數(shù)據(jù)不平衡的狀況不敏感，就是說即使數(shù)據(jù)不平衡，也能學(xué)出來，大類就大類的學(xué)，小類就小類的學(xué)。這種就是要考驗(yàn)?zāi)Ｐ偷哪芰Φ?，有些模型即使類別比較小的也是能夠?qū)W出來的，要看這個(gè)模型的區(qū)分能力了。

Q：如果數(shù)據(jù)圖像label有時(shí)標(biāo)錯(cuò)的比較厲害，標(biāo)錯(cuò)的比例甚至達(dá)到1/3，有沒有什么數(shù)據(jù)清洗的辦法？

A：對這個(gè)這個(gè)問題非常好，因?yàn)樵卺t(yī)學(xué)圖像里面這個(gè)問題特別嚴(yán)重。

其實(shí)醫(yī)學(xué)標(biāo)注數(shù)據(jù)是有很強(qiáng)的背景知識要求，一般都是要比較高水平的醫(yī)生標(biāo)的才會(huì)比較準(zhǔn)確。

對普通的醫(yī)生來說，比如說有一些結(jié)節(jié)，或者一些腦部的MRI上病變的位置，其實(shí)在那里，但他就看不到，因?yàn)樗R水平有限，他就沒見過這種東西。我們也曾經(jīng)試過要用好幾個(gè)醫(yī)生然后去標(biāo)，水平不一樣，指標(biāo)的差異還挺大的，跟ground truth差距就更大了。

當(dāng)然了這個(gè)ground truth也不是標(biāo)準(zhǔn)的ground truth，只是三個(gè)專家級的醫(yī)生標(biāo)的共同的結(jié)果。這種方法可以這么來，就是說你的模型也可以去標(biāo)一下。如果這個(gè)模型是完全基于現(xiàn)在這種“臟”數(shù)據(jù)學(xué)出來的，那么它真的是沒辦法能夠?qū)W得好，那它就是去擬和這個(gè)“臟”數(shù)據(jù)了。如果有另外一個(gè)好的模型，就可以transfer過來，它去把這個(gè)數(shù)據(jù)標(biāo)一遍，跟達(dá)到1/3標(biāo)錯(cuò)的那個(gè)數(shù)據(jù)一起，相當(dāng)于兩個(gè)專家會(huì)診一樣。它會(huì)有一個(gè)統(tǒng)計(jì)分布，這種情況下能夠一定程度上把那些“臟”數(shù)據(jù)給剔除掉。這是一種思路。

另外的話，有一些如果他標(biāo)錯(cuò)了，就會(huì)出現(xiàn)同樣的圖像、非常相近的圖像，得到了不同的label。這種就是標(biāo)注相沖突的，這也是一個(gè)問題。我們就可以拿一個(gè)ImageNet pre-train的model去看兩個(gè)圖像的差異。假如說真的差異很小，然后label標(biāo)注的截然相反，就可以做一定形式的過濾。

這個(gè)問題我不知道回答的好不好，我就是以我的經(jīng)驗(yàn)來說。這其實(shí)是一個(gè)開放性的問題，可能有很多的方法去實(shí)現(xiàn)。其實(shí)做機(jī)器學(xué)習(xí)，ground truth就相當(dāng)于一個(gè)先知，告訴你哪些是真的標(biāo)注數(shù)據(jù)，那才是真正的標(biāo)注數(shù)據(jù)。那實(shí)際上很多都是人標(biāo)的，人的知識水平就限制了標(biāo)注質(zhì)量的好與差。

雷鋒網(wǎng) AI 科技評論整理。感謝劉凱老師帶來的分享。

相關(guān)文章：

ICML 2017最佳論文：為什么你改了一個(gè)參數(shù)，模型預(yù)測率突然提高了|分享總結(jié)

CVPR 2017精彩論文解讀：顯著降低模型訓(xùn)練成本的主動(dòng)增量學(xué)習(xí) | 分享總結(jié)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。