雷鋒網(wǎng) AI科技評論按：雖然CVPR 2017已經(jīng)落下帷幕，但對精彩論文的解讀還在繼續(xù)。下文是宜遠(yuǎn)智能的首席科學(xué)家劉凱對此次大會收錄的《結(jié)合序列學(xué)習(xí)和交叉形態(tài)卷積的3D生物醫(yī)學(xué)圖像分割》（Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation）一文進行的解讀。

3D醫(yī)學(xué)圖像的切割的背景

3D醫(yī)學(xué)圖像的切割是醫(yī)學(xué)圖像處理里一個非常重要的工作，比如腦部MRI數(shù)據(jù)、肺CT數(shù)據(jù)和X光數(shù)據(jù)等等?，F(xiàn)在大多數(shù)的3D醫(yī)學(xué)圖像分割方法都只用了一個形態(tài)或把多個形態(tài)堆起來變成不同的通道，該工作中提出了一個包含交叉形態(tài)卷積層（cross-modality convolution layer）的深度編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)（deep encoder-decoder structure)來合并核磁共振的不同形態(tài)，還利用卷積LSTM來對2D切片序列建模，并且把多形態(tài)卷積和LSTM網(wǎng)絡(luò)結(jié)合在一起，做到端到端的學(xué)習(xí)。為了防止收斂到某一特定的類，我們使用了權(quán)重策略和two-stage訓(xùn)練來處理類不均勻的情況。

該工作主要針對使用核磁共振（MRI）對腦部腫瘤部位做切割。腦腫瘤如神經(jīng)膠質(zhì)瘤和膠質(zhì)母細(xì)胞瘤有各種不同的形狀，并且會出現(xiàn)在大腦的任何地方，對精確的定位腫瘤帶來了挑戰(zhàn)。腦腫瘤手術(shù)掃描頭部腫瘤的核磁共振有四種不同策略，自旋晶格弛豫（T1），T1-對比（T1C），自旋自旋松弛（T2）和流體衰減反轉(zhuǎn)恢復(fù)（FLAIR），對應(yīng)著四種不同的形態(tài)，每一種掃描的策略對不同的腫瘤組織會有特定的反應(yīng)，可以利用多種形態(tài)的核磁共振圖像來自動的區(qū)分腫瘤組織，輔助醫(yī)生診斷。

網(wǎng)絡(luò)結(jié)構(gòu)

該工作的主要貢獻是把多形態(tài)卷積和LSTM網(wǎng)絡(luò)結(jié)合在一起，做到端到端的對3D影像做切割。網(wǎng)絡(luò)結(jié)構(gòu)的輸入是多形態(tài)的核磁共振數(shù)據(jù)序列，可以給每個像素預(yù)測出腫瘤類型，模型主要包含三個部分：多形態(tài)編碼，交叉形態(tài)卷積和卷積LSTM。系統(tǒng)的詳細(xì)框架如下圖1，不同形態(tài)的切片被堆疊在一起（b）然后傳到多形態(tài)編碼部分里不同的卷積網(wǎng)絡(luò)（一個卷積網(wǎng)絡(luò)對應(yīng)一種形態(tài)），獲得語義上的隱藏特征表示（c），多個形態(tài)的隱藏特征在交叉形態(tài)卷積層發(fā)生聚合（d），然后使用卷積LSTM來更好的挖掘連續(xù)切片的空間序列關(guān)聯(lián)（e）。通過拼接2D的預(yù)測結(jié)果序列生成3D圖像分割。模型綜合切片序列學(xué)習(xí)和多形態(tài)融合一起優(yōu)化，形成一個端到端的系統(tǒng)。

圖1 系統(tǒng)框架：(a)根據(jù)切片為每個3D核磁共振形態(tài)（Flair, T2, T1, T1c）提取切片，(b)相同深度的4個切片被堆疊在一起，(c)每個堆里面4個切片被放到多形態(tài)編碼器里面學(xué)習(xí)隱藏語義特征表示，(d)利用交叉形態(tài)卷積來聚合不同形態(tài)的信息，(e)利用卷積LSTM來對連續(xù)的切片建模，(f)解碼網(wǎng)絡(luò)用來對卷積LSTM的輸出進行上采樣，獲得和輸入圖像一樣的分辨率，(g)最后的結(jié)果是對每個像素位置預(yù)測腫瘤類型，(h)堆疊2D的預(yù)測結(jié)果到3D的分割。

系統(tǒng)的三個主要部分：

（1）編碼器和解碼器

因為BRATS-2015訓(xùn)練集比較小，我們希望多形態(tài)編碼器和解碼器的參數(shù)盡量少，防止過擬合。編碼器是用和SegNet類似的結(jié)構(gòu)，包含4個卷積層和4個最大池化層。每個卷積層用3X3的核來生成特征映射，然后通過batch Norm層和ReLU。最大池化層大小為2，步長為2，下采樣的因子為2。在解碼器網(wǎng)絡(luò)，每個解卷積層做轉(zhuǎn)置卷積，然后用一個卷積和batch normalization。完成上采樣后，特征映射變成了和輸入一樣的分辨率。我們再把解碼器的結(jié)果到多標(biāo)簽的soft-max分類器來輸出每個像素每個類的概率。

（2）交叉形態(tài)卷積

用來融合全部的形態(tài)，在多形態(tài)編碼器之后，4個形態(tài)的切片被編碼成了一個大小為h*w*C的空間，w和h是特征的維度，C是通道，我們把4個形態(tài)同一個通道的切片放到一起，變成C*4*h*w的特征空間，然后用核為4*1*1的核來做3D卷積。這樣同時綜合了空間信息和不同的形態(tài)信息。

交叉形態(tài)卷積相當(dāng)于給4個形態(tài)設(shè)置了權(quán)重。多形態(tài)編碼器輸出的特征是4*h*w*C的，我們reshape成C*h*w*4的然后做交叉形態(tài)卷積。

（3）切片序列學(xué)習(xí)

該工作使用一個端到端的切片序列學(xué)習(xí)框架去建模切片之間的相關(guān)性。使用帶卷積的LSTM，和普通的LSTM區(qū)別是，在輸入到初始狀態(tài)以及狀態(tài)之間的轉(zhuǎn)移，卷積LSTM（convLSTM）把矩陣乘法替換為卷積操作，這樣就保留了較長系列的空間信息。

除了方法上的創(chuàng)新，在應(yīng)用方面也有一些不錯的trick，比如：

1.BRATS-2015數(shù)據(jù)集的類嚴(yán)重不均勻，模型容易收斂到預(yù)測所有的像素為沒有腫瘤問題，使用了median frequency平衡法，在交叉熵loss函數(shù)設(shè)定了一個權(quán)重。

2.兩階段訓(xùn)練：第一階段只采樣包含了腫瘤問題的切片，然后用median frequency方法來減少大類的權(quán)重，在第二階段，降低學(xué)習(xí)率，去掉median frequency，讓分布接近真實的分布。

3.在第一階段訓(xùn)練中，避免采樣到空的序列（全部切片都是正常的大腦組織）。訓(xùn)練LSTM的時候，使用正交初始化來處理梯度消失的問題。

 缺陷

這篇論文有一點小瑕疵，雖然提到KU-Net模型是和他們方法最相關(guān)的模型，但是在最后實驗部分提了因為KU-Net沒有公開源碼而沒有進行實驗對比，這種理由比較少見，個人認(rèn)為既然很相關(guān)，應(yīng)該把別人的算法實現(xiàn)，然后跟他們的結(jié)果作比較才比較有說服力。

論文地址：https://arxiv.org/abs/1704.07754

劉凱博士將于8月1日晚八點對上文進行直播講解，詳情請看下圖。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。