1
| 本文作者： AI掘金志 | 2019-03-05 10:03 |
雷鋒網(wǎng)按：近日，由麻省理工學院（MIT）電子工程與計算機科學（ECCS）實驗室多位博士所著的醫(yī)學影像AI論文被CVPR 2019收錄。
該團隊為了解決醫(yī)學圖像標注數(shù)據(jù)缺乏的問題，提出了通過學習圖像的變換（transforms）進行數(shù)據(jù)增強的半監(jiān)督分割方法。以下為論文詳細內(nèi)容，由雷鋒網(wǎng)AI掘金志學術(shù)組小煙與卡卡編譯。關(guān)注“AI掘金志”公眾號，在對話框回復關(guān)鍵詞“CVPR”，即可獲取原文PDF。后續(xù)我們也將持續(xù)推送2019 CVPR最新醫(yī)學影像AI文章。
生物醫(yī)學圖像分割是許多醫(yī)學應(yīng)用中的重要任務(wù)?；诰矸e神經(jīng)網(wǎng)絡(luò)的分割方法雖然精確度達到了state-of-the-art，但是通常需要依賴于帶有大型標注數(shù)據(jù)集的監(jiān)督訓練。醫(yī)學圖像的標注需要大量的專業(yè)知識和時間，并且在大規(guī)模上是不可行的。為了解決缺乏標注數(shù)據(jù)的問題，研究人員通常使用人工預(yù)處理、手動調(diào)整架構(gòu)和數(shù)據(jù)增強等技術(shù)。然而，這些技術(shù)涉及復雜的工程工作，并且通常針對特定的數(shù)據(jù)集。因此MIT的團隊提出了用于醫(yī)學圖像的自動數(shù)據(jù)增強方法。
在one-shot磁共振成像（MRI）腦部分割這一實際挑戰(zhàn)中，MIT團隊提出的半監(jiān)督方法只需要單個有人工標注的數(shù)據(jù)以及其他沒有標注的數(shù)據(jù)。首先從圖像中學習變換模型，通過該模型及已標注樣例再來合成額外的標注樣例進行訓練。每個變換由空間變形場（spatial deformation field）和強度（intensity）變化組成，能夠合成復雜的效果，例如解剖學和圖像采集程序的變化。通過這些新樣例增強有監(jiān)督分割模型的訓練，相較于one-shot生物醫(yī)學圖像分割的state-of-the-art方法有了顯著的改進。
圖像語義分割對于許多生物醫(yī)學成像應(yīng)用至關(guān)重要，例如進行人口分析，疾病診斷和治療規(guī)劃等。當有足夠的標注數(shù)據(jù)時，有監(jiān)督的基于深度學習的分割方法可以產(chǎn)生最精確的結(jié)果。然而，在醫(yī)學圖像數(shù)據(jù)集方面具有很大挑戰(zhàn)。
1、人類大腦存在大量的解剖變異
2、手動分割標簽需要相當多的專業(yè)知識和時間，大多數(shù)臨床圖像數(shù)據(jù)集手動標注的圖像非常少
3、不同機構(gòu)和機器的圖像采集差異，導致數(shù)據(jù)分辨率，圖像噪聲和組織外觀等方面產(chǎn)生很大的差異
圖1：生物醫(yī)學圖像在解剖結(jié)構(gòu)，對比度和紋理方面經(jīng)常變化很大（頂行）。與其它one-shot分割方法（底行）相比，我們的方法能夠更準確地分割解剖結(jié)構(gòu)。
為了克服這些挑戰(zhàn)，許多有監(jiān)督的生物醫(yī)學分割方法專注于人工設(shè)計預(yù)處理步驟和架構(gòu)。使用手動調(diào)整的數(shù)據(jù)增強來增加訓練樣本的數(shù)量也很常見，諸如隨機圖像旋轉(zhuǎn)或隨機非線性變形之類的數(shù)據(jù)增強功能，并且已被證明在某些例子中有效地提高了分割準確度。然而，這些功能模擬多樣化和現(xiàn)實的例子的能力有限，并且可能對參數(shù)的選擇高度敏感。
因此，MIT團隊建議通過學習合成多樣且真實的標注樣例來解決標注數(shù)據(jù)數(shù)量有限的挑戰(zhàn)?？偟牧鞒倘鐖D2所示。為了執(zhí)行數(shù)據(jù)增強，我們將變換τ(k)應(yīng)用于標記的圖譜（atlas） x。我們首先學習單獨的空間和外觀變換模型，以捕獲標記的圖譜和每個未標記的體積之間的解剖和外觀差異的分布。使用兩個學習模型，我們通過將空間變換(spatial transform)和外觀變換(appearance transform)應(yīng)用于圖譜集，并通過使用空間變換扭曲圖譜標簽map來合成標注體積。
與 single-atlas分割受到空間變換模型中的不確定性或誤差的影響相比，我們使用相同的空間變換來合成體積和標簽圖，確保新合成的體積被正確標記。這些合成樣例形成標記數(shù)據(jù)集，其表征未標記數(shù)據(jù)集中的解剖學和外觀變化。與atalas一起，這個新的訓練集能夠訓練有監(jiān)督的分割網(wǎng)絡(luò)。
圖2：所提方法的概述。 我們學習獨立的空間和外觀變換模型來捕捉圖像數(shù)據(jù)集中的變化。 然后，我們使用這些模型來合成標記示例的數(shù)據(jù)集。 該合成數(shù)據(jù)集用于訓練監(jiān)督的分割網(wǎng)絡(luò)。
MR圖像強度因為特定對象的噪聲，掃描儀協(xié)議和質(zhì)量以及其他成像參數(shù)的變化而變化，因此許多現(xiàn)有的分割方法依賴于數(shù)據(jù)預(yù)處理來減輕這些與強度相關(guān)的挑戰(zhàn)。 預(yù)處理方法的運行成本很高，而開發(fā)真實數(shù)據(jù)集的技術(shù)是目前較熱門的研究領(lǐng)域。我們的增強方法從另一個角度處理這些與強度相關(guān)的挑戰(zhàn)：它不是去除強度變化，而是使分割方法對MRI掃描的自然變化具有魯棒性。
大量經(jīng)典分割方法使用基于圖譜的或圖譜引導的分割，其中使用變形模型將標記的參考體積或圖譜與目標體積對齊，并且使用相同的變形來傳播標記。當有多個地圖集可用時，它們每個都與目標體積對齊，并且與扭曲的圖譜標簽融合。在基于圖譜的方法中，通過變形模型捕獲對象之間的解剖學變化，并且使用預(yù)處理或強度魯棒性算法（例如歸一化互相關(guān)）來減輕強度變化的挑戰(zhàn)。然而，組織外觀的模糊性（例如，模糊的組織邊界，圖像噪聲）仍然可能導致不準確的配準和分割。我們的目標是通過在不同的現(xiàn)實樣例上訓練分割模型來解決這一局限性，使分割模型對這種模糊性更加魯棒。我們專注于單一圖譜，并證明我們的方法優(yōu)于基于圖譜的分割。如果有多個分割樣例可用，我們的方法可以利用它們。
為了減輕大型標記訓練數(shù)據(jù)集的需求，很多方法通常結(jié)合手工設(shè)計的預(yù)處理和架構(gòu)增強數(shù)據(jù)。半監(jiān)督和無監(jiān)督的方法也被提出來應(yīng)對小訓練數(shù)據(jù)集的挑戰(zhàn)。這些方法不需要成對的圖像和分割數(shù)據(jù)。相反，他們利用分割數(shù)據(jù)的集合來構(gòu)建解剖先驗，訓練對抗網(wǎng)絡(luò)，或訓練新穎的語義約束。 實際上，圖像集合比分割數(shù)據(jù)更容易獲得， 我們的方法不是依賴于分割標注，而是利用一組無標簽的圖像。
形狀和外觀的模型已經(jīng)用于各種圖像分析。在醫(yī)學圖像配準中，空間變形模型用于建立圖像之間的語義對應(yīng)關(guān)系。這個成熟的領(lǐng)域涵蓋了基于優(yōu)化的方法，以及最近基于學習的方法。
我們利用Voxel Morph（一種最近的無監(jiān)督學習方法）來學習空間變換。許多配準方法都側(cè)重于強度歸一化圖像或與強度無關(guān)的目標函數(shù)，并沒有明確說明圖像強度的變化。
對于非標準化圖像，空間和外觀變換模型一起用于記錄紋理或外觀以及形狀不同的對象。許多作品建立在Morphable Models或Active Appearance Models（AAMs）的框架之上，其中構(gòu)建了形狀和紋理的統(tǒng)計模型。在醫(yī)學領(lǐng)域，AAM已被用于定位解剖標志并執(zhí)行分割。 我們通過使用卷積神經(jīng)網(wǎng)絡(luò)來學習無約束空間和強度變換場的模型，從而構(gòu)建這些概念。 我們不是以配準或分割為最終目標學習變換模型，而是從這些模型中進行抽樣，以合成新的訓練樣例。 正如我們在實驗中所示，以這種方式增加訓練集進行分割可以產(chǎn)生比直接使用變換模型執(zhí)行分割更魯棒。
我們的目標是捕獲圖譜和未標記體積之間的變換分布，每個變換模型通過一個卷積神經(jīng)網(wǎng)絡(luò)來學習（如圖3所示）。借鑒Morphable模型和AAM，我們獨立優(yōu)化空間和外觀模型。
對于我們的空間模型，我們利用Voxel Morph，這是最近一種無監(jiān)督的基于學習的方法，具有開源實現(xiàn)。Voxel Morph學習輸出平滑位移矢量場（smooth displacement vector field），通過聯(lián)合優(yōu)化圖像相似性損失和位移場平滑項來將一個圖像記錄到另一個圖像。 我們使用具有歸一化互相關(guān)的Voxel Morph變體作為圖像相似性損失，使得能夠用非標準化的輸入體積估計一個參數(shù)函數(shù)。我們使用類似的方法來學習外觀模型。
在我們的實驗中，我們發(fā)現(xiàn)計算主體空間框架中的圖像相似性損失是有幫助的。
圖3：我們使用基于U-Net架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)來學習每個變換模型。 變換應(yīng)用于空間模型的空間扭曲，以及外觀模型的體素添加。 每個卷積使用3×3×3個內(nèi)核，然后是Leaky Re LU激活層。 編碼器使用最大池化層來降低空間分辨率，而解碼器使用上采樣層。
在基于圖像的監(jiān)督學習任務(wù)中，通常使用諸如旋轉(zhuǎn)和縮放的簡單參數(shù)化變換來執(zhí)行數(shù)據(jù)增強。 在醫(yī)學成像領(lǐng)域中，隨機平滑流場（random smooth flow fields）通常用于模擬解剖學變化。 這些參數(shù)化變換可以減少過度擬合并提高測試性能。 然而，這些變換所帶來的性能增益隨著變換函數(shù)和參數(shù)集的選擇而變化。
最近的工作提出了從數(shù)據(jù)學習數(shù)據(jù)擴充轉(zhuǎn)換。 Hauberg et al. 專注于數(shù)據(jù)增加，用于分類MNIST數(shù)字。 他們學習數(shù)字特定的空間變換，并對訓練圖像和變換進行抽樣，以創(chuàng)建旨在提高分類性能的新示例。 除了空間模型之外，我們還學習了一個外觀模型，并且我們專注于MRI分割的問題。
Ratner et al. 提出了一種半自動化的方法來學習數(shù)據(jù)增強的空間和顏色轉(zhuǎn)換。 它們依賴于用戶輸入來創(chuàng)建簡單參數(shù)化變換函數(shù)的組合（例如，旋轉(zhuǎn)和對比度增強）。他們學習使用生成對抗網(wǎng)絡(luò)生成轉(zhuǎn)換函數(shù)的新組合。 相比之下，我們的方法是完全自動化的。
我們使用基于A. G. Roy et al. 提出的最先進的網(wǎng)絡(luò)架構(gòu)來證明這一點。 為了考慮GPU內(nèi)存限制，網(wǎng)絡(luò)被設(shè)計為一次分割一個切片。 我們使用增強訓練集的隨機切片訓練網(wǎng)絡(luò)，并使用早停在驗證集上選擇訓練迭代的數(shù)量。 我們強調(diào)精確的分割網(wǎng)絡(luò)架構(gòu)不是這項工作的重點，因為我們的方法可以與任何監(jiān)督的分割網(wǎng)絡(luò)結(jié)合使用。
在實驗數(shù)據(jù)上，文章使用了來自8個公開數(shù)據(jù)庫的T1加權(quán)MRI腦部掃描數(shù)據(jù)，選取其中101個圖像作為訓練集，50個為驗證集，100個測試集，每個圖像都有30類標簽。在進行對照實驗時，作者將文章方法與單圖集分割（SAS）、單圖集分割數(shù)據(jù)增強（SAS-aug）（使用訓練過單個圖像的模型分割訓練集產(chǎn)生的數(shù)據(jù)進行訓練）、手動調(diào)整數(shù)據(jù)增強（rand-aug）、全監(jiān)督分割這些方法進行對比。同時，作者提出了基于文章數(shù)據(jù)增強方法的三個變種，即獨立采樣（ours-indep）、耦合采樣（ours-coupled）、獨立采樣+手動調(diào)整數(shù)據(jù)增強（ours-indep + rand-aug）。
在評測分割結(jié)果時，文章采用了醫(yī)學分割常用的骰子分數(shù)(Dice)，計算測試集上100個測試樣本的30類標簽的平均值。表格1展示了各個方法的平均Dice以及相對于單圖集分割方法（SAS）的提升，可以看出文章方法結(jié)果顯著優(yōu)于之前方法，其中的Ours-indep + rand-aug方法比起SAS，Dice有了5.6個百分點的提高。圖4為各方法Dice提升的箱體圖，我們可以明顯看到文章的方法相較于rand-aug分割結(jié)果一致性更好。圖5為100個測試集圖像分割結(jié)果相較于SAS的提高，可以看出ours-indep + rand-aug在每個圖像上的結(jié)果始終保持最優(yōu)。圖6表明rand-aug降低區(qū)域較小的結(jié)構(gòu)的分割結(jié)果。圖7展示了海馬體的分割結(jié)果。
表1：根據(jù)Dice分數(shù)評估分割性能，在100例腦MRI測試集上評估。 我們報告了所有30個解剖標簽和所有100個測試對象的平均Dice評分（以及括號中的標準偏差）。 我們還報告了SAS基線上每種方法的平均成對改進。
圖4：在所有測試例子中與SAS基線相比的平均Dice分數(shù)（在所有30個解剖標記上計算的平均值）的成對改善。
圖5：對于每個測試樣本與SAS基線相比的平均Dice得分（在所有30個解剖標記上計算的平均值）的成對改善。 樣本按我們方法的Dice改進來排序（ours - indep + rand-aug）。
圖6：各種大腦結(jié)構(gòu)中每種方法的分割準確性。 括號中顯示了圖譜中每個標簽占據(jù)的大腦百分比。 標簽按圖譜中每個結(jié)構(gòu)的體積排序，并且組合由左到右結(jié)構(gòu)（例如海馬）組成的標簽。 我們縮寫標簽：白質(zhì)（WM），皮質(zhì)（CX），心室（vent）和腦脊液（CSF）。
圖7：兩個測試對象（行）的海馬分割預(yù)測。 我們的方法（第2列）比基線（第3列和第4列）分割更準確。
作者嘗試分析方法有效性的原因，ours-coupled與SAS-aug兩種方法都產(chǎn)生了100個新的訓練集，而前者效果要優(yōu)于SAS-aug，作者在檢查了產(chǎn)生的測試及后考慮到了兩個因素。一方面ours-coupled方法以與標簽相同的來扭曲圖像，確保扭曲的標簽與變換的圖像匹配。另一方面SAS-aug將不完美的扭曲標簽與 不正確的圖像紋理配對。如圖9所示，文章方法合成的海馬體圖像與真實的海馬體圖像的紋理更加一致。
總結(jié)來說，文章提出了一種基于學習的數(shù)據(jù)增強方法，并在one-shot醫(yī)學分割上進行了測試。文章使用基于學習的方法，來模擬標記和未標記示例之間的空間和外觀變換，并使用它來合成新數(shù)據(jù)和標簽。在測試集中的每個示例上的效果都超出現(xiàn)有的單次分割方法，接近完全監(jiān)督模型的性能。該框架適用于許多場景，例如在臨床上，由于時間限制僅允許手動注釋少量掃描的場合。這項工作表明了從未標記的圖像中學習獨立的空間和外觀變換模型，可以合成各種逼真的標記示例；這些合成示例可用于訓練分割模型，該模型在one-shot分割中優(yōu)于現(xiàn)有方法。雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
