如何讓醫(yī)學圖像診斷網(wǎng)絡具備可解釋性？CVPR oral 作者張子釗詳解 MDNet 技術細節(jié)

本文作者：奕欣

2017-08-23 07:47

導語：MDNet是一個在語義上和視覺上都具備可解釋性的醫(yī)學圖像診斷網(wǎng)絡，作者張子釗將為我們詳細解讀這個神經(jīng)網(wǎng)絡的原理及技術細節(jié)。

雷鋒網(wǎng) AI 科技評論按：雷鋒網(wǎng) AI 科技評論對各大頂級會議的論文及作者一直保持高度關注，在邀約優(yōu)秀的與會老師和同學參加GAIR大講堂等線下分享活動外，雷鋒網(wǎng)也會持續(xù)邀請論文作者對自己的工作進行詳細介紹。

本文為佛羅里達大學博士生張子釗接受雷鋒網(wǎng)AI科技評論的獨家約稿，對他在 CVPR 2017 的 oral 論文《MDNet: A Semantically and Visually Interpretable Medical Image Diagnosis Network》進行詳細解讀。

論文地址：https://arxiv.org/pdf/1707.02485.pdf

張子釗是佛羅里達四年級在讀博士，導師是佛羅里達大學生物工程、計算機系和電子計算機工程系終身職位教授楊林。張子釗的近期研究包括如何利用多模態(tài)知識讓基于人工智能的醫(yī)學圖像診斷方法具有可解釋性，從而獲得更好的臨床實際應用價值。他的相關工作在 2017 年的 CVPR 和 MICCAI 大會上都獲得 Oral 邀請。

近年來，越來越多的學者開始探索如何用人工智能深度學習方法提高計算機輔助醫(yī)學圖像診斷的能力。在多種病癥的圖像上，目前已經(jīng)有一些工作利用大規(guī)模的數(shù)據(jù)證明，深度學習能夠達到甚至超過醫(yī)生的診斷水平。

但是在臨床實踐中，如果讓機器真正有效輔助醫(yī)生進行診斷，機器的輸出應該需要能被醫(yī)生理解。換句話說，機器應該以生成醫(yī)生所能理解的自然語言的方式來表述它所看到的圖像特征，從而推理得出最后的診斷（比如診斷報告）。而這個能力是現(xiàn)有的醫(yī)學圖像診斷方法所缺乏的。

另一方面，在很多類疾病的圖像診斷中（尤其是病理學顯微鏡圖像），醫(yī)生之間的診斷一致性非常低。所以在臨床中，一個醫(yī)生通常需要獲得補充性意見作為參考。這一點更加體現(xiàn)了機器診斷「可解釋性」的重要性。

出于這個動機，本文提出了一個能夠具有在語義上和視覺上為可解釋性的醫(yī)學圖像診斷網(wǎng)絡（MDNet）。給定一張醫(yī)學圖像，MDNet 能夠自動生成完整的診斷報告同時在描述圖像時顯示圖像關注區(qū)（attention）。

網(wǎng)絡結(jié)構(gòu)及技術細節(jié)

MDNet 的網(wǎng)絡結(jié)構(gòu)如圖 1 所示。主要由三個子模塊構(gòu)成：圖像模塊用來生成圖像的表達；語言模塊接受圖像表達輸入來生成診斷報告；Attention 模塊與語言模塊配合生成逐字的圖像關注區(qū)。

利用圖像生成文字描述在計算機視覺中領域中叫做圖像標注（Image captioning）。MDNet 在技術上和圖像標注相似，但是 MDNet 針對一些醫(yī)學圖像特有問題會有一些特定的解決方案，使得 MDNet 在準確率上高于一般的圖像標注方法（實驗部分會說明）。在下文中，本文就三個模塊一一進行介紹。

如何讓醫(yī)學圖像診斷網(wǎng)絡具備可解釋性？CVPR oral 作者張子釗詳解 MDNet 技術細節(jié)

圖 1: MDNet 網(wǎng)絡結(jié)構(gòu)。圖像為膀胱顯微鏡圖像的一個感興趣區(qū)域和對應的診斷報告。

圖像模塊

醫(yī)學圖像中特征（比如顯微鏡圖像中的細胞）通常表現(xiàn)在不同大小的區(qū)域內(nèi)，所以一方面 CNN 需要多尺度（multi-scale）范圍的描述。另一方面，由于醫(yī)學圖像數(shù)據(jù)集通常不夠大，所以 CNN 應該具有高效的學習能力，即用盡量少的參數(shù)獲得最佳準確率。考慮到這兩點，我們改進了殘差網(wǎng)絡（ResNet）來提高它隱形的多尺度集成能力。根據(jù)對 ResNet 最后分類模塊的數(shù)學分析（具體見原文），提出利用獨立的權(quán)重來集成不同尺度特征圖的思想。實現(xiàn)方法非常簡單，只需對 ResNet 稍加改動。在對比試驗中，利用 8M 的參數(shù)，在 CIFAR 10/100 上達到 4.43%／19.94% 的錯誤率。而比較的 ResNet，在更大的 10M 的參數(shù)量上是 4.92%／22.71%（更多的結(jié)果請參考原文）。

語言模塊

語言模塊主要由 LSTM 網(wǎng)絡構(gòu)成。不同于自然圖像標注問題，醫(yī)學圖像并沒有像 Inception 一樣有帶精細化標簽數(shù)據(jù)集（ImageNet）以及訓練好的 CNN 網(wǎng)絡（最后的特征圖融合了很多類的語義信息），所以如何利用 LSTM 從圖像對應的診斷報告中提取這些關于圖像的語義信息來幫助 CNN 理解圖像的特征很重要。我們做了兩個改進（見圖 2）：

因為醫(yī)學診斷報告比較長并且表述了多個圖像特征，我們將整個報告的擬合轉(zhuǎn)化為多個特征描述句的并行擬合（用 Batch shuffle 在訓練時完成），即讓一個 LSTM 前饋只專注于一種特征描述。
為了讓不同句子任務之間共享 LSTM 參數(shù)，MDNet 給 LSTM 設計了一個條件輸入（第二個時間點），用來指定一個 Batch 中每個樣本 LSTM 在輸出什么類型的圖像特征描述句。

如何讓醫(yī)學圖像診斷網(wǎng)絡具備可解釋性？CVPR oral 作者張子釗詳解 MDNet 技術細節(jié)

圖 2：語言模塊的兩個改進。

Attention 模塊

我們發(fā)現(xiàn)原始的 attention model（Xu et al, ICML 2015）得到的 attention 圖大部分無法有效關注局部重要的圖像區(qū)域。為了解決這個問題，我們引入 attention 增強模塊（AAS）來輔助 attention 模塊生成更佳有效的 attention 圖。圖 3 比較了結(jié)果。

如何讓醫(yī)學圖像診斷網(wǎng)絡具備可解釋性？CVPR oral 作者張子釗詳解 MDNet 技術細節(jié)

圖 3: 我們的 attention 圖更佳準確的關注到了感興趣區(qū)域（泌尿道上皮區(qū)）。

網(wǎng)絡訓練

為了讓語言中的語義信息能夠更好的支持 CNN 的學習，MDNet 提出一種端對端的梯度適應策略。調(diào)整梯度的方法如下公式表示：

如何讓醫(yī)學圖像診斷網(wǎng)絡具備可解釋性？CVPR oral 作者張子釗詳解 MDNet 技術細節(jié)

由兩個權(quán)重參數(shù) β 和 η 控制。β 在訓練中動態(tài)變化。主要思想是動態(tài)平衡來自 LSTM 和 AAS 模塊的梯度，從而更好的傳播到 CNN 進行學習。

實驗結(jié)果

這篇文章還改進并提出新的適合醫(yī)學問題的分析度量標準。實驗部分，文章做了 1）生成診斷報告的文字質(zhì)量量化分析（表格 1），2）診斷準確率量化分析（表格 1），以及 3）用 MDNet 進行基于圖像特征描述進行圖像檢索的試驗（表格 2），和 attention 的定性分析。還有對比實驗和算法討論。算法用一個出名的自然圖像標注的算法（NeuralTalk2）作為 baseline 進行比較試驗。在大部分的評價標準上，MDNet 的結(jié)果有很大的提升。

如何讓醫(yī)學圖像診斷網(wǎng)絡具備可解釋性？CVPR oral 作者張子釗詳解 MDNet 技術細節(jié)