雷鋒網(wǎng) AI 科技評論按：本文作者為圣母大學(xué)（University of Notre Dame）博士后徐小維，他為 AI 科技評論撰寫了基于 CVPR 錄用論文《Quantization of Fully Convolutional Networks for Accurate Biomedical Image Segmentation》的獨(dú)家解讀稿件，未經(jīng)許可不得轉(zhuǎn)載。

來自美國圣母大學(xué)和華中科技大學(xué)的研究者們提出了一種利用網(wǎng)絡(luò)量化提升用于醫(yī)療影像分割的深度學(xué)習(xí)模型精度的優(yōu)化方法。該方法創(chuàng)新性地將旨在壓縮網(wǎng)絡(luò)模型的量化方法應(yīng)用到醫(yī)療影像分割深度學(xué)習(xí)模型中，相比于已有的方法，針對當(dāng)前流行的 Gland 數(shù)據(jù)集可提升當(dāng)前 state-of-the-art 的圖片分割準(zhǔn)確度達(dá) 1%-7.5%，同時(shí)獲得壓縮了的深度學(xué)習(xí)模型。該研究已被 CVPR 2018 接收。

論文下載地址： https://arxiv.org/pdf/1803.04907.pdf

醫(yī)療影像在當(dāng)今醫(yī)療診斷中發(fā)揮重要作用。其中，旨在獲取組織器官以及相關(guān)生物結(jié)構(gòu)的影像分割是醫(yī)療影像中最重要的步驟之一，是進(jìn)行疾病診斷、手術(shù)規(guī)劃、治療方案設(shè)計(jì)等的有力支持。傳統(tǒng)的影像分割主要由病理專家進(jìn)行手動分割，該過程單調(diào)且費(fèi)時(shí)。然而，隨著當(dāng)前醫(yī)療影像的進(jìn)一步普及，醫(yī)療影像無論在數(shù)量還是在種類上都急劇增加，傳統(tǒng)的手動分割無法有效的處理大量多種類醫(yī)療影像。自動化醫(yī)療影像分割應(yīng)運(yùn)而生，但也面臨著兩大挑戰(zhàn)：生物結(jié)構(gòu)本身的多樣性，以及醫(yī)療影像技術(shù)本身缺陷導(dǎo)致的低對比度和噪聲等問題。

當(dāng)前深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在醫(yī)療影像分割中展現(xiàn)出遠(yuǎn)超傳統(tǒng)方法的準(zhǔn)確度。Unet [1], DCAN [2,3], suggestive annotation [4] 等在多個(gè)醫(yī)療影像數(shù)據(jù)集上獲得了令人驚喜的準(zhǔn)確度提升。這些神經(jīng)網(wǎng)絡(luò)或是通過改變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) [1], 或是改變訓(xùn)練中的目標(biāo)函數(shù) [2,3]，或是優(yōu)化選取的訓(xùn)練數(shù)據(jù)集 [4]，來減少神經(jīng)網(wǎng)絡(luò)本身的過擬合。與此同時(shí)，網(wǎng)絡(luò)量化被廣泛用于對神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮，以減少參數(shù)數(shù)量和運(yùn)算量。作者發(fā)現(xiàn)在某些情況下 [5, 6]，網(wǎng)絡(luò)量化也可以提升網(wǎng)絡(luò)的分類精度，具有減少網(wǎng)絡(luò)過擬合的潛能。因此，針對醫(yī)療影像分割問題，作者利用量化減少深度神經(jīng)網(wǎng)絡(luò)的過擬合，進(jìn)而提升其準(zhǔn)確度。

該論文的工作是基于已有工作 [4] 完成的。整個(gè)訓(xùn)練框架如圖 1 所示。整個(gè)訓(xùn)練分成兩步：提取訓(xùn)練集（QSA）和網(wǎng)絡(luò)訓(xùn)練（QNT）[4]。針對這兩步，作者利用網(wǎng)絡(luò)量化來減少過擬合。在提取訓(xùn)練集中，通過選取合適的量化方法，提升訓(xùn)練出來的多個(gè)網(wǎng)絡(luò)（FCN）的異化程度，使得選取出來的訓(xùn)練集本身具有更高的代表性（representative）（如圖 2 所示）。在網(wǎng)絡(luò)訓(xùn)練中，作者利用量化，減少過擬合，進(jìn)一步提升網(wǎng)絡(luò)準(zhǔn)確度。

圖 1 量化訓(xùn)練框架

圖 2 量化可以獲取更高的網(wǎng)絡(luò)異化，進(jìn)而獲取更具代表性的數(shù)據(jù)集

作者針對 Gland 數(shù)據(jù)集 [7] 對該方法進(jìn)行了大量實(shí)驗(yàn)。通過對不同的量化方法進(jìn)行對比，作者發(fā)現(xiàn)合適的量化往往可以獲得最佳的準(zhǔn)確度，如圖 3 所示——不量化會引起過擬合，而量化程度過高會引起欠擬合。如表 1 所示，與已有的工作對比，該工作可以獲得最佳的準(zhǔn)確度。在六項(xiàng)比較中，該工作獲得五項(xiàng)第一，一項(xiàng)第二的優(yōu)異性能。

圖 3 不同量化方法的準(zhǔn)確度差異：合適的量化會得到最佳的準(zhǔn)確度

表 1 與已有工作的比較

[1] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In Inernational Conference on Medical Image Computing and Computer-Assisted Intervention, pages 234–241. Springer, 2015.

[2] H. Chen, X. Qi, J.-Z. Cheng, P.-A. Heng, et al. Deep contextual networks for neuronal structure segmentation. In AAAI, pages 1167–1173, 2016. 

[3] H. Chen, X. Qi, L. Yu, and P.-A. Heng. Dcan: Deep contouraware networks for accurate gland segmentation. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 2487–2496, 2016.

[4] L. Yang, Y. Zhang, J. Chen, S. Zhang, and D. Z. Chen. Suggestive annotation: A deep active learning framework for biomedical image segmentation. arXiv preprint arXiv:1706.04737, 2017.

[5] S. Han, H. Mao, and W. J. Dally. Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149, 2015.

[6] A. Zhou, A. Yao, Y. Guo, L. Xu, and Y. Chen. Incremental network quantization: Towards lossless cnns with lowprecision weights. arXiv preprint arXiv:1702.03044, 2017.

[7] K. Sirinukunwattana, J. P. Pluim, H. Chen, X. Qi, P.-A. Heng, Y. B. Guo, L. Y. Wang, B. J. Matuszewski, E. Bruni, U. Sanchez, et al. Gland segmentation in colon histology images: The glas challenge contest. Medical image analysis, 35:489–502, 2017.

[8] Y. Xu, Y. Li, M. Liu, Y. Wang, M. Lai, I. Eric, and C. Chang. Gland instance segmentation by deep multichannel side supervision. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 496–504. Springer, 2016. 

[9] Y. Xu, Y. Li, Y. Wang, M. Liu, Y. Fan, M. Lai, and E. Chang. Gland instance segmentation using deep multichannel neural networks. IEEE Transactions on Biomedical Engineering, 2017.

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。