0
| 本文作者： 李雨晨 | 2021-02-05 15:00 |
直到今天，醫(yī)學(xué)影像AI的研究和落地，還有多少問(wèn)題沒(méi)有解決？
任務(wù)的復(fù)雜多樣、數(shù)據(jù)的非標(biāo)孤立、標(biāo)注的稀疏有噪、模型的脆弱不穩(wěn)，這些成為醫(yī)學(xué)影像AI學(xué)者難以回避的問(wèn)題。而在現(xiàn)實(shí)環(huán)境中，AI模型面臨的考驗(yàn)更為復(fù)雜、不確定性更大。
2020年可以稱之為“醫(yī)療AI商業(yè)化的元年”，已經(jīng)有多款醫(yī)療AI產(chǎn)品獲得官方審批。在人們驚嘆“中國(guó)AI速度”的時(shí)候、在醫(yī)學(xué)影像AI的大規(guī)模商業(yè)化之前，我們?nèi)匀灰潇o思考眼下的問(wèn)題。
2021年1月9日，中關(guān)村醫(yī)學(xué)人工智能研討會(huì)舉行。
本次研討會(huì)由《中國(guó)圖象圖形學(xué)報(bào)》聯(lián)合中國(guó)生物醫(yī)學(xué)工程學(xué)會(huì)醫(yī)學(xué)人工智能分會(huì)共同主辦，中國(guó)科學(xué)院自動(dòng)化所田捷教授、華西醫(yī)院副院長(zhǎng)龔啟勇教授、中國(guó)科學(xué)院計(jì)算所周少華教授、中國(guó)科學(xué)院計(jì)算所趙地副研究員等分享了在醫(yī)學(xué)影像的最新研究與應(yīng)用進(jìn)展。
周少華教授是中科院計(jì)算所研究員、香港中文大學(xué)（深圳）兼職教授。
曾獲發(fā)明奧斯卡獎(jiǎng)、西門(mén)子年度發(fā)明家、馬里蘭大學(xué)ECE杰出校友等，任MICCAI協(xié)會(huì)財(cái)長(zhǎng)和理事，曾擔(dān)任MICCAI 2020程序聯(lián)席主席，AAAI、CVPR、ICCV、MICCAI和NeurIPS等會(huì)議的領(lǐng)域主席。
雷鋒網(wǎng)了解到，2020年底，周少華教授入選美國(guó)國(guó)家發(fā)明家科學(xué)院(National Academy of Inventors, NAI) Fellow。NAI是一個(gè)非政府、非營(yíng)利性會(huì)員組織，成立于2000年。NAI Fellow是該院授予學(xué)術(shù)創(chuàng)新發(fā)明家的最高榮譽(yù)，旨在表彰對(duì)人類生活質(zhì)量、經(jīng)濟(jì)發(fā)展和社會(huì)福祉影響重大的學(xué)術(shù)創(chuàng)新發(fā)明家。
迄今有1403名Fellows（包括本年度新科Fellows），其中有38名諾貝爾獎(jiǎng)獲得者、63名美國(guó)國(guó)家技術(shù)發(fā)明獎(jiǎng)?wù)拢║.S. National Medal of Technology and Innovation）和美國(guó)國(guó)家科學(xué)獎(jiǎng)?wù)拢║.S. National Medal of Science）獲得者、556名美國(guó)國(guó)家科學(xué)院（NAS）、美國(guó)國(guó)家工程院（NAE）和美國(guó)國(guó)家醫(yī)學(xué)院（NAM）院士、137名美國(guó)研究型大學(xué)校長(zhǎng)或研究機(jī)構(gòu)負(fù)責(zé)人等。
這些來(lái)自世界各地的院士共持有42700余項(xiàng)美國(guó)專利，創(chuàng)造了3600萬(wàn)個(gè)就業(yè)崗位和超過(guò)22000億美元的收益。
演講中，周少華教授列舉了醫(yī)學(xué)影像AI現(xiàn)階段面臨的七大問(wèn)題。并且，圍繞深度學(xué)習(xí)自動(dòng)化、通用表征學(xué)習(xí)、學(xué)習(xí)與知識(shí)融合等技術(shù)，分享了自己最新的研究思路與應(yīng)用進(jìn)展。
征得周少華教授同意后，我們提供PPT供大家學(xué)習(xí)和下載。關(guān)注公眾號(hào)《醫(yī)健AI掘金志》，對(duì)話框回復(fù)“周少華”即可獲取。
周少華：非常感謝大會(huì)的邀請(qǐng)，我會(huì)從算法的層面來(lái)分享一下醫(yī)學(xué)影像AI分析的特點(diǎn)、技術(shù)與趨勢(shì)。進(jìn)行醫(yī)學(xué)影像分析和處理，首先要知道醫(yī)學(xué)影像有哪些區(qū)別于自然圖像的特點(diǎn)。以下，我從影像、數(shù)據(jù)、疾病、標(biāo)注、樣本、任務(wù)、安全這七個(gè)要素來(lái)介紹其特點(diǎn)。
首先，醫(yī)學(xué)影像多模高清。常見(jiàn)的影像多模態(tài)包含了X光、CT、核磁、PET-CT、超聲。而且，現(xiàn)在單個(gè)模態(tài)（如CT）的圖像精度非常高。精度很高之后，我們就可以利用現(xiàn)有的渲染技術(shù)，把影像渲染地像是照相機(jī)拍的。當(dāng)然，這也給GPU訓(xùn)練帶來(lái)了一定的挑戰(zhàn)。
第二個(gè)特點(diǎn)是數(shù)據(jù)非標(biāo)孤立。醫(yī)學(xué)影像的數(shù)據(jù)采集沒(méi)有同一標(biāo)準(zhǔn)，不同醫(yī)院、影像科室的采集協(xié)議不太一樣。而且，影像數(shù)據(jù)在不同醫(yī)院之間是不互通的，屬于一個(gè)孤島的狀態(tài)。甚至，同一家醫(yī)院不同的科室之間的數(shù)據(jù)也是不互通的。
此外，醫(yī)學(xué)影像是疾病的表征。
Kahn’s Radiology Gamuts是一個(gè)疾病知識(shí)庫(kù)，定義了大概17000多個(gè)條目。每一個(gè)條目可以想象成報(bào)告里的一個(gè)相關(guān)概念，這需要一個(gè)很大的知識(shí)庫(kù)在底層作支撐。因此，要構(gòu)建一個(gè)完全意義上的影像診斷系統(tǒng)，復(fù)雜度巨大。
而且，像肺結(jié)節(jié)等這樣比較常見(jiàn)的疾病占據(jù)了大量數(shù)據(jù)；相反，大量的疾病只有非常少的數(shù)據(jù)，整個(gè)呈現(xiàn)一個(gè)典型的長(zhǎng)尾分布。另外，像新冠肺炎這樣的突發(fā)疾病，數(shù)據(jù)采集從一開(kāi)始就很有難度。總之，疾病長(zhǎng)尾突發(fā)。
從標(biāo)注層面來(lái)看，數(shù)據(jù)的標(biāo)注也是比較稀少的。我摘取了一些2019年MICCAI競(jìng)賽組織方提供的標(biāo)注數(shù)量，有的只有33例；也有貌似很大規(guī)模的數(shù)據(jù)集（32萬(wàn)例），但確是把64×64的patch作為一個(gè)樣本。
當(dāng)然，業(yè)界也做出了很多努力，推出一些大型的數(shù)據(jù)集。
另外，即使是有標(biāo)注的數(shù)據(jù)，標(biāo)注也通常會(huì)有噪聲。（i）上圖可以看出，不同醫(yī)生在標(biāo)注器官時(shí)存在明顯差異。（ii）把這個(gè)影像報(bào)告作為金標(biāo)準(zhǔn)，從中提取標(biāo)注信息，也是有問(wèn)題的。
有統(tǒng)計(jì)數(shù)字表明，15%的報(bào)告內(nèi)容并沒(méi)有完全準(zhǔn)確地描述圖像信息。即使是同一幅圖像讓兩個(gè)不同的醫(yī)生來(lái)看，可能30%的內(nèi)容是不一致的，這也充分證明標(biāo)注會(huì)有很多噪聲。所以，標(biāo)注稀疏有噪。
假設(shè)標(biāo)注充分且沒(méi)有噪聲，實(shí)際中又面臨樣本各異不均的問(wèn)題。
例如肺結(jié)節(jié)良惡性二分類的問(wèn)題。左邊是正樣本，右邊是負(fù)樣本?？梢钥吹剑词乖谕活愔?，形態(tài)差異非常大。從樣本的比例來(lái)看，負(fù)樣本的數(shù)量遠(yuǎn)大于正樣本，高好幾個(gè)數(shù)量級(jí)。另外，很多負(fù)樣本長(zhǎng)得非常像正樣本。
這些也給我們利用機(jī)器學(xué)習(xí)來(lái)進(jìn)行醫(yī)學(xué)影像分析帶來(lái)很多困難。
從任務(wù)層面來(lái)看，如果想構(gòu)建一個(gè)非常大型的AI系統(tǒng)，我們可以看一下總共有多少任務(wù)。
這邊展示了幾個(gè)典型任務(wù)，包括從頭顱骨的X光片里找特征點(diǎn)、基于不同模態(tài)的腦配準(zhǔn)、基于乳腺鉬靶來(lái)檢測(cè)腫瘤、腹部多器官分割、模擬冠脈血流情況。這是五個(gè)不同的任務(wù)。
回想一下，醫(yī)學(xué)影像有不同的模態(tài)、不同的疾病類型、不同的技術(shù)、如果把這些要素進(jìn)行排列組合，你會(huì)發(fā)現(xiàn)任務(wù)復(fù)雜多樣。
另外一個(gè)就是醫(yī)學(xué)影像的安全性。相比于自然圖像，醫(yī)學(xué)圖像更加脆弱和不穩(wěn)定，即安全脆弱不穩(wěn)。
左邊是剛才展示的頭顱骨X光片，我們?cè)O(shè)計(jì)了一個(gè)特征點(diǎn)檢測(cè)的算法。這些綠色的特征點(diǎn)，就是算法檢測(cè)到的我們想要的位置。但是，如果在圖像里加上一點(diǎn)干擾，這些特征點(diǎn)的位置就可以被任意操縱。
在這個(gè)例子當(dāng)中，我們可以把這些特征點(diǎn)操縱成一個(gè)字母“M”的形狀，而我們?nèi)搜鄄煊X(jué)不到圖像的變化。
因此，這個(gè)算法就處于非常脆弱的狀態(tài)，在原圖加上一些不太容易關(guān)注的變化，就會(huì)對(duì)輸出結(jié)果產(chǎn)生巨大的影響。
我們也進(jìn)行了一些定量化研究。假設(shè)對(duì)一個(gè)醫(yī)學(xué)影像進(jìn)行強(qiáng)度小于一個(gè)灰度級(jí)別的攻擊，意圖改變輸出的結(jié)果。我們攻擊的目標(biāo)是讓神經(jīng)網(wǎng)絡(luò)特征的平均值盡可能降低或增加。
上圖中展示的一個(gè)是眼底圖像，另一個(gè)是自然圖像。可以看到，兩者的變化差異非常大。醫(yī)學(xué)影像在受到擾動(dòng)后，很容易就把特征值縮小50%以上，而自然圖像的變化是相對(duì)微弱的。隨著網(wǎng)絡(luò)的層數(shù)加深，這個(gè)現(xiàn)象進(jìn)一步加劇，變得越來(lái)越不穩(wěn)定了。這也從側(cè)面證明，醫(yī)學(xué)影像是一個(gè)相對(duì)不穩(wěn)定的狀態(tài)，很容易受到影響。
考慮到醫(yī)學(xué)影像的這些特點(diǎn)，我們是否可以針對(duì)性地設(shè)計(jì)算法？
目前，最火熱的算法是訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，所謂的深度學(xué)習(xí)。這個(gè)算法的假設(shè)條件是：我們有一個(gè)單任務(wù)，且有大量的標(biāo)注數(shù)據(jù)，即“小任務(wù)、大數(shù)據(jù)”。在這個(gè)條件下，現(xiàn)在的深度神經(jīng)網(wǎng)絡(luò)可以做到非常好的效果。
例如，很多公司在某一類單任務(wù)的影像產(chǎn)品上可以真正達(dá)到實(shí)用級(jí)別。但是，這種模式不容易擴(kuò)展，構(gòu)建不了全面的、滿足影像科醫(yī)生所有任務(wù)的系統(tǒng)。
而實(shí)際情況需要我們?nèi)ソ鉀Q“大任務(wù)、小數(shù)據(jù)”的問(wèn)題，即有大量的復(fù)雜多樣的任務(wù)，每個(gè)任務(wù)擁有小量的標(biāo)注數(shù)據(jù)。這給算法研究者提出了新的挑戰(zhàn)：我們能否設(shè)計(jì)一些新的算法，來(lái)達(dá)到更好的效果。
“大任務(wù)、小數(shù)據(jù)”是一個(gè)非常寬泛的概念，在不同的方向上涌現(xiàn)出了不同類別的趨勢(shì)性技術(shù)。今天我主要會(huì)介紹深度學(xué)習(xí)自動(dòng)化、通用表征學(xué)習(xí)、學(xué)習(xí)與知識(shí)的融合這三類技術(shù)。
深度學(xué)習(xí)自動(dòng)化的概念，比較容易理解。
這是一個(gè)非常簡(jiǎn)單的框架。
假設(shè)有一個(gè)輸入的圖像X，輸出變量Y，中間學(xué)習(xí)一個(gè)神經(jīng)網(wǎng)絡(luò)f，它的參數(shù)是W。我們會(huì)假設(shè)有一堆訓(xùn)練數(shù)據(jù)，就是{(Xi，Yi)}, 然后構(gòu)建一個(gè)優(yōu)化問(wèn)題，定義一些損失函數(shù)或者正則項(xiàng)來(lái)學(xué)習(xí)W。
在這個(gè)框架之中，實(shí)際上有很多人工的部分（如圖中黃色標(biāo)識(shí)所示）。
第一個(gè)就是，很多 Yi需要標(biāo)注，標(biāo)注的數(shù)據(jù)量越大越好。所以，我們的第一個(gè)研究就是，能否找到一些標(biāo)注高效的算法（如自監(jiān)督、半監(jiān)督、弱監(jiān)督學(xué)習(xí)等方法），減低對(duì)標(biāo)注量的需求
其次，學(xué)習(xí)過(guò)程本身就是一個(gè)優(yōu)化過(guò)程，就會(huì)有個(gè)目標(biāo)函數(shù)。所以我們要提出這么一個(gè)損失函數(shù)、正則項(xiàng)，這些也是人為來(lái)定義的?，F(xiàn)在，也有研究提出，讓目標(biāo)函數(shù)通過(guò)學(xué)習(xí)的方法，更明確地符合所提出的問(wèn)題。
另外，就是網(wǎng)絡(luò)結(jié)構(gòu)的問(wèn)題?，F(xiàn)在很多做法是，直接拿一個(gè)現(xiàn)有的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，沒(méi)有仔細(xì)地調(diào)整結(jié)構(gòu)。所以，我們需要研究，針對(duì)具體，是否存在最適合于這個(gè)問(wèn)題的結(jié)構(gòu)。目前的方法包括網(wǎng)絡(luò)結(jié)構(gòu)搜索和元學(xué)習(xí)。
還有一個(gè)大家容易忽略的點(diǎn)在于表達(dá)方面。因?yàn)閄已經(jīng)給定了它的表達(dá)，但是Y可以引入不同的表達(dá)。不同的表達(dá)也有講究，因?yàn)檫@會(huì)影響到訓(xùn)練本身，主要在于計(jì)算梯度回傳時(shí)，它的大小是不一樣的；而梯度回傳的容易程度是訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)最重要的指標(biāo)。所以，我們希望找到一個(gè)好的Y的表達(dá)，能夠更好地實(shí)現(xiàn)梯度回傳。
輸出表達(dá)
我們先看一個(gè)表達(dá)方面的例子：設(shè)計(jì)一個(gè)通用型的腫瘤檢測(cè)的方案。一般對(duì)此類檢測(cè)問(wèn)題，我們會(huì)使用Bounding Box (BBox)，二維的BBox有四個(gè)參數(shù)，即中心點(diǎn)和長(zhǎng)寬。你也可以訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)尋找方框，但這個(gè)方框的表達(dá)在梯度回傳時(shí)是非常低效的。因?yàn)樗怯伤膫€(gè)參數(shù)的差異，來(lái)控制了一個(gè)可能包含幾百萬(wàn)個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，所以它不是很高效。
基于此，我們提出了Bounding Map（BMap）的概念，把一個(gè)原本是四個(gè)參數(shù)的方框變成了一個(gè)圖像式的表達(dá)。這樣做的好處在于，每一個(gè)像素點(diǎn)都可以回傳一個(gè)有指導(dǎo)性的梯度信息。所以，梯度信息就更豐富，神經(jīng)網(wǎng)絡(luò)會(huì)學(xué)習(xí)得更好。
我們做了三種方框表達(dá)常用方法的比較。在運(yùn)用了我們的新表達(dá)之后，性能有比較大的提升。
接下來(lái)介紹一下自監(jiān)督的概念。
在實(shí)際中，我們可能只有少量的標(biāo)注數(shù)據(jù)，卻有大量的無(wú)標(biāo)注數(shù)據(jù)。所以，一個(gè)直觀的想法是：我們是否可以利用這些沒(méi)有標(biāo)注的數(shù)據(jù)，來(lái)幫助目標(biāo)任務(wù)或者目標(biāo)模型的訓(xùn)練。這個(gè)就是自監(jiān)督的出發(fā)點(diǎn)。
我們要做的，就是去定義一個(gè)proxy task（代理任務(wù)），這個(gè)任務(wù)產(chǎn)生監(jiān)督信號(hào)。利用這個(gè)監(jiān)督信號(hào)，我們可以訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，得到一個(gè)預(yù)訓(xùn)練的模型。由于我們有大量未標(biāo)注過(guò)的數(shù)據(jù)，而通常神經(jīng)網(wǎng)絡(luò)訓(xùn)練中見(jiàn)到的數(shù)據(jù)量越大，其學(xué)到的表征就會(huì)越魯棒。
代理任務(wù)的設(shè)計(jì)就成為了一個(gè)研究的課題。我們可以去設(shè)計(jì)不同的代理任務(wù)。如果設(shè)計(jì)的好，就可以學(xué)到非常好的網(wǎng)絡(luò)表征。
接下來(lái)，我們利用目標(biāo)任務(wù)的少量已標(biāo)注數(shù)據(jù)，把預(yù)訓(xùn)練模型通過(guò)遷移學(xué)習(xí)的方法得到最終的目標(biāo)模型。
我們?cè)谶@個(gè)方面也做了一些探索。
我們定義了一個(gè)“魔方復(fù)原”的任務(wù)，你可以想象成把一個(gè)三維的影像分為8塊（2×2×2）。訓(xùn)練中，你可以像魔方一樣打亂它，但任何一個(gè)圖像的打亂過(guò)程都是已知的，我們可以通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)去復(fù)原魔方。
在復(fù)原過(guò)程當(dāng)中，神經(jīng)網(wǎng)絡(luò)就學(xué)到了圖像本身的表征，然后再把它遷移到目標(biāo)任務(wù)上。上面是我們的最后得到的效果。對(duì)比只利用標(biāo)注數(shù)據(jù)從頭訓(xùn)練的方式，我們的自監(jiān)督方法在腦卒中分類、腦腫瘤分割等任務(wù)上的提升是顯而易見(jiàn)的。當(dāng)然，前提是我們有少量的有標(biāo)注數(shù)據(jù)和大量的無(wú)標(biāo)注數(shù)據(jù)。
顯然，代理任務(wù)和目標(biāo)任務(wù)的效果是相關(guān)的。目前，很多同行學(xué)者們嘗試提出了不同的代理任務(wù)。我們探索了另一種可能，不提出新的代理任務(wù)，而是將目前已有的代理任務(wù)進(jìn)行融合，看看結(jié)果是否會(huì)做的更好。
我們的直覺(jué)也很簡(jiǎn)單：經(jīng)過(guò)訓(xùn)練之后，每個(gè)代理任務(wù)應(yīng)該是找到特征空間的一部分，目標(biāo)任務(wù)很可能占據(jù)了特征空間的另外一部分。如果代理任務(wù)完全覆蓋了目標(biāo)任務(wù)想要的特征空間，這個(gè)效果就會(huì)比較好。
因此，如果每個(gè)代理任務(wù)得到的特征空間相似度越小、互補(bǔ)性越強(qiáng)，通過(guò)融合后，它們覆蓋的空間就越大，對(duì)目標(biāo)任務(wù)的幫助也越大。
我們就據(jù)此設(shè)計(jì)了算法，去尋找這些互補(bǔ)的代理任務(wù)。上面圖中，我們發(fā)現(xiàn)，在六個(gè)不同的代理任務(wù)中，其中三個(gè)任務(wù)是非常互補(bǔ)的。如果我把這三個(gè)任務(wù)融合起來(lái)，在這個(gè)物體識(shí)別實(shí)驗(yàn)上的性能可以提高到接近80%?；氐絼偛拍X卒中的問(wèn)題，在融合了兩個(gè)代理任務(wù)后，性能提高到了90%以上。
標(biāo)注高效的另外一個(gè)例子是部分監(jiān)督。
以器官分割舉例，目前存在很多不同的數(shù)據(jù)集，分別提供不同器官的分割標(biāo)注。例如這里有五個(gè)不同的數(shù)據(jù)集，分別針對(duì)肝臟、腎臟、脾臟、胰腺等。如果能夠整合這五個(gè)不同的的數(shù)據(jù)集，以此來(lái)擴(kuò)大數(shù)據(jù)量，并融合所有數(shù)據(jù)集里的標(biāo)注信息，是非常有意義的。
我們的做法很簡(jiǎn)單：訓(xùn)練一個(gè)分割網(wǎng)絡(luò)，對(duì)每一個(gè)像素點(diǎn)進(jìn)行多分類，即分成六類：肝臟、胰腺、脾臟，左右腎，還有背景。因此，每個(gè)像素都會(huì)輸出一個(gè)六維的向量，代表是屬于哪一個(gè)類別的概率（從p0到p5）。
對(duì)于只有肝臟標(biāo)注的數(shù)據(jù)，p1代表肝臟，而“背景”則是變成了原先背景與其他器官的融合，因?yàn)樗械姆歉闻K像素點(diǎn)都是背景，背景的概率變成了五個(gè)概率的相加，即邊緣概率。在這個(gè)條件下，我們就可以在損失函數(shù)里面使用邊緣概率。通過(guò)這個(gè)機(jī)制，就可以利用所有的標(biāo)注數(shù)據(jù)進(jìn)行六分類網(wǎng)絡(luò)訓(xùn)練，有效地把這些數(shù)據(jù)融合在一起。
同時(shí)，在這個(gè)文章里我們也提出了一個(gè)exclusion loss，利用一個(gè)非常顯著的先驗(yàn)知識(shí)：這些器官之間是一定不相交的。
例如，回到剛才只有肝臟標(biāo)注的數(shù)據(jù)，我也可以計(jì)算p2（胰腺）來(lái)預(yù)測(cè)胰腺區(qū)域，而胰腺區(qū)域一定是不能跟p1代表的肝臟區(qū)域是有交叉的。
所以，基于此可以設(shè)計(jì)一個(gè)損失函數(shù)，讓這兩個(gè)區(qū)域的exclusion要越小越好。
利用這兩個(gè)損失函數(shù)訓(xùn)練的結(jié)果如上。實(shí)驗(yàn)中有30個(gè)數(shù)據(jù)是有全標(biāo)注的，基于這些數(shù)據(jù)進(jìn)行測(cè)試，得到的分割Dice系數(shù)是0.87。針對(duì)只有單器官標(biāo)注的數(shù)據(jù)訓(xùn)練二分類的分割網(wǎng)絡(luò)，
它的Dice沒(méi)有這么高，只有0.85。通過(guò)我們的融合方法，進(jìn)行一個(gè)部分監(jiān)督的訓(xùn)練，利用了總共所有688個(gè)數(shù)據(jù)，我們模型的Dice達(dá)到了0.93。
所以，我們通過(guò)一個(gè)非常簡(jiǎn)單的想法，就可以有效地把這個(gè)數(shù)據(jù)融合在一起，提升了分割的性能。
最近，我們還進(jìn)行了一個(gè)比較“極端”的探索：在沒(méi)有任何標(biāo)注的條件下，也可以進(jìn)行基于CT的新冠肺炎病灶分割。
我們的出發(fā)點(diǎn)是：不使用新冠肺炎病灶的分割標(biāo)注，但是利用很多沒(méi)有任何疾病的CT圖像。
利用這些正常圖，添加一些“人造病灶”。如果這些病灶與新冠病灶類似，我們就可以對(duì)病灶分割進(jìn)行學(xué)習(xí)。因此，我們?cè)O(shè)計(jì)了一個(gè)人造的病灶生成器，該生成器的所有參數(shù)是由人工調(diào)控的。然后把“人造病灶”注入干凈的圖像里，就得到了訓(xùn)練樣本，進(jìn)而訓(xùn)練出一個(gè)分割網(wǎng)絡(luò)。
與我們的方法對(duì)比的是Anomaly Detection（基于正常的圖像來(lái)訓(xùn)練，從而檢測(cè)是不是有異常）。
Anomaly Detection在分割上不是很擅長(zhǎng)，性能較低，在三個(gè)不同新冠數(shù)據(jù)集的Dice系數(shù)只有0.3左右；而我們的USL方法達(dá)到了60%以上，接近70%。 Inf-Net是一個(gè)半監(jiān)督的方法，分割性能與我們相近。當(dāng)然，以上方法得到的分割Dice系數(shù)在臨床上遠(yuǎn)沒(méi)有達(dá)到應(yīng)用的標(biāo)準(zhǔn)。但是，從研究角度來(lái)看，是一個(gè)非常有意思的探索。
通用表征學(xué)習(xí)，意在學(xué)習(xí)一個(gè)通用的表征來(lái)綜合異質(zhì)任務(wù)、擬合多域數(shù)據(jù)、耦合不同表達(dá)，她更符合“大任務(wù)、小數(shù)據(jù)”的思路。
目前我們的一個(gè)探索也是基于分割網(wǎng)絡(luò)，意圖設(shè)計(jì)了一個(gè)分割網(wǎng)絡(luò)，可以適用于六個(gè)不同的分割任務(wù)：輸入是CT圖像，要求輸出是肝臟分割；輸入是MRI圖像，要求輸出是前列腺分割，諸如此類。
我們采用的架構(gòu)本身是通用的U-Net，但是對(duì)不同的任務(wù)引入了紫色的Adapter；
就是說(shuō)，每一個(gè)任務(wù)會(huì)利用到通用網(wǎng)絡(luò)本身的這些系數(shù)，也會(huì)利用到自帶的adapter部分系數(shù)，共同組成了神經(jīng)網(wǎng)絡(luò)。這么做得的好處在于，利用一個(gè)網(wǎng)絡(luò)，完成六個(gè)網(wǎng)絡(luò)的事情。網(wǎng)絡(luò)的參數(shù)量明顯減少：我們用了原先網(wǎng)絡(luò)接近1%的參數(shù)量，達(dá)到了與六個(gè)網(wǎng)絡(luò)類似的分割性能。
另一個(gè)優(yōu)勢(shì)在于，網(wǎng)絡(luò)的通用部分很容易自適應(yīng)到一個(gè)新任務(wù)上。如果我們遇到第七個(gè)任務(wù)，我們只需要把通用的部門(mén)固定住，針對(duì)第七個(gè)任務(wù)的差異化表征進(jìn)行微調(diào)，就可以得到非常有競(jìng)爭(zhēng)力的分割結(jié)果。
這是另一個(gè)通用表征的例子，應(yīng)用在MR的影像生成。
從X到Y(jié)，我們可以設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，用F來(lái)代表，Y=F(X)。通常情況下，我們也會(huì)設(shè)計(jì)一個(gè)逆網(wǎng)絡(luò)：X= F-1（Y），這樣就可以從Y回到X。這是一個(gè)比較重要的過(guò)程，因?yàn)橐胍粋€(gè)回路，通過(guò)回路可以定義cycle consistency。
在此基礎(chǔ)上，我們提出了一個(gè)非常簡(jiǎn)單的想法：不是訓(xùn)練兩個(gè)不同的神經(jīng)網(wǎng)絡(luò)，一個(gè)正網(wǎng)絡(luò)，一個(gè)逆網(wǎng)絡(luò)，而是只訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò); 也就是說(shuō)，兩個(gè)網(wǎng)絡(luò)是互為自逆的。
訓(xùn)練過(guò)程也比較簡(jiǎn)單：第一次拿X作為輸入，訓(xùn)練網(wǎng)絡(luò)輸出Y。第二次拿Y作為輸入，反過(guò)來(lái)輸出X。我們?cè)谶@個(gè)MR的影像生成任務(wù)上達(dá)到了很好的效果，把信噪比提升了3dB左右，這個(gè)效果相當(dāng)驚人。
這也是一個(gè)通用表征的例子，因?yàn)槲覀冇昧艘粋€(gè)表征完成了兩件事情。
最后，再介紹一下學(xué)習(xí)與知識(shí)融合。
我們知道，醫(yī)學(xué)影像有很多數(shù)據(jù)，可以通過(guò)機(jī)器學(xué)習(xí)（特別是深度學(xué)習(xí)）來(lái)建模。同時(shí)，醫(yī)學(xué)影像有很多知識(shí)，我們也可以直接通過(guò)對(duì)知識(shí)進(jìn)行建模。因此，將學(xué)習(xí)與知識(shí)進(jìn)行融合，其效果比僅僅基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)要好。
在實(shí)踐中，我也經(jīng)常觀察到其提升了性能。下面舉例說(shuō)明。
這是一個(gè)胸片自動(dòng)診斷的例子。
一般方法是訓(xùn)練一個(gè)‘黑盒’神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)診斷結(jié)果。我們研究了一個(gè)方法，利用解剖結(jié)構(gòu)分解的知識(shí)來(lái)提高性能，這也是我們跟臨床醫(yī)生交流之后了解到的。
看胸片進(jìn)行診斷時(shí)，你會(huì)觀察到肋骨可能會(huì)遮擋了肺部，妨礙診斷。因此，我們?cè)O(shè)計(jì)了一個(gè)分解網(wǎng)絡(luò)把X光片一分為三：骨頭投影、肺部投影、其他投影，然后和原圖一起輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行肺部疾病的自動(dòng)診斷。這么做，可以從中間的肺部投影圖中獲取到很多更準(zhǔn)確的診斷信息。實(shí)驗(yàn)結(jié)果表明，在14類疾病中，有11類疾病診斷預(yù)測(cè)都做得更好，而這11類疾病大多是和肺部直接相關(guān)的。
第二個(gè)例子是無(wú)配對(duì)的偽影去除：給神經(jīng)網(wǎng)絡(luò)一個(gè)有偽影的圖，通過(guò)學(xué)習(xí)的方法把偽影消除。
這是我們網(wǎng)絡(luò)的設(shè)計(jì)，里面就像是樂(lè)高一樣進(jìn)行模塊搭建，搭建過(guò)程中就用到了很多知識(shí)。最終，網(wǎng)絡(luò)也可以成功地分離出偽影，利用知識(shí)后搭建的神經(jīng)網(wǎng)絡(luò)，比一般黑盒的方法要提高不少性能。
另外一個(gè)例子，醫(yī)學(xué)影像的層內(nèi)精度比較高，但是層間精度不太高，很多層間信息會(huì)模糊。
如果是一個(gè)常規(guī)CT、層間精度不夠高的脊柱圖像，進(jìn)行渲染之后，哪怕是骨骼都看不太清楚。
我們最近嘗試進(jìn)行了層間插值的工作，可以有效恢復(fù)層間的信息，更有利于診斷（效果如上圖）。算法本身用到了圖像精度方面的具體知識(shí)，因此我們也將其視為“學(xué)習(xí)與知識(shí)融合”的例子來(lái)展示。具體算法細(xì)節(jié)請(qǐng)參照發(fā)表的文章。
總結(jié)一下，我們分析了醫(yī)學(xué)影像的七大特點(diǎn)，以及圍繞這七大特點(diǎn)，我們提出的相應(yīng)算法趨勢(shì)。
最近，我們也寫(xiě)了一篇綜述文章，也被Proceedings of IEEE接收。
最后，介紹一下MONAI。
MONAI是完全開(kāi)源的社區(qū)，可以為醫(yī)學(xué)影像分析的研究者提供深度神經(jīng)網(wǎng)絡(luò)方面的資源，由專門(mén)的團(tuán)隊(duì)來(lái)打造、測(cè)試這個(gè)軟件，因此軟件的可靠性非常高。
我也是MONAI項(xiàng)目的顧問(wèn)，我們會(huì)提出很多的這些需求，也希望大家可以來(lái)使用MONAI。雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
