0
| 本文作者： 李雨晨 | 2021-02-05 15:00 |
直到今天，醫(yī)學(xué)影像AI的研究和落地，還有多少問題沒有解決？
任務(wù)的復(fù)雜多樣、數(shù)據(jù)的非標(biāo)孤立、標(biāo)注的稀疏有噪、模型的脆弱不穩(wěn)，這些成為醫(yī)學(xué)影像AI學(xué)者難以回避的問題。而在現(xiàn)實(shí)環(huán)境中，AI模型面臨的考驗(yàn)更為復(fù)雜、不確定性更大。
2020年可以稱之為“醫(yī)療AI商業(yè)化的元年”，已經(jīng)有多款醫(yī)療AI產(chǎn)品獲得官方審批。在人們驚嘆“中國AI速度”的時候、在醫(yī)學(xué)影像AI的大規(guī)模商業(yè)化之前，我們?nèi)匀灰潇o思考眼下的問題。
2021年1月9日，中關(guān)村醫(yī)學(xué)人工智能研討會舉行。
本次研討會由《中國圖象圖形學(xué)報》聯(lián)合中國生物醫(yī)學(xué)工程學(xué)會醫(yī)學(xué)人工智能分會共同主辦，中國科學(xué)院自動化所田捷教授、華西醫(yī)院副院長龔啟勇教授、中國科學(xué)院計(jì)算所周少華教授、中國科學(xué)院計(jì)算所趙地副研究員等分享了在醫(yī)學(xué)影像的最新研究與應(yīng)用進(jìn)展。
周少華教授是中科院計(jì)算所研究員、香港中文大學(xué)（深圳）兼職教授。
曾獲發(fā)明奧斯卡獎、西門子年度發(fā)明家、馬里蘭大學(xué)ECE杰出校友等，任MICCAI協(xié)會財(cái)長和理事，曾擔(dān)任MICCAI 2020程序聯(lián)席主席，AAAI、CVPR、ICCV、MICCAI和NeurIPS等會議的領(lǐng)域主席。
雷鋒網(wǎng)了解到，2020年底，周少華教授入選美國國家發(fā)明家科學(xué)院(National Academy of Inventors, NAI) Fellow。NAI是一個非政府、非營利性會員組織，成立于2000年。NAI Fellow是該院授予學(xué)術(shù)創(chuàng)新發(fā)明家的最高榮譽(yù)，旨在表彰對人類生活質(zhì)量、經(jīng)濟(jì)發(fā)展和社會福祉影響重大的學(xué)術(shù)創(chuàng)新發(fā)明家。
迄今有1403名Fellows（包括本年度新科Fellows），其中有38名諾貝爾獎獲得者、63名美國國家技術(shù)發(fā)明獎?wù)拢║.S. National Medal of Technology and Innovation）和美國國家科學(xué)獎?wù)拢║.S. National Medal of Science）獲得者、556名美國國家科學(xué)院（NAS）、美國國家工程院（NAE）和美國國家醫(yī)學(xué)院（NAM）院士、137名美國研究型大學(xué)校長或研究機(jī)構(gòu)負(fù)責(zé)人等。
這些來自世界各地的院士共持有42700余項(xiàng)美國專利，創(chuàng)造了3600萬個就業(yè)崗位和超過22000億美元的收益。
演講中，周少華教授列舉了醫(yī)學(xué)影像AI現(xiàn)階段面臨的七大問題。并且，圍繞深度學(xué)習(xí)自動化、通用表征學(xué)習(xí)、學(xué)習(xí)與知識融合等技術(shù)，分享了自己最新的研究思路與應(yīng)用進(jìn)展。
征得周少華教授同意后，我們提供PPT供大家學(xué)習(xí)和下載。關(guān)注公眾號《醫(yī)健AI掘金志》，對話框回復(fù)“周少華”即可獲取。
周少華：非常感謝大會的邀請，我會從算法的層面來分享一下醫(yī)學(xué)影像AI分析的特點(diǎn)、技術(shù)與趨勢。進(jìn)行醫(yī)學(xué)影像分析和處理，首先要知道醫(yī)學(xué)影像有哪些區(qū)別于自然圖像的特點(diǎn)。以下，我從影像、數(shù)據(jù)、疾病、標(biāo)注、樣本、任務(wù)、安全這七個要素來介紹其特點(diǎn)。
首先，醫(yī)學(xué)影像多模高清。常見的影像多模態(tài)包含了X光、CT、核磁、PET-CT、超聲。而且，現(xiàn)在單個模態(tài)（如CT）的圖像精度非常高。精度很高之后，我們就可以利用現(xiàn)有的渲染技術(shù)，把影像渲染地像是照相機(jī)拍的。當(dāng)然，這也給GPU訓(xùn)練帶來了一定的挑戰(zhàn)。
第二個特點(diǎn)是數(shù)據(jù)非標(biāo)孤立。醫(yī)學(xué)影像的數(shù)據(jù)采集沒有同一標(biāo)準(zhǔn)，不同醫(yī)院、影像科室的采集協(xié)議不太一樣。而且，影像數(shù)據(jù)在不同醫(yī)院之間是不互通的，屬于一個孤島的狀態(tài)。甚至，同一家醫(yī)院不同的科室之間的數(shù)據(jù)也是不互通的。
此外，醫(yī)學(xué)影像是疾病的表征。
Kahn’s Radiology Gamuts是一個疾病知識庫，定義了大概17000多個條目。每一個條目可以想象成報告里的一個相關(guān)概念，這需要一個很大的知識庫在底層作支撐。因此，要構(gòu)建一個完全意義上的影像診斷系統(tǒng)，復(fù)雜度巨大。
而且，像肺結(jié)節(jié)等這樣比較常見的疾病占據(jù)了大量數(shù)據(jù)；相反，大量的疾病只有非常少的數(shù)據(jù)，整個呈現(xiàn)一個典型的長尾分布。另外，像新冠肺炎這樣的突發(fā)疾病，數(shù)據(jù)采集從一開始就很有難度?？傊?，疾病長尾突發(fā)。
從標(biāo)注層面來看，數(shù)據(jù)的標(biāo)注也是比較稀少的。我摘取了一些2019年MICCAI競賽組織方提供的標(biāo)注數(shù)量，有的只有33例；也有貌似很大規(guī)模的數(shù)據(jù)集（32萬例），但確是把64×64的patch作為一個樣本。
當(dāng)然，業(yè)界也做出了很多努力，推出一些大型的數(shù)據(jù)集。
另外，即使是有標(biāo)注的數(shù)據(jù)，標(biāo)注也通常會有噪聲。（i）上圖可以看出，不同醫(yī)生在標(biāo)注器官時存在明顯差異。（ii）把這個影像報告作為金標(biāo)準(zhǔn)，從中提取標(biāo)注信息，也是有問題的。
有統(tǒng)計(jì)數(shù)字表明，15%的報告內(nèi)容并沒有完全準(zhǔn)確地描述圖像信息。即使是同一幅圖像讓兩個不同的醫(yī)生來看，可能30%的內(nèi)容是不一致的，這也充分證明標(biāo)注會有很多噪聲。所以，標(biāo)注稀疏有噪。
假設(shè)標(biāo)注充分且沒有噪聲，實(shí)際中又面臨樣本各異不均的問題。
例如肺結(jié)節(jié)良惡性二分類的問題。左邊是正樣本，右邊是負(fù)樣本?？梢钥吹?，即使在同一類中，形態(tài)差異非常大。從樣本的比例來看，負(fù)樣本的數(shù)量遠(yuǎn)大于正樣本，高好幾個數(shù)量級。另外，很多負(fù)樣本長得非常像正樣本。
這些也給我們利用機(jī)器學(xué)習(xí)來進(jìn)行醫(yī)學(xué)影像分析帶來很多困難。
從任務(wù)層面來看，如果想構(gòu)建一個非常大型的AI系統(tǒng)，我們可以看一下總共有多少任務(wù)。
這邊展示了幾個典型任務(wù)，包括從頭顱骨的X光片里找特征點(diǎn)、基于不同模態(tài)的腦配準(zhǔn)、基于乳腺鉬靶來檢測腫瘤、腹部多器官分割、模擬冠脈血流情況。這是五個不同的任務(wù)。
回想一下，醫(yī)學(xué)影像有不同的模態(tài)、不同的疾病類型、不同的技術(shù)、如果把這些要素進(jìn)行排列組合，你會發(fā)現(xiàn)任務(wù)復(fù)雜多樣。
另外一個就是醫(yī)學(xué)影像的安全性。相比于自然圖像，醫(yī)學(xué)圖像更加脆弱和不穩(wěn)定，即安全脆弱不穩(wěn)。
左邊是剛才展示的頭顱骨X光片，我們設(shè)計(jì)了一個特征點(diǎn)檢測的算法。這些綠色的特征點(diǎn)，就是算法檢測到的我們想要的位置。但是，如果在圖像里加上一點(diǎn)干擾，這些特征點(diǎn)的位置就可以被任意操縱。
在這個例子當(dāng)中，我們可以把這些特征點(diǎn)操縱成一個字母“M”的形狀，而我們?nèi)搜鄄煊X不到圖像的變化。
因此，這個算法就處于非常脆弱的狀態(tài)，在原圖加上一些不太容易關(guān)注的變化，就會對輸出結(jié)果產(chǎn)生巨大的影響。
我們也進(jìn)行了一些定量化研究。假設(shè)對一個醫(yī)學(xué)影像進(jìn)行強(qiáng)度小于一個灰度級別的攻擊，意圖改變輸出的結(jié)果。我們攻擊的目標(biāo)是讓神經(jīng)網(wǎng)絡(luò)特征的平均值盡可能降低或增加。
上圖中展示的一個是眼底圖像，另一個是自然圖像。可以看到，兩者的變化差異非常大。醫(yī)學(xué)影像在受到擾動后，很容易就把特征值縮小50%以上，而自然圖像的變化是相對微弱的。隨著網(wǎng)絡(luò)的層數(shù)加深，這個現(xiàn)象進(jìn)一步加劇，變得越來越不穩(wěn)定了。這也從側(cè)面證明，醫(yī)學(xué)影像是一個相對不穩(wěn)定的狀態(tài)，很容易受到影響。
考慮到醫(yī)學(xué)影像的這些特點(diǎn)，我們是否可以針對性地設(shè)計(jì)算法？
目前，最火熱的算法是訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，所謂的深度學(xué)習(xí)。這個算法的假設(shè)條件是：我們有一個單任務(wù)，且有大量的標(biāo)注數(shù)據(jù)，即“小任務(wù)、大數(shù)據(jù)”。在這個條件下，現(xiàn)在的深度神經(jīng)網(wǎng)絡(luò)可以做到非常好的效果。
例如，很多公司在某一類單任務(wù)的影像產(chǎn)品上可以真正達(dá)到實(shí)用級別。但是，這種模式不容易擴(kuò)展，構(gòu)建不了全面的、滿足影像科醫(yī)生所有任務(wù)的系統(tǒng)。
而實(shí)際情況需要我們?nèi)ソ鉀Q“大任務(wù)、小數(shù)據(jù)”的問題，即有大量的復(fù)雜多樣的任務(wù)，每個任務(wù)擁有小量的標(biāo)注數(shù)據(jù)。這給算法研究者提出了新的挑戰(zhàn)：我們能否設(shè)計(jì)一些新的算法，來達(dá)到更好的效果。
“大任務(wù)、小數(shù)據(jù)”是一個非常寬泛的概念，在不同的方向上涌現(xiàn)出了不同類別的趨勢性技術(shù)。今天我主要會介紹深度學(xué)習(xí)自動化、通用表征學(xué)習(xí)、學(xué)習(xí)與知識的融合這三類技術(shù)。
深度學(xué)習(xí)自動化的概念，比較容易理解。
這是一個非常簡單的框架。
假設(shè)有一個輸入的圖像X，輸出變量Y，中間學(xué)習(xí)一個神經(jīng)網(wǎng)絡(luò)f，它的參數(shù)是W。我們會假設(shè)有一堆訓(xùn)練數(shù)據(jù)，就是{(Xi，Yi)}, 然后構(gòu)建一個優(yōu)化問題，定義一些損失函數(shù)或者正則項(xiàng)來學(xué)習(xí)W。
在這個框架之中，實(shí)際上有很多人工的部分（如圖中黃色標(biāo)識所示）。
第一個就是，很多 Yi需要標(biāo)注，標(biāo)注的數(shù)據(jù)量越大越好。所以，我們的第一個研究就是，能否找到一些標(biāo)注高效的算法（如自監(jiān)督、半監(jiān)督、弱監(jiān)督學(xué)習(xí)等方法），減低對標(biāo)注量的需求
其次，學(xué)習(xí)過程本身就是一個優(yōu)化過程，就會有個目標(biāo)函數(shù)。所以我們要提出這么一個損失函數(shù)、正則項(xiàng)，這些也是人為來定義的?，F(xiàn)在，也有研究提出，讓目標(biāo)函數(shù)通過學(xué)習(xí)的方法，更明確地符合所提出的問題。
另外，就是網(wǎng)絡(luò)結(jié)構(gòu)的問題?，F(xiàn)在很多做法是，直接拿一個現(xiàn)有的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，沒有仔細(xì)地調(diào)整結(jié)構(gòu)。所以，我們需要研究，針對具體，是否存在最適合于這個問題的結(jié)構(gòu)。目前的方法包括網(wǎng)絡(luò)結(jié)構(gòu)搜索和元學(xué)習(xí)。
還有一個大家容易忽略的點(diǎn)在于表達(dá)方面。因?yàn)閄已經(jīng)給定了它的表達(dá)，但是Y可以引入不同的表達(dá)。不同的表達(dá)也有講究，因?yàn)檫@會影響到訓(xùn)練本身，主要在于計(jì)算梯度回傳時，它的大小是不一樣的；而梯度回傳的容易程度是訓(xùn)練神經(jīng)網(wǎng)絡(luò)時最重要的指標(biāo)。所以，我們希望找到一個好的Y的表達(dá)，能夠更好地實(shí)現(xiàn)梯度回傳。
輸出表達(dá)
我們先看一個表達(dá)方面的例子：設(shè)計(jì)一個通用型的腫瘤檢測的方案。一般對此類檢測問題，我們會使用Bounding Box (BBox)，二維的BBox有四個參數(shù)，即中心點(diǎn)和長寬。你也可以訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)來尋找方框，但這個方框的表達(dá)在梯度回傳時是非常低效的。因?yàn)樗怯伤膫€參數(shù)的差異，來控制了一個可能包含幾百萬個參數(shù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，所以它不是很高效。
基于此，我們提出了Bounding Map（BMap）的概念，把一個原本是四個參數(shù)的方框變成了一個圖像式的表達(dá)。這樣做的好處在于，每一個像素點(diǎn)都可以回傳一個有指導(dǎo)性的梯度信息。所以，梯度信息就更豐富，神經(jīng)網(wǎng)絡(luò)會學(xué)習(xí)得更好。
我們做了三種方框表達(dá)常用方法的比較。在運(yùn)用了我們的新表達(dá)之后，性能有比較大的提升。
接下來介紹一下自監(jiān)督的概念。
在實(shí)際中，我們可能只有少量的標(biāo)注數(shù)據(jù)，卻有大量的無標(biāo)注數(shù)據(jù)。所以，一個直觀的想法是：我們是否可以利用這些沒有標(biāo)注的數(shù)據(jù)，來幫助目標(biāo)任務(wù)或者目標(biāo)模型的訓(xùn)練。這個就是自監(jiān)督的出發(fā)點(diǎn)。
我們要做的，就是去定義一個proxy task（代理任務(wù)），這個任務(wù)產(chǎn)生監(jiān)督信號。利用這個監(jiān)督信號，我們可以訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，得到一個預(yù)訓(xùn)練的模型。由于我們有大量未標(biāo)注過的數(shù)據(jù)，而通常神經(jīng)網(wǎng)絡(luò)訓(xùn)練中見到的數(shù)據(jù)量越大，其學(xué)到的表征就會越魯棒。
代理任務(wù)的設(shè)計(jì)就成為了一個研究的課題。我們可以去設(shè)計(jì)不同的代理任務(wù)。如果設(shè)計(jì)的好，就可以學(xué)到非常好的網(wǎng)絡(luò)表征。
接下來，我們利用目標(biāo)任務(wù)的少量已標(biāo)注數(shù)據(jù)，把預(yù)訓(xùn)練模型通過遷移學(xué)習(xí)的方法得到最終的目標(biāo)模型。
我們在這個方面也做了一些探索。
我們定義了一個“魔方復(fù)原”的任務(wù)，你可以想象成把一個三維的影像分為8塊（2×2×2）。訓(xùn)練中，你可以像魔方一樣打亂它，但任何一個圖像的打亂過程都是已知的，我們可以通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)去復(fù)原魔方。
在復(fù)原過程當(dāng)中，神經(jīng)網(wǎng)絡(luò)就學(xué)到了圖像本身的表征，然后再把它遷移到目標(biāo)任務(wù)上。上面是我們的最后得到的效果。對比只利用標(biāo)注數(shù)據(jù)從頭訓(xùn)練的方式，我們的自監(jiān)督方法在腦卒中分類、腦腫瘤分割等任務(wù)上的提升是顯而易見的。當(dāng)然，前提是我們有少量的有標(biāo)注數(shù)據(jù)和大量的無標(biāo)注數(shù)據(jù)。
顯然，代理任務(wù)和目標(biāo)任務(wù)的效果是相關(guān)的。目前，很多同行學(xué)者們嘗試提出了不同的代理任務(wù)。我們探索了另一種可能，不提出新的代理任務(wù)，而是將目前已有的代理任務(wù)進(jìn)行融合，看看結(jié)果是否會做的更好。
我們的直覺也很簡單：經(jīng)過訓(xùn)練之后，每個代理任務(wù)應(yīng)該是找到特征空間的一部分，目標(biāo)任務(wù)很可能占據(jù)了特征空間的另外一部分。如果代理任務(wù)完全覆蓋了目標(biāo)任務(wù)想要的特征空間，這個效果就會比較好。
因此，如果每個代理任務(wù)得到的特征空間相似度越小、互補(bǔ)性越強(qiáng)，通過融合后，它們覆蓋的空間就越大，對目標(biāo)任務(wù)的幫助也越大。
我們就據(jù)此設(shè)計(jì)了算法，去尋找這些互補(bǔ)的代理任務(wù)。上面圖中，我們發(fā)現(xiàn)，在六個不同的代理任務(wù)中，其中三個任務(wù)是非常互補(bǔ)的。如果我把這三個任務(wù)融合起來，在這個物體識別實(shí)驗(yàn)上的性能可以提高到接近80%。回到剛才腦卒中的問題，在融合了兩個代理任務(wù)后，性能提高到了90%以上。
標(biāo)注高效的另外一個例子是部分監(jiān)督。
以器官分割舉例，目前存在很多不同的數(shù)據(jù)集，分別提供不同器官的分割標(biāo)注。例如這里有五個不同的數(shù)據(jù)集，分別針對肝臟、腎臟、脾臟、胰腺等。如果能夠整合這五個不同的的數(shù)據(jù)集，以此來擴(kuò)大數(shù)據(jù)量，并融合所有數(shù)據(jù)集里的標(biāo)注信息，是非常有意義的。
我們的做法很簡單：訓(xùn)練一個分割網(wǎng)絡(luò)，對每一個像素點(diǎn)進(jìn)行多分類，即分成六類：肝臟、胰腺、脾臟，左右腎，還有背景。因此，每個像素都會輸出一個六維的向量，代表是屬于哪一個類別的概率（從p0到p5）。
對于只有肝臟標(biāo)注的數(shù)據(jù)，p1代表肝臟，而“背景”則是變成了原先背景與其他器官的融合，因?yàn)樗械姆歉闻K像素點(diǎn)都是背景，背景的概率變成了五個概率的相加，即邊緣概率。在這個條件下，我們就可以在損失函數(shù)里面使用邊緣概率。通過這個機(jī)制，就可以利用所有的標(biāo)注數(shù)據(jù)進(jìn)行六分類網(wǎng)絡(luò)訓(xùn)練，有效地把這些數(shù)據(jù)融合在一起。
同時，在這個文章里我們也提出了一個exclusion loss，利用一個非常顯著的先驗(yàn)知識：這些器官之間是一定不相交的。
例如，回到剛才只有肝臟標(biāo)注的數(shù)據(jù)，我也可以計(jì)算p2（胰腺）來預(yù)測胰腺區(qū)域，而胰腺區(qū)域一定是不能跟p1代表的肝臟區(qū)域是有交叉的。
所以，基于此可以設(shè)計(jì)一個損失函數(shù)，讓這兩個區(qū)域的exclusion要越小越好。
利用這兩個損失函數(shù)訓(xùn)練的結(jié)果如上。實(shí)驗(yàn)中有30個數(shù)據(jù)是有全標(biāo)注的，基于這些數(shù)據(jù)進(jìn)行測試，得到的分割Dice系數(shù)是0.87。針對只有單器官標(biāo)注的數(shù)據(jù)訓(xùn)練二分類的分割網(wǎng)絡(luò)，
它的Dice沒有這么高，只有0.85。通過我們的融合方法，進(jìn)行一個部分監(jiān)督的訓(xùn)練，利用了總共所有688個數(shù)據(jù)，我們模型的Dice達(dá)到了0.93。
所以，我們通過一個非常簡單的想法，就可以有效地把這個數(shù)據(jù)融合在一起，提升了分割的性能。
最近，我們還進(jìn)行了一個比較“極端”的探索：在沒有任何標(biāo)注的條件下，也可以進(jìn)行基于CT的新冠肺炎病灶分割。
我們的出發(fā)點(diǎn)是：不使用新冠肺炎病灶的分割標(biāo)注，但是利用很多沒有任何疾病的CT圖像。
利用這些正常圖，添加一些“人造病灶”。如果這些病灶與新冠病灶類似，我們就可以對病灶分割進(jìn)行學(xué)習(xí)。因此，我們設(shè)計(jì)了一個人造的病灶生成器，該生成器的所有參數(shù)是由人工調(diào)控的。然后把“人造病灶”注入干凈的圖像里，就得到了訓(xùn)練樣本，進(jìn)而訓(xùn)練出一個分割網(wǎng)絡(luò)。
與我們的方法對比的是Anomaly Detection（基于正常的圖像來訓(xùn)練，從而檢測是不是有異常）。
Anomaly Detection在分割上不是很擅長，性能較低，在三個不同新冠數(shù)據(jù)集的Dice系數(shù)只有0.3左右；而我們的USL方法達(dá)到了60%以上，接近70%。 Inf-Net是一個半監(jiān)督的方法，分割性能與我們相近。當(dāng)然，以上方法得到的分割Dice系數(shù)在臨床上遠(yuǎn)沒有達(dá)到應(yīng)用的標(biāo)準(zhǔn)。但是，從研究角度來看，是一個非常有意思的探索。
通用表征學(xué)習(xí)，意在學(xué)習(xí)一個通用的表征來綜合異質(zhì)任務(wù)、擬合多域數(shù)據(jù)、耦合不同表達(dá)，她更符合“大任務(wù)、小數(shù)據(jù)”的思路。
目前我們的一個探索也是基于分割網(wǎng)絡(luò)，意圖設(shè)計(jì)了一個分割網(wǎng)絡(luò)，可以適用于六個不同的分割任務(wù)：輸入是CT圖像，要求輸出是肝臟分割；輸入是MRI圖像，要求輸出是前列腺分割，諸如此類。
我們采用的架構(gòu)本身是通用的U-Net，但是對不同的任務(wù)引入了紫色的Adapter；
就是說，每一個任務(wù)會利用到通用網(wǎng)絡(luò)本身的這些系數(shù)，也會利用到自帶的adapter部分系數(shù)，共同組成了神經(jīng)網(wǎng)絡(luò)。這么做得的好處在于，利用一個網(wǎng)絡(luò)，完成六個網(wǎng)絡(luò)的事情。網(wǎng)絡(luò)的參數(shù)量明顯減少：我們用了原先網(wǎng)絡(luò)接近1%的參數(shù)量，達(dá)到了與六個網(wǎng)絡(luò)類似的分割性能。
另一個優(yōu)勢在于，網(wǎng)絡(luò)的通用部分很容易自適應(yīng)到一個新任務(wù)上。如果我們遇到第七個任務(wù)，我們只需要把通用的部門固定住，針對第七個任務(wù)的差異化表征進(jìn)行微調(diào)，就可以得到非常有競爭力的分割結(jié)果。
這是另一個通用表征的例子，應(yīng)用在MR的影像生成。
從X到Y(jié)，我們可以設(shè)計(jì)一個神經(jīng)網(wǎng)絡(luò)，用F來代表，Y=F(X)。通常情況下，我們也會設(shè)計(jì)一個逆網(wǎng)絡(luò)：X= F-1（Y），這樣就可以從Y回到X。這是一個比較重要的過程，因?yàn)橐胍粋€回路，通過回路可以定義cycle consistency。
在此基礎(chǔ)上，我們提出了一個非常簡單的想法：不是訓(xùn)練兩個不同的神經(jīng)網(wǎng)絡(luò)，一個正網(wǎng)絡(luò)，一個逆網(wǎng)絡(luò)，而是只訓(xùn)練一個神經(jīng)網(wǎng)絡(luò); 也就是說，兩個網(wǎng)絡(luò)是互為自逆的。
訓(xùn)練過程也比較簡單：第一次拿X作為輸入，訓(xùn)練網(wǎng)絡(luò)輸出Y。第二次拿Y作為輸入，反過來輸出X。我們在這個MR的影像生成任務(wù)上達(dá)到了很好的效果，把信噪比提升了3dB左右，這個效果相當(dāng)驚人。
這也是一個通用表征的例子，因?yàn)槲覀冇昧艘粋€表征完成了兩件事情。
最后，再介紹一下學(xué)習(xí)與知識融合。
我們知道，醫(yī)學(xué)影像有很多數(shù)據(jù)，可以通過機(jī)器學(xué)習(xí)（特別是深度學(xué)習(xí)）來建模。同時，醫(yī)學(xué)影像有很多知識，我們也可以直接通過對知識進(jìn)行建模。因此，將學(xué)習(xí)與知識進(jìn)行融合，其效果比僅僅基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)要好。
在實(shí)踐中，我也經(jīng)常觀察到其提升了性能。下面舉例說明。
這是一個胸片自動診斷的例子。
一般方法是訓(xùn)練一個‘黑盒’神經(jīng)網(wǎng)絡(luò)直接預(yù)測診斷結(jié)果。我們研究了一個方法，利用解剖結(jié)構(gòu)分解的知識來提高性能，這也是我們跟臨床醫(yī)生交流之后了解到的。
看胸片進(jìn)行診斷時，你會觀察到肋骨可能會遮擋了肺部，妨礙診斷。因此，我們設(shè)計(jì)了一個分解網(wǎng)絡(luò)把X光片一分為三：骨頭投影、肺部投影、其他投影，然后和原圖一起輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行肺部疾病的自動診斷。這么做，可以從中間的肺部投影圖中獲取到很多更準(zhǔn)確的診斷信息。實(shí)驗(yàn)結(jié)果表明，在14類疾病中，有11類疾病診斷預(yù)測都做得更好，而這11類疾病大多是和肺部直接相關(guān)的。
第二個例子是無配對的偽影去除：給神經(jīng)網(wǎng)絡(luò)一個有偽影的圖，通過學(xué)習(xí)的方法把偽影消除。
這是我們網(wǎng)絡(luò)的設(shè)計(jì)，里面就像是樂高一樣進(jìn)行模塊搭建，搭建過程中就用到了很多知識。最終，網(wǎng)絡(luò)也可以成功地分離出偽影，利用知識后搭建的神經(jīng)網(wǎng)絡(luò)，比一般黑盒的方法要提高不少性能。
另外一個例子，醫(yī)學(xué)影像的層內(nèi)精度比較高，但是層間精度不太高，很多層間信息會模糊。
如果是一個常規(guī)CT、層間精度不夠高的脊柱圖像，進(jìn)行渲染之后，哪怕是骨骼都看不太清楚。
我們最近嘗試進(jìn)行了層間插值的工作，可以有效恢復(fù)層間的信息，更有利于診斷（效果如上圖）。算法本身用到了圖像精度方面的具體知識，因此我們也將其視為“學(xué)習(xí)與知識融合”的例子來展示。具體算法細(xì)節(jié)請參照發(fā)表的文章。
總結(jié)一下，我們分析了醫(yī)學(xué)影像的七大特點(diǎn)，以及圍繞這七大特點(diǎn)，我們提出的相應(yīng)算法趨勢。
最近，我們也寫了一篇綜述文章，也被Proceedings of IEEE接收。
最后，介紹一下MONAI。
MONAI是完全開源的社區(qū)，可以為醫(yī)學(xué)影像分析的研究者提供深度神經(jīng)網(wǎng)絡(luò)方面的資源，由專門的團(tuán)隊(duì)來打造、測試這個軟件，因此軟件的可靠性非常高。
我也是MONAI項(xiàng)目的顧問，我們會提出很多的這些需求，也希望大家可以來使用MONAI。雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
