雷鋒網(wǎng)按：本文整理自雅森科技高級(jí)算法研究員楊士霆，在雷鋒網(wǎng)硬創(chuàng)公開(kāi)課上的演講，主題為“智能醫(yī)學(xué)影像分析的前沿與挑戰(zhàn)”。

楊士霆，畢業(yè)于臺(tái)灣長(zhǎng)庚大學(xué)電機(jī)工程研究所博士班，主攻醫(yī)學(xué)影像處理與應(yīng)用。研究領(lǐng)域涉及醫(yī)學(xué)影像處理，生物醫(yī)學(xué)資訊，醫(yī)用光學(xué)，類神經(jīng)與模糊理論，功能性磁振造影，醫(yī)學(xué)物理與生醫(yī)統(tǒng)計(jì)。曾在臺(tái)灣林口長(zhǎng)庚醫(yī)院，寧波杜比醫(yī)療負(fù)責(zé)影像算法開(kāi)發(fā)工作，現(xiàn)任職于北京雅森科技發(fā)展公司，擔(dān)任高級(jí)算法研究員。

公開(kāi)課視頻如下：

以下為雷鋒網(wǎng)整理的演講主要文字內(nèi)容（關(guān)注雷鋒網(wǎng)醫(yī)療科技微信公眾號(hào)“AIHealth”，回復(fù)“117”下載完整PPT）：

本次公開(kāi)課主要分為四部分：

一是醫(yī)學(xué)成像的概念及其類型與方式，以及人工智能及深度學(xué)習(xí)等技術(shù)的介紹；

二是深度學(xué)習(xí)如何應(yīng)用于醫(yī)學(xué)影像處理等醫(yī)療領(lǐng)域；

三是深度學(xué)習(xí)目前遇到的困難與需要突破的方向；

最后是總結(jié)。

醫(yī)學(xué)影像與人工智能

近三十年的醫(yī)學(xué)成像，是一種實(shí)用性及創(chuàng)新概念的革命，主要包括兩個(gè)部分：

一是硬件發(fā)展的突飛猛進(jìn)，包括MR、CT等硬件的發(fā)展，這些成像技術(shù)讓我們得到了很好的影像；

二是復(fù)雜數(shù)學(xué)工具的利用，通過(guò)這些方式可以對(duì)醫(yī)學(xué)影像進(jìn)行重建、分析與處理，從而得到清晰可見(jiàn)的醫(yī)學(xué)圖像。

這兩個(gè)部分造就了成像上的進(jìn)展。

醫(yī)學(xué)成像主要分為兩個(gè)形態(tài)：

一是結(jié)構(gòu)性圖像，它主要可以得到組織的結(jié)構(gòu)性特征，但無(wú)法看到生物有機(jī)代謝的情況；

二是功能性圖像，它可以提示代謝的衰變與下降，或功能性的疾病。

相比結(jié)構(gòu)性圖像，功能性圖像的空間解析度較差。

我們可以透過(guò)不一樣的介質(zhì)來(lái)形成圖像，結(jié)構(gòu)性成像包括：

X-ray，如血管攝影和電腦斷層，它可以看到組織結(jié)構(gòu)；

聲音的方法，如超聲成像；

熒光，它可以用來(lái)探討組織和細(xì)胞的形狀與結(jié)構(gòu)；

磁場(chǎng)，如核磁共振，它可以看到腦組織和身體器官的結(jié)構(gòu)；

光學(xué)，比如眼底圖像，光學(xué)相干斷層掃描，它可以偵探到身體的結(jié)構(gòu)，幫助診斷。

功能性圖像有：

光子，如用單光子電腦斷層掃描，可以看到代謝狀況，不過(guò)沒(méi)法看到組織結(jié)構(gòu)；

正子，如正子斷層掃描，它加上一些醫(yī)學(xué)藥物的應(yīng)用，可以看到代謝情況，看到腫瘤和病灶；

血氧水平，如fMRI功能性磁共振；

電流活動(dòng)，下中圖是腦波圖的方法，透過(guò)腦波圖，拓?fù)涞侥X部對(duì)應(yīng)位置，可以看到活動(dòng)狀態(tài)下腦部電流改變的狀況；

磁場(chǎng)，與腦波圖類似，通過(guò)腦磁圖的方法，用磁場(chǎng)偵探微弱電流，可以感應(yīng)出大腦中的功能性差異。

關(guān)于人工智能，我們一直聽(tīng)到它將對(duì)日常生活產(chǎn)生重要的影響。而如今，計(jì)算機(jī)已經(jīng)可以像人類一樣準(zhǔn)確地處理圖像與視頻，甚至比人類表現(xiàn)還要好。這些突破主要來(lái)自深度學(xué)習(xí)。

關(guān)于深度學(xué)習(xí)，可以理解為它是機(jī)器學(xué)習(xí)的一個(gè)分支，其主要目的是模擬更高層次抽象思維。

深度學(xué)習(xí)主要是建構(gòu)大量的抽象層，幫助將一些輸入的訊號(hào)映射到更高層的表現(xiàn)方式。例如，處理圖像中，輸入的特征可以是每個(gè)像素，可以計(jì)算像素的強(qiáng)度，它可能是一組邊緣，也可能是特定的輪廓與區(qū)域。透過(guò)這些方式可以讓深度學(xué)習(xí)去達(dá)到我們的目的。

深度學(xué)習(xí)主要有非監(jiān)督與半監(jiān)督特征學(xué)習(xí)，它會(huì)分層進(jìn)行特征提取。

在醫(yī)學(xué)成像中，要做到精準(zhǔn)診斷，對(duì)疾病進(jìn)行評(píng)估，需要：

一借助影像設(shè)備獲取圖像，由于近幾年影像設(shè)備的進(jìn)步，它在診斷上取得了比較好的效果。

二是解讀醫(yī)學(xué)圖像。現(xiàn)在主要依靠醫(yī)師完成，但有一些問(wèn)題需要克服，比如主觀性，醫(yī)師的經(jīng)驗(yàn)和訓(xùn)練不同，在看醫(yī)學(xué)圖像時(shí)有不同方式的解讀與定義；另外醫(yī)師的經(jīng)驗(yàn)不同，對(duì)同一組資料的解讀有較大的差異；而且醫(yī)師會(huì)疲勞，從而導(dǎo)致解讀的錯(cuò)誤。

三是檢測(cè)出異常。

四是將想量測(cè)的位置進(jìn)行量化，比如術(shù)前術(shù)后，讓醫(yī)師評(píng)估手術(shù)前后的差異時(shí)，要針對(duì)圖像做量化，透過(guò)前后數(shù)據(jù)的差別，協(xié)助醫(yī)師判斷手術(shù)是否成功。

上面提到的四個(gè)主要問(wèn)題，都可以通過(guò)深度學(xué)習(xí)的方式來(lái)促進(jìn)診斷，即將需要治療的地方做明確的辨識(shí)，輔助醫(yī)師做更有效地診斷，找到病灶。

深度學(xué)習(xí)在醫(yī)學(xué)影像上的應(yīng)用

接下來(lái)要講解深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)影像上的應(yīng)用。目前醫(yī)學(xué)影像領(lǐng)域的主要處理內(nèi)容有：

CAD，即計(jì)算機(jī)輔助診斷，醫(yī)師可以據(jù)此評(píng)估病人的治療情況，以及術(shù)前術(shù)后的差別等。輔助診斷也可以通過(guò)圖像分析的方法，找到腫瘤和癌癥病灶。

圖像分割，主要是對(duì)身體的組織做明確的分割。

圖像配準(zhǔn)與圖像融合，這兩者可以一起講。我們知道，圖像有結(jié)構(gòu)性與功能性之分，后者圖像空間解析度差，可以看到組織的代謝情況，但不知道位于組織中的位置。所以需要影像配準(zhǔn)與融合，將不同類型的圖像結(jié)合在一起，一個(gè)提供清晰的結(jié)構(gòu)，一個(gè)提供代謝情況，這樣可以了解到組織與器官的病變。

影像導(dǎo)引治療。它可以分成兩類，一是影像導(dǎo)引手術(shù)，比如做開(kāi)腦手術(shù)時(shí)，癲癇病人會(huì)不自主地出現(xiàn)放電異常抽動(dòng)，用藥物抵制可能沒(méi)效果，這就要在大腦中植入電極，而這樣就需要引導(dǎo)的方法，將電極放到正確位置上。二是放射手術(shù)治療，即放療，它需要對(duì)腫瘤的位置做評(píng)估，因?yàn)榉派渚€可以殺死癌細(xì)胞，也可能殺死正常細(xì)胞，所以要引導(dǎo)將放療固定在正確的位置，這也就需要醫(yī)學(xué)圖像的應(yīng)用。

最后是醫(yī)學(xué)資料庫(kù)的搜尋與獲取，即如何從資料庫(kù)中檢索出想要的數(shù)據(jù)，這些可以通過(guò)深度學(xué)習(xí)的方法處理。

我們?yōu)槭裁匆卺t(yī)學(xué)圖像上使用深度學(xué)習(xí)的方法呢？因?yàn)閳D像有不同形態(tài)，來(lái)自不同的組織，而如前所述，深度學(xué)習(xí)可以進(jìn)行分析與處理，讓一些人為誤差得到調(diào)整。通過(guò)深度學(xué)習(xí)提取最主要的特征，它也可以對(duì)疾病分類，做圖像分類與分割。

接下來(lái)講講深度學(xué)習(xí)的臨床應(yīng)用。

上圖中的案例是全自動(dòng)淋巴結(jié)檢測(cè)。左邊是縱隔的淋巴結(jié)，右邊是腹部淋巴結(jié)。可以看到，圖像標(biāo)定出來(lái)的位置中，其實(shí)淋巴結(jié)有很大的差異，比如形狀與位置不一定，它與周圍的組織也非常類似。

過(guò)去傳統(tǒng)的圖像處理，是透過(guò)電腦斷層圖像，取得3D的立體影像，然后做影像上的處理分析與應(yīng)用。比較新的方法是増強(qiáng)式3D Haar特征，建立整體完整的檢測(cè)器，透過(guò)scanning window檢測(cè)淋巴結(jié)。

但傳統(tǒng)方法表現(xiàn)不佳，主要是維度上的限制。

在前兩年的一篇論文中，有人透過(guò)深度學(xué)習(xí)的方式自動(dòng)檢測(cè)淋巴結(jié)。做法是，首先通過(guò)隨機(jī)森林分類器RF，檢測(cè)出大概位置并做標(biāo)定；然后將標(biāo)定出來(lái)的淋巴結(jié)，根據(jù)矢狀面、橫切面、冠狀面、三維角度，互相正交結(jié)合，創(chuàng)建出2.5維的空間投影立體特征。接下來(lái)，透過(guò)HOG特征提取方法，對(duì)空間投影圖像進(jìn)行向量特征截取。然后通過(guò)SVM訓(xùn)練方法，將取得的特征做加強(qiáng)和訓(xùn)練，然后自動(dòng)檢測(cè)出淋巴結(jié)位置。

用深度學(xué)習(xí)的方法做分割，在2015年的一篇文章也有展現(xiàn)。它主要利用卷積神經(jīng)網(wǎng)絡(luò)CNN，自動(dòng)將大腦灰質(zhì)、白質(zhì)、腦脊髓翼自動(dòng)分割，從而分析大腦的病變。

這篇論文中利用深度學(xué)習(xí)將不同的病人的資料做分割，精確度都不錯(cuò)。

具體來(lái)說(shuō)，作者用CNN將不同類型的MRI圖像，做有效分割，精確分割灰質(zhì)、白質(zhì)、腦脊髓翼。

他們通過(guò)CNN，將圖像分成一塊塊patch，然后對(duì)完整圖像做學(xué)習(xí)，訓(xùn)練與分類。

上面這個(gè)研究是海馬回的分割。研究表明，海馬回主要與記憶有關(guān)。上圖是用手標(biāo)定的海馬回的位置，可以看出與淋巴結(jié)一樣，它與臨近組織很相近，分割有一定難度。

在2015年的一篇論文中，就有作者通過(guò)CNN，用2D patches、三平面patches，以及改良式3D patches的方法，將海馬回進(jìn)行深度學(xué)習(xí)，從而分割。左邊是還沒(méi)處理的情況，右是明確定位了海馬回的位置。

在光學(xué)圖像上，這里的例子是糖尿病視網(wǎng)膜病變的檢測(cè)。一般來(lái)說(shuō)，糖尿病患者容易發(fā)生眼部疾病，視網(wǎng)膜血管也會(huì)有所改變。上面中間的圖是正常情況，右邊是患者圖像。

所以，在一些研究中用CNN的方法，針對(duì)眼底圖像進(jìn)行糖尿病視網(wǎng)膜病變的辨識(shí)。已經(jīng)可以判斷嚴(yán)重的情況。

另外還有深度學(xué)習(xí)在細(xì)胞檢測(cè)中的應(yīng)用。比如2013年的一篇論文，主要是胸部癌癥細(xì)胞的檢測(cè)，標(biāo)定的是細(xì)胞癌癥，通過(guò)max-pooling CNN，針對(duì)胸部組織圖像做有絲分裂的分析。結(jié)果顯示，精確度達(dá)到了將近9成。

上圖就是針對(duì)組織圖像的分析，得到的有線分裂的情況。

另外，還有個(gè)很好玩的例子。CNN除了做圖像識(shí)別，還可以將3T MRI圖像透過(guò)CNN網(wǎng)絡(luò)，重建出類7T MRI的圖像。所謂T是指特斯拉，即磁場(chǎng)感應(yīng)強(qiáng)度。我們醫(yī)學(xué)中常見(jiàn)的核磁機(jī)器是1T和1.5T，而7T是磁場(chǎng)強(qiáng)達(dá)7特斯拉，這種設(shè)備昂貴，需要很多的費(fèi)用，但7T圖像的性噪比強(qiáng)。所以，研究中想通過(guò)深度學(xué)習(xí)將3T變7T圖像。

上圖可以看出，左邊3T圖像中，腦部邊緣有些模糊，但處理過(guò)后的右圖變得清晰了。這是用低成本的方法做重建。

智能醫(yī)學(xué)影像分析的挑戰(zhàn)

以上就是深度學(xué)習(xí)在醫(yī)學(xué)影像上的應(yīng)用案例。那深度學(xué)習(xí)在應(yīng)用當(dāng)中，還有哪方面的挑戰(zhàn)呢？

目前論文的實(shí)驗(yàn)，主要是探討結(jié)構(gòu)效度的評(píng)估，一般是在實(shí)驗(yàn)架構(gòu)的基礎(chǔ)上，評(píng)估CNN配合哪一個(gè)patch，哪些在實(shí)驗(yàn)中是好是壞。但沒(méi)有思考，在實(shí)際使用深度學(xué)習(xí)的過(guò)程當(dāng)中，表現(xiàn)是否如預(yù)期想的那么好。

使用模型當(dāng)中，也常常選擇很多不一樣類型的特征去訓(xùn)練，這個(gè)過(guò)程中怎么樣找出好的有效特征？另外，在建構(gòu)深度學(xué)習(xí)模型中，如何透過(guò)那么多參數(shù)做調(diào)整。這些都是深度學(xué)習(xí)的挑戰(zhàn)。

另外，想要發(fā)展一個(gè)有效的深度理論學(xué)習(xí)模型，要基于經(jīng)驗(yàn)資料，去調(diào)試與評(píng)估網(wǎng)絡(luò)的效果，這也是主要挑戰(zhàn)的目標(biāo)。在這個(gè)過(guò)程中，要評(píng)估與測(cè)量模型復(fù)雜的程度，比如：

一是深度學(xué)習(xí)過(guò)程中有神經(jīng)元的概念，那到底要多少數(shù)量？到底要多少patch？

二是還要考慮計(jì)算單元的形態(tài)，要放置多少的隱藏層、卷積層？這部分是深度學(xué)習(xí)要思考的。

三是考慮到模型的架構(gòu)和拓?fù)涞慕Y(jié)構(gòu)，怎么樣將CNN與不同類型的機(jī)器學(xué)習(xí)模型，做互相的結(jié)合與比較？

四是是怎么樣有效地將模型產(chǎn)生與建立起來(lái)？

最后是學(xué)習(xí)中效率問(wèn)題。深度學(xué)習(xí)早在80年代就有所發(fā)展，但由于計(jì)算機(jī)的限制，其發(fā)展也并不如意。最近計(jì)算力的進(jìn)步才將機(jī)器學(xué)習(xí)的機(jī)制建立起來(lái)?；剡^(guò)頭來(lái)看，到了如今的情況，硬件越來(lái)越好，那怎么樣讓學(xué)習(xí)效率做更有效的分配或調(diào)整呢？怎么樣將學(xué)習(xí)效率調(diào)整到比較好的階段，達(dá)到很好的結(jié)果？這都是深度學(xué)習(xí)的挑戰(zhàn)。

另外，也需要采集數(shù)據(jù)的量到底需要有多大？聽(tīng)到了很多大數(shù)據(jù)的概念，但MR圖像可能是128*128維度，也有很多的訓(xùn)練。大的數(shù)據(jù)量的分析與統(tǒng)計(jì)都會(huì)影響到大數(shù)據(jù)分析與學(xué)習(xí)。怎么樣做權(quán)衡和評(píng)估的一個(gè)挑戰(zhàn)。

我們需要融合經(jīng)驗(yàn)資料，建構(gòu)深度的理論學(xué)習(xí)模型，以取得好的評(píng)估效果。要做到這些，我們就需要定義一個(gè)理論策略，通過(guò)這個(gè)策略，去評(píng)估、調(diào)試模型。

在這個(gè)過(guò)程中，有一個(gè)常規(guī)化的機(jī)制。即最簡(jiǎn)單的輸入-隱藏-處理-輸出訓(xùn)練模型。但我們?nèi)绾握{(diào)整順序，使得對(duì)模型的調(diào)試更加明確、更加常規(guī)化，也是值得探討的地方。

我們?cè)谧錾疃葘W(xué)習(xí)的過(guò)程中，有個(gè)很一致的概念：我們都希望多放些層，或者減少內(nèi)容。有時(shí)候，可能需要多一些特殊的加成層。但如何明確定義這個(gè)概念，使其常規(guī)化，也是我們要挑戰(zhàn)的目標(biāo)。

另一個(gè)挑戰(zhàn)是：我們?cè)谧錾疃葘W(xué)習(xí)的過(guò)程中，最常使用的是非深度學(xué)習(xí)的架構(gòu)。那我們要怎樣評(píng)估這個(gè)架構(gòu)，找出一個(gè)好方法呢？

最后，是關(guān)于計(jì)算效率。我們先前也有提到，機(jī)器效能和數(shù)據(jù)都會(huì)直接或間接影響計(jì)算效率。如何取得平衡點(diǎn)，是之后的深度學(xué)習(xí)研究中很好的一個(gè)研究方向。 

我們做一個(gè)最簡(jiǎn)單的總結(jié)：深度學(xué)習(xí)主要用來(lái)做什么？

深度學(xué)習(xí)有很大的潛力，能分析大量資料，通過(guò)學(xué)習(xí)給出分析結(jié)論和答案。所以其應(yīng)用廣泛，不僅是在醫(yī)學(xué)影像領(lǐng)域，在其他領(lǐng)域也有很大的貢獻(xiàn)。并且在我們分析大數(shù)據(jù)時(shí)，深度學(xué)習(xí)可以為我們提供精簡(jiǎn)信息。深度學(xué)習(xí)的可發(fā)展性還是非常大的，還有很多東西值得去挑戰(zhàn)，值得大家一起去探討。

在2016年RANA會(huì)議上，深度學(xué)習(xí)、智能學(xué)習(xí)非常熱門，醫(yī)生們意識(shí)到深度學(xué)習(xí)可以輔助診斷，甚至能幫他們找出更有效的治療方法，并且最近的一些會(huì)議中，我們都可以發(fā)現(xiàn)深度學(xué)習(xí)、智能分析的龐大市場(chǎng)和發(fā)展?jié)摿?/p>

我相信，深度學(xué)習(xí)在智能醫(yī)學(xué)影像分析中一定有很大的價(jià)值。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。