0
雷鋒網按：本文整理自雅森科技高級算法研究員楊士霆，在雷鋒網硬創(chuàng)公開課上的演講，主題為“智能醫(yī)學影像分析的前沿與挑戰(zhàn)”。
楊士霆，畢業(yè)于臺灣長庚大學電機工程研究所博士班，主攻醫(yī)學影像處理與應用。研究領域涉及醫(yī)學影像處理，生物醫(yī)學資訊，醫(yī)用光學，類神經與模糊理論，功能性磁振造影，醫(yī)學物理與生醫(yī)統(tǒng)計。曾在臺灣林口長庚醫(yī)院，寧波杜比醫(yī)療負責影像算法開發(fā)工作，現任職于北京雅森科技發(fā)展公司，擔任高級算法研究員。
公開課視頻如下：
以下為雷鋒網整理的演講主要文字內容（關注雷鋒網醫(yī)療科技微信公眾號“AIHealth”，回復“117”下載完整PPT）：
本次公開課主要分為四部分：
一是醫(yī)學成像的概念及其類型與方式，以及人工智能及深度學習等技術的介紹；
二是深度學習如何應用于醫(yī)學影像處理等醫(yī)療領域；
三是深度學習目前遇到的困難與需要突破的方向；
最后是總結。
近三十年的醫(yī)學成像，是一種實用性及創(chuàng)新概念的革命，主要包括兩個部分：
一是硬件發(fā)展的突飛猛進，包括MR、CT等硬件的發(fā)展，這些成像技術讓我們得到了很好的影像；
二是復雜數學工具的利用，通過這些方式可以對醫(yī)學影像進行重建、分析與處理，從而得到清晰可見的醫(yī)學圖像。
這兩個部分造就了成像上的進展。
醫(yī)學成像主要分為兩個形態(tài)：
一是結構性圖像，它主要可以得到組織的結構性特征，但無法看到生物有機代謝的情況；
二是功能性圖像，它可以提示代謝的衰變與下降，或功能性的疾病。
相比結構性圖像，功能性圖像的空間解析度較差。
我們可以透過不一樣的介質來形成圖像，結構性成像包括：
X-ray，如血管攝影和電腦斷層，它可以看到組織結構；
聲音的方法，如超聲成像；
熒光，它可以用來探討組織和細胞的形狀與結構；
磁場，如核磁共振，它可以看到腦組織和身體器官的結構；
光學，比如眼底圖像，光學相干斷層掃描，它可以偵探到身體的結構，幫助診斷。
功能性圖像有：
光子，如用單光子電腦斷層掃描，可以看到代謝狀況，不過沒法看到組織結構；
正子，如正子斷層掃描，它加上一些醫(yī)學藥物的應用，可以看到代謝情況，看到腫瘤和病灶；
血氧水平，如fMRI功能性磁共振；
電流活動，下中圖是腦波圖的方法，透過腦波圖，拓撲到腦部對應位置，可以看到活動狀態(tài)下腦部電流改變的狀況；
磁場，與腦波圖類似，通過腦磁圖的方法，用磁場偵探微弱電流，可以感應出大腦中的功能性差異。
關于人工智能，我們一直聽到它將對日常生活產生重要的影響。而如今，計算機已經可以像人類一樣準確地處理圖像與視頻，甚至比人類表現還要好。這些突破主要來自深度學習。
關于深度學習，可以理解為它是機器學習的一個分支，其主要目的是模擬更高層次抽象思維。
深度學習主要是建構大量的抽象層，幫助將一些輸入的訊號映射到更高層的表現方式。例如，處理圖像中，輸入的特征可以是每個像素，可以計算像素的強度，它可能是一組邊緣，也可能是特定的輪廓與區(qū)域。透過這些方式可以讓深度學習去達到我們的目的。
深度學習主要有非監(jiān)督與半監(jiān)督特征學習，它會分層進行特征提取。
在醫(yī)學成像中，要做到精準診斷，對疾病進行評估，需要：
一借助影像設備獲取圖像，由于近幾年影像設備的進步，它在診斷上取得了比較好的效果。
二是解讀醫(yī)學圖像?，F在主要依靠醫(yī)師完成，但有一些問題需要克服，比如主觀性，醫(yī)師的經驗和訓練不同，在看醫(yī)學圖像時有不同方式的解讀與定義；另外醫(yī)師的經驗不同，對同一組資料的解讀有較大的差異；而且醫(yī)師會疲勞，從而導致解讀的錯誤。
三是檢測出異常。
四是將想量測的位置進行量化，比如術前術后，讓醫(yī)師評估手術前后的差異時，要針對圖像做量化，透過前后數據的差別，協(xié)助醫(yī)師判斷手術是否成功。
上面提到的四個主要問題，都可以通過深度學習的方式來促進診斷，即將需要治療的地方做明確的辨識，輔助醫(yī)師做更有效地診斷，找到病灶。
接下來要講解深度學習技術在醫(yī)學影像上的應用。目前醫(yī)學影像領域的主要處理內容有：
CAD，即計算機輔助診斷，醫(yī)師可以據此評估病人的治療情況，以及術前術后的差別等。輔助診斷也可以通過圖像分析的方法，找到腫瘤和癌癥病灶。
圖像分割，主要是對身體的組織做明確的分割。
圖像配準與圖像融合，這兩者可以一起講。我們知道，圖像有結構性與功能性之分，后者圖像空間解析度差，可以看到組織的代謝情況，但不知道位于組織中的位置。所以需要影像配準與融合，將不同類型的圖像結合在一起，一個提供清晰的結構，一個提供代謝情況，這樣可以了解到組織與器官的病變。
影像導引治療。它可以分成兩類，一是影像導引手術，比如做開腦手術時，癲癇病人會不自主地出現放電異常抽動，用藥物抵制可能沒效果，這就要在大腦中植入電極，而這樣就需要引導的方法，將電極放到正確位置上。二是放射手術治療，即放療，它需要對腫瘤的位置做評估，因為放射線可以殺死癌細胞，也可能殺死正常細胞，所以要引導將放療固定在正確的位置，這也就需要醫(yī)學圖像的應用。
最后是醫(yī)學資料庫的搜尋與獲取，即如何從資料庫中檢索出想要的數據，這些可以通過深度學習的方法處理。
我們?yōu)槭裁匆卺t(yī)學圖像上使用深度學習的方法呢？因為圖像有不同形態(tài)，來自不同的組織，而如前所述，深度學習可以進行分析與處理，讓一些人為誤差得到調整。通過深度學習提取最主要的特征，它也可以對疾病分類，做圖像分類與分割。
接下來講講深度學習的臨床應用。
上圖中的案例是全自動淋巴結檢測。左邊是縱隔的淋巴結，右邊是腹部淋巴結?？梢钥吹?，圖像標定出來的位置中，其實淋巴結有很大的差異，比如形狀與位置不一定，它與周圍的組織也非常類似。
過去傳統(tǒng)的圖像處理，是透過電腦斷層圖像，取得3D的立體影像，然后做影像上的處理分析與應用。比較新的方法是増強式3D Haar特征，建立整體完整的檢測器，透過scanning window檢測淋巴結。
但傳統(tǒng)方法表現不佳，主要是維度上的限制。
在前兩年的一篇論文中，有人透過深度學習的方式自動檢測淋巴結。做法是，首先通過隨機森林分類器RF，檢測出大概位置并做標定；然后將標定出來的淋巴結，根據矢狀面、橫切面、冠狀面、三維角度，互相正交結合，創(chuàng)建出2.5維的空間投影立體特征。接下來，透過HOG特征提取方法，對空間投影圖像進行向量特征截取。然后通過SVM訓練方法，將取得的特征做加強和訓練，然后自動檢測出淋巴結位置。
用深度學習的方法做分割，在2015年的一篇文章也有展現。它主要利用卷積神經網絡CNN，自動將大腦灰質、白質、腦脊髓翼自動分割，從而分析大腦的病變。
這篇論文中利用深度學習將不同的病人的資料做分割，精確度都不錯。
具體來說，作者用CNN將不同類型的MRI圖像，做有效分割，精確分割灰質、白質、腦脊髓翼。
他們通過CNN，將圖像分成一塊塊patch，然后對完整圖像做學習，訓練與分類。
上面這個研究是海馬回的分割。研究表明，海馬回主要與記憶有關。上圖是用手標定的海馬回的位置，可以看出與淋巴結一樣，它與臨近組織很相近，分割有一定難度。
在2015年的一篇論文中，就有作者通過CNN，用2D patches、三平面patches，以及改良式3D patches的方法，將海馬回進行深度學習，從而分割。左邊是還沒處理的情況，右是明確定位了海馬回的位置。
在光學圖像上，這里的例子是糖尿病視網膜病變的檢測。一般來說，糖尿病患者容易發(fā)生眼部疾病，視網膜血管也會有所改變。上面中間的圖是正常情況，右邊是患者圖像。
所以，在一些研究中用CNN的方法，針對眼底圖像進行糖尿病視網膜病變的辨識。已經可以判斷嚴重的情況。
另外還有深度學習在細胞檢測中的應用。比如2013年的一篇論文，主要是胸部癌癥細胞的檢測，標定的是細胞癌癥，通過max-pooling CNN，針對胸部組織圖像做有絲分裂的分析。結果顯示，精確度達到了將近9成。
上圖就是針對組織圖像的分析，得到的有線分裂的情況。
另外，還有個很好玩的例子。CNN除了做圖像識別，還可以將3T MRI圖像透過CNN網絡，重建出類7T MRI的圖像。所謂T是指特斯拉，即磁場感應強度。我們醫(yī)學中常見的核磁機器是1T和1.5T，而7T是磁場強達7特斯拉，這種設備昂貴，需要很多的費用，但7T圖像的性噪比強。所以，研究中想通過深度學習將3T變7T圖像。
上圖可以看出，左邊3T圖像中，腦部邊緣有些模糊，但處理過后的右圖變得清晰了。這是用低成本的方法做重建。
以上就是深度學習在醫(yī)學影像上的應用案例。那深度學習在應用當中，還有哪方面的挑戰(zhàn)呢？
目前論文的實驗，主要是探討結構效度的評估，一般是在實驗架構的基礎上，評估CNN配合哪一個patch，哪些在實驗中是好是壞。但沒有思考，在實際使用深度學習的過程當中，表現是否如預期想的那么好。
使用模型當中，也常常選擇很多不一樣類型的特征去訓練，這個過程中怎么樣找出好的有效特征？另外，在建構深度學習模型中，如何透過那么多參數做調整。這些都是深度學習的挑戰(zhàn)。
另外，想要發(fā)展一個有效的深度理論學習模型，要基于經驗資料，去調試與評估網絡的效果，這也是主要挑戰(zhàn)的目標。在這個過程中，要評估與測量模型復雜的程度，比如：
一是深度學習過程中有神經元的概念，那到底要多少數量？到底要多少patch？
二是還要考慮計算單元的形態(tài)，要放置多少的隱藏層、卷積層？這部分是深度學習要思考的。
三是考慮到模型的架構和拓撲的結構，怎么樣將CNN與不同類型的機器學習模型，做互相的結合與比較？
四是是怎么樣有效地將模型產生與建立起來？
最后是學習中效率問題。深度學習早在80年代就有所發(fā)展，但由于計算機的限制，其發(fā)展也并不如意。最近計算力的進步才將機器學習的機制建立起來?；剡^頭來看，到了如今的情況，硬件越來越好，那怎么樣讓學習效率做更有效的分配或調整呢？怎么樣將學習效率調整到比較好的階段，達到很好的結果？這都是深度學習的挑戰(zhàn)。
另外，也需要采集數據的量到底需要有多大？聽到了很多大數據的概念，但MR圖像可能是128*128維度，也有很多的訓練。大的數據量的分析與統(tǒng)計都會影響到大數據分析與學習。怎么樣做權衡和評估的一個挑戰(zhàn)。
我們需要融合經驗資料，建構深度的理論學習模型，以取得好的評估效果。要做到這些，我們就需要定義一個理論策略，通過這個策略，去評估、調試模型。
在這個過程中，有一個常規(guī)化的機制。即最簡單的輸入-隱藏-處理-輸出訓練模型。但我們如何調整順序，使得對模型的調試更加明確、更加常規(guī)化，也是值得探討的地方。
我們在做深度學習的過程中，有個很一致的概念：我們都希望多放些層，或者減少內容。有時候，可能需要多一些特殊的加成層。但如何明確定義這個概念，使其常規(guī)化，也是我們要挑戰(zhàn)的目標。
另一個挑戰(zhàn)是：我們在做深度學習的過程中，最常使用的是非深度學習的架構。那我們要怎樣評估這個架構，找出一個好方法呢？
最后，是關于計算效率。我們先前也有提到，機器效能和數據都會直接或間接影響計算效率。如何取得平衡點，是之后的深度學習研究中很好的一個研究方向。
我們做一個最簡單的總結：深度學習主要用來做什么？
深度學習有很大的潛力，能分析大量資料，通過學習給出分析結論和答案。所以其應用廣泛，不僅是在醫(yī)學影像領域，在其他領域也有很大的貢獻。并且在我們分析大數據時，深度學習可以為我們提供精簡信息。深度學習的可發(fā)展性還是非常大的，還有很多東西值得去挑戰(zhàn)，值得大家一起去探討。
在2016年RANA會議上，深度學習、智能學習非常熱門，醫(yī)生們意識到深度學習可以輔助診斷，甚至能幫他們找出更有效的治療方法，并且最近的一些會議中，我們都可以發(fā)現深度學習、智能分析的龐大市場和發(fā)展?jié)摿?/p>
我相信，深度學習在智能醫(yī)學影像分析中一定有很大的價值。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
專題
