0
近日,第三屆圖像計算與數(shù)字醫(yī)學國際研討會(ISICDM 2019),在西安索菲特酒店召開。研討會由國際數(shù)字醫(yī)學會與國家天元數(shù)學西北中心聯(lián)合主辦,西安電子科技大學數(shù)學與統(tǒng)計學院與空軍軍醫(yī)大學(第四軍醫(yī)大學)生物醫(yī)學工程學院聯(lián)合承辦。
雷鋒網(wǎng)&AI掘金志第三次作為大會首席合作媒體,全程參與ISICDM的報道。
在此次研討會的數(shù)字醫(yī)學與智能診療分會上,浙江大學醫(yī)學院附屬第一醫(yī)院的葉香華主任發(fā)表了題為《人工智能助力放療靶區(qū)與放療計劃——數(shù)學和醫(yī)學契合相融》的主題演講。
葉香華是浙江大學醫(yī)學院附屬第一醫(yī)院腫瘤放射治療科的副主任醫(yī)師,主要研究領(lǐng)域是胸部惡性腫瘤(肺癌、乳腺癌、食道癌)的放化療、智能精確放療研究以及放療相關(guān)性微生態(tài)研究。
在演講中,葉主任主要圍繞靶區(qū)自動勾畫和放療計劃系統(tǒng),分享了多個人工智能如何與放療進行有機結(jié)合的案例。
葉主任表示,靶區(qū)的手工勾畫存在很多問題,放療科醫(yī)生每天50%的任務就是勾畫靶區(qū),而這件事情做起來并不容易,“特別是一個鼻咽癌的患者,沒有花3到5個小時做出來的計劃,我們都拿不出手?!?/p>
雷鋒網(wǎng)了解到,腫瘤的解剖結(jié)構(gòu)很復雜,在勾畫靶區(qū)的同時還需要把周圍的危機器官勾畫出來。另外,醫(yī)生還需要根據(jù)解剖結(jié)構(gòu)形成空間想象的能力、提前預判病灶的轉(zhuǎn)移途徑。
因此,靶區(qū)勾畫非??简炨t(yī)生的個人經(jīng)驗。葉主任認為,如果人工智能可以做到媲美人類的勾畫精度、實現(xiàn)危害器官和和正常器官的標準化制定,醫(yī)生的工作流程將會得到很大程度的改善。
此外,在制定放療計劃方面,葉主任也提出了自己的想法和需求。
傳統(tǒng)的方式里,物理學家會根據(jù)規(guī)定的治療方案和臨床劑量學原理模擬治療,明確放療方案,確定滿足臨床治療要求的定位參數(shù),以確保重要器官不出現(xiàn)超量照射。但是現(xiàn)在用的大部分是基于經(jīng)驗的放療計劃,如果有AI介入的話,可以幫助提高計劃的精準度。
以下是葉香華主任的演講內(nèi)容,雷鋒網(wǎng)作了不改變原意的編輯
葉香華:我是來自浙江大學附屬第一醫(yī)院腫瘤放射治療科的醫(yī)生葉香華,歡迎各位理工科的朋友來到這次大會,我今天報告的題目是《人工智能助力放療靶區(qū)與放療計劃——數(shù)學和醫(yī)學契合相融》。
我們都知道,人工智能是計算機通過對已有知識的學習、積累經(jīng)驗,自動提高任務的處理性能。這就相當于人體的樹突和軸突,從樹突輸入信號到軸突輸出信號的一個過程。
人工智能的發(fā)展從上世紀50年代的圖靈測試開始,90年代出現(xiàn)最簡單的郵件分類,直到2010年時人工智能全面爆發(fā),在各個領(lǐng)域上都有很多的應用出現(xiàn)。當然,醫(yī)學也是其中一個重要領(lǐng)域。
從放療科醫(yī)生的角度而言,我也會關(guān)注人工智能在放療領(lǐng)域的應用,放療領(lǐng)域的學習熱度也在逐年上升。從19世紀50、60年代零星的幾篇論文發(fā)展到現(xiàn)在的每年一千多篇。在理工科的角度來看,這樣的數(shù)量可能比較少。但是在放療這個領(lǐng)域,它的熱度還是非常高的,圍繞放療領(lǐng)域的前沿研究很多也都是基于人工智能來進行。
我今天主要講兩個方面的內(nèi)容:靶區(qū)自動勾畫和放療計劃系統(tǒng),和大家探討一下人工智能如何與放療進行有機的結(jié)合。
首先我說一下手動勾畫存在的問題。
作為一個放療科醫(yī)生,我們每天50%的任務可能就是勾畫靶區(qū),大家可能覺得勾畫靶區(qū)是件很簡單的事情,其實不是的?;颊叩囊环軨T有200多張圖像,我們要在每一張圖上把所有的病灶勾畫出來,把旁邊的危機器官勾畫出來,不能半點馬虎。
要細心地勾畫一個患者,特別是一個鼻咽癌的患者,沒有3到5個小時做出來的計劃,我自己都覺得拿不出手。就以鼻咽部為例,鼻咽部的解剖結(jié)構(gòu)特別復雜,初級醫(yī)生反復記憶五六遍可能都不夠,一兩年的時間才能非常的熟悉。
然后,我們要在各個切面上準確的找出來,并且根據(jù)解剖結(jié)構(gòu)形成空間的感覺,想象這個病灶的轉(zhuǎn)移途徑,它會往哪里長?有沒有侵犯旁邊的肌肉、侵犯到什么程度?
這需要我們有一個預判的能力,不是說看到病灶長在什么地方,就勾畫到什么地方。亞臨床灶的意思是指,病灶有可能往后面還會擴散到哪個地方,這些都是需要考慮到的。
因此,我們勾畫的時候就存在很多的問題,這非??简炨t(yī)生的個人經(jīng)驗還有知識的累積。所以,我們的工作又費時又費力,我們開玩笑說,頸椎病可能是放療科醫(yī)生的標配。因為每天都是對著電腦,逐層地進行勾畫。
與此同時,有一些患者也不理解,自己做完定位之后為什么不能夠立即進行治療。然后,我跟他們解釋需要勾畫靶區(qū)、做計劃、做驗證一大堆后天工作,他們還是不完全理解。假如有了人工智能的助力,是不是可以把靶區(qū)勾畫的時間大大縮短?
另外,手動勾畫還存在的一個問題是:無法實現(xiàn)行業(yè)的標準化。醫(yī)生的個人經(jīng)驗不一致,注意力也是不一樣的。此前有一篇關(guān)于腸道息肉檢測的文章里提到,醫(yī)生上、下午檢測出來的腸息肉概率是不一樣的,注意力也是影響結(jié)果的一個重要因素。假如有了人工智能的助力,是不是這一些都會有所改善?
因此,我們放療科就衍生出了自動勾畫的需求。首先,要保證自動勾畫的效果和手動勾畫一樣準確,我說的是一樣準確。作為一個醫(yī)生,可能我的要求會比較高。我不認為相似系數(shù)達到70%左右就能夠達到臨床上的滿意度。我甚至覺得,相似度應該是90%、95%甚至99%。
為什么?因為如果給了我一個靶區(qū)初步勾畫的方案,這個結(jié)果只有70%的相似性,我需要重新修改它,修改的過程可能比我自己勾畫一個靶區(qū)的過程還要長,這就得不償失了。所以說,準確性是我們更為需要的東西。自動勾畫是一分鐘完成還是三小時完成,對我來說并不是那么重要,但是準確率尤為重要。
第二點需求是危機器官和正常器官的標準化制定。剛才我提到,同一個醫(yī)生在不同的時間或者是不同醫(yī)生勾畫出來的結(jié)果都是不一樣的。
雖然我們有RTOG、EORTC等規(guī)劃的標準,但是還是存在差距。假如有一個相對標準化的制定,可以提高放療的安全性,讓年輕的醫(yī)生得到均質(zhì)化的培訓和教育,實現(xiàn)具有統(tǒng)一評價性的、可比較的治療方案,這是我們需要的東西。
我們知道,傳統(tǒng)的自動分割技術(shù)是沒有先驗知識的。低級的分割方法,比如說強度閾值,還有區(qū)域增長,還有啟發(fā)式邊緣檢測等算法。這些低級分割方法,對于優(yōu)化技術(shù)來說不是特別好。所以,后面又出現(xiàn)了基于區(qū)域的分割技術(shù),比如說活動輪廓、水平集還有分水嶺算法等等,這些可以達到形變的配準效果。
后來,由于統(tǒng)計學的高速發(fā)展,又出現(xiàn)了基于概率的分割技術(shù),比如說高斯混合模型、聚類,K近鄰還有貝葉斯分類、淺層的人工神經(jīng)網(wǎng)絡等等。它的一個優(yōu)點在于,能夠在圖像中找到已知的像素點,但是由于缺少相鄰像素的參考,局部效果可能很不錯,但是缺乏全局性。
還有基于單一圖譜的分割技術(shù),這些都是比較早的分割技術(shù)。
我們現(xiàn)在用的比較多的是OAR,基于圖譜庫的自動分割技術(shù),然后還有隨機森林模型或者是多模態(tài)的分割技術(shù),也可以增強圖譜式的分割技術(shù)精度。
但是無論怎么樣,圖譜式是基于前面的圖譜來尋找靶區(qū),假如形狀變化特別大、體積特別小,或者是算法選擇錯誤的話,都會影響配準的精度。
那么,多圖譜分割就是在圖譜式分割的基礎(chǔ)上,在個體形狀差異大的情況下,提高配準的效率和魯棒性,特別是在頭頸部、心臟和臂叢神經(jīng)上應用會比較多。
為什么會常用在頭頸部的病灶組織?因為頭頸部的結(jié)構(gòu)雖然比較復雜,但是其骨性標志物相對固定,活動度也不像胸部和腹部那么大。所以,用圖譜式的分割方式所獲得的OAR分割,臨床應用效果還是比較好的,但是用于胸部和腹部就相對會差一點。
此外,還有學者提出利用一種聯(lián)合強度建模的多圖譜分割方法,在晶體、腦干、脊髓方面的分割效果看起來也不錯。
再具體看一下,AB加上IM的聯(lián)合強度建模的效果最好,在眼球還有晶狀體的視神經(jīng)、頭部等方面的表現(xiàn)也都不錯,但是在甲狀腺方面還是有一定的差距,可能因為相比較于眼球、腦干的圖譜庫,甲狀腺的個體差異比較大。
到了現(xiàn)在,我們可以通過對訓練樣本泛化特征的學習,自動提取標簽化的特征來識別新的場景。CNN網(wǎng)絡通過多層卷積操作,可以從底層到高層逐層抽取出圖像特征,通過給定的標注來進行迭代的學習,對自動抽取的特征進行像素級別的分類,從而實現(xiàn)對醫(yī)學影像的目標分割。
有學者在此基礎(chǔ)上,用了支持向量機的方式,對磁共振圖像里的腦干進行了分割。
從這個圖中,我們看到第二個是人工分割的結(jié)果,前后幾個是機器的分割,我們看到絕對體積差基本上是差不多的,但平均分割時間差距很大。
紅色是人工智能畫的靶區(qū),好像還不錯,因為相對來說腦干也簡單一點。
我覺得在訓練時間上,SVM確實非常有優(yōu)勢,然后也比較了Atlas-based的一些方法,SVM具有相對快速的時間,只有36.6s。
還有一些學者引用了基于增強特征的一些SDAE的方法,對于視神經(jīng)、視交叉,還有垂體、垂體柄、腦干等等頭頸部的病灶來進行分割,相似系度也能達到76%-83%,分割時間也是比前面講的SVM還快很多,靈敏度和特異性都是非常不錯的。
具體看一下右側(cè)的視神經(jīng)、垂體和視交叉的一個對比。綠色部分是我們自己手工勾畫的,紅色部分跟綠色的區(qū)別不大。但是細看起來,頂部勾畫起來相對還好,到了底部還是有一些中斷。這個可能是因為頂部視神經(jīng)的信號差異比較大,勾畫起來也會比較方便。
還有用CNN還有LSTM和集成模型,根據(jù)融合特征和分類器,做的頭顱左側(cè)膠質(zhì)瘤的分割。
我們可以看到,三者對于膠質(zhì)瘤的分割效果還是比較不錯的,相似系數(shù)也達到了0.8左右。
這是2017年的時候,斯坦福大學的邢磊教授利用CNN對于頭頸部腫瘤進行OAR勾畫的文章。
他利用了50幅頭頸部3D-CT圖像,然后對它進行卷積神經(jīng)網(wǎng)絡的勾畫。我們可以看一下結(jié)果,用的比較好是在脊髓、下頜骨、咽部、喉部還有眼睛、視神經(jīng)等等,但是比較差的是腮腺和視神經(jīng)等部位。
究其原因,還是因為CT圖像上,腮腺還有視交叉的變異程度比較大,CT的邊界也不是很清楚。所以像脊髓、下頜骨、骨頭這些骨性標志來說,做起來的效果會比較好。
前面講的都是關(guān)于OAR危機器官。我們知道危機器官比較固定,勾畫起來相對簡單一點?,F(xiàn)在有一些國內(nèi)外的公司也陸續(xù)有一些軟件產(chǎn)品出現(xiàn),那么對于一個CTV和GTV的自動勾畫卻是比較困難的。為什么?我剛才也說了,腫瘤的解剖結(jié)構(gòu)非常復雜,邊界也比較難以確定,那么臨床更是一樣的,亞臨床的病灶需要醫(yī)生用自己的知識去判斷,那么邊界就更難確定了。
這篇文章運用了一個FCM:模糊C均值聚類,還有ANN、SVM比較了三個實性肺結(jié)節(jié),還有混合結(jié)節(jié)等,我們可以看到FCM可以達到相對較好的效果,紅色部分是手工勾畫的,綠色的是FCM勾畫出來的。他們的擬合度還是很不錯的。對于實性結(jié)節(jié)而言,ANN/SVM的勾畫效果都還好,但是對于磨玻璃結(jié)節(jié)的勾畫差異就比較大了。
深度學習也用于NPC鼻咽癌的勾畫。這是2019年深圳大學發(fā)表的一篇文章,我們可以看到關(guān)于NPC的勾畫,中間這一塊就是高信號的鼻咽部的病灶,從小體積到大體積、從上一直到下給出了勾畫的結(jié)果。
我們可以看到A、B、C、D里第四幅圖的相似精確度是最高的。對于這種肉眼比較明確的部位,勾畫起來的效果也會稍微好一些。
還有學者用深度擴張的DDCNN網(wǎng)絡,對218例的直腸癌患者進行CTV的勾畫,以及旁邊的一些危機器官,比如膀胱、直腸,還有雙側(cè)股骨頭的勾畫。我們可以看到CTV的勾畫相似系數(shù)達到87.7%,然后膀胱和雙側(cè)股骨頭的勾畫效果還不錯,達到90%。
但是小腸和結(jié)腸的相似系數(shù)就比較少,因為它們都是空腔臟器,可能跟寒氣有關(guān)系,但是勾畫時間肯定很快,也不受體型和輪廓等等的影響。
目前所用的勾畫軟件,比如說ABAS、Mim、Velocity等等也慢慢地運用于我們的工作場景。
這是我們科室做的一些勾畫實例。我們可以看看評估的一些指數(shù),包括Dice系數(shù)、敏感性指數(shù)、包容性指數(shù)等三個指數(shù)。
從勾畫的結(jié)果來看,無論是肺還是心臟、食管、氣管,結(jié)果都還不錯,除了食管這一塊稍微低一點。這是我們根據(jù)200例的圖像做出來的自動勾畫結(jié)果。雖然有一些地方確實不盡滿意,但是總體而言,還是把我們大部分的東西給勾畫出來了。
具體看一下肺里面的勾畫。
我們看一下相似系度可以達到0.97,紅色的部分是我們自己勾畫的,綠色是機器勾畫的。
氣管勾畫的相似系數(shù)達到了0.81。
食管的相似系數(shù)是0.8,我倒不覺得這個結(jié)果很差。因為食管的規(guī)劃起還是有一定難度的,食管的變化特別大,每個人的食管都不太一樣,每個部位的走形都完全不一樣,可能里面哪個部位還有空腔,變化比較大,食管的勾畫相對其他部位來說確實比較困難。
還有一個心臟的勾畫。我們可以看到,心臟的智能勾畫比醫(yī)生勾畫的范圍要大一些。不管怎么樣,智能勾畫所依賴、所學習的數(shù)據(jù)種類都是可以提供一個標準化的勾畫。我覺得,收集更多異常的病例,然后進行訓練,可以增加對圖像優(yōu)化處理的能力。
還有就是一些細小的問題,比如說肺勾畫的不完整,到了中間的一小部分就不延伸進去了。
以及邊緣的一些細小的豁口,或者是個別病例與氣管重疊,比如說氣管跟肺,邊界區(qū)別不是很明確,AI算法直接把器官當做一個肺部組織勾畫進去了,這些都需要進行優(yōu)化。
然后,像多模型聯(lián)合分割也能夠比較好的解決以食管勾畫假陰、假陽性的問題。
所以總結(jié)一下,智能勾畫需要持續(xù)地優(yōu)化改進。但是不管怎么樣,智能勾畫的速度快、效率高,確實節(jié)省了醫(yī)生的重復勞動時間,幫我們把前面這些工作都做好,讓我們有更多的時間去思考個體化的勾畫途徑。
而且,智能勾畫可以根據(jù)指南降低差異性,便于質(zhì)控。AI勾畫也更穩(wěn)定,在任何時間都可以減少放療的周期,縮短治療的療程。
我再講一下第二個部分——人工智能助力放療計劃系統(tǒng)。
在TPS上,物理學家根據(jù)規(guī)定的治療方案和臨床劑量學原理模擬治療,明確放療方案,確定滿足臨床治療要求的定位參數(shù)。以確保重要器官不出現(xiàn)超量照射。這些參數(shù)包括:照射野數(shù)量、分布、角度、各個野分配權(quán)重、單次照射劑量、總的照射劑量、各個靶區(qū)及危及器官的劑量及限制劑量等多項重要參數(shù)。
所以,在上面的這些過程中,自動化的需求也是非常大的?,F(xiàn)在用的大部分是基于KBRT的方法,這是一種基于經(jīng)驗的放療計劃,或者是PB-AIO、MOC的方法,以及基于人工智能的方法。
一般來說,比較具有代表性的就是KBRT的方法。我們可以看到在優(yōu)化前和優(yōu)化后,左側(cè)股骨頭確實是效果會很好。
然后,也可以根據(jù)前面的膀胱、后面的直腸來進行解剖結(jié)構(gòu)的優(yōu)化。
所以我們可以看到,人工和智能的曲線擬合還是非常好的。
這些方法可以運用于頭頸部的腫瘤或者是肺癌。我們可以看到肺癌的DVH圖,還有心臟、肺、直腸的劑量明顯降低。
這是應用于肝臟的情況,低劑量區(qū)明顯收回來了。比如說,我們要保證1/3肝臟不受任何一點照射,我們可能要犧牲脊髓的一點量。但是經(jīng)過優(yōu)化之后,脊髓的照射量也明顯降低。
不管怎么樣,DVH的預測模型優(yōu)化后,仍然存在一個overlap的劑量熱點,根本原因是DVT忽略了劑量分布的三維空間信息。
因此,也有學者研究了基于大數(shù)據(jù)訓練的三維預測模型,通過一系列的空間和劑量特征參數(shù)對數(shù)據(jù)進行訓練,提高計劃系統(tǒng)的精度,在保持處方劑量不變的同時,盡量降低OAR的劑量。
Valdes的這個研究也是基于臨床的考慮,利用一個臨床決策系統(tǒng)對OAR進行劑量的取舍。
利用我們原有的放療計劃庫,比如說調(diào)強、三維或者是人工智能的計劃庫,然后提取其他臨床所需要的影像知識病例、治療目的、放療模式等等各個方面,進行數(shù)據(jù)的分類推理,可以制定更為合理的策略。
我們可以看到肺結(jié)節(jié)的SBRT影像,針對心臟和胸壁之間的劑量問題,給出了OAR的劑量趨勢。那么我們臨床醫(yī)生就可以根據(jù)患者的情況,選擇對患者最合適的角度。
其實這也是我們平時在做的工作,但是假如有AI介入的話就會精確很多。
最后,講一下展望。
未來,放療和AI肯定是不可分割的,大數(shù)據(jù)、AI、云計算構(gòu)成了放療的三駕馬車。
除了我剛才講的靶區(qū)規(guī)劃和放療計劃的制定,放療領(lǐng)域需要AI幫助的地方還有很多,比如說模擬定位,如何把CT、核磁共振和我們的治療進行精準的匹配,還有預測器官和腫瘤的動度,比如胸部的呼吸、腸道蠕動。
另外,還有預測加速器性能和自動檢測加速器成像系統(tǒng)以及多葉光柵位置的誤差。我們現(xiàn)在的放療云平臺也很火爆,一些廠商都在這個部分投入,然后還有預測腫瘤放療后的不良反應。
靶區(qū)自動勾畫也有一些局限性,最主要的還是我們?nèi)绾文軌颢@取高質(zhì)量分割數(shù)據(jù)集的問題:分割數(shù)據(jù)集是否合理,質(zhì)量是否高?
就像前面一位老師講的,給人工智能55000首詩進行學習,還有給人工智能300首精品唐詩進行學習,你覺得哪一種學出來的效果好?
他說,肯定是300首唐詩學得好,因為這些是通過高質(zhì)量篩選出來的。所謂近朱者赤、名師出高徒就是這么一個道理。
因此,我們可以通過采用國際共識來規(guī)范手動勾畫,盡量避免圖像采集的差異性以及靶區(qū)勾畫的局限性。
無論怎么樣,人工智能對于醫(yī)生、患者、其他學科來說,都是非常有好處的。非常感謝大家的聆聽。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
本專題其他文章