近日，第二屆圖像計(jì)算與數(shù)字醫(yī)學(xué)國(guó)際研討會(huì)（ISICDM 2018）在成都圓滿落幕。

本次大會(huì)由國(guó)際數(shù)字醫(yī)學(xué)會(huì)主辦，電子科技大學(xué)信息與通信工程學(xué)院承辦，第三軍醫(yī)大學(xué)、中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院、數(shù)學(xué)圖像聯(lián)盟協(xié)辦。

中國(guó)解剖學(xué)會(huì)理事長(zhǎng)、國(guó)際數(shù)字醫(yī)學(xué)會(huì)主席、中華醫(yī)學(xué)會(huì)數(shù)字醫(yī)學(xué)分會(huì)主任委員、第三軍醫(yī)大學(xué)張紹祥教授（少將）擔(dān)任本次大會(huì)的名譽(yù)主席，大會(huì)主席分別由美國(guó)羅格斯大學(xué)Dimitris N. Metaxas教授、廣東省人民醫(yī)院影像醫(yī)學(xué)部主任兼放射科主任梁長(zhǎng)虹和南方醫(yī)科大學(xué)方馳華教授擔(dān)任。

電子科技大學(xué)李純明教授作為ISICDM會(huì)議的發(fā)起人和程序主席，負(fù)責(zé)論壇形式、議程、報(bào)告主題的設(shè)計(jì)與專家邀請(qǐng)工作。

在大會(huì)第二天的“醫(yī)生談臨床需求與挑戰(zhàn)”專場(chǎng)，北京協(xié)和醫(yī)院陸菁菁教授應(yīng)李純明教授邀請(qǐng)，向與會(huì)者分享了題為《盆腔器官分割和建模的嘗試與挑戰(zhàn)》的精彩專題報(bào)告。

陸菁菁教授與大會(huì)程序主席李純明教授

陸菁菁教授畢業(yè)于北京協(xié)和醫(yī)學(xué)院，后進(jìn)入北京協(xié)和醫(yī)院放射科工作，歷經(jīng)住院醫(yī)、住院總、主治醫(yī)、副主任醫(yī)，現(xiàn)為主任醫(yī)師、碩士生導(dǎo)師，2010年5月至2011年5月為哈佛醫(yī)學(xué)院麻省總醫(yī)院訪問學(xué)者。

以下為陸菁菁教授的演講內(nèi)容，雷鋒網(wǎng)AI掘金志經(jīng)授權(quán)，作了不改變?cè)獾木庉嫞?/p>

陸菁菁教授首先介紹了男性和女性的盆腔結(jié)構(gòu)，她認(rèn)為，復(fù)雜的人體盆腔結(jié)構(gòu)有著巨大的可變性，也帶來了千變?nèi)f化的臨床問題，臨床診斷和治療方案的量身定制就變得很重要。

對(duì)于盆腔，目前醫(yī)院里主流的影像學(xué)檢查主要包括超聲、CT和核磁，其中，最常見的是超聲。雖然超聲科的超聲檢查很方便也很常見，但是它給出的報(bào)告卻因操作者而異，而且不夠直觀。相比之下，放射科的CT和磁共振圖像就很直觀，比如，CT會(huì)根據(jù)組織密度的不同來成像，骨頭就是白的，像低密度的水、尿液和脂肪等就是黑的，但是CT對(duì)于盆腔軟組織、比如子宮的密度都很接近，顯示不清楚，而磁共振就很好地解決了這個(gè)問題，能夠看清楚很多器官和組織，比如上圖明亮的卵巢囊腫和分三層結(jié)構(gòu)的子宮，這一特點(diǎn)決定了磁共振在盆腔檢查里有很好的適用性。

核磁共振的原理很復(fù)雜，但是也可以用幾句話簡(jiǎn)單來說明一下：磁共振沒有電離輻射傷害，是一種很好的檢查。它發(fā)出的射頻脈沖是一個(gè)波長(zhǎng)非常長(zhǎng)的電磁波，經(jīng)過人體的組織，質(zhì)子經(jīng)過激勵(lì)以后，會(huì)能級(jí)躍遷到一個(gè)新的狀態(tài)，經(jīng)過三維梯度場(chǎng)的轉(zhuǎn)換后發(fā)出信號(hào)，再被接收線圈接收以后，通過計(jì)算機(jī)進(jìn)行一個(gè)變換、其中包括傅里葉變換、模數(shù)轉(zhuǎn)化等，來形成一個(gè)數(shù)字化的圖像。

通常，我們?cè)谂R床上采集的經(jīng)典圖像方位是橫軸位，矢狀位和冠狀位。最常用的是橫軸位圖像。

在磁共振領(lǐng)域，還需要了解的一個(gè)概念是T1加權(quán)像和T2加權(quán)像。所謂T1和T2加權(quán)像，簡(jiǎn)單來說就是質(zhì)子經(jīng)過激勵(lì)以后會(huì)產(chǎn)生一個(gè)縱向弛豫和橫向弛豫，通過兩個(gè)弛豫特征的加權(quán)來提取組織不同的特點(diǎn)。比如說T1加權(quán)像上的尿液是“黑”的，而在T2加權(quán)像上是“白”的。為了便于科普，可以用“一青二白”來簡(jiǎn)單的概括，就是說水在T1加權(quán)像是“青”的，T2加權(quán)像是“白”的。

上圖就是一個(gè)橫軸位圖像，我們能看到骨頭，能看到雙側(cè)卵巢，能看見卵泡，它是最常用的。中間的這個(gè)圖像是矢狀位，和之前看的解剖圖一樣，能看見子宮內(nèi)膜、結(jié)合帶、肌層和漿膜、宮頸，這張圖是女性盆腔里大家最愿意看到的一張圖。它最直觀，如果患者長(zhǎng)了肌瘤和畸形，都可以看得特別清楚。后面這個(gè)是冠狀位，主要作為參考，這個(gè)圖像上能看到卵巢相對(duì)位置等等一般觀察女性盆腔，主要使用的是橫軸位圖像和矢狀位圖像。

做盆腔掃描的時(shí)候，一般一個(gè)序列會(huì)有二十多個(gè)層面圖像，每個(gè)層面間隔是五毫米，相互之間有時(shí)候會(huì)出現(xiàn)容積效應(yīng)，而且因?yàn)椴皇堑认袼馗黜?xiàng)同性采集，在做圖像處理的時(shí)候會(huì)產(chǎn)生一些問題，但是可以有辦法去解決。

所以放射科醫(yī)生是怎么讀片？就是一層一層地觀察圖像。舉個(gè)例子，這是一個(gè)T2加權(quán)像序列，可以看到膀胱，尿液是亮的，然后能看到子宮，然后能看到雙側(cè)卵巢，接著是宮頸，宮頸再往下一層一層延續(xù)下去就是陰道。

放射科大夫首先要了解正常的結(jié)構(gòu)，先知道正常是什么樣，然后出現(xiàn)一個(gè)異常改變的時(shí)候就會(huì)很敏感的發(fā)現(xiàn)病灶所在。

深度學(xué)習(xí)或者說AI能做的最簡(jiǎn)單的任務(wù)就是能幫助大夫識(shí)別這些結(jié)構(gòu)。人體有639塊肌肉，如果不是相關(guān)領(lǐng)域的專家，一般醫(yī)生很難全部都分清楚哪塊是哪塊，所以基于深度學(xué)習(xí)的盆腔結(jié)構(gòu)語義分割就可以去嘗試一下。

陸菁菁教授所在的團(tuán)隊(duì)首先從簡(jiǎn)單的肌肉骨骼結(jié)構(gòu)分割開始做起，事先評(píng)價(jià)了該任務(wù)可能會(huì)遇到的挑戰(zhàn)：比如形狀多變、不同結(jié)構(gòu)信號(hào)相似度高和缺少標(biāo)注數(shù)據(jù)等問題。

在數(shù)據(jù)標(biāo)注環(huán)節(jié)，第一例陸菁菁教授花了一個(gè)星期的時(shí)間，一有時(shí)間就去標(biāo)，后面的速度就稍微快一點(diǎn)，再加上團(tuán)隊(duì)成員一起標(biāo)注，做了15例標(biāo)注以后就開始訓(xùn)練算法，然后再進(jìn)行結(jié)構(gòu)自動(dòng)語義分割的嘗試。

訓(xùn)練數(shù)據(jù)時(shí)使用的FCN（全卷積神經(jīng)網(wǎng)絡(luò)）算法，即使有了強(qiáng)大的數(shù)據(jù)增強(qiáng)功能，F(xiàn)CN也只能粗略地描述結(jié)構(gòu)的輪廓。團(tuán)隊(duì)隨后提出了一種用于復(fù)雜盆腔結(jié)構(gòu)分割的注意力-金字塔網(wǎng)絡(luò)，并采用了一種圖像變形的數(shù)據(jù)增強(qiáng)策略，能夠把只有十幾張和幾十張圖像擴(kuò)充到幾萬張，讓標(biāo)注樣本更加有效。

實(shí)驗(yàn)結(jié)果表明，APNet效率是最高的，對(duì)細(xì)節(jié)的把握度也是最好的，也就是說，團(tuán)隊(duì)使用這個(gè)算法去把常規(guī)的盆腔圖像輸入進(jìn)去，就已經(jīng)能夠自動(dòng)識(shí)別肌肉和骨骼結(jié)構(gòu)了，這已經(jīng)對(duì)放射科大夫有了很大幫助，如果更進(jìn)一步，把全身639塊肌肉認(rèn)全，真正接地氣的應(yīng)用也許就會(huì)出現(xiàn)。

總的來說，從分割算法的角度，根據(jù)不同的挑戰(zhàn)，采取不同的策略來進(jìn)行算法的修正，才能達(dá)到很好的效果。

這個(gè)是學(xué)生做的自動(dòng)分割和手動(dòng)分割的圖像，當(dāng)然還是很初步的工作。

對(duì)肌肉的體積測(cè)量，也可以使用自動(dòng)的方法，和人工測(cè)量的金標(biāo)準(zhǔn)是非常接近的?？偟膩碚f，雖然有些細(xì)節(jié)可能還沒有手動(dòng)分割的那么精準(zhǔn)，但是將來可以再做的更好。

從醫(yī)學(xué)展望的角度看，肌肉結(jié)構(gòu)的自動(dòng)識(shí)別可以提高醫(yī)生的工作效率，另外肌肉的定量測(cè)量可以做一些肌肉萎縮性疾病的評(píng)價(jià)和監(jiān)測(cè)，比如肌少癥。在老齡化的大背景下，監(jiān)測(cè)老年人的肌少癥可以改善患者的生活質(zhì)量，這個(gè)還可以對(duì)患者以前做過的盆腔核磁或者是某個(gè)部位的核磁來進(jìn)行動(dòng)態(tài)的監(jiān)察，不需要再去專門的為患者肌肉體積的測(cè)量來做額外CT的檢查或者是其他的檢查。另外盆腔結(jié)構(gòu)的自動(dòng)分割和建?？梢宰鳛榕璧坠δ苷系K、盆腔徑線測(cè)量和手術(shù)計(jì)劃擬定的一個(gè)基礎(chǔ)性的建設(shè)。

陸菁菁教授團(tuán)隊(duì)也比較了一些既往的研究，比如這篇14年發(fā)表在JMRI的文章，文章著重研究了肌群而不是單塊肌肉，使用的是水脂分離的磁共振特殊掃描技術(shù)，算法則是非深度學(xué)習(xí)算法的Multi-atlas算法。

2011年在MRI雜志上發(fā)表的這個(gè)研究，做了橫截面的圖像，嘗試分割了不同的大腿肌肉，也沒有使用深度學(xué)習(xí)的算法，而使用的是特征提取的算法。

這是2017年Medical physics上的一篇文章，它做了全身的大量器官的自動(dòng)識(shí)別和分割，并且通過三種算法的比較，得出結(jié)論說CNN是最好的一種算法，分割效率相對(duì)最高。

文章把人體器官分成幾大類，比如說左肺，右肺，肝臟和腎臟等等，還計(jì)算一下它們的符合度和相似度，并且總結(jié)了算法的相對(duì)優(yōu)勢(shì)和劣勢(shì)，值得學(xué)習(xí)和借鑒。

還有，這篇2018年的文章利用了深度卷積神經(jīng)網(wǎng)絡(luò)這種比較先進(jìn)的算法，而且也是比較有實(shí)用性的一篇文章。

它利用了不是很大的樣本量來達(dá)到很多結(jié)構(gòu)的這些識(shí)別，比如股骨、股骨的軟骨、脛骨和髕骨、甚至是肌腱和韌帶等等。

當(dāng)然還有其他各種挑戰(zhàn)，比如克服器官變形和圖像偽影的挑戰(zhàn)，這些可以個(gè)人通過經(jīng)驗(yàn)提前看出來，但是機(jī)器可能需要較大量的樣本圖像去訓(xùn)練它，機(jī)器才能學(xué)習(xí)到。

還有就是器官的三維重建。

這是陸菁菁教授和婦產(chǎn)科團(tuán)隊(duì)合作，應(yīng)用3D打印技術(shù)手術(shù)前診斷女性生殖道畸形的一例報(bào)告。模型是手動(dòng)一層一層的畫出來，勾畫平滑以后，通過結(jié)合3D打印技術(shù)做出來的。

這是學(xué)生的初級(jí)工作，在子宮畸形上，開創(chuàng)性地運(yùn)用不同的顏色去標(biāo)示不同的結(jié)構(gòu)，包括骨盆、子宮等等等等，能實(shí)現(xiàn)但是太費(fèi)勁。

那么能不能做自動(dòng)分割和重建呢，后來團(tuán)隊(duì)做了識(shí)別以后就做了一個(gè)簡(jiǎn)單初級(jí)的三維重建。

三維重建的意義是什么呢？其實(shí)婦產(chǎn)科的大夫不愿看核磁的圖像，更愿意直接去手術(shù)，如果是有一個(gè)三維模型的話，他的接受度就會(huì)提高。

自動(dòng)分割和三維重建在直腸和膀胱這些變形度較高的結(jié)構(gòu)圖像上都有比較大的需求。

最后一個(gè)比較大的需求就是多模態(tài)圖像的融合和三維顯示。

比如這個(gè)患者的核磁圖像，有深部?jī)?nèi)異癥導(dǎo)致卵巢的粘連、宮頸后壁和直腸前壁出現(xiàn)粘連帶，要用很復(fù)雜的語言才能解釋清楚，來指導(dǎo)腹腔鏡的手術(shù)。但要是跟婦科大夫去講磁共振圖像，婦科大夫接受度是比較低的。

團(tuán)隊(duì)嘗試了圖像勾畫和陰道內(nèi)打藥，然后在三維圖像上直觀顯示出了病灶的位置。

并且病灶往往位于多個(gè)地方，比如不光是在宮頸發(fā)，有可能在卵巢，用一個(gè)三維的顯示方法，讓多個(gè)病灶同時(shí)發(fā)生在不同的位置和不同的形態(tài)得以立體展示，能夠更好的告訴我們的婦產(chǎn)科大夫。

還有就是核磁圖像雖然能顯示子宮、宮頸和韌帶，但很難看清楚子宮的動(dòng)脈，很難看清楚坐骨結(jié)節(jié)，但是CT能看清楚，所以團(tuán)隊(duì)把這兩個(gè)模態(tài)又融合起來，能夠相互參考，但是目前展現(xiàn)效果還需要進(jìn)一步提高。

在將來，可以通過更加復(fù)雜多模態(tài)圖像融合和三維顯示將患者多模態(tài)影像信息數(shù)字化，患者所有的信息都在里面，這樣對(duì)臨床大夫也好、對(duì)影像科大夫也好，都可以很直觀、便捷地去提取這個(gè)信息。

謝謝大家。

作為全程參加完三天大會(huì)的醫(yī)生嘉賓，陸教授除了在“醫(yī)生談例臨床需求與挑戰(zhàn)”專場(chǎng)作了深度報(bào)告外，還在“醫(yī)工交流會(huì)”專場(chǎng)擔(dān)任分享嘉賓，向臺(tái)下的工科人展示了她們團(tuán)隊(duì)當(dāng)下需要解決的宮頸區(qū)域分割難題和CT、fMRI數(shù)據(jù)融合問題。會(huì)場(chǎng)氣氛十分活躍，眾多工科學(xué)者和業(yè)者向陸菁菁教授講述了他們的解決方法，醫(yī)工雙方均受益頗多。

陸菁菁教授與李純明教授探討圖像分割問題

當(dāng)天晚上，陸菁菁教授同時(shí)作為“臨床數(shù)據(jù)分析挑戰(zhàn)賽決賽”的評(píng)委，點(diǎn)評(píng)決賽選手的所有圖像分割結(jié)果。決賽結(jié)束后，不少參賽選手紛紛談到陸教授的意見之寶貴，這是他們?cè)谄渌胤诫y以學(xué)習(xí)到的。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。