編者按：2020年8月7日，全球人工智能和機(jī)器人峰會(huì)（CCF-GAIR 2020）正式開幕。CCF-GAIR 2020 峰會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，香港中文大學(xué)（深圳）、雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))聯(lián)合承辦，鵬城實(shí)驗(yàn)室、深圳市人工智能與機(jī)器人研究院協(xié)辦。從2016年的學(xué)產(chǎn)結(jié)合，2017年的產(chǎn)業(yè)落地，2018年的垂直細(xì)分，2019年的人工智能40周年，峰會(huì)一直致力于打造國(guó)內(nèi)人工智能和機(jī)器人領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資平臺(tái)。

在8月9日的醫(yī)療科技專場(chǎng)上，聯(lián)影智能聯(lián)席CEO、MICCAI 2019大會(huì)主席、IEEE Fellow沈定剛教授發(fā)表了開場(chǎng)報(bào)告，介紹了醫(yī)療AI在新冠肺炎診斷全流程中的應(yīng)用。

沈定剛教授表示，目前新冠肺炎仍然在全球蔓延，全球有1800多萬人確診，CT成為新冠肺炎診斷、評(píng)估和隨訪的重要手段。然而，這個(gè)過程中存在最重要的兩個(gè)痛點(diǎn)，首先，如何幫助醫(yī)生盡量避免感染；其次，有了CT圖像后，如何用人工智能的方法進(jìn)行肺炎的量化分析、輔助診斷和隨訪。

為此，聯(lián)影智能提出了三個(gè)解決方案：無接觸掃描、肺炎量化分析、隨訪評(píng)估與診斷。

沈定剛教授表示，為了避免病毒傳播，有的操作技師在新冠肺炎早期甚至通過竹竿這樣的工具遠(yuǎn)程操作CT掃描，原始且危險(xiǎn)。為此，聯(lián)影集團(tuán)研發(fā)了AI智能采集系統(tǒng)，把邊緣計(jì)算和攝像機(jī)結(jié)合，自動(dòng)采集人體三維形態(tài)和部位信息，自動(dòng)操作CT掃描，滿足醫(yī)生在操作間就可完成掃描任務(wù)。

在肺炎分割與量化方面，主要是為了實(shí)現(xiàn)三個(gè)目標(biāo)，新冠肺炎判別、危重程度檢測(cè)以及判斷進(jìn)展變化，沈教授介紹了聯(lián)影智能的uAI分割引擎，可以對(duì)肺炎、5個(gè)肺葉、18個(gè)肺段進(jìn)行精確的分割。

在隨訪評(píng)估與診斷層面，有些新冠肺炎病例與普通肺炎病例有相似的感染程度，因此，聯(lián)影智能提出了基于感染信息的注意力網(wǎng)絡(luò) (Attention-guided Network)，用分割出的感染區(qū)域引導(dǎo)分類器聚焦于感染區(qū)域；在評(píng)估新冠肺炎嚴(yán)重程度上，提出了一種多任務(wù)、多示例學(xué)習(xí)模型 (Multi-task multi-instance framework)；在危重預(yù)測(cè)與演變時(shí)間估計(jì)上，為了解決樣本不平衡以及特征復(fù)雜且高維的挑戰(zhàn)，提出了聯(lián)合分類與回歸的稀疏模型 (Joint sparse classification and regression)：讓兩個(gè)任務(wù)共享相同特征，用于改進(jìn)各自的性能、解決數(shù)據(jù)不平衡問題以及針對(duì)所選特征，作出臨床解釋。

以下為沈定剛的現(xiàn)場(chǎng)演講內(nèi)容，雷鋒網(wǎng)作了不改變?cè)獾木庉嫾罢?/h3>

沈定剛：大家下午好！今天我演講的題目是《科技抗“疫”：智能影像，助力新冠肺炎診斷全流程》。

大家都知道，新冠肺炎仍然在全球蔓延。目前，全球有1800多萬人確診，CT成為新冠肺炎診斷、評(píng)估和隨訪的重要手段，但是當(dāng)初跟現(xiàn)在一樣存在兩個(gè)大的痛點(diǎn)：首先，戰(zhàn)疫前線，醫(yī)患接觸密切，醫(yī)生、技師受感染的很多；其次，每個(gè)病人都會(huì)進(jìn)行CT掃描，對(duì)醫(yī)生來說如何快速讀片，這里面有很多診斷的壓力和工作的負(fù)擔(dān)。

如何用智能化的診斷、特別是全棧解決方案來解決這個(gè)問題？

第一，是無接觸的掃描，可以幫助醫(yī)生盡量避免感染新冠肺炎。其次，有了CT以后，利用人工智能的方法進(jìn)行肺炎的量化分析、診斷和隨訪。

無接觸掃描

傳統(tǒng)的掃描當(dāng)中，技師需要跟病人在一起，及時(shí)調(diào)整病人的位置，同時(shí)操作機(jī)器進(jìn)行相應(yīng)的掃描。這樣的方式在新冠肺炎期間會(huì)不可避免地會(huì)被感染。

因此，有一些非常聰明的技師，會(huì)躲在一個(gè)小房間里面，通過竹竿操作機(jī)器上的按紐，這樣可以保持自己和病人之間的距離。

人工智能在這方面有很多的應(yīng)用，從右邊的圖可以看到，有AI智能采集系統(tǒng)，把邊緣計(jì)算跟攝像機(jī)放在頂端，病人進(jìn)入房間以后，人體三維形狀和每個(gè)部位的信息都可以采集下來。左邊，醫(yī)生和技師在另外的房間里面，可以觀察病人一系列的情況，再確認(rèn)掃描。

通過攝像機(jī)獲得的信息控制機(jī)器，移動(dòng)病人的掃描床移到CT里進(jìn)行快速掃描，醫(yī)生通過看到的掃描圖像進(jìn)行快速確認(rèn)，“無接觸掃描”在新冠肺炎期間得到了很廣泛的應(yīng)用。

其中用到的技術(shù)是智能定位技術(shù)，即如何把計(jì)算機(jī)視覺的方法用到掃描前的自動(dòng)化。通過上方的攝像機(jī)可以看到病人的圖像，用AI（通過幾百萬人三維模型訓(xùn)練）通過二維的攝像機(jī)重建三維的姿態(tài)。最后，三維網(wǎng)格像衣服一樣覆蓋在人的身上，每個(gè)網(wǎng)格對(duì)應(yīng)著身體的具體部位，如果這個(gè)人比較胖，這個(gè)“網(wǎng)狀的衣服”會(huì)拉大。

也就是說，AI攝像機(jī)可以知道身體里每個(gè)部位的大小，掃胸部CT的時(shí)候就可以識(shí)別胸部在哪里，把這些信息告訴給機(jī)器，然后指揮機(jī)器把人送到掃描設(shè)備里面。

在新冠肺炎期間，即使是患者戴口罩也能識(shí)別，包括各種姿態(tài)。我們做測(cè)試的時(shí)候，用手機(jī)把臉遮住，也可以把人體三維的形狀建模出來。

除了用于CT以外，uAI Vision的技術(shù)（掃描前自動(dòng)化的技術(shù)）也已經(jīng)用到了MI、PET-CT、DR上面。

以DR為例，掃描前可以把人體上的任何信息傳遞給機(jī)器，遠(yuǎn)程控制DR，如果是掃胸片的話就可以把機(jī)器往下移，然后進(jìn)行掃描。

這就是我們?nèi)绾螌⒂?jì)算機(jī)視覺應(yīng)用在掃描自動(dòng)化上的案例。無接觸掃描技術(shù)可以放在傳統(tǒng)的CT里，也可以放在聯(lián)影的方艙CT里。

大家可以看到方艙CT有兩個(gè)門，一個(gè)門是病人進(jìn)出，另一個(gè)門是技師進(jìn)出。CT設(shè)備上方是攝像機(jī)，病人進(jìn)入以后，所有的三維形體可以用來控制機(jī)器，技師在另外一個(gè)房間確認(rèn)掃描，這樣可以最大限度地保護(hù)技師不受感染。

如何用AI進(jìn)行肺炎分割與量化？

除了用AI進(jìn)行無接觸的掃描。還有一個(gè)問題是，病人躺在CT床上時(shí)，能否非?？焖俚赜萌斯ぶ悄艿姆椒ù_定病人有沒有肺炎？如果有肺炎的話，是新冠肺炎還是普通肺炎？

接下來講一下如何用AI技術(shù)進(jìn)行肺炎定量化分析。

我們用的是聯(lián)影智能的uAI分割引擎，輸入是三維的CT圖像。在輸出的結(jié)果里，除了肺炎的區(qū)域，還非常精準(zhǔn)地把5個(gè)肺葉、18個(gè)肺段分割出來，分割之后就可以知道肺的哪個(gè)地方出了問題。

在一月底、二月初，我們研發(fā)這個(gè)軟件時(shí)有個(gè)很大的問題：我們有很多CT圖像，然而很少有標(biāo)注好的圖像。但是，我們需要在幾天內(nèi)全部完成算法、軟件等開發(fā)工作。

在計(jì)算機(jī)視覺或者深度學(xué)習(xí)領(lǐng)域里面，前一兩年講的比較多的方法是“人在回路”的方法。“人在回路”就是我們要把分割引擎在有標(biāo)注的數(shù)據(jù)上進(jìn)行訓(xùn)練，把訓(xùn)練好的模型用到?jīng)]有標(biāo)注過的數(shù)據(jù)里，去幫助標(biāo)注數(shù)據(jù)。

但有一個(gè)問題是，大家認(rèn)為分割得比較好的話，可以人工修正一下再放到訓(xùn)練樣本里面去，從而幫助迭代優(yōu)化；但其實(shí)我們是這樣認(rèn)為的：越是分割差的，越需要人工修正，因?yàn)榉指畈畹挠?xùn)練樣本跟我們現(xiàn)有的訓(xùn)練樣本是非常不一樣的。通過快速迭代的方法，把大量的數(shù)據(jù)人工修正、標(biāo)注以后，用于訓(xùn)練AI引擎，從而進(jìn)行新冠肺炎的分割。

這個(gè)軟件不僅可以把肺炎分割好，還可以把左肺、右肺都分割出來，比如左肺有兩個(gè)肺葉、右肺有三個(gè)肺葉，把這五個(gè)肺葉都分割出來，并且分割出十八個(gè)肺段，這樣就可以知道肺炎在哪個(gè)肺葉、哪個(gè)肺段上，每一個(gè)部分都可以做定量化的分析。

定量化分析在CT里面非常重要，因?yàn)榭梢灾婪窝椎某煞帧Ｔ谶@里，我們就可以看到哪個(gè)位置是磨玻璃樣，磨玻璃是新冠肺炎里非常重要的征象。

在新冠肺炎病例上，定量化分析技術(shù)很重要的一個(gè)應(yīng)用還有隨訪。

新冠肺炎病人每3-5天需要掃一次圖像，醫(yī)生需要看當(dāng)天跟前幾天的情況有沒有區(qū)別。比如我們可以看到三、五天前肺炎的分布在那里，今天掃CT圖像之后，我們可以把肺炎分割好，把每個(gè)部位的成份顯示出來，看到整個(gè)肺炎HU的分布從右邊移到了左邊。也就是說，隨著治療，病人的狀況在變好，因?yàn)榻】档姆卫锩鍴U值通常非常低。

新冠肺炎期間，這個(gè)技術(shù)在國(guó)內(nèi)外100多家醫(yī)院得到了使用，包括武漢的20多家醫(yī)院包括火神山醫(yī)院，全國(guó)TOP10的醫(yī)院如上海瑞金醫(yī)院、華西醫(yī)院、北大人民醫(yī)院，也都使用我們的新冠肺炎智能輔助分析系統(tǒng)。

我們還把這個(gè)系統(tǒng)放在云端，偏遠(yuǎn)地方的醫(yī)院也可以使用。同時(shí)這個(gè)系統(tǒng)在馬來西亞、非洲、歐洲也都得到使用。

鑒別診斷, 病情評(píng)估與預(yù)測(cè)

剛才講到如何用計(jì)算機(jī)視覺做掃描前的自動(dòng)化來保護(hù)醫(yī)生，第二個(gè)講到如何用人工智能的方法幫助肺炎、肺葉、肺段分割。

肺炎分割的第三個(gè)目的是希望鑒別診斷、病情的評(píng)估與預(yù)測(cè)，這里面有三個(gè)問題需要回答。

第一個(gè)問題是，病人躺在CT床上的時(shí)候，醫(yī)生采集到CT，醫(yī)生要回答的是這個(gè)病人有沒有肺炎？如果有肺炎的話，是新冠肺炎還是普通肺炎？

第二個(gè)問題，如果這個(gè)病人有新冠肺炎，到底是輕癥還是重癥？

第三個(gè)問題，如果是輕癥的話，后期會(huì)不會(huì)成為重癥？

我們來一一闡釋面對(duì)這三個(gè)問題所做的工作。第一個(gè)工作是如何基于深度學(xué)習(xí)的方法進(jìn)行新冠肺炎的鑒別診斷。

這個(gè)圖里面可以看到，藍(lán)色區(qū)域是AI自動(dòng)分割的肺炎感染的區(qū)域，中間是普通肺炎，這技術(shù)用到所有訓(xùn)練樣本里面，紅色表示新冠肺炎的大小和體積，藍(lán)色是普通肺炎的大小和體積，可以看到新冠肺炎感染的區(qū)域大于普通肺炎，但是在感染面積的大小上，新冠肺炎與普通肺炎區(qū)別不大。所以要從普遍肺炎里面區(qū)分新冠肺炎，這是比較難的一個(gè)問題。

在我們發(fā)表的文章里面，我們使用了基于感染信息的注意力網(wǎng)絡(luò)，也就是說如何用分割出來的肺炎指導(dǎo)鑒別診斷新冠肺炎還是普通肺炎。我們可以看下面的網(wǎng)絡(luò)，把CT里面的肺分割出來，輸入到3D ResNet34網(wǎng)絡(luò)里面，從得到的特征來進(jìn)行一系列的診斷，包括全連接層，來判斷這個(gè)病人是新冠肺炎還是普通肺炎。

剛開始做的時(shí)候，這樣的網(wǎng)絡(luò)有非常好的結(jié)果，但是回頭看，信息來自哪里？可能是來自肺以外，跟肺沒有什么關(guān)系。因此，把這個(gè)信息用于新的醫(yī)院里面還可以用嗎？

后續(xù)我們改進(jìn)了網(wǎng)絡(luò)，使用了另一個(gè)Attention Refinement機(jī)制，從特征map里面構(gòu)造出Attention map，使得Attention map跟分割出來的肺炎區(qū)域非常相似，這樣一來就能保證用于新冠肺炎鑒別的特征來自肺里面感染的區(qū)域。

我們將與全國(guó)八家醫(yī)院、將近5000個(gè)三維CT、來自3600多個(gè)病人數(shù)據(jù)用于訓(xùn)練與測(cè)試，最后我們得到的精度有88%，可以把新冠肺炎從普通肺炎里面分辨出來。這也說明，如果用感染區(qū)域作為指導(dǎo)的話，可以提高至少2%的精度。

病人還躺在CT床上的時(shí)候，就可以馬上判斷有沒有肺炎、是新冠肺炎還是普通肺炎，如果確認(rèn)這個(gè)病人有新冠肺炎的話，醫(yī)生馬上會(huì)問是輕還是重癥？這個(gè)時(shí)候我們會(huì)用多任務(wù)、多示例的學(xué)習(xí)方法來進(jìn)行嚴(yán)重程度的評(píng)估。

這里有一個(gè)實(shí)際問題，我們這個(gè)系統(tǒng)用于全國(guó)這么多醫(yī)院，而每個(gè)醫(yī)院用的掃描設(shè)備來自不同的公司，同一個(gè)掃描設(shè)備里面的掃描序列也不一樣，特別是掃CT的時(shí)候，有些掃得薄，有些掃得厚。

這個(gè)時(shí)候，我們會(huì)采樣一系列樣本，每個(gè)樣本從網(wǎng)絡(luò)里面提取相應(yīng)的特征，把這些共同的特征提取出來，再把全局的特征進(jìn)行提取，最后用于嚴(yán)重程度的評(píng)估。

回到我們剛才說的，我們做新冠肺炎與普通肺炎鑒別的時(shí)候，希望我們用的特征來自于肺炎。同理，我們希望對(duì)嚴(yán)重程度進(jìn)行評(píng)估的話，也是來自肺里面的信息。于是我們加了另外一些要求，希望這些特征還可以把肺里面的肺葉、肺段非常精確地分割出來。

這個(gè)技術(shù)用于7家醫(yī)院666個(gè)CT、242個(gè)病人，其中有51個(gè)是危重病人，CT層厚從0.399毫米到10毫米，也可以得到很好的結(jié)果。

第三個(gè)問題，如果發(fā)現(xiàn)這個(gè)病人是輕癥病人，醫(yī)生會(huì)關(guān)心這個(gè)病人會(huì)不會(huì)成為危重病人？新冠肺炎早期的很大問題就是我們對(duì)新冠肺炎感染的過程了解非常不深入。

這是同一個(gè)病人掃的圖像，從剛進(jìn)醫(yī)院開始，到第三天、第六天一直到十幾天，可以看到新冠肺炎感染的區(qū)域越來越多，到了14天開始肺炎吸收了，如果對(duì)照第一天，可以看到肺炎發(fā)展得非?？?，這里面的過程也是非常復(fù)雜的。

給大家看一個(gè)非常有趣的結(jié)果，我們把300多個(gè)病人、1700多個(gè)三維CT，把肺和肺葉都分割出來，然后用配準(zhǔn)的技術(shù)把他們配到一個(gè)標(biāo)準(zhǔn)的肺的空間?？梢钥吹椒窝装l(fā)病初期，肺炎在肺里面是如何分布的，如何發(fā)展、吸收、再增大、再吸收，這是一個(gè)很復(fù)雜的過程。新冠肺炎早期我們對(duì)它的了解很少，以為吸收了病人就快好了，但是病人可能突然去世，因?yàn)檫@個(gè)復(fù)雜過程大家開始都不了解。

所以，輕癥的病人會(huì)不會(huì)發(fā)展成危重病人，這個(gè)問題如果提前知道的話，就可以更好地管理新冠肺炎病人。另外，如果是輕癥的話，如果發(fā)展成重癥，那么多少天以后會(huì)變成重癥呢？

從技術(shù)角度講這是一個(gè)分類問題，也是一個(gè)很難的問題，因?yàn)檩p癥和重癥病人的樣本非常不平衡。我們用剛才講的分割技術(shù)把左肺分成兩個(gè)肺葉，右肺分成三個(gè)肺葉，左右肺一起分成18個(gè)肺段，總共26個(gè)區(qū)域，每個(gè)區(qū)域里面把HU值分成5個(gè)HU區(qū)間，每個(gè)區(qū)間計(jì)算出HU的密度、體積和質(zhì)量，得到總共390個(gè)特征。

然后，用聯(lián)合分類和回歸的稀疏模型，以解決數(shù)據(jù)不平衡的問題。當(dāng)然，更重要的是可以給臨床上進(jìn)行很好的解釋。用這樣的技術(shù)，可以估計(jì)病人多少天以后可能成為危重病人，我們的精度差異是0.55天，這是非常高的精度。

AI的未來機(jī)遇

這樣一系列的新冠肺炎全棧解決方案，在上個(gè)月的世界人工智能大會(huì)上獲得了SAIL大獎(jiǎng)，同時(shí)還獲得了信通院測(cè)評(píng)優(yōu)異獎(jiǎng)和工信部防疫證書。

在新冠肺炎中應(yīng)用之外，人工智能還可以用于腦出血、老年癡呆癥早期診斷、用圖像計(jì)算的方法幫助醫(yī)生進(jìn)行精神類疾病的量化分析。除了聯(lián)影智能，國(guó)內(nèi)還有一系列公司在做人工智能的應(yīng)用，這也是非常好的方向。我們需要跟醫(yī)院、跟醫(yī)生進(jìn)行非常緊密的合作，才可以把AI技術(shù)用于臨床。

除了篩查、診斷環(huán)節(jié)，AI在成像方面的應(yīng)用也非常重要。一、兩個(gè)月前我們做了ACS，也就是“智能光梭成像”，把核磁共振進(jìn)入百秒時(shí)代，從頭到腳的每個(gè)部位掃描都在百秒以內(nèi)。

我們知道，現(xiàn)在美國(guó)掃描一個(gè)病人需要30到40分鐘，我們國(guó)內(nèi)精簡(jiǎn)到15分鐘。如果在百秒以內(nèi)掃描完一個(gè)病人，就可以在幾分鐘之內(nèi)告訴醫(yī)生病人的狀態(tài)是什么。

用AI技術(shù)還可以在成像端加速，最后的目標(biāo)是用AI技術(shù)把硬件成本降下來。聯(lián)影智能把三分之一的精力花在如何為機(jī)器賦能上，目標(biāo)就是讓成像設(shè)備掃的更快、更準(zhǔn)、劑量更低。

這是我今天演講的全部?jī)?nèi)容，謝謝大家！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。