0
| 本文作者： 李雨晨 | 2020-08-14 14:34 | 專題：CCF-GAIR 2020 全球人工智能與機器人峰會 |
編者按：2020年8月7日，全球人工智能和機器人峰會（CCF-GAIR 2020）正式開幕。CCF-GAIR 2020 峰會由中國計算機學會（CCF）主辦，香港中文大學（深圳）、雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))聯(lián)合承辦，鵬城實驗室、深圳市人工智能與機器人研究院協(xié)辦。從2016年的學產(chǎn)結合，2017年的產(chǎn)業(yè)落地，2018年的垂直細分，2019年的人工智能40周年，峰會一直致力于打造國內(nèi)人工智能和機器人領域規(guī)模最大、規(guī)格最高、跨界最廣的學術、工業(yè)和投資平臺。
在8月9日的醫(yī)療科技專場上，聯(lián)影智能聯(lián)席CEO、MICCAI 2019大會主席、IEEE Fellow沈定剛教授發(fā)表了開場報告，介紹了醫(yī)療AI在新冠肺炎診斷全流程中的應用。
沈定剛教授表示，目前新冠肺炎仍然在全球蔓延，全球有1800多萬人確診，CT成為新冠肺炎診斷、評估和隨訪的重要手段。然而，這個過程中存在最重要的兩個痛點，首先，如何幫助醫(yī)生盡量避免感染；其次，有了CT圖像后，如何用人工智能的方法進行肺炎的量化分析、輔助診斷和隨訪。
為此，聯(lián)影智能提出了三個解決方案：無接觸掃描、肺炎量化分析、隨訪評估與診斷。
沈定剛教授表示，為了避免病毒傳播，有的操作技師在新冠肺炎早期甚至通過竹竿這樣的工具遠程操作CT掃描，原始且危險。為此，聯(lián)影集團研發(fā)了AI智能采集系統(tǒng)，把邊緣計算和攝像機結合，自動采集人體三維形態(tài)和部位信息，自動操作CT掃描，滿足醫(yī)生在操作間就可完成掃描任務。
在肺炎分割與量化方面，主要是為了實現(xiàn)三個目標，新冠肺炎判別、危重程度檢測以及判斷進展變化，沈教授介紹了聯(lián)影智能的uAI分割引擎，可以對肺炎、5個肺葉、18個肺段進行精確的分割。
在隨訪評估與診斷層面，有些新冠肺炎病例與普通肺炎病例有相似的感染程度，因此，聯(lián)影智能提出了基于感染信息的注意力網(wǎng)絡 (Attention-guided Network)，用分割出的感染區(qū)域引導分類器聚焦于感染區(qū)域；在評估新冠肺炎嚴重程度上，提出了一種多任務、多示例學習模型 (Multi-task multi-instance framework)；在危重預測與演變時間估計上，為了解決樣本不平衡以及特征復雜且高維的挑戰(zhàn)，提出了聯(lián)合分類與回歸的稀疏模型 (Joint sparse classification and regression)：讓兩個任務共享相同特征，用于改進各自的性能、解決數(shù)據(jù)不平衡問題以及針對所選特征，作出臨床解釋。
沈定剛：大家下午好！今天我演講的題目是《科技抗“疫”：智能影像，助力新冠肺炎診斷全流程》。
大家都知道，新冠肺炎仍然在全球蔓延。目前，全球有1800多萬人確診，CT成為新冠肺炎診斷、評估和隨訪的重要手段，但是當初跟現(xiàn)在一樣存在兩個大的痛點：首先，戰(zhàn)疫前線，醫(yī)患接觸密切，醫(yī)生、技師受感染的很多；其次，每個病人都會進行CT掃描，對醫(yī)生來說如何快速讀片，這里面有很多診斷的壓力和工作的負擔。
如何用智能化的診斷、特別是全棧解決方案來解決這個問題？
第一，是無接觸的掃描，可以幫助醫(yī)生盡量避免感染新冠肺炎。其次，有了CT以后，利用人工智能的方法進行肺炎的量化分析、診斷和隨訪。
傳統(tǒng)的掃描當中，技師需要跟病人在一起，及時調(diào)整病人的位置，同時操作機器進行相應的掃描。這樣的方式在新冠肺炎期間會不可避免地會被感染。
因此，有一些非常聰明的技師，會躲在一個小房間里面，通過竹竿操作機器上的按紐，這樣可以保持自己和病人之間的距離。
人工智能在這方面有很多的應用，從右邊的圖可以看到，有AI智能采集系統(tǒng)，把邊緣計算跟攝像機放在頂端，病人進入房間以后，人體三維形狀和每個部位的信息都可以采集下來。左邊，醫(yī)生和技師在另外的房間里面，可以觀察病人一系列的情況，再確認掃描。
通過攝像機獲得的信息控制機器，移動病人的掃描床移到CT里進行快速掃描，醫(yī)生通過看到的掃描圖像進行快速確認，“無接觸掃描”在新冠肺炎期間得到了很廣泛的應用。
其中用到的技術是智能定位技術，即如何把計算機視覺的方法用到掃描前的自動化。通過上方的攝像機可以看到病人的圖像，用AI（通過幾百萬人三維模型訓練）通過二維的攝像機重建三維的姿態(tài)。最后，三維網(wǎng)格像衣服一樣覆蓋在人的身上，每個網(wǎng)格對應著身體的具體部位，如果這個人比較胖，這個“網(wǎng)狀的衣服”會拉大。
也就是說，AI攝像機可以知道身體里每個部位的大小，掃胸部CT的時候就可以識別胸部在哪里，把這些信息告訴給機器，然后指揮機器把人送到掃描設備里面。
在新冠肺炎期間，即使是患者戴口罩也能識別，包括各種姿態(tài)。我們做測試的時候，用手機把臉遮住，也可以把人體三維的形狀建模出來。
除了用于CT以外，uAI Vision的技術（掃描前自動化的技術）也已經(jīng)用到了MI、PET-CT、DR上面。
以DR為例，掃描前可以把人體上的任何信息傳遞給機器，遠程控制DR，如果是掃胸片的話就可以把機器往下移，然后進行掃描。
這就是我們?nèi)绾螌⒂嬎銠C視覺應用在掃描自動化上的案例。無接觸掃描技術可以放在傳統(tǒng)的CT里，也可以放在聯(lián)影的方艙CT里。
大家可以看到方艙CT有兩個門，一個門是病人進出，另一個門是技師進出。CT設備上方是攝像機，病人進入以后，所有的三維形體可以用來控制機器，技師在另外一個房間確認掃描，這樣可以最大限度地保護技師不受感染。
除了用AI進行無接觸的掃描。還有一個問題是，病人躺在CT床上時，能否非?？焖俚赜萌斯ぶ悄艿姆椒ù_定病人有沒有肺炎？如果有肺炎的話，是新冠肺炎還是普通肺炎？
接下來講一下如何用AI技術進行肺炎定量化分析。
我們用的是聯(lián)影智能的uAI分割引擎，輸入是三維的CT圖像。在輸出的結果里，除了肺炎的區(qū)域，還非常精準地把5個肺葉、18個肺段分割出來，分割之后就可以知道肺的哪個地方出了問題。
在一月底、二月初，我們研發(fā)這個軟件時有個很大的問題：我們有很多CT圖像，然而很少有標注好的圖像。但是，我們需要在幾天內(nèi)全部完成算法、軟件等開發(fā)工作。
在計算機視覺或者深度學習領域里面，前一兩年講的比較多的方法是“人在回路”的方法?！叭嗽诨芈贰本褪俏覀円逊指钜嬖谟袠俗⒌臄?shù)據(jù)上進行訓練，把訓練好的模型用到?jīng)]有標注過的數(shù)據(jù)里，去幫助標注數(shù)據(jù)。
但有一個問題是，大家認為分割得比較好的話，可以人工修正一下再放到訓練樣本里面去，從而幫助迭代優(yōu)化；但其實我們是這樣認為的：越是分割差的，越需要人工修正，因為分割差的訓練樣本跟我們現(xiàn)有的訓練樣本是非常不一樣的。通過快速迭代的方法，把大量的數(shù)據(jù)人工修正、標注以后，用于訓練AI引擎，從而進行新冠肺炎的分割。
這個軟件不僅可以把肺炎分割好，還可以把左肺、右肺都分割出來，比如左肺有兩個肺葉、右肺有三個肺葉，把這五個肺葉都分割出來，并且分割出十八個肺段，這樣就可以知道肺炎在哪個肺葉、哪個肺段上，每一個部分都可以做定量化的分析。
定量化分析在CT里面非常重要，因為可以知道肺炎的成分。在這里，我們就可以看到哪個位置是磨玻璃樣，磨玻璃是新冠肺炎里非常重要的征象。
在新冠肺炎病例上，定量化分析技術很重要的一個應用還有隨訪。
新冠肺炎病人每3-5天需要掃一次圖像，醫(yī)生需要看當天跟前幾天的情況有沒有區(qū)別。比如我們可以看到三、五天前肺炎的分布在那里，今天掃CT圖像之后，我們可以把肺炎分割好，把每個部位的成份顯示出來，看到整個肺炎HU的分布從右邊移到了左邊。也就是說，隨著治療，病人的狀況在變好，因為健康的肺里面HU值通常非常低。
新冠肺炎期間，這個技術在國內(nèi)外100多家醫(yī)院得到了使用，包括武漢的20多家醫(yī)院包括火神山醫(yī)院，全國TOP10的醫(yī)院如上海瑞金醫(yī)院、華西醫(yī)院、北大人民醫(yī)院，也都使用我們的新冠肺炎智能輔助分析系統(tǒng)。
我們還把這個系統(tǒng)放在云端，偏遠地方的醫(yī)院也可以使用。同時這個系統(tǒng)在馬來西亞、非洲、歐洲也都得到使用。
剛才講到如何用計算機視覺做掃描前的自動化來保護醫(yī)生，第二個講到如何用人工智能的方法幫助肺炎、肺葉、肺段分割。
肺炎分割的第三個目的是希望鑒別診斷、病情的評估與預測，這里面有三個問題需要回答。
第一個問題是，病人躺在CT床上的時候，醫(yī)生采集到CT，醫(yī)生要回答的是這個病人有沒有肺炎？如果有肺炎的話，是新冠肺炎還是普通肺炎？
第二個問題，如果這個病人有新冠肺炎，到底是輕癥還是重癥？
第三個問題，如果是輕癥的話，后期會不會成為重癥？
我們來一一闡釋面對這三個問題所做的工作。第一個工作是如何基于深度學習的方法進行新冠肺炎的鑒別診斷。
這個圖里面可以看到，藍色區(qū)域是AI自動分割的肺炎感染的區(qū)域，中間是普通肺炎，這技術用到所有訓練樣本里面，紅色表示新冠肺炎的大小和體積，藍色是普通肺炎的大小和體積，可以看到新冠肺炎感染的區(qū)域大于普通肺炎，但是在感染面積的大小上，新冠肺炎與普通肺炎區(qū)別不大。所以要從普遍肺炎里面區(qū)分新冠肺炎，這是比較難的一個問題。
在我們發(fā)表的文章里面，我們使用了基于感染信息的注意力網(wǎng)絡，也就是說如何用分割出來的肺炎指導鑒別診斷新冠肺炎還是普通肺炎。我們可以看下面的網(wǎng)絡，把CT里面的肺分割出來，輸入到3D ResNet34網(wǎng)絡里面，從得到的特征來進行一系列的診斷，包括全連接層，來判斷這個病人是新冠肺炎還是普通肺炎。
剛開始做的時候，這樣的網(wǎng)絡有非常好的結果，但是回頭看，信息來自哪里？可能是來自肺以外，跟肺沒有什么關系。因此，把這個信息用于新的醫(yī)院里面還可以用嗎？
后續(xù)我們改進了網(wǎng)絡，使用了另一個Attention Refinement機制，從特征map里面構造出Attention map，使得Attention map跟分割出來的肺炎區(qū)域非常相似，這樣一來就能保證用于新冠肺炎鑒別的特征來自肺里面感染的區(qū)域。
我們將與全國八家醫(yī)院、將近5000個三維CT、來自3600多個病人數(shù)據(jù)用于訓練與測試，最后我們得到的精度有88%，可以把新冠肺炎從普通肺炎里面分辨出來。這也說明，如果用感染區(qū)域作為指導的話，可以提高至少2%的精度。
病人還躺在CT床上的時候，就可以馬上判斷有沒有肺炎、是新冠肺炎還是普通肺炎，如果確認這個病人有新冠肺炎的話，醫(yī)生馬上會問是輕還是重癥？這個時候我們會用多任務、多示例的學習方法來進行嚴重程度的評估。
這里有一個實際問題，我們這個系統(tǒng)用于全國這么多醫(yī)院，而每個醫(yī)院用的掃描設備來自不同的公司，同一個掃描設備里面的掃描序列也不一樣，特別是掃CT的時候，有些掃得薄，有些掃得厚。
這個時候，我們會采樣一系列樣本，每個樣本從網(wǎng)絡里面提取相應的特征，把這些共同的特征提取出來，再把全局的特征進行提取，最后用于嚴重程度的評估。
回到我們剛才說的，我們做新冠肺炎與普通肺炎鑒別的時候，希望我們用的特征來自于肺炎。同理，我們希望對嚴重程度進行評估的話，也是來自肺里面的信息。于是我們加了另外一些要求，希望這些特征還可以把肺里面的肺葉、肺段非常精確地分割出來。
這個技術用于7家醫(yī)院666個CT、242個病人，其中有51個是危重病人，CT層厚從0.399毫米到10毫米，也可以得到很好的結果。
第三個問題，如果發(fā)現(xiàn)這個病人是輕癥病人，醫(yī)生會關心這個病人會不會成為危重病人？新冠肺炎早期的很大問題就是我們對新冠肺炎感染的過程了解非常不深入。
這是同一個病人掃的圖像，從剛進醫(yī)院開始，到第三天、第六天一直到十幾天，可以看到新冠肺炎感染的區(qū)域越來越多，到了14天開始肺炎吸收了，如果對照第一天，可以看到肺炎發(fā)展得非?？欤@里面的過程也是非常復雜的。
給大家看一個非常有趣的結果，我們把300多個病人、1700多個三維CT，把肺和肺葉都分割出來，然后用配準的技術把他們配到一個標準的肺的空間?？梢钥吹椒窝装l(fā)病初期，肺炎在肺里面是如何分布的，如何發(fā)展、吸收、再增大、再吸收，這是一個很復雜的過程。新冠肺炎早期我們對它的了解很少，以為吸收了病人就快好了，但是病人可能突然去世，因為這個復雜過程大家開始都不了解。
所以，輕癥的病人會不會發(fā)展成危重病人，這個問題如果提前知道的話，就可以更好地管理新冠肺炎病人。另外，如果是輕癥的話，如果發(fā)展成重癥，那么多少天以后會變成重癥呢？
從技術角度講這是一個分類問題，也是一個很難的問題，因為輕癥和重癥病人的樣本非常不平衡。我們用剛才講的分割技術把左肺分成兩個肺葉，右肺分成三個肺葉，左右肺一起分成18個肺段，總共26個區(qū)域，每個區(qū)域里面把HU值分成5個HU區(qū)間，每個區(qū)間計算出HU的密度、體積和質(zhì)量，得到總共390個特征。
然后，用聯(lián)合分類和回歸的稀疏模型，以解決數(shù)據(jù)不平衡的問題。當然，更重要的是可以給臨床上進行很好的解釋。用這樣的技術，可以估計病人多少天以后可能成為危重病人，我們的精度差異是0.55天，這是非常高的精度。
這樣一系列的新冠肺炎全棧解決方案，在上個月的世界人工智能大會上獲得了SAIL大獎，同時還獲得了信通院測評優(yōu)異獎和工信部防疫證書。
在新冠肺炎中應用之外，人工智能還可以用于腦出血、老年癡呆癥早期診斷、用圖像計算的方法幫助醫(yī)生進行精神類疾病的量化分析。除了聯(lián)影智能，國內(nèi)還有一系列公司在做人工智能的應用，這也是非常好的方向。我們需要跟醫(yī)院、跟醫(yī)生進行非常緊密的合作，才可以把AI技術用于臨床。
除了篩查、診斷環(huán)節(jié)，AI在成像方面的應用也非常重要。一、兩個月前我們做了ACS，也就是“智能光梭成像”，把核磁共振進入百秒時代，從頭到腳的每個部位掃描都在百秒以內(nèi)。
我們知道，現(xiàn)在美國掃描一個病人需要30到40分鐘，我們國內(nèi)精簡到15分鐘。如果在百秒以內(nèi)掃描完一個病人，就可以在幾分鐘之內(nèi)告訴醫(yī)生病人的狀態(tài)是什么。
用AI技術還可以在成像端加速，最后的目標是用AI技術把硬件成本降下來。聯(lián)影智能把三分之一的精力花在如何為機器賦能上，目標就是讓成像設備掃的更快、更準、劑量更低。
這是我今天演講的全部內(nèi)容，謝謝大家！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
專題
本專題其他文章
