編者按：7月12日-7月14日，2019第四屆全球人工智能與機(jī)器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機(jī)學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺。

7月14日， 英國皇家科學(xué)院、加拿大科學(xué)院院士，計算機(jī)視覺領(lǐng)域的泰斗級人物Demetri Terzopoulos教授發(fā)表了主題為《The Application of AI to Medical Imaging and Healthcare》的演講。

作為AI醫(yī)療專場的開場嘉賓，Demetri Terzopoulos教授系統(tǒng)地回顧了計算機(jī)視覺的歷史：從最初模式識別的方法，到后來基于模型的方法，現(xiàn)在則是過渡到了深度學(xué)習(xí)階段。

從1978年開始，Demetri Terzopoulos教授就嘗試使用計算機(jī)對醫(yī)學(xué)圖像進(jìn)行分析。上世紀(jì)80年代開始，Demetri Terzopoulos開始了基于可形變模型的醫(yī)學(xué)影像研究。

1987年，Demetri Terzopoulos與Kass等合作提出了著名的Snake模型，合作發(fā)表的論文也在IJCV 第一期Marr獎特刊中獲獎，是計算機(jī)科學(xué)中被引用次數(shù)最多的論文之一。模型提出后，各種基于主動輪廓線的圖像分割、理解和識別方法蓬勃發(fā)展。

在演講中，教授列舉了多個使用主動輪廓模型進(jìn)行圖像分割與重建的案例。

Demetri Terzopoulos教授認(rèn)為，計算機(jī)科學(xué)、人工智能和信息技術(shù)有巨大的潛力，可以賦能醫(yī)學(xué)事業(yè)，這對未來的創(chuàng)新是最大的源泉。但是，他也提醒，“我們有前沿的數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)技術(shù)和強(qiáng)大的模型為基礎(chǔ)的方法，但是不能盲目的認(rèn)為，深度學(xué)習(xí)的單兵作戰(zhàn)就可以解決所有問題?！?/p>

Demetri Terzopoulos教授提出的這一觀點(diǎn)，也映照了近年來深度學(xué)習(xí)漸漸呈現(xiàn)出的一些弊端，例如“需要大量數(shù)據(jù)進(jìn)行訓(xùn)練”、“可解釋性差”等。

在接受雷鋒網(wǎng)采訪時，Demetri教授也坦言，深度學(xué)習(xí)已經(jīng)有五六年的歷史了，在很短的時間內(nèi)影響了很多不同的領(lǐng)域。而現(xiàn)在深度學(xué)習(xí)面臨諸多挑戰(zhàn)，也是很正常的現(xiàn)象，任何技術(shù)的發(fā)展都不會直線上升的狀態(tài)，總會遇到低潮。

“病灶分割就是一個非常困難的問題。標(biāo)記昂貴一致性差的任務(wù)上，我們在深度網(wǎng)絡(luò)上并沒有獲得非常出色的性能。另一個大問題是配準(zhǔn)問題。你有多個數(shù)據(jù)集、多個圖像模式，必須把它們配準(zhǔn)在一起。例如，當(dāng)你在做心臟分析的時候，追蹤是很重要的，因?yàn)樯眢w里的血管結(jié)構(gòu)在泵血，就像人在運(yùn)動一樣。因此，圖像的配準(zhǔn)和分割等步驟一樣，實(shí)現(xiàn)起來難度也很大?！?/p>

因此，他透露，自己最近的興趣是把機(jī)器學(xué)習(xí)方法和此前基于模型的技術(shù)結(jié)合起來，這樣做是為了產(chǎn)生更強(qiáng)大的醫(yī)學(xué)圖像分析算法。

“基于模型的方法能更好地解釋分割過程中的情況。事實(shí)上，你可以和一個方法進(jìn)行交互?；谀Ｐ偷募夹g(shù)有很多優(yōu)點(diǎn)，例如其中的一些并不需要大量的訓(xùn)練數(shù)據(jù)。所以把這兩種技術(shù)結(jié)合起來，我認(rèn)為是未來的發(fā)展方向?！?/p>

目前，Demetri Terzopoulos教授擔(dān)任體素科技聯(lián)合創(chuàng)始人兼首席科學(xué)家。

他表示，體素科技是一家非常年輕的公司，上海和洛杉磯是主要所在地。在洛杉磯設(shè)點(diǎn)的原因在于，公司離加州大學(xué)洛杉磯分校（UCLA）很近，因?yàn)閁CLA有美國西部最好的兩家醫(yī)院之一（UCLA Medical Center）、醫(yī)學(xué)院以及很多優(yōu)質(zhì)的醫(yī)療項(xiàng)目。

當(dāng)然，在具體的病種種類上，體素科技以胸部CT、眼底彩照、冠脈CTA、皮膚四項(xiàng)全病種解決方案作為整體的發(fā)力方向。Demetri教授表示，“到目前為止，我們是發(fā)展全病種體系的系統(tǒng)技術(shù)，我覺得這是我們最大的成就之一?！?/p>

以下為Demetri Terzopoulo教授的現(xiàn)場演講內(nèi)容，雷鋒網(wǎng)作了不改變原意的編輯及整理：   

Demetri Terzopoulos：大家好。謝謝主持人對我的介紹。我想感謝會議主辦方和所有的工作人員組織這次活動。

今天想給大家講一下人工智能在視覺計算和醫(yī)學(xué)領(lǐng)域的應(yīng)用。

大家知道，在醫(yī)學(xué)影像這個領(lǐng)域有一些驅(qū)動力。首先是我們的圖像識別發(fā)展的特別快，而且我們積累的醫(yī)療數(shù)據(jù)也非常多，我們積累了很多關(guān)于病人歷史的病歷數(shù)據(jù)，有了這樣的數(shù)據(jù)和技術(shù)的支持，我們可以實(shí)現(xiàn)更多東西。

但是現(xiàn)在也有一些挑戰(zhàn)，醫(yī)學(xué)還欠缺一些技術(shù)。中國這樣人口眾多的國家，對醫(yī)療的需求量還是非常大的。這里有一些數(shù)據(jù)，每年都會有非常多的診斷量，其中多個診斷發(fā)生了錯誤，這在醫(yī)療上面是比較常見的。這些錯誤的診斷也許發(fā)生在早期，也有可能發(fā)生在后期治療過程中。

如何應(yīng)對這樣一些挑戰(zhàn)呢？我們希望能夠用計算機(jī)的能力來賦能醫(yī)療。

在醫(yī)學(xué)影像方面，我們需要解決哪些具體的問題呢？比如圖像分割、配準(zhǔn)、圖像的重構(gòu)、建模、運(yùn)動模型分析以及計算機(jī)輔助診斷，以及治療過程當(dāng)中的跟蹤，這些是我們將會遇到的問題。

可以看一下計算機(jī)技術(shù)在醫(yī)學(xué)領(lǐng)域進(jìn)化的歷史。

最初我們使用模式識別的方法，后來過渡到基于模型的方法，現(xiàn)在更多是研究深度學(xué)習(xí)的一些方法。

第一階段

在1970年代，我開始參與到研究中。在那個時候也有一些文章，像圖片上這篇是關(guān)于模式識別的文章。這是我做的一項(xiàng)研究，那時候是一個有監(jiān)督的學(xué)習(xí)模式，我們用到很多骨頭的組織圖片讓計算機(jī)進(jìn)行訓(xùn)練，希望它通過訓(xùn)練能夠診斷出骨發(fā)育不良以及先天性骨骼缺陷的疾病。

第二階段

到1980年代，我開始從事基于模型的醫(yī)學(xué)影像研究，我們又把它叫做可形變的模型。從那時候開始就是一個新的研究方法了，我們當(dāng)時用到的是計算機(jī)視覺和圖像的分析。

當(dāng)時這項(xiàng)研究是比較成功的，因?yàn)樗褂糜缮现料乱约坝上轮辽蟽煞N方法的結(jié)合，同時對于我們在形態(tài)和運(yùn)動方面原本的局限都有所突破，所以它是一個新的進(jìn)展。在基于模型的醫(yī)學(xué)影像當(dāng)中，我們同時也用到了解剖學(xué)的一些知識。

大家可以看一下，這是非常著名的主動輪廓模型，簡稱Snakes。我和我的同事在1987年的時候就開始介紹這樣的模型。這是用Snake模型做的互動實(shí)驗(yàn)，可以識別物體的邊緣輪廓，并且用紅色的線來標(biāo)注出這個輪廓。

這是第二個小視頻，可以把嘴唇的邊緣勾勒出來。雖然嘴唇是運(yùn)動的，但是依然可以追蹤到，這也是屬于計算機(jī)視覺的一個部分，現(xiàn)在也被廣泛應(yīng)用到醫(yī)學(xué)中。

這是我親自參與的一個圖像分割的3D重建，這個圖是神經(jīng)元樹突的組織，我們可以看到它的截面，它是大腦當(dāng)中的一個組織。我們現(xiàn)在用Snake模型工具，同樣用不同顏色的線把神經(jīng)樹突給勾勒出來，最終會生成一個三維的神經(jīng)元樹突的重建模型。這項(xiàng)工作非常有力地推進(jìn)了我們在神經(jīng)網(wǎng)絡(luò)方面的研究。

這是另外一個使用主動輪廓模型做的實(shí)驗(yàn)，是一個視網(wǎng)膜造影的圖像。

另外一個例子，我和在另外一個地方的同事共同做的一個項(xiàng)目。這是一個正在說話的一個人，在圖片當(dāng)中，我們用超聲波來偵查舌頭的運(yùn)動情況，看說話的時候舌頭怎么樣運(yùn)動，這個模型的魯棒性非常強(qiáng)，可以去噪，生成的圖片也是比較清晰的。

我們可以實(shí)現(xiàn)三維的圖像，像后面這個圖片是四維的，呈現(xiàn)的是我們的左心室，是左心室運(yùn)動的追蹤。

這個應(yīng)用是關(guān)于腺體的圖像分割，是比較典型的一個案例。

這是輪廓模型其中的一部分，首先是一個二維的圖像，我們可以看到整個變化。在左邊的簡圖當(dāng)中，可以看到腺體的形狀，我們把原來的曲線細(xì)分成為更多小的曲線，最終可以進(jìn)行重構(gòu)，幫助我們更加精準(zhǔn)地定位它的輪廓。這就是主動輪廓模型的一些應(yīng)用案例。

再來看另外一個可形變的模型，這個模型主要是運(yùn)用可訓(xùn)練的數(shù)據(jù)來進(jìn)行的。這里生成了一個算法模型，在這個圖像當(dāng)中每一個數(shù)據(jù)都有一個點(diǎn)，它是一個多維的端到端的模型。

如果我們有更多的數(shù)據(jù)可以用來訓(xùn)練的話，就會得到一個點(diǎn)云，每一個點(diǎn)都有具體的信息，每一個點(diǎn)都會有一個圖像。通過降維的方法，我們能夠更加清楚地去計算它的均值，然后對它進(jìn)行數(shù)學(xué)的運(yùn)算，這樣就能夠生成一些橢圓的線或者其他的數(shù)學(xué)模型，在這個Priors模型當(dāng)中是非常重要的。在高維的點(diǎn)云模型當(dāng)中有不同的方向和具體的信息。

這里有很多具體的應(yīng)用。像這個是主動形狀模型，簡稱ASM，是1992年Taylor提出的。這里我們進(jìn)行了數(shù)據(jù)的標(biāo)注。右邊有一個動態(tài)的畫面，這個模型會進(jìn)行主動的擬合。我們從那么多圖片當(dāng)中獲得了一些數(shù)據(jù)，通過訓(xùn)練就能夠自動實(shí)現(xiàn)這樣的擬合。

這是可形變模型最后一個案例，我們把它叫做可變的有機(jī)形態(tài)。像這個是大腦當(dāng)中胼胝體的結(jié)構(gòu)，它是掌管知識的結(jié)構(gòu)，在大腦當(dāng)中具有非常重要的作用。我們可以看到具體的胼胝體結(jié)構(gòu)。它的周圍有較軟的纖維組織，跟我們的神經(jīng)科學(xué)非常相關(guān)。通過研究它，我們可以找到大腦不穩(wěn)定的一些原因。

用這個模型去定位胼胝體，可以把它的形狀勾勒出來，這樣就能夠具體看它的結(jié)構(gòu)特征是怎樣的。我們可以看到，它的定位速度非?？欤⑶夷軌蚓珳?zhǔn)地進(jìn)行圖像分割，這是一個完全自動的圖像分割過程。我們可以看一下慢放，它現(xiàn)在就在進(jìn)行搜尋，不斷調(diào)整它的位置，直到它能夠得到一個非常精準(zhǔn)的圖像分割結(jié)果。

剛剛介紹了幾種形態(tài)，它們都是屬于可形變模型當(dāng)中的，給大家展示了全自動的圖像分割過程，具體的細(xì)節(jié)就不給大家放了，我想強(qiáng)調(diào)的這些過程是全自動的。

我們通過大腦和兩個心室的組織，開始良好的定義心室在這邊的位置。在這里做完以后，產(chǎn)生兩個子體，有原子核的切割，向這個子體進(jìn)行反應(yīng)，然后進(jìn)入到這樣一個大腦的部位。這是一個器官的執(zhí)行，是采取協(xié)作的方式來進(jìn)行的，可以進(jìn)行有效分割，是基于人工智能模型的技術(shù)來進(jìn)行醫(yī)學(xué)成像的分析。

講一下我們最新的以數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)對成像技術(shù)的貢獻(xiàn)，也就是深層次的人工智能的算法在計算機(jī)視覺方面推動了革命性的進(jìn)展。

在醫(yī)學(xué)影像方面，機(jī)器學(xué)習(xí)也是很熱的話題。這是最近的一篇論文，這個主題涌現(xiàn)出成千上萬的文章。我們以肺癌為例，每年有超過1800萬新增的肺癌病例，每年有1500萬人死于肺癌。

我們在這里進(jìn)行了深層次的卷積神經(jīng)，用于肺結(jié)節(jié)探測。可以看到神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分析是多層次的。像圖片上這個是卷積神經(jīng)，可以看到計算單元——神經(jīng)元，低分辨率的聚集形成了子網(wǎng)絡(luò)。對之前的特征網(wǎng)絡(luò)進(jìn)行分析，這就是深層次的卷積神經(jīng)網(wǎng)絡(luò)用于醫(yī)學(xué)成像的分析。

這個分析重要的方面，肺結(jié)節(jié)的分割里面有各種不同的百分比，有的是惡性腫瘤的，有的沒有惡性腫瘤，這樣一種成像分析的分割很重要，我們用了深度學(xué)習(xí)的方式，展現(xiàn)出這樣一個架構(gòu)（見PPT）。

這里有一篇論文。為什么這個研究贏得了最佳論文？是因?yàn)?，它是完全自動化的、立體的肺結(jié)節(jié)的分割，在這樣一個圖像上得到了很好的解讀。

我相信這是一個大趨勢，代表著未來，自動分割會有更多產(chǎn)出，使得醫(yī)學(xué)成像的效率更高。我相信，深度學(xué)習(xí)和可變形模型的組合，將通過數(shù)據(jù)驅(qū)動來賦能醫(yī)學(xué)影像分析。

在我們的實(shí)驗(yàn)室當(dāng)中有DLAC的主動輪廓模型。我們可以看到卷積神經(jīng)的架構(gòu)，由于時間有限，無法詳細(xì)來做一個解讀，但是我們可以看到，它把深層次的神經(jīng)網(wǎng)絡(luò)和額外的層級在輪廓下部的層次進(jìn)行了組合。作為一個融合的模型，作為主動輪廓模型，在當(dāng)中可以進(jìn)行活躍的訓(xùn)練，基本上是用深度學(xué)習(xí)的框架來進(jìn)行訓(xùn)練的。

從這張圖片可以看到端對端的經(jīng)過訓(xùn)練的醫(yī)學(xué)成像數(shù)據(jù)訓(xùn)練的結(jié)果，自動化的方式比人工的方式有更好的效果，進(jìn)行這些分析和分割，在時間緊迫的情況下，機(jī)器自動的方式比人工更好，可以用于不同的醫(yī)學(xué)成像分析，更好地提高病人的成活率。有的病灶的邊界形狀很難通過人工來進(jìn)行預(yù)測，但是這個模型在這方面做得比人更好。

有了這樣的特性，我們的人工智能深度學(xué)習(xí)在醫(yī)學(xué)成像分析方面的作用提供了準(zhǔn)確及時的反饋，可以提供重要的信息，幫助我們解讀醫(yī)學(xué)信息，讓我們以更低的成本、更高的效率、更少的醫(yī)療誤診來提升患者的福音。

在未來，我們以人工智能賦能的醫(yī)學(xué)系統(tǒng)通過大數(shù)據(jù)的輸入，能夠基于云來提高病理學(xué)和醫(yī)學(xué)成像技術(shù)，人工智能引擎基于Web可以自動生成醫(yī)療報告，用自然語言這種被人理解的方式出報告，幫助醫(yī)生更好的提升他們的工作效率和工作流程。

我的已畢業(yè)學(xué)生丁曉偉博士成立的公司VoxelCloud 體素科技2016年在上海啟動了，主要做從專業(yè)成像設(shè)備到家用手機(jī)，系統(tǒng)有人工智能的算法、特別是深度學(xué)習(xí)的算法，可以更好地解讀病患的醫(yī)學(xué)影像。

我們世界級的研發(fā)團(tuán)隊在VoxelCloud體素科技這樣一家初創(chuàng)公司持續(xù)努力，在真實(shí)的醫(yī)學(xué)場景當(dāng)中應(yīng)用這些技術(shù)，與數(shù)百家醫(yī)療機(jī)構(gòu)和醫(yī)院進(jìn)行合作，這對人工智能賦能的醫(yī)學(xué)至關(guān)重要。我們近期會發(fā)表過往VoxelCloud AI在數(shù)萬和數(shù)十萬規(guī)模的人群上的真實(shí)世界結(jié)果，作為有力證據(jù)證明AI作為一種新興的醫(yī)療資源，在國家醫(yī)療系統(tǒng)、單體醫(yī)療機(jī)構(gòu)甚至家庭中發(fā)揮的重大作用。

圖片上是我們現(xiàn)在的一些客戶和研發(fā)合作伙伴。未來部署在大型體檢機(jī)構(gòu)里，我們的系統(tǒng)每天可以在3.5小時之內(nèi)反饋數(shù)萬份CT報告。

后面的圖片中是我們眼科和皮膚全病種的合作伙伴，眼科包括洛杉磯郡公立醫(yī)療系統(tǒng)、Eyepacs、中國國家標(biāo)準(zhǔn)化代謝病管理中心MMC、協(xié)和醫(yī)院、同仁醫(yī)院、廣東中山眼科中心等200余家中心、皮膚人工智能與中美知名機(jī)構(gòu)比如哈佛醫(yī)學(xué)院進(jìn)行合作。

這里有紅杉資本、騰訊等投資機(jī)構(gòu)，我們截止2018年的融資額為8000萬美元。

做一下總結(jié)，計算機(jī)科學(xué)、人工智能和信息技術(shù)有巨大的潛力，可以賦能醫(yī)學(xué)事業(yè)，這對未來的創(chuàng)新是最大的源泉。我們有前沿的數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)技術(shù)和強(qiáng)大的模型為基礎(chǔ)的方法，包括前面提到的主動式的輪廓模型的結(jié)合，但是不能盲目的認(rèn)為深度學(xué)習(xí)單兵作戰(zhàn)就可以解決所有問題。

所以我們需要和其他技術(shù)結(jié)合起來，也就是和傳統(tǒng)的醫(yī)學(xué)界共同協(xié)作，才能充分用好我們的深度學(xué)習(xí)、人工智能，來促進(jìn)醫(yī)學(xué)事業(yè)的發(fā)展。需要做大量研究，才能更好地實(shí)現(xiàn)它的未來，解決醫(yī)學(xué)事業(yè)實(shí)實(shí)在在的問題，并且為更多的病患造福。

再次感謝各位的耐心聆聽。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。