0
本文作者: 楊曉凡 | 2017-12-11 16:22 |
雷鋒網(wǎng) AI 科技評論:在2017圖像計算與數(shù)字醫(yī)學(xué)國際研討會(ISICDM)上,顧險峰教授應(yīng)邀出席并做了主題為“醫(yī)學(xué)圖像中的幾何方法”的學(xué)術(shù)報告,介紹了基于他們提出的共形幾何理論的種種圖像處理方法以及在醫(yī)學(xué)圖像中的應(yīng)用實例。
顧險峰教授,現(xiàn)為美國紐約州立大學(xué)石溪分校計算機系和應(yīng)用數(shù)學(xué)系的終身教授,也是清華大學(xué)丘成桐數(shù)學(xué)科學(xué)中心訪問教授。曾獲美國國家自然科學(xué)基金CAREER獎,中國國家自然科學(xué)基金海外杰出青年獎(與胡事民教授合作),“華人菲爾茨獎”:晨興應(yīng)用數(shù)學(xué)金獎。丘成桐先生和顧險峰博士團隊,將微分幾何,代數(shù)拓撲,黎曼面理論,偏微分方程與計算機科學(xué)相結(jié)合,創(chuàng)立跨領(lǐng)域?qū)W科“計算共形幾何”,并廣泛應(yīng)用于計算機圖形學(xué),計算機視覺,幾何建模,無線傳感器網(wǎng)絡(luò),醫(yī)學(xué)圖像等領(lǐng)域。目前已經(jīng)發(fā)表二百篇余篇國際論文,學(xué)術(shù)專著包括“Computational Conformal Geometry”(計算共形幾何), “Ricci Flow for Surface Registration and Shape Analysis”等。
顧險峰教授此次出席的圖像計算與數(shù)字醫(yī)學(xué)國際研討會(ISICDM2017)暨智能醫(yī)學(xué)信息處理論壇,是由國際數(shù)字醫(yī)學(xué)會、中華醫(yī)學(xué)會數(shù)字醫(yī)學(xué)分會、中華醫(yī)學(xué)會病理學(xué)分會主辦,電子科技大學(xué)電子工程學(xué)院承辦。
作為本次大會的獨家媒體,雷鋒網(wǎng)全程見證了大會盛況。
此次會議極具學(xué)科交叉特色,430多位來自信息科學(xué)(含計算機與電子工程等學(xué)科)、數(shù)學(xué)與醫(yī)學(xué)等領(lǐng)域的專家學(xué)者與臨床醫(yī)生聚首一堂,圍繞人工智能+醫(yī)療、醫(yī)學(xué)圖像分析、深度學(xué)習(xí)、虛擬/增強現(xiàn)實等熱點問題開展深入的交流與探討。
中國解剖學(xué)會理事長、國際數(shù)字醫(yī)學(xué)會主席、中華醫(yī)學(xué)會數(shù)字醫(yī)學(xué)分會主任委員、第三軍醫(yī)大學(xué)張紹祥教授(少將)為本次會議的名譽主席,解放軍南京總醫(yī)院影像科主任盧光明教授、中華醫(yī)學(xué)會病理學(xué)分會主任委員、四川大學(xué)華西醫(yī)院步宏教授、中科院自動化所研究員田捷擔(dān)任大會主席。電子科技大學(xué)李純明教授為ISICDM會議的發(fā)起人和程序主席,負責(zé)會議主題的確立、報告專家的邀請與會議內(nèi)容的組織。
以下是雷鋒網(wǎng) AI 科技評論對顧險峰教授報告的圖文編輯:
很高興和大家共同探討。今天我報告的題目是:醫(yī)學(xué)圖像中的幾何方法。
感謝大會組委會的邀請,感謝李純明老師的邀請,感謝各位同學(xué)、學(xué)者、醫(yī)生。
這個工作是和很多人一起完成的,我這里列舉了一些主要的合作者:我的導(dǎo)師丘成桐院士;羅鋒教授,在羅格斯大學(xué)數(shù)學(xué)系;Tony Chan,香港科技大學(xué)校長;Paul Thompson教授,在南加州大學(xué)做腦神經(jīng)科學(xué);王雅琳教授,在Arizona州立大學(xué)計算機系;Lok Ming Lui 教授,在香港中文大學(xué)數(shù)學(xué)系;雷娜教授,在大連理工軟件學(xué)院;秦宏教授,Dimitris Samaras 教授、高潔教授、Arie Kaufman教授都是我的同事。
我們知道在幾何上有個埃爾朗根 (Erlangen) 綱領(lǐng),它是說不同幾何研究不同變換群下的不變量。
在醫(yī)學(xué)中和工程中常用的有四種幾何:
拓撲 Topology,它對應(yīng)的就是拓撲同胚變換
黎曼幾何(Riemannian Geometry)對應(yīng)的是等距變換,保持黎曼度量不變的變換
曲面的微分幾何(Differential Geometry),對應(yīng)的是歐氏空間中的rigid motion,剛體變換
我們研究的重點是共形幾何(Conformal Geometry),它是介于拓撲和黎曼幾何之間,比拓撲要硬,比黎曼幾何要軟。
它特別適合研究這三種問題:
曲面之間的映射,比如有兩個醫(yī)學(xué)圖像、兩三個器官的表面成像如何進行配準注冊;如果有個動態(tài)變化的曲面,比如心臟在跳動,如何做跟蹤;或者人臉各種各樣表情變化如何做跟蹤。這類問題適合用共形幾何的理論來處理
幾何分類。比如有一個器官,要判斷它是否正常,看大腦是否有老年癡呆癥、胰腺形狀是否正常、腫瘤是良性還是惡性,這都屬于幾何分類
形狀分析。很多很細致的分析,比如給一張人臉,判斷他的表情;給一個器官的表面,如何提取它各方面的特征;
這三類問題的理論根基,我們認為很大部分上仰仗共形幾何。我們把這套理論從純理論變成算法,有算法之后就可以用在很多工程領(lǐng)域、圖形學(xué)、計算機視覺、幾何建模、網(wǎng)絡(luò)、3D打印,當然也包括醫(yī)學(xué)圖像中。今天我主要講的就是在醫(yī)學(xué)圖像方面的應(yīng)用。
從歷史上來說,共形幾何是多個領(lǐng)域的交叉點。大家都學(xué)過復(fù)變函數(shù),學(xué)過保角變換,可能大家也學(xué)過代數(shù)拓撲、代數(shù)幾何、代數(shù)曲線,特別是微分幾何和偏微分方程PDE,共形幾何是這些數(shù)學(xué)分支的交叉點。
在我們之前也有很多人研究過計算復(fù)變函數(shù)。我們和前人最大的區(qū)別是,之前的人是做平面區(qū)域之間的保角變換,現(xiàn)在我們是做曲面之間的變換。換句話說,為了做平面之間的變換,只需要研究復(fù)變函數(shù);但是要做曲面之間的變換的話,用的理論工具就要換成微分幾何加上幾何分析偏微分方程(Geometric PDE)。所以從歷史來看,這是我們和前人的工作理論層面的最大差別。
我們是從2000年開始做的,主要因為這時開始三維數(shù)據(jù)變得非常多,一方面三維掃描技術(shù)有大幅度發(fā)展,人們可以很輕易地得到三維曲面;醫(yī)學(xué)圖像的發(fā)展也非???,我們可以得到大量的醫(yī)學(xué)圖像。
這些信息非常容易獲得,但處理起來非常困難。我們可以看一些原始的數(shù)據(jù)。這是我的一個學(xué)生,我把他的三維臉部曲面掃描下來,可以分析他的表情,做動態(tài)的跟蹤。
每張曲面上有300萬個采樣點,每秒鐘可以得到120張動態(tài)曲面,數(shù)據(jù)量非常龐大。
不同的三維曲面,記錄了動態(tài)表情。
采集這些數(shù)據(jù)是很容易的。大家都有了iPhone X之后,得到這樣的數(shù)據(jù)會變得更加廉價。但是分析起來非常困難。比如給你一個高速的動態(tài)的三維曲面序列,如何求它們之間的微分同胚,如何自動精確地找到一一對應(yīng)、如何分析表情的變換,實際上具有非常大的挑戰(zhàn)性。從計算角度講比較困難,從理論角度講也不是很完善。
最簡單的來說,比如給兩副曲面,一張是平靜的臉,一張是帶表情的臉,要如何找有意義的微分同胚。迄今為止機器學(xué)習(xí)是做不了這個的,通過微分幾何倒是有很多方法,所以這個方面還在發(fā)展。
另一方面,隨著GPU的發(fā)展,計算能力空前高漲。一些以前非常困難的幾何偏微分方程的求解變得相對容易,在個人電腦上PC上就可以很容易地進行計算。
總之,一方面由于三維數(shù)據(jù)的獲得非常容易,另一方面由于計算能力的增加,催生了共形幾何這個領(lǐng)域。
這里列舉了一些計算共形幾何領(lǐng)域的基本問題。它們的描述方式比較數(shù)學(xué)化,但大家如果稍微有些數(shù)學(xué)背景的話,就可以知道大量的工程問題、醫(yī)學(xué)問題,最后都可以歸結(jié)為數(shù)學(xué)問題。
我大致說一下
我們知道所有曲面都是有黎曼度量的,有了黎曼度量之后計算它所對應(yīng)的共同結(jié)構(gòu);比如給兩個曲面,我們需要判斷它們是否存在保角變換。如果曲面拓撲復(fù)雜的話,兩個曲面之間不一定有保角變換;如果有的話,怎么把它算出來。
如果固定曲面的共形結(jié)構(gòu),如何找到最簡單的黎曼度量。如果找到這個簡單黎曼度量的話很多計算問題可以得到大幅度簡化。
如果給了我們想要的目標曲率,如何設(shè)計構(gòu)造一個黎曼度量,和初始度量黎曼共形等價,并且實現(xiàn)這個目標曲率。
如果給了兩個拓撲同胚的曲面,給了映射的同倫類,如何找到唯一的映射,使得映射帶來的幾何畸變最小、物理上最自然。
等等諸如此類的基本理論問題。
這些問題,工程上有自己的提法,翻譯成數(shù)學(xué)語言表達以后相對比較明確。歷史上來看,這些問題在共形幾何中都有比較完美的理論解答。
這里的困難在于,第一個如何把實際問題看透,翻譯成數(shù)學(xué)語言;第二個如何把數(shù)學(xué)理論看透,翻譯成計算機語言。
我們也試圖用機器學(xué)習(xí)的方法做其中的一些問題,發(fā)現(xiàn)非常困難?;诮y(tǒng)計的方法通過學(xué)習(xí),揭示曲面的內(nèi)在結(jié)構(gòu)和曲面之間的微分同胚,效果并不好;分類的效果相對讓人滿意一些。所以目前這個領(lǐng)域機器學(xué)習(xí)還沒有大規(guī)模的介入,還是基于數(shù)學(xué)方法。
在過去的十多年間我們發(fā)展了相對完備的軟件工具,在座的同學(xué)老師如果有興趣的可以跟我聯(lián)系,我們一起來做研究。
過去我也寫了幾本書,和邱先生一起寫的《計算工程幾何》;還有《離散曲面變分法》。最后這本書在還國內(nèi)買不到,它是講如何應(yīng)用這套理論進行曲面配準和形狀分析。最近我還在寫一本新書,漢語的,打算把《計算共形幾何》的講義寫得更加深入淺出一些,更加工程一些。我會將主要內(nèi)容發(fā)到我的公眾號上,可能有很多缺點和錯誤,希望大家提出寶貴意見。
我們下面介紹幾個概念。
這是我的辦公室,我在桌面上放了一個鏡框,照了一張整個辦公室的照片,把照片嵌在鏡框里;大家可以看到鏡框里面還存在二級鏡框,二級鏡框里還有三級鏡框,有無窮多的鏡框嵌套,在無窮級嵌套的內(nèi)部有唯一的不動點。把整個圖像經(jīng)過相似變換,將鏡框內(nèi)部放大成整張圖像,則整個圖像本身是不變的。這種不變相似變換它和它自己復(fù)合,構(gòu)成了一個不變?nèi)海徽麄€平面摳掉不動點,除掉這個群,它的商空間實際是一個拓撲環(huán)面,是一個二維的輪胎曲面。
我們可以把它計算一個保角變換,把左圖變成右圖,映射之后的拓撲發(fā)生巨大變化。左邊的鏡框本來是一個封閉曲線,變換后的鏡框變成了一條開放的螺旋線。本來鏡框外部的世界是真實的世界,鏡框內(nèi)部的世界是虛擬的世界。經(jīng)過變換以后,真實的世界和虛擬的世界混為一談。很多驚恐片、科幻片都是基于這個原則:將現(xiàn)實和夢境混為一談。
仔細觀察,這個映射有一個特別大的特點,變換前后能保持局部形狀不變:變換以后還是能認出來圖中的兔子和畢加索的畫。這個映射從全局來看畸變非常劇烈,拓撲發(fā)生了巨大的變化,但局部形狀并沒有發(fā)生改變。這類變換就是所謂的保角變換,大家在復(fù)變函數(shù)論里應(yīng)該學(xué)過這個概念。
曲面也存在類似的變換。這是米開朗基羅的大衛(wèi)頭像,我們將頭像掃描下來得到了這張三維曲面。我們可以把展開平貼在二維空間的長方形上。
這個映射,第一把彎曲的曲面變成平面,實現(xiàn)了降維,把三維的體在平面上處理,把幾何曲面之間的配準問題變成圖像配準問題。降維可以讓計算大幅簡化。 第二它保持信息不變、保持局部形狀不變。我們可以看到耳朵依舊是耳朵的形狀,眼睛、鼻子、頭發(fā)也是一樣。這種映射在切空間上看,是相似變換;每一點有一個小臨域,臨域到臨域之間的變換是相似變換,相似變換保持形狀不變。但是每一點的相似比不一樣,所以有的地方放大了,有的地方縮小了。鼻子就縮小的很厲害。這種變換就是共形變換,它保持了局部形狀不變。
這張圖顯示的就是共形變換的第一個優(yōu)點,就是降維,把三維變成二維。大家如果對硬件比較熟悉的話,圖像處理可以用 FPGA 來做、用 GPU 做,但是處理三維曲面比較困難。比如大家想把 CNN 從圖像處理變成幾何處理,有幾種方法,一種是把曲面嵌在八叉樹里;另一種就是展在平面上,然后用平面處理的方法來做。今年 SIGGRAPH 就有這方面的論文。把三維曲面變成二維,最自然的方法當然就是這種共形變換。
這里給出它的數(shù)學(xué)定義。有一張三維人臉,經(jīng)過變換以后變成二維圓盤,這是黎曼映照。在人臉上任意畫兩條相交曲線,曲面上的曲線在變換后成為平面上的曲線;原曲線交點切向量之間的交角為 θ,變換后的曲線交點切向量之間交角仍然為 θ,并不改變。曲線無論畫在什么地方,交角都不改變。如果有一個微分同胚滿足這個性質(zhì),它就可以稱作保角變換。
作為對比我們看一下,把同一張臉映射到同一個平面上。我們在可以在平面圓盤上放許多無窮小圓,然后拉回來看它們在曲面上的形狀。上面一行是保角變換,保持了小圓的形狀不變。下面是一般的微分同胚,它把平面上的無窮小圓,變成了曲面上的無窮小橢圓。
這里看一個demo。這是一張通過掃描得到的三維人臉,通過黎曼映照投到平面上來。我們在平面上放了許多無窮小圓作為它的紋理,拉到三維曲面上以后還是無窮小圓。它的局部保持形狀不變,圓形映射成圓形。
作為對比,我們看一個一般的微分同胚。從平面拉伸到三維曲面以后,圓變成橢圓。這就是微分同胚和保角變換之間的差別。
我們再看下角度的變化,在平面上放上棋盤格。棋盤格每個角都是直角,把它拉回到三維曲面上,我們可以看到每個棋盤格的大小發(fā)生了改變,但從法方向看下去的話,每個交角都還是直角。
作為對比我們再看另一種變換,直角不再被保持。這給了我們保角變換的一個直觀感受。
我們知道曲面到平面區(qū)域的微分同胚有無窮多個,這些微分同胚構(gòu)成的空間是無窮多維,所以很難控制;從曲面到平面的黎曼映照也有無窮多個,但是所有的黎曼映照構(gòu)成的空間只有三維。所以維數(shù)非常有限,只需要在曲面邊界上固定三個點,映射就可以被唯一固定。很多時候你可能想要找一個典范映射,第一行的保角變換就是比較好的選擇;如果你想研究更為廣義的微分同胚,用下方的。共形幾何涵蓋的范圍很廣。共形幾何涵蓋的范圍很廣,其中擬共形變換包括了所有可能的微分同胚。
…………
以下內(nèi)容還有約8000字,包括:
構(gòu)成研究框架的另外兩大理論,大一統(tǒng)理論和擬共形映射;
精準面部注冊、表情追蹤等 5 個實驗案例;
X光片的骨骼特征點識別、大腦功能區(qū)域變化追蹤、虛擬腸鏡等 9 項醫(yī)學(xué)圖像領(lǐng)域?qū)嶋H應(yīng)用的介紹
只需 19.9 元即可閱讀全文
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。