近日，2022年醫(yī)學(xué)人工智能大會(huì)（CMAI 2022）暨第二屆“中國(guó)醫(yī)學(xué)學(xué)術(shù)期刊發(fā)展”高端論壇召開(kāi)。

本次高峰論壇邀請(qǐng)了多位頂尖醫(yī)院的放射科主任及人工智能技術(shù)的權(quán)威專家，共同探討人工智能技術(shù)在醫(yī)學(xué)影像中的臨床應(yīng)用與科研進(jìn)展，分享研究心得。雷峰網(wǎng)《醫(yī)健AI掘金志》作為本次大會(huì)的支持單位，全程參與嘉賓的演講內(nèi)容與深度報(bào)道。

南京航空航天大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng)張道強(qiáng)教授作為本次大會(huì)的嘉賓，發(fā)表了主題演講。（獲取完整版演講PPT，請(qǐng)關(guān)注微信公眾號(hào)《醫(yī)健AI掘金志》，后臺(tái)回復(fù)“張道強(qiáng)”。）

2010至2012年，張道強(qiáng)曾在醫(yī)學(xué)影像AI領(lǐng)軍人物、上?？萍即髮W(xué)生物醫(yī)學(xué)工程學(xué)院創(chuàng)始院長(zhǎng)沈定剛教授的UNC IDEA Lab團(tuán)隊(duì)中從事腦圖像分類研究。2012年回國(guó)后，張道強(qiáng)一直專注于腦影像的智能分析。沈定剛教授曾表示，張道強(qiáng)是青年學(xué)者中研究醫(yī)學(xué)影像AI最TOP的那一批人。

會(huì)后，雷峰網(wǎng)與張道強(qiáng)教授進(jìn)行了一次對(duì)話。他表示，相比安防等行業(yè)，深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)領(lǐng)域內(nèi)的應(yīng)用稍顯滯后。回國(guó)兩三年后，他開(kāi)始將深度學(xué)習(xí)應(yīng)用在腦疾病的醫(yī)學(xué)影像研究中。

談及腦疾病研究中面臨的問(wèn)題，張道強(qiáng)表示，腦疾病非常復(fù)雜、精細(xì)且種類繁多，不同的腦疾病如阿爾茲海默癥（AD）與抑郁癥等疾病之間也有相似之處，有些病人同時(shí)患多種腦疾病，常常難以分辨。

另一方面，用深度學(xué)習(xí)技術(shù)研究腦疾病，對(duì)高質(zhì)量樣本的需求量非常大，但腦疾病領(lǐng)域非常缺少高質(zhì)量、有標(biāo)記的樣本。據(jù)張道強(qiáng)介紹，以AD為例，目前國(guó)際上最大的數(shù)據(jù)庫(kù)ANDI也僅僅收錄了一千例左右的樣本。

為了解決樣本量稀少的問(wèn)題，張道強(qiáng)與多家醫(yī)院合作，收集了大量不同站點(diǎn)的影像數(shù)據(jù)，通過(guò)遷移學(xué)習(xí)、對(duì)比學(xué)習(xí)等技術(shù)進(jìn)行處理，克服數(shù)據(jù)偏差。

“2012年我回國(guó)后就非常注重與醫(yī)院之間的合作，第一時(shí)間找到了南京本地的南京腦科醫(yī)院精神科進(jìn)行合作，近年來(lái)又陸續(xù)與南京鼓樓醫(yī)院、山東大學(xué)齊魯醫(yī)院、清華長(zhǎng)庚醫(yī)院、301醫(yī)院等多家醫(yī)院達(dá)成合作。”

張道強(qiáng)介紹，除影像數(shù)據(jù)分享外，其團(tuán)隊(duì)還按照醫(yī)院需求提供算法解決臨床問(wèn)題、與醫(yī)院共同培養(yǎng)學(xué)生、共同研究新技術(shù)在醫(yī)學(xué)影像上的應(yīng)用，進(jìn)行了諸多合作。

沈定剛教授回國(guó)入職聯(lián)影智能與上海科技大學(xué)后，張道強(qiáng)與聯(lián)影智能和上?？萍即髮W(xué)也有共同的研究相關(guān)課題、申報(bào)研究成果等。

除樣本問(wèn)題外，腦影像特征的提取也是研究中的難題之一。三維的腦影像體量十分龐大，往往難以從中提取出有效特征。

為此，張道強(qiáng)提出多模態(tài)技術(shù)，對(duì)腦影像進(jìn)行預(yù)處理，將影像中的一百多個(gè)腦區(qū)進(jìn)行標(biāo)記、配準(zhǔn)，分割灰質(zhì)、白質(zhì)及腦脊液。

考慮到在AD研究中腦脊液對(duì)灰質(zhì)的影響更大，他以一百多個(gè)腦區(qū)中的灰質(zhì)體積作為有效特征，從結(jié)構(gòu)影像的幾百萬(wàn)個(gè)特征中篩選出一百余個(gè)。

而針對(duì)功能影像PET(正電子發(fā)射型計(jì)算機(jī)斷層顯像)，則是以每個(gè)腦區(qū)中的平均灰度值為有效特征進(jìn)行篩選。

據(jù)此，張道強(qiáng)構(gòu)建起不同的核矩陣，在核矩陣的層次上通過(guò)多核的融合實(shí)現(xiàn)多模態(tài)的分類。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，張道強(qiáng)也逐漸將圖論、圖神經(jīng)網(wǎng)絡(luò)等前沿技術(shù)應(yīng)用到腦影像的研究之中。

2018年7月南航成立人工智能學(xué)院，與計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院合署辦公，學(xué)院現(xiàn)有計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、網(wǎng)絡(luò)空間安全3個(gè)一級(jí)學(xué)科博士點(diǎn)，院內(nèi)師資一百二十余人。

張道強(qiáng)介紹，“在人工智能領(lǐng)域，南航在國(guó)內(nèi)還是比較有影響的。”

張道強(qiáng)的博士生導(dǎo)師，中國(guó)人工智能學(xué)會(huì)機(jī)器學(xué)習(xí)委員會(huì)主任陳松燦也在南航計(jì)算機(jī)學(xué)院任教，同時(shí)陳松燦還擔(dān)任著江蘇省人工智能學(xué)會(huì)常務(wù)副理事長(zhǎng)。

經(jīng)過(guò)十余年的發(fā)展，目前學(xué)院內(nèi)進(jìn)行醫(yī)學(xué)AI研究的團(tuán)隊(duì)已有十余人，包含腦疾病、骨科、超聲、磁共振、病理圖像等多個(gè)領(lǐng)域。

南航計(jì)算機(jī)學(xué)院的學(xué)生近年來(lái)也在國(guó)際會(huì)議上嶄露頭角。2019年10月，博士后邵偉在MICCAI大會(huì)上展示了他在聯(lián)合基因影像數(shù)據(jù)進(jìn)行預(yù)后預(yù)測(cè)上的研究工作，并獲得大會(huì)青年科學(xué)家獎(jiǎng)。邵偉也是當(dāng)年五位獲獎(jiǎng)?wù)咧形ㄒ粐?guó)內(nèi)的青年科學(xué)家。

在今年的MICCAI大會(huì)上，張道強(qiáng)課題組的博士生左英立同樣斬獲了青年科學(xué)家獎(jiǎng)。

醫(yī)學(xué)影像領(lǐng)域的華人學(xué)者在國(guó)際學(xué)術(shù)界的身影越來(lái)越活躍，2020年以來(lái)，張道強(qiáng)當(dāng)選IAPR Fellow、

李純明、李樂(lè)、蔣田仔等多位學(xué)者陸續(xù)當(dāng)選IEEE Fellow。

張道強(qiáng)對(duì)此也深有感觸：“我十幾年前第一次參加MICCAI的時(shí)候，華人面孔還非常少，占比只有四分之一左右?！?/p>

而最近幾年這一領(lǐng)域的華人學(xué)者明顯增多，今年的MICCAI會(huì)議上有多位華人學(xué)者獲得青年科學(xué)家獎(jiǎng)，“這些事實(shí)都表明我國(guó)醫(yī)學(xué)AI的研究已經(jīng)接近世界前沿水平了，甚至某些方向已經(jīng)超越西方國(guó)家?！?/p>

張道強(qiáng)表示，醫(yī)學(xué)AI在國(guó)內(nèi)的發(fā)展有更多的機(jī)會(huì)，“相比歐美國(guó)家，我們能夠獲取更多高質(zhì)量的數(shù)據(jù)，加之政策支持，以及大體量的研究者不斷加入這一領(lǐng)域，我相信醫(yī)療AI在未來(lái)會(huì)發(fā)展得更好。”

以下是張道強(qiáng)教授的演講原文，雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))《醫(yī)健AI掘金志》進(jìn)行了不改變?cè)獾恼怼?/strong>

我是南京航空航天大學(xué)的張道強(qiáng)，今天我給大家分享的題目是《腦影像智能計(jì)算以及若干應(yīng)用的研究進(jìn)展》。

首先我們來(lái)看為什么要研究大腦？我們知道大腦是人體最復(fù)雜也是最重要的一個(gè)器官，如果我們把大腦比作一個(gè)可以計(jì)算的機(jī)器，大腦是我們已知的客觀世界里最復(fù)雜的一個(gè)機(jī)器。

正因?yàn)槿绱?，包括美?guó)、歐盟以及中國(guó)在內(nèi)的諸多國(guó)家對(duì)腦科學(xué)計(jì)劃都非常關(guān)注，中國(guó)的腦科學(xué)計(jì)劃也已經(jīng)正式開(kāi)始實(shí)施。計(jì)劃的主要構(gòu)造都是大家熟知的，了解腦、模擬腦（即類腦智能）、保護(hù)腦（即腦疾病的防治）等方面。

腦影像是研究腦科學(xué)一個(gè)非常重要的工具，根據(jù)維基百科的定義，腦影像包括各種各樣直接或間接對(duì)大腦的結(jié)構(gòu)和功能進(jìn)行探測(cè)的各種技術(shù)的總稱。

從這個(gè)定義我們也可以看出來(lái)，腦影像分為兩大類，一類是結(jié)構(gòu)的腦影像，在醫(yī)院做檢查時(shí)的X光、CT以及核磁共振等都屬于結(jié)構(gòu)的影像。

另外一類是功能影像，比如功能磁共振、PET等等。

這是磁共振以及其成像的顯示。

這是PET以及它的成像顯示。

我們其中一個(gè)應(yīng)用就是圍繞腦疾病的診斷，重點(diǎn)研究阿爾茨海默病，也就是俗稱的老年癡呆癥。

老年癡呆癥簡(jiǎn)稱AD，是最常見(jiàn)的一種腦疾病。到目前為止，這一疾病還沒(méi)有有效的治療手段，隨著疾病的發(fā)展，最終會(huì)導(dǎo)致人的死亡。

65歲以上的中老年人群體患病風(fēng)險(xiǎn)比較高，現(xiàn)在世界上有4000多萬(wàn)、接近5000萬(wàn)的AD患者。

據(jù)世界衛(wèi)生組織的預(yù)計(jì)，到2050年，也是本世紀(jì)中葉，全球每85個(gè)人中可能會(huì)有一人患AD。

左下角是一個(gè)非常形象的示意圖，我們把一棵樹(shù)的樹(shù)葉比喻成神經(jīng)元。

大家知道我們的神經(jīng)元細(xì)胞和其他細(xì)胞不一樣，從人出生以后它的數(shù)量就不會(huì)再增加了，到了青年階段以后數(shù)量就會(huì)不停地減少。

中間的樹(shù)代表的是MCI，即輕度認(rèn)知障礙，右邊的樹(shù)代表的就是AD。在這個(gè)階段，神經(jīng)元細(xì)胞就像圖中的樹(shù)葉一樣，已經(jīng)死亡了一大半，所以會(huì)對(duì)認(rèn)知功能產(chǎn)生很大的影響。

這是患AD疾病的一些名人，包括政治精英、文豪以及科技界獲得諾獎(jiǎng)科學(xué)家等很多權(quán)威人物。

第一張圖給出了正常人的半腦和AD患者的半腦的示意，左邊是正常的半腦。

我們對(duì)比來(lái)看的話， AD首先是導(dǎo)致大腦有非常明顯的萎縮。我們?cè)龠M(jìn)一步觀察和語(yǔ)言、記憶相關(guān)的一些腦區(qū)，會(huì)發(fā)現(xiàn)AD使大腦變得非常平滑。

正常人的大腦有很多腦溝、腦回，將表面拉伸后面積是非常大的，因?yàn)槲覀兇竽X要容納大約1000億個(gè)神經(jīng)元，每個(gè)神經(jīng)元平均要和大約1000個(gè)神經(jīng)元細(xì)胞要產(chǎn)生連接，所有的神經(jīng)元和神經(jīng)元之間的連接都要容納在大腦之中。

第二張是微觀圖，顯示了我們現(xiàn)在比較公認(rèn)的兩個(gè)和AD相關(guān)的特征，一個(gè)是神經(jīng)纖維的纏繞，另一個(gè)是淀粉樣的沉淀，都能夠通過(guò)生化檢測(cè)發(fā)現(xiàn)。

這是一位畫(huà)家早期的自畫(huà)像，以及患AD后每一年給自己畫(huà)的自畫(huà)像。

可以看出來(lái)，在這位畫(huà)家患AD之后，隨著疾病的進(jìn)展，越到后期疾病對(duì)他的大腦的空間認(rèn)知能力影響越大大，晚期時(shí)已經(jīng)基本沒(méi)有完整的空間認(rèn)知感。

另外我們還可以用眼動(dòng)儀來(lái)揭示正常人和AD患者看同一張圖片時(shí)大腦的不同理解模式。

圖中不同的圓圈是人在看這張圖片時(shí)視覺(jué)焦點(diǎn)的位置、大小以及停留的時(shí)間。

這張圖是正常人的模式，首先關(guān)注圖片中感興趣的目標(biāo)，比如建筑物、沙灘上人等等，所以在這些地方停留的時(shí)間較長(zhǎng)。

這張圖是AD患者的模式，他沒(méi)有去關(guān)注沙灘上的人、建筑等目標(biāo)，反而有很多時(shí)間集中在大海這些沒(méi)有太多意義的位置。

這條曲線給出了各種不同的生物標(biāo)志物對(duì)AD的診斷能力，橫坐標(biāo)是從正常到臨床前期，再到輕度認(rèn)知障礙和最后的癡呆的時(shí)間變化，縱坐標(biāo)表示不同的生物標(biāo)志物對(duì)AD的檢測(cè)能力。

從這張圖我們可以看出來(lái)，一些影像相關(guān)的生物標(biāo)志物，包括PET、fMRI等都有很高的早期診斷能力。

與之相對(duì)比，圖中最下面的一條曲線是我們臨床上用的一個(gè)打分函數(shù)，如MMSE和ADAS-Cog，但這種方式一般需要在患者出現(xiàn)非常明顯的癥狀之后，到晚期癡呆的階段量表上才會(huì)出現(xiàn)較大差異。

到了癡呆的階段，已經(jīng)沒(méi)有有效的治療手段能讓患者恢復(fù)到MCI或正常狀態(tài)。所以我們一定要在MCI或更早期對(duì)這一疾病進(jìn)行早診斷、早治療。

在MCI階段仍有一些手段能夠?qū)Υ竽X進(jìn)行干預(yù)，延緩從MCI到AD的轉(zhuǎn)變，提高病人生活的質(zhì)量。

從曲線圖來(lái)看，基于影像特別是多模態(tài)的腦影像技術(shù)對(duì)AD進(jìn)行診斷是非常重要的，這方面也有很多的工作，時(shí)間關(guān)系我們?cè)诮裉斓膱?bào)告里面主要向大家匯報(bào)一大類：基于腦影像構(gòu)建腦網(wǎng)絡(luò)，再對(duì)腦網(wǎng)絡(luò)進(jìn)行挖掘、分析和分類，從而實(shí)現(xiàn)診斷的技術(shù)。

現(xiàn)在有一個(gè)新的提法叫做“腦連接組學(xué)”，Brain Connectomics，主要關(guān)注大腦的不同區(qū)域和區(qū)域之間的連接。

我們認(rèn)為，包括疾病的患病機(jī)制在內(nèi)的大量信息，不僅僅取決于不同的腦區(qū)，更多的是取決于腦區(qū)之間的連接。

連接類型包括三類。

一類是結(jié)構(gòu)連接，比如說(shuō)如果我們有DTI影像就可以很方便地構(gòu)建一個(gè)結(jié)構(gòu)連接網(wǎng)絡(luò)；更多的情況下可能是功能連接，比如我們拿到的一些磁共振數(shù)據(jù)，可以從上面構(gòu)建功能的連接；還有一類叫做有效連接。

我們主要關(guān)注結(jié)構(gòu)和功能的連接。

這是一張簡(jiǎn)易的圖片，我們從腦影像出發(fā)，首先要建網(wǎng)，把腦網(wǎng)絡(luò)構(gòu)建起來(lái)。然后從腦網(wǎng)絡(luò)中提取特征，做特征抽取、特征選擇，最后利用分類器，將選擇好的特征進(jìn)行分類。

我們現(xiàn)在有一些非常高級(jí)的技術(shù)，比如現(xiàn)在非常火的圖神經(jīng)網(wǎng)絡(luò)就可以直接對(duì)腦網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。

這是比較早期大概10多年前，通過(guò)腦網(wǎng)絡(luò)做個(gè)體分類的工作。

早期的工作主要還是基于我們圖論相關(guān)一些研究，在2011年這篇論文中，首先把影像構(gòu)建成一個(gè)網(wǎng)絡(luò)圖譜，然后提取每個(gè)圖譜的頂點(diǎn)局部聚類系數(shù)，將其作為一個(gè)特征。提取完所有的特征后將其拉成一個(gè)向量，用支持向量機(jī)（SVM）進(jìn)行分類。

在2014年左右，我們就提出使用機(jī)器學(xué)習(xí)中一個(gè)非常重要的概念graph kernel ，圖核，大家可以理解成是度量?jī)蓚€(gè)網(wǎng)絡(luò)之間的拓?fù)湎嗨菩?，基于此我們也得到了不錯(cuò)的效果。

但是在2014年工作中，我們是把機(jī)器學(xué)習(xí)中現(xiàn)成的圖核拿過(guò)來(lái)使用，但這個(gè)圖核有一個(gè)缺點(diǎn)：缺少特異性。

左邊圖片中的兩個(gè)圖形上有標(biāo)簽做出的標(biāo)注，如果去掉標(biāo)簽將圖形反轉(zhuǎn)，兩個(gè)圖是同構(gòu)的。但是在腦網(wǎng)絡(luò)中的節(jié)點(diǎn)則具有唯一性，這是腦網(wǎng)絡(luò)非常重要的一個(gè)特性。

我們考慮到節(jié)點(diǎn)唯一性這一特點(diǎn)后，在2018年研究工作中又構(gòu)造了一個(gè)新型的圖核，可以根據(jù)腦網(wǎng)絡(luò)進(jìn)行定制。

這個(gè)圖核在MCI和正常人的分類，以及MCI早期轉(zhuǎn)變和不轉(zhuǎn)變的分類中也取得了不錯(cuò)的效果。

在如何構(gòu)建腦網(wǎng)絡(luò)方面，我們把每個(gè)腦區(qū)的時(shí)間序列相加，得到每個(gè)腦區(qū)的平均時(shí)間序列，然后對(duì)不同腦區(qū)之間的平均時(shí)間系列做一個(gè)k型相關(guān)，以這一相關(guān)系數(shù)作為兩個(gè)網(wǎng)絡(luò)連接連接矩陣的對(duì)應(yīng)位置的值。

但這種方式也有一個(gè)非常明顯的缺點(diǎn)，無(wú)法反應(yīng)兩兩之間的交互關(guān)系，不能刻畫(huà)二階或更高階以上關(guān)系。

我們還需要新的工具。在2016年的工作中，我們引進(jìn)了超圖的概念。

彩色的部分就是一個(gè)超圖。超圖和簡(jiǎn)單圖形的頂點(diǎn)是相同的，相比左邊的簡(jiǎn)單圖形，超圖最主要的區(qū)別在于其邊緣部分變成了超邊，每條超邊可以有兩個(gè)以上的頂點(diǎn)相互連接。

超圖以每條超邊對(duì)應(yīng)的幾個(gè)頂點(diǎn)的鄰接矩陣來(lái)表示，當(dāng)超邊恰好只包含兩個(gè)頂點(diǎn)時(shí)，對(duì)應(yīng)的數(shù)值是0，如果超邊包含的頂點(diǎn)數(shù)量大于2，對(duì)應(yīng)的數(shù)值是1。

這是一個(gè)用超圖來(lái)實(shí)現(xiàn)基于超網(wǎng)絡(luò)的腦疾病診斷的框架。首先從影像構(gòu)建一個(gè)超網(wǎng)絡(luò)，再?gòu)某W(wǎng)絡(luò)中提取特征，最后利用特征進(jìn)行分類。

我們?cè)贛CI數(shù)據(jù)上做了驗(yàn)證。這里的CN-CC是一個(gè)經(jīng)典的簡(jiǎn)單圖，體現(xiàn)其具體系數(shù)。HN-HCC是構(gòu)建超圖后，將簡(jiǎn)單圖的局部聚類系數(shù)推廣到超圖中。

這三種不同的提取形式，都取得了非常大的進(jìn)步。另外，我們將這三種特征融合起來(lái)，才能得到高達(dá)百分之九十幾的精度，大大超過(guò)了傳統(tǒng)的簡(jiǎn)單圖的特征。

此外，超邊也可以作為一種新型的網(wǎng)絡(luò)度量來(lái)表達(dá)正常網(wǎng)絡(luò)與MCI網(wǎng)絡(luò)之間的差異。

在2018年的工作，我們直接從加權(quán)的網(wǎng)絡(luò)中進(jìn)行特征挖掘，提出了一種有序的模式。什么是有序模式呢？

大家看中間的圖，每條邊都有權(quán)重，按照傳統(tǒng)的方式或前面提到的一些復(fù)合方法，都是要找一個(gè)閾值，比如小于0.5的邊緣就拋棄，這種方式損失了大量的信息。

另外找一個(gè)合適的閾值其實(shí)也是非常難的，我們就直接對(duì)加權(quán)的網(wǎng)絡(luò)進(jìn)行挖掘。

我們提出的方法叫有序模式，考察任意兩條相鄰的邊，如果它滿足邊緣的權(quán)重的有序關(guān)系，就將這兩條邊做為有序模式。

我們從正常人的網(wǎng)絡(luò)和患病的病人的腦網(wǎng)絡(luò)中提取一個(gè)頻繁的有序模式，另外我們?yōu)榱藢?shí)現(xiàn)判別，還將正常人和患病的人腦網(wǎng)絡(luò)中相似的頻繁模式篩除掉，只留下判別性的頻繁有序模式，將其作為特征進(jìn)行分類。

我們?cè)趦和鄤?dòng)癥患者的腦網(wǎng)絡(luò)上進(jìn)行了驗(yàn)證，基于有序模式在加權(quán)網(wǎng)絡(luò)上進(jìn)行挖掘，不論是ACC還是AUC都得到了比傳統(tǒng)方法更好的效果。

另外像超邊一樣，如果得到有序模式，可以作為一種新型的一個(gè)網(wǎng)絡(luò)生物標(biāo)記來(lái)判別患病的人和正常人之間腦網(wǎng)絡(luò)的差異性。

在此基礎(chǔ)之上，我們把有序模式的概念和圖核結(jié)合起來(lái)，提出一種新的基于有序模式的圖核，進(jìn)一步提升了性能。下面就是展示有序模式如何構(gòu)建圖核。

另外我們還借鑒了計(jì)算機(jī)網(wǎng)絡(luò)中Hub的節(jié)點(diǎn)。在局域網(wǎng)中Hub節(jié)點(diǎn)如果被攻擊了，整個(gè)的局域網(wǎng)可能就會(huì)陷入癱瘓。

在我們的大腦網(wǎng)絡(luò)里面，海馬體等位置都屬于比較重要的腦區(qū)，我們通過(guò)算法找出重要的節(jié)點(diǎn)，在此基礎(chǔ)上做進(jìn)一步的網(wǎng)絡(luò)分類。

當(dāng)同時(shí)有結(jié)構(gòu)網(wǎng)絡(luò)和功能網(wǎng)絡(luò)時(shí)，還可以將其進(jìn)行融合，得到更好的分類效果。

另外，我們還可以研究網(wǎng)絡(luò)，特別是功能網(wǎng)絡(luò)的動(dòng)態(tài)關(guān)系。

這里我們采用了時(shí)間滑動(dòng)窗構(gòu)建不同的網(wǎng)絡(luò)，每隔一個(gè)時(shí)間窗口構(gòu)建一個(gè)網(wǎng)絡(luò)，研究它的持續(xù)和動(dòng)態(tài)關(guān)系。

在今年的最新工作中，我們還研究了通過(guò)挖掘一致性的連接組的特征進(jìn)行多中心、跨中心的分類。

在動(dòng)態(tài)網(wǎng)絡(luò)表示方面，我們?cè)诮衲闠MI上面也有最新的工作分享，時(shí)間關(guān)系這個(gè)地方就不再做進(jìn)一步的介紹。

除了腦疾病診斷之外，在腦影像智能計(jì)算或分析中，大家也比較關(guān)注將影像腦影像作為內(nèi)表型，挖掘和基因之間的關(guān)聯(lián)，也就是借助影像找出和AD易感相關(guān)的基因。

反過(guò)來(lái)通過(guò)基因也可以幫助找到AD相關(guān)的腦區(qū)或是子網(wǎng)絡(luò)，以及表型上的信息，現(xiàn)在可以聯(lián)合起來(lái)進(jìn)行多模態(tài)的包括基因和影像的診斷。

影像遺傳的基因信息主要是以單核苷酸多態(tài)性為主，簡(jiǎn)稱SNP，是非常高維的數(shù)據(jù)。

因此對(duì)建模提出了非常高的要求，因?yàn)榻r(shí)輸入輸出的基因影像都是高維的。

我們?cè)?018年的一篇基于統(tǒng)計(jì)學(xué)習(xí)的影像遺傳學(xué)方法的中文綜述中，將現(xiàn)有的影像基因關(guān)聯(lián)方法歸納為4類，第一類是多基因單腦區(qū)，第二類是單基因多腦區(qū)，第三個(gè)是多基因多腦區(qū)，第四個(gè)是多基因多腦區(qū)之間的動(dòng)態(tài)關(guān)聯(lián)。

針對(duì)前面講的4類，我們分別開(kāi)發(fā)了一些方法，時(shí)間關(guān)系不再做進(jìn)一步的介紹，大家如果感興趣的話可以關(guān)注我們的論文進(jìn)一步了解。

非常有意思的是，不只能做基因和影像、腦區(qū)之間的關(guān)聯(lián)，還可以將影像變成腦網(wǎng)絡(luò)之后，找出基因和腦網(wǎng)絡(luò)之間的關(guān)聯(lián)。

今年我們?cè)谧匀煌ㄓ嵣嫌幸粋€(gè)最新的工作，利用多模態(tài)的網(wǎng)絡(luò)和基因做了一個(gè)用于精神分裂癥的多基因風(fēng)險(xiǎn)相關(guān)的研究。

最后一個(gè)應(yīng)用主要是關(guān)注腦解碼，和疾病沒(méi)有關(guān)系，主要是關(guān)注正常人的認(rèn)知方面。

大家看右上角這個(gè)圖，被試者在看到不同的物體時(shí)，腦子里會(huì)有不同的響應(yīng)。

如果我們用fMRI將被試者做認(rèn)知的過(guò)程記錄下來(lái)，比如說(shuō)看到鞋子和貓的照片時(shí)，用fMRI記錄下過(guò)程，我們就知道這一段fMRI對(duì)應(yīng)的是鞋子，另外一段對(duì)應(yīng)的是貓。

從機(jī)器學(xué)的角度來(lái)講，我們收集了很多fMRI的樣本，對(duì)應(yīng)的標(biāo)簽就是圖像的類別。我們可以構(gòu)建一個(gè)分裂器，當(dāng)分裂器訓(xùn)練好以后，被試再看到新的圖片時(shí)，掃描被試的大腦并將fMRI傳入分裂器中，分裂器就會(huì)預(yù)測(cè)出被試者看到的圖像，從而實(shí)現(xiàn)解碼。

這是對(duì)分類的解碼。還可以有比分類更加復(fù)雜的解碼，比如將看到的圖像進(jìn)行重建。

解碼的過(guò)程中有一個(gè)關(guān)鍵的挑戰(zhàn)：不同的被試之間差異非常大。

比如說(shuō)左上角和左下角的兩張圖，同樣是看到一張人臉，第一個(gè)被試的相應(yīng)模式在第二象限， 第二個(gè)被試在第三象限。對(duì)建筑、動(dòng)物等圖像也可能有類似的結(jié)果。

這時(shí)我們就要進(jìn)行Hyperalignment，通過(guò)一些配準(zhǔn)使其進(jìn)入同一空間，使不同的人對(duì)同樣的物體的響應(yīng)在相似位置。

關(guān)于Hyperalignment有一個(gè)經(jīng)典的描述，和機(jī)器學(xué)習(xí)的典型相關(guān)性分析CCA非常類似。

在2017年我們做了一個(gè)工作，就是推廣了Hyperalignment技術(shù)。

原始的Hyperalignment在fMRI空間中，我們的方法先將其推從fMRI空間推廣到高維空間，通過(guò)滲透神經(jīng)網(wǎng)絡(luò)將其映射到高維空間中，在高維空間中做Hyperalignment ，我們稱之為Deep Hyperalignment，也得到了較好的效果，具體細(xì)節(jié)我們不說(shuō)了。

我們?cè)诠_(kāi)的open fMRI的數(shù)據(jù)集對(duì)多種任務(wù)做了驗(yàn)證，我們的Deep Hyperalignment的方法也得到了較好的結(jié)果。

圍繞Hyperalignment，我們最近幾年有些相關(guān)的工作。

比如在2020年我們采取了一種共享的空間遷移學(xué)習(xí)技術(shù)，對(duì)多站點(diǎn)的fMRI數(shù)進(jìn)行分析，還開(kāi)發(fā)了一個(gè)叫做easy fMRI的工具箱，對(duì)fMRI進(jìn)行特征提取、可視化等處理，歡迎大家來(lái)試用這個(gè)工具，我們也把它開(kāi)源了。

除分類的解碼之外，有些學(xué)者已經(jīng)開(kāi)始研究重建的解碼。

就像我們左圖所示，當(dāng)被試者看到物體時(shí)對(duì)大腦進(jìn)行掃描，將被試者看到的物體進(jìn)行重建。

比如說(shuō)右圖所示的阿拉伯?dāng)?shù)字6和9，對(duì)被試者的大腦進(jìn)行掃描，將fMRI對(duì)應(yīng)起來(lái)。通過(guò)深度神經(jīng)網(wǎng)絡(luò)來(lái)做學(xué)習(xí)映射。

我們?cè)诮衲甑腡CDS上的工作，就結(jié)合LSTM等技術(shù)實(shí)現(xiàn)了較好的重建效果，通過(guò)算法自動(dòng)預(yù)測(cè)被試者看到的東西。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。