丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預(yù)覽,將在時失效
醫(yī)療科技 正文
發(fā)私信給喬燕薇
發(fā)送

0

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

本文作者: 喬燕薇 編輯:任平 2023-08-18 14:27
導(dǎo)語:這個世界從不缺時代的注腳,GAIR存在的意義,就是讓AI歷史上的各種機(jī)緣與巧合,交織在一起,碰撞出新的思想與故事。

生命科學(xué)的爆發(fā)可能像GPT一樣很快到來。

在如今的大模型浪潮中,來自全球?qū)W術(shù)、工業(yè)、投資界的一群人,正俯瞰著創(chuàng)新乏善可陳的 AI 谷地,他們眉頭緊皺,一籌莫展:可研究、能落地的方式,應(yīng)用盡用,瓶頸觸手可及。

然而有那么一批開拓者,把科學(xué)和應(yīng)用之手,伸向了飽受爭議、遙遙無期的人跡罕至之地:通用人工智能。在他們的勘探下,人工智能終于被掀開守護(hù)了60年的真實容顏,讓GPT和大模型,展露在眾目睽睽之下。

當(dāng)生命科學(xué)的人聊起AI新浪潮,焦慮、渴望與機(jī)遇,成為這群人的共同寫照。

生命科學(xué)領(lǐng)域的很多問題還有待于解答和觀察,大模型能否刺破籠罩在科學(xué)上空的漫漫長夜,帶領(lǐng)一群人破譯生命密碼?

由GAIR研究院、世界科技出版社、科特勒咨詢集團(tuán)、雷峰網(wǎng)(公眾號:雷峰網(wǎng))聯(lián)合合辦的GAIR大會8月14-15日在新加坡成功舉辦。而針對當(dāng)下科技圈的最新趨勢,15日上午「破解生命密碼的三種范式」分論壇,請到了三位生命科學(xué)領(lǐng)域的實干家,請他們來分享自己的真知灼見。

三位來會發(fā)言的嘉賓分別是:

密蘇里大學(xué)教授,AAAS / AIMBE Fellow,許東

微軟云與人工智能事業(yè)部首席科學(xué)家,陳梅

紐約市立大學(xué)教授,IEEE / IAPR Fellow,田英利


核心觀點:

許東認(rèn)為,基于圖像和自然語言的大規(guī)模數(shù)據(jù)訓(xùn)練的基礎(chǔ)模型,為廣泛的應(yīng)用提供了前所未有的機(jī)會。

當(dāng)與基于提示的學(xué)習(xí)相結(jié)合時,這些模型的潛力被進(jìn)一步放大,即使使用少量標(biāo)記數(shù)據(jù)也可以實現(xiàn)最先進(jìn)(SOTA)的性能。

本次論壇許東重點介紹了兩個基礎(chǔ)模型在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用:ChatGPT和Segment Anything Model (SAM)。

他指出,隨著文獻(xiàn)量呈指數(shù)級增長,人工檢索方法無法有效提取嵌入式知識。作為回應(yīng),許東和團(tuán)隊開發(fā)了一個途徑管理管道,協(xié)同圖像理解和文本挖掘技術(shù)來破譯生物知識。

該管道采用SAM、對比學(xué)習(xí)和暹羅網(wǎng)絡(luò)來識別路徑實體的關(guān)鍵屬性及其關(guān)系。整合ChatGPT對基因相互作用的預(yù)測能力已被證明有助于增強(qiáng)途徑信息的提取。

為了優(yōu)化ChatGPT的響應(yīng),應(yīng)用了一種新穎的迭代提示改進(jìn)策略,其中使用F1分?jǐn)?shù)、精度和召回率等指標(biāo)評估這些提示的有效性,然后將評估結(jié)果饋送到ChatGPT中以提出更好的提示。更進(jìn)一步的,許東使用思想樹迭代進(jìn)一步改進(jìn)了提示。

此外,基于提示學(xué)習(xí)的方法,許東也從冷凍電子顯微鏡(cryo-EM)圖像中進(jìn)行基于SAM的蛋白質(zhì)鑒定。研究結(jié)果強(qiáng)調(diào)了基于提示的學(xué)習(xí),在有效的生物醫(yī)學(xué)數(shù)據(jù)分析和預(yù)測方面的潛在效用。

陳梅分享了一種在醫(yī)學(xué)影像分析中,可以減輕標(biāo)記數(shù)據(jù)收集負(fù)擔(dān)的方法——無監(jiān)督域自適應(yīng)(UDA)。

據(jù)陳梅介紹,自動化醫(yī)學(xué)圖像分析的成功取決于大規(guī)模和專家注釋的訓(xùn)練集,而醫(yī)學(xué)圖像高質(zhì)量標(biāo)記數(shù)據(jù)的獲取成本十分高昂,經(jīng)過長期的研究,陳梅及其合作者發(fā)現(xiàn)無監(jiān)督域自適應(yīng)能夠解決這一問題。

設(shè)計了一種雙流蒸餾算法,利用從可靠來源獲得的外部指導(dǎo)來正則化注釋不足的域和類的學(xué)習(xí)動態(tài)。這一方法解決了分類自適應(yīng)跨域自適應(yīng)場景中的主要障礙——沿網(wǎng)絡(luò)優(yōu)化導(dǎo)航不足的問題。

田英利分享了其團(tuán)隊在AI驅(qū)動的虛擬對比度增強(qiáng)與AI驅(qū)動的自動癌癥診斷兩個方向上的研究。

田英利團(tuán)隊提出的細(xì)節(jié)感知雙路徑對比度增強(qiáng)框架,能夠?qū)D像分為四個等級,提取更詳細(xì)的特征,獲得更精確的虛擬對比增強(qiáng)CT,以解決腎臟病人對造影劑過敏的問題。

此外,她還指出了當(dāng)前肺癌檢測方法中存在的缺陷,如小結(jié)節(jié)難以檢出、特異性低、魯棒性低等,并提出了基于三維特征金字塔網(wǎng)絡(luò)(3DFPN)的AI驅(qū)動的自動肺結(jié)節(jié)檢測方法。

這些觀點并非都是共識,也只揭開了大浪潮的冰山一角,但仍體現(xiàn)了變革浪潮里生命科學(xué)人的思考與探索。

受限于篇幅,我們選取部分內(nèi)容進(jìn)行梳理,分享給更多對AI領(lǐng)域感興趣的人士。期待更多人參與到生命科學(xué)的大模型實踐中,共同匯入社會創(chuàng)新的時代洪流。

密蘇里大學(xué)許東:基礎(chǔ)模型本身就可視為黑盒,ChatGPT也有可能進(jìn)化為具有超強(qiáng)推理能力的「知識圖譜」

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

這一年NLP學(xué)術(shù)領(lǐng)域飛速發(fā)展。其中最火的兩個概念就是contrastive Learning(對比學(xué)習(xí))和 prompt-based learning(提示學(xué)習(xí))。

眾所周知,AI領(lǐng)域除了算力貴,有價值的標(biāo)注數(shù)據(jù)也非常昂貴。而無論是對比學(xué)習(xí)還是模板學(xué)習(xí),都開始解決少量標(biāo)注樣本,甚至沒有標(biāo)注樣本時,讓模型也能有不錯的效果。

而prompt-based learning算是目前學(xué)術(shù)界向少監(jiān)督,無監(jiān)督,高精度的方向發(fā)展最新的研究成果。

作為今天「破解生命科學(xué)范式」的首位嘉賓,密蘇里大學(xué)的許東教授的分享題目是《Prompt-based learning for analyses of biomedical images and text》(基于提示學(xué)習(xí)的生物醫(yī)學(xué)圖像和文本分析),引起了現(xiàn)場的重點關(guān)注。

許東將機(jī)器學(xué)習(xí)分成四個階段:

第一階段,特征工程,即手動特征提取,以SVM或簡單的神經(jīng)網(wǎng)絡(luò)為代表。

第二階段,構(gòu)架工程,即用原生特征,在深度學(xué)習(xí)網(wǎng)絡(luò)上做各種調(diào)整。

第三階段,目標(biāo)工程,即采用預(yù)訓(xùn)練大型模型并對其進(jìn)行微調(diào),以Bert為典型代表。

第四階段,提示工程,即在基礎(chǔ)大模型上做各種各樣的應(yīng)用,比如zero/few shots 。

許東認(rèn)為,提示學(xué)習(xí)使得機(jī)器學(xué)習(xí)有了一個根本性改變:從過去比拼的大數(shù)據(jù)、大模型、大算力,轉(zhuǎn)向用小數(shù)據(jù)、小模型、小算力解決實際問題。

也就是說,只需要將較小規(guī)模的模型接入到大模型上,即混合模型,那么訓(xùn)練要求也隨之降低,可以用很小的算力做很多事情,尤其是是對沒有太多計算資源的學(xué)術(shù)實驗室和醫(yī)院非常友好。

對于基礎(chǔ)模型的定義,許東認(rèn)為一個基礎(chǔ)模型至少要符合三點:可被提示、適用廣譜的下游應(yīng)用、有超大的訓(xùn)練數(shù)據(jù)并達(dá)到智能涌現(xiàn)(可理解為:具備一定推理能力)。只有滿足這三點,“基礎(chǔ)模型本身就可以當(dāng)作黑盒,且聚焦應(yīng)用本身”,最終推動“人工智能的工業(yè)時代”的到來。

他近一步解釋,過去很多人批評機(jī)器學(xué)習(xí),說它是黑箱。但在提示工程時代黑箱可能是一件好事。因為你不需要關(guān)心里面的復(fù)雜度。就像你用手機(jī)一樣,關(guān)注點只是界面交互,而非手機(jī)的制造工藝。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

在當(dāng)前的基礎(chǔ)大模型競賽中是,許東從圖像和自然語言兩方面入手,在本次論壇上重點介紹了兩個基礎(chǔ)模型在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用:ChatGPT和Segment Anything Model (SAM)。

值得注意的是,許東教授此次嘗試,也代表了國際上最早進(jìn)行大模型生物醫(yī)學(xué)實踐的團(tuán)隊。

他通過大量實踐得出結(jié)論:如今大規(guī)模數(shù)據(jù)訓(xùn)練的基礎(chǔ)模型,為廣泛的應(yīng)用提供了前所未有的機(jī)會。尤其是當(dāng)與基于提示的學(xué)習(xí)相結(jié)合時,這些模型的潛力被進(jìn)一步放大,即使使用少量標(biāo)記數(shù)據(jù)也可以實現(xiàn)最先進(jìn)(SOTA)的性能。

首先,一般人研究ChatGPT ,主要將其作為一個對話工具或者知識查詢工具,許東開創(chuàng)性提出:ChatGPT對廣譜的文本進(jìn)行加縮,本身就成了一個具有超強(qiáng)推理能力的“知識圖譜”。

從科學(xué)角度來說,很多人會質(zhì)疑“如何規(guī)避ChatGPT中的‘幻覺‘問題”,但許東指出,“幻覺做計算的時候不算什么,可以視為一種false positive(假陽性),即預(yù)測過程中的正常情況。只是我們要用科學(xué)的方法來研究它、量化它、控制它。”

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

與此同時,許東也指出,ChatGPT(更明確說是GPT-3.5)并不能直接用于生物醫(yī)學(xué)研究,它更像個話嘮,不加控制將時更易產(chǎn)生滔滔不絕的回答。

因此首要工作是將其結(jié)果和“ground truth”(真實數(shù)據(jù))做嚴(yán)格比較。作為計算生物學(xué)家,許東更想讓ChatGPT回答:“基因A和基因B到底有什么關(guān)系?”“人類應(yīng)該怎么設(shè)計好的提示來做這個問題?”,使得結(jié)果更符合生物學(xué)的知識。

其次,還要嚴(yán)格按照機(jī)器學(xué)習(xí)的方法來做提示(prompt),設(shè)置Ground Truth、搭建訓(xùn)練集、檢驗集和測試集等。

作為測試,許東和團(tuán)隊將ChatGPT進(jìn)行了角色定義--一個計算生物學(xué)家,并要求ChatGPT回答“基因A和基因B之間的關(guān)系”,并明確要求只限于4種回答:“激活”,“抑制”,“磷酸化”或“無信息”。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

在實驗過程中,許東發(fā)現(xiàn),“Few-Shot Prompting對訓(xùn)練模型只有很小的作用,但它更大的作用是示范--告訴ChatGPT我們要解決的問題是什么?”

這是實驗中的關(guān)鍵一步,隨后你可以再告訴ChatGPT一些知識,即chain of thoughts(思維鏈)。

為了優(yōu)化ChatGPT的響應(yīng),許東應(yīng)用了一種新穎的迭代提示改進(jìn)策略,其中使用F1分?jǐn)?shù)、精度和召回率等指標(biāo)評估這些提示的有效性,然后將評估結(jié)果饋送到ChatGPT中以提出更好的提示。

通過這種做法,可以是把所謂“硬提示”變成可以調(diào)整的“軟提示”來優(yōu)化,但不同于常規(guī)的軟提示。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

結(jié)果顯示,這種方法能夠明顯體現(xiàn)出ChatGPT的智能涌現(xiàn)。也就是說,“它達(dá)到了反思能力--開始思考自己是否達(dá)到最好。并且后續(xù)的改動非常少?!?/p>

舉個例子,它最初的身份是“一名計算生物學(xué)家”,但經(jīng)過數(shù)次自我提示和迭代后,它變成了“一名專門研究基因相互作用的分子生物學(xué)家”。再比如,ChatGPT在activation incubation這一回答后加了一個括弧-- gene one activates gene two。

許東表示,這些東西好像沒有什么意義,但是它確實把格式定義得更清楚了,所以這些細(xì)小的這種調(diào)整使得它的這個整體表現(xiàn)大大提高。

此外,許東指出,ChatGPT不光能做兩個基因的關(guān)系,還可以做基因鏈的關(guān)系--一個基因鏈的作用,最終是從基因A到基因B,但中間經(jīng)過了C、 D再到B。這一研究也可以讓ChatGPT通過思維鏈的方式把整體網(wǎng)絡(luò)搭建出來。這就便意味著,ChatGPT可以構(gòu)建更大的知識圖譜。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

此外,基于提示學(xué)習(xí)的方法,許東也從冷凍電子顯微鏡(cryo-EM)圖像中進(jìn)行基于SAM的蛋白質(zhì)鑒定。研究結(jié)果強(qiáng)調(diào)了基于提示的學(xué)習(xí),在有效的生物醫(yī)學(xué)數(shù)據(jù)分析和預(yù)測方面的潛在效用。

最后,許東表示,ChatGPT的整體表現(xiàn)一騎絕塵,但是產(chǎn)品本身不太穩(wěn)定,有人評估發(fā)現(xiàn)今年6月ChatGPT的推理能力要弱于3月,正如昨天GAIR大會黃學(xué)東院士提到,AI要在工業(yè)界的落地應(yīng)用應(yīng)考慮「集成式 AI」的實踐與可能,即三個臭皮匠頂個諸葛亮。

許東強(qiáng)調(diào),“在學(xué)術(shù)上也要有三個臭皮匠的故事?!?/p>

針對他當(dāng)前所做的提示工程,許東也表示,雖然提供工程量小,但要求很高,不能隨便拿幾個小數(shù)據(jù)來做,而且選的數(shù)據(jù)必須有代表性,不能是特別極端的數(shù)據(jù);此外提示工程的泛化能力可能不如一些普通的機(jī)器學(xué)習(xí)。比如當(dāng)兩個任務(wù)很接近時,提示工程可能無法進(jìn)行。

最后許東再次感觸,“機(jī)器學(xué)習(xí)一個非常著名的定理--No Free Lunch定理。沒有一種通用的學(xué)習(xí)算法可以在各種任務(wù)中都有很好的表現(xiàn),需要對具體問題進(jìn)行具體的分析。”

微軟陳梅:無監(jiān)督域自適應(yīng),將降低醫(yī)學(xué)影像高質(zhì)量標(biāo)記數(shù)據(jù)的獲取難度

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

陳梅指出,AI技術(shù)發(fā)展之快、規(guī)模之大前所未有,不論任何領(lǐng)域都應(yīng)當(dāng)努力適應(yīng)AI技術(shù)的進(jìn)步,以確保自己走在行業(yè)的最前沿。

多年來,陳梅花費(fèi)了大量的精力研究顯微圖像,并在2016年與合作伙伴共同創(chuàng)辦了CVMI(Workshop on Computer Vision for Microscopy Image Analysis)會議,此次她的分享題目是《AI for microscopy image analysis 3.0》。

顯微圖像的研究一直隨AI技術(shù)的迭代而發(fā)展,比如此前人們對分割、對神經(jīng)網(wǎng)絡(luò)的探索等等,在這一過程中,越來越多的人開始關(guān)注病理學(xué)。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

今年以來,顯微技術(shù)有了很大的發(fā)展,圖像分辨率也不斷提高,讓研究者們得以對每個單細(xì)胞進(jìn)行深入的了解。

大規(guī)模和專家注釋的訓(xùn)練集對醫(yī)學(xué)圖像分析至關(guān)重要,然而,對醫(yī)學(xué)圖像來說,想要獲得高質(zhì)量的標(biāo)記數(shù)據(jù),必須具備一定的專業(yè)知識,因此往往比其他領(lǐng)域數(shù)據(jù)集的創(chuàng)建更加昂貴。

為了減輕標(biāo)記數(shù)據(jù)收集的負(fù)擔(dān),陳梅及其合作者多年來專注無監(jiān)督學(xué)習(xí)適應(yīng)的研究。研究發(fā)現(xiàn),無監(jiān)督域自適應(yīng)在這一領(lǐng)域大有可為。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

當(dāng)然,無監(jiān)督域自適應(yīng)的應(yīng)用仍存在挑戰(zhàn):

1、基于梯度的優(yōu)化需要足夠的標(biāo)記數(shù)據(jù)來指導(dǎo)大量的更新步驟

2、域偏移/小數(shù)據(jù)制度導(dǎo)致更新信號嘈雜或過擬合

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

據(jù)此,陳梅及其合作者提出利用梯度空間的低秩性,優(yōu)化軌跡蒸餾以及為學(xué)習(xí)目標(biāo)領(lǐng)域和新類提供外部導(dǎo)航。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

陳梅及其合作者設(shè)計了一種雙流蒸餾算法,利用從可靠來源獲得的外部指導(dǎo)來正則化注釋不足的域和類的學(xué)習(xí)動態(tài)。

這一方法解決了分類自適應(yīng)跨域自適應(yīng)場景中的主要障礙——沿網(wǎng)絡(luò)優(yōu)化導(dǎo)航不足的問題。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

具體來看,雙流蒸餾算法可以分為跨域和跨類蒸餾,將學(xué)習(xí)動態(tài)從源域和錨類提取到目標(biāo)域和新類:

  • 對源域和錨類的聚合梯度進(jìn)行SVD,以識別主特征空間

  • 選擇最高有效向量的低秩矩陣近似

  • 構(gòu)造主子空間及其投影矩陣

  • 將所有漸變投影到子空間上

  • 最大限度地減少投影梯度統(tǒng)計數(shù)據(jù)之間的差異

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

陳梅及其合作者曾討論,是否放棄歷史自蒸餾的方法,即以前使用的方法。如果目標(biāo)領(lǐng)域與源領(lǐng)域有諸多共同點,無監(jiān)督適應(yīng)就有比較好的普適性;否則普適性比較差。

歷史自蒸餾可以利用扁平最小值區(qū)域和模型普適性之間的相關(guān)性;其次,校準(zhǔn)梯度下降步驟以平滑優(yōu)化,從而提升普適性。

優(yōu)化過程中,我們的具體步驟如下:

  • 利用歷史,即過去的梯度,來識別指示局部極小值的主梯度分布的低維子空間

  • 在構(gòu)建的子空間上投影當(dāng)前梯度以排除尖銳和噪聲信號

  • 使用原始梯度和校正梯度之和進(jìn)行的后續(xù)優(yōu)化器步驟

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣陳梅及其合作者做了很多實驗來驗證,雙流蒸餾算法能夠適用于常見的許多數(shù)據(jù)集,如癌癥組織表型、部件消融研究等等。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

對其他類型的數(shù)據(jù),雙流蒸餾算法也能夠發(fā)揮作用,針對放射學(xué)中的肺炎篩查,糖尿病視網(wǎng)膜病變眼底影像分級,以及在藝術(shù)與真實世界領(lǐng)域的價值這三個任務(wù),陳梅及其合作者也已經(jīng)進(jìn)行過評估,相比其他方法,整體水平均有提升。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

從我們的研究成果來看,跨域跨類優(yōu)化軌跡蒸餾,能夠校準(zhǔn)未充分注釋的域和類的學(xué)習(xí)動態(tài);歷史自蒸餾通過調(diào)節(jié)梯度分布,能夠獲得可推廣的解。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣


紐約市立大學(xué)田英利:虛擬對比增強(qiáng)CT,可有效提升不使用造影劑的醫(yī)學(xué)圖像質(zhì)量

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

田英利專注利用計算機(jī)視覺和機(jī)器學(xué)習(xí)等技術(shù)幫助老年人、視障、聽障等特殊人群,在《AI-driven Automated Medical Image Analysis 》演講中,她介紹了如何應(yīng)用AI驅(qū)動的技術(shù)幫助醫(yī)生分析醫(yī)學(xué)圖像。

田英利團(tuán)隊的研究圍繞兩個主題進(jìn)行:

人工智能驅(qū)動的虛擬對比度增強(qiáng)——突出血管和器官的內(nèi)部結(jié)構(gòu)。

人工智能驅(qū)動的自動癌癥診斷——病灶檢測、分割和亞型識別。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

田英利團(tuán)隊專注肺癌和腎癌兩種疾病的研究。

在測定腎功能時,醫(yī)生需要向患者體內(nèi)注射造影劑,以增強(qiáng)造影效果。但是,部分腎病患者對造影劑過敏,因此醫(yī)生只能減少注射量,這可能會影響患者器官的成像效果,使醫(yī)生不得不重復(fù)注射,以得到更清晰的圖像,反而得不償失。

那么,AI技術(shù)能否幫助醫(yī)生在獲得醫(yī)學(xué)影像時,減少或避免使用造影劑?

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

田英利團(tuán)隊嘗試從沒有使用造影劑的CT中,生成了虛擬對比增強(qiáng)CT,并與真實的使用造影劑的CT進(jìn)行比較,得到了相似的效果。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

該技術(shù)應(yīng)用于腹部器官成像時,面臨的問題更為嚴(yán)峻,如造影前后器官的位置、方向會發(fā)生改變,腹部和骨盆處的CT掃描,只能從有限的數(shù)據(jù)中提取特征,同時還存在著模型過擬合等問題。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

為此,田英利團(tuán)隊提出了細(xì)節(jié)感知雙路徑對比度增強(qiáng)框架,嘗試將圖像分為四個等級,并提取更詳細(xì)的特征,填充到一起獲得虛擬對比增強(qiáng)CT。以下使用65名患者的醫(yī)學(xué)影像形成的數(shù)據(jù)集。

田英利指出,這是醫(yī)學(xué)影像處理的一大挑戰(zhàn),相比大語言模型技術(shù),這一方法的計算量需求也非常大,但考慮到患者的隱私,實際上并沒有太大的數(shù)據(jù)集可供使用。

當(dāng)未來擁有足夠大的數(shù)據(jù)集后,就可以為每種不同的特定應(yīng)用選擇通用的醫(yī)療模型。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

根據(jù)田英利所展示的對比圖,第三行的虛擬對比增強(qiáng)CT效果最接近于真實的對比增強(qiáng)CT。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

除上述研究外,田英利團(tuán)隊在AI驅(qū)動的肺結(jié)節(jié)自動診斷檢測領(lǐng)域也有深入研究。

目前主要的肺癌檢測方法可分為2D檢測網(wǎng)絡(luò)與3D檢測網(wǎng)絡(luò)兩類,2D檢測網(wǎng)絡(luò)存在缺少時間特征、檢測精度低、假陽性率高等缺陷,3D監(jiān)測網(wǎng)絡(luò)同樣存在假陽性率高的問題。

這些技術(shù)缺陷導(dǎo)致在肺結(jié)節(jié)檢測中,存在著許多遺留問題,如小結(jié)節(jié)難以檢出、特異性低、魯棒性低等。

田英利團(tuán)隊研究的AI驅(qū)動的自動肺結(jié)節(jié)檢測方法,使用了三維特征金字塔網(wǎng)絡(luò)(3DFPN),具備更高的靈敏度和特異性。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

通過觀察連續(xù)切片,田英利團(tuán)隊發(fā)現(xiàn)組織和結(jié)節(jié)在連續(xù)CT切片上的位置變化方向存在差異,并據(jù)此排除了許多假陽性案例。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

魯棒結(jié)節(jié)檢測框架3DFPN-HS2,采用了自監(jiān)督預(yù)訓(xùn)練模型,能夠從圖像中提取豐富的特征,對系統(tǒng)差異更具穩(wěn)健性。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

該方法在888個CT中找到了1186個3-30mm的肺結(jié)節(jié),其中四分之三得到了放射科醫(yī)生的認(rèn)可。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

此外,田英利還分享了AI驅(qū)動的肺結(jié)節(jié)自動診斷檢測3D點云研究與AI驅(qū)動的腎臟和腎臟腫塊自動診斷分割與分類。

她在演講中指出,現(xiàn)有3D點云檢測方法主要集中在小區(qū)域,團(tuán)隊的首要工作是處理肺部整體點云區(qū)域,并提出了3D電云結(jié)點檢測框架。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

在腎臟和腎臟腫塊自動診斷分割與分類工作上,田英利團(tuán)隊提出了腎臟及腎臟腫塊診斷框架,基于形態(tài)學(xué)表現(xiàn)判斷腎腫塊亞型。

三位生物醫(yī)學(xué)大模型時代「盜火者」,窺探生命宇宙的邊緣

結(jié)語

8月15日中午,GAIR大會的生命科學(xué)分論壇順利告一段落。

當(dāng)日活動延續(xù)了GAIR首日AI前沿創(chuàng)新的盛況,會上高朋滿座,一時竟需要工作人員特殊加席,更有晚到的觀眾只能站立與會。生命科學(xué)的受關(guān)注程度也能由此可見一斑。

這個世界從不缺時代的注腳,GAIR存在的意義,就是讓AI歷史上的各種機(jī)緣與巧合,交織在一起,碰撞出新的思想與故事。

生命科學(xué)的未來一定會來,而這個未來將一定會屬于實干者們!

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

分享:
相關(guān)文章

主筆

關(guān)注醫(yī)療科技領(lǐng)域。微信號:qiaoyw186
當(dāng)月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說