丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
醫(yī)療科技 正文
發(fā)私信給喬燕薇
發(fā)送

0

五問“ChatGPT+醫(yī)學(xué)影像”:新一代的AI能否成為放射科醫(yī)生的一把利器?

本文作者: 喬燕薇 2023-05-16 18:37
導(dǎo)語:ChatGPT在醫(yī)學(xué)影像領(lǐng)域,是曇花一現(xiàn)還是長久之功?

自ChatGPT引爆人工智能領(lǐng)域以來,迅速吸引了來自不同領(lǐng)域的科學(xué)家和從業(yè)者的目光,期待著這一里程碑式的技術(shù)為自己的行業(yè)帶來新的變革。

近日,上??萍即髮W(xué)生物醫(yī)學(xué)工程學(xué)院創(chuàng)始院長、聯(lián)影智能聯(lián)席CEO沈定剛教授主持舉辦了一場線上MICS學(xué)術(shù)沙龍活動(dòng),喬治亞大學(xué)計(jì)算機(jī)科學(xué)系終身教授劉天明,美國亞利桑那州梅奧診所放射腫瘤學(xué)教授和醫(yī)學(xué)物理部科研主任、AAPM Fellow劉偉,美國倫斯勒理工學(xué)院生物醫(yī)學(xué)工程系P.K. Lashmet講席副教授閆平昆,哈佛大學(xué)醫(yī)學(xué)院和麻省總醫(yī)院講師李響四位學(xué)者,共同探究ChatGPT在醫(yī)學(xué)影像領(lǐng)域中的諸多可能性。

五問“ChatGPT+醫(yī)學(xué)影像”:新一代的AI能否成為放射科醫(yī)生的一把利器?

在討論中,劉天明指出,ChatGPT的效果驚艷,是因?yàn)椴捎昧薎n-context Learning或者叫做Prompt(提示詞)等技術(shù),同時(shí)利用具備大量參數(shù)的Transformer對(duì)轉(zhuǎn)換為向量的文本進(jìn)行處理。這些技術(shù)的發(fā)展都需要長期的積累和研究。

然而,在醫(yī)學(xué)等專業(yè)性較強(qiáng)的領(lǐng)域內(nèi),ChatGPT的表現(xiàn)還不夠好,仍需對(duì)其進(jìn)行從常識(shí)性知識(shí)到生物醫(yī)學(xué)領(lǐng)域知識(shí)的遷移和進(jìn)一步的學(xué)習(xí)訓(xùn)練,以提升其在專業(yè)領(lǐng)域中的表現(xiàn)。

劉偉表示,如果想將ChatGPT應(yīng)用到醫(yī)學(xué)影像之中,多模態(tài)學(xué)習(xí)必不可少。醫(yī)學(xué)領(lǐng)域中目前存在很多的圖像、音頻、文本等不同種類的數(shù)據(jù),必須利用多模態(tài)學(xué)習(xí)將其進(jìn)行結(jié)合,才能應(yīng)用在臨床工作中。

此外,還要考慮到特定領(lǐng)域數(shù)據(jù)的限制,針對(duì)醫(yī)學(xué)這種專業(yè)領(lǐng)域的數(shù)據(jù),需要使用更專業(yè)的提示詞來生成問題。

李響分享了團(tuán)隊(duì)的一個(gè)新進(jìn)展,他們嘗試?yán)冒酸t(yī)學(xué)領(lǐng)域?qū)I(yè)知識(shí)的知識(shí)圖譜來幫助更好地使用ChatGPT。

知識(shí)圖譜可以加在整個(gè)流程之中,不論是文本的輸入、語言的生成還是ChatGPT的效果改善等。

但是,獲得一個(gè)好的知識(shí)圖譜很困難,李響團(tuán)隊(duì)正在嘗試?yán)肅hatGPT從大量的專業(yè)語料庫中自動(dòng)發(fā)掘知識(shí)圖譜,為語言模型在臨床工作中的部署提供重要的先驗(yàn)知識(shí)。

閆平昆則認(rèn)為,從影像分析的角度來看,ChatGPT之所以如此成功,尤其相較于現(xiàn)在的視覺模型而言,是因?yàn)樗鼘W(xué)習(xí)的對(duì)象——文字,具有人類表達(dá)方式的先天優(yōu)勢。

當(dāng)前階段應(yīng)該考慮的是,如何將圖像信息更好地輸入進(jìn)大模型之中。一種方法是通過圖像分析模型提取圖像中的信息,將其發(fā)送給ChatGPT。另一種方法是多模態(tài)學(xué)習(xí),特別是視覺-語言學(xué)習(xí)。將圖像信息與語言結(jié)合在一起后,就可以直接對(duì)圖像信息進(jìn)行編碼,與文字一起發(fā)送到大模型中。

以下是此次研討會(huì)的主要內(nèi)容,雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))《醫(yī)健AI掘金志》做了不改變?cè)獾木庉嫼驼恚ㄎ恼履┪部刹榭创舜螌W(xué)術(shù)沙龍涉及的文章列表):

沈定剛:首先來介紹一下我自己對(duì)ChatGPT的認(rèn)識(shí),OpenAI是一家小公司,只有87個(gè)年輕的員工,平均年齡為32歲,大部分員工都是90后。

在數(shù)據(jù)分析領(lǐng)域,年輕人是非常重要的力量,從ChatGPT團(tuán)隊(duì)取得的成就也可以看出,我們要支持年輕人的發(fā)展,為他們提供成長的機(jī)會(huì)。

雖然人數(shù)不多,但ChatGPT團(tuán)隊(duì)的成員都是名校畢業(yè)、曾在知名公司工作的經(jīng)驗(yàn)豐富的人才,如谷歌、Facebook、NVIDIA、Microsoft、DeepMind和Apple等企業(yè)。

ChatGPT的團(tuán)隊(duì)構(gòu)成比較均衡,包括本科生、碩士研究生和博士,各個(gè)級(jí)別的人才都很重要,這樣才能把技術(shù)做好。這個(gè)團(tuán)隊(duì)雖然年輕,但經(jīng)驗(yàn)非常豐富,成員中也有包括頂尖的AI科學(xué)家。

這樣的成員構(gòu)成使得他們能夠在AI領(lǐng)域取得很好的成績,也證明了人數(shù)并不是唯一的關(guān)鍵,團(tuán)隊(duì)的質(zhì)量更重要。

很多人疑問,為什么ChatGPT出現(xiàn)在美國而非其他國家?

在人工智能領(lǐng)域,中國發(fā)表了非常多的論文和專利,但其中的大多數(shù)都來自于高校,而美國的論文和專利大多數(shù)來自公司。

高校和公司都在做同樣的事情,但是很多創(chuàng)新和資源都在公司。因此,高校需要與公司進(jìn)行緊密的產(chǎn)學(xué)研結(jié)合,協(xié)同創(chuàng)新,才能體現(xiàn)出高校獨(dú)有的特色和優(yōu)點(diǎn)。

在科學(xué)研究和技術(shù)創(chuàng)新方面,美國起步很早。早在1958年,美國就開始做老化研究,通過測試了解人的身體、認(rèn)知、情緒等方面的變化,1989年就開始使用磁共振技術(shù)進(jìn)行研究。

在過去的幾十年中,許多重要的研究項(xiàng)目都采集了大量數(shù)據(jù),這些數(shù)據(jù)被保存下來并一直在被研究。這些項(xiàng)目的成功與否與其前瞻性、長期性和理想主義密切相關(guān)。

一些早期采集的數(shù)據(jù)在當(dāng)時(shí)無法得到很好的分析,但現(xiàn)在隨著人工智能和深度學(xué)習(xí)技術(shù)的發(fā)展,這些數(shù)據(jù)成為了非常有用的資源,對(duì)于了解人類的早期發(fā)育、認(rèn)知、神經(jīng)系統(tǒng)疾病等方面非常重要。

如今,人工智能已經(jīng)進(jìn)入AI 2.0時(shí)代,大領(lǐng)域模型在數(shù)據(jù)足夠多且模型足夠大的情況下可以取得飛躍性的性能提升。

在醫(yī)學(xué)和影像領(lǐng)域中,我們需要一個(gè)視覺模型來幫助醫(yī)生診斷病情。相對(duì)于視覺模型來說,語言模型更容易訓(xùn)練,因?yàn)榍昂笥羞壿嬯P(guān)系,而且可以從互聯(lián)網(wǎng)和書本中獲取數(shù)據(jù)進(jìn)行學(xué)習(xí)。

而視覺模型需要學(xué)習(xí)的是每個(gè)位置與其他位置之間的關(guān)系,非常困難。我們可以利用語言模型來幫助視覺模型的學(xué)習(xí)。

例如,視覺模型從圖像中識(shí)別出病灶位置,將其告訴語言模型,語言模型根據(jù)之前的學(xué)習(xí)經(jīng)驗(yàn)指導(dǎo)視覺模型去其他位置檢查是否存在病灶。

我們將語言模型與視覺模型結(jié)合起來,讓二者相互配合,即可提高整個(gè)系統(tǒng)的能力。

初期,語言模型與視覺模型的水平可能存在差異,但隨著合作的深入,二者可以聯(lián)合工作,最終達(dá)到像AlphaGo下棋一樣高效合作的目的。

下面回到我們今天的問題上。

沈定剛:ChatGPT的成功在技術(shù)上有哪些要素?這些技術(shù)對(duì)醫(yī)學(xué)影像的分析有什么樣的啟發(fā)?

劉天明:我認(rèn)為ChatGPT在技術(shù)上是需要長期積累的,可能需要十年到十五年的時(shí)間。其中最重要的兩個(gè)技術(shù)是Word Embedding和Transformer。

Word Embedding是十多年前出現(xiàn)的技術(shù),它將單詞轉(zhuǎn)化為一個(gè)向量,放入一個(gè)Embedding空間中,這是一個(gè)革命性的技術(shù)。而Transformer是近年來非常熱門的技術(shù),它在語言和視覺領(lǐng)域都有很廣泛的應(yīng)用。

我認(rèn)為最近出現(xiàn)的ChatGPT能夠做得這么好,是因?yàn)樗捎昧薎n-context Learning或者Prompt等技術(shù),能夠?qū)⑽谋巨D(zhuǎn)化為向量,再利用Transformer進(jìn)行處理。這些技術(shù)的發(fā)展都需要長期的積累和研究。

李響:ChatGPT的成功是因?yàn)樗梢酝瑫r(shí)完成多個(gè)任務(wù),這種多任務(wù)的方式在醫(yī)學(xué)影像分析中也很重要。

ChatGPT的訓(xùn)練方式相對(duì)容易,因?yàn)檎Z言是一種順序的任務(wù),而圖像則需要考慮多個(gè)方向上的相關(guān)性。

“ Masked autoencoders are scalable vision learners”等文章探索了圖像多任務(wù)學(xué)習(xí)的方法,但目前還沒有類似于ChatGPT的大規(guī)模,多任務(wù)圖像模型出現(xiàn)。未來在醫(yī)學(xué)影像和信號(hào)處理中,多任務(wù)和多模態(tài)集成的方法可能會(huì)得到更多的應(yīng)用。

閆平昆:沈定剛老師、劉天明老師和李響老師從不同角度介紹了ChatGPT技術(shù),我從圖像的角度介紹一下。

ChatGPT使用的硬件和網(wǎng)絡(luò)架構(gòu)都很厲害,它的模型量很大,從小到大分別有125兆和1750億個(gè)參數(shù),下一步要考慮的問題就是如何把視覺模型做得更大。

此外,ChatGPT不僅學(xué)習(xí)語言,還學(xué)習(xí)了編程語言和互聯(lián)網(wǎng)上的代碼,這說明對(duì)ChatGPT來說,不同的數(shù)據(jù)代表著不同的價(jià)值。

第三,提示技術(shù)和高質(zhì)量數(shù)據(jù)也對(duì)模型性能的提升有很大的作用。強(qiáng)化學(xué)習(xí)和Human in the loop等也是重要的因素。

劉偉:我是一個(gè)臨床醫(yī)學(xué)物理師,專注于放射治療。

我認(rèn)為ChatGPT在一般的醫(yī)學(xué)知識(shí)方面表現(xiàn)出色,但在更具體和相關(guān)性更強(qiáng)的領(lǐng)域,例如放射學(xué),表現(xiàn)并不出色。

這可能是因?yàn)镃hatGPT是通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練的,而且專家的介入有限。如果我們想要提高ChatGPT在這些領(lǐng)域的表現(xiàn),我們需要進(jìn)行專家介入的強(qiáng)化學(xué)習(xí),這可以通過專家的反饋實(shí)現(xiàn)。

此外,ChatGPT的數(shù)據(jù)來源是互聯(lián)網(wǎng),其中與醫(yī)學(xué)領(lǐng)域相關(guān)的知識(shí)相對(duì)有限,主要是為了科普性質(zhì)的知識(shí)。

因此,如果我們可以收集大規(guī)模的醫(yī)學(xué)圖像、文本數(shù)據(jù),并通過專家的介入進(jìn)行訓(xùn)練,我相信ChatGPT在醫(yī)學(xué)領(lǐng)域?qū)⒂懈鼜V泛的應(yīng)用。

沈定剛:我們應(yīng)該如何在醫(yī)學(xué)影像領(lǐng)域中應(yīng)用和集成ChatGPT?

劉天明:我認(rèn)為剛剛劉偉老師說的話題很好,從人類反饋到專家反饋的強(qiáng)化學(xué)習(xí)是在醫(yī)療影像中應(yīng)用和集成最關(guān)鍵的因素。

ChatGPT利用公開的常識(shí)性知識(shí)生成語言和答案時(shí),已經(jīng)做得非常好了,但我們?cè)诤歪t(yī)生、藥劑師的一次討論中發(fā)現(xiàn),ChatGPT在他們的專業(yè)領(lǐng)域生成的語言和答案時(shí)往往并不合理。

當(dāng)下人們對(duì)ChatGPT的反饋可以分為兩類:一類認(rèn)為它在常識(shí)性的知識(shí)上做的非常好,另一類則認(rèn)為它在專業(yè)知識(shí)領(lǐng)域一本正經(jīng)地說瞎話。

因此,在ChatGPT的訓(xùn)練中增強(qiáng)專家的反饋非常關(guān)鍵,必須將專家的反饋納入循環(huán)中,才能進(jìn)一步提高ChatGPT的質(zhì)量。

一年多前我們發(fā)表了一篇有關(guān)放射學(xué)的文本分析文章(ClinicalRadioBERT: Knowledge-Infused Few Shot Learning for Clinical Notes Named Entity Recognition),我們將積累的幾萬篇公開數(shù)據(jù)應(yīng)用在文本分析中后,得到的結(jié)果比以往的常規(guī)分析要好得多。

因此,在ChatGPT的訓(xùn)練中,也需要逐步從常識(shí)性知識(shí)升級(jí)到生物醫(yī)學(xué)領(lǐng)域知識(shí),再升級(jí)到放射學(xué)領(lǐng)域知識(shí)。

當(dāng)然,放射學(xué)是一個(gè)非常大的領(lǐng)域,要將這一領(lǐng)域細(xì)分到什么程度,才能達(dá)到我們想要的效果,仍需各位專家來界定。

閆平昆:劉天明老師提到了強(qiáng)化學(xué)習(xí)中的人類反饋,是ChatGPT中一個(gè)非常重要的技術(shù),我們應(yīng)該將專業(yè)醫(yī)生的反饋更多地融入其中,讓ChatGPT像超人一樣從弱小到強(qiáng)大地成長起來。

ChatGPT在進(jìn)行訓(xùn)練時(shí),使用了大量由人工標(biāo)注的材料和反饋樣本,才能夠達(dá)到如今的效果。

將來我們?cè)谟?xùn)練自己的圖像模型時(shí),也要花費(fèi)更多地耐心和精力去準(zhǔn)備數(shù)據(jù),畢竟機(jī)器學(xué)習(xí)的特點(diǎn)就是“Garbage In,Garbage Out”,如果數(shù)據(jù)質(zhì)量不夠好,模型的性能也上不去。

另外,劉天明老師剛剛提到Prompt Engineering提示工程,也是非常重要的一個(gè)技術(shù)。

十幾年前做機(jī)器學(xué)習(xí)時(shí),人們都在做特征提取,深度學(xué)習(xí)出現(xiàn)以后大家又改做Network Engineering網(wǎng)絡(luò)工程,而現(xiàn)在進(jìn)入人工智能2.0時(shí)代,每個(gè)人都有自己定制的提示服務(wù)。

李響:這個(gè)發(fā)展其實(shí)很有意思,越來越多對(duì)深度學(xué)習(xí)或機(jī)器學(xué)習(xí)不夠熟悉的人,也能通過自然語言來實(shí)現(xiàn)這些技術(shù)。

In-Context Learning解決了pretrain大模型的問題,是一個(gè)非常有用的技術(shù)。它不僅在技術(shù)上有改變,同時(shí)也在社會(huì)經(jīng)濟(jì)上對(duì)人類行為上有所改變,使得AI的受眾變得更廣泛,醫(yī)生現(xiàn)在也可以自己做NLP相關(guān)的AI研究了。

在沒有基于In-Context Learning的ChatGPT之前,醫(yī)生們根本不可能完成這些事情,這是一個(gè)思想意識(shí)上的巨大轉(zhuǎn)變。

在利用專業(yè)知識(shí)方面,Active Learning和Federal Active Learning在這個(gè)過程中都起到非常重要的作用,這是最核心的一個(gè)步驟,雖然只是一個(gè)小數(shù)據(jù),但能夠撬動(dòng)整個(gè)大模型,使其向更好的方向發(fā)展。

這一過程仍有很多設(shè)計(jì)上的問題需要解決,也許暫時(shí)還回答不了,但我們目前已經(jīng)在進(jìn)行這方面的研究。

劉偉:如果我們想將ChatGPT應(yīng)用到醫(yī)學(xué)影像之中,那么多模態(tài)學(xué)習(xí)就是必不可少的。醫(yī)學(xué)領(lǐng)域中目前存在很多的圖像、音頻、文本等不同種類的數(shù)據(jù),必須利用多模態(tài)學(xué)習(xí)將其進(jìn)行結(jié)合,才能應(yīng)用在臨床工作中。

此外,還要考慮到特定領(lǐng)域數(shù)據(jù)的限制,針對(duì)醫(yī)學(xué)這種專業(yè)領(lǐng)域的數(shù)據(jù),需要使用更專業(yè)的提示詞來生成問題。

第三,ChatGPT目前使用的是一個(gè)很簡單的訓(xùn)練獎(jiǎng)勵(lì)模型,回答的結(jié)果僅僅由人來進(jìn)行簡單的評(píng)估,我認(rèn)為將來應(yīng)該進(jìn)一步提升這一環(huán)節(jié)的復(fù)雜度,利用多模態(tài)學(xué)習(xí)等技術(shù),進(jìn)行多維度評(píng)估。

沈定剛:簡單來說,要將ChatGPT技術(shù)應(yīng)用在醫(yī)學(xué)影像或放射學(xué)等領(lǐng)域中,需要將相關(guān)領(lǐng)域的知識(shí)和信息融入到ChatGPT的模型之中,以提高其在該專業(yè)領(lǐng)域中的表現(xiàn)。具體而言,可以通過以下方式來實(shí)現(xiàn):

提供大量領(lǐng)域相關(guān)的數(shù)據(jù)來訓(xùn)練模型,包括診斷結(jié)果、醫(yī)學(xué)影像、學(xué)術(shù)論文等;

用領(lǐng)域?qū)<业闹R(shí),例如醫(yī)生、科學(xué)家等,對(duì)模型進(jìn)行指導(dǎo)和改進(jìn);

將領(lǐng)域特定的語言和術(shù)語嵌入到模型中,從而使其能夠更好地理解和處理該領(lǐng)域的內(nèi)容;

將模型應(yīng)用于特定領(lǐng)域中的具體問題,例如醫(yī)學(xué)影像診斷,并將其與人類專家的表現(xiàn)進(jìn)行比較和評(píng)估。

總之,在特定領(lǐng)域中應(yīng)用ChatGPT技術(shù),需要一定的領(lǐng)域知識(shí)和專業(yè)指導(dǎo),并將其與具體問題相結(jié)合,以發(fā)揮其最大的作用。

沈定剛:如何利用成像AI和放射學(xué)的知識(shí)來提高ChatGPT?如何進(jìn)一步開發(fā)面向放射學(xué)的大語言模型?

劉天明:我先說幾個(gè)例子,它們是我們正在進(jìn)行的項(xiàng)目的實(shí)例,我們有第一手的經(jīng)驗(yàn)和體會(huì),也取得了一些結(jié)果。就我目前的觀察而言,ChatGPT在臨床放射領(lǐng)域的應(yīng)用會(huì)非常廣泛。

第一個(gè)例子是,ChatGPT的推理能力非常廣泛,只需要將臨床放射領(lǐng)域的數(shù)據(jù)提供給它,就可以進(jìn)行很好的推理。

在我們目前在做的一個(gè)項(xiàng)目中,將放射科等各個(gè)科室中的文本數(shù)據(jù)轉(zhuǎn)化為ChatGPT可接受的格式,利用ChatGPT推理對(duì)應(yīng)的疾病產(chǎn)生的原因以及未來的發(fā)展趨勢。

第二個(gè)例子是通過ChatGPT對(duì)癌癥病人的管理,特別是放療的臨床節(jié)點(diǎn)進(jìn)行預(yù)測,這個(gè)項(xiàng)目目前已經(jīng)啟動(dòng)了。

第三個(gè)例子是在臨床診斷中,通過提示工程將文本和數(shù)據(jù)嵌入特征空間,利用特征空間對(duì)病人進(jìn)行聚類、分層或者診斷。

這些例子很快就能得到結(jié)果,可能會(huì)比以前的方法好很多。我認(rèn)為,這只是ChatGPT在臨床中的一小部分應(yīng)用,在未來,臨床上所有我們能想象到的技術(shù)、工具,基本都能夠通過ChatGPT來實(shí)現(xiàn)。

另外,多模態(tài)問題也非常重要,我們正在通過多模態(tài)的In-Context Learning將圖像特征、文本特征以及醫(yī)生的眼動(dòng)數(shù)據(jù)進(jìn)行相互聯(lián)系,實(shí)現(xiàn)一鍵生成診斷報(bào)告。

沈定剛:謝謝天明,他剛剛提到的眼動(dòng)技術(shù)很重要,尤其是對(duì)于語言模型的訓(xùn)練,因?yàn)檠蹌?dòng)數(shù)據(jù)更具規(guī)律性。

相比之下,從各個(gè)方向都有聯(lián)系的圖像數(shù)據(jù)中學(xué)習(xí)規(guī)律要困難得多。

在醫(yī)生進(jìn)行診斷過程中,記錄醫(yī)生的眼動(dòng)即可自動(dòng)記錄醫(yī)生的關(guān)注點(diǎn)和注意力,從而幫助實(shí)現(xiàn)后續(xù)的自學(xué)習(xí)技術(shù)。這樣的技術(shù)可能是一個(gè)有效的模擬治療方法。

在數(shù)字空間中,可以模擬不同治療方法,并比較不同的結(jié)果。有了這樣的技術(shù),我們就可以在虛擬世界中進(jìn)行診療。

閆平昆:從影像分析的角度來看,ChatGPT之所以如此成功,尤其相較于現(xiàn)在的視覺模型而言,是因?yàn)樗鼘W(xué)習(xí)的對(duì)象——文字,具有人類表達(dá)方式的先天優(yōu)勢。

人類利用文字書寫大量的知識(shí),這些文字都有特定的規(guī)則,并且要以特定的規(guī)則進(jìn)行表達(dá),因此方便了ChatGPT對(duì)文字知識(shí)的學(xué)習(xí)。

當(dāng)前階段我們應(yīng)該考慮的是,如何將圖像信息更好地輸入進(jìn)大模型之中。

一種方法是通過圖像分析模型提取圖像中的信息,將其發(fā)送給ChatGPT。

另一種方法是我們應(yīng)該聚焦的一個(gè)方向:多模態(tài)學(xué)習(xí),特別是視覺語言學(xué)習(xí)。將圖像信息與語言結(jié)合在一起后,就可以直接對(duì)圖像信息進(jìn)行編碼,與文字一起發(fā)送到大型語言模型中。

因此,目前我們應(yīng)該以大型語言模型為主,它學(xué)習(xí)了大量的知識(shí)并具有邏輯推理能力。以此為中心,我們還要明確如何更好地將圖像信息傳遞到其中。

李響:劉天明老師和閆平昆老師都講了使用ChatGPT的核心要點(diǎn),我想強(qiáng)調(diào)一個(gè)重要但不被關(guān)注的方面,就是醫(yī)學(xué)信息學(xué),在將語言模型用于臨床工作流中時(shí),需要快速、有效、準(zhǔn)確地獲取數(shù)據(jù)。

過去幾年中,我們花了很多時(shí)間研究如何獲取任意想要的醫(yī)院系統(tǒng)文本或數(shù)據(jù),并將現(xiàn)實(shí)模型應(yīng)用于這些數(shù)據(jù),從而將大語言模型或多模態(tài)模型融合到整個(gè)臨床工作流之中,包括放射醫(yī)學(xué)的臨床指標(biāo)。醫(yī)學(xué)信息學(xué)在這個(gè)過程中扮演了很重要的角色。

劉偉:劉天明老師和沈定剛老師在多模態(tài)學(xué)習(xí)方面已經(jīng)很有成就了,比如使用ChatGPT在臨床醫(yī)學(xué)和醫(yī)療影像領(lǐng)域進(jìn)行了ChatCAD和ChatAug等項(xiàng)目。我們應(yīng)該跟著他們的思路,想辦法將這些技術(shù)應(yīng)用到培訓(xùn)和研究中。

我們雖然有非常多的醫(yī)療影像數(shù)據(jù),但是由于各種原因,數(shù)據(jù)的共享一直是一個(gè)大難題,我們需要生成一個(gè)合法合規(guī)的大型數(shù)據(jù)庫,這對(duì)訓(xùn)練下一代大數(shù)據(jù)模型非常重要。

此外,許多醫(yī)生都在嘗試使用ChatGPT做科研,但由于缺乏專業(yè)知識(shí),只能利用ChatGPT做一些簡單的應(yīng)用研究,如果想要進(jìn)一步地推進(jìn)研究,還需要多領(lǐng)域?qū)<业呐秃献鳌?/p>

總而言之,想要更好地將ChatGPT應(yīng)用于臨床工作之中,不僅僅需要融入多模態(tài)學(xué)習(xí)等技術(shù),也需要多領(lǐng)域?qū)<业墓餐Α?/p>

沈定剛:考慮到ChatGPT合成文檔的局限性和潛力,如何將ChatGPT整合到放射學(xué)流程中,幫助開發(fā)有用的放射科醫(yī)生工具?

劉偉:我是放療領(lǐng)域的從業(yè)人員,當(dāng)下任何一個(gè)??频臄?shù)據(jù)信息都不僅僅有文本一種,而是涵蓋各種不同類型的信息,比如病例、影像、隨訪結(jié)果等等,我們必須將這些信息結(jié)合起來,才能夠做更有意義的臨床研究。

據(jù)我所知,目前已經(jīng)有公司開始使用大數(shù)據(jù)模型來預(yù)估病人的治療結(jié)果,但現(xiàn)階段的模型一般只考慮文本信息。

我認(rèn)為必須將多模態(tài)學(xué)習(xí)技術(shù)應(yīng)用在這方面的工作中,引領(lǐng)未來的發(fā)展方向。

以放療領(lǐng)域?yàn)槔?,目前存在多種放療方式,包括光子、質(zhì)子、Block Therapy和電子等,在為病人進(jìn)行初步會(huì)診時(shí),遇到復(fù)雜的病情,往往需要集合多領(lǐng)域?qū)<业囊庖?,選擇最適合病人的治療方式。

但組織專家會(huì)診十分費(fèi)時(shí)費(fèi)力,且以往醫(yī)生在制作病例時(shí)格式通常不夠標(biāo)準(zhǔn),更是加重了從這些非結(jié)構(gòu)化臨床數(shù)據(jù)中提取信息的難度。

現(xiàn)在有了ChatGPT這樣的工具,我們才得以更高效地進(jìn)行研究。

同時(shí),在美國醫(yī)療保險(xiǎn)公司為了節(jié)省成本,總會(huì)選擇比較便宜的治療方式,從而加重了醫(yī)生與保險(xiǎn)公司溝通的時(shí)間成本,這也是我們需要考慮的一個(gè)問題。

劉天明:放射科醫(yī)生在臨床診斷中扮演著關(guān)鍵角色,需要與其他科室醫(yī)生進(jìn)行協(xié)作,需要閱讀大量文獻(xiàn)和病例數(shù)據(jù)。

使用ChatGPT等自然語言處理工具,可以幫助醫(yī)生更快地閱讀和理解大量信息,以及快速撰寫診斷報(bào)告和保險(xiǎn)文件。這將大大提高醫(yī)生的工作效率,改善整個(gè)醫(yī)療工作流程。

閆平昆:我認(rèn)為在將ChatGPT應(yīng)用于放射學(xué)流程時(shí),有兩個(gè)需要考慮的方面。

首先是規(guī)范提示詞,因?yàn)樘崾驹~在整個(gè)過程中非常重要。我們需要正確的提示詞來進(jìn)行Prompt Engineering,這要求我們對(duì)這個(gè)問題有深入的理解和認(rèn)識(shí)。

如何給ChatGPT合適的提示詞,從而獲得更好的結(jié)果,也是需要我們解決的問題。

另一個(gè)方面是不同的提示詞對(duì)ChatGPT的結(jié)果有很大的影響。

OpenAI的團(tuán)隊(duì)做過這個(gè)實(shí)驗(yàn),發(fā)現(xiàn)不同的提示詞對(duì)模型的性能有很大的不同。因此,我們需要規(guī)范提示詞,并使用集成學(xué)習(xí)等技術(shù)改善這一情況。

此外,通過ChatGPT模型,我們可以與醫(yī)生進(jìn)行反饋,生成報(bào)告,幫助醫(yī)生發(fā)現(xiàn)可能被忽略的問題,比如Incidental Findings(偶然發(fā)現(xiàn))。

ChatGPT模型可以指出圖像上可能存在的問題,讓醫(yī)生進(jìn)行進(jìn)一步檢查。這種交互是非常重要的。

李響:為了更好地為醫(yī)生提供服務(wù),我們最近正在嘗試?yán)弥R(shí)圖譜來幫助我們更好地使用自然語言處理工具。

知識(shí)圖譜可以加在整個(gè)流程之中,不論是數(shù)據(jù)的輸入、語言的生成還是ChatGPT的效果改善等等。這將為我們?cè)谂R床中使用ChatGPT提供極大的幫助。

但是,獲得一個(gè)好的知識(shí)圖譜很困難,我們正在嘗試?yán)肅hatGPT從大量的語料庫中自動(dòng)發(fā)掘知識(shí)圖譜,這項(xiàng)工作將為語言模型在臨床工作中的部署提供很多先進(jìn)的經(jīng)驗(yàn)。

沈定剛:將ChatGPT及其核心技術(shù)用于醫(yī)學(xué)影像領(lǐng)域會(huì)有哪些潛在的挑戰(zhàn)(比如怎么創(chuàng)建跨機(jī)構(gòu)的文本數(shù)據(jù)庫,怎么保護(hù)患者隱私,需要哪些行業(yè)行為規(guī)范)?

我們已經(jīng)討論過如何保護(hù)數(shù)據(jù)和隱私,但現(xiàn)在我們需要考慮如何將ChatGPT技術(shù)應(yīng)用于醫(yī)療領(lǐng)域,特別是醫(yī)學(xué)影像和放射治療?

這涉及到IRB(機(jī)構(gòu)審查委員會(huì))的審批標(biāo)準(zhǔn)和個(gè)人信息的保護(hù),也是一個(gè)比較關(guān)鍵的問題。

劉天明:目前在醫(yī)療領(lǐng)域中,數(shù)據(jù)隱私的保護(hù)非常重要,目前還沒有合適的方法將醫(yī)療數(shù)據(jù)提供給ChatGPT。

我們正在準(zhǔn)備一篇論文,探討在保護(hù)隱私的前提下,如何讓ChatGPT更好地應(yīng)用于醫(yī)療領(lǐng)域。

我們發(fā)現(xiàn)使用本地大規(guī)模模型可以解決部分問題,對(duì)于無法解決的問題,我們可以利用ChatGPT去除隱私信息并提高數(shù)據(jù)識(shí)別率。

這將對(duì)醫(yī)療領(lǐng)域產(chǎn)生重大影響,未來醫(yī)療文本可以通過ChatGPT進(jìn)行推理。我們會(huì)很快發(fā)布一篇論文來詳細(xì)介紹我們的思路。

閆平昆:在醫(yī)療數(shù)據(jù)的準(zhǔn)備上,我們需要更多的圖像和文本數(shù)據(jù),例如臨床記錄、放射學(xué)報(bào)告等等?,F(xiàn)有的公開數(shù)據(jù)集(例如MIMICS)相對(duì)較少。

此外,現(xiàn)在有很多編碼器和Embedding等技術(shù),我們是否還需要共享原始數(shù)據(jù)?或者是僅共享編碼過的數(shù)據(jù)?

李響:剛才有老師提到了關(guān)于共享計(jì)算的問題,實(shí)際上聯(lián)邦學(xué)習(xí)在影像上的應(yīng)用已經(jīng)比較成熟,但在語言方面還需要一個(gè)大規(guī)模的語言模型,這也是一個(gè)挑戰(zhàn)。

另一方面,如果要在本地部署一個(gè)大規(guī)模語言模型,將會(huì)對(duì)算力提出很大的要求,這幾乎是大規(guī)模語言模型在醫(yī)療領(lǐng)域中最大的挑戰(zhàn)了。

在我看來,并不是所有的醫(yī)院都有條件做這項(xiàng)工作,其中還存在著數(shù)據(jù)的不平衡性等問題,這是很值得我們關(guān)注的一點(diǎn),并且現(xiàn)在還沒有很好的解決方案,即使是我們使用的聯(lián)邦學(xué)習(xí)等方法,也存在類似的弊端,需要有本地的處理方案。

劉偉:閆平昆老師剛剛提到的新思路是,利用聯(lián)邦學(xué)習(xí)在本地模型中對(duì)數(shù)據(jù)做初步的處理,再進(jìn)行分享,從而在保護(hù)保護(hù)病人隱私的前提下得到更好的結(jié)果。

但正如李響老師所說,在醫(yī)療領(lǐng)域數(shù)據(jù)協(xié)調(diào)和隱私保護(hù)是一個(gè)很大的挑戰(zhàn)。我們?cè)?jīng)考慮使用區(qū)塊鏈技術(shù)來分享數(shù)據(jù),這也許是一個(gè)好的思路。

沈定剛:我們之前在放射學(xué)、腫瘤學(xué)、基因?qū)W等領(lǐng)域做了很多工作,采集了影像和基因信息?,F(xiàn)在有了ChatGPT這樣的技術(shù),它可以幫助我們理解影像和基因之間的關(guān)系。我們可以使用ChatGPT中的自學(xué)習(xí)功能來發(fā)現(xiàn)新的關(guān)系和規(guī)律,并將其應(yīng)用于腫瘤學(xué)、基因?qū)W和放射學(xué)等領(lǐng)域。

如何將ChatGPT與在放射學(xué)和其他許多生物醫(yī)學(xué)領(lǐng)域中的應(yīng)用串聯(lián)起來?

劉天明:與我們合作的西北工業(yè)大學(xué)張拓老師帶領(lǐng)著一個(gè)七八人的團(tuán)隊(duì),已經(jīng)開始嘗試使用ChatGPT,將人腦的結(jié)構(gòu)和功能連接到一個(gè)高層的語意空間。

使用類似的方法,可以處理很多領(lǐng)域中的信息,比如基因組學(xué)和生物信息學(xué),我認(rèn)為ChatGPT在這兩個(gè)領(lǐng)域中的應(yīng)用還沒有開始。我們可以使用知識(shí)圖譜的方法,將圖像、文本、基因組等所有相關(guān)的信息全部映射到一個(gè)圖空間里,然后使用ChatGPT等技術(shù),對(duì)這個(gè)圖網(wǎng)絡(luò)空間進(jìn)行推理和分析。

這是將改變整個(gè)生物信息學(xué)、臨床信息學(xué)、醫(yī)療影像的NLP方法,是未來大勢所趨。

沈定剛:這種方法可以改變所有表達(dá)的方式,讓所有的信息處于同一個(gè)空間中,可以相互查到信息,從而實(shí)現(xiàn)多模態(tài)表達(dá)。

我們已經(jīng)花費(fèi)多年時(shí)間研究了多模態(tài)信息,使用了CCA來將不同空間的信息轉(zhuǎn)化為同一個(gè)空間,使用深度學(xué)習(xí)將遠(yuǎn)距離的信息向量轉(zhuǎn)換到同一空間,這樣做可以讓信息之間最大程度地協(xié)調(diào)一致。

我們還需要將不同的信息編碼到同一空間中,并且在解碼時(shí)可以返回原始模態(tài)的信息。這樣做可以讓很多事情變得更容易。

這個(gè)領(lǐng)域很有趣,我讀了很多論文,了解新的技術(shù),就像2012年時(shí),我讀了很多Deep Learning的論文,然后安排我的學(xué)生們?nèi)プ龅谝慌鶧eep Learning的研究。

我們必須緊跟技術(shù)發(fā)展的步伐,讀所有的文章,了解所有的研究動(dòng)向和技術(shù)細(xì)節(jié),這樣才能有效地指導(dǎo)我們的學(xué)生和年輕教師,讓他們?cè)诙虝r(shí)間內(nèi)取得好成果。我認(rèn)為我們應(yīng)該沖在最前面,才能把這個(gè)事情做好。

閆平昆:我們現(xiàn)在處于一個(gè)非常重要的時(shí)刻,需要在思想上進(jìn)行轉(zhuǎn)變。過去我們注重特征工程,后來又轉(zhuǎn)向網(wǎng)絡(luò)工程,而現(xiàn)在,我們需要將自己的研究與大型語言模型相結(jié)合。

另外,我們也需要不斷提高機(jī)器交互的層次,從像素級(jí)別到特征級(jí)別,再到知識(shí)層次的交互。

ChatGPT的出現(xiàn)也重新定義了機(jī)器學(xué)習(xí)的可解釋性。就像今天各位老師在這里分享的知識(shí),我們不需要知道大家大腦中的神經(jīng)元是如何工作、如何相互聯(lián)系的,只要學(xué)到你們分享的邏輯與知識(shí)就足夠了。

我們需要了解網(wǎng)絡(luò)中神經(jīng)元的工作方式,而不必了解其具體實(shí)現(xiàn)。這樣我們就可以重新定義可解釋性。這些都是非常重要的研究方向,正如沈定剛教授所說,需要我們投入大量的精力去學(xué)習(xí),掌握最新的技術(shù)進(jìn)展

李響:我認(rèn)為我們需要重新定義多模態(tài)融合的思想。過去大家談到多模態(tài)融合,大多是指在一個(gè)特定的任務(wù)中融合不同種類的數(shù)據(jù),并沿著一個(gè)路徑走下去。

我認(rèn)為多模態(tài)融合應(yīng)該更多源自于生成,而不是單純的融合模型或者將不同的信息融合在一起。我們要讓不同模態(tài)之間互相生成彼此,在各自的學(xué)習(xí)過程中對(duì)抗彼此。

如今在語言模型和圖像生成模型上已經(jīng)有了成功的例子,我們可以嘗試在多模態(tài)生成模型上取得進(jìn)步,實(shí)現(xiàn)真正的多模態(tài)融合。

劉偉:我也認(rèn)為學(xué)習(xí)更多的論文,了解技術(shù)細(xì)節(jié)非常重要,這樣才能夠更有效地與學(xué)生共同工作。作為臨床醫(yī)生,我可能相對(duì)保守,但我認(rèn)為我們應(yīng)該做出改變,去擁抱最新的技術(shù)并將其應(yīng)用于臨床工作中。

比如,我們可以像沈定剛老師一樣去嘗試ChatCAD,將多模態(tài)數(shù)據(jù)結(jié)合起來,將其應(yīng)用到不同的領(lǐng)域中。

我認(rèn)為ChatAug這項(xiàng)工作很有前途,如果能夠?qū)⑵渑c多模態(tài)數(shù)據(jù)聯(lián)系起來,不僅僅是文本和圖像,還可以包括其他各種數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng),那么模型效果也會(huì)得到提升。

此次學(xué)術(shù)沙龍中涉及的文章,以及之后參與的幾位專家發(fā)表的ChatGPT在醫(yī)學(xué)中的發(fā)展與應(yīng)用的文章,可以參考以下列表:

ChatGraph: Interpretable Text Classification by Converting ChatGPT Knowledge to Graphs

Prompt Engineering for Healthcare: Methodologies and Applications

Differentiate ChatGPT-generated and Human-written Medical Texts

ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT

Exploring the Trade-Offs: Unified Large Language Models vs Local Fine-Tuned Models for Highly-Specific Radiology NLI Task

ImpressionGPT: An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT

Evaluating Large Language Models on a Highly-specialized Topic, Radiation Oncology Physics

DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4

Chataug: Leveraging chatgpt for text data augmentation

Chatcad: Interactive computer-aided diagnosis on medical image using large language models

Transformers in medical image analysis: A review

DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

分享:
相關(guān)文章

主筆

關(guān)注醫(yī)療科技領(lǐng)域。微信號(hào):qiaoyw186
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說