0
| 本文作者： 李雨晨 | 2019-05-17 09:44 |
在一些特定的病種上，AI的表現(xiàn)大有超越醫(yī)生之勢。然而，很多醫(yī)療AI產(chǎn)品還在研發(fā)和試驗訓(xùn)練階段。在實際的比較試驗中，尚未使用大規(guī)模未經(jīng)過濾的臨床數(shù)據(jù)評估醫(yī)學(xué)AI在疾病診斷和治療決策中的有效性。 大家就有疑問，AI在投入真實臨床應(yīng)用的情況到底會如何？
雷鋒網(wǎng)了解到，近日，中山大學(xué)中山眼科中心劉奕志和林浩添眼科人工智能團隊牽頭完成了最新的臨床多中心隨機對照研究，用來比較CC-Cruiser和傳統(tǒng)眼科診所的醫(yī)生之間的臨床差異。這篇論文以封面文章的形式發(fā)表在全球權(quán)威醫(yī)學(xué)期刊《柳葉刀》子刊EClinicalMedicine（ECM）最新一期（2019 Mar）上。
CC-Cruiser是由中山大學(xué)中山眼科中心（ZOC）醫(yī)學(xué)人工智能團隊利用深度學(xué)習(xí)建立的“先天性白內(nèi)障人工智能診斷決策平臺”，該協(xié)作云平臺支持個體醫(yī)院之間的患者數(shù)據(jù)共享，用于數(shù)據(jù)集成和患者篩查。CC-Cruiser采用的訓(xùn)練數(shù)據(jù)集包括410例兒童白內(nèi)障眼圖和476例正常眼睛圖像，這些圖像來自中國罕見疾病?？谱o理中心的中國衛(wèi)生部兒童白內(nèi)障項目（CCPMOH）
背景：CC-Cruiser是一種用于診斷兒童白內(nèi)障并提供風(fēng)險分層和治療建議的人工智能平臺。之前在特定數(shù)據(jù)集上驗證了CC-Cruiser的高精度。本研究的目的是比較CC-Cruiser和眼科醫(yī)生在實際臨床環(huán)境中的診斷效果和治療決策能力。
方法：這項多中心隨機對照試驗在中國不同地區(qū)的五個眼科門診進行。未確診白內(nèi)障或既往眼科手術(shù)史的兒童患者（年齡≤14歲）隨機（1：1）接受CC-Cruiser或眼科醫(yī)師（具有5年以上兒科眼科臨床經(jīng)驗）的診斷和治療建議。提供金標(biāo)準(zhǔn)的專家與進行裂隙燈拍攝和數(shù)據(jù)分析的研究人員不知道分組情況。
主要結(jié)果參照白內(nèi)障專家標(biāo)準(zhǔn)對兒童白內(nèi)障的診斷。次要結(jié)果包括疾病嚴(yán)重程度和治療確定的評估，診斷所需的時間以及患者滿意度，其由平均評分確定。該試驗已注冊ClinicalTrials.gov (NCT03240848)。
調(diào)查結(jié)果：2017年8月9日至2018年5月25日期間，350名參與者（700只眼）被CC-Cruiser（350只眼）或眼科醫(yī)生（350只眼）隨機分配診斷。CC-Cruiser的白內(nèi)障診斷和治療確定的準(zhǔn)確率分別為87.4％和70.8％，分別顯著低于眼科醫(yī)師的99.1％和96.7％（p<0.001，OR = 0.06 [95% CI 0.02-0.19]；p<0.001，OR = 0.08 [95％CI 0.03-0.25]。CC-Cruiser診斷的平均時間是2.79分鐘，顯著小于眼科醫(yī)師的8.53分鐘（p<0.001，平均差異5.74 [95％CI 5.43-6.05]）?；颊邔C-Cruiser提供的整體醫(yī)療服務(wù)質(zhì)量表示滿意，CC-Cruise在白內(nèi)障診斷方面具有節(jié)省時間的特點。
解釋：與眼科醫(yī)師相比，CC-Cruiser在診斷兒童白內(nèi)障和做出治療決策方面不太準(zhǔn)確。但是，CC-Cruiser提供的醫(yī)療服務(wù)所需時間更少，取得了高水平的病人滿意度。CC-Cruiser有能力在其目前的臨床實踐中協(xié)助人類醫(yī)生。
這是一個在五個中國眼科診所進行的大型、多中心、平行組、隨機對照試驗。我們的研究遵循了綜合報告試驗標(biāo)準(zhǔn)（CONSORT）指南。該試驗的主要研究中心是中山大學(xué)中山眼科中心。另外四家診所分別為深圳市眼科醫(yī)院、武漢市中心醫(yī)院、福建醫(yī)科大學(xué)第二附屬醫(yī)院、開封眼科醫(yī)院。我們選擇了來自不同地區(qū)的這些合作醫(yī)院，以代表中國各地醫(yī)療保健環(huán)境的多樣性。
研究人員根據(jù)這些醫(yī)院眼科診所的納入標(biāo)準(zhǔn)招募參與者。參與者如果年齡小于14歲，有或沒有眼部癥狀，并且先前沒有眼科手術(shù)史，則有資格參加該研究。所有參與者都需要進行裂隙燈攝影（slit-lamp photography），必要時使用水合氯醛（chloral hydrate）等鎮(zhèn)靜劑。 已經(jīng)明確診斷為白內(nèi)障，其他眼部正?；蜓弁鈧幕颊弑慌懦谕狻?/p>
在開始時獲得每個參與兒童的至少一名監(jiān)護人的書面知情同意，并且在整個研究期間遵循赫爾辛基宣言（Declaration of Helsinki）中的原則。 該研究方案得到了ZOC倫理委員會和所有合作中心機構(gòu)審查委員會的批準(zhǔn)，包括深圳市眼科醫(yī)院，武漢市中心醫(yī)院，福建醫(yī)科大學(xué)第二附屬醫(yī)院和開封眼科醫(yī)院。 該試驗在Clinical Trials.gov（NCT03240848）注冊。
2.2 隨機化和盲法
參與者被隨機（1：1）接受CC-Cruiser或眼科醫(yī)師的診斷，其中一名參與者（兩只眼睛）被隨機分配到同一組。通過隨機數(shù)生成程序進行集中隨機化，沒有分層因素以避免選擇偏倚。每個研究中心的研究人員評估了每位患者的資格。如果患者符合納入標(biāo)準(zhǔn)，則研究者將患者的信息發(fā)送給研究協(xié)調(diào)員，協(xié)調(diào)員通知研究者有關(guān)分配的組。由經(jīng)過培訓(xùn)的臨床工作人員在每個參與的診所進行裂隙燈攝影和患者招募。臨床工作人員、參與數(shù)據(jù)管理和分析的研究人員以及在每個診所提供金標(biāo)準(zhǔn)診斷的專家對組的分配不知情，以預(yù)防確認(rèn)偏倚。研究參與者、眼科醫(yī)師、研究協(xié)調(diào)員和負(fù)責(zé)隨機化的研究者不隱瞞分配信息。
2.3 規(guī)程
ZOC兒童白內(nèi)障中心的CC-Cruiser平臺通過互聯(lián)網(wǎng)與所有合作診所相連。已建立CC-Cruiser網(wǎng)站（https://www.cc-cruiser.com/version1），其中包含指南和說明的演示視頻。注冊用戶可以將新病例上傳到CC-Cruiser，輸出結(jié)果包括：診斷（正常晶狀體與白內(nèi)障），綜合評估（不透明區(qū)域，密度和位置）以及治療建議（手術(shù)與隨訪）。具有至少5年兒科眼科臨床經(jīng)驗的眼科醫(yī)師在每個中心提供初步診斷。投資者為每位符合條件且同意的參與者創(chuàng)建了一份資料，并記錄了他們的人口統(tǒng)計信息和基線臨床特征，包括性別、出生日期、白內(nèi)障家族史和眼部癥狀。每個中心的參與調(diào)查員和臨床工作人員在試驗前接受了研究程序的標(biāo)準(zhǔn)化培訓(xùn)。所有符合條件的參與者在分組前進行瞳孔擴張的裂隙燈攝影，其中漫射光為單一標(biāo)準(zhǔn)，裂隙燈照明強度適當(dāng)和眼睛位置統(tǒng)一。臨床工作人員嘗試每只眼睛不超過三次。研究人員對43名非常年輕的患者使用鎮(zhèn)靜劑（水合氯醛），否則他們將不配合這項檢查。
AI組的參與者在裂隙燈攝影后被分配到AI診所。研究人員將眼前段的圖像發(fā)送給CC-Cruiser并接受初步診斷（正常晶狀體與白內(nèi)障），并對疾病嚴(yán)重程度（晶狀體混濁度和不透明度區(qū)域，密度和位置）進行綜合評估，并提供治療建議 （手術(shù)與隨訪）。研究人員計算了訪問CC-Cruiser并接受初步診斷所需的時間。眼科醫(yī)師組的參與者被分配到常規(guī)眼科診所。眼科醫(yī)師向患者提供初步診斷報告，包括疾病嚴(yán)重程度和治療決策。研究人員還計算了診斷過程所需的時間。
在接受初步診斷后，所有具有識別號碼的參與者都接受了專家小組的金標(biāo)準(zhǔn)診斷，其中包括三名白內(nèi)障專家，他們具有超過10年的眼科臨床經(jīng)驗。專家小組進行了裂隙燈檢查，達成了共識，為每位患者做出最終的診斷和治療決策。在初步診斷報告和標(biāo)準(zhǔn)診斷之后，要求參與者及其監(jiān)護人完成關(guān)于他們對診斷準(zhǔn)確性和效率的滿意度的問卷調(diào)查。
2.4 結(jié)果
主要結(jié)果是診斷正常晶狀體與白內(nèi)障的準(zhǔn)確性。由于沒有可用于兒科白內(nèi)障的國際分類系統(tǒng)，因此評估小兒白內(nèi)障的參考標(biāo)準(zhǔn)是白內(nèi)障專家的診斷。研究人員使用白內(nèi)障專家的金標(biāo)準(zhǔn)診斷結(jié)果比較了CC-Cruiser的診斷準(zhǔn)確性與眼科醫(yī)師的診斷準(zhǔn)確性。次要結(jié)果包括評估疾病嚴(yán)重程度，進行診斷所需的時間以及患者滿意度。綜合評估疾病嚴(yán)重程度，不透明區(qū)域（廣泛與有限），密度（密集與非密集），位置（中央與外周）和治療建議（手術(shù)與隨訪）。
當(dāng)不透明度覆蓋超過50％的瞳孔時，不透明度區(qū)域被定義為廣泛；否則，它被定義為有限的。當(dāng)不透明度完全破壞眼底成像時，不透明度密度是密集的；否則，它被定義為非密集的。當(dāng)不透明度完全覆蓋視軸區(qū)域時，不透明度位置被定義為中心；否則，它被定義為外圍。
由于診斷是基于眼前段的裂隙燈圖像，因此診斷所需的時間是從圖像采集開始到完成CC-Cruiser或眼科醫(yī)師的初始診斷報告和治療建議。通過七項問卷對患者滿意度進行評估和分析。得分為1表示不同意；2表示中性；3表示同意和4表示非常同意。記錄每個項目的參與者數(shù)量和百分比，并計算每個項目的平均評級。
2.5 統(tǒng)計分析
使用來自CC-Cruiser的對比測試的數(shù)據(jù)，我們計算出需要至少700只眼睛的樣本量（假設(shè)分配比例為1：1，每組350只眼睛）來比較CC-Cruiser和眼科醫(yī)師之間的診斷準(zhǔn)確性。由CC-Cruiser接診的人工智能門診預(yù)期準(zhǔn)確率為90％，眼科醫(yī)師門診的預(yù)期準(zhǔn)確率為95％，統(tǒng)計能力為80％，統(tǒng)計顯著性水平為5％。
研究分析遵循全面的、預(yù)先規(guī)定的統(tǒng)計分析計劃。在基線記錄人口和臨床數(shù)據(jù)。統(tǒng)計分析基線人口統(tǒng)計學(xué)和疾病特征，以確定所有350名參與者（700只眼睛）被隨機分成兩個研究組。因為沒有患者在招募后停止或退出治療人數(shù)與每個方案人口相同。然后，我們主要分析隨機分配后初始的所有患者。診斷準(zhǔn)確性的分析在眼睛水平，并且同一人的雙眼分別在同一組中進行分析。
我們根據(jù)金標(biāo)準(zhǔn)（白內(nèi)障專家）計算了CC-Cruiser和眼科醫(yī)師的敏感度，特異性、準(zhǔn)確性、陽性預(yù)測值（PPV）和陰性預(yù)測值（NPV）。通過對疾病嚴(yán)重程度和治療建議的綜合評估，進一步分析了白內(nèi)障的正確診斷。廣義估計方程（GEE）方法是準(zhǔn)似然方法的擴展，越來越多地用于分析縱向和其他相關(guān)數(shù)據(jù)，特別是當(dāng)它們是二項分布或計數(shù)形式時。
我們使用了來自一個人的兩只眼睛的數(shù)據(jù)，這些數(shù)據(jù)屬于相關(guān)數(shù)據(jù)，因此我們進行了GEE以確定CC-Cruiser和眼科醫(yī)師之間準(zhǔn)確性，真陽性分?jǐn)?shù)（TPF）和假陽性分?jǐn)?shù)（FPF）的顯著差異。 TPF相當(dāng)于靈敏度，F(xiàn)PF相當(dāng)于1-特異性。 CC-Cruiser和眼科醫(yī)師所需的時間由Mann-Whitney U檢驗評估?；颊邔︶t(yī)療服務(wù)的滿意度也計算為具有標(biāo)準(zhǔn)偏差的平均評級。進行Mann-Whitney U檢驗以確定兩組對每個問題反饋的顯著差異。 顯著性標(biāo)準(zhǔn)設(shè)定為α= 0.05。 對于所有模型，結(jié)果表示為比值比（OR），95％置信區(qū)間和p值的效應(yīng)值估計。所有統(tǒng)計分析均使用SPSS（version20; SPSS, Inc., Chicago, IL, USA）進行。
在2017年8月9日至2018年5月25日期間，對353名患者進行了資格篩選（圖1）。篩選后，三名非常年幼的孩子被排除在外，因為他們不能服用水合氯醛和進行裂隙燈攝影。其余350名參與者（700只眼）被隨機分配到AI組（350只眼）或眼科醫(yī)師組（350只眼）。隨機化后沒有參與者退出研究。這項研究有350名參與者（700只眼睛）。兩組的基線人口統(tǒng)計學(xué)和疾病特征（包括性別、年齡、家族史、眼部癥狀、白內(nèi)障患者、白內(nèi)障患者和白內(nèi)障嚴(yán)重程度）具有可比性（表格1）。
根據(jù)白內(nèi)障專家的標(biāo)準(zhǔn)，診斷的敏感性，特異性，準(zhǔn)確性，PPV和NPV分別為89.7％，86.4％，87.4％，74.4％和95.0％。對于CC-Cruiser來說，這些指標(biāo)分別為98.4％，99.6％，99.1％，99.2％和99.1％（表2）。CC-Cruiser兒童白內(nèi)障的診斷準(zhǔn)確性和TPF顯著更低（p<0.001，OR = 0.06 [95% CI 0.02-0.19]；和 p = 0.012，OR = 0.14 [95% CI 0.03-0.65]），CC-Cruiser的FPF明顯高于眼科醫(yī)師（p<0.001, OR = 43.05 [95% CI 5.42-341.70]）（表2）。CC-Cruiser診斷白內(nèi)障的準(zhǔn)確性明顯低于眼科醫(yī)師。晶狀體混濁面積、密度、位置等綜合評價正確率分別為90.6%、80.2%、77.1%，眼科醫(yī)師組為93.3%、85.0%、87.5%（表3）。
與眼科醫(yī)師相比，CC-Cruiser在評估不透明度區(qū)域，密度和不透明度位置時沒有顯示出統(tǒng)計學(xué)差異（分別為p = 0.463，0.286，和0.130）（表3）。CC-Cruiser提供的治療建議（手術(shù)與隨訪）明顯不如眼科醫(yī)師提供的（70.8％vs96.7％，p<0.001，OR = 0.08 [95％CI 0.03-0.25]，表3）。
CC-Cruiser提出診斷和治療建議所需的時間少于眼科醫(yī)師所需的時間（2.79分鐘vs8.53分鐘，p<0.001，平均差異5.74 [95％CI 5.43至6.05]，表4）。
在研究結(jié)束時，345名參與者完成了評估問卷（CC-Cruiser組172名，眼科醫(yī)師組173名）。由于個人原因，五名參與者的監(jiān)護人未完成調(diào)查問卷。表5對調(diào)查問卷進行了總結(jié)。完成調(diào)查問卷的答復(fù)率為AI組98.3％，眼科醫(yī)師組98.9％。病人對于CC-Cruiser提供的醫(yī)療服務(wù)的滿意度很高，尤其是診斷所需的時間。CC-Cruiser 整體滿意度的平均評分為3.47±0.501 ， 高于眼科醫(yī)師（3.38 ± 0.554，p=0.007，表5），表明患者在接受醫(yī)療服務(wù)時比實際醫(yī)生更喜歡AI。
圖1. 實驗分組
表1：基線人口統(tǒng)計學(xué)和疾病特征
表2：兒童白內(nèi)障的診斷表現(xiàn)；以眼為分析單位（N=700），CC-Cruiser組350只眼，眼科醫(yī)師組350只眼。
表3：兒童白內(nèi)障綜合評價及治療建議
表4：CC-Cruiser和眼科醫(yī)生的診斷過程需要時間；分析包含患者300例（CC-Cruiser組175例，眼科醫(yī)生組175例）。CC-Cruiser和眼科醫(yī)生進行Mann–WhitneyU 測試在所需時間上存在顯著差異。
表5：問卷調(diào)查參與者對臨床服務(wù)的反應(yīng)
在本研究中，我們發(fā)現(xiàn)CC-Cruiser在診斷兒童白內(nèi)障和臨床治療決策上不如眼科醫(yī)師準(zhǔn)確。然而，與眼科醫(yī)師相比，CC-Cruiser診斷耗時短，患者滿意度高。這些結(jié)果突出了在門診常規(guī)使用前使用隨機對照試驗評估CC-Cruiser臨床性能的重要性。
CC-Cruiser的實際診斷準(zhǔn)確性低于我們之前使用篩選數(shù)據(jù)集進行的研究中報告的準(zhǔn)確性。盡管CC-Cruiser在評估眼前段的306個標(biāo)準(zhǔn)圖像時非常準(zhǔn)確，CC-Cruiser對43例質(zhì)量差的白內(nèi)障的誤診和評估往往不如眼科醫(yī)師準(zhǔn)確，這可以歸因于幾個原因：
首先，由于畏光或缺乏注意力，一些兒科患者無法充分配合并將眼睛注視在相機上。因此，裂隙燈無法正確聚焦在晶狀體上。
其次，眼瞼和睫毛可能會形成遮擋，從而影響拍攝圖像的質(zhì)量。
第三，如果反射點聚焦在視軸附近，則無法準(zhǔn)確提取晶狀體反射點的特征，導(dǎo)致CC-Cruiser對白內(nèi)障的誤診，假陽性率較高。
第四，裂隙燈的強烈照射強度可能導(dǎo)致晶狀體混濁，這是CC-Cruiser的假陽性分?jǐn)?shù)較高的另一個原因。
然而，這些問題通?？捎裳劭漆t(yī)師識別，因為他們可以手動調(diào)整焦點并從不同的位置或角度來評估不透明度。較高的假陽性可能增加醫(yī)療資源的負(fù)擔(dān)和成本，并可能導(dǎo)致患者的身體或精神損害。
此外，雖然現(xiàn)階段CC-Cruiser的診斷可能還需要臨床醫(yī)生的介入(包括使用鎮(zhèn)靜劑)來保證圖像采集的質(zhì)量，但我們相信醫(yī)療AI自動聚焦技術(shù)的進一步改進將實現(xiàn)更高的診斷準(zhǔn)確性以及更少的人為介入。例如，對晶狀體反射點的識別的改進可以大大降低誤報率。
以往的研究表明，AI輔助診斷可以減輕醫(yī)生的工作量，并為有需要的患者提供高質(zhì)量的醫(yī)療服務(wù)。在這里，我們表明，在臨床應(yīng)用中，醫(yī)療AI平臺在縮短診斷時間方面優(yōu)于人類醫(yī)生。CC-Cruiser組的參與者一致感覺得到了更快的診斷，即診所需的等待時間顯著減少。
患者對醫(yī)學(xué)AI的滿意度尚未得到充分研究。Laure等人使用電子健康網(wǎng)站Sanoia評估患者對類風(fēng)濕性關(guān)節(jié)炎（RA）護理的滿意度。作者表明，研究人員發(fā)現(xiàn)，患者的滿意度與人工智能平臺的使用不一致，主要是因為RA是一種慢性疾病，在病情緩解時，患者可能對使用Sanoia失去興趣，對疾病的自我管理的投入也會減少。
然而，如果沒有早期診斷和適當(dāng)?shù)闹委煟瑑和變?nèi)障可能對視力造成威脅。因此，兒科患者的家長迫切希望獲得醫(yī)療服務(wù)，高效地進行診斷和治療決策。
我們的研究表明，患者對CC-Cruiser的總體滿意度略高于眼科醫(yī)師，表明患者在使用AI醫(yī)療服務(wù)時具有良好的體驗?；颊叩臐M意度可能是由于他們對醫(yī)學(xué)AI的好奇心或興趣，或者患者需要在診斷準(zhǔn)確性和診斷時間之間取得平衡，更愿意接受耗時更少、診斷準(zhǔn)確性可接受的醫(yī)療服務(wù)。
因此，現(xiàn)階段的CC-Cruiser已顯示出在臨床應(yīng)用中協(xié)助人類醫(yī)生的潛力。在未來的研究中，我們將致力于提高CC-Cruiser的準(zhǔn)確性，以提高患者滿意度。
該研究的優(yōu)勢包括其隨機、對照設(shè)計、大樣本以及數(shù)據(jù)來自中國的五個眼科診所。但是，我們的試驗有一些局限性。
首先，因為沒有視力模糊等癥狀的患者不太愿意參與在這項研究中，我們可能錯過了一些晶狀體輕微渾濁的患者。因此，CC-Cruiser對早期白內(nèi)障的評估需要進一步改善。
其次，CC-Cruiser提供的治療建議沒有考慮患者的一般情況。因此，CCCruiser提供的一小部分（6例）治療建議與專家提供的治療建議不一致，盡管已經(jīng)準(zhǔn)確評估了晶狀體的不透明度。 進一步提高治療決定能力需要考慮非眼科因素，如年齡和健康狀況。
第三，我們的人工智能系統(tǒng)依賴于計算能力和互聯(lián)網(wǎng)的可訪問性，因此在沒有穩(wěn)定互聯(lián)網(wǎng)的發(fā)展中地區(qū)進行CC-Cruiser廣泛應(yīng)用可能存在困難。但是，那些可以上網(wǎng)的偏遠(yuǎn)地區(qū)仍然可以享受CC-Cruiser提供的醫(yī)療服務(wù)。
第四，在該試驗中進行了一項整群隨機對照試驗（兒童患者維度的整群），因為隨機化是在患者的水平上進行的，觀察和分析是在眼睛水平上進行的。然而，設(shè)計隨機對照試驗設(shè)計時沒有考慮來自一個孩子的兩只眼睛之間的簇內(nèi)相關(guān)性。這將導(dǎo)致統(tǒng)計能力低于預(yù)期的0.8，因為集群隨機對照試驗比隨機對照試驗需要更大的樣本量才能達到相同的統(tǒng)計能力。
綜上所述，這是首個驗證人工智能系統(tǒng)在眼科臨床診斷準(zhǔn)確性和有效性的臨床隨機對照試驗。與眼科人類醫(yī)師相比，CC-Cruiser在診斷兒童白內(nèi)障和做出治療決策時表現(xiàn)出較低的準(zhǔn)確性，但在當(dāng)前狀態(tài)下有能力協(xié)助人類醫(yī)生進行臨床實踐。我們需要臨床對照試驗進行進一步研究，以更好地評估醫(yī)學(xué)AI的真實診斷性能。雷鋒網(wǎng)雷鋒網(wǎng)
本文的補充數(shù)據(jù)可在https://doi.org/10.1016/j.eclinm.2019.03.001找到。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
