0
| 本文作者： 劉海濤 | 2021-09-30 17:20 |
醫(yī)療AI行業(yè)，恰如十年前的千團大戰(zhàn)，浪花淘盡英雄。
巨大的銷售成本、長期的研發(fā)投入，VC機構(gòu)的跟進與觀望，讓大批創(chuàng)業(yè)多年的玩家面臨生存的“冰火兩重天”。如今，隨著AI三類證的陸續(xù)發(fā)放，商業(yè)化的“繩索”進一步松綁，十多位廠商又迎來新一輪的商業(yè)“增長周期”。
拿證過程中，他們有哪些經(jīng)驗、得失？
近期，雷鋒網(wǎng)《醫(yī)健AI掘金志》邀請到科亞醫(yī)療、Airdoc、聯(lián)影智能、匯醫(yī)慧影、致遠(yuǎn)慧圖等醫(yī)療AI企業(yè)，一同分享三類證背后的審批經(jīng)驗、創(chuàng)業(yè)多年的戰(zhàn)略得失，以及各自的未來商業(yè)化探索。
聯(lián)影智能COO詹翊強，以《從放射勾畫到肺結(jié)節(jié)，聯(lián)影智能四張三類證背后的質(zhì)量管理體系構(gòu)建方法論》為題，進行了演講。
詹翊強表示：“深度學(xué)習(xí)算法和傳統(tǒng)算法最大的變化，就是把算法研發(fā)從程序驅(qū)動變成了數(shù)據(jù)驅(qū)動，省略了大量人為開發(fā)流程，蘊含了大量訓(xùn)練階段出來的參數(shù)。而這種算法或技術(shù)上的范式轉(zhuǎn)換，同時也帶來評審環(huán)境和重點的變化?！?/p>
審評方關(guān)注數(shù)據(jù)，不僅關(guān)注訓(xùn)練數(shù)據(jù)，也包括測試數(shù)據(jù)，怎樣去證明數(shù)據(jù)擴增對算法性能有怎樣的影響？算法性能和哪些數(shù)據(jù)標(biāo)簽有關(guān)？
除了數(shù)據(jù)集建設(shè)，評審過程中如何對AI產(chǎn)品溯源，用需求來證明產(chǎn)品價值也同樣重要，因為算法往往呈現(xiàn)的只是結(jié)果，但對醫(yī)療產(chǎn)品而言，結(jié)果和過程往往同樣重要。
以聯(lián)影智能的骨折AI產(chǎn)品審批為例，從算法角度預(yù)期用途就非常明確——通過CT圖像輔助醫(yī)師進行肋骨骨折檢測。
如何從需求上證明臨床價值，并在前瞻性或回溯性臨床試驗中完成證明，才是AI企業(yè)和開發(fā)人員要真正考慮的問題。
以下是演講的全部內(nèi)容，《醫(yī)健AI掘金志》做了不改變原意的整理和編輯：
大家好，我是聯(lián)影智能的詹翊強，感謝《醫(yī)健AI掘金志》能夠組織這個系列的直播。
我相信人工智能醫(yī)療器械注冊證是醫(yī)療行業(yè)當(dāng)中大家非常關(guān)心的一個話題.
今天我想分享我參與醫(yī)療注冊證申請時的一些思考。將圍繞兩個關(guān)鍵詞，數(shù)據(jù)驅(qū)動和以終為始。
首先簡單地介紹一下聯(lián)影智能和聯(lián)影集團。聯(lián)影創(chuàng)始于2011年，最初主要是做高端影像設(shè)備和放療設(shè)備，也包括醫(yī)療數(shù)字化解決方案。
這一部分已經(jīng)變成了現(xiàn)在聯(lián)影集團的第一板塊，即上海聯(lián)影醫(yī)療科技有限公司。
聯(lián)影智能是聯(lián)影集團的第二板塊。從名字可以看出，聯(lián)影智能是專注于醫(yī)療AI解決方案的公司。
除此以外，聯(lián)影集團還有其他三個板塊：聯(lián)影智慧、武漢聯(lián)影智融和聯(lián)影微電子。
聯(lián)影智慧是精準(zhǔn)醫(yī)學(xué)影像中心，提供第三方影像中心服務(wù)；武漢聯(lián)影智融專注于先進診療設(shè)備，例如手術(shù)機器人；聯(lián)影微電子是做更底層的硬件——芯片，例如用于高端醫(yī)療設(shè)備的芯片以及醫(yī)療人工智能芯片等。
接下來，再介紹聯(lián)影智能的三個業(yè)務(wù)方向——賦能設(shè)備、賦能臨床和賦能科研。
首先，賦能設(shè)備，我們希望把人工智能算法深度集成到聯(lián)影的大設(shè)備當(dāng)中去。
從源頭做起，讓AI在源頭賦能全線的醫(yī)療診療設(shè)備，實現(xiàn)智能數(shù)據(jù)獲取、數(shù)據(jù)重建、工作流等等；
賦能臨床是指當(dāng)圖像產(chǎn)生以后，我們通過人工智能算法幫助醫(yī)生更有效率地閱片，降低誤診率；
賦能科研則是希望通過AI技術(shù)打造共享平臺和生態(tài)系統(tǒng)，實現(xiàn)從技術(shù)自用到共享跨界開放。
圍繞醫(yī)療AI的市場準(zhǔn)入，目前聯(lián)影智能在國內(nèi)已經(jīng)擁有4張三類證和6張二類證。
三類證包括放射治療輪廓勾畫軟件、骨折CT影像輔助檢測軟件，肺炎CT影像輔助分診與評估軟件和肺結(jié)節(jié)CT影像輔助檢測軟件，其中后三者與AI技術(shù)有關(guān)。
美國市場，我們有一款骨折分診軟件以及與兄弟公司合作的AI輔助影像設(shè)備拿到了FDA上市前通知；
歐盟市場，我們的胸部多病種輔助診斷軟件也獲得了CE認(rèn)證，包括肺結(jié)節(jié)、肋骨骨折和肺炎等。
中國、美國還是歐盟的醫(yī)療器械準(zhǔn)入流程是比較相近的，通常是先要確定產(chǎn)品預(yù)期用途以及類別，并進行同品種產(chǎn)品調(diào)研分析，通過嚴(yán)謹(jǐn)?shù)脑O(shè)計開發(fā)流程，完成產(chǎn)品的驗證和確認(rèn)。
根據(jù)預(yù)期用途設(shè)計產(chǎn)品臨床評價路徑，提交監(jiān)管機構(gòu)進行審評，在審評階段需要企業(yè)和監(jiān)管機構(gòu)進行多次的溝通交流，最終證明產(chǎn)品的安全有效，完成不同國家/地區(qū)的市場準(zhǔn)入。
在2019年前，我國數(shù)字醫(yī)療指導(dǎo)原則體系主要集中在使用常規(guī)算法的醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全以及移動醫(yī)療器械等等。
2019年7月，國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心正式發(fā)布了《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評要點》，《要點》的發(fā)布對人工智能行業(yè)的發(fā)展起到了里程碑的作用，規(guī)范并推動了行業(yè)的發(fā)展。
另外，在2020年疫情最嚴(yán)重的時候，審評中心也非常及時的發(fā)布《肺炎CT影像輔助分診與評估軟件審評要點（試行）》，兩個審評要點的發(fā)布為人工智能醫(yī)療器械軟件注冊申報提供了指導(dǎo)和方向。
由于近兩年已經(jīng)有數(shù)十款人工智能醫(yī)療器械軟件已獲批，國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心結(jié)合產(chǎn)品審評經(jīng)驗積累和監(jiān)管科學(xué)研究成果，陸續(xù)發(fā)布了《人工智能醫(yī)療器械注冊審查指導(dǎo)原則（征求意見稿）》和《人工智能醫(yī)用軟件分類界定指導(dǎo)原則》。
這將會進一步規(guī)范人工智能產(chǎn)品分類、注冊申報的要求，促進人工智能醫(yī)療器械行業(yè)健康發(fā)展。
在這里也借此機會感謝國家藥品監(jiān)督管理局和上海市藥品監(jiān)督管理局的各位老師。
接下來重點講一講聯(lián)影智能目前拿到的三張 NMPA人工智能的三類證，包括骨折、肺結(jié)節(jié)和肺炎。
這三款產(chǎn)品從用途角度均屬于人工智能輔助決策類軟件，其中前兩款是輔助檢測類，第三款是輔助分診類，根據(jù)產(chǎn)品預(yù)期用途，臨床試驗的主要終點設(shè)計也不同。
心得體會之一：從技術(shù)到數(shù)據(jù)驅(qū)動
相對于其他軟件產(chǎn)品，采用深度學(xué)習(xí)技術(shù)的人工智能醫(yī)療器械基于是海量數(shù)據(jù)訓(xùn)練得到的算法，所以在產(chǎn)品注冊申請時重點關(guān)注其算法泛化能力、數(shù)據(jù)質(zhì)控、可解釋性等問題。
這張圖簡單描述了深度學(xué)習(xí)技術(shù)特點。深度學(xué)習(xí)是由兩部分組成的，上面一部分是訓(xùn)練過程，下面一部分是推理過程。
在訓(xùn)練過程開始前，整個網(wǎng)絡(luò)結(jié)構(gòu)就已經(jīng)確定。
我們所要做的就是把一些經(jīng)過標(biāo)注的圖像放到這樣一個網(wǎng)絡(luò)上去做一些迭代訓(xùn)練。
這個過程時間會很長，也需要反復(fù)的迭代，需要大量的運算資源，一旦網(wǎng)絡(luò)被訓(xùn)練好了，就可以把網(wǎng)絡(luò)從上面移到下面，這個時候網(wǎng)絡(luò)里的權(quán)重就不會變化。當(dāng)一個新的數(shù)據(jù)進來以后就直接放到網(wǎng)絡(luò)里，然后形成一個結(jié)果。
相對于傳統(tǒng)的圖像分析算法，深度學(xué)習(xí)最大的特點有幾個，我這里也總結(jié)了一下。
第一，需要大量的訓(xùn)練樣本；
第二，需要明確的目標(biāo)，也就是它的標(biāo)注；
第三，算法的通用性強，通用性是指只要把網(wǎng)絡(luò)架構(gòu)搭好，就可以用不同的標(biāo)注訓(xùn)練樣本去改變網(wǎng)絡(luò)。
深度學(xué)習(xí)算法和傳統(tǒng)算法最大的變化，就是把整個算法研發(fā)從程序驅(qū)動變成了數(shù)據(jù)驅(qū)動。
以前做影像分析算法，經(jīng)常要讓算法科學(xué)家自己理解病灶特征，然后手工寫很多代碼。
這些代碼是基于科學(xué)家對病灶特征的理解寫出來的，最后傳送到產(chǎn)品代碼里面，有大量人為代碼。
但深度學(xué)習(xí)框架里邊，推理階段代碼相比訓(xùn)練階段較少，而且里邊蘊含著大量訓(xùn)練階段出來的參數(shù)。
從程序驅(qū)動變成數(shù)據(jù)驅(qū)動是算法或技術(shù)上的范式轉(zhuǎn)換，同時也帶來審評和申請的變化。
而在深度學(xué)習(xí)輔助診斷軟件方面，審評方就非常關(guān)注數(shù)據(jù)，不僅關(guān)注訓(xùn)練數(shù)據(jù)，也包括測試數(shù)據(jù)，也關(guān)注不同數(shù)據(jù)對網(wǎng)絡(luò)表現(xiàn)的影響。
心得體會之二：以終為始
做算法或技術(shù)的人最關(guān)注結(jié)果，但對醫(yī)療產(chǎn)品來說，結(jié)果和過程應(yīng)該是并重的。
要從需求分析到數(shù)據(jù)收集，到算法設(shè)計，到驗證確認(rèn)，甚至到更新控制來連成整個鏈條，算法設(shè)計只是整個鏈條里邊的一部分，鏈條的每一步都要做好追溯和管理。
在做需求分析的同時，就想清楚產(chǎn)品預(yù)期用途、臨床價值是什么，臨床方案是什么。
剛才講了一些概念，現(xiàn)在用三個實例分別闡述數(shù)據(jù)驅(qū)動的重要性。
第一，骨折CT影像輔助檢測軟件產(chǎn)品。
預(yù)期用途是用于讀取分析符合DICOM標(biāo)準(zhǔn)格式的胸部CT平掃圖像，輔助培訓(xùn)合格的醫(yī)師對成人外傷患者進行肋骨骨折檢測。
預(yù)期用途很清楚，但產(chǎn)品的臨床就需要從需求分析開始做，找到臨床價值，然后進一步體現(xiàn)在臨床試驗當(dāng)中，這也是當(dāng)時產(chǎn)品的定義。
骨折檢測其實只是一個很粗的概念，在產(chǎn)品定義時，要考慮把骨折檢測做到什么程度？要不要定位到具體某根肋骨上？要不要知道骨折影響到幾根肋骨？一共有幾處骨折？這些問題都和最后的臨床試驗設(shè)計有關(guān)。
我們之前也曾在實際臨床數(shù)據(jù)上做過分析，在800多個病人樣本中，我們發(fā)現(xiàn)了一些很有意思的規(guī)律。
1.肋骨骨折與合并癥有強相關(guān)性，沒有肋骨骨折的病人中<10%有合并癥，但有肋骨骨折的病人中40%有合并癥。
2.隨著肋骨骨折數(shù)量增加，合并癥概率也明顯上升，當(dāng)骨折數(shù)量達到7處以上，合并癥就可能上升到80%。
3.骨折影響的肋骨根數(shù)和合并癥也強相關(guān)。如果7根以上肋骨有骨折，合并癥概率就超過80%，以上的發(fā)現(xiàn)也和醫(yī)學(xué)文獻中一致。
由于骨折與合并癥的相關(guān)性，在一個急診場景當(dāng)中，我們不僅有必要知道病人有無骨折，還有必要知道病人有幾處骨折，骨折在哪根肋骨上，這反映出了骨折檢測的臨床價值是什么。
同時，因為醫(yī)生閱片易疲勞、易漏診、耗時長，針對骨折判別不要漏，針對骨折數(shù)量不要少，肋骨定位不要錯。
所以肋骨骨折檢測的核心功能關(guān)鍵就是兩點：
1.把骨折檢測出來，尤其是輕微骨折；
2.需要自動確定骨折所在肋骨位置，然后沿著這個思路就可以設(shè)計算法流程。
很顯然，我們的算法不僅要做骨折的檢測，還要做肋骨分割，還要通過脊椎定位來標(biāo)記這些肋骨，最后產(chǎn)生一個報告。
有了算法還不夠，還要做軟件集成，骨折多發(fā)生于急診場景，所以診斷時效性也很重要。
最后，我們選擇了BS軟件架構(gòu)將AI服務(wù)器和PACS和影像設(shè)備相連，AI自動拉取數(shù)據(jù)進行計算，當(dāng)醫(yī)生打開影像就可直接看到AI肋骨骨折檢測結(jié)果。
最后，在設(shè)計臨床試驗時，為了證明產(chǎn)品臨床價值，我們還需要做病人層面骨折檢出性能（不漏），也要做每一處骨折層面檢出性能（不數(shù)錯），還要驗證肋骨層面的骨折檢出性能（不定位錯）。
整個研發(fā)思路就是從臨床價值開始，先知道肋骨骨折這件事情和臨床的產(chǎn)出有什么關(guān)系，然后再找到醫(yī)生痛點。
在這個基礎(chǔ)上定義產(chǎn)品的核心功能，針對核心功能做算法設(shè)計，最后再設(shè)計臨床試驗。
只有通過這樣一個閉環(huán)，產(chǎn)品臨床價值和性能才能被充分驗證，才能驗證AI產(chǎn)品安全性和有效性，這個閉環(huán)就是我講的“以終為始”。
第二，用肺結(jié)節(jié)來介紹數(shù)據(jù)對軟件的影響。
肺結(jié)節(jié)是一個大家非常熟悉的應(yīng)用，很多友商也都有這個應(yīng)用，臨床價值也非常明顯。
肺結(jié)節(jié)痛點是CT層數(shù)非常多，有三四百層，但肺結(jié)節(jié)體積非常小，隨著體檢意識增強，胸部CT掃描量越來越大。
產(chǎn)品的關(guān)鍵價值就是希望有效地避免漏診，以及提高閱片的效率，最后過渡到產(chǎn)品功能，就是產(chǎn)品需要既支持不同類型肺結(jié)節(jié)檢出，也要支持大于4毫米的不同結(jié)節(jié)檢出。
這里我想講的一點是數(shù)據(jù)對算法的影響。
如圖所示，每一根線代表我們用不同數(shù)量訓(xùn)練樣本訓(xùn)練出來的模型，在同一個測試樣本上可以看到訓(xùn)練樣本不斷地增加，曲線之間的差距（橘紅色和綠色的線）慢慢收斂。
這個時候，我們認(rèn)為模型已經(jīng)趨于“飽和”，再增加訓(xùn)練樣本也不會大幅度地提升模型的準(zhǔn)確率。
所以，我們采用基于數(shù)據(jù)的empirical方法來驗證訓(xùn)練數(shù)據(jù)是否足夠，是因為雖然深度學(xué)習(xí)是一個很大的技術(shù)突破，但背后的理論還并不清楚。
據(jù)我所知，在學(xué)術(shù)界還沒有定論訓(xùn)練一個模型需要多少數(shù)據(jù)。
審評要點中對數(shù)據(jù)集構(gòu)建也有一定要求，就是在數(shù)據(jù)擴增的時候還要做算法性能的評估。
所謂的數(shù)據(jù)擴增不是增加新數(shù)據(jù)，而是通過圖像處理方法，例如旋轉(zhuǎn)、翻轉(zhuǎn)圖像來增加訓(xùn)練樣本。
對我們的肺結(jié)節(jié)產(chǎn)品，我們也做了這方面驗證，可以看到數(shù)據(jù)擴增對肺結(jié)節(jié)檢測性能提升很有幫助。
根據(jù)審評要點，我們還需要評估算法性能都會受到哪些因素影響，例如不同層厚、年齡、性別和廠商。
最后得出，性別和廠商對肺結(jié)節(jié)檢出并沒有直接影響，年齡和層厚對肺結(jié)節(jié)檢出性能有一定的影響，但都可以解釋。
這個例子說明在產(chǎn)品評估過程中，因為深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動的，所以要特別關(guān)注數(shù)據(jù)對整個產(chǎn)品的性能的影響。
第三，介紹一下肺炎影像輔助分診和評估軟件。
新冠疫情開始之后，我們突擊開發(fā)了肺炎軟件，在很多醫(yī)院試用，也得到了較好的反饋。
產(chǎn)品本身思路是分診+分析：分診就是讓AI對病人的片子進行預(yù)讀，進行標(biāo)記，并提示醫(yī)生盡早讀片。
分診的概念和剛才講的檢測是不一樣的，分診并不需要在界面上顯示病灶的位置，只需要告訴醫(yī)生這個病人是否是疑似病例。
在分診的基礎(chǔ)上，還需要分析肺炎的嚴(yán)重性，要做各種各樣的量化分析，包括整個病灶的體積，病灶影響到的肺葉和肺段，這是AI產(chǎn)品的基本功能。
我主要想講一下這個軟件臨床試驗流程和管理。
在閱片的過程中，我們要跟參考標(biāo)準(zhǔn)做比較，包括判斷病人假陽性（即這個病人是不是疑似病人）的準(zhǔn)確性；以及比較AI自動分割和醫(yī)生勾畫的病灶的差異。
前者是我們的一個主要指標(biāo)，希望通過這個來說明分診功能是否可行；
后者是我們的一個次要指標(biāo)，通過這個來考慮勾畫的精準(zhǔn)性是不是足夠，也就是評估對病人的病程等判斷是不是有足夠精確度。
另外值得一提的是陰陽性數(shù)據(jù)入組標(biāo)準(zhǔn)。
我們所用的陽性數(shù)據(jù)是基于影像學(xué)特征的，因為AI“看不到”其他非影像的臨床信息。
所以，我們只錄入這些具有肺炎影像學(xué)特征的新冠肺炎確診病例作為我們的陽性病例。
除此之外，我們在臨床試驗的管理規(guī)范當(dāng)中，也遵循了倫理科學(xué)的原則，涵蓋了醫(yī)療器械臨床的全過程。
保證各種各樣的記錄保留，沒有記錄就認(rèn)為沒有發(fā)生，同時記錄也要根據(jù)相應(yīng)的規(guī)范來做，這是在臨床試驗中，特別是基于大數(shù)據(jù)的AI產(chǎn)品的臨床評估中非常重要的一點。
前面介紹了上市前流程，這只是整個產(chǎn)品生命周期的一部分（即圖像里灰色的三個點）。
企業(yè)拿到證以后，我們還需要關(guān)注上市后的流程，包括生產(chǎn)流通使用不良事件再評價等等。
大家知道目前人工智能算法第一批已經(jīng)拿到證上市了，但我相信很多人工智能算法，即使是同一個功能的人工智能算法，還有可提高空間的，特別是在真實的臨床場景使用之后。
換而言之，已經(jīng)拿證的產(chǎn)品還需要通過進一步收集前線的反饋，來繼續(xù)提升模型效果。
這時就牽涉到一些更新控制，我們也非常關(guān)注這方面，包括軟件應(yīng)該怎么更新，算法更新和軟件更新內(nèi)容及程度，驗證和確認(rèn)要怎么做，這都是下一步重點關(guān)注的方向。
前面講了很多市場準(zhǔn)入策略，市場準(zhǔn)入是公司質(zhì)量管理體系的輸出。
作為醫(yī)療器械公司，還必須要關(guān)注公司的合規(guī)建設(shè)，加強質(zhì)量管理體系建設(shè)、分析國內(nèi)外法規(guī)標(biāo)準(zhǔn)差異，持續(xù)關(guān)注上市后不良事件，對市場準(zhǔn)入形成反哺。
產(chǎn)品市場準(zhǔn)入固然重要，獲得市場準(zhǔn)入代表著行業(yè)對這個產(chǎn)品所在方向的認(rèn)可，但從企業(yè)角度來說，同時也要關(guān)注企業(yè)的合規(guī)建設(shè)，一方面對內(nèi)要做到持續(xù)滾動地監(jiān)測落地合規(guī)要求，對外要關(guān)注法規(guī)動態(tài)，積極參加藥監(jiān)部門培訓(xùn)。
雷鋒網(wǎng)：AI產(chǎn)品的訓(xùn)練數(shù)據(jù)都直接來自臨床么？有沒有參考公開數(shù)據(jù)集？
詹翊強：測試集是來自于臨床的，為了反映這樣產(chǎn)品或者模型的真實性能，測試集要盡可能地包括不同地區(qū)不同質(zhì)量的影像，不要去過多地人為篩選測試影像，這樣的測試影像從統(tǒng)計學(xué)上才有代表性。
雷鋒網(wǎng)：CADe和CADt的區(qū)別？
詹翊強：我是這樣理解的，CADe就是detection，要精確報出每個病灶的位置；
CADt代表分診，在病人層面給出判斷即可，我自己理解CADe是在病灶層面的檢測，除了判斷陰陽性還要報出病灶所在的位置，而CADt只要報病人層面是陰陽性就可以。
雷鋒網(wǎng)：二類注冊證和三類注冊證的區(qū)別在哪里？
詹翊強：我是這樣理解的，二類和三類是根據(jù)產(chǎn)品預(yù)期用途，結(jié)合處理對象、核心功能等因素進行綜合判定，可以參考醫(yī)療器械分類目錄來決定，但是實際產(chǎn)品注冊流程上是一樣的。
在當(dāng)前有效的法規(guī)條件下，二類產(chǎn)品如果不在免臨床目錄也不能做同品種比對，也是需要通過臨床試驗的方式進行臨床評價，關(guān)于臨床評價的方式，大家要參考國藥局新發(fā)布的臨床評價技術(shù)指導(dǎo)原則進行評價。
之前因為人工智能技術(shù)很新，基于人工智能技術(shù)的產(chǎn)品均為三類。
由于行業(yè)和監(jiān)管發(fā)展變化，為了更科學(xué)的監(jiān)管，《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》中對于人工智能醫(yī)用軟件類別的判定有了更合理的分類準(zhǔn)則。
雷鋒網(wǎng)：肺炎分診里陽性數(shù)據(jù)和陰性數(shù)據(jù)是怎么劃分的？
詹翊強：這是一個很好問題，我的理解是要根據(jù)產(chǎn)品的預(yù)期用途來定義陰性和陽性數(shù)據(jù)。
如果產(chǎn)品是想把新冠肺炎和非新冠肺炎給區(qū)分出來的，陰性數(shù)據(jù)里邊就應(yīng)該含有非新冠肺炎的數(shù)據(jù)。
反之如果定義只是想檢出肺炎的話，這個陰性數(shù)據(jù)就應(yīng)該是沒有肺炎表現(xiàn)的病例，而陽性數(shù)據(jù)里邊應(yīng)該包含的不僅僅是新冠肺炎，還要包含其他肺炎的病例。
雷鋒網(wǎng)：達到平臺期的樣本量？
詹翊強：因為其實我剛才講了一下，據(jù)我自己的理解，這是一個非常empirical（經(jīng)驗主義）的問題。
我看到過有一些文章試圖去討論，根據(jù)網(wǎng)絡(luò)架構(gòu)的復(fù)雜性來定義需要多少樣本量，但目前好像還是沒有一個很明確的答案。
網(wǎng)絡(luò)有多復(fù)雜沒有一個確切的答案，還要靠實驗去做，就像我剛才顯示的，我們通過不同訓(xùn)練數(shù)據(jù)達到飽和以后，就可以知道基本上就到一定水平，但可能對不同應(yīng)用達到飽和所需要的數(shù)據(jù)量是不一樣的。
雷鋒網(wǎng)：三類證申請需要準(zhǔn)備多大的訓(xùn)練集？
詹翊強：這又回到我剛才說的問題，取決于模型，當(dāng)然也取決于應(yīng)用。如果是要問準(zhǔn)備幾家醫(yī)院的數(shù)據(jù)，臨床試驗多中心的定義是大于等于三家。
雷鋒網(wǎng)：有些臨床試驗是AI+人 versus人，還有一個是AI versus金標(biāo)準(zhǔn)？
詹翊強：那么我的理解是如果是CADe的軟件，因為是輔助檢測，臨床試驗結(jié)果需要做出優(yōu)效，要用AI+人 versus人；
對于一些CADt的軟件，例如新冠肺炎，在審評指導(dǎo)要點里也提出來，這種就可以用AI versus金標(biāo)準(zhǔn)，單組目標(biāo)值方法進行方案設(shè)計。
雷鋒網(wǎng):肺結(jié)節(jié)的分界線為什么是4毫米？
詹翊強：這個方面我們也做了一些調(diào)研，AI算法對4毫米以下的薄層檢出率還是挺高的。
但是從臨床的角度，4毫米以下的結(jié)節(jié)通常是不需要做任何事情的，如果產(chǎn)品要把4毫米以下結(jié)節(jié)也做，有可能會帶來一些過度診斷。
所以這也是為什么不僅是我們，國內(nèi)外友商大部分都把4毫米作為一個分界線。
雷鋒網(wǎng) :聯(lián)影智能的AI產(chǎn)品在其它廠商也可以使用嗎？
詹翊強：是的，剛才我例如說在肺結(jié)節(jié)的時候顯示了一個圖，這里邊就也顯示出軟件對不同廠家設(shè)備的圖像表現(xiàn)都非常一致。
雷鋒網(wǎng)：推廣產(chǎn)品時，很多客戶會問肺結(jié)節(jié)AI和肺結(jié)節(jié)CAD的區(qū)別，如何解釋？
詹翊強：這是一個很好的問題了，我是這樣理解的，AI和CAD是兩個維度的事情。
AI是一種技術(shù)，CAD是一種應(yīng)用，AI是一種工具，說的是怎么做。而CAD它的全稱是computer aided diagnosis，計算機輔助診斷，說的是做什么。所以說，AI跟CAD不是互斥的。
我的理解是我們常說的“肺結(jié)節(jié)CAD”是指以前用傳統(tǒng)算法（如專家系統(tǒng)、機器學(xué)習(xí)）做的CAD產(chǎn)品，肺結(jié)節(jié)AI是指用AI算法做的CAD產(chǎn)品。
從技術(shù)上說，AI超越了以前產(chǎn)品的一些性能，可以說用AI算法做的CAD產(chǎn)品要好于用傳統(tǒng)算法做的CAD的產(chǎn)品，但兩者的預(yù)期用途實際上是一樣的。
雷鋒網(wǎng)：做臨床試驗時，如果有多個醫(yī)生的標(biāo)準(zhǔn)不統(tǒng)一怎么辦？
詹翊強：這也是一個很好的問題。我們在建金標(biāo)準(zhǔn)的時候，對醫(yī)生的資質(zhì)有較高的要求。
這和臨床試驗中對比組的閱片醫(yī)生不一樣，閱片醫(yī)生可以讓一些中年資和低年資的醫(yī)生來做。
但在建臨床實驗金標(biāo)準(zhǔn)的時候，就需要高年資醫(yī)生標(biāo)完以后，如果有不一致，就要討論直到結(jié)論一致。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
