0
| 本文作者： 劉海濤 | 2021-09-30 17:20 |
醫(yī)療AI行業(yè)，恰如十年前的千團(tuán)大戰(zhàn)，浪花淘盡英雄。
巨大的銷(xiāo)售成本、長(zhǎng)期的研發(fā)投入，VC機(jī)構(gòu)的跟進(jìn)與觀望，讓大批創(chuàng)業(yè)多年的玩家面臨生存的“冰火兩重天”。如今，隨著AI三類(lèi)證的陸續(xù)發(fā)放，商業(yè)化的“繩索”進(jìn)一步松綁，十多位廠商又迎來(lái)新一輪的商業(yè)“增長(zhǎng)周期”。
拿證過(guò)程中，他們有哪些經(jīng)驗(yàn)、得失？
近期，雷鋒網(wǎng)《醫(yī)健AI掘金志》邀請(qǐng)到科亞醫(yī)療、Airdoc、聯(lián)影智能、匯醫(yī)慧影、致遠(yuǎn)慧圖等醫(yī)療AI企業(yè)，一同分享三類(lèi)證背后的審批經(jīng)驗(yàn)、創(chuàng)業(yè)多年的戰(zhàn)略得失，以及各自的未來(lái)商業(yè)化探索。
聯(lián)影智能COO詹翊強(qiáng)，以《從放射勾畫(huà)到肺結(jié)節(jié)，聯(lián)影智能四張三類(lèi)證背后的質(zhì)量管理體系構(gòu)建方法論》為題，進(jìn)行了演講。
詹翊強(qiáng)表示：“深度學(xué)習(xí)算法和傳統(tǒng)算法最大的變化，就是把算法研發(fā)從程序驅(qū)動(dòng)變成了數(shù)據(jù)驅(qū)動(dòng)，省略了大量人為開(kāi)發(fā)流程，蘊(yùn)含了大量訓(xùn)練階段出來(lái)的參數(shù)。而這種算法或技術(shù)上的范式轉(zhuǎn)換，同時(shí)也帶來(lái)評(píng)審環(huán)境和重點(diǎn)的變化?！?/p>
審評(píng)方關(guān)注數(shù)據(jù)，不僅關(guān)注訓(xùn)練數(shù)據(jù)，也包括測(cè)試數(shù)據(jù)，怎樣去證明數(shù)據(jù)擴(kuò)增對(duì)算法性能有怎樣的影響？算法性能和哪些數(shù)據(jù)標(biāo)簽有關(guān)？
除了數(shù)據(jù)集建設(shè)，評(píng)審過(guò)程中如何對(duì)AI產(chǎn)品溯源，用需求來(lái)證明產(chǎn)品價(jià)值也同樣重要，因?yàn)樗惴ㄍ尸F(xiàn)的只是結(jié)果，但對(duì)醫(yī)療產(chǎn)品而言，結(jié)果和過(guò)程往往同樣重要。
以聯(lián)影智能的骨折AI產(chǎn)品審批為例，從算法角度預(yù)期用途就非常明確——通過(guò)CT圖像輔助醫(yī)師進(jìn)行肋骨骨折檢測(cè)。
如何從需求上證明臨床價(jià)值，并在前瞻性或回溯性臨床試驗(yàn)中完成證明，才是AI企業(yè)和開(kāi)發(fā)人員要真正考慮的問(wèn)題。
以下是演講的全部?jī)?nèi)容，《醫(yī)健AI掘金志》做了不改變?cè)獾恼砗途庉嫞?/strong>
大家好，我是聯(lián)影智能的詹翊強(qiáng)，感謝《醫(yī)健AI掘金志》能夠組織這個(gè)系列的直播。
我相信人工智能醫(yī)療器械注冊(cè)證是醫(yī)療行業(yè)當(dāng)中大家非常關(guān)心的一個(gè)話題.
今天我想分享我參與醫(yī)療注冊(cè)證申請(qǐng)時(shí)的一些思考。將圍繞兩個(gè)關(guān)鍵詞，數(shù)據(jù)驅(qū)動(dòng)和以終為始。
首先簡(jiǎn)單地介紹一下聯(lián)影智能和聯(lián)影集團(tuán)。聯(lián)影創(chuàng)始于2011年，最初主要是做高端影像設(shè)備和放療設(shè)備，也包括醫(yī)療數(shù)字化解決方案。
這一部分已經(jīng)變成了現(xiàn)在聯(lián)影集團(tuán)的第一板塊，即上海聯(lián)影醫(yī)療科技有限公司。
聯(lián)影智能是聯(lián)影集團(tuán)的第二板塊。從名字可以看出，聯(lián)影智能是專(zhuān)注于醫(yī)療AI解決方案的公司。
除此以外，聯(lián)影集團(tuán)還有其他三個(gè)板塊：聯(lián)影智慧、武漢聯(lián)影智融和聯(lián)影微電子。
聯(lián)影智慧是精準(zhǔn)醫(yī)學(xué)影像中心，提供第三方影像中心服務(wù)；武漢聯(lián)影智融專(zhuān)注于先進(jìn)診療設(shè)備，例如手術(shù)機(jī)器人；聯(lián)影微電子是做更底層的硬件——芯片，例如用于高端醫(yī)療設(shè)備的芯片以及醫(yī)療人工智能芯片等。
接下來(lái)，再介紹聯(lián)影智能的三個(gè)業(yè)務(wù)方向——賦能設(shè)備、賦能臨床和賦能科研。
首先，賦能設(shè)備，我們希望把人工智能算法深度集成到聯(lián)影的大設(shè)備當(dāng)中去。
從源頭做起，讓AI在源頭賦能全線的醫(yī)療診療設(shè)備，實(shí)現(xiàn)智能數(shù)據(jù)獲取、數(shù)據(jù)重建、工作流等等；
賦能臨床是指當(dāng)圖像產(chǎn)生以后，我們通過(guò)人工智能算法幫助醫(yī)生更有效率地閱片，降低誤診率；
賦能科研則是希望通過(guò)AI技術(shù)打造共享平臺(tái)和生態(tài)系統(tǒng)，實(shí)現(xiàn)從技術(shù)自用到共享跨界開(kāi)放。
圍繞醫(yī)療AI的市場(chǎng)準(zhǔn)入，目前聯(lián)影智能在國(guó)內(nèi)已經(jīng)擁有4張三類(lèi)證和6張二類(lèi)證。
三類(lèi)證包括放射治療輪廓勾畫(huà)軟件、骨折CT影像輔助檢測(cè)軟件，肺炎CT影像輔助分診與評(píng)估軟件和肺結(jié)節(jié)CT影像輔助檢測(cè)軟件，其中后三者與AI技術(shù)有關(guān)。
美國(guó)市場(chǎng)，我們有一款骨折分診軟件以及與兄弟公司合作的AI輔助影像設(shè)備拿到了FDA上市前通知；
歐盟市場(chǎng)，我們的胸部多病種輔助診斷軟件也獲得了CE認(rèn)證，包括肺結(jié)節(jié)、肋骨骨折和肺炎等。
中國(guó)、美國(guó)還是歐盟的醫(yī)療器械準(zhǔn)入流程是比較相近的，通常是先要確定產(chǎn)品預(yù)期用途以及類(lèi)別，并進(jìn)行同品種產(chǎn)品調(diào)研分析，通過(guò)嚴(yán)謹(jǐn)?shù)脑O(shè)計(jì)開(kāi)發(fā)流程，完成產(chǎn)品的驗(yàn)證和確認(rèn)。
根據(jù)預(yù)期用途設(shè)計(jì)產(chǎn)品臨床評(píng)價(jià)路徑，提交監(jiān)管機(jī)構(gòu)進(jìn)行審評(píng)，在審評(píng)階段需要企業(yè)和監(jiān)管機(jī)構(gòu)進(jìn)行多次的溝通交流，最終證明產(chǎn)品的安全有效，完成不同國(guó)家/地區(qū)的市場(chǎng)準(zhǔn)入。
在2019年前，我國(guó)數(shù)字醫(yī)療指導(dǎo)原則體系主要集中在使用常規(guī)算法的醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全以及移動(dòng)醫(yī)療器械等等。
2019年7月，國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心正式發(fā)布了《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》，《要點(diǎn)》的發(fā)布對(duì)人工智能行業(yè)的發(fā)展起到了里程碑的作用，規(guī)范并推動(dòng)了行業(yè)的發(fā)展。
另外，在2020年疫情最嚴(yán)重的時(shí)候，審評(píng)中心也非常及時(shí)的發(fā)布《肺炎CT影像輔助分診與評(píng)估軟件審評(píng)要點(diǎn)（試行）》，兩個(gè)審評(píng)要點(diǎn)的發(fā)布為人工智能醫(yī)療器械軟件注冊(cè)申報(bào)提供了指導(dǎo)和方向。
由于近兩年已經(jīng)有數(shù)十款人工智能醫(yī)療器械軟件已獲批，國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心結(jié)合產(chǎn)品審評(píng)經(jīng)驗(yàn)積累和監(jiān)管科學(xué)研究成果，陸續(xù)發(fā)布了《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則（征求意見(jiàn)稿）》和《人工智能醫(yī)用軟件分類(lèi)界定指導(dǎo)原則》。
這將會(huì)進(jìn)一步規(guī)范人工智能產(chǎn)品分類(lèi)、注冊(cè)申報(bào)的要求，促進(jìn)人工智能醫(yī)療器械行業(yè)健康發(fā)展。
在這里也借此機(jī)會(huì)感謝國(guó)家藥品監(jiān)督管理局和上海市藥品監(jiān)督管理局的各位老師。
接下來(lái)重點(diǎn)講一講聯(lián)影智能目前拿到的三張 NMPA人工智能的三類(lèi)證，包括骨折、肺結(jié)節(jié)和肺炎。
這三款產(chǎn)品從用途角度均屬于人工智能輔助決策類(lèi)軟件，其中前兩款是輔助檢測(cè)類(lèi)，第三款是輔助分診類(lèi)，根據(jù)產(chǎn)品預(yù)期用途，臨床試驗(yàn)的主要終點(diǎn)設(shè)計(jì)也不同。
心得體會(huì)之一：從技術(shù)到數(shù)據(jù)驅(qū)動(dòng)
相對(duì)于其他軟件產(chǎn)品，采用深度學(xué)習(xí)技術(shù)的人工智能醫(yī)療器械基于是海量數(shù)據(jù)訓(xùn)練得到的算法，所以在產(chǎn)品注冊(cè)申請(qǐng)時(shí)重點(diǎn)關(guān)注其算法泛化能力、數(shù)據(jù)質(zhì)控、可解釋性等問(wèn)題。
這張圖簡(jiǎn)單描述了深度學(xué)習(xí)技術(shù)特點(diǎn)。深度學(xué)習(xí)是由兩部分組成的，上面一部分是訓(xùn)練過(guò)程，下面一部分是推理過(guò)程。
在訓(xùn)練過(guò)程開(kāi)始前，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)就已經(jīng)確定。
我們所要做的就是把一些經(jīng)過(guò)標(biāo)注的圖像放到這樣一個(gè)網(wǎng)絡(luò)上去做一些迭代訓(xùn)練。
這個(gè)過(guò)程時(shí)間會(huì)很長(zhǎng)，也需要反復(fù)的迭代，需要大量的運(yùn)算資源，一旦網(wǎng)絡(luò)被訓(xùn)練好了，就可以把網(wǎng)絡(luò)從上面移到下面，這個(gè)時(shí)候網(wǎng)絡(luò)里的權(quán)重就不會(huì)變化。當(dāng)一個(gè)新的數(shù)據(jù)進(jìn)來(lái)以后就直接放到網(wǎng)絡(luò)里，然后形成一個(gè)結(jié)果。
相對(duì)于傳統(tǒng)的圖像分析算法，深度學(xué)習(xí)最大的特點(diǎn)有幾個(gè)，我這里也總結(jié)了一下。
第一，需要大量的訓(xùn)練樣本；
第二，需要明確的目標(biāo)，也就是它的標(biāo)注；
第三，算法的通用性強(qiáng)，通用性是指只要把網(wǎng)絡(luò)架構(gòu)搭好，就可以用不同的標(biāo)注訓(xùn)練樣本去改變網(wǎng)絡(luò)。
深度學(xué)習(xí)算法和傳統(tǒng)算法最大的變化，就是把整個(gè)算法研發(fā)從程序驅(qū)動(dòng)變成了數(shù)據(jù)驅(qū)動(dòng)。
以前做影像分析算法，經(jīng)常要讓算法科學(xué)家自己理解病灶特征，然后手工寫(xiě)很多代碼。
這些代碼是基于科學(xué)家對(duì)病灶特征的理解寫(xiě)出來(lái)的，最后傳送到產(chǎn)品代碼里面，有大量人為代碼。
但深度學(xué)習(xí)框架里邊，推理階段代碼相比訓(xùn)練階段較少，而且里邊蘊(yùn)含著大量訓(xùn)練階段出來(lái)的參數(shù)。
從程序驅(qū)動(dòng)變成數(shù)據(jù)驅(qū)動(dòng)是算法或技術(shù)上的范式轉(zhuǎn)換，同時(shí)也帶來(lái)審評(píng)和申請(qǐng)的變化。
而在深度學(xué)習(xí)輔助診斷軟件方面，審評(píng)方就非常關(guān)注數(shù)據(jù)，不僅關(guān)注訓(xùn)練數(shù)據(jù)，也包括測(cè)試數(shù)據(jù)，也關(guān)注不同數(shù)據(jù)對(duì)網(wǎng)絡(luò)表現(xiàn)的影響。
心得體會(huì)之二：以終為始
做算法或技術(shù)的人最關(guān)注結(jié)果，但對(duì)醫(yī)療產(chǎn)品來(lái)說(shuō)，結(jié)果和過(guò)程應(yīng)該是并重的。
要從需求分析到數(shù)據(jù)收集，到算法設(shè)計(jì)，到驗(yàn)證確認(rèn)，甚至到更新控制來(lái)連成整個(gè)鏈條，算法設(shè)計(jì)只是整個(gè)鏈條里邊的一部分，鏈條的每一步都要做好追溯和管理。
在做需求分析的同時(shí)，就想清楚產(chǎn)品預(yù)期用途、臨床價(jià)值是什么，臨床方案是什么。
剛才講了一些概念，現(xiàn)在用三個(gè)實(shí)例分別闡述數(shù)據(jù)驅(qū)動(dòng)的重要性。
第一，骨折CT影像輔助檢測(cè)軟件產(chǎn)品。
預(yù)期用途是用于讀取分析符合DICOM標(biāo)準(zhǔn)格式的胸部CT平掃圖像，輔助培訓(xùn)合格的醫(yī)師對(duì)成人外傷患者進(jìn)行肋骨骨折檢測(cè)。
預(yù)期用途很清楚，但產(chǎn)品的臨床就需要從需求分析開(kāi)始做，找到臨床價(jià)值，然后進(jìn)一步體現(xiàn)在臨床試驗(yàn)當(dāng)中，這也是當(dāng)時(shí)產(chǎn)品的定義。
骨折檢測(cè)其實(shí)只是一個(gè)很粗的概念，在產(chǎn)品定義時(shí)，要考慮把骨折檢測(cè)做到什么程度？要不要定位到具體某根肋骨上？要不要知道骨折影響到幾根肋骨？一共有幾處骨折？這些問(wèn)題都和最后的臨床試驗(yàn)設(shè)計(jì)有關(guān)。
我們之前也曾在實(shí)際臨床數(shù)據(jù)上做過(guò)分析，在800多個(gè)病人樣本中，我們發(fā)現(xiàn)了一些很有意思的規(guī)律。
1.肋骨骨折與合并癥有強(qiáng)相關(guān)性，沒(méi)有肋骨骨折的病人中<10%有合并癥，但有肋骨骨折的病人中40%有合并癥。
2.隨著肋骨骨折數(shù)量增加，合并癥概率也明顯上升，當(dāng)骨折數(shù)量達(dá)到7處以上，合并癥就可能上升到80%。
3.骨折影響的肋骨根數(shù)和合并癥也強(qiáng)相關(guān)。如果7根以上肋骨有骨折，合并癥概率就超過(guò)80%，以上的發(fā)現(xiàn)也和醫(yī)學(xué)文獻(xiàn)中一致。
由于骨折與合并癥的相關(guān)性，在一個(gè)急診場(chǎng)景當(dāng)中，我們不僅有必要知道病人有無(wú)骨折，還有必要知道病人有幾處骨折，骨折在哪根肋骨上，這反映出了骨折檢測(cè)的臨床價(jià)值是什么。
同時(shí)，因?yàn)獒t(yī)生閱片易疲勞、易漏診、耗時(shí)長(zhǎng)，針對(duì)骨折判別不要漏，針對(duì)骨折數(shù)量不要少，肋骨定位不要錯(cuò)。
所以肋骨骨折檢測(cè)的核心功能關(guān)鍵就是兩點(diǎn)：
1.把骨折檢測(cè)出來(lái)，尤其是輕微骨折；
2.需要自動(dòng)確定骨折所在肋骨位置，然后沿著這個(gè)思路就可以設(shè)計(jì)算法流程。
很顯然，我們的算法不僅要做骨折的檢測(cè)，還要做肋骨分割，還要通過(guò)脊椎定位來(lái)標(biāo)記這些肋骨，最后產(chǎn)生一個(gè)報(bào)告。
有了算法還不夠，還要做軟件集成，骨折多發(fā)生于急診場(chǎng)景，所以診斷時(shí)效性也很重要。
最后，我們選擇了BS軟件架構(gòu)將AI服務(wù)器和PACS和影像設(shè)備相連，AI自動(dòng)拉取數(shù)據(jù)進(jìn)行計(jì)算，當(dāng)醫(yī)生打開(kāi)影像就可直接看到AI肋骨骨折檢測(cè)結(jié)果。
最后，在設(shè)計(jì)臨床試驗(yàn)時(shí)，為了證明產(chǎn)品臨床價(jià)值，我們還需要做病人層面骨折檢出性能（不漏），也要做每一處骨折層面檢出性能（不數(shù)錯(cuò)），還要驗(yàn)證肋骨層面的骨折檢出性能（不定位錯(cuò)）。
整個(gè)研發(fā)思路就是從臨床價(jià)值開(kāi)始，先知道肋骨骨折這件事情和臨床的產(chǎn)出有什么關(guān)系，然后再找到醫(yī)生痛點(diǎn)。
在這個(gè)基礎(chǔ)上定義產(chǎn)品的核心功能，針對(duì)核心功能做算法設(shè)計(jì)，最后再設(shè)計(jì)臨床試驗(yàn)。
只有通過(guò)這樣一個(gè)閉環(huán)，產(chǎn)品臨床價(jià)值和性能才能被充分驗(yàn)證，才能驗(yàn)證AI產(chǎn)品安全性和有效性，這個(gè)閉環(huán)就是我講的“以終為始”。
第二，用肺結(jié)節(jié)來(lái)介紹數(shù)據(jù)對(duì)軟件的影響。
肺結(jié)節(jié)是一個(gè)大家非常熟悉的應(yīng)用，很多友商也都有這個(gè)應(yīng)用，臨床價(jià)值也非常明顯。
肺結(jié)節(jié)痛點(diǎn)是CT層數(shù)非常多，有三四百層，但肺結(jié)節(jié)體積非常小，隨著體檢意識(shí)增強(qiáng)，胸部CT掃描量越來(lái)越大。
產(chǎn)品的關(guān)鍵價(jià)值就是希望有效地避免漏診，以及提高閱片的效率，最后過(guò)渡到產(chǎn)品功能，就是產(chǎn)品需要既支持不同類(lèi)型肺結(jié)節(jié)檢出，也要支持大于4毫米的不同結(jié)節(jié)檢出。
這里我想講的一點(diǎn)是數(shù)據(jù)對(duì)算法的影響。
如圖所示，每一根線代表我們用不同數(shù)量訓(xùn)練樣本訓(xùn)練出來(lái)的模型，在同一個(gè)測(cè)試樣本上可以看到訓(xùn)練樣本不斷地增加，曲線之間的差距（橘紅色和綠色的線）慢慢收斂。
這個(gè)時(shí)候，我們認(rèn)為模型已經(jīng)趨于“飽和”，再增加訓(xùn)練樣本也不會(huì)大幅度地提升模型的準(zhǔn)確率。
所以，我們采用基于數(shù)據(jù)的empirical方法來(lái)驗(yàn)證訓(xùn)練數(shù)據(jù)是否足夠，是因?yàn)殡m然深度學(xué)習(xí)是一個(gè)很大的技術(shù)突破，但背后的理論還并不清楚。
據(jù)我所知，在學(xué)術(shù)界還沒(méi)有定論訓(xùn)練一個(gè)模型需要多少數(shù)據(jù)。
審評(píng)要點(diǎn)中對(duì)數(shù)據(jù)集構(gòu)建也有一定要求，就是在數(shù)據(jù)擴(kuò)增的時(shí)候還要做算法性能的評(píng)估。
所謂的數(shù)據(jù)擴(kuò)增不是增加新數(shù)據(jù)，而是通過(guò)圖像處理方法，例如旋轉(zhuǎn)、翻轉(zhuǎn)圖像來(lái)增加訓(xùn)練樣本。
對(duì)我們的肺結(jié)節(jié)產(chǎn)品，我們也做了這方面驗(yàn)證，可以看到數(shù)據(jù)擴(kuò)增對(duì)肺結(jié)節(jié)檢測(cè)性能提升很有幫助。
根據(jù)審評(píng)要點(diǎn)，我們還需要評(píng)估算法性能都會(huì)受到哪些因素影響，例如不同層厚、年齡、性別和廠商。
最后得出，性別和廠商對(duì)肺結(jié)節(jié)檢出并沒(méi)有直接影響，年齡和層厚對(duì)肺結(jié)節(jié)檢出性能有一定的影響，但都可以解釋。
這個(gè)例子說(shuō)明在產(chǎn)品評(píng)估過(guò)程中，因?yàn)樯疃葘W(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的，所以要特別關(guān)注數(shù)據(jù)對(duì)整個(gè)產(chǎn)品的性能的影響。
第三，介紹一下肺炎影像輔助分診和評(píng)估軟件。
新冠疫情開(kāi)始之后，我們突擊開(kāi)發(fā)了肺炎軟件，在很多醫(yī)院試用，也得到了較好的反饋。
產(chǎn)品本身思路是分診+分析：分診就是讓AI對(duì)病人的片子進(jìn)行預(yù)讀，進(jìn)行標(biāo)記，并提示醫(yī)生盡早讀片。
分診的概念和剛才講的檢測(cè)是不一樣的，分診并不需要在界面上顯示病灶的位置，只需要告訴醫(yī)生這個(gè)病人是否是疑似病例。
在分診的基礎(chǔ)上，還需要分析肺炎的嚴(yán)重性，要做各種各樣的量化分析，包括整個(gè)病灶的體積，病灶影響到的肺葉和肺段，這是AI產(chǎn)品的基本功能。
我主要想講一下這個(gè)軟件臨床試驗(yàn)流程和管理。
在閱片的過(guò)程中，我們要跟參考標(biāo)準(zhǔn)做比較，包括判斷病人假陽(yáng)性（即這個(gè)病人是不是疑似病人）的準(zhǔn)確性；以及比較AI自動(dòng)分割和醫(yī)生勾畫(huà)的病灶的差異。
前者是我們的一個(gè)主要指標(biāo)，希望通過(guò)這個(gè)來(lái)說(shuō)明分診功能是否可行；
后者是我們的一個(gè)次要指標(biāo)，通過(guò)這個(gè)來(lái)考慮勾畫(huà)的精準(zhǔn)性是不是足夠，也就是評(píng)估對(duì)病人的病程等判斷是不是有足夠精確度。
另外值得一提的是陰陽(yáng)性數(shù)據(jù)入組標(biāo)準(zhǔn)。
我們所用的陽(yáng)性數(shù)據(jù)是基于影像學(xué)特征的，因?yàn)锳I“看不到”其他非影像的臨床信息。
所以，我們只錄入這些具有肺炎影像學(xué)特征的新冠肺炎確診病例作為我們的陽(yáng)性病例。
除此之外，我們?cè)谂R床試驗(yàn)的管理規(guī)范當(dāng)中，也遵循了倫理科學(xué)的原則，涵蓋了醫(yī)療器械臨床的全過(guò)程。
保證各種各樣的記錄保留，沒(méi)有記錄就認(rèn)為沒(méi)有發(fā)生，同時(shí)記錄也要根據(jù)相應(yīng)的規(guī)范來(lái)做，這是在臨床試驗(yàn)中，特別是基于大數(shù)據(jù)的AI產(chǎn)品的臨床評(píng)估中非常重要的一點(diǎn)。
前面介紹了上市前流程，這只是整個(gè)產(chǎn)品生命周期的一部分（即圖像里灰色的三個(gè)點(diǎn)）。
企業(yè)拿到證以后，我們還需要關(guān)注上市后的流程，包括生產(chǎn)流通使用不良事件再評(píng)價(jià)等等。
大家知道目前人工智能算法第一批已經(jīng)拿到證上市了，但我相信很多人工智能算法，即使是同一個(gè)功能的人工智能算法，還有可提高空間的，特別是在真實(shí)的臨床場(chǎng)景使用之后。
換而言之，已經(jīng)拿證的產(chǎn)品還需要通過(guò)進(jìn)一步收集前線的反饋，來(lái)繼續(xù)提升模型效果。
這時(shí)就牽涉到一些更新控制，我們也非常關(guān)注這方面，包括軟件應(yīng)該怎么更新，算法更新和軟件更新內(nèi)容及程度，驗(yàn)證和確認(rèn)要怎么做，這都是下一步重點(diǎn)關(guān)注的方向。
前面講了很多市場(chǎng)準(zhǔn)入策略，市場(chǎng)準(zhǔn)入是公司質(zhì)量管理體系的輸出。
作為醫(yī)療器械公司，還必須要關(guān)注公司的合規(guī)建設(shè)，加強(qiáng)質(zhì)量管理體系建設(shè)、分析國(guó)內(nèi)外法規(guī)標(biāo)準(zhǔn)差異，持續(xù)關(guān)注上市后不良事件，對(duì)市場(chǎng)準(zhǔn)入形成反哺。
產(chǎn)品市場(chǎng)準(zhǔn)入固然重要，獲得市場(chǎng)準(zhǔn)入代表著行業(yè)對(duì)這個(gè)產(chǎn)品所在方向的認(rèn)可，但從企業(yè)角度來(lái)說(shuō)，同時(shí)也要關(guān)注企業(yè)的合規(guī)建設(shè)，一方面對(duì)內(nèi)要做到持續(xù)滾動(dòng)地監(jiān)測(cè)落地合規(guī)要求，對(duì)外要關(guān)注法規(guī)動(dòng)態(tài)，積極參加藥監(jiān)部門(mén)培訓(xùn)。
雷鋒網(wǎng)：AI產(chǎn)品的訓(xùn)練數(shù)據(jù)都直接來(lái)自臨床么？有沒(méi)有參考公開(kāi)數(shù)據(jù)集？
詹翊強(qiáng)：測(cè)試集是來(lái)自于臨床的，為了反映這樣產(chǎn)品或者模型的真實(shí)性能，測(cè)試集要盡可能地包括不同地區(qū)不同質(zhì)量的影像，不要去過(guò)多地人為篩選測(cè)試影像，這樣的測(cè)試影像從統(tǒng)計(jì)學(xué)上才有代表性。
雷鋒網(wǎng)：CADe和CADt的區(qū)別？
詹翊強(qiáng)：我是這樣理解的，CADe就是detection，要精確報(bào)出每個(gè)病灶的位置；
CADt代表分診，在病人層面給出判斷即可，我自己理解CADe是在病灶層面的檢測(cè)，除了判斷陰陽(yáng)性還要報(bào)出病灶所在的位置，而CADt只要報(bào)病人層面是陰陽(yáng)性就可以。
雷鋒網(wǎng)：二類(lèi)注冊(cè)證和三類(lèi)注冊(cè)證的區(qū)別在哪里？
詹翊強(qiáng)：我是這樣理解的，二類(lèi)和三類(lèi)是根據(jù)產(chǎn)品預(yù)期用途，結(jié)合處理對(duì)象、核心功能等因素進(jìn)行綜合判定，可以參考醫(yī)療器械分類(lèi)目錄來(lái)決定，但是實(shí)際產(chǎn)品注冊(cè)流程上是一樣的。
在當(dāng)前有效的法規(guī)條件下，二類(lèi)產(chǎn)品如果不在免臨床目錄也不能做同品種比對(duì)，也是需要通過(guò)臨床試驗(yàn)的方式進(jìn)行臨床評(píng)價(jià)，關(guān)于臨床評(píng)價(jià)的方式，大家要參考國(guó)藥局新發(fā)布的臨床評(píng)價(jià)技術(shù)指導(dǎo)原則進(jìn)行評(píng)價(jià)。
之前因?yàn)槿斯ぶ悄芗夹g(shù)很新，基于人工智能技術(shù)的產(chǎn)品均為三類(lèi)。
由于行業(yè)和監(jiān)管發(fā)展變化，為了更科學(xué)的監(jiān)管，《人工智能醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則》中對(duì)于人工智能醫(yī)用軟件類(lèi)別的判定有了更合理的分類(lèi)準(zhǔn)則。
雷鋒網(wǎng)：肺炎分診里陽(yáng)性數(shù)據(jù)和陰性數(shù)據(jù)是怎么劃分的？
詹翊強(qiáng)：這是一個(gè)很好問(wèn)題，我的理解是要根據(jù)產(chǎn)品的預(yù)期用途來(lái)定義陰性和陽(yáng)性數(shù)據(jù)。
如果產(chǎn)品是想把新冠肺炎和非新冠肺炎給區(qū)分出來(lái)的，陰性數(shù)據(jù)里邊就應(yīng)該含有非新冠肺炎的數(shù)據(jù)。
反之如果定義只是想檢出肺炎的話，這個(gè)陰性數(shù)據(jù)就應(yīng)該是沒(méi)有肺炎表現(xiàn)的病例，而陽(yáng)性數(shù)據(jù)里邊應(yīng)該包含的不僅僅是新冠肺炎，還要包含其他肺炎的病例。
雷鋒網(wǎng)：達(dá)到平臺(tái)期的樣本量？
詹翊強(qiáng)：因?yàn)槠鋵?shí)我剛才講了一下，據(jù)我自己的理解，這是一個(gè)非常empirical（經(jīng)驗(yàn)主義）的問(wèn)題。
我看到過(guò)有一些文章試圖去討論，根據(jù)網(wǎng)絡(luò)架構(gòu)的復(fù)雜性來(lái)定義需要多少樣本量，但目前好像還是沒(méi)有一個(gè)很明確的答案。
網(wǎng)絡(luò)有多復(fù)雜沒(méi)有一個(gè)確切的答案，還要靠實(shí)驗(yàn)去做，就像我剛才顯示的，我們通過(guò)不同訓(xùn)練數(shù)據(jù)達(dá)到飽和以后，就可以知道基本上就到一定水平，但可能對(duì)不同應(yīng)用達(dá)到飽和所需要的數(shù)據(jù)量是不一樣的。
雷鋒網(wǎng)：三類(lèi)證申請(qǐng)需要準(zhǔn)備多大的訓(xùn)練集？
詹翊強(qiáng)：這又回到我剛才說(shuō)的問(wèn)題，取決于模型，當(dāng)然也取決于應(yīng)用。如果是要問(wèn)準(zhǔn)備幾家醫(yī)院的數(shù)據(jù)，臨床試驗(yàn)多中心的定義是大于等于三家。
雷鋒網(wǎng)：有些臨床試驗(yàn)是AI+人 versus人，還有一個(gè)是AI versus金標(biāo)準(zhǔn)？
詹翊強(qiáng)：那么我的理解是如果是CADe的軟件，因?yàn)槭禽o助檢測(cè)，臨床試驗(yàn)結(jié)果需要做出優(yōu)效，要用AI+人 versus人；
對(duì)于一些CADt的軟件，例如新冠肺炎，在審評(píng)指導(dǎo)要點(diǎn)里也提出來(lái)，這種就可以用AI versus金標(biāo)準(zhǔn)，單組目標(biāo)值方法進(jìn)行方案設(shè)計(jì)。
雷鋒網(wǎng):肺結(jié)節(jié)的分界線為什么是4毫米？
詹翊強(qiáng)：這個(gè)方面我們也做了一些調(diào)研，AI算法對(duì)4毫米以下的薄層檢出率還是挺高的。
但是從臨床的角度，4毫米以下的結(jié)節(jié)通常是不需要做任何事情的，如果產(chǎn)品要把4毫米以下結(jié)節(jié)也做，有可能會(huì)帶來(lái)一些過(guò)度診斷。
所以這也是為什么不僅是我們，國(guó)內(nèi)外友商大部分都把4毫米作為一個(gè)分界線。
雷鋒網(wǎng) :聯(lián)影智能的AI產(chǎn)品在其它廠商也可以使用嗎？
詹翊強(qiáng)：是的，剛才我例如說(shuō)在肺結(jié)節(jié)的時(shí)候顯示了一個(gè)圖，這里邊就也顯示出軟件對(duì)不同廠家設(shè)備的圖像表現(xiàn)都非常一致。
雷鋒網(wǎng)：推廣產(chǎn)品時(shí)，很多客戶(hù)會(huì)問(wèn)肺結(jié)節(jié)AI和肺結(jié)節(jié)CAD的區(qū)別，如何解釋?zhuān)?/strong>
詹翊強(qiáng)：這是一個(gè)很好的問(wèn)題了，我是這樣理解的，AI和CAD是兩個(gè)維度的事情。
AI是一種技術(shù)，CAD是一種應(yīng)用，AI是一種工具，說(shuō)的是怎么做。而CAD它的全稱(chēng)是computer aided diagnosis，計(jì)算機(jī)輔助診斷，說(shuō)的是做什么。所以說(shuō)，AI跟CAD不是互斥的。
我的理解是我們常說(shuō)的“肺結(jié)節(jié)CAD”是指以前用傳統(tǒng)算法（如專(zhuān)家系統(tǒng)、機(jī)器學(xué)習(xí)）做的CAD產(chǎn)品，肺結(jié)節(jié)AI是指用AI算法做的CAD產(chǎn)品。
從技術(shù)上說(shuō)，AI超越了以前產(chǎn)品的一些性能，可以說(shuō)用AI算法做的CAD產(chǎn)品要好于用傳統(tǒng)算法做的CAD的產(chǎn)品，但兩者的預(yù)期用途實(shí)際上是一樣的。
雷鋒網(wǎng)：做臨床試驗(yàn)時(shí)，如果有多個(gè)醫(yī)生的標(biāo)準(zhǔn)不統(tǒng)一怎么辦？
詹翊強(qiáng)：這也是一個(gè)很好的問(wèn)題。我們?cè)诮ń饦?biāo)準(zhǔn)的時(shí)候，對(duì)醫(yī)生的資質(zhì)有較高的要求。
這和臨床試驗(yàn)中對(duì)比組的閱片醫(yī)生不一樣，閱片醫(yī)生可以讓一些中年資和低年資的醫(yī)生來(lái)做。
但在建臨床實(shí)驗(yàn)金標(biāo)準(zhǔn)的時(shí)候，就需要高年資醫(yī)生標(biāo)完以后，如果有不一致，就要討論直到結(jié)論一致。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
