如何界定 AI 用于醫(yī)學(xué)圖像分析時(shí)的范疇，設(shè)置相關(guān)的任務(wù)及采用合理的模型方法？醫(yī)學(xué)圖像分析中目標(biāo)檢測(cè)任務(wù)的普遍性，使得開(kāi)發(fā)目標(biāo)檢測(cè)集成框架顯得必要。

近日，在雷鋒網(wǎng) AI 研習(xí)社公開(kāi)課上，深圳市宜遠(yuǎn)智能科技有限公司負(fù)責(zé)人吳博剖析了目標(biāo)檢測(cè)已有的框架，重點(diǎn)分享如何對(duì)目標(biāo)檢測(cè)框架進(jìn)行改造，以便在醫(yī)學(xué)圖像分析中產(chǎn)生更好的效果。公開(kāi)課回放視頻網(wǎng)址：http://www.mooc.ai/open/course/559?=aitechtalkwubo

吳博

學(xué)術(shù)背景：先后在清華大學(xué)、香港浸會(huì)大學(xué)求學(xué)，并在英國(guó)利茲大學(xué)完成博士后，師從計(jì)算機(jī)視覺(jué)專家唐遠(yuǎn)炎教授等人。在 ICML/ACL 等頂級(jí)會(huì)議發(fā)表過(guò)多篇人工智能論文。

工業(yè)界經(jīng)驗(yàn)：2017 年創(chuàng)立醫(yī)療 AI 公司——宜遠(yuǎn)智能，該公司集結(jié)了 20 多名人工智能博士以及眾多海內(nèi)外醫(yī)學(xué)顧問(wèn)，為醫(yī)療健康領(lǐng)域提供 AI 增強(qiáng)解決方案，并與多家知名醫(yī)院達(dá)成合作，并推出成型產(chǎn)品。創(chuàng)立宜遠(yuǎn)智能之前，吳博曾在愛(ài)立信大數(shù)據(jù)研究院任職，還曾主導(dǎo)過(guò)百億級(jí)虛擬品電商、數(shù)字貨幣系統(tǒng)的業(yè)務(wù)及數(shù)據(jù)架構(gòu)建設(shè)與運(yùn)營(yíng)。

分享主題：目標(biāo)檢測(cè)集成框架在醫(yī)學(xué)圖像 AI 輔助分析中的應(yīng)用

分享提綱：

1. 醫(yī)學(xué)圖像分析的任務(wù)類型和對(duì)象 

2. 目標(biāo)檢測(cè)已有框架用于醫(yī)學(xué)圖像分析的流程 

3. 如何與醫(yī)生合作做好 AI 

雷鋒網(wǎng) AI 研習(xí)社將其分享內(nèi)容整理如下：

今天給大家講一下目標(biāo)檢測(cè)集成框架在醫(yī)學(xué)圖像 AI 輔助分析中的應(yīng)用。

醫(yī)學(xué)圖像分析任務(wù)類型和研究對(duì)象 

醫(yī)學(xué)圖像分析的任務(wù)類型主要有：

分類與識(shí)別：這是最簡(jiǎn)單最直接的任務(wù)類型。左邊的圖是吳恩達(dá)教授之前做的一個(gè) X 光模型，這個(gè)模型中主要做分類，判斷是否有肺炎等病癥。圖像分類與識(shí)別是常見(jiàn)的圖像分析（MIA: Medical Image Analysis) 任務(wù)，是圖像檢索的基本單元。

像 ImageNet 被 AlexNet、VGG、GoogleNet、ResNet、SENet 等深度神經(jīng)網(wǎng)絡(luò)從 72% 的準(zhǔn)確率，逐步提升到 97.75%，超越人眼 94.9% 的水平。而醫(yī)學(xué)圖像的分類也非常具有現(xiàn)實(shí)意義，比如可以判斷人是有病還是無(wú)病、以及是哪類病，像 Nature、Science 雜志就發(fā)表過(guò)皮膚癌、胸片、眼底照等醫(yī)學(xué)場(chǎng)景的圖像分類模型。

但在實(shí)操過(guò)程中，我們發(fā)現(xiàn)將醫(yī)學(xué)影像當(dāng)成一個(gè)分類問(wèn)題來(lái)處理，任務(wù)設(shè)置未免過(guò)于宏大和粗放。深度學(xué)習(xí)的模型具有黑盒模型的特點(diǎn)，特點(diǎn)就是端到端（end to end）一步到位，從輸入到輸出而不管中間的過(guò)程，雖然也能實(shí)現(xiàn)較好的結(jié)果，卻往往令人對(duì)整個(gè)學(xué)習(xí)過(guò)程，知其然而不知其所以然。并且，將醫(yī)學(xué)影像簡(jiǎn)單當(dāng)成一個(gè)分類問(wèn)題，也算不上解決醫(yī)療問(wèn)題，雖然其可視為一定程度的計(jì)算機(jī)輔助診斷（CAD: Computer Aided Diagnose），但歸因以及可解釋性得缺陷，并不足以讓醫(yī)生全盤參考

 目標(biāo)檢測(cè)：這個(gè)任務(wù)類型也很普遍，并且現(xiàn)在越發(fā)普及，意義越來(lái)越重大。我們從 CAD 的歷史和發(fā)展進(jìn)程中，可以看到目標(biāo)檢測(cè)與醫(yī)學(xué)圖像分析之間的聯(lián)系。CAD 分為兩類：

計(jì)算機(jī)輔助診斷 (CADx: Computer Aided Diagnose) ：對(duì)病癥進(jìn)行分類、識(shí)別、預(yù)測(cè)

計(jì)算機(jī)輔助檢測(cè) (CADe：Computer Aided DETection)：主要做對(duì)圖像內(nèi)病灶/病變 (lesion) 的檢測(cè)。從歸因到果的角度來(lái)說(shuō)，CADe 可能在做醫(yī)學(xué)圖像分析時(shí)更切合實(shí)際。CADe 更接近目標(biāo)檢測(cè)。

而 ImageNet 2013 年推出目標(biāo)檢測(cè)挑戰(zhàn)，在四萬(wàn)張互聯(lián)網(wǎng)圖片中檢測(cè) 200 類物體，mAP 從 0. 2258 提升到 2017 年 0.7322，這個(gè)水平也幾乎達(dá)到了人類的水平。

分割：這也是常規(guī)的醫(yī)學(xué)圖像分析中的一類任務(wù)。分割主要包括：語(yǔ)義分割 (semantic segmentation)、實(shí)例分割 (instance segmentation)。醫(yī)學(xué)圖像分析則涉及到器官分割勾畫 (organ and substructure segmentation)，還有病變/病灶分割 (lesion segmentation) 等。而醫(yī)學(xué)影像分割跟常規(guī)圖像的語(yǔ)義分割、實(shí)例分割不太一樣。我們得看法是，把分割問(wèn)題當(dāng)作目標(biāo)檢測(cè)來(lái)處理，也方便借力于目標(biāo)檢測(cè)領(lǐng)域方法的蓬勃發(fā)展。

【關(guān)于醫(yī)學(xué)影像分割的不同點(diǎn)和難點(diǎn)的更多講解，請(qǐng)回看視頻 00：13：10 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

我們也探索一下醫(yī)學(xué)圖像分析的研究對(duì)象。

我們?cè)谘芯酷t(yī)學(xué)圖像分析時(shí)，也針對(duì)醫(yī)學(xué)影像學(xué)這個(gè)名詞參考了很多論文，并進(jìn)行了咨詢、學(xué)習(xí)和了解。其中，醫(yī)學(xué)影像學(xué)的一個(gè)權(quán)威定義為：醫(yī)學(xué)影像學(xué)（Medical Imaging）研究借助于介質(zhì)（如 X 射線、電磁場(chǎng)、超聲波、內(nèi)窺鏡等）把人體內(nèi)部組織器官以影像方式表現(xiàn)出來(lái)，從而方便對(duì)人體健康狀況進(jìn)行評(píng)價(jià)。

【關(guān)于醫(yī)學(xué)影像學(xué)定義的更多講解，請(qǐng)回看視頻 00：19：45 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

廣義而言，醫(yī)學(xué)影像學(xué)包括成像技術(shù)/設(shè)備、圖像處理技術(shù)，以及日益重要的醫(yī)學(xué)圖像分析。所以文獻(xiàn)中，MIA 與醫(yī)學(xué)影像學(xué)（Medical imaging）常交替使用。

而醫(yī)學(xué)圖像分析涵蓋的圖像類別，也不僅限于「內(nèi)部組織器官」，還包括體表皮膚、五官、外部關(guān)節(jié)特征等的拍攝圖像，顯微查看及掃描的組織與細(xì)胞病理圖像等。放射影像因?yàn)閿?shù)字化程度高，格式標(biāo)準(zhǔn)，其分析處理最為流行；但其他圖像領(lǐng)域，成像設(shè)備、處理分析都在日新月異發(fā)展，數(shù)字化程度升高，使得 AI 介入成為可能，且愈發(fā)體現(xiàn)出價(jià)值與意義。

在下圖中，我們可以看到醫(yī)學(xué)圖像分析的類型以及對(duì)應(yīng)的特點(diǎn)：

【關(guān)于醫(yī)學(xué)圖像分析的類型及特點(diǎn)的講解，請(qǐng)回看視頻 00：23：35 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

目標(biāo)檢測(cè)已有框架用于醫(yī)學(xué)圖像分析的流程 

進(jìn)入到今天分享的第二個(gè)部分——目標(biāo)檢測(cè)。我們主要講一下相關(guān)流程和經(jīng)驗(yàn)。

在進(jìn)行目標(biāo)檢測(cè)之前，需要做好目標(biāo)檢測(cè)訓(xùn)練數(shù)據(jù)準(zhǔn)備 。從醫(yī)院、醫(yī)療機(jī)構(gòu)、醫(yī)生以及數(shù)據(jù)源中，我們會(huì)積累、整理以及清洗很多數(shù)據(jù)。其中，清洗是一個(gè)非常復(fù)雜和龐大的一個(gè)環(huán)節(jié)。而數(shù)據(jù)準(zhǔn)備的重點(diǎn)，主要是標(biāo)注。

【關(guān)于目標(biāo)檢測(cè)訓(xùn)練數(shù)據(jù)準(zhǔn)備（標(biāo)注）和標(biāo)注系統(tǒng)的更多講解，請(qǐng)回看視頻 00：29：40 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

下圖展示了用第三方工具 LabelImg 來(lái)標(biāo)注足球場(chǎng)的視頻：

醫(yī)學(xué)圖像領(lǐng)域還涉及到復(fù)雜的審核、內(nèi)部影像管理，單純的開(kāi)源工具無(wú)法滿足這些任務(wù)的需求，需要自研和自建一些工具。

在圖像 AI 領(lǐng)域，標(biāo)注極耗成本和時(shí)間，所以 AI 反過(guò)來(lái)輔助標(biāo)注也是有價(jià)值的做法。

【關(guān)于 AI 的輔助標(biāo)注的更多講解，請(qǐng)回看視頻 00：35：15 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

接下來(lái)講今天的主要部分——目標(biāo)檢測(cè)框架及流程。

我們比較推薦 Detectron 這個(gè)框架：

【關(guān)于 Detectron 框架的更多講解，請(qǐng)回看視頻 00：37：15 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

實(shí)驗(yàn)過(guò)程中，我們也對(duì)照 Detectron 嘗試了其他一些非集成的算法，也發(fā)現(xiàn)了 Detectron 本身存在的一些問(wèn)題，比如醫(yī)學(xué)圖像領(lǐng)域有時(shí)需要將分割和目標(biāo)檢測(cè)穿插使用，而 Detectron 框架無(wú)法實(shí)現(xiàn)二者的穿插使用。針對(duì)醫(yī)學(xué)圖像領(lǐng)域以及 Detectron 自身存在的一些問(wèn)題，我們內(nèi)部?jī)?yōu)化出一個(gè)框架——eWingDET 框架。它的特點(diǎn)和優(yōu)勢(shì)包括：

第一，支持 bbox 和 mask 兩種識(shí)別目標(biāo)的任意切換，支持 backbone 網(wǎng)絡(luò)的自由更換，支持多種類的圖像增強(qiáng)方式，支持 2D、3D 圖像的目標(biāo)檢測(cè)。

第二，以 tensorflow 為內(nèi)核，以 Faster-RCNN/Mask-RCNN 為核心，可進(jìn)行 python 端多 GPU 訓(xùn)練，兼容 Horvod 分布式框架。

第三，訓(xùn)練好的模型可以直接在前端使用 C++在 CPU 上進(jìn)行 inference，產(chǎn)出結(jié)果。

第四，自定制對(duì)模型性能的評(píng)價(jià)函數(shù)，加入了 FPN，提升了對(duì)小目標(biāo)檢測(cè)的性能，如 CT 中鈣化病灶目標(biāo)的檢測(cè)。

【關(guān)于 Detectron 框架的一些問(wèn)題以及 eWingDET 框架的特點(diǎn)、流程、訓(xùn)練、推斷的更多講解，請(qǐng)回看視頻 00：39：50 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

醫(yī)學(xué)圖像的算法也好，模型也罷，怎樣將其變成一個(gè)比較完備的系統(tǒng)，落地到醫(yī)院的系統(tǒng)部署方式，往往更具有現(xiàn)實(shí)意義。

【關(guān)于系統(tǒng)部署方式的更多講解，請(qǐng)回看視頻 00：50：30 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

我們的醫(yī)學(xué)圖像 AI 也會(huì)落地到醫(yī)院，進(jìn)行合作，對(duì)外賦能。比如通過(guò)醫(yī)學(xué)圖像 AI as a Service(AIaaS) 平臺(tái)集成多類醫(yī)學(xué)圖像分析功能，經(jīng)審核合資格的機(jī)構(gòu)用戶與專業(yè)用戶，可以進(jìn)入到該平臺(tái)，使用模型體驗(yàn)、API 調(diào)用等服務(wù)。平臺(tái)根據(jù)模型體驗(yàn)和 API 調(diào)用的次數(shù)，進(jìn)行額度扣除。而用戶也可因?yàn)閹椭纳颇Ｐ秃吞峁┧懔Γ@得額度獎(jiǎng)賞。

案例分享

案例 1：牙齒根管識(shí)別

案例 2：目標(biāo)檢測(cè)用于皮膚圖像分析

關(guān)于皮膚圖像分析的案例，我會(huì)講到銀屑病 AI、面部皮膚病 AI 以及面部皮膚 AI 副產(chǎn)品，即皺紋斑點(diǎn)等目標(biāo)檢測(cè)處理這三個(gè)案例。

【關(guān)于牙齒根管識(shí)別、目標(biāo)檢測(cè)用于皮膚圖像分析的案例具體講解，請(qǐng)回看視頻 00：59：58 、00：63：22 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

我們做得比較好的還有用于肺結(jié)節(jié) CT 分析的 3D 目標(biāo)檢測(cè)，下面我也跟大家簡(jiǎn)單分享一下。

3D 目標(biāo)檢測(cè)在肺結(jié)節(jié) CT 分析中的應(yīng)用，表明目標(biāo)檢測(cè)的集成框架和方法除了可以用于比較淺層次的皮膚識(shí)別領(lǐng)域，還能在醫(yī)學(xué)圖像識(shí)別中比較大型的、難度比較大的場(chǎng)景中使用。肺結(jié)節(jié)識(shí)別采用的是 3D Faster RCNN 的 RPN 網(wǎng)絡(luò)，它能減少需要調(diào)節(jié)的網(wǎng)絡(luò)參數(shù)，既沒(méi)有后續(xù)的全連接做分類，也不需要在后面接一套 3D CNN 來(lái)做降假陽(yáng)。

【關(guān)于 3D 目標(biāo)檢測(cè)用于肺結(jié)節(jié) CT 分析的講解，請(qǐng)回看視頻 00：72：20，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

 如何與醫(yī)生合作做好 AI 

最后分享一下如何跟醫(yī)生做好 AI 合作，我們看重的 AI 工程師的能力主要有以下幾個(gè)：

第一個(gè)，和醫(yī)生協(xié)作的能力（這一能力與 EQ 有關(guān)）。傳統(tǒng)的機(jī)器器學(xué)習(xí)中，往往只需要跟設(shè)備和代碼打交道，而醫(yī)學(xué)影像研發(fā)需要經(jīng)常和醫(yī)生溝通，把醫(yī)生的思路不斷地模擬成代碼。其中的很多思路和方法都無(wú)法從論文里面得來(lái)，和醫(yī)生的協(xié)作往往是 AI 研究人員需要具備的能力。

第二個(gè)，從數(shù)據(jù)中找尋優(yōu)化模型思路的能力，即問(wèn)題解決能力（這一能力與 IQ 有關(guān)）。醫(yī)學(xué)影像數(shù)據(jù)，每個(gè)醫(yī)院都不一樣，主要體現(xiàn)在醫(yī)院的場(chǎng)景、拍攝手法等。很多時(shí)候，甚至每個(gè)病種的數(shù)據(jù)都沒(méi)有前人的工作可參考。這就需要我們花大量的時(shí)間泡在數(shù)據(jù)里面，尋找數(shù)據(jù)里面的規(guī)律，來(lái)優(yōu)化模型?？刂坪脭?shù)據(jù)敏感性，防止 garbage in garbage out，從而能控制好數(shù)據(jù)，就能控制效果。

AI 工程師這一能力的天分體現(xiàn)在：每次接觸的數(shù)據(jù)都不同，判斷思路路都不同的情況下，能迅速的找到解決問(wèn)題的關(guān)鍵。而進(jìn)一步的天分還體現(xiàn)在能抽象推出標(biāo)準(zhǔn)、實(shí)用新框架的能力。

而且需要注意的是，機(jī)器學(xué)習(xí)是【法】，深度學(xué)習(xí)是【術(shù)】，AI 工程師不能太癡迷于工具，而忽略問(wèn)題的本質(zhì)。

第三個(gè)，把 paper 新思路和新框架引入 實(shí)際工作的能力（這一能力跟勤奮有關(guān)）。因?yàn)樾碌目蚣芴鎿Q舊的框架，帶來(lái)的往往是門檻的提升，不 follow 就落后，所以我們一定要緊跟最新的前沿進(jìn)展。不過(guò)這種能力，往往只能解決公開(kāi)數(shù)據(jù)集的問(wèn)題。對(duì)于我們碰到的實(shí)際復(fù)雜多變的醫(yī)學(xué)圖像，肯定是不夠的，很容易會(huì)陷入到坑里面去。

目前我們也在招聘 AI 工程師、機(jī)器學(xué)習(xí)工程師、算法工程師以及數(shù)據(jù)工程師，感興趣的同學(xué)歡迎聯(lián)系我們。

對(duì)本次分享做一下總結(jié)：

第一，我們講了一下醫(yī)學(xué)圖像分析的方法和流派之分，在我們實(shí)際工作中，目標(biāo)檢測(cè)這種方法的作用凌駕于其他方法之上。我們通常不會(huì)選擇優(yōu)先去解決圖像分類、重構(gòu)以及分割問(wèn)題，而更多地將其當(dāng)做目標(biāo)檢測(cè)問(wèn)題。雖然這一方法論比較固定，但實(shí)際用于醫(yī)學(xué)影像分析時(shí)，應(yīng)用面也非常寬泛。

第二，分享了目標(biāo)檢測(cè)的全流程，包括框架的學(xué)習(xí)、模型打造后怎樣跟醫(yī)療機(jī)構(gòu)對(duì)接的問(wèn)題等。

最后，分享了怎樣跟醫(yī)生做好 AI 合作，進(jìn)而分享了 AI 工程師應(yīng)該具備的幾個(gè)能力以及需要進(jìn)行哪些方向的修煉。

以上就是本期嘉賓的全部分享內(nèi)容。更多公開(kāi)課視頻請(qǐng)到雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng)) AI 研習(xí)社社區(qū)（https://club.leiphone.com/）觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開(kāi)課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。