0
| 本文作者： 叢末 | 2018-10-19 18:19 |
如何界定 AI 用于醫(yī)學圖像分析時的范疇，設(shè)置相關(guān)的任務及采用合理的模型方法？醫(yī)學圖像分析中目標檢測任務的普遍性，使得開發(fā)目標檢測集成框架顯得必要。
近日，在雷鋒網(wǎng) AI 研習社公開課上，深圳市宜遠智能科技有限公司負責人吳博剖析了目標檢測已有的框架，重點分享如何對目標檢測框架進行改造，以便在醫(yī)學圖像分析中產(chǎn)生更好的效果。公開課回放視頻網(wǎng)址：http://www.mooc.ai/open/course/559?=aitechtalkwubo
吳博
學術(shù)背景：先后在清華大學、香港浸會大學求學，并在英國利茲大學完成博士后，師從計算機視覺專家唐遠炎教授等人。在 ICML/ACL 等頂級會議發(fā)表過多篇人工智能論文。
工業(yè)界經(jīng)驗：2017 年創(chuàng)立醫(yī)療 AI 公司——宜遠智能，該公司集結(jié)了 20 多名人工智能博士以及眾多海內(nèi)外醫(yī)學顧問，為醫(yī)療健康領(lǐng)域提供 AI 增強解決方案，并與多家知名醫(yī)院達成合作，并推出成型產(chǎn)品。創(chuàng)立宜遠智能之前，吳博曾在愛立信大數(shù)據(jù)研究院任職，還曾主導過百億級虛擬品電商、數(shù)字貨幣系統(tǒng)的業(yè)務及數(shù)據(jù)架構(gòu)建設(shè)與運營。
分享主題：目標檢測集成框架在醫(yī)學圖像 AI 輔助分析中的應用
分享提綱：
1. 醫(yī)學圖像分析的任務類型和對象
2. 目標檢測已有框架用于醫(yī)學圖像分析的流程
3. 如何與醫(yī)生合作做好 AI
雷鋒網(wǎng) AI 研習社將其分享內(nèi)容整理如下：
今天給大家講一下目標檢測集成框架在醫(yī)學圖像 AI 輔助分析中的應用。
醫(yī)學圖像分析的任務類型主要有：
分類與識別：這是最簡單最直接的任務類型。左邊的圖是吳恩達教授之前做的一個 X 光模型，這個模型中主要做分類，判斷是否有肺炎等病癥。圖像分類與識別是常見的圖像分析（MIA: Medical Image Analysis) 任務，是圖像檢索的基本單元。
像 ImageNet 被 AlexNet、VGG、GoogleNet、ResNet、SENet 等深度神經(jīng)網(wǎng)絡(luò)從 72% 的準確率，逐步提升到 97.75%，超越人眼 94.9% 的水平。而醫(yī)學圖像的分類也非常具有現(xiàn)實意義，比如可以判斷人是有病還是無病、以及是哪類病，像 Nature、Science 雜志就發(fā)表過皮膚癌、胸片、眼底照等醫(yī)學場景的圖像分類模型。
但在實操過程中，我們發(fā)現(xiàn)將醫(yī)學影像當成一個分類問題來處理，任務設(shè)置未免過于宏大和粗放。深度學習的模型具有黑盒模型的特點，特點就是端到端（end to end）一步到位，從輸入到輸出而不管中間的過程，雖然也能實現(xiàn)較好的結(jié)果，卻往往令人對整個學習過程，知其然而不知其所以然。并且，將醫(yī)學影像簡單當成一個分類問題，也算不上解決醫(yī)療問題，雖然其可視為一定程度的計算機輔助診斷（CAD: Computer Aided Diagnose），但歸因以及可解釋性得缺陷，并不足以讓醫(yī)生全盤參考
目標檢測：這個任務類型也很普遍，并且現(xiàn)在越發(fā)普及，意義越來越重大。我們從 CAD 的歷史和發(fā)展進程中，可以看到目標檢測與醫(yī)學圖像分析之間的聯(lián)系。CAD 分為兩類：
計算機輔助診斷 (CADx: Computer Aided Diagnose) ：對病癥進行分類、識別、預測
計算機輔助檢測 (CADe：Computer Aided DETection)：主要做對圖像內(nèi)病灶/病變 (lesion) 的檢測。從歸因到果的角度來說，CADe 可能在做醫(yī)學圖像分析時更切合實際。CADe 更接近目標檢測。
而 ImageNet 2013 年推出目標檢測挑戰(zhàn)，在四萬張互聯(lián)網(wǎng)圖片中檢測 200 類物體，mAP 從 0. 2258 提升到 2017 年 0.7322，這個水平也幾乎達到了人類的水平。
分割：這也是常規(guī)的醫(yī)學圖像分析中的一類任務。分割主要包括：語義分割 (semantic segmentation)、實例分割 (instance segmentation)。醫(yī)學圖像分析則涉及到器官分割勾畫 (organ and substructure segmentation)，還有病變/病灶分割 (lesion segmentation) 等。而醫(yī)學影像分割跟常規(guī)圖像的語義分割、實例分割不太一樣。我們得看法是，把分割問題當作目標檢測來處理，也方便借力于目標檢測領(lǐng)域方法的蓬勃發(fā)展。
【關(guān)于醫(yī)學影像分割的不同點和難點的更多講解，請回看視頻 00：13：10 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
我們也探索一下醫(yī)學圖像分析的研究對象。
我們在研究醫(yī)學圖像分析時，也針對醫(yī)學影像學這個名詞參考了很多論文，并進行了咨詢、學習和了解。其中，醫(yī)學影像學的一個權(quán)威定義為：醫(yī)學影像學（Medical Imaging）研究借助于介質(zhì)（如 X 射線、電磁場、超聲波、內(nèi)窺鏡等）把人體內(nèi)部組織器官以影像方式表現(xiàn)出來，從而方便對人體健康狀況進行評價。
【關(guān)于醫(yī)學影像學定義的更多講解，請回看視頻 00：19：45 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
廣義而言，醫(yī)學影像學包括成像技術(shù)/設(shè)備、圖像處理技術(shù)，以及日益重要的醫(yī)學圖像分析。所以文獻中，MIA 與醫(yī)學影像學（Medical imaging）常交替使用。
而醫(yī)學圖像分析涵蓋的圖像類別，也不僅限于「內(nèi)部組織器官」，還包括體表皮膚、五官、外部關(guān)節(jié)特征等的拍攝圖像，顯微查看及掃描的組織與細胞病理圖像等。放射影像因為數(shù)字化程度高，格式標準，其分析處理最為流行；但其他圖像領(lǐng)域，成像設(shè)備、處理分析都在日新月異發(fā)展，數(shù)字化程度升高，使得 AI 介入成為可能，且愈發(fā)體現(xiàn)出價值與意義。
在下圖中，我們可以看到醫(yī)學圖像分析的類型以及對應的特點：
【關(guān)于醫(yī)學圖像分析的類型及特點的講解，請回看視頻 00：23：35 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
進入到今天分享的第二個部分——目標檢測。我們主要講一下相關(guān)流程和經(jīng)驗。
在進行目標檢測之前，需要做好目標檢測訓練數(shù)據(jù)準備 。從醫(yī)院、醫(yī)療機構(gòu)、醫(yī)生以及數(shù)據(jù)源中，我們會積累、整理以及清洗很多數(shù)據(jù)。其中，清洗是一個非常復雜和龐大的一個環(huán)節(jié)。而數(shù)據(jù)準備的重點，主要是標注。
【關(guān)于目標檢測訓練數(shù)據(jù)準備（標注）和標注系統(tǒng)的更多講解，請回看視頻 00：29：40 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
下圖展示了用第三方工具 LabelImg 來標注足球場的視頻：
醫(yī)學圖像領(lǐng)域還涉及到復雜的審核、內(nèi)部影像管理，單純的開源工具無法滿足這些任務的需求，需要自研和自建一些工具。
在圖像 AI 領(lǐng)域，標注極耗成本和時間，所以 AI 反過來輔助標注也是有價值的做法。
【關(guān)于 AI 的輔助標注的更多講解，請回看視頻 00：35：15 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
接下來講今天的主要部分——目標檢測框架及流程。
我們比較推薦 Detectron 這個框架：
【關(guān)于 Detectron 框架的更多講解，請回看視頻 00：37：15 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
實驗過程中，我們也對照 Detectron 嘗試了其他一些非集成的算法，也發(fā)現(xiàn)了 Detectron 本身存在的一些問題，比如醫(yī)學圖像領(lǐng)域有時需要將分割和目標檢測穿插使用，而 Detectron 框架無法實現(xiàn)二者的穿插使用。針對醫(yī)學圖像領(lǐng)域以及 Detectron 自身存在的一些問題，我們內(nèi)部優(yōu)化出一個框架——eWingDET 框架。它的特點和優(yōu)勢包括：
第一，支持 bbox 和 mask 兩種識別目標的任意切換，支持 backbone 網(wǎng)絡(luò)的自由更換，支持多種類的圖像增強方式，支持 2D、3D 圖像的目標檢測。
第二，以 tensorflow 為內(nèi)核，以 Faster-RCNN/Mask-RCNN 為核心，可進行 python 端多 GPU 訓練，兼容 Horvod 分布式框架。
第三，訓練好的模型可以直接在前端使用 C++在 CPU 上進行 inference，產(chǎn)出結(jié)果。
第四，自定制對模型性能的評價函數(shù)，加入了 FPN，提升了對小目標檢測的性能，如 CT 中鈣化病灶目標的檢測。
【關(guān)于 Detectron 框架的一些問題以及 eWingDET 框架的特點、流程、訓練、推斷的更多講解，請回看視頻 00：39：50 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
醫(yī)學圖像的算法也好，模型也罷，怎樣將其變成一個比較完備的系統(tǒng)，落地到醫(yī)院的系統(tǒng)部署方式，往往更具有現(xiàn)實意義。
【關(guān)于系統(tǒng)部署方式的更多講解，請回看視頻 00：50：30 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
我們的醫(yī)學圖像 AI 也會落地到醫(yī)院，進行合作，對外賦能。比如通過醫(yī)學圖像 AI as a Service(AIaaS) 平臺集成多類醫(yī)學圖像分析功能，經(jīng)審核合資格的機構(gòu)用戶與專業(yè)用戶，可以進入到該平臺，使用模型體驗、API 調(diào)用等服務。平臺根據(jù)模型體驗和 API 調(diào)用的次數(shù)，進行額度扣除。而用戶也可因為幫助改善模型和提供算力，獲得額度獎賞。
案例分享
案例 1：牙齒根管識別
案例 2：目標檢測用于皮膚圖像分析
關(guān)于皮膚圖像分析的案例，我會講到銀屑病 AI、面部皮膚病 AI 以及面部皮膚 AI 副產(chǎn)品，即皺紋斑點等目標檢測處理這三個案例。
【關(guān)于牙齒根管識別、目標檢測用于皮膚圖像分析的案例具體講解，請回看視頻 00：59：58 、00：63：22 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
我們做得比較好的還有用于肺結(jié)節(jié) CT 分析的 3D 目標檢測，下面我也跟大家簡單分享一下。
3D 目標檢測在肺結(jié)節(jié) CT 分析中的應用，表明目標檢測的集成框架和方法除了可以用于比較淺層次的皮膚識別領(lǐng)域，還能在醫(yī)學圖像識別中比較大型的、難度比較大的場景中使用。肺結(jié)節(jié)識別采用的是 3D Faster RCNN 的 RPN 網(wǎng)絡(luò)，它能減少需要調(diào)節(jié)的網(wǎng)絡(luò)參數(shù)，既沒有后續(xù)的全連接做分類，也不需要在后面接一套 3D CNN 來做降假陽。
【關(guān)于 3D 目標檢測用于肺結(jié)節(jié) CT 分析的講解，請回看視頻 00：72：20，http://www.mooc.ai/open/course/559?=aitechtalkwubo】
最后分享一下如何跟醫(yī)生做好 AI 合作，我們看重的 AI 工程師的能力主要有以下幾個：
第一個，和醫(yī)生協(xié)作的能力（這一能力與 EQ 有關(guān)）。傳統(tǒng)的機器器學習中，往往只需要跟設(shè)備和代碼打交道，而醫(yī)學影像研發(fā)需要經(jīng)常和醫(yī)生溝通，把醫(yī)生的思路不斷地模擬成代碼。其中的很多思路和方法都無法從論文里面得來，和醫(yī)生的協(xié)作往往是 AI 研究人員需要具備的能力。
第二個，從數(shù)據(jù)中找尋優(yōu)化模型思路的能力，即問題解決能力（這一能力與 IQ 有關(guān)）。醫(yī)學影像數(shù)據(jù)，每個醫(yī)院都不一樣，主要體現(xiàn)在醫(yī)院的場景、拍攝手法等。很多時候，甚至每個病種的數(shù)據(jù)都沒有前人的工作可參考。這就需要我們花大量的時間泡在數(shù)據(jù)里面，尋找數(shù)據(jù)里面的規(guī)律，來優(yōu)化模型?？刂坪脭?shù)據(jù)敏感性，防止 garbage in garbage out，從而能控制好數(shù)據(jù)，就能控制效果。
AI 工程師這一能力的天分體現(xiàn)在：每次接觸的數(shù)據(jù)都不同，判斷思路路都不同的情況下，能迅速的找到解決問題的關(guān)鍵。而進一步的天分還體現(xiàn)在能抽象推出標準、實用新框架的能力。
而且需要注意的是，機器學習是【法】，深度學習是【術(shù)】，AI 工程師不能太癡迷于工具，而忽略問題的本質(zhì)。
第三個，把 paper 新思路和新框架引入 實際工作的能力（這一能力跟勤奮有關(guān)）。因為新的框架替換舊的框架，帶來的往往是門檻的提升，不 follow 就落后，所以我們一定要緊跟最新的前沿進展。不過這種能力，往往只能解決公開數(shù)據(jù)集的問題。對于我們碰到的實際復雜多變的醫(yī)學圖像，肯定是不夠的，很容易會陷入到坑里面去。
目前我們也在招聘 AI 工程師、機器學習工程師、算法工程師以及數(shù)據(jù)工程師，感興趣的同學歡迎聯(lián)系我們。
對本次分享做一下總結(jié)：
第一，我們講了一下醫(yī)學圖像分析的方法和流派之分，在我們實際工作中，目標檢測這種方法的作用凌駕于其他方法之上。我們通常不會選擇優(yōu)先去解決圖像分類、重構(gòu)以及分割問題，而更多地將其當做目標檢測問題。雖然這一方法論比較固定，但實際用于醫(yī)學影像分析時，應用面也非常寬泛。
第二，分享了目標檢測的全流程，包括框架的學習、模型打造后怎樣跟醫(yī)療機構(gòu)對接的問題等。
最后，分享了怎樣跟醫(yī)生做好 AI 合作，進而分享了 AI 工程師應該具備的幾個能力以及需要進行哪些方向的修煉。
以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請到雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 研習社社區(qū)（https://club.leiphone.com/）觀看。關(guān)注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
