吳恩達(dá)團(tuán)隊(duì)發(fā)布最新醫(yī)學(xué)影像成果，用 CNN 算法識(shí)別肺炎

本文作者：李雨晨

2017-11-17 10:06

導(dǎo)語(yǔ)：研究人員表示，這種全新算法能夠從胸透照片里檢測(cè)肺炎，且水平超越專業(yè)放射科醫(yī)生。

深度學(xué)習(xí)著名學(xué)者吳恩達(dá)和他在斯坦福大學(xué)的團(tuán)隊(duì)一直在醫(yī)療方面做著努力。雷鋒網(wǎng)了解到，此前，吳恩達(dá)團(tuán)隊(duì)研發(fā)出一種深度學(xué)習(xí)算法，可以診斷14種類型的心律失常。近日，該團(tuán)隊(duì)又出新成果，他們提出了一種名為 CheXNet 的新技術(shù)。研究人員表示：新技術(shù)已經(jīng)在識(shí)別胸透照片中肺炎等疾病上的準(zhǔn)確率上超越人類專業(yè)醫(yī)師。

研究人員稱，開發(fā)的這種算法從胸透照片里檢測(cè)肺炎，且水平超越專業(yè)放射科醫(yī)生。算法被稱為 CheXNet，它是一個(gè) 121 層的卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)在目前最大的開放式胸透照片數(shù)據(jù)集“ChestX-ray14”上進(jìn)行訓(xùn)練。ChestX-ray14 數(shù)據(jù)集包含 14 種疾病的 10 萬張前視圖 X-ray 圖像。

背景

據(jù)雷鋒網(wǎng)了解，僅在美國(guó)，每年就有超過 100 萬成年人因?yàn)榉窝鬃≡海? 萬人因?yàn)樵摬《劳觯–DC, 2017）。目前，胸部 X 光檢查是診斷肺炎的最佳方法（WHO, 2001），這種方法在臨床護(hù)理和流行病學(xué)研究中發(fā)揮著重要作用。然而，通過 X 光片診斷肺炎是一個(gè)具有挑戰(zhàn)性的任務(wù)，需要放射科醫(yī)師具備專家級(jí)的判斷能力。在吳恩達(dá)團(tuán)隊(duì)的最新成果中，計(jì)算機(jī)科學(xué)院和醫(yī)學(xué)院的研究人員共同提出了一種新的機(jī)器學(xué)習(xí)模型，可以讓計(jì)算機(jī)通過胸透照片自動(dòng)診斷肺炎。

吳恩達(dá)團(tuán)隊(duì)發(fā)布最新醫(yī)學(xué)影像成果，用 CNN 算法識(shí)別肺炎

圖一：ChexNet 是一個(gè) 121 層的卷積神經(jīng)網(wǎng)絡(luò)，輸入胸透圖片，輸出患病概率。在這個(gè)例子中，CheXnet 準(zhǔn)確地探測(cè)到了肺炎，同時(shí)定位了圖片中最有可能患病的位置。

CheXNet 可以輸出肺炎存在可能性的熱區(qū)圖。研究人員在最近發(fā)布的 ChestX-ray14 數(shù)據(jù)集（Wang et al., 2017）上訓(xùn)練了 CheXNet。該數(shù)據(jù)集包含 112,120 張各自標(biāo)注最多有 14 種不同胸部疾病（包括肺炎）的正面胸透圖像。研究人員使用密集連接（Huang et al., 2016）與批歸一化（Ioffe & Szegedy, 2015）來優(yōu)化這一深度神經(jīng)網(wǎng)絡(luò)。

吳恩達(dá)團(tuán)隊(duì)發(fā)布最新醫(yī)學(xué)影像成果，用 CNN 算法識(shí)別肺炎

圖 2. CheXNet 在使用胸透圖像識(shí)別肺炎任務(wù)上的表現(xiàn)超過放射科醫(yī)師的平均水平。在測(cè)試中，CheXNet 與四名人類放射科醫(yī)師在敏感度（衡量正確識(shí)別陽(yáng)性的能力）以及特異性（衡量正確識(shí)別陰性的能力）上進(jìn)行比較。放射科醫(yī)生的個(gè)人表現(xiàn)以橙色點(diǎn)標(biāo)記，平均值以綠色點(diǎn)標(biāo)記。CheXNet 輸出從胸透照片上檢測(cè)出的患肺炎概率，藍(lán)色曲線是分類閾值形成的。所有醫(yī)師的敏感度-特異性點(diǎn)均低于藍(lán)色曲線。

對(duì)放射科醫(yī)師來說，要在胸片上發(fā)現(xiàn)肺炎是很困難的。在胸透圖像中，肺炎的特征通常是模糊的，容易和許多其他的良性異常相混淆。這些差異導(dǎo)致放射科醫(yī)師在診斷肺炎時(shí)存在相當(dāng)大的差異。為了評(píng)估放射科醫(yī)師的表現(xiàn)，斯坦福大學(xué)的研究人員找來了四名專業(yè)放射科醫(yī)師，使用 ChestX-ray14 子集的 420 張圖片對(duì)他們進(jìn)行了測(cè)試。在這 420 張圖片里，診斷正確與否的標(biāo)準(zhǔn)為其他大多數(shù)放射科醫(yī)生的投票結(jié)果，與此同時(shí)，CheXNet 模型也以同樣的標(biāo)準(zhǔn)進(jìn)行了測(cè)試。

為了比較CheXNet與之前使用ChestX - ray14的模型的能力，研究人員對(duì)比了新模型與其他模型在 ChestX-ray14 上對(duì)于十四種疾病的診斷準(zhǔn)確率，結(jié)果發(fā)現(xiàn)新模型的表現(xiàn)在所有方面均超過了此前的結(jié)果。以放射科專家的水平從胸透圖像中自動(dòng)檢測(cè)出疾病，不僅在臨床流程中有巨大的好處，而且對(duì)于那些無法享受到專家資源的人群來說，都是非常寶貴的。

CheXNet

問題表述

肺炎檢測(cè)工作其實(shí)是一個(gè)二元分類問題，其中輸入的是正向正面胸部X光圖像X，輸出則是一個(gè)分別指示肺炎存在或不存在的二元標(biāo)簽t ∈{0, 1}。對(duì)于訓(xùn)練集合中的一個(gè)單個(gè)標(biāo)簽，研究人員優(yōu)化了雙向叉熵?fù)p失

L(X, t) = ?t log p(T = 1|X) ? (1 ? t) log p(T = 0|X)

p(T = i|X) 是網(wǎng)絡(luò)分配給標(biāo)簽 I 的概率。

模型架構(gòu)和訓(xùn)練

CheXNet 是一個(gè)121層的密集卷積神經(jīng)網(wǎng)絡(luò)（DenseNet）(Huang et al., 2016)，是基于ChestX-ray 14數(shù)據(jù)集合來進(jìn)行訓(xùn)練的。DenseNet通過神經(jīng)網(wǎng)絡(luò)來優(yōu)化信息流和梯度，使得非常深入的神經(jīng)網(wǎng)絡(luò)優(yōu)化工作變得更加易于處理。團(tuán)隊(duì)將最終的全連接圖層替換成為單輸出圖像，之后再應(yīng)用非線性Sigmoid函數(shù)（常見的S形函數(shù)）輸出包含肺炎發(fā)生概率的圖像。

神經(jīng)網(wǎng)絡(luò)的權(quán)重是被隨機(jī)初始化的，并且利用Adam標(biāo)準(zhǔn)參數(shù)（β1 = 0.9 and β2 = 0.999）進(jìn)行端到端訓(xùn)練 (Kingma & Ba, 2014)。研究者使用了規(guī)格為16的迷你批處理文件訓(xùn)練該模型，并且過度取樣了少數(shù)（正）類(Buda et al., 2017)。團(tuán)隊(duì)還使用了一個(gè)0.01初始學(xué)習(xí)率，每進(jìn)行十次驗(yàn)證就會(huì)衰退一個(gè)要素，在一個(gè)時(shí)期之后進(jìn)入損失平穩(wěn)期，再選擇最低驗(yàn)證損失的那個(gè)模型。

數(shù)據(jù)

訓(xùn)練

據(jù)了解，研究人員使用了ChestX-ray14 數(shù)據(jù)集，該數(shù)據(jù)集合是由Wang et al. (2017)發(fā)布的，其中包含了30805名患者的112120張前胸X光圖片。Wang et al. (2017) 采用了放射醫(yī)學(xué)中的自動(dòng)提取方法，用最多14個(gè)不同的胸腔病理學(xué)標(biāo)簽來標(biāo)注每張X光圖像。他們將有肺炎標(biāo)記的X-光圖像標(biāo)記為正向示例，然后把其他標(biāo)簽的圖像標(biāo)記為肺炎檢測(cè)任務(wù)的負(fù)向示例。團(tuán)隊(duì)將整個(gè)數(shù)據(jù)集合做了隨機(jī)拆分，80%的數(shù)據(jù)用于訓(xùn)練，20%的數(shù)據(jù)用于驗(yàn)證。

在將胸透圖像導(dǎo)入進(jìn)神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)之前，研究人員把圖像大小縮小到224*224，然后基于ImageNet訓(xùn)練集合中的圖像均值和標(biāo)準(zhǔn)偏差進(jìn)行了歸一化。此外，還通過隨機(jī)水平調(diào)整來增強(qiáng)訓(xùn)練數(shù)據(jù)。

測(cè)試

研究人員收集了420張前胸X光圖片作為測(cè)試數(shù)據(jù)集合，這些數(shù)據(jù)是斯坦福大學(xué)四位獲得放射科執(zhí)業(yè)資格的醫(yī)師提供的，他們也都被要求按照Wang et al.(2017)約定的14種病理學(xué)基準(zhǔn)對(duì)圖像進(jìn)行了標(biāo)注。

這四名放射科醫(yī)師分別有四年、七年、二十五年和二十八年的從業(yè)經(jīng)驗(yàn)，其中有一位放射科醫(yī)師還是一名次級(jí)?？蒲芯可?，并且受到過專業(yè)胸腔放射科醫(yī)師的培訓(xùn)。不過，所有測(cè)試的放射科醫(yī)師都不能獲取任何患者信息或是有關(guān)病理知識(shí)的數(shù)據(jù)。標(biāo)簽將會(huì)被輸入到一個(gè)標(biāo)準(zhǔn)化數(shù)據(jù)錄入程序內(nèi)。

CheXNet 表現(xiàn) vs. 放射科醫(yī)師表現(xiàn)

吳恩達(dá)團(tuán)隊(duì)發(fā)布最新醫(yī)學(xué)影像成果，用 CNN 算法識(shí)別肺炎

表 1. CheXNet 在 ChestX-ray14 數(shù)據(jù)集中 14 種病變的檢測(cè)結(jié)果與另外兩種模型的對(duì)比。在檢測(cè)腫塊、結(jié)節(jié)、肺炎、氣胸和肺氣腫時(shí)，CheXNet 的表現(xiàn)超越了此前業(yè)內(nèi)最佳水平至少 0.05。

研究人員評(píng)估了肺炎檢測(cè)任務(wù)測(cè)試集合上放射科醫(yī)師的表現(xiàn)。回想一下，在test420中每一個(gè)圖像都有來自那四名執(zhí)業(yè)放射科醫(yī)生的真實(shí)標(biāo)簽。研究者使用大多數(shù)投票為基礎(chǔ)來對(duì)其他三名放射科醫(yī)師的表現(xiàn)分別進(jìn)行了評(píng)估。同樣，他們也讓四名放射科醫(yī)師中的三個(gè)進(jìn)行了大多數(shù)投票，來評(píng)估CheXNet的表現(xiàn)，并且重復(fù)做了四次，這樣可以全面覆蓋三組醫(yī)師（每組三人）。

在受試者工作特征（ROC）曲線上對(duì)比了CheXNet和發(fā)射科醫(yī)師的表現(xiàn)，該曲線將模型敏感性與1-特異性進(jìn)行了比較。圖2展示了ROC曲線模型，以及四名放射科醫(yī)師及其平均操作數(shù)：每個(gè)獨(dú)立發(fā)射科醫(yī)師的表現(xiàn)都用橙色標(biāo)記表示，平均值則是用綠色表示。CheXNet輸出了胸腔X-光中監(jiān)測(cè)出肺炎的概率，并且通過改變分類邊界闕值來生成ROC曲線。結(jié)果顯示，CheXNet能夠與放射科醫(yī)師一樣，甚至可以超出他們的水平檢測(cè)出肺炎。

事實(shí)上，研究者還設(shè)置了兩個(gè)限制條件。首先，CheXNet模型和放射科醫(yī)師都不允許使用之前曾檢查過的患者數(shù)據(jù)，或是其他患者病史數(shù)據(jù)——因?yàn)檫@已經(jīng)被證明會(huì)降低放射科醫(yī)師的表現(xiàn)(Berbaum et al., 1985; Potchen et al., 1979)。其次，在診斷時(shí)，僅向放射科醫(yī)師和CheXNet模型提供正面X-光照片，但是如果想要提升15%的診斷準(zhǔn)確率，至少還需要患者側(cè)面的X-光圖像數(shù)據(jù)(Raoof et al., 2012)。因此，在這兩個(gè)限制條件下，其實(shí)對(duì)人類放射科醫(yī)師的表現(xiàn)評(píng)估是比較保守的。

吳恩達(dá)團(tuán)隊(duì)發(fā)布最新醫(yī)學(xué)影像成果，用 CNN 算法識(shí)別肺炎

CheXNet

數(shù)據(jù)

CheXNet 表現(xiàn) vs. 放射科醫(yī)師表現(xiàn)

相關(guān)的工作

吳恩達(dá)團(tuán)隊(duì)發(fā)布最新醫(yī)學(xué)影像成果，用 CNN 算法識(shí)別肺炎