0
| 本文作者： 黃錦 | 2018-08-27 19:54 |
雷鋒網(wǎng)按：本文來自Medium，由雷鋒網(wǎng)編譯。
一直以來，NeuroNuggets和Neuromation Research系列文章都致力于向讀者介紹其優(yōu)秀團(tuán)隊的人工智能研究人員。
今天他們要介紹的就是曾獲Kaggle Master的Alexander Rakhlin。Alexander是一位深度學(xué)習(xí)專家，專門研究與醫(yī)療影像相關(guān)的問題，涵蓋了包括圖像分割、物體檢測和廣義上的卷積神經(jīng)網(wǎng)絡(luò)等領(lǐng)域。
而且就在最近有一個好消息，Alexander的合著論文《使用深度卷積神經(jīng)網(wǎng)絡(luò)的兒童骨齡評估》被第四屆醫(yī)療影像分析大會的深度學(xué)習(xí)研討會收錄（DLMIA 2018）。這已經(jīng)不是第一篇Neuromation旗下專門研究醫(yī)療影像的論文了，所以我們正好可以利用這個機(jī)會來討論下他們醫(yī)療研究工作的細(xì)節(jié)。
骨骼年齡，或者說骨齡，本質(zhì)上就是說你的骨頭看起來有多大歲數(shù)。
隨著一個孩子不斷長大，他/她的骨骼也會隨之成長和成熟，這就意味著：通過觀察孩子們的骨骼，我們可以估計出孩子擁有某種骨骼形態(tài)的平均年齡，從而了解孩子的真實(shí)年齡?？吹竭@里，你會不會想問這篇文章是不是關(guān)于考古學(xué)的：活生生的孩子們通常不會去拍什么X光，除非沒有人知道他們什么時候出生的。
是也不是。如果孩子發(fā)育正常，骨齡應(yīng)該在實(shí)際年齡的10%以內(nèi)，但是也有例外。有一些例外是無害的，但是最好也心知肚明：比如，你的孩子在青春期的快速成長與骨齡有關(guān)。因此，如果骨齡比實(shí)際年齡大幾年，孩子會更早的停止生長，如果骨頭比實(shí)際年齡“年輕”幾年，快速生長則會延遲到來。此外，考慮到現(xiàn)在的身高和骨齡，已經(jīng)可以相當(dāng)準(zhǔn)確地預(yù)測一個孩子最終的成年身高了，這點(diǎn)是會派上用場的：如果你的孩子喜歡籃球，你可能會對他是否會長到7英尺高感興趣：這樣可以更好的因材施教。
其他的例外就嚴(yán)重得多了：骨齡和實(shí)際年齡之間的顯著不匹配會昭示各種各樣的問題，包括生長障礙和內(nèi)分泌問題。骨齡的單一讀數(shù)值會告訴臨床醫(yī)生患者在特定時間內(nèi)的相對成熟度，與其他臨床發(fā)現(xiàn)相結(jié)合之后，就可以將正常人與相對快速或遲緩成長的人區(qū)分開來了。連續(xù)的骨齡讀數(shù)值意味著孩子的成長方向和/或顯示他或她在治療中的進(jìn)展情況。通過評估骨齡，兒科醫(yī)生可以診斷兒童發(fā)育過程中的內(nèi)分泌失調(diào)和代謝紊亂問題，如果骨骼發(fā)育不良，或與營養(yǎng)、代謝或影響骨骺或骨成熟的未知因素有關(guān)的生長缺陷。在這種生長遲緩的情況下，骨齡和身高可能都會延遲到幾乎相同的程度，但是，通過治療，達(dá)到正常成人身高的潛力仍然存在。
由于上述種種原因，兒科醫(yī)生對孩子的手部進(jìn)行X光檢查來估計他/她的骨齡是非常常見的……所以自然而然的，自動化就是一個很棒的嘗試。
骨骼成熟度主要由骨骺中繼發(fā)性骨化中心的發(fā)育程度和骨化程度來評價。幾十年來，骨成熟度通常是通過對手和腕部骨骼發(fā)育的視覺評估來確定的。下面是放射科醫(yī)生在檢查你的手部X射線時所尋找的東西：
目前估計骨骼年齡的兩種最常用的技術(shù)是Greulich and Pyle和Tanner Whitehouse（TW2）。兩種方法都使用左手和手腕的X線片來評估骨骼的成熟度，其依據(jù)是成熟度指標(biāo)，也就是，管狀骨骨骺從骨化的早期階段到與骨骼融合的X光外觀的變化，或者直到骨骼變成人形狀之前扁骨的變化……不用擔(dān)心，我們以前也沒聽說過這些詞語。我們來看一張照片：
傳統(tǒng)的骨骼成熟度評估技術(shù)，比如GP或TW2，很冗長，也很耗時，而且在某種程度上是主觀的，甚至是資深的放射科醫(yī)生也不總是同意這種評估結(jié)果。因此，利用計算機(jī)輔助診斷系統(tǒng)提高骨齡評估的準(zhǔn)確性，增加臨床醫(yī)生的再利用性和效率是非常吸引人的，我們接下來會開始介紹這種系統(tǒng)。
近年來，基于深度學(xué)習(xí)的方法在生物醫(yī)學(xué)的許多問題中顯示出優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法的性能改進(jìn)。在醫(yī)療影像領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已經(jīng)成功地用于糖尿病視網(wǎng)膜病變篩查、乳腺癌組織學(xué)圖像分析、骨病預(yù)測和許多其他問題；可以參見我們先前的文章對這些疾病或其他應(yīng)用的調(diào)查研究。
因此，我們自然也試著將現(xiàn)代深度神經(jīng)結(jié)構(gòu)也應(yīng)用于骨齡評估。下面，我們將利用北美放射學(xué)會（RSNA）組織的兒科骨齡挑戰(zhàn)賽（Pediatic Bone Age Challenge）的數(shù)據(jù)，描述一種完全自動化的骨齡評估的深度學(xué)習(xí)方法。雖然達(dá)到盡可能高的準(zhǔn)確度是我們的一個基本目標(biāo)，但我們的系統(tǒng)也被設(shè)計成擁有針對各種醫(yī)療中心在不同硬件上產(chǎn)生的射線照片的質(zhì)量不足和多樣性依然能保持魯棒性的特性。
數(shù)據(jù)集由北美放射學(xué)會（RSNA）提供，RSNA還組織了2017年兒童骨齡挑戰(zhàn)賽，在這里我們要向RSNA表達(dá)我們真摯的感謝。這些照片是從斯坦福兒童醫(yī)院和科羅拉多兒童醫(yī)院獲得的，他們在不同的時間、不同的條件下拍攝了不同的硬件。這些圖像由專業(yè)的兒科放射學(xué)家負(fù)責(zé)解釋，他們在放射報告中記錄了骨骼的年齡，這是記錄是基于Greulich and Pyle的手和手腕骨骼發(fā)育的放射圖解的視覺比較結(jié)果。另外，組委也會從放射報告中自動提取骨齡標(biāo)志以作為模型訓(xùn)練的基本依據(jù)。
這些射線照片的大小、方向、曝光量各不不同，而且通常具有特定的標(biāo)記。整個RSNA數(shù)據(jù)集包含12611次訓(xùn)練，1425次驗(yàn)證和200個測試圖像。由于測試數(shù)據(jù)集明顯太小，而且在開發(fā)期間其標(biāo)簽未知，因此我們只在訓(xùn)練集保留的1000張射線照片上對模型進(jìn)行了測試。
訓(xùn)練數(shù)據(jù)包括5778個女性和6833個男性的照片，年齡1～228個月，主要為5～15歲兒童。
我們工作的主要貢獻(xiàn)之一是嚴(yán)格的預(yù)處理流水線。為了防止模型與失真圖像學(xué)習(xí)發(fā)生錯誤的關(guān)聯(lián)，我們首先通過分割手來去除背景。
對于圖像分割，我們使用的是U-Net深層結(jié)構(gòu)。自2015年被發(fā)明以來，U-Net已成為處理分割任務(wù)的主流方法。它由捕獲上下文的收縮路徑和允許精確定位的對稱擴(kuò)展路徑組成；由于這不是本文的主題，因此我們將僅展示一下其結(jié)構(gòu)，我們推薦感興趣的讀者去閱讀可以獲得相關(guān)細(xì)節(jié)的論文：
我們也使用了批量歸一化方法，以提高訓(xùn)練過程中的收斂性。在我們的算法中，我們使用了廣義損失函數(shù)。
標(biāo)準(zhǔn)二進(jìn)制交叉熵?fù)p失函數(shù)為
其中
像素的真值為
是像素的預(yù)測概率，以及
Jaccard指數(shù)的一個可微推廣：
我們通過去除小而無關(guān)的連通分量和均衡對比度來完成分割步驟。下面是我們的預(yù)處理流水線的工作原理：
就像你所看到的，X線片的質(zhì)量和對比度確實(shí)有了很大的提高。在這里你可以停下來訓(xùn)練用于分類/回歸的標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)，用我們的預(yù)處理和標(biāo)準(zhǔn)化技術(shù)（如縮放和旋轉(zhuǎn)）來擴(kuò)展訓(xùn)練集。我們試了一下這種方法，結(jié)果雖然不如我們的最終模型準(zhǔn)確，但還是相當(dāng)令人滿意的。
然而，最初的GP和TW方法側(cè)重于特定的手骨，包括指骨、掌骨和腕骨等部位。我們決定嘗試使用這些信息，并在幾個特定區(qū)域上以高分辨率訓(xùn)練單獨(dú)的模型，以數(shù)值評估和比較它們的性能。為了正確定位這些區(qū)域，我們必須將所有圖像變換到相同的大小和位置，即，將它們?nèi)繋У较嗤淖鴺?biāo)空間，這個過程稱為圖像配準(zhǔn)。
我們的圖像配準(zhǔn)方案其實(shí)很簡單：我們只需要檢測手上的幾個特征點(diǎn)的坐標(biāo)，然后我們就能夠計算仿射變換參數(shù)（縮放、旋轉(zhuǎn)、平移和鏡像）以將圖像擬合到標(biāo)準(zhǔn)位置。
為了創(chuàng)建一個訓(xùn)練集的關(guān)鍵點(diǎn)模型，我們使用VGG圖像注釋器（VIA）手動標(biāo)記了800張照片。我們選擇了三個特征點(diǎn)：第三指遠(yuǎn)端指骨的尖端，拇指遠(yuǎn)端指骨的尖端和頭骨的中心。關(guān)鍵點(diǎn)的像素坐標(biāo)就將作為我們回歸模型的訓(xùn)練目標(biāo)。
關(guān)鍵點(diǎn)模型再次被實(shí)現(xiàn)為深度卷積神經(jīng)網(wǎng)絡(luò)，其靈感來自流行的VGG模型族，但是具有回歸輸出模式。VGG模塊由兩個卷積層組成，具有指數(shù)線性單元激活、批量標(biāo)準(zhǔn)化和最大池化三個特征。下面是結(jié)構(gòu)：
該模型訓(xùn)練的均方誤差損失（MSE）和Adam 優(yōu)化器如下：
為了提高泛化性，我們將標(biāo)準(zhǔn)擴(kuò)充應(yīng)用于輸入，包括旋轉(zhuǎn)、平移和縮放。該模型輸出6個坐標(biāo)。
找到關(guān)鍵點(diǎn)后，我們會計算所有射線照片的仿射變換（縮放、旋轉(zhuǎn)、平移）。我們的目標(biāo)是保持圖像的縱橫比，但將其適配到一個均勻的位置，每個射線照片都是如此，下面是具體的數(shù)值：
1.中指的尖端水平對齊并定位在圖像的上邊緣下方大約100個像素；
2.頭骨水平對齊并定位在圖像底部邊緣上方大約480個像素處。
按照慣例，骨齡評估一般使用左手的X射線照片，但有時候數(shù)據(jù)集中的圖像會被鏡像處理。為了檢測這些圖像并適當(dāng)?shù)卣{(diào)整它們，我們使用了拇指的關(guān)鍵點(diǎn)。
來看看我們的圖像注冊模型是如何工作的。正如你所看到的，手已經(jīng)成功地旋轉(zhuǎn)到我們的首選標(biāo)準(zhǔn)位置：
這里還有整個預(yù)處理流水線的諸多案例。包括分割結(jié)果，標(biāo)準(zhǔn)化和注冊都展示在第四行里。
遵循Gilsanz和Ratib的手部骨齡：骨骼成熟度數(shù)字地圖集，我們從注冊的X線照片中選擇了三個特定區(qū)域，并為每個區(qū)域訓(xùn)練了一個單獨(dú)的模型，包括以下三個區(qū)域：
1.整手
2.腕骨
3.掌骨和近側(cè)指骨。
下面是真實(shí)射線照片的區(qū)域和一些樣本對應(yīng)的分割片段，我們可以看到：
雖然卷積神經(jīng)網(wǎng)絡(luò)通常用于分類任務(wù)，但是骨齡評估本質(zhì)上是一個回歸問題：我們必須預(yù)測年齡，因?yàn)樗且粋€連續(xù)變量。因此，我們要比較兩套CNN架構(gòu)，回歸和分類，所以我們就實(shí)現(xiàn)了這兩個架構(gòu)。模型共享相似的參數(shù)和訓(xùn)練協(xié)議，并且僅在兩個最終層中有所區(qū)別。
我們的第一個模型是一個定制的VGG風(fēng)格的架構(gòu)，具有回歸輸出模式。該網(wǎng)絡(luò)由六個卷積模塊組成，具有32、64、128、128、256、384個濾波器，接著是兩個全連接的層，每個層由2048個神經(jīng)元和一個輸出層組成（我們將在下面展示圖片）。輸入大小根據(jù)圖像的考慮區(qū)域而發(fā)生變化。為了更好的泛化，我們在完全連接層之前應(yīng)用正則層。我們將回歸目標(biāo)，即骨齡重新調(diào)整到范圍[-1, 1 ]。為了避免過度擬合，我們將訓(xùn)練時間放大與縮放，旋轉(zhuǎn)和換檔。通過最小化平均絕對誤差（MAE），利用Adam優(yōu)化器對網(wǎng)絡(luò)進(jìn)行訓(xùn)練：
第二個模型用于分類，除了兩個最終層之外，與回歸模型非常相似。一個主要區(qū)別是分配給每個骨齡不同類別。在數(shù)據(jù)集中，骨齡是以月份表示的，所以我們考慮了所有240個類，倒數(shù)第二層變成了具有240個輸出的softmax層。該層輸出概率的向量，其中類的概率在范圍[0, 1 ]中取實(shí)值。在最后一層中，概率向量乘以不同骨齡的向量[1，…，239，240]。由此，模型會輸出骨齡的單個期望值。我們使用與回歸模型相同的協(xié)議來訓(xùn)練該模型。
這是用于分類的模型體系結(jié)構(gòu)；除了缺少softmax和binning層之外，回歸模型都是相同的：
我們評估了1000個放射線照片訓(xùn)練組的驗(yàn)證集上的模型。按照考慮性別的GP和TW方法，對于每個空間區(qū)域，我們分別針對女性和男性訓(xùn)練了性別特定模型，并將其與針對整個人群訓(xùn)練的性別不可知模型進(jìn)行比較。這里是我們的結(jié)果的總結(jié)，我們將討論：
我們可以看到，事實(shí)證明，增加性別的輸入之后大大提高了準(zhǔn)確性，平均是1.4個月。最左邊的列代表兩個性別的回歸模型的表現(xiàn)。掌骨和近指骨區(qū)（C區(qū)）平均絕對誤差（MAE）為8.42個月，全手（A區(qū)）平均絕對誤差（MAE）為8.08個月。三個區(qū)域的線性集合提高了7.52個月的總體準(zhǔn)確度（表中的下一行）。
性別特定性回歸模型（第二欄和第三欄）將MAE提高到男性的6.30個月，女性為6.49個月。這里請注意，對于女性隊列，掌骨和近指骨的區(qū)域MAE等于6.79個月，甚至比整個手更精確，MAE只有7.12個月！
性別特定性分類模型（第四和第五列）表現(xiàn)略好于回歸模型，分別表現(xiàn)出6.16個月和6.39個月的MAE（下行）。
最后，在第六列中，我們展示了所有性別特定模型的集合（分類和回歸）。在驗(yàn)證數(shù)據(jù)集上，它達(dá)到了6.10個月的最新精確度，無論從骨齡評估挑戰(zhàn)測試還是從實(shí)際應(yīng)用的角度來看，這都是一個很棒的結(jié)果。
總結(jié)一下：在這篇文章中，我們展示了如何開發(fā)一個自動化的骨齡評估系統(tǒng)，該系統(tǒng)能夠以驚人的準(zhǔn)確性評估骨骼的成熟度，類似于或優(yōu)于專業(yè)放射學(xué)家。我們還用數(shù)值方法評估了手的不同區(qū)域，發(fā)現(xiàn)骨齡評估可以只針對掌骨和近端指骨進(jìn)行，而不會顯著損失準(zhǔn)確性。為了克服射線照片的質(zhì)量多樣性，我們引入了嚴(yán)格的清洗和標(biāo)準(zhǔn)化過程，顯著提高了模型的魯棒性和準(zhǔn)確性。
該模型在臨床環(huán)境下具有很大的應(yīng)用潛力，可以幫助臨床醫(yī)生做出準(zhǔn)確和實(shí)時的骨齡評估決策，這將確保及時診斷和治療他們小病人的生長障礙，甚至幫助醫(yī)療研究拓展到難以到達(dá)的邊界。鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
