0
| 本文作者： 李雨晨 | 2018-01-31 10:10 |
雷鋒網(wǎng)消息，谷歌在ArXiv上公開了一篇論文，也很可能是谷歌使用深度學(xué)習(xí)模型在電子病歷建模分析方面的首篇文章。這篇論文由“編譯器從不警告Jeff，Jeff會(huì)警告編譯器”的谷歌大腦高級研究員Jeff Dean率隊(duì)，聯(lián)合了UCSF、Stanford、UChicago等知名機(jī)構(gòu)的眾多大牛。
論文地址：https://arxiv.org/pdf/1801.07860.pdf
在這篇文章里，Google選擇了UCSF、Stanford、UChicago作為合作單位，在兩個(gè)大的醫(yī)院系統(tǒng)——CSF和UChicago的電子病歷數(shù)據(jù)上，用深度學(xué)習(xí)模型預(yù)測四件事情：住院期間的死亡風(fēng)險(xiǎn)、規(guī)劃之外的再住院風(fēng)險(xiǎn)、長時(shí)間的住院天數(shù)以及出院的疾病診斷。
據(jù)雷鋒網(wǎng)了解，本篇論文的作者團(tuán)隊(duì)背景豪華。Quoc Le等人是深度學(xué)習(xí)界耳熟能詳?shù)娜宋铩４送?，Nigam Shah是Stanford生物醫(yī)學(xué)信息中心的終身教授，一直大力推動(dòng)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)在醫(yī)學(xué)信息學(xué)中的應(yīng)用。而Atul Butte則是醫(yī)學(xué)信息學(xué)界最有影響力的學(xué)者之一，本人是UCSF計(jì)算健康科學(xué)中心（Institute for Computational Health Science）的首任director，美國醫(yī)學(xué)院院士。
他們總結(jié)了這篇論文得到的兩個(gè)成果。首先，提出了一個(gè)通用的數(shù)據(jù)處理途徑，可以將原始的EHR數(shù)據(jù)作為輸入，并且在沒有手動(dòng)特征協(xié)調(diào)的情況下生成FHIR標(biāo)準(zhǔn)輸出。這一成果使得系統(tǒng)可以相對容易地部署到新醫(yī)院。
其次，基于兩家具有普通患者群體(不局限于ICU)的醫(yī)院數(shù)據(jù)，展示了在各種預(yù)測問題和設(shè)置中使用深度學(xué)習(xí)模型的有效性。
雷鋒網(wǎng)了解到，作者從2012-2016年的加州大學(xué)舊金山分校(UCSF)以及2009-2016年的芝加哥大學(xué)醫(yī)學(xué)(UCM)中獲取了EHR數(shù)據(jù)。他們把每個(gè)衛(wèi)生系統(tǒng)稱為A醫(yī)院和B醫(yī)院。所有電子健康記錄都進(jìn)行了脫敏。這兩個(gè)數(shù)據(jù)集都包含患者人口統(tǒng)計(jì)數(shù)據(jù)、診斷記錄、藥物治療、生命體征等數(shù)據(jù)。UCM數(shù)據(jù)集(但不是UCSF)還包含了不確定的、免費(fèi)的醫(yī)學(xué)注釋。
此外，作者還采用了FHIR標(biāo)準(zhǔn)，開發(fā)了一個(gè)單獨(dú)的數(shù)據(jù)結(jié)構(gòu)，而不需要手動(dòng)創(chuàng)建的數(shù)據(jù)集。
盡管考慮到數(shù)據(jù)的巨大潛力，但是提高預(yù)測模型的可擴(kuò)展性是困難的，因?yàn)閷τ趥鹘y(tǒng)的預(yù)測建模技術(shù)來說，要預(yù)測的每一個(gè)結(jié)果都需要?jiǎng)?chuàng)建具有特定變量的自定義數(shù)據(jù)集。人們普遍認(rèn)為，分析模型中80%的工作是預(yù)處理、合并、自定義和清理數(shù)據(jù)集，而不是對此進(jìn)行分析，這極大地限制了預(yù)測模型的可擴(kuò)展性。
我們主要采用了三種模型：LSTM、前饋神經(jīng)網(wǎng)絡(luò)和決策樹。在輸入模型之前，所有電子病歷中的事件全都被嵌入到一個(gè)統(tǒng)一的低維空間中。
我們使用了兩個(gè)美國學(xué)術(shù)醫(yī)療中心的EHR數(shù)據(jù)來驗(yàn)證我們的方法，其中包括住院至少24小時(shí)的216221名病例。深度學(xué)習(xí)模型對住院期間死亡風(fēng)險(xiǎn)(AUROC)、規(guī)劃之外的再住院風(fēng)險(xiǎn)(AUROC 0.75-0.76)、長時(shí)間的住院天數(shù)（AUROC 0.85-0.86)和出院的疾病診斷(頻率加權(quán)AUROC 0.90)都具有較高的準(zhǔn)確性。這些模型在所有情況下都優(yōu)于最先進(jìn)的傳統(tǒng)預(yù)測模型。
事實(shí)上，常規(guī)收集的病人醫(yī)療數(shù)據(jù)還沒有用于臨床醫(yī)生改善護(hù)理服務(wù)的預(yù)測統(tǒng)計(jì)模型。另一個(gè)挑戰(zhàn)是，電子健康記錄(EHR)中潛在的預(yù)測變量的數(shù)量可能會(huì)很容易地達(dá)到數(shù)千個(gè)之多。傳統(tǒng)的建模方法僅僅通過選擇非常有限的常用變量，由此產(chǎn)生的模型可能會(huì)產(chǎn)生不精確的預(yù)測：假陽性的預(yù)測可能會(huì)加重醫(yī)生、護(hù)士的負(fù)擔(dān)。
深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)的發(fā)展可以使我們應(yīng)對這些挑戰(zhàn)。一個(gè)關(guān)鍵的優(yōu)點(diǎn)是，調(diào)查人員通常不需要指定考慮哪些潛在的預(yù)測變量，以及如何進(jìn)行組合；相反，神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)來自數(shù)據(jù)本身的關(guān)鍵因素和交互表示。具體來說，這種深度學(xué)習(xí)方法可以將電子健康記錄(包括自由文本注釋)納入到對一系列臨床問題和結(jié)果的預(yù)測中，這些問題和結(jié)果比傳統(tǒng)的預(yù)測模型要好得多。
使用計(jì)算機(jī)系統(tǒng)從“高度組織和記錄的數(shù)據(jù)庫”中學(xué)習(xí)臨床數(shù)據(jù)具有悠久的歷史。盡管目前EHRs的數(shù)據(jù)已經(jīng)數(shù)字化，但最近對醫(yī)學(xué)文獻(xiàn)的系統(tǒng)回顧發(fā)現(xiàn)，用EHR數(shù)據(jù)構(gòu)建的預(yù)測模型使用的變量的中位數(shù)為27，依賴于傳統(tǒng)的廣義線性模型，并且是在單個(gè)中心使用數(shù)據(jù)構(gòu)建的。在臨床實(shí)踐中，最常用的是更簡單的模型，比如CURB-65，這是一個(gè)5因素模型，或者是單參數(shù)的警告分?jǐn)?shù)。
對每個(gè)患者使用更多可用數(shù)據(jù)的一個(gè)主要挑戰(zhàn)是，來自多個(gè)站點(diǎn)的衛(wèi)生數(shù)據(jù)缺乏標(biāo)準(zhǔn)和語義互操作性。通常為每個(gè)新的預(yù)測任務(wù)選擇一組獨(dú)特的變量，通常需要耗費(fèi)大量勞動(dòng)來提取和規(guī)范來自不同站點(diǎn)的數(shù)據(jù)。
重要的前期研究集中于在傳統(tǒng)關(guān)系數(shù)據(jù)庫中通過耗時(shí)的數(shù)據(jù)標(biāo)準(zhǔn)化來解決可擴(kuò)展性問題，如OHDSI聯(lián)盟定義的OMOP標(biāo)準(zhǔn)。這樣的標(biāo)準(zhǔn)允許跨站點(diǎn)的預(yù)測模型的一致性開發(fā)，但是只適應(yīng)原始數(shù)據(jù)的一部分。
最近，一種被稱為FHIR的數(shù)據(jù)結(jié)構(gòu)被開發(fā)出來，以一種一致的、分層的、可擴(kuò)展的容器格式來表示臨床數(shù)據(jù)，而不考慮衛(wèi)生系統(tǒng)，它簡化了站點(diǎn)之間的數(shù)據(jù)交換。然而，這種格式并不保證語義一致性，增加了處理不協(xié)調(diào)數(shù)據(jù)的額外技術(shù)需要。
通過電子健康記錄和深度學(xué)習(xí)方法的發(fā)展，對電子健康記錄數(shù)據(jù)的深度學(xué)習(xí)的應(yīng)用迅速發(fā)展。在一項(xiàng)著名的研究中，研究人員使用自動(dòng)編碼器預(yù)測一組特定的診斷結(jié)果。隨后的工作擴(kuò)展了這種方法，通過對患者記錄中發(fā)生的事件的時(shí)間序列進(jìn)行建模，這可以提高依賴于事件順序的場景的準(zhǔn)確性，以及卷積和遞歸神經(jīng)網(wǎng)絡(luò)。
一般來說，以前的工作集中于EHR中可用的特性的子集，而不是在電子健康記錄中所有可用的數(shù)據(jù)，包括臨床自由文本注釋以及大量結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。由于重癥監(jiān)護(hù)(模擬)數(shù)據(jù)的醫(yī)療信息市場的可用性，許多先前的研究也集中在單一中心的ICU患者；其他單中心研究也關(guān)注ICU患者。每個(gè)ICU患者的數(shù)據(jù)都比普通醫(yī)院病人多得多，盡管非ICU的住院人數(shù)比ICU的住院人數(shù)多出6倍。
我們感興趣的是，深度學(xué)習(xí)能否在廣泛的臨床問題和結(jié)果中產(chǎn)生有效的預(yù)測。因此，我們選擇了來自不同領(lǐng)域的結(jié)果，包括住院期間的死亡風(fēng)險(xiǎn)；規(guī)劃之外的再住院風(fēng)險(xiǎn)；長時(shí)間的住院天數(shù)；出院的疾病診斷。
住院期間的死亡風(fēng)險(xiǎn)：我們預(yù)測住院病人的死亡率，定義為“過期”的出院處置。
圖1:來自每個(gè)衛(wèi)生系統(tǒng)的數(shù)據(jù)，一個(gè)合適的FHIR資源，并按時(shí)間順序排列。深度學(xué)習(xí)模型可以在做出預(yù)測之前使用所有可用的數(shù)據(jù)。因此，不管任務(wù)如何，每個(gè)預(yù)測都使用相同的數(shù)據(jù)。
規(guī)劃之外的再住院風(fēng)險(xiǎn)：我們預(yù)計(jì)將在30天內(nèi)重新入院，并在出院后30天內(nèi)入院。如果入院日期在出院后30天內(nèi)，住院治療被認(rèn)為是“重新入院”。一個(gè)重新接納的計(jì)劃只能算一次。
長時(shí)間的住院天數(shù)：我們預(yù)測至少7天的時(shí)間，住院時(shí)間是指住院和出院之間的時(shí)間。
出院的疾病診斷：我們預(yù)測了全部的初級和二級ICD-9賬單診斷。
我們共納入了216221例住院病例，涉及114003例獨(dú)立病人。住院死亡率為2.3%(4930/ 216221)，計(jì)劃外30天的入院率為12.9%(27918/216221)，較長住院時(shí)間(23.9%)，患者的出院診斷范圍為1到228次。人口統(tǒng)計(jì)和利用特征見表1。為了預(yù)測住院死亡率，AUROC在24小時(shí)內(nèi)入院后，醫(yī)院A為0.95(95% CI 0.94 - -0.96)，醫(yī)院B為0.93(95% CI 0.92 - -0.94)。這明顯比傳統(tǒng)的預(yù)測模型更準(zhǔn)確。
圖2:箱線圖顯示了EHR中的數(shù)據(jù)量，以及它在接收過程中的時(shí)間變化。我們將一個(gè)令牌定義為電子健康記錄中的單個(gè)數(shù)據(jù)元素，如藥物名稱，在特定時(shí)間點(diǎn)。每個(gè)令牌都被認(rèn)為是深度學(xué)習(xí)模型的潛在預(yù)測因子。箱線圖中的線表示中位數(shù)，方框表示四分位范圍(IQR)，須為IQR的1.5倍。令牌數(shù)量穩(wěn)步增加，從入院到出院。出院時(shí)，A醫(yī)院的代幣數(shù)中位數(shù)為86477，醫(yī)院B為122961。
圖3:接收人操作曲線下的區(qū)域顯示了深度學(xué)習(xí)和基線模型在入院前和住院后12小時(shí)內(nèi)的住院死亡率的預(yù)測。 對于住院病死率，與加利福尼亞大學(xué)舊金山分校（UCSF）和芝加哥大學(xué)醫(yī)學(xué)院（UCM）分組的基線相比，深度學(xué)習(xí)模型在每個(gè)預(yù)測時(shí)間都實(shí)現(xiàn)了更高的識別率。 這兩種模式在前24小時(shí)都有所改善，但深度學(xué)習(xí)模式在UCM提前約24小時(shí)達(dá)到類似的精確度，甚至提前48小時(shí)達(dá)到UCSF的水平。錯(cuò)誤條表示引導(dǎo)的95%置信區(qū)間。
我們可以總結(jié)一下，這種深度學(xué)習(xí)方法，將整個(gè)電子健康記錄納入其中，對各種臨床問題和結(jié)果進(jìn)行預(yù)測，結(jié)果超過了最先進(jìn)的傳統(tǒng)預(yù)測模型。
圖4：患者記錄顯示一名患有惡性胸腔積液和膿胸的轉(zhuǎn)移性乳腺癌患者。在圖的頂部的病人時(shí)間線包含了每個(gè)時(shí)間步驟的圓圈，其中至少有一個(gè)標(biāo)記為病人而存在，而水平線顯示的是數(shù)據(jù)類型。我們訓(xùn)練了每種數(shù)據(jù)類型的模型，并在紅色中突出顯示了模型所關(guān)注的標(biāo)記——非突出顯示的文本沒有被處理，而是顯示在上下文環(huán)境中。這些模型在藥物、護(hù)理流程和臨床記錄中提取特征來進(jìn)行預(yù)測。
因?yàn)槲覀兏信d趣的是深度學(xué)習(xí)能否在不同的醫(yī)療領(lǐng)域產(chǎn)生有效的預(yù)測，該方法在臨床護(hù)理預(yù)測模型的可擴(kuò)展性方面具有重要的先進(jìn)性。首先，我們的研究方法是將整個(gè)EHR的單一數(shù)據(jù)表示作為事件序列，允許該系統(tǒng)用于任何可能在臨床或操作上有用的預(yù)測，而無需額外的數(shù)據(jù)準(zhǔn)備。傳統(tǒng)的預(yù)測模型需要大量的工作來準(zhǔn)備一個(gè)具有特定變量的數(shù)據(jù)集，由專家選擇，并由分析師為每一個(gè)新的預(yù)測進(jìn)行組裝。這些數(shù)據(jù)的準(zhǔn)備和清理通常消耗掉預(yù)測分析項(xiàng)目80%的工作量，限制了預(yù)測模型在醫(yī)療保健行業(yè)中的可擴(kuò)展性。
其次，用病人的所有預(yù)測圖來做預(yù)測不僅能提高可擴(kuò)展性，還能提供更多的數(shù)據(jù)來做出準(zhǔn)確的預(yù)測。對于出院時(shí)的預(yù)測，我們的深度學(xué)習(xí)模型考慮了超過460億份EHR數(shù)據(jù)，并在醫(yī)院停留的時(shí)間比傳統(tǒng)模型更準(zhǔn)確地做出了預(yù)測。
據(jù)我們所知，我們的模型在預(yù)測死亡率(0.92-0.94 vs 0.91)上優(yōu)于現(xiàn)有的EHR文獻(xiàn)，例如評價(jià)死亡風(fēng)險(xiǎn)的NEWS分?jǐn)?shù)，以及評價(jià)再住院風(fēng)險(xiǎn)的HOSPITAL分?jǐn)?shù)等，作者對這些模型做了微小的改進(jìn)。最終通過比較，作者的模型都顯著好于這些傳統(tǒng)模型（AUC普遍提高0.1左右）。
然而，這種方法的新穎之處并不僅僅在于增量模型性能的改進(jìn)。更確切地說，這種預(yù)測性能是在沒有人工選擇專家認(rèn)為重要的變量的情況下實(shí)現(xiàn)的，這與深度學(xué)習(xí)對EHR數(shù)據(jù)的其他應(yīng)用類似。相反，我們的模型可以訪問每個(gè)病人的成千上萬個(gè)預(yù)測因子，包括自由文本注釋，并了解什么對于特定的預(yù)測是重要的。
此外，我們的研究也有重要的局限性。
第一，它是一個(gè)回顧性的研究，具有所有通常的局限性。
第二，盡管人們普遍認(rèn)為準(zhǔn)確的預(yù)測可以用于改善護(hù)理，但這并不是一個(gè)預(yù)料之中的結(jié)論，需要進(jìn)行前瞻性試驗(yàn)來證明這一點(diǎn)。
第三，個(gè)性化預(yù)測的一個(gè)含義是，它們利用了許多特定EHR的小數(shù)據(jù)點(diǎn)，而不是一些常見的變量。未來的研究需要確定如何在一個(gè)站點(diǎn)上訓(xùn)練的模型能夠最好地應(yīng)用于另一個(gè)站點(diǎn)，這對于那些具有有限歷史數(shù)據(jù)的站點(diǎn)尤其有用。作為第一步，我們證明了類似的模型架構(gòu)和訓(xùn)練方法為兩個(gè)地理上截然不同的衛(wèi)生系統(tǒng)提供了可比較的模型，但是在這一點(diǎn)上還需要進(jìn)一步的研究。
最后，計(jì)算資源耗費(fèi)大，花費(fèi)時(shí)間大于20萬GPU小時(shí)。
在我們的研究中，最具挑戰(zhàn)性的預(yù)測可能是預(yù)測病人的全部出院診斷。由于幾個(gè)原因，這個(gè)預(yù)測很困難。首先，一個(gè)病人可能有1到228次出院診斷范圍，而這個(gè)數(shù)字在預(yù)測的時(shí)候是不知道的。
其次，每項(xiàng)診斷可以從大約14025個(gè)ICD-9診斷代碼中選擇，這使得可能的組合總數(shù)指數(shù)級增大。最后，許多ICD-9編碼在臨床上類似，但在數(shù)字上是不同的(例如，011.30“支氣管結(jié)核，未說明”與011.31“支氣管結(jié)核，細(xì)菌學(xué)或組織學(xué)檢查沒有完成”)。這就產(chǎn)生了將隨機(jī)誤差引入預(yù)測的效果。微F1評分是一個(gè)指標(biāo)，當(dāng)預(yù)測超過一個(gè)單一結(jié)果(例如多個(gè)診斷)時(shí)，我們的模型比在ICU數(shù)據(jù)集的文獻(xiàn)中所報(bào)告的更少。這是一個(gè)概念驗(yàn)證，證明可以從日常的EHR數(shù)據(jù)中推斷出診斷，這可以幫助觸發(fā)決策支持或臨床試驗(yàn)招募。
使用自由文本進(jìn)行預(yù)測還可以提高預(yù)測的可解釋性。 由于溝通機(jī)制的問題，臨床醫(yī)生歷來不了解神經(jīng)網(wǎng)絡(luò)模型。 我們展示了我們的方法如何可視化模型“查看”每個(gè)病人的數(shù)據(jù)，臨床醫(yī)生可以使用這些數(shù)據(jù)來確定預(yù)測是否基于可信的事實(shí)，并可能有助于確定行動(dòng)。
在我們的案例研究中，該模型確定了患者的歷史和放射學(xué)研究結(jié)果的元素，這是至關(guān)重要的數(shù)據(jù)點(diǎn)，臨床醫(yī)生也會(huì)使用。這種方法可以解決這樣的問題：這種“黑盒”方法是不可靠的。然而，對于深度學(xué)習(xí)模型的可解釋性還有其他可能的技術(shù)，需要進(jìn)一步研究這一方法的認(rèn)知影響和它的臨床效用。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
