編者按：7月12日-7月14日，2019第四屆全球人工智能與機器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網(wǎng)、香港中文大學（深圳）承辦，深圳市人工智能與機器人研究院協(xié)辦，得到了深圳市政府的大力指導，是國內(nèi)人工智能和機器人學術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實力的跨界交流合作平臺。

7月14日，騰訊AI Lab醫(yī)療中心首席科學家姚建華發(fā)表了主題為《AI在病理診斷中的前沿研究和應用》。

騰訊AI Lab是公司級的實驗室，姚建華向雷鋒網(wǎng)介紹，現(xiàn)在AI Lab有超過70名研究員和超過300名工程師，研究方向包括計算機視覺、機器學習、語音識別、自然語言處理，醫(yī)療是實驗室的主要應用場景之一。

騰訊AI Lab為騰訊首款將人工智能技術(shù)運用在醫(yī)學領(lǐng)域的AI產(chǎn)品——騰訊覓影提供算法技術(shù)支持。2017年11月，科技部公布首批國家新一代人工智能開放創(chuàng)新平臺名單，并明確依托公司騰訊建設(shè)醫(yī)療影像國家新一代人工智能開放創(chuàng)新平臺。

姚建華認為，病理診斷是一個非常復雜的過程，主觀性很強，一致率比較低。因此利用人工智能技術(shù)，可以幫助醫(yī)生提高診斷的可重復性，提高準確率和效率，從一定程度上緩解病理醫(yī)生不足的狀況。

但是對于病理分析而言，病理的圖像尺寸非常大，對計算機的處理性能提出挑戰(zhàn)，此外，醫(yī)生經(jīng)常要識別病理圖像中非常細微組織的變化。在自然圖像中比較成功的算法往往在病理圖像中不能達到相應的效果，因此，工程人員就需要開發(fā)特殊的算法。

目前，病理AI的主要研究領(lǐng)域有三部分：

第一，開發(fā)基于AI技術(shù)的病理診斷模型，以提高醫(yī)生的診斷效率，提高微小病變和疑難病例的識別能力。

第二，病理組學，從病理中提取對診療有用的特征，進行定量化分析，發(fā)現(xiàn)病理特征和診療之間的關(guān)聯(lián)性。

第三則是更高級的功能，利用病理數(shù)據(jù)來開發(fā)基于AI技術(shù)的病理預后預測模型，預測治療的效果以及五年的總生存率。

姚建華博士說到，這三個方向可以覆蓋從基層醫(yī)院到三甲醫(yī)院的不同應用場景。

圍繞染色歸一化、結(jié)直腸癌病理診斷、結(jié)直腸息肉分類、淋巴結(jié)轉(zhuǎn)移檢測、免疫組化(IHC)等方面的臨床痛點，姚博士所在的團隊都提出了一些有針對性的解決方法。

以下為姚建華博士的現(xiàn)場演講內(nèi)容，雷鋒網(wǎng)作了不改變原意的編輯及整理： 

姚建華：大家下午好。首先簡要介紹一下騰訊近年在人工智能的發(fā)展歷程。

近十年來，騰訊一直在積累人工智能方面的技術(shù)，2014年騰訊優(yōu)圖實驗室成立，2016年AI實驗室成立，2018年機器人實驗室成立。

2017年騰訊發(fā)布了騰訊覓影，去年成立了一個AI醫(yī)療中心，現(xiàn)在已經(jīng)積累了豐富的人工智能方面的資源，包括海量的數(shù)據(jù)和大規(guī)模的GPU計算集群。同時，我們申請了超過1500項的專利，在頂會上也發(fā)表了超過300篇論文。

騰訊AI實驗室是公司級的實驗室，使命是深耕前沿研究，打造AI基礎(chǔ)能力，同時賦能業(yè)務場景，實現(xiàn)開放共贏?，F(xiàn)在AI Lab有超過70名研究員和超過300名工程師，研究方向包括計算機視覺、機器學習、語音識別、自然語言處理。應用場景是游戲、醫(yī)療、內(nèi)容、社交、機器人，醫(yī)療是實驗室主要的方向。

2017年11月，科技部公布首批國家新一代人工智能開放創(chuàng)新平臺名單，并明確依托公司騰訊建設(shè)醫(yī)療影像國家新一代人工智能開放創(chuàng)新平臺。騰訊首款將人工智能技術(shù)運用在醫(yī)學領(lǐng)域的AI產(chǎn)品——騰訊覓影，騰訊醫(yī)療健康事業(yè)部、騰訊AI Lab等團隊合作，從創(chuàng)新創(chuàng)業(yè)、全產(chǎn)業(yè)鏈合作、學術(shù)科研和普惠公益等方面推動醫(yī)療人工智能的發(fā)展。

騰訊“覓影”獲得業(yè)界的認可，入選一些國家項目，獲得了一些表彰。

我們已經(jīng)開發(fā)了一系列的AI醫(yī)療產(chǎn)品，影像方面有早期的食管癌篩查、早期肺癌篩查、糖網(wǎng)病變的檢測和結(jié)直腸篩查、早期乳腺癌篩查和早期宮頸癌篩查等等AI影像產(chǎn)品。

AI輔診方面，智能導診技術(shù)準確率達到98%，特征識別率超過98%，診療風險監(jiān)控系統(tǒng)預測準確率高達96%。這些產(chǎn)品已經(jīng)落地到醫(yī)院和一些診所。

我們現(xiàn)在和國內(nèi)超過100家三甲醫(yī)院達成合作，醫(yī)療影像方面累計處理超過2.7億影像圖片，服務超過160萬的患者，高風險提示有21萬例。AI輔/導診系統(tǒng)導入了300家醫(yī)院，進行了470萬精確的導診。

前面是騰訊AI醫(yī)療方面的介紹，接下來從技術(shù)方面講一下我們在病理和人工智能方面做的前沿研究和落地。

病理是診斷、預后和指導治療的金標準，病理醫(yī)生也被稱為是“醫(yī)生的醫(yī)生”。

在一個典型的診斷流程中，CT、MRI可以篩查病灶的位置，進行基本定性。如果要確診，實際上要取出一些組織采樣，然后制成切片，通過顯微鏡下觀察組織和細胞結(jié)構(gòu)的變化來對癌癥進行定性、分級、分類和分型，以此為后續(xù)的手術(shù)和化療、放療等治療方案提供指導。

病理是診療中非常重要的環(huán)節(jié)?，F(xiàn)在中國病理醫(yī)生極其缺乏，僅滿足需求的15%。而且，病理診斷實際上是一個非常復雜的過程，主觀性很強，一致率比較低。

因此利用人工智能技術(shù)，我們可以幫助醫(yī)生提高診斷的可重復性、準確率、效率，從一定程度上緩解病理醫(yī)生不足的狀況。

近年來，人工智能尤其是深度學習技術(shù)，在自然圖像的識別和理解上取得了很大成功，但是自然圖像和病理圖像有很大的區(qū)別。花鳥和街景這類自然圖像的特點是數(shù)據(jù)量大、獲取容易，手機就可以獲取自然圖像，普通人可以標注，不需要專業(yè)訓練，利用一些外包可以獲得很多標注數(shù)據(jù)。自然圖像的尺寸一般很小，計算機處理起來比較容易。另外，識別的物體在圖像中的面積比較大。

右邊是一張病理圖像在不同放大倍數(shù)下的圖像，第一張是全局，是一個采樣的輪廓。第二張放大4倍以后可以看到一些紋路。第三張放大40倍以后可以看到一些細胞和組織的細微結(jié)構(gòu)。

病理圖像的特點是數(shù)據(jù)量比較少，獲取成本比較高，需要昂貴的專門的掃描儀把切片掃描成圖像，掃描一張高分辨率圖像一般需要20-30分鐘。病理數(shù)據(jù)需要專家和醫(yī)生標注，一張高分辨率的圖像有幾萬乘幾萬，也就是上億的像素，計算機處理起來有很大挑戰(zhàn)。

另外，對于病理分析，我們經(jīng)常要識別病理圖像中非常細微組織的變化。因此，在自然圖像中比較成功的算法往往在病理圖像中不能達到相應的效果，我們就需要開發(fā)特殊的算法。

病理AI主要從三個方面進行研究和開發(fā)：

第一，開發(fā)基于AI技術(shù)的病理診斷模型，以提高醫(yī)生的診斷效率，提高微小病變和疑難病例的識別能力。

第二，病理組學。從病理中提取對診療有用的特征，進行定量化分析，發(fā)現(xiàn)病理特征和診療之間的關(guān)聯(lián)性。

第三，利用病理數(shù)據(jù)來開發(fā)基于AI技術(shù)的病理預后預測模型，可以利用病理信息來預測治療的效果以及五年的總生存率和五年無遠處轉(zhuǎn)移率。

這三個方向大概可以覆蓋從基層醫(yī)院到三甲醫(yī)院的不同應用場景。

圍繞這三個方面，列舉幾個我們正在開發(fā)項目的例子。

剛剛提到，病理圖像的獲取非常困難。首先，病理切片的制作就是一個非常復雜的流程，從采樣到固定、脫水、包埋、切片、染色，經(jīng)常需要兩到三天時間，而且沒有標準化，因此在不同醫(yī)院和中心的制作流程有差異性。

另外，這個切片要通過數(shù)字掃描儀掃描成圖像?，F(xiàn)在市面上有不少家掃描儀的公司，掃描儀的色差和白平衡等差異也會造成圖像的差異，所以病理圖像有很大差異性。

右邊是四個不同病理中心的病理圖像，顏色、色彩和風格有很大的差異性，這些差異對病理醫(yī)生來說診斷影響不大，但是對于AI算法會造成顯著影響，因此我們需要進行色彩歸一化，這也是處理病理數(shù)據(jù)的一個重要步驟。

大部分的病理切片是H&E染色 （蘇木精，伊紅染色），將細胞核染成深褐色，將細胞液染成淺紅色。我們可以對H&E染色的強度提取出染色特征向量。左邊是數(shù)據(jù)集中染色的特征向量，全部畫在一個顏色空間里面，這個向量差別非常大。如果我們在里面做一個聚類，可以發(fā)現(xiàn)，來自同一個中心的染色風格比較接近的會聚在一起。我們?nèi)旧珰w一化的算法是要找到一個轉(zhuǎn)化法，將多種染色風格轉(zhuǎn)化成同一種染色風格。

現(xiàn)在染色歸一化的算法主要是基于圖像分解的算法，先算出H&E染色程度，得到染色特征矩陣。通過矩陣變化的方式來實現(xiàn)不同風格之間的轉(zhuǎn)換，這對算法精度有一定的要求，對噪音和偽影也比較敏感。

我們在CycleGAN的思路上設(shè)計了一個方法。一般GAN的方法是只有單方向的對抗和生成，我們是加入了兩個回路，一個正向回路是從A到B的轉(zhuǎn)化，再從B回到A。反向回路是從B到A再從A回到B，這樣可以保證轉(zhuǎn)換的一致性。

同時，我們把剛才提到的染色特征矩陣加入到這個框架里面，可以輔助一對多的轉(zhuǎn)換，這樣就可以把多種染色風格轉(zhuǎn)換成一種染色風格。

這是染色歸一化的結(jié)果。上面是來自五個不同中心淋巴結(jié)的H&E病理切片，下面是染色歸一化給歸一化到第二個中心的結(jié)果，它們的風格各異，經(jīng)過歸一化之后有了比較一致的風格。

我們跟其他算法進行比較，將算法作為一個分類的前處理，看是否可以提高分類算法的性能。大家可以看這個圖表中列了一些比較，在沒有歸一化情況下，分類的準確度是0.78，歸一化之后可以提高到0.88，比現(xiàn)在其他基于矩陣運算的算法性能都要好。

剛才提到，病理診斷是一個非常復雜的過程，一般病理醫(yī)生需要經(jīng)過大概十年的專業(yè)訓練才能夠獨立出報告。這邊舉了一個結(jié)直腸癌診斷的例子。如果做結(jié)直腸的診斷，這里有一些步驟和任務。

首先要判斷出病理切片里面有沒有病灶區(qū)域，如果有的話，需要對病灶區(qū)域進行良惡性的分類和分型。如果是良性，還要分增生性息肉、錯構(gòu)瘤、腺瘤；惡性分為普通腺癌、粘液腺癌、印戒細胞癌、腺鱗癌等。

如果是惡性腫瘤，還要根據(jù)細胞異型性和結(jié)構(gòu)異型性來進行分級，分為高分化、中分化和低分化。

然后我們還要進行TNM分期，比如腫瘤的大小、進入到哪一層、有沒有淋巴結(jié)轉(zhuǎn)移、有沒有轉(zhuǎn)移到遠端其他器官。

最后，對于某一些癌癥還要進行免疫組化，得到分子分型的結(jié)構(gòu)信息，以便指導后續(xù)的靶向治療。

我們看到，結(jié)直腸癌的診斷就需要完成這么多任務，如果開發(fā)AI算法，要針對每個任務設(shè)計一個專門的AI算法，實際上是一個非常復雜的任務。

剛才提到病理診斷最基本的是，對病灶進行分類和分型。

還是以結(jié)直腸為例，第一步是區(qū)分我們采下來的息肉是腺瘤還是腺癌，這是良性和惡性的主要指標，后續(xù)的治療方案是完全不一樣的。

病理圖像非常大，有幾萬乘以幾萬的像素，因此算法無法一次性處理整張圖片，我們在處理中經(jīng)常是把整個圖片切成小的Patch，然后分別處理。

醫(yī)生診斷的時候是找出整個圖里面最嚴重的病灶，比如最嚴重的腺癌，把這個作為整圖的標簽。但是，整圖里面有各種各樣的病灶，既有腺瘤，也有腺癌，如果我們用分Patch的方法，只有整圖的標簽，對每個Patch沒有標簽，因此訓練的時候需要采取特殊方法才能夠得到比較好的訓練模型。

這是我們的結(jié)直腸息肉分類的方法框架。首先，我們給一張WSI病理的整圖，切分成幾個Patch，把每個Patch分到一個卷積神經(jīng)網(wǎng)進行分類。起初每個Patch是用整圖標簽，每個整圖只有一個整圖標簽，但是剛才提到，這實際上是不準確的，整圖標簽是那個圖中最嚴重的區(qū)域，對其他區(qū)域來說不準。

因此我們設(shè)計了迭代的方式更正每個Patch的標簽。我們引用了兩個新Loss，Rectified Cross-Entropy loss和Upper Transition loss。經(jīng)過迭代過程以后，可以得到每個小Patch的標簽，最后生成一個熱點圖，用來解釋診斷的結(jié)果。

這是我們新提出的兩個損失函數(shù)，一個是Rectified Cross-Entropy loss，對于分類概率比較低的噪音patch就把它的權(quán)值變成0，比較高的就強化它的作用，權(quán)值變?yōu)?，其他是進行線性插值。對于另外一個Upper Transtion loss，每個小Patch的標簽不可能超過整圖標簽，因為整圖是最嚴重的區(qū)域，這個loss是抑制分類錯了的一些patch。

我們在400張結(jié)直腸息肉HE切片做了分類，分了三類：正常、腺瘤、腺癌。第一行的圖是腺癌的例子，第二行的圖是腺瘤的例子。

第一列是原圖，我們病理醫(yī)生勾畫出腺瘤和腺癌的區(qū)域，實際訓練中只用了整圖標簽，并沒有用這些區(qū)域。

第二列是用Resnet 50預測的一個結(jié)果，在Pacth的分類中有很多錯誤，把腺瘤的區(qū)域分成了腺癌，因此造成整張圖的分類都是錯誤的。

第三列是現(xiàn)在算法的一個分類結(jié)果，我們可以看到把小Patch也分對了。

右邊的表是性能的比較，可以看到我們的算法和Resnet 50比起來，不管是Patch還是整圖的性能都有了很大的提升。

下一個例子是淋巴結(jié)轉(zhuǎn)移檢測的例子。淋巴結(jié)轉(zhuǎn)移反映腫瘤擴散到局部淋巴結(jié)的程度，淋巴結(jié)轉(zhuǎn)移檢測決定了N分期和后續(xù)的淋巴結(jié)清掃治療方案。在診斷過程中，醫(yī)生需要檢查超過12個淋巴結(jié)，工作量還是比較大的。

第一行是淋巴結(jié)的原圖，第二行是我們把轉(zhuǎn)移癌的病灶圈起來了，可以看到它們的大小差異非常大，有一些顏色差異也是非常大。大的區(qū)域非常容易被檢測出來，但是小的病灶在實際中很容易被漏掉，有的甚至放大很多倍才能看清楚，因此我們需要算法幫助醫(yī)生檢測出小的病灶，又不能有太多假陽，這個對算法精度的要求還是比較高的。

這是我們的算法框架。我們在整圖中截取一些Patch，在每個Patch中進行檢測，最后把它組合起來形成最終結(jié)果。我們用的網(wǎng)絡是LinkNet，也是編碼解碼器的一個結(jié)構(gòu)。另外，我們也有一些后處理的算法優(yōu)化最終的結(jié)果。我們在Camelyon16公開數(shù)據(jù)集中開發(fā)和測試我們的算法。我們現(xiàn)在算法召回率是0.85@1.8FP，病理醫(yī)生是0.73@0FP，可以比醫(yī)生可以發(fā)現(xiàn)更小的淋巴結(jié)病灶。

同時，我們優(yōu)化了這些算法，做了模型剪枝和壓縮，讓算法在顯微鏡圖像下實時給醫(yī)生反饋，醫(yī)生看到之后就馬上提醒他可能的轉(zhuǎn)移病灶。我們的算法跟傳統(tǒng)的相比較，性能有了略微提高，輕量模型在速度上有了顯著提升，這樣可以得到實時淋巴結(jié)病灶的檢測。

免疫組化是近年來發(fā)展起來的非常重要的病理分析方法。實際上是利用抗原、抗體特異性結(jié)合的原理，通過化學反應，用附著在抗體上的染色劑來確定細胞和組織中的抗原，比如蛋白質(zhì)、多肽的成分。這是靶向治療用藥和預后的重要指標。IHC的免疫組化指標有上百種，大多是有和無的定性分析，一些指標需要準確量化，具有比較高的臨床意義。

比如神經(jīng)內(nèi)分泌癌中Ki-67，乳腺癌的HER-2和肺癌的PD-L1。我們看到一張圖片有很多細胞，人工計數(shù)非常耗時耗力，一般臨床診斷中醫(yī)生都是大概估算，并沒有真正統(tǒng)計準確的指數(shù)，因此主觀性比較強，容易產(chǎn)生錯誤，缺乏標準。

如果我們用AI算法，可以快速精準地得到IHC的指數(shù)。IHC的染色分為兩種，一種是染細胞核中的蛋白，比如Ki-67指數(shù)，另外一種是染細胞膜上的蛋白，比如HER-2（人類表皮生長因子受體2），這兩種是不同的，因此我們開發(fā)兩種不同的算法。

這是計算Ki-67指數(shù)的框架。Ki-67是細胞增殖指數(shù)，反映癌癥的增殖速度和活躍程度，是一個非常重要的指標。它的定義是癌癥區(qū)域中染色成深色的細胞與所有細胞的比例，同時扣除淋巴細胞和介質(zhì)之間的細胞。我們的算法要檢測出里面染成深色的細胞和淺色的細胞，統(tǒng)計出比例。

我們用了Mask-RCNN，將細胞分為三類，陽性細胞是紅色，陰性細胞是綠色，其他是介質(zhì)細胞和淋巴細胞。我們可以得到一個準確的Ki-67指數(shù)，比例是51.7%，醫(yī)生平時的診斷很難得到這樣準確的數(shù)，有人說40%，有人說70%，差別還是非常大的。

最后為AI病理做一個總結(jié)，AI病理實際上是一個比較新的方向，存在著一些挑戰(zhàn)，主要體現(xiàn)在數(shù)據(jù)量比較小，樣本不均衡，圖像不標準，數(shù)據(jù)標注比較困難，診斷存在一些模糊性。

盡管存在這些挑戰(zhàn)，我們認為數(shù)字病理+AI是未來的趨勢，也可以為醫(yī)生提高診斷效率、準確率和一致率。通過病理數(shù)據(jù)、影像數(shù)據(jù)和基因數(shù)據(jù)的融合，可以增強病理醫(yī)生的診斷能力，實現(xiàn)精準醫(yī)療。

提問：我想問一下，現(xiàn)在的深度學習的可解釋性是比較差的，甚至在醫(yī)學上找不到對應的醫(yī)學解釋，我想請問，這對我們醫(yī)療AI的落地或者走入臨床是否會有影響？

姚建華：這確實是醫(yī)療AI面臨的主要問題。實際上這也是我們主要的研究方向。剛才我舉了例子，分成每個小Patch，分析每個Patch的結(jié)果，可以告訴醫(yī)生哪個Patch是什么樣的類別。另外一個主要原因，現(xiàn)在有一些性能還沒有達到特別好，如果AI性能做得非常準確，解釋性有時候也沒有那么重要。因為現(xiàn)在沒有那么準，所以解釋性就變得更加重要，因為我們還是在輔助醫(yī)生。但這確實是醫(yī)療AI面臨的主要問題。

提問：姚博士您好，病理的每個組織的每個檢測看的東西都不一樣，是不是導致AI需要多模塊，每一個檢測是不同的模型，還是中間可以有通用的東西？

姚建華：這個問題很好。確實是這樣，不同病理組織差別不一樣，對于病理醫(yī)生也一樣，病理醫(yī)生經(jīng)常也是分科的，有一些病理醫(yī)生只看結(jié)直腸，有的只看乳腺，我們開發(fā)AI算法也要考慮到不同病種和病灶需要不同的模型。實際上，有一些底層模塊還是可以共享的，比如最基本的細胞分割或者癌癥區(qū)域的檢測，這些在某種程度上是可以共享的，但是在整個應用層面上確實跟病灶并不是關(guān)聯(lián)性非常大。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。