探索 AI 和醫(yī)學(xué)結(jié)合更多的可能性，是人工智能發(fā)展的一個重要命題。

AutoML 作為近年來備受矚目的概念之一，被視為解決算法工程師來提高訓(xùn)練模型效率的一個工具，在工業(yè)、農(nóng)業(yè)、零售等諸多場景中均有被使用。

而隨著 AI 在醫(yī)學(xué)影像分析、醫(yī)療決策、個人就診助手等場景領(lǐng)域的廣泛應(yīng)用，AutoML憑借其智能化、自動化等特性，也引發(fā)了越來越多研究團(tuán)隊(duì)開始思考：如果將其放置在醫(yī)學(xué)場景下，是否也能獲得不錯的結(jié)果？

褚曉文，香港科技大學(xué)（廣州）數(shù)據(jù)科學(xué)與分析學(xué)域正教授，由他所帶領(lǐng)的團(tuán)隊(duì)也是這條探索路上的分隊(duì)之一。

近日，褚曉文將在 IEEE x ATEC 科技思享會上進(jìn)行題為《 AutoML 在基于胸部 CT 影像的 Covid-19 輔助診斷中的應(yīng)用》的主題演講，解析 AutoML 的基本概念和核心技術(shù)，并通過他們近兩年的相關(guān)工作，介紹 AutoML 在醫(yī)療影像領(lǐng)域的潛在應(yīng)用。

通過強(qiáng)大的算力解鎖復(fù)雜場景數(shù)據(jù)，AutoML 能夠極大地減輕醫(yī)生工作量，實(shí)現(xiàn)更加智能化的計(jì)算機(jī)輔助診斷，提供更準(zhǔn)確的決策依據(jù)，在一定程度上提高了診療效率，精準(zhǔn)節(jié)省醫(yī)學(xué)成本。

AutoML + 醫(yī)學(xué)

從疾病輔助診斷治療、慢病風(fēng)險(xiǎn)預(yù)測，到廣泛的亞健康智慧康養(yǎng)，AI 技術(shù)的出現(xiàn)和廣泛應(yīng)用，驅(qū)動傳統(tǒng)醫(yī)療研究邁進(jìn)了全新的階段。作為「AI +醫(yī)學(xué)」的一個重要研究方向，「AI +醫(yī)學(xué)影像」的技術(shù)日趨成熟，在覆蓋病種數(shù)量、診斷速度和準(zhǔn)確性等方面也不斷地實(shí)現(xiàn)突破。

圖注：褚曉文

褚曉文，1999年于清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系獲得學(xué)士學(xué)位，2003年博士畢業(yè)于香港科技大學(xué)計(jì)算機(jī)科學(xué)系。2003年到2021年，他在香港浸會大學(xué)計(jì)算機(jī)科學(xué)系任職助理教授、副教授、正教授，現(xiàn)任香港科技大學(xué)（廣州）數(shù)據(jù)科學(xué)與分析學(xué)域正教授。

他研究興趣包括 GPU 計(jì)算、分布式機(jī)器學(xué)習(xí)、云計(jì)算和無線網(wǎng)絡(luò)等，在各種國際學(xué)術(shù)期刊和會議中發(fā)表論文200余篇，谷歌H指數(shù)為46，論文引用7900余次。曾獲得 2021年 IEEE INFOCOM、2021年 DASFAA-MUST、2020年IEEE GreenCom、2018年IEEE DataCom等國際會議的最佳論文獎，是IEEE資深會員和ATEC 2021高級咨詢委員會專家。

褚曉文和研究團(tuán)隊(duì)從2018年開始對 AutoML 調(diào)研，使用 AutoML 應(yīng)用于醫(yī)學(xué)場景下的研究。

2019年年末，一場突如其來的疫情席卷了全球， Covid-19 的出現(xiàn)給人們的生活按下了暫停鍵。Covid-19 的檢測診斷方法主要包括了核酸檢測和基于醫(yī)學(xué)影像的人工診斷，二者各有利弊，核酸檢測耗時較長、且又需要專用的測試盒，而基于醫(yī)學(xué)影像的人工診斷則十分依賴專業(yè)知識，分析耗時較長并且還難以發(fā)現(xiàn)隱匿病變。

褚曉文和研究團(tuán)隊(duì)開始考慮是否可以通過使用 AutoML 來輔助診斷 Covid-19 檢測，提高檢測效率。隨著X射線圖像和計(jì)算機(jī)斷層掃描圖像數(shù)據(jù)集的相繼提出，褚曉文與香港浸會大學(xué)的博士研究生賀鑫在已有圖像和數(shù)據(jù)集的基礎(chǔ)上構(gòu)建基于深度學(xué)習(xí)的 Covid-19 檢測診斷模型，總結(jié) Covid-19 檢測診斷的主流影像數(shù)據(jù)集和相關(guān)評價指標(biāo)。

此外，在論文“Survey of Studies of COVID-19 Diagnosis Based on Deep Learning”中，褚曉文和研究團(tuán)隊(duì)從模型任務(wù)和影像數(shù)據(jù)類型兩個角度出發(fā)，還介紹了現(xiàn)有的 Covid-19 檢測診斷模型，并對骨干網(wǎng)絡(luò)、數(shù)據(jù)集、影像類型、性能表現(xiàn)、分類種類和開源情況六個維度進(jìn)行比較與分析。

目前，深度學(xué)習(xí)在基于胸部影像的 Covid-19 輔助診斷中得到廣泛應(yīng)用，各種人工設(shè)計(jì)的深度學(xué)習(xí)模型在不同的 Covid-19 數(shù)據(jù)集上表現(xiàn)各異，缺乏一種通用的適用于不同數(shù)據(jù)集的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，同一個模型在不同場景中的適用程度也不相同。

AutoML 在 Covid-19 輔助診斷中的應(yīng)用，旨在給定數(shù)據(jù)集上自動搜索一個高效的神經(jīng)網(wǎng)絡(luò)模型，可以大大減少繁復(fù)的人工設(shè)計(jì)和調(diào)優(yōu)過程，將科學(xué)家們解放出來去做更有意義的事。

為了解決基于權(quán)重共享的網(wǎng)絡(luò)搜索策略中的穩(wěn)定性問題，褚曉文和研究團(tuán)隊(duì)提出一種有效的進(jìn)化多目標(biāo)結(jié)構(gòu)搜索框架。此外，針對數(shù)據(jù)集匱乏的問題，他們還提出了一種集成自動數(shù)據(jù)增強(qiáng)和自動網(wǎng)絡(luò)搜索的新框架，這一框架在三種公開 Covid-19 數(shù)據(jù)集上均取得了優(yōu)異的性能。

為了進(jìn)一步理解褚曉文教授在 AutoML 的研究工作，AI 科技評論同他進(jìn)行了一次深入對話。

對話褚曉文

AI 科技評論：在 Covid-19 的輔助診斷中，您使用的是開源的點(diǎn)工具還是平臺？目前預(yù)測效果如何，在哪一個任務(wù)的應(yīng)用效果更好？

褚曉文：我們基于微軟亞洲研究院開發(fā)的 NNI（Neural Network Intelligence）早期版本搭建了自己的分布式AutoML框架，重構(gòu)了一些基礎(chǔ)模塊，使得各個模塊復(fù)用性更好。后面一些研究工作也都是基于這套框架完成的。

目前，我們主要是在CT數(shù)據(jù)集上進(jìn)行了圖像分類的任務(wù)，實(shí)驗(yàn)結(jié)果顯示，使用 AutoML 搜索到的深度學(xué)習(xí)模型不僅參數(shù)量更小，而且分類準(zhǔn)確率也比流行的卷積神經(jīng)網(wǎng)絡(luò)更高。此前 NVIDIA 研究團(tuán)隊(duì)利用 AutoML 在醫(yī)療影像分割任務(wù)上也取得了很好的效果。

AI 科技評論：Covid-19 的特點(diǎn)是其快速傳播能力，這也意味著使用 AutoML 研究的圖像集也在不斷擴(kuò)大，訓(xùn)練數(shù)據(jù)集需要不斷地?cái)U(kuò)充。對于這一點(diǎn)，您和團(tuán)隊(duì)是怎么解決的？如何提高模型的泛化能力？

褚曉文：AutoML可以看成是超參優(yōu)化（HPO，Hyper-paramter optimization），神經(jīng)架構(gòu)搜索（NAS，Neural architecture search），數(shù)據(jù)增強(qiáng)（DA，data augmentation）等方法的集成，但目前我們更多聚焦在 NAS 方面的研究，也即是使用 NAS 針對特定數(shù)據(jù)集或任務(wù)、去自動搜索模型的結(jié)構(gòu)和超參數(shù)。

但醫(yī)療數(shù)據(jù)集比較特殊，涉及到隱私問題，所以前期數(shù)據(jù)集的大小和數(shù)量都不是很充足，并且還存在類別不均衡的問題。Covid-19 數(shù)據(jù)集規(guī)模擴(kuò)大，反而能更好地幫助我們搜索更優(yōu)的模型。目前，我們也在嘗試將 DA 和 NAS 結(jié)合起來進(jìn)行搜索，希望得到更好的模型泛化能力。

AI 科技評論：針對數(shù)據(jù)的噪聲和不一致性等難點(diǎn)，您和團(tuán)隊(duì)是怎么保證算法的準(zhǔn)確性和高效性呢？

褚曉文：此前，我們的工作主要是基于 Covid-19 3D CT數(shù)據(jù)集，其常見的數(shù)據(jù)噪聲表現(xiàn)包括切片中不包含肺、切片順序錯誤或者重復(fù)等。對于這些數(shù)據(jù)噪音，我們主要采用人工的方式來修正。自動化數(shù)據(jù)清理本身也是一個重要的研究課題，但關(guān)于這方面的研究我們還沒有開展。

針對數(shù)據(jù)不均衡的情況，我們采用的是數(shù)據(jù)增強(qiáng)和調(diào)整采樣頻率的方式來解決。

而在數(shù)據(jù)不一致方面我們發(fā)現(xiàn)，數(shù)據(jù)集的質(zhì)量對識別精度的影響甚至要高于模型本身的影響。通常要找一個人工設(shè)計(jì)的深度學(xué)習(xí)模型去適配所有數(shù)據(jù)集很難，因此我們覺得，利用 AutoML 技術(shù)針對某個特定的數(shù)據(jù)集，例如來自同一醫(yī)院同樣設(shè)備及同一地域病人群體的數(shù)據(jù)集，去搜索同數(shù)據(jù)集相對應(yīng)的模型，會是 AutoML 一個很好的應(yīng)用場景。

AI 科技評論：目前在系統(tǒng)的部署環(huán)節(jié)上難度如何？考慮到更大規(guī)模和多個病人的診斷需求，您此前在分布式機(jī)器學(xué)習(xí)（聯(lián)邦學(xué)習(xí)）上的研究有沒有帶來哪些靈感？

褚曉文：目前，由于缺乏和醫(yī)療機(jī)構(gòu)之間的合作，我們還沒有在真實(shí)場景中去測試模型性能。但在公開數(shù)據(jù)集的實(shí)驗(yàn)中我們發(fā)現(xiàn)，AutoML 能夠搜索到參數(shù)量更小而且分類準(zhǔn)確率更高的模型。

我們也嘗試研究過聯(lián)邦學(xué)習(xí)在 Covid-19 診斷上的應(yīng)用，模擬在幾個數(shù)據(jù)孤島上進(jìn)行聯(lián)邦學(xué)習(xí)，結(jié)果顯示，質(zhì)量較差的數(shù)據(jù)孤島的確能夠受益于聯(lián)邦學(xué)習(xí)，但高質(zhì)量的數(shù)據(jù)孤島卻很難有性能提升，甚至有可能被其他數(shù)據(jù)集所拖累。這是一個非常有趣的課題，我們將來也會更加深入地去研究。

AI 科技評論：您的主要研究方向是什么？取得過哪些突出成果？

褚曉文：目前我主要的研究方向是高性能機(jī)器學(xué)習(xí)系統(tǒng)。得益于我在 GPU 計(jì)算和分布式計(jì)算領(lǐng)域的研究經(jīng)驗(yàn)，我們是較早關(guān)注大規(guī)模分布式機(jī)器學(xué)習(xí)的團(tuán)隊(duì)之一，2016年研發(fā)了世界上最早開源的深度學(xué)習(xí)基準(zhǔn)測試系統(tǒng)之一 DLBench ，在學(xué)術(shù)界和工業(yè)界都引起較為廣泛的關(guān)注。

之后，我們團(tuán)隊(duì)又和一些企業(yè)合作研發(fā)了系列分布式訓(xùn)練的原創(chuàng)性技術(shù)，于2018年使用2048張 GPU 在 ImageNet 數(shù)據(jù)集上實(shí)現(xiàn)了圖像分類任務(wù)的全球最快訓(xùn)練速度。

此外還設(shè)計(jì)和實(shí)現(xiàn)了多種分布式機(jī)器學(xué)習(xí)訓(xùn)練的通信優(yōu)化方法，在國際會議 IEEE INFOCOM、IEEE ICDCS 和國際期刊 IEEE TPDS 發(fā)表過多篇學(xué)術(shù)論文，并獲得 IEEE INFOCOM 2021年的最佳論文獎。

AI 科技評論：您從什么時候開始使用 AutoML 做研究的？期間一共經(jīng)歷了哪幾個研究階段？

褚曉文：2018年，我們開始對 AutoML 調(diào)研，它最具吸引力的地方就正如其名——自動機(jī)器學(xué)習(xí)，這是一個非常美好的期許，可以把科研工作者和工程師從枯燥的調(diào)參過程中解放出來，去做更有意義的事。

目前我們在 AutoML 方面大概經(jīng)歷了幾個階段：

第一，通過調(diào)研現(xiàn)有的 AutoML 相關(guān)技術(shù)，我們參考300多篇相關(guān)文獻(xiàn)完成了一篇 AutoML 的綜述論文，它是國際著名期刊 Knowledge-Based Systems 近三年來引用和下載最高的論文之一，對AutoML的普及起到了一定的促進(jìn)作用。

第二，在正逢 NAS 研究熱度高的時候，我們在不同的任務(wù)上驗(yàn)證了 NAS 的有效性，包括醫(yī)學(xué)圖像分類和生成對抗模型。

在那之后我們還做了一些工作，嘗試去更本質(zhì)地認(rèn)識模型結(jié)構(gòu)對性能的影響，另外也嘗試從系統(tǒng)設(shè)計(jì)的角度去提高 AutoML 的效率和可擴(kuò)展性。

AI 科技評論：醫(yī)學(xué)場景是您的第一選擇么，最初面向的是哪一個醫(yī)學(xué)場景或哪一種人體疾病？

褚曉文：我們團(tuán)隊(duì)嘗試醫(yī)學(xué)場景的研究始于2018年。當(dāng)時，香港發(fā)生了一起由皮膚病引起的社會悲劇，我從媒體上了解到，香港的公立醫(yī)療體系內(nèi)只有30多位皮膚科?？漆t(yī)生，但同一時間的輪候病人卻達(dá)到5萬多人。這個對我的觸動非常大，也正因如此，我開始思考是否可以通過人工智能的方法來解決皮膚病診斷的問題。

后面我們從互聯(lián)網(wǎng)上搜集了很多相關(guān)的數(shù)據(jù)，也取得了一些初步成效。但受限于圖片的版權(quán)問題，目前我們已搜集和清理的數(shù)據(jù)集無法對外公開，這個方面的研究也停留在學(xué)術(shù)層面。

AI 科技評論：當(dāng)前醫(yī)學(xué)場景對 AutoML 提出了怎樣的要求，研究難點(diǎn)是什么？

褚曉文：由于醫(yī)學(xué)數(shù)據(jù)比較敏感和隱私，所以通常很難拿到大量的數(shù)據(jù)集；與此同時，有經(jīng)驗(yàn)的醫(yī)生時間成本很高，這也導(dǎo)致高質(zhì)量的數(shù)據(jù)標(biāo)注工作非常困難，如何在有限的數(shù)據(jù)集上使用 AutoML 搜索到泛化性能好的模型是一個不小的挑戰(zhàn)。

另外，我們還需要避免數(shù)據(jù)隱私泄露，例如 Model Inversion Attack 能夠逆向獲取原始數(shù)據(jù)，因此，使用 AutoML 搜索出更安全的模型也是未來一個值得關(guān)注的方向。

AI 科技評論：當(dāng)前 AutoML 在醫(yī)學(xué)場景中的應(yīng)用距離臨床階段還有多遠(yuǎn)？

褚曉文：AutoML 是一個新興的技術(shù)，發(fā)展很快，但其本質(zhì)上還是屬于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的范疇，只是利用了新的優(yōu)化方法和大量的計(jì)算資源來取代傳統(tǒng)的人工設(shè)計(jì)和調(diào)參，離部署到實(shí)際應(yīng)用中還有一定的距離，并沒有拉長或縮短機(jī)器學(xué)習(xí)和臨床階段的距離。

由于 AutoML 是多個流程組成，但目前大多數(shù)研究往往只是針對單個流程，比如 NAS 或者 DA 。其原因在于，當(dāng)使用多個流程一起搜索時，會導(dǎo)致搜索空間的指數(shù)級增長，如何在巨大的搜索空間中高效搜索到優(yōu)秀的模型和數(shù)據(jù)增強(qiáng)策略仍是一個不小的挑戰(zhàn)。

此外，如何厘清人工智能醫(yī)療器械相關(guān)的法律和倫理問題，也是一個富有挑戰(zhàn)性和迫切性的課題。

AI 科技評論：您之后是否有計(jì)劃將 AutoML 使用在其他領(lǐng)域或場景的研究中？

褚曉文：目前，我們團(tuán)隊(duì)已經(jīng)開始把 AutoML 技術(shù)使用在智能駕駛場景的感知問題中，希望能夠搜索出既滿足模型精度要求，又滿足推理實(shí)時性要求，同時還能符合硬件約束的輕量級模型。

（雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。