0
| 本文作者： 任平 | 2022-04-21 19:04 |
醫(yī)生專家的手動標(biāo)注是醫(yī)學(xué)影像AI研究的基石。標(biāo)注軟件需要盡可能節(jié)省醫(yī)生手動標(biāo)注的耗時(shí)，減少醫(yī)生標(biāo)注的痛苦，并幫助醫(yī)生提高標(biāo)注的質(zhì)量與一致性。作為首款國產(chǎn)一站式醫(yī)學(xué)影像標(biāo)注軟件，Pair軟件具備專業(yè)便捷、通用易用且智能化的特點(diǎn)。
據(jù)了解，Pair由深圳大學(xué)醫(yī)學(xué)超聲影像計(jì)算實(shí)驗(yàn)室（Medical Ultrasound Image Computing Lab, MUSIC) 的倪東教授和楊鑫博士等帶隊(duì)研發(fā)。團(tuán)隊(duì)成員10余人，Pair軟件歷時(shí)近3年研發(fā)，仍在持續(xù)大幅優(yōu)化中。Pair定位于解決醫(yī)學(xué)影像標(biāo)注軟件長期存在的問題，致力于成為最優(yōu)秀、最專業(yè)、最懂醫(yī)生的國產(chǎn)醫(yī)學(xué)影像標(biāo)注軟件。Pair自2020年7月于MICS大會公開以來，得到了很多前輩老師的重要指導(dǎo)和批評意見，確立了更多值得解決的問題。Pair目前已基本完成第一階段基礎(chǔ)標(biāo)注功能的開發(fā)，即將進(jìn)入第二階段的全面智能化，同時(shí)進(jìn)一步豐富基礎(chǔ)標(biāo)注功能。
此次將對Pair在2021年的重要更新做系統(tǒng)整理與呈現(xiàn)。Pair軟件的核心功能亮點(diǎn)如下：
Pair標(biāo)注功能展示
研究項(xiàng)目通用，兼容各種影像模態(tài)和文件格式
Pair可兼容CT、X-Ray、MRI、PET、超聲、病理切片、細(xì)胞涂片等10余種影像模態(tài)，兼容2D、視頻、3D、病理、信號、放療勾畫文件等20余種文件格式。所有醫(yī)學(xué)影像AI研究項(xiàng)目可通過Pair完成標(biāo)注，無需在不同項(xiàng)目間頻繁、耗時(shí)費(fèi)力地切換、培訓(xùn)不同的標(biāo)注軟件。
標(biāo)注功能豐富，覆蓋諸多影像AI研究的標(biāo)注需求
Pair提供測量線、角度、多邊形、曲線、曲面、矩形框、關(guān)鍵點(diǎn)、分類標(biāo)簽、文本屬性、時(shí)間軸、切面等20多項(xiàng)標(biāo)注功能，涵蓋測量、分割、分類、目標(biāo)檢測、關(guān)鍵點(diǎn)定位、動作預(yù)測等常見影像AI分析所需的標(biāo)注類型。更重要的，Pair支持標(biāo)注功能與類型的混合使用，充分適應(yīng)復(fù)雜的研究與標(biāo)注需求。
智能輔助標(biāo)注，讓醫(yī)生從繁重的手動標(biāo)注中解脫
Pair提供多層次的智能化輔助標(biāo)注功能，可大幅減輕醫(yī)生的手動標(biāo)注工作量。Pair提供閾值分割、魔術(shù)棒、曲線擬合、矩形框跟蹤、標(biāo)簽記憶/復(fù)制等自動化輔助標(biāo)注功能。Pair尤其配備獨(dú)有的用戶自定義AI標(biāo)注和通用智能分割標(biāo)注AutoSeg。兩項(xiàng)功能均可搭載深度學(xué)習(xí)模型，僅需普通電腦CPU，即可實(shí)現(xiàn)對解剖結(jié)構(gòu)的一鍵式智能標(biāo)注。
標(biāo)注流程規(guī)范化，支持大規(guī)模影像標(biāo)注任務(wù)
Pair提供標(biāo)注標(biāo)簽的配置和管理功能，可有效避免標(biāo)注者因誤操作或個(gè)人習(xí)慣而引發(fā)的標(biāo)簽錯(cuò)用和標(biāo)注功能誤用，從而實(shí)現(xiàn)標(biāo)注流程的規(guī)范化，有效降低標(biāo)注結(jié)果的噪聲。Pair通過優(yōu)化內(nèi)存管理，可支持同時(shí)導(dǎo)入超1000例影像文件進(jìn)行標(biāo)注，支持2萬幀的超大視頻文件標(biāo)注，支持2GB以上病理影像文件的標(biāo)注。
病例隱私脫敏和影像加密，為研究項(xiàng)目提供安全保障
病例的隱私和影像是AI研究的寶貴資源，且面臨日益嚴(yán)重的泄露風(fēng)險(xiǎn)。通用易用的隱私脫敏工具和支持加密的標(biāo)注軟件仍舊缺乏。Pair因此提供了完善的脫敏功能、多層權(quán)限的高階加解密標(biāo)注功能，以實(shí)現(xiàn)病例隱私、醫(yī)學(xué)影像以及標(biāo)注資源的多重安全。
簡潔易用的工作流，持續(xù)完善和豐富的教程用例資源
Pair擁有簡潔和直覺化的標(biāo)注邏輯設(shè)計(jì)，以方便醫(yī)生快速入手并減少標(biāo)注交互的耗時(shí)。Pair提供詳細(xì)的文檔說明及視頻演示，便于用戶快速熟悉軟件的操作流程，節(jié)省標(biāo)注的培訓(xùn)耗時(shí)。截止目前，Pair已更新15期制作精良的視頻教程，并將陸續(xù)邀請多位醫(yī)生專家分享使用Pair做高效標(biāo)注的案例。
Pair與現(xiàn)有標(biāo)注軟件的功能對比
截止目前，Pair已基本完成基礎(chǔ)功能框架的研發(fā)，正在朝全面智能化的方向快速前進(jìn)，以進(jìn)一步減輕醫(yī)生手動標(biāo)注的痛苦。Pair保持高頻的更新優(yōu)化進(jìn)度，追求對標(biāo)注功能設(shè)計(jì)的極致專業(yè)，致力于成為基礎(chǔ)重要軟件。Pair在2021年內(nèi)已進(jìn)行如下多項(xiàng)重要功能的更新與優(yōu)化：
通用智能分割標(biāo)注AutoSeg
用戶自定義AI模型的輔助標(biāo)注
視頻時(shí)間軸事件標(biāo)注
多模態(tài)影像互補(bǔ)標(biāo)注
全面支持放療勾畫的DICOM RT Struct
病例隱私脫敏和影像信息安全化軟件PairCode
實(shí)現(xiàn)Windows / Ubuntu / CentOS版本
下面我們將詳細(xì)介紹各大重要功能更新（備注：本文所示所有醫(yī)學(xué)影像均已做隱私信息脫敏處理）：
精細(xì)的分割標(biāo)注是醫(yī)學(xué)影像標(biāo)注中最為耗時(shí)的任務(wù)。不同的影像模態(tài)、解剖結(jié)構(gòu)和病灶需要不同專業(yè)與資質(zhì)的醫(yī)生進(jìn)行繁重的逐點(diǎn)分割標(biāo)注。為解決上述關(guān)鍵問題，Pair團(tuán)隊(duì)研發(fā)了重磅的智能功能AutoSeg，旨在實(shí)現(xiàn)通用的解剖結(jié)構(gòu)精細(xì)分割標(biāo)注，大幅節(jié)省手動標(biāo)注的耗時(shí)，進(jìn)而推動AI影像研究的快速實(shí)現(xiàn)與普及。AutoSeg的優(yōu)勢特性如下：
無需任何配置，簡單直接、方便易用
無需區(qū)分影像模態(tài)、解剖結(jié)構(gòu)、病灶類型
1秒完成，普通筆記本電腦即可使用
一鍵框定操作，實(shí)現(xiàn)精細(xì)分割標(biāo)注
據(jù)統(tǒng)計(jì)，使用Pair的AutoSeg自動分割標(biāo)注功能，可節(jié)省約70%的分割標(biāo)注耗時(shí)。Pair基于華為開源的深度學(xué)習(xí)平臺MindSpore實(shí)現(xiàn)該功能，以MindSpore Lite完成最終部署。MindSpore Lite中高效的內(nèi)核算子實(shí)現(xiàn)可以充分發(fā)揮普通CPU的硬件算力，有效平衡了模型算力需求和模型精度要求，使得推理耗時(shí)縮短至1秒內(nèi)，極大地提升了AutoSeg的用戶體驗(yàn)。
AutoSeg已在CT，MRI，超聲，X-ray，PET，掃描電鏡，病理，涂片，內(nèi)窺鏡等影像模態(tài)的多種解剖結(jié)構(gòu)和病灶上驗(yàn)證和使用。AutoSeg的標(biāo)注結(jié)果可便捷編輯修改，以方便用戶微調(diào)和快速確認(rèn)。如下是AutoSeg在多樣化的影像和解剖結(jié)構(gòu)上的應(yīng)用展示：
AutoSeg功能對腹部、胸部CT影像的標(biāo)注示例一
AutoSeg功能對肝臟CT影像的標(biāo)注示例二
AutoSeg功能對脊柱CT影像的標(biāo)注展示
AutoSeg功能對超聲影像的標(biāo)注展示
AutoSeg功能對腦部MRI影像的標(biāo)注展示
AutoSeg功能對肺部X光影像的標(biāo)注展示
AutoSeg功能對細(xì)胞涂片、切片的標(biāo)注展示
AutoSeg功能對細(xì)胞切片的標(biāo)注展示
AutoSeg功能對腸鏡影像的標(biāo)注展示
AIA是Pair獨(dú)有的一鍵AI推理功能，無論是分類、分割、點(diǎn)定位、目標(biāo)檢測以及多任務(wù)等，用戶僅需提供自定義AI模型，點(diǎn)擊AI按鈕即可快速自動生成輔助標(biāo)注，微調(diào)標(biāo)注結(jié)果便完成標(biāo)注工作，節(jié)省標(biāo)注時(shí)間，加快工作流程。目前，Pair的AIA輔助標(biāo)注功能可支持谷歌的Tensorflow和臉書的Pytorch深度學(xué)習(xí)平臺，支持超過50種深度學(xué)習(xí)網(wǎng)絡(luò)模型架構(gòu)。Pair近期也添加了對國產(chǎn)的華為MindSpore深度學(xué)習(xí)框架模型的支持。
豐富的AI功能，包括分割、點(diǎn)定位、實(shí)例分割和檢測
醫(yī)學(xué)視頻影像通常由不同事件的影像片段沿時(shí)間軸構(gòu)成，不同片段會具有不同屬性的標(biāo)注需求，如心臟在心動周期的不同動作、手術(shù)器械在手術(shù)不同階段的動作類型等。目前鮮有標(biāo)注軟件提供對醫(yī)學(xué)視頻影像的時(shí)間軸標(biāo)注功能。Pair提供的時(shí)間軸標(biāo)注功能，通過便捷的交互設(shè)計(jì)，可快速對視頻的任意片段進(jìn)行多種屬性的標(biāo)注，高效推動視頻標(biāo)注工作的進(jìn)展。具體說來，在時(shí)間軸標(biāo)注功能下，鼠標(biāo)右鍵拖動選中的標(biāo)簽到時(shí)間軸上對應(yīng)的幀，即可完成對改視頻片段的屬性標(biāo)注。Pair還提供時(shí)間軸跟隨功能，方便用戶觀察片段所屬的幀。若要修改標(biāo)注，左鍵點(diǎn)擊對應(yīng)時(shí)間軸的端點(diǎn)進(jìn)行拖動即可，操作方便。
視頻時(shí)間軸標(biāo)注
單一的影像模態(tài)使醫(yī)生對病灶的定位和標(biāo)注存在明顯局限性。通過多模態(tài)信息的同步觀察與互補(bǔ)使用，有利于醫(yī)生準(zhǔn)確標(biāo)注病灶，如結(jié)合MRI中的T1與T2影像、多模態(tài)的超聲影像、PET和CT影像、不同熒光染色的細(xì)胞涂片影像等。Pair提供的多模態(tài)影像互補(bǔ)標(biāo)注功能可在標(biāo)注過程同步顯示不同模態(tài)的影像，降低醫(yī)生對目標(biāo)區(qū)域的定位和輪廓勾畫的不確定度，有效幫助醫(yī)生進(jìn)行識別和標(biāo)注。Pair提供的多模態(tài)標(biāo)注功能可兼容二維、視頻、三維和病理圖像。
多模態(tài)影像互補(bǔ)標(biāo)注過程
鑒于放射科對AI研究的重大需求，Pair新增了對放射影像DICOM RT Structure文件格式的全面支持。放射科醫(yī)生將TPS (Treatment Planning System)放療規(guī)劃系統(tǒng)中勾畫的放療靶區(qū)輪廓線以RT Struct格式導(dǎo)出后，可直接在Pair中打開，進(jìn)行可視化和進(jìn)一步的標(biāo)注優(yōu)化。Pair可支持超1000條RT輪廓線的標(biāo)注交互。Pair更可以將RT Struct內(nèi)的輪廓線填充并導(dǎo)出成分割標(biāo)注結(jié)果文件，如nii, nii.gz等格式，極大地方便放射科醫(yī)生使用專業(yè)的影像組學(xué)軟件，如TexRAD、MaZda等，進(jìn)行后續(xù)的高階分析與研究。
在醫(yī)學(xué)影像標(biāo)注過程中，有效地保護(hù)患者隱私和確保標(biāo)注資源的安全至關(guān)重要?，F(xiàn)有的標(biāo)注軟件在標(biāo)注流程上往往存在較高安全風(fēng)險(xiǎn)：
影像未脫敏，病人隱私信息無保護(hù)；
影像資源和標(biāo)注結(jié)果資源存在高泄露風(fēng)險(xiǎn)；
為滿足保護(hù)病患隱私信息和影像資源安全的需求，Pair提供了安全化輔助軟件PairCode，為影像標(biāo)注任務(wù)提供全流程的加密防護(hù)，實(shí)現(xiàn)標(biāo)注資源的雙重安全保護(hù)。PairCode提供如下兩方面的功能：
DICOM影像脫敏
醫(yī)學(xué)影像中，DICOM數(shù)據(jù)的頭文件往往存有患者的隱私敏感信息。當(dāng)原始數(shù)據(jù)在作為標(biāo)注對象流動時(shí)，易發(fā)生患者隱私泄露。通過使用PairCode的數(shù)據(jù)脫敏功能，項(xiàng)目管理者可批量、自定義地擦除或修改敏感條目，如DICOM頭文件信息中的患者信息、檢查信息等，以保護(hù)患者隱私。
具體地，在PairCode的脫敏功能中，DICOM頭文件中與隱私相關(guān)的信息被細(xì)分為五部分，用戶可根據(jù)項(xiàng)目對頭文件信息進(jìn)行自定義的修改或刪除操作。同時(shí)，PairCode會提供脫敏信息的查找密碼本，記錄頭文件信息的原始內(nèi)容和修改后的內(nèi)容，以便于后續(xù)的回溯工作。PairCode可支持超10GB批量影像文件的處理。
標(biāo)注資源加解密
為實(shí)現(xiàn)標(biāo)注資源安全私有化、降低資源泄露風(fēng)險(xiǎn)，PairCode提供影像和標(biāo)注的加解密功能，保障數(shù)據(jù)的安全流通：
項(xiàng)目管理者可對資源進(jìn)行自定義加解密；
支持超過20種專業(yè)醫(yī)學(xué)影像格式的便捷加解密；
非對稱高階加密，用戶標(biāo)注體驗(yàn)零負(fù)擔(dān)。
PairCode提供公有加密和私有加密兩種加密方式，加密后的影像和標(biāo)注結(jié)果的查詢和修改只能通過Pair軟件進(jìn)行，以此來保障數(shù)據(jù)安全。使用PairCode對數(shù)據(jù)進(jìn)行加密后，標(biāo)注人員僅需加載配置文件即可對加密影像進(jìn)行標(biāo)注工作，軟件也將自動對標(biāo)注結(jié)果進(jìn)行加密，無需額外的手動加密操作。
目前，Pair已實(shí)現(xiàn)了Windows 、Ubuntu和CentOS三種不同操作系統(tǒng)的版本，以滿足醫(yī)生、工程師和集群服務(wù)器的標(biāo)注需求。用戶可自主選擇版本進(jìn)行安裝與使用。通過Pair不同操作系統(tǒng)版本進(jìn)行標(biāo)注的結(jié)果，可使用其他系統(tǒng)進(jìn)行查看和修改，便于標(biāo)注結(jié)果在項(xiàng)目小組成員間的流通。此外，Pair還設(shè)置了中英文兩種語言版本，便于不同語種的用戶進(jìn)行使用。
專家用戶評語
蔡躍新教授，中山大學(xué)孫逸仙紀(jì)念醫(yī)院耳鼻喉科
“Pair軟件真正實(shí)現(xiàn)了科研項(xiàng)目間的通用化標(biāo)注支持，是我們嘗試的其他標(biāo)注軟件所不能比的。我們團(tuán)隊(duì)的多個(gè)三維影像相關(guān)的AI研究項(xiàng)目，均采用Pair進(jìn)行標(biāo)注。項(xiàng)目開展期間，得到了Pair團(tuán)隊(duì)的及時(shí)響應(yīng)與積極支持。希望Pair軟件能發(fā)展得越來越好，更方便AI相關(guān)的研究，成為更多醫(yī)生喜歡的軟件。”
楊毅博士，四川大學(xué)華西醫(yī)院骨科
“我們的CT三維影像的標(biāo)注在遇到Pair軟件后，得到了明顯的提速和提質(zhì)，課題也得以很快開展。它的功能簡單直接，幾乎沒有學(xué)習(xí)難度，很多智能化標(biāo)注功能令我印象深刻。PairCode軟件也非常好地滿足了我們對大批量影像脫敏的專業(yè)需求。Pair團(tuán)隊(duì)總是能很快處理我們提出的個(gè)性化需求，是很好的合作團(tuán)隊(duì)。希望Pair可以幫助降低AI研究的門檻，幫助更多醫(yī)生更快更好地完成AI課題?！?/p>
張子健，醫(yī)學(xué)物理師，中南大學(xué)湘雅醫(yī)院腫瘤科
“在使用Pair軟件之前，我們的數(shù)據(jù)標(biāo)注工作隨著不同的數(shù)據(jù)類型可能需要在不同的軟件之間切換，但一次偶然的相遇，讓我們團(tuán)隊(duì)接觸到了Pair，它為我們團(tuán)隊(duì)的多模態(tài)數(shù)據(jù)標(biāo)注，尤其是CT-PET的放療勾畫，提供了一個(gè)一體化的平臺。Pair的使用簡單易上手，大家標(biāo)注的效率得到了極大的提高。在開展項(xiàng)目的部分場景，由于需要一些個(gè)性化的功能，也能得到Pair團(tuán)隊(duì)的充分支持。衷心希望Pair團(tuán)隊(duì)能越做越好，越做越強(qiáng)?！?/p>
截止目前，Pair已在超過2000位用戶和300多個(gè)海內(nèi)外的知名研究機(jī)構(gòu)、醫(yī)院和企業(yè)間使用，且收到了非常多有價(jià)值的反饋和功能建議。Pair會以穩(wěn)定活躍的研發(fā)團(tuán)隊(duì)進(jìn)行持續(xù)的優(yōu)化與升級，致力于把Pair打造成國產(chǎn)的基礎(chǔ)、專業(yè)化軟件，推動AI新基建。
即刻體驗(yàn)與試用
下載鏈接內(nèi)提供Pair不同操作系統(tǒng)、不同版本的安裝包，還有Pair的AIA模型文件和示例測試圖像等資源，方便體驗(yàn)者即刻體驗(yàn)AI輔助標(biāo)注帶來的便捷性。若要體驗(yàn)上述新增功能，請下載Pair2.5版本。
https://www.jianguoyun.com/p/DUQd8gcQh-n1CBiLvcgD
以下為Pair在Bilibili提供的相關(guān)功能的視頻教程，歡迎大家點(diǎn)贊、投幣、收藏一鍵三連。
https://space.bilibili.com/616429598
聯(lián)系方式
更多詳細(xì)資料，可關(guān)注Pair微信賬號和B站官方賬號
由衷致謝
感謝各領(lǐng)域的醫(yī)生們對Pair的肯定和批評反饋，感謝醫(yī)學(xué)影像分析領(lǐng)域內(nèi)的專家們對Pair的關(guān)注和指導(dǎo)。感謝華為開源生態(tài)和MindSpore團(tuán)隊(duì)對AutoSeg功能開發(fā)與優(yōu)化的迅速響應(yīng)和大力支持。感謝團(tuán)隊(duì)成員的齊心付出和不懈堅(jiān)持，包括但不限于：陳超宇、劉文星、胡歆迪、史文龍、林銘容、羅依然、何雙池、劉思菁、劉戀、周涵、王鍵、呂芬、高睿、王凱妮等。
雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
