雷鋒網(wǎng) AI 科技評(píng)論按：去年 10 月，香港中文大學(xué)-商湯聯(lián)合實(shí)驗(yàn)室在 OpenMMLab 的首期計(jì)劃中，開放了 MMCV 和 MMDetection（初期版本）。其初衷是為了在計(jì)算機(jī)視覺的一些重要方向建立統(tǒng)一而開放的代碼庫，并不斷把新的算法沉淀其中。在過去的半年多時(shí)間，這些代碼庫已經(jīng)產(chǎn)生了重要影響，越來越多的 MMLab 以外的研究團(tuán)隊(duì)開始把 MMDetection 作為實(shí)現(xiàn)新的目標(biāo)檢測算法的基礎(chǔ)，并不斷將其新算法回饋到 MMDetection 中。

最近，OpenMMLab 第二期正式發(fā)布，由多個(gè)大學(xué)和機(jī)構(gòu)的研究人員聯(lián)合提出了新一代 Open MMLab Detection，這將有效促進(jìn)目標(biāo)檢測領(lǐng)域的應(yīng)用和新方法的研究與發(fā)展。

概述

本文中，我們介紹了一個(gè)目標(biāo)檢測工具箱 MMDetection，它包含了豐富的目標(biāo)檢測和實(shí)例分割方法以及相關(guān)的組件和模塊。這個(gè)工具箱由 MMDet 團(tuán)隊(duì)主導(dǎo)開發(fā)，該團(tuán)隊(duì)曾打破了 2018 年 COCO 挑戰(zhàn)賽的檢測記錄并獲得冠軍。此后，MMDetection 逐漸發(fā)展成為一個(gè)統(tǒng)一的平臺(tái)，涵蓋了許多主流檢測方法和現(xiàn)代模塊。它不僅包括訓(xùn)練和推理代碼，而且還為 200 多個(gè)網(wǎng)絡(luò)模型提供了權(quán)重參數(shù)。我們相信這個(gè)工具箱是迄今為止最完整的檢測工具箱。

本文介紹了該工具箱的各種特點(diǎn)。此外，我們還對(duì)不同的方法、組件及其超參數(shù)進(jìn)行了基準(zhǔn)研究。我們希望工具箱和基準(zhǔn)能夠提供完善、靈活的工具包來復(fù)現(xiàn)現(xiàn)有方法并開發(fā)自定義的新探測器，從而為日益壯大的研究社區(qū)服務(wù)。

MMDetection 新功能

目標(biāo)檢測和實(shí)例分割都是基本的計(jì)算機(jī)視覺任務(wù)。檢測流程通常比分類任務(wù)更復(fù)雜，并且不同的實(shí)現(xiàn)環(huán)境可能導(dǎo)致截然不同的結(jié)果。為了提供高質(zhì)量的代碼庫和統(tǒng)一的基準(zhǔn)測試，我們使用 PyTorch 構(gòu)建了一個(gè)目標(biāo)檢測和實(shí)例分段代碼庫 MMDetection。

MMDetection 有幾個(gè)主要的特點(diǎn)：

• 模塊化設(shè)計(jì)。我們將目標(biāo)檢測的網(wǎng)絡(luò)架構(gòu)分解為不同的組件，并且可以通過多樣化的模塊組合來輕松地構(gòu)建自定義的目標(biāo)檢測架構(gòu)。

• 支持多樣化的模型架構(gòu)。該工具箱支持各類主流檢測架構(gòu)，包括單階段、雙階段和多階段的檢測架構(gòu)。

• 計(jì)算效率高。所有基礎(chǔ)元件和模塊都進(jìn)行了 GPU 實(shí)現(xiàn)，訓(xùn)練速度比其他代碼庫（包括 Detectron [ https://github.com/facebookresearch/detectron ]，maskrcnn-benchmark [ https://github.com/facebookresearch/maskrcnn-benchmark ] 和 SimpleDet 等）更快。

• 最先進(jìn)的檢測性能。工具箱由 2018 年 COCO 目標(biāo)檢測冠軍 MMDet 團(tuán)隊(duì)主導(dǎo)開發(fā)，并且模型性能還在持續(xù)不斷地提升。

除了介紹代碼庫和基準(zhǔn)測試結(jié)果外，我們還報(bào)告了訓(xùn)練目標(biāo)檢測器的過程和最佳方法。并討論了關(guān)于超參數(shù)、體系結(jié)構(gòu)、訓(xùn)練策略的燒蝕實(shí)驗(yàn)。我們希望該研究能夠有助于未來的研究，并促進(jìn)不同方法之間的比較。

支持架構(gòu)

MMDetection 包含主流目標(biāo)檢測和實(shí)例分割方法的高質(zhì)量實(shí)現(xiàn)。下圖中提供了與其他代碼庫相比支持的架構(gòu)和功能的摘要。MMDetection 支持比其他代碼庫更多的方法和功能，特別是相比最新的代碼庫。

圖 1 MMDetection 工具箱支持的檢測模型數(shù)量上遠(yuǎn)遠(yuǎn)超過了其他現(xiàn)有目標(biāo)檢測代碼庫

網(wǎng)絡(luò)架構(gòu)

一、模型表示

雖然不同探測器的模型架構(gòu)不同，但它們具有共同的組件，可以粗略地概括為以下類： 

• 主干網(wǎng)絡(luò)（Backbone）：其作用是從圖像中抽取特征，將圖像從像素空間轉(zhuǎn)換到高維的特征空間，例如 VGG 和 ResNet-50 等都是常用的主干網(wǎng)絡(luò)；  

• 銜接部分（Neck）：連接主干網(wǎng)絡(luò)和頭部的結(jié)構(gòu)。它對(duì)主干網(wǎng)絡(luò)生成的原初始特征圖執(zhí)行一些優(yōu)化或重新配置，例如特征金字塔網(wǎng)絡(luò)（FPN）就是一種典型的 Neck。   

• 密集連接頭（DenseHead）：用于在特征圖所映射的密集位置上進(jìn)行操作，包括 AnchorHead 和 AnchorFreeHead，代表性操作有 RPN、Retina、FCOS 等。      

• RoI 抽取器：從一個(gè)或多個(gè)特征映射中提取 RoIPooling 類算子特征。從相應(yīng)級(jí)別的特征金字塔中提取 RoI 特征的示例是 SingleRoIExtractor。     

• RoI 連接頭（BBoxHead / MaskHead）：將 RoI 特征作為輸入并計(jì)算出對(duì)于的任務(wù)結(jié)果，包括 bbox 的位置、分類或者分割的預(yù)測結(jié)果。   

通過這些通用模塊，我們可以通過簡單地創(chuàng)建一些新組件并組裝現(xiàn)有組件來進(jìn)行開發(fā)與探索。   

圖 2 單階段和兩階段檢測器的架構(gòu)分解圖

二、訓(xùn)練流程

我們?cè)O(shè)計(jì)了一個(gè)帶鉤子觸發(fā)的標(biāo)準(zhǔn)訓(xùn)練流程。該方法不僅可以用于目標(biāo)檢測，還可以用于其他計(jì)算機(jī)視覺任務(wù)，例如圖像分類和語義分割。許多任務(wù)的訓(xùn)練過程可通用類似的工作流程，其中訓(xùn)練和驗(yàn)證流程可以循環(huán)的運(yùn)行，并且驗(yàn)證流程可選。在每個(gè)周期，我們都會(huì)在模型上運(yùn)行多次前傳和反傳操作。

為了使流程更加靈活和個(gè)性化，我們定義了一個(gè)最小流程單位，其他行為由鉤子來觸發(fā)。為了運(yùn)行自定義訓(xùn)練流程，我們希望在某些特定步驟之前或之后執(zhí)行一些自定義操作。我們定義了一些時(shí)間點(diǎn)，用戶可以在其中插入任何可執(zhí)行方法（鉤子），在運(yùn)行的各個(gè)時(shí)期，都能實(shí)現(xiàn)在優(yōu)先級(jí)之后的指定時(shí)間點(diǎn)觸發(fā)插入的鉤子。MMDetection 中的典型訓(xùn)練流程如下圖所示，驗(yàn)證流程未在圖中顯示。  

圖 3 典型訓(xùn)練流程

基準(zhǔn)

一、實(shí)驗(yàn)設(shè)置

• 數(shù)據(jù)集。MMDetection 支持 VOC 類型和 COCO 類型的數(shù)據(jù)集。我們采用 MS COCO 2017 作為所有實(shí)驗(yàn)的主要基準(zhǔn)，因?yàn)樗咛魬?zhàn)性，并且使用更廣泛。    

• 其它參數(shù)。（1） 在不改變寬高比的情況下，將圖像調(diào)整為最大尺寸 1333×800。（2） 我們使用 8 個(gè) V100 GPU 進(jìn)行訓(xùn)練，總批量為 16（每個(gè) GPU 2 個(gè)圖像）和單個(gè) V100 GPU 進(jìn)行推理。（3） 訓(xùn)練計(jì)劃與 Detectron 相同。「1x」和「2x」分別表示 12 個(gè)時(shí)期和 24 個(gè)時(shí)期，級(jí)聯(lián)模型采用「20e」，表示 20 個(gè)時(shí)期。     

• 評(píng)估指標(biāo)。我們采用 COCO 數(shù)據(jù)集的標(biāo)準(zhǔn)評(píng)估指標(biāo)，其中應(yīng)用了 0.5 到 0.95 的多個(gè) IoU 閾值。區(qū)域生成網(wǎng)絡(luò)（RPN）的結(jié)果用召回率（AR）測量，檢測結(jié)果用 mAP 評(píng)估。 
  

二、基準(zhǔn)結(jié)果

1、主要結(jié)果     

我們對(duì) COCO 2017 val 的不同方法進(jìn)行了基準(zhǔn)測試，包括 SSD，RetinaNet，F(xiàn)aster RCNN，Mask RCNN，Cascade R-CNN，Hybrid Task Cascade 和 FCOS 。我們使用四種廣泛使用的主干網(wǎng)絡(luò)來評(píng)估這些結(jié)果，包括 ResNet-50，ResNet-101，ResNet-101-32x4d 和 ResNeXt101-64x4d。

在圖中我們展現(xiàn)了這些方法的推理速度和他們的邊界框（bbox）與實(shí)例分割（mask）AP 值之間的關(guān)系。推理時(shí)間由單個(gè) Tesla V100 GPU 測試得出。

圖 4 不同方法的基準(zhǔn)測試結(jié)果

2、與其他代碼庫的比較   

除了 MMDetection 之外，還有其他流行的代碼庫，如 Detectron，maskrcnn-benchmark 和 SimpleDet。它們分別建立在 caffe21，PyTorch 和 MXNet 的深層學(xué)習(xí)架構(gòu)之上。我們從性能、速度和內(nèi)存三個(gè)方面來對(duì) MMDetection 和 Detectron（@ a6a835f），maskrcnnbenchmark（@ c8eff2c）和 SimpleDet（@ cf4fce4）進(jìn)行比較。

Mask R-CNN 和 RetinaNet 分別代表兩級(jí)探測儀和單級(jí)探測器。由于這些代碼庫也在開發(fā)中，因此在其模型倉庫中報(bào)告的結(jié)果可能已過時(shí)，并且這些結(jié)果是在不同的硬件上所進(jìn)行的測試。為了公平比較，我們提取最新的代碼并在相同的環(huán)境中進(jìn)行測試，結(jié)果顯示在下圖中。

圖 5 不同代碼庫在性能、速度和內(nèi)存的比較

不同架構(gòu)所得內(nèi)存以不同方式進(jìn)行測量。MMDetection 顯示所有 GPU 的最大內(nèi)存，maskrcnn-benchmark 顯示 GPU 0 的內(nèi)存，Detectron 使用 caffe2 API 測量 GPU，SimpleDet 測量 NVIDIA 提供的命令顯示的內(nèi)存。通常，MMDetection 和 maskrcnn-benchmark 的實(shí)際內(nèi)存使用率相似且低于其他內(nèi)存。

3、不同 GPU 的推理速度   

不同的研究人員可能會(huì)使用各種 GPU，這里我們展示了常見 GPU 的速度基準(zhǔn)，例如 TITAN X，TITAN Xp，TITAN V，GTX 1080 Ti，RTX 2080 Ti 和 V100。我們對(duì)每種類型的 GPU 進(jìn)行了三種模型的評(píng)估，并將最終的推理速度展示在下圖中。需要注意的是，這些服務(wù)器的其他硬件并不完全相同，例如 CPU 和硬盤，但結(jié)果可以為速度基準(zhǔn)提供基礎(chǔ)的參考。

圖 6 不同 GPU 的推理速度基準(zhǔn)

4、混合精度訓(xùn)練  

MMDetection 支持混合精度訓(xùn)練，以減少 GPU 內(nèi)存并加快訓(xùn)練速度，同時(shí)性能幾乎保持不變；支持以 apex2 為基礎(chǔ)的混合精度訓(xùn)練；SimpleDet 也有不同的實(shí)現(xiàn)方式；Detectron 目前還不支持混合精度訓(xùn)練。我們?cè)谕粋€(gè) V100 節(jié)點(diǎn)上測試了三個(gè)代碼庫，并在下圖中展示了 MMDetection 與 maskrcnn-benchmark、SimpleDet 的比較結(jié)果。

圖 7 混合精度訓(xùn)練測試結(jié)果

此外，我們研究了更多模型，以確定混合精度訓(xùn)練的有效性。如下圖所示，我們可以了解到更大的批量大小可以節(jié)省更多內(nèi)存。當(dāng)批量增加到 12 時(shí)，F(xiàn)P16 訓(xùn)練的內(nèi)存減少到 FP32 訓(xùn)練的近一半；并且混合精度訓(xùn)練在應(yīng)用于 RetinaNet 等更簡單的框架時(shí)內(nèi)存效率更高。

圖 8 不同模型在 MMDetection 上的混合精度訓(xùn)練結(jié)果

5、多節(jié)點(diǎn)可擴(kuò)展性

由于 MMDetection 支持多個(gè)節(jié)點(diǎn)上的分布式訓(xùn)練，因此我們分別在 GPU 不同的節(jié)點(diǎn)上測試其可擴(kuò)展性。我們采用 Mask R-CNN 作為基準(zhǔn)測試方法，并在另一個(gè) V100 節(jié)點(diǎn)上進(jìn)行實(shí)驗(yàn)。接著我們采用不同的節(jié)點(diǎn)數(shù)量時(shí)，基本學(xué)習(xí)率被調(diào)整為線性，實(shí)驗(yàn)結(jié)果展示在下圖中。

圖 9 Mask R-CNN 在多個(gè)節(jié)點(diǎn)上的訓(xùn)練速度

回歸損失函數(shù)

通常我們采用多任務(wù)損失函數(shù)來訓(xùn)練目標(biāo)檢測器，該目標(biāo)檢測器由分類和回歸的特征表示。最廣泛采用的回歸損失函數(shù)是 Smooth L1 Loss；但最近也出現(xiàn)了更多的回歸損失函數(shù)，例如，Bounded IoU Loss，IoU Loss，GIoU Loss，Balanced L1 Loss。L1 Loss 也是衍生的一種損失函數(shù)。然而這些損失函數(shù)通常以不同的方法和設(shè)置實(shí)現(xiàn)。    

在這里，我們?cè)u(píng)估同一環(huán)境下的所有損失。值得注意的是，最終的測試性能會(huì)隨著回歸損失函數(shù)的不同損失權(quán)重而變化，因此我們執(zhí)行粗網(wǎng)格搜索以找出每個(gè)損失的最佳損失權(quán)重。下圖結(jié)果表明，通過簡單地增加 Smooth L1 Loss 的損失權(quán)重，最終性能可以提高 0.5％。  

圖 10 不同損失權(quán)重下不同回歸損失的比較

在沒有調(diào)整損失重量的情況下，L1 Loss 函數(shù)比 Smooth L1 Loss 函數(shù)性能高 0.6％，而增加損失權(quán)重不會(huì)帶來進(jìn)一步的增益。L1 Loss 比 Smooth L1 Loss 具有更大的損耗值，尤其是對(duì)于相對(duì)準(zhǔn)確的邊界框，差距更明顯。根據(jù)分析結(jié)果，提高定位精度較好的邊界框梯度將有利于定位。L1 Loss 的損失值已經(jīng)非常大，所以增加損失權(quán)重不會(huì)帶來增益。

對(duì)于端到端速度更快的 R-CNN，Balanced L1 Loss 函數(shù)的 mAP 值比 L1 Loss 高 0.3％，這與采用預(yù)先計(jì)算方法的實(shí)驗(yàn)結(jié)果略有不同。然而，我們發(fā)現(xiàn) Balanced L1 Loss 可以在 IoU balanced 采樣或平衡 FPN 的基線上的帶來更高的增益。除了 Bounded IoU Loss 函數(shù)外，基于 IoU 的損失表現(xiàn)略好于具有最佳損耗權(quán)重的基于 L1 的損失。GIoU Loss 比 IoU Loss 高 0.1％，Bounded IoU Loss 與 Smooth L1 Loss 具有相似的性能，但前者需要更大的損失權(quán)重值。       

歸一化

由于 GPU 內(nèi)存有限，訓(xùn)練檢測器時(shí)用到的數(shù)據(jù)量通常很?。? 或 2），因此 BN 層通常置為典型設(shè)定。配置 BN 層有兩個(gè)選項(xiàng)：是否更新統(tǒng)計(jì)數(shù)據(jù) E（x）和 Var（x），以及是否優(yōu)化仿射權(quán)重 γ 和 β。按照 PyTorch 的參數(shù)名稱，我們將這兩個(gè)選項(xiàng)分別表示為 eval 和 requires-grad。eval = True 表示不更新統(tǒng)計(jì)數(shù)據(jù)；requires-grad = True 意味著 γ 和 β 在訓(xùn)練期間被優(yōu)化。除了凍結(jié) BN 層外，還有其他標(biāo)準(zhǔn)化層也可以解決小批量的問題，例如 Synchronized BN（SyncBN）[25] 和 Group Normalization（GN）。

圖 11 不同 BN 設(shè)置和 LR 時(shí)間表的結(jié)果

在這里我們研究兩個(gè)問題：不同的歸一化層如何相互比較？在哪里為檢測器添加標(biāo)準(zhǔn)化層？

為了回答這兩個(gè)問題，我們用 ResNet-50-FPN 進(jìn)行 Mask R-CNN 的三次實(shí)驗(yàn)，并分別用 FrozenBN，SyncBN 和 GN 代替主干中的 BN 層，下圖中的結(jié)果顯示出：

（1）如果我們只用相應(yīng)標(biāo)準(zhǔn)化層替換主干中的 BN 層，F(xiàn)rozenBN，SyncBN 和 GN 也能夠?qū)崿F(xiàn)類似的性能。      

（2）將 SyncBN 或 GN 添加到 FPN 和 bbox / mask head 不會(huì)帶來進(jìn)一步的好處。

（3）用 4conv1fc 替換 2fc bbox head 以及向 FPN 和 bbox / mask head 添加歸一化層可將性能提高約 1.5％。

（4）具有更多卷積層的 bbox head 將展現(xiàn)出更高的性能。 

圖 12 采用不同歸一化層添加在不同組件上的對(duì)比

訓(xùn)練數(shù)據(jù)規(guī)模

作為典型的慣例，訓(xùn)練圖像被調(diào)整大小到預(yù)定義的比例而不改變縱橫比。以前的研究通常更喜歡 1000×600 的規(guī)模，現(xiàn)在通常采用 1333×800。         

在 MMDetection 中，我們采用 1333×800 作為默認(rèn)訓(xùn)練數(shù)據(jù)規(guī)模。結(jié)果如下圖所示，其中 1333×[640：800：32] 表示較長的邊緣固定為 1333，較短的邊緣是從 {640,672,704,736,768 的池中隨機(jī)選擇的，800}，對(duì)應(yīng)「值」模式。設(shè)置 1333×[640：800] 表示在 640 和 800 之間隨機(jī)選擇較短邊緣，這對(duì)應(yīng)于「范圍」模式。 

圖 13  不同訓(xùn)練數(shù)據(jù)規(guī)模的比較

從結(jié)果中我們可以了解到，「范圍」模式與具有相同最小和最大尺度的「值」模式執(zhí)行類似或稍微好一些。通常更寬的范圍帶來更多改進(jìn)，特別是對(duì)于更大的最大尺度。具體地，就 bbox 和 mask 的 AP 值而言，[640：960] 比 [640：800] 高 0.4％且高 0.5％。但是，較小的最小比例（如 480）將無法獲得更好的性能。

其它超參數(shù)

MMDetection 主要遵循 Detectron 中的超參數(shù)設(shè)置，以及根據(jù)我們所需要進(jìn)行設(shè)定。根據(jù)經(jīng)驗(yàn)，我們發(fā)現(xiàn) Detectron 的一些超參數(shù)不是最優(yōu)的，特別是對(duì)于 RPN。在下圖中，我們列出了可以進(jìn)一步提高 RPN 性能的那些超參數(shù)。雖然調(diào)整可能有利于性能，但在 MMDetection 中我們默認(rèn)采用與 Detectron 相同的設(shè)置，并將此研究留作參考。

圖 14 RPNResNet-50 超參數(shù)的研究結(jié)果

詳細(xì)結(jié)果

我們提供了下圖中某些方法的詳細(xì)基準(zhǔn)測試結(jié)果。

R-50 和 R-50（c）分別表示 pytorch 類型和 caffe 類型的 ResNet-50 主干網(wǎng)絡(luò)。在瓶頸殘差模塊中，pytorch 類型的 ResNet 采用了 1x1 步幅，1 卷積層；然后是采用了 3x3 步幅，2 卷積層；而 caffe 類型的 ResNet 采用 1x1 步幅，2 卷積層；然后是 3x3 步幅，1 卷積層。

圖 15 COCO val2017 的不同檢測方法的結(jié)果（AP^b 和 AP^m 分別表示 box 和 mask 的 mAP 值）

更多詳細(xì)設(shè)置和組件方面的信息，請(qǐng)參閱 https://github.com/open-mmlab/mmdetection/blob/master/MODEL_ZOO.md 。

原文鏈接

https://arxiv.org/abs/1906.07155          

GitHub 地址

https://github.com/open-mmlab/mmdetection      

雷鋒網(wǎng) AI 科技評(píng)論   雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。