雷鋒網(wǎng) AI 科技評論按：本文作者skicy Yu，原載于知乎專欄，雷鋒網(wǎng)已獲授權(quán)。

此專欄主要是我們 Face++ Detection Team 對外交流使用，分享我們內(nèi)部的一些工作，同時也希望能從其他同學那里學習經(jīng)驗和教訓。第一期是我們 2018 年做 COCO skeleton 的工作。下面先上一個我們模型的視頻結(jié)果：COCO2018 Keypoint算法結(jié)果展示。

Background

人體關(guān)鍵點檢測（Human Keypoint Detection）又稱為人體姿態(tài)識別，旨在準確定位圖像之中人體關(guān)節(jié)點的位置，是人體動作識別、人體行為分析、人機交互的前置任務。作為當前計算機視覺不可或缺的熱門研究領(lǐng)域之一，人體姿態(tài)識別有著大量的落地場景和廣闊的應用前景，現(xiàn)有及可期的場景應用有人體步態(tài)識別、體感游戲、AI 美體、虛擬現(xiàn)實、增強現(xiàn)實、康復訓練、體育教學等等，可廣泛賦能于游戲、手機、醫(yī)療、教育、數(shù)字現(xiàn)實等不同領(lǐng)域。

人體關(guān)鍵點檢測任務對于現(xiàn)實生活有著很大的潛在用途，目前公開的比賽中最權(quán)威的是 MS COCO Keypoint track 的比賽，也是該領(lǐng)域最有挑戰(zhàn)的比賽，參賽隊不乏 Facebook，Google 及微軟這樣的國際巨頭，也不乏 CMU 等頂尖研究機構(gòu)，是該領(lǐng)域最先進方法的試金石。曠視科技 Detection 組在 2017，2018 年兩次奪得該比賽的冠軍，2017 年曠視 COCO Keypoint 比賽冠軍工作 CPN 在業(yè)界具有深遠影響，并獲得廣泛使用。這里，我們將介紹曠視 2018 年 COCO Keypoint 比賽奪冠的工作。

人體姿態(tài)識別主流方法目前分為兩種：單階段和多階段，雖然后者遵照從粗糙到精細的邏輯更貼合任務本質(zhì)，但是目前表現(xiàn)似乎沒有優(yōu)于單階段方法，我們認為，目前多階段方法差強人意的性能主要歸因于多種不合理的設(shè)計。我們的工作從 1）網(wǎng)絡(luò)設(shè)計、2）特征流、3）損失函數(shù)入手提出一系列改進措施，工作成果在 MS COCO Keypoint 數(shù)據(jù)集上超越現(xiàn)有方法取得當前最優(yōu)結(jié)果，論文已公開于 Arxiv，鏈接請見：https://arxiv.org/abs/1901.00148

Introduction

圖 1

深度卷積網(wǎng)絡(luò)出現(xiàn)之后，人體姿態(tài)識別飛速發(fā)展?，F(xiàn)階段最優(yōu)方法 [1,2] 網(wǎng)絡(luò)結(jié)構(gòu)較為簡單，多是采用單階段網(wǎng)絡(luò)設(shè)計，比如 2017 COCO Keypoint 挑戰(zhàn)賽冠軍方法 [1] 采用基于 ResNet-Inception 的網(wǎng)絡(luò)結(jié)構(gòu)，最新的 Simple Baseline[2] 采用 ResNet 網(wǎng)絡(luò)結(jié)構(gòu)。另一種網(wǎng)絡(luò)結(jié)構(gòu)則采用多階段網(wǎng)絡(luò)設(shè)計，即把一個輕量級網(wǎng)絡(luò)作為單元網(wǎng)絡(luò)，接著將其簡單地堆疊到多階段。

直觀上講，多階段的天然逐級優(yōu)化特性會更適用于這個任務，但是當前存在的多階段網(wǎng)絡(luò)并沒有單階段網(wǎng)絡(luò)在 COCO 上表現(xiàn)好。我們試圖研究這一挑戰(zhàn)性問題，提出當前多階段網(wǎng)絡(luò)的欠佳表現(xiàn)主要是由于設(shè)計不足導致的，并可通過一系列 1）網(wǎng)絡(luò)結(jié)構(gòu)、2）特征流、3）損失函數(shù)方面的創(chuàng)新性優(yōu)化，最大化發(fā)掘多階段網(wǎng)絡(luò)的潛力，實現(xiàn)目前最先進的效果。

因此，我們提出新型的多階段姿態(tài)估計網(wǎng)絡(luò) MSPN，具體改進有 3 個方面：

1. 目前多階段網(wǎng)絡(luò)里的單元網(wǎng)絡(luò)離最優(yōu)比較遠，使用已經(jīng)驗證的網(wǎng)絡(luò)（如 Resnet）要比主流的多階段方法（如 Hourglass）采用的輕量級網(wǎng)絡(luò)好很多，究其原因主要是下采樣 Encoder 需要承載更多內(nèi)容，而輕量級網(wǎng)絡(luò)滿足不了。
   

2. 由于重復下采樣，上采樣會丟失信息從而不利于學習，我們提出融合多階段特征以加強信息流動，來緩解這一問題。
   

3. 我們觀察到關(guān)節(jié)點的定位是逐級精細優(yōu)化的，因此提出由粗到精的學習策略，并采用多尺度監(jiān)督提升訓練。由圖 1 可知，當提升單階段網(wǎng)絡(luò)容量時，精度會趨近于飽和，而增長遇到瓶頸；對于目前主流的多階段網(wǎng)絡(luò)，當堆疊多于 2 個單元網(wǎng)絡(luò)后，精度提升非常有限。對于我們提出的 MSPN，隨著單元網(wǎng)絡(luò)的堆疊數(shù)增加，精度會持續(xù)提升。
   

在 MS COCO 基準上，MSPN 在 test-dev 數(shù)據(jù)集上獲得 76.1 AP；在 MS COCO 2018 中，test-dev 達到 78.1 AP，test-challenge 76.4 AP, 相比去年冠軍提升了 4.3 AP。
--------多階段網(wǎng)絡(luò)---------

圖 2

多階段姿態(tài)估計網(wǎng)絡(luò) MSPN 如圖 2 所示。它采用自上向下的框架，即首先使用人體檢測算法給出人體框，據(jù)此摳圖，并進行單人人體姿態(tài)估計。如上所述，MSPN 的新突破有 3 點：第一，使用圖像分類表現(xiàn)較好的網(wǎng)絡(luò)（如 ResNet）作為多階段網(wǎng)絡(luò)的單元網(wǎng)絡(luò)；第二，提出逐階段傳遞的信息聚集方式，降低信息損失；第三，引入由粗到精的監(jiān)督，并進行多尺度監(jiān)督。

------有效的單階段子單元網(wǎng)絡(luò)設(shè)計-----

表 1

目前主流的多階段網(wǎng)絡(luò)全部基于 Hourglass 變體。從表 1 可知，Hourglass 在重復下采樣和上采樣的過程中，卷積層的通道數(shù)是相同的。這是因為高層語義信息更強，需要更多通道表征。

下采樣時，Hourglass 變體會導致特征編碼（Encoder）無法很好地表達特征，從而造成一定程度上的特征信息丟失。相比于下采樣，上采樣很難更優(yōu)地表征特征，所以增加下采樣階段的網(wǎng)絡(luò)能力對整體網(wǎng)絡(luò)會更有效。

--------------跨階段特征融合-------------

圖 3

多階段網(wǎng)絡(luò)在重復的上采樣和下采樣過程中，很容易造成信息流失，我們提出了一種有效的跨階段特征融合方法來應對這一現(xiàn)象。如圖 3 所示，上一階段上、下采樣的特征經(jīng)過 1x1 卷積相加到后一階段下采樣部分，從而實現(xiàn)多階段之間的特征融合，有效緩解特征流失。

---------------由粗到精監(jiān)督--------------

圖 4

人體姿態(tài)估計如果要定位較有挑戰(zhàn)性的關(guān)節(jié)點（如隱藏關(guān)節(jié)點）需要較強的領(lǐng)域上下文信息。同時，對于基于回歸 heatmap 的任務，作為 GT 的高斯核越小，回歸精度越準?？紤]到以上兩點，并結(jié)合多階段網(wǎng)絡(luò)的自身逐級遞進優(yōu)化的特性，我們提出基于多階段的由粗到精的監(jiān)督方式。每個階段方式的監(jiān)督 heatmap 的高斯核逐漸減小，可較理想地兼顧領(lǐng)域上下文信息和精準度。由于中間監(jiān)督對于深度神經(jīng)網(wǎng)絡(luò)有較好效果 [3]，我們在每個階段內(nèi)部也采用了多尺度的中間監(jiān)督。

-------------實驗-------------

實驗中，我們使用 MegDet [4] 獲得人體檢測框，并使用 COCO（80 類）之中人這一類的結(jié)果作為人體框結(jié)果，沒有單獨針對人進行訓練。摳圖之前，框擴展為高寬 4:3 的比例。訓練中，我們采用 Adam 作為優(yōu)化策略，初始學習率為 5e-4，Weight Decay 為 1e-5。數(shù)據(jù)增強方面，主要采用翻轉(zhuǎn)、旋轉(zhuǎn)（-45 度～+45 度）、尺度變換（0.7～1.35）。姿態(tài)估計網(wǎng)絡(luò)圖像輸入尺寸為 384x288。消融實驗中，圖像輸入尺寸為 256x192。測試方面，沿用 [5] 中的策略，即采用翻轉(zhuǎn)求平均，最大值位置向次大值位置偏移 1/4 作為最終位置。所有消融實驗在 COCO minival 上進行。

消融實驗

多階段網(wǎng)絡(luò)

我們通過一系列實驗驗證多階段網(wǎng)絡(luò)設(shè)計的重要性。

表 2

首先，我們通過實驗觀察單階段網(wǎng)絡(luò)增加模型復雜度的表現(xiàn)。從表 2 可知，ResNet-50 作為 Backbone 的單階段網(wǎng)絡(luò)精度可以達到 71.5，ResNet-101 可以提升 1.6 個點，但是繼續(xù)往高增加復雜度，精度的提升幅度逐漸變小，趨近于飽和。

表 3

我們同時對比了當前主流的多階段網(wǎng)絡(luò) Hourglass 與該工作在精度提升方面的差異。由表 3 可知，Hourglass 在第 2 個階段以上疊加新階段提升非常有限：從 2 個階段到 8 個階段，計算量增加 3 倍，而精度只漲了 0.7 AP。相比于 Hourglass 的增長受限，MSPN 從第 2 個階段以上疊加新階段會持續(xù)提升精度。

為驗證我們對多階段網(wǎng)絡(luò)有效改進的泛化性，我們嘗試把其他網(wǎng)絡(luò)作為單元網(wǎng)絡(luò)。如表 4，兩階段的 ResNet-18 會稍高于相當計算量的單階段 ResNet-50 網(wǎng)絡(luò)。4 階段小計算量的 X-ception 網(wǎng)絡(luò)會比同計算量單階段的大計算量的 X-ception 網(wǎng)絡(luò)高出近 1 AP。

表 4

跨階段特征融合以及由粗到精監(jiān)督

表 5

表 5 的實驗可以驗證跨階段特征融合以及由粗到精監(jiān)督的有效性。對于 4 階段的 Hourglass 和 2 階段的 MSPN 借助以上兩種策略均實現(xiàn)漲點。

------------實驗結(jié)果-------------

表 6

表 7

表 6 和表 7 分別對比 MSPN 與當前最優(yōu)方法在 COCO test-dev 數(shù)據(jù)集和 COCO test-challenge 數(shù)據(jù)集上的精度差異?？梢钥闯?，MSPN 均超過當前最優(yōu)方法，在 test-dev 上領(lǐng)先 2.3 AP，在 test-challenge 上領(lǐng)先 1.9 AP。

----------------總結(jié)---------------

我們提出了針對人體姿態(tài)估計更有效的多階段網(wǎng)絡(luò)設(shè)計思想，并用充分的實驗驗證其有效性，該網(wǎng)絡(luò)在 COCO 數(shù)據(jù)集上突破當前的精度瓶頸，實現(xiàn)了新的 state-of-the-art。我們同時也驗證了該工作所涉及的多階段網(wǎng)絡(luò)設(shè)計思想的泛化性。

--------------結(jié)果例圖-----------

圖 5

Reference

[1] Y. Chen, Z. Wang, Y. Peng, Z. Zhang, G. Yu, and J. Sun. Cascaded pyramid network for multi-person pose estimation. arXiv preprint, 2018.

[2] B. Xiao, H. Wu, and Y. Wei. Simple baselines for human pose estimation and tracking. arXiv preprint arXiv:1804.06208, 2018.

[3] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1–9, 2015.

[4] C. Peng, T. Xiao, Z. Li, Y. Jiang, X. Zhang, K. Jia, G. Yu, and J. Sun. Megdet: A large mini-batch object detector. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6181–6189, 2018.

[5] A. Newell, K. Yang, and J. Deng. Stacked hourglass networks for human pose estimation. In European Conference on Computer Vision, pages 483–499. Springer, 2016.

---------解讀者介紹-------

王志成，清華大學計算機系碩士，現(xiàn)為曠視科技研究員，人體姿態(tài)估計研究負責人，COCO Keypoint 冠軍算法 CPN、MSPN 共同第一作者，研究方向涵蓋人體姿態(tài)估計與跟蹤、人體動作識別，并在上述方向有著長期深入的研究；2017、2018 年作為負責人帶隊參加 COCO 人體姿態(tài)識別競賽（Human Keypoint Detection），連續(xù)兩次奪魁。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。