語義分割領(lǐng)域開山之作：Google提出用神經(jīng)網(wǎng)絡(luò)搜索實(shí)現(xiàn)語義分割

本文作者：汪思穎

2018-09-29 12:15

導(dǎo)語：論文提出的 DPC 架構(gòu)基于 Cell 構(gòu)建的搜索空間，每個(gè) Cell 有語義分割采用經(jīng)典的空洞卷積，空間金字塔池化，1x1 卷積。

雷鋒網(wǎng) AI 科技評論按：本文作者陳泰紅，郵箱 ahong007@yeah.net，他為雷鋒網(wǎng) AI 科技評論撰寫了 Google 利用神經(jīng)網(wǎng)絡(luò)搜索實(shí)現(xiàn)語義分割的獨(dú)家解讀。

1. Introduction

在 arxiv 瀏覽論文的時(shí)候，單獨(dú)看文章名不知道屬于 CV 哪個(gè)領(lǐng)域，懷著對一作 Liang-Chieh 敬畏的心，在摘要中掃描到 PASCAL VOC 2012 (semantic image segmentation)，瀏覽全文才明白，Google 又發(fā)大招。

Google 在 Cloud AutoML 不斷發(fā)力，相比較而言之前的工作只是在圖像分類領(lǐng)域精耕細(xì)作，如今在圖像分割開疆?dāng)U土，在 arxiv 提交第一篇基于 NAS（Neural network architecture）的語義分割模型[1]（DPC，dense prediction cell）已經(jīng)被 NIPS2018 接收，并且在 Cityscapes，PASCAL-Person-Part，PASCAL VOC 2012 取得 state-of-art 的性能（mIOU 超過 DeepLabv3+）和更高的計(jì)算效率（模型參數(shù)少，計(jì)算量減少）。

Google 儼然已是圖像語義分割領(lǐng)域的高產(chǎn)霸主，Liang-Chieh 從 Deeplabv1- Deeplabv3+ 持續(xù)發(fā)力，還是 MobileNetV2 共同作者，如今在 NAS 領(lǐng)域開發(fā)處女地：基于 NAS 的語義分割模型，性能超過之前的基于 MobileNetV2 的 Network Backbone。

2. Motivation

深度學(xué)習(xí)技術(shù)已經(jīng)成為當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，其在圖像識別、語音識別、自然語言處理等領(lǐng)域展現(xiàn)出了巨大的優(yōu)勢，并且仍在繼續(xù)發(fā)展變化。自 Google 提出 Cloud AutoML，NAS（Neural Architecture Search，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索）也取得重大進(jìn)展，但更多的是在圖像分類和自然語言處理方面的應(yīng)用。在過去的一年中，元學(xué)習(xí)（meta-learning）在大規(guī)模圖像分類問題上，性能已經(jīng)實(shí)現(xiàn)超越人類手工設(shè)計(jì)的神經(jīng)網(wǎng)架構(gòu)。

基于 NAS 的圖像分類遷移到高分辨率的圖像處理（語義分割、目標(biāo)識別、實(shí)例分割）有很大的挑戰(zhàn)：(1)神經(jīng)網(wǎng)絡(luò)的搜索空間和基本運(yùn)算單元有本質(zhì)不同。(2)架構(gòu)搜索必須固有地在高分辨率圖像上運(yùn)行，因此不能實(shí)現(xiàn)從低分辨率圖像訓(xùn)練模型遷移到高分辨率圖像。

論文首次嘗試將元學(xué)習(xí)應(yīng)用于密集圖像預(yù)測（本人理解就是像素級圖像分割）。語義分割領(lǐng)域一般使用 encoder-decoder 模型，空間金字塔結(jié)構(gòu)，空洞卷積等，目標(biāo)是實(shí)現(xiàn)構(gòu)建高分辨率圖像的多尺度特征，密集預(yù)測像素級標(biāo)簽。論文利用這些技術(shù)構(gòu)建搜索空間，同時(shí)構(gòu)建計(jì)算量少、處理簡單的代理任務(wù)，該任務(wù)可為高分辨率圖像提供多尺度架構(gòu)的預(yù)測信息。

論文提出的模型在 Cityscapes dataset 驗(yàn)證測試，取得 82.7% mIOU，超過人類手工設(shè)計(jì)模型 0.7%。在 person-part segmentation 和 VOC 2012 也取得 state-of-art 性能。具體可參考原論文。

3. Architecture

深度學(xué)習(xí)在感知任務(wù)中取得的成功主要?dú)w功于其特征工程過程自動化：分層特征提取器是以端到端的形式從數(shù)據(jù)中學(xué)習(xí)，而不是手工設(shè)計(jì)。然而，伴隨這一成功而來的是對架構(gòu)工程日益增長的需求，越來越多的復(fù)雜神經(jīng)架構(gòu)是由手工設(shè)計(jì)的。算法工程師一般自我調(diào)侃“煉丹師”，就是因?yàn)槌瑓?shù)的設(shè)計(jì)選取存在太多偶然性，是一門玄學(xué)，沒有明顯的規(guī)律性。

Neural Architecture Search (NAS) 是一種給定模型結(jié)構(gòu)搜索空間的搜索算法，代表機(jī)器學(xué)習(xí)的未來方向。NAS 是 AutoML 的子領(lǐng)域，在超參數(shù)優(yōu)化和元學(xué)習(xí)等領(lǐng)域高度重疊。本人最近寫過一篇 NAS 的綜述文章（讓算法解放算法工程師——NAS 綜述），NAS 根據(jù)維度可分為三類：搜索空間、搜索策略和性能評估策略。

3.1 搜索空間

搜索空間原則上定義了網(wǎng)絡(luò)架構(gòu)。在圖像分類任務(wù)中分為三類：鏈?zhǔn)郊軜?gòu)空間、多分支架構(gòu)空間、Cell/block 構(gòu)建的搜索空間。

論文提出了基于 Dense Prediction Cell （DPC）構(gòu)建的遞歸搜索空間，對多尺度上下文信息編碼，實(shí)現(xiàn)語義分割任務(wù)。

語義分割領(lǐng)域開山之作：Google提出用神經(jīng)網(wǎng)絡(luò)搜索實(shí)現(xiàn)語義分割

圖 1 DPC 模型架構(gòu)

DPC 由有向無環(huán)圖（directed acyclic graph ，DAG）表示，每個(gè) Cell 包含 B 個(gè)分支，每個(gè)分支映射輸入到輸出的張量。每個(gè) Cell 的操作類型包括 1x1 卷積，不同比率的 3x3 空洞卷積，不同尺寸的均值空間金字塔池化。

語義分割領(lǐng)域開山之作：Google提出用神經(jīng)網(wǎng)絡(luò)搜索實(shí)現(xiàn)語義分割

圖 2 3x3 空洞卷積比率類型

語義分割領(lǐng)域開山之作：Google提出用神經(jīng)網(wǎng)絡(luò)搜索實(shí)現(xiàn)語義分割

根據(jù)論文提供的操作方式，3x3 空洞卷積有 8x8，均值空間金字塔池化有 4x4 操作，即操作函數(shù)共有 1+8*8+4*4=81 種類型，對于 B 分支的 Cell，搜索空間為 B!*81^B，當(dāng) B=5，搜索空間為 5！*81⁵≈4.2*10¹¹。

3.2 搜索策略

搜索策略定義了使用怎樣的算法可以快速、準(zhǔn)確找到最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)配置。

機(jī)器學(xué)習(xí)模型超參數(shù)調(diào)優(yōu)一般認(rèn)為是一個(gè)黑盒優(yōu)化問題，所謂黑盒問題就是我們在調(diào)優(yōu)的過程中只看到模型的輸入和輸出，不能獲取模型訓(xùn)練過程的梯度信息，也不能假設(shè)模型超參數(shù)和最終指標(biāo)符合凸優(yōu)化條件。

自動調(diào)參算法一般有 Grid search（網(wǎng)格搜索）、Random search（隨機(jī)搜索），還有 Genetic algorithm（遺傳算法）、Paticle Swarm Optimization（粒子群優(yōu)化）、Bayesian Optimization（貝葉斯優(yōu)化）、TPE、SMAC 等方式。

論文采用隨機(jī)搜索的方式，基于 Google Vizier 實(shí)現(xiàn)[3]。Github 上有開源實(shí)現(xiàn)的 advisor[4]（非Google 開源，第三方），包括隨機(jī)搜索，網(wǎng)格搜索，貝葉斯優(yōu)化等調(diào)參算法實(shí)現(xiàn)，感興趣可以關(guān)注一下。

3.3 性能評估策略

因?yàn)樯疃葘W(xué)習(xí)模型的效果非常依賴于訓(xùn)練數(shù)據(jù)的規(guī)模，通常意義上的訓(xùn)練集、測試集和驗(yàn)證集規(guī)模實(shí)現(xiàn)驗(yàn)證模型的性能會非常耗時(shí)，例如 DPC 在 Cityscapes dataset 上訓(xùn)練，使用 1 個(gè) P100 GPU 訓(xùn)練候選架構(gòu)（90 迭代次數(shù)）需要一周以上時(shí)間，所以需要一些策略去做近似的評估，同時(shí)滿足快速訓(xùn)練和可以預(yù)測大規(guī)模訓(xùn)練集的性能。

圖像分類任務(wù)中通常在低分辨率圖像中訓(xùn)練模型，再遷移到高分辨率圖像模型中。但是圖像分割需要多尺度上下文信息。論文提出設(shè)計(jì)代理數(shù)據(jù)集：（1）采用較小的骨干網(wǎng)絡(luò)（network backbone），（2）緩存主干網(wǎng)絡(luò)在訓(xùn)練集生成的特征圖，并在其基礎(chǔ)上構(gòu)建單個(gè) DPC。（個(gè)人理解應(yīng)該是權(quán)值共享的方式）。（3）訓(xùn)練候選架構(gòu)時(shí)提前終止（實(shí)驗(yàn)中占用 30K 迭代訓(xùn)練每個(gè)候選架構(gòu)）。

論文采用以上策略，在 GPU 上訓(xùn)練只運(yùn)行 90 分鐘，相比一周的訓(xùn)練時(shí)間大幅度縮短。

在架構(gòu)搜索后，論文對候選架構(gòu)進(jìn)行 reranking experiment，精準(zhǔn)測量每個(gè)架構(gòu)在大規(guī)模數(shù)據(jù)集的性能。reranking experiment 中，主干網(wǎng)絡(luò)經(jīng)過微調(diào)和訓(xùn)練完全收斂，生成的最優(yōu)模型作為最佳 DPC 架構(gòu)。

4. Experiment&Result

論文在場景理解（Cityscapes），人體分割（PASCAL- Person-Part），語義分割（PASCAL VOC 2012）對比展示 DPC 模型的性能。主干網(wǎng)絡(luò)在 COCO 數(shù)據(jù)集預(yù)訓(xùn)練，訓(xùn)練學(xué)習(xí)率采用多項(xiàng)式學(xué)習(xí)率，初始化為 0.01，裁剪圖像，fine-tuned BN 參數(shù)（batch size=8，16）。評測和架構(gòu)搜索中，圖像尺寸采用單一類型。對比其他 state-of-the-art 系統(tǒng)時(shí)，通過對給定圖像的多個(gè)縮放進(jìn)行平均來執(zhí)行評估。

論文使用提出的 DPC 架構(gòu)搜索空間，在 Cityscapes 部署生成的代理任務(wù)，370 個(gè) GPU 在一周時(shí)間中評估 28K 個(gè) DPC 架構(gòu)。論文采用 MobileNet-v2 主干網(wǎng)絡(luò)對整個(gè)模型進(jìn)行微調(diào)，選擇前 50 個(gè)架構(gòu)進(jìn)行重新排序。

論文中圖 5 、圖 6 展示了頂級 DPC 架構(gòu)的示意圖。在圖 5b 每個(gè)分支（通過 1*1 卷積）的 L1 正則化權(quán)重，我們觀察到具有 3×3 卷積（速率= 1×6）的分支貢獻(xiàn)最大，而具有大速率（即較長背景）的分支貢獻(xiàn)較少。換句話說，來自更接近（即最終空間尺度）的圖像特征的信息對網(wǎng)絡(luò)的最終輸出貢獻(xiàn)更多。相反，性能最差的 DPC（圖 6c）不保留精細(xì)空間信息，因?yàn)樗谌謭D像池操作之后級聯(lián)四個(gè)分支。

語義分割領(lǐng)域開山之作：Google提出用神經(jīng)網(wǎng)絡(luò)搜索實(shí)現(xiàn)語義分割

論文實(shí)驗(yàn)中，表 1，表 2，表 3分別對應(yīng)在場景理解（Cityscapes），人體分割（PASCAL- Person-Part），語義分割（PASCAL VOC 2012）的模型性能，DPC 在各個(gè)數(shù)據(jù)集取得 state-of-art 性能。

語義分割領(lǐng)域開山之作：Google提出用神經(jīng)網(wǎng)絡(luò)搜索實(shí)現(xiàn)語義分割

5. Discussion

1、論文提出的 DPC 架構(gòu)基于 Cell 構(gòu)建的搜索空間，每個(gè) Cell 有語義分割采用經(jīng)典的空洞卷積，空間金字塔池化，1x1 卷積，在 mIOU 實(shí)現(xiàn) state-of-art 水準(zhǔn)。

2、論文的搜索策略采用隨機(jī)搜索，評價(jià)指標(biāo)也只有 mIOU，相比 Google 另一篇論文 MnasNet，在準(zhǔn)確率和推斷時(shí)間上均有顯著提高。

3、論文摘要選擇只需要一半的參數(shù)和一半的計(jì)算效率，但是只在論文的表 1 即 Cityscapes 數(shù)據(jù)集對比了 MobileNet-v2 和 modified Xception 的實(shí)現(xiàn)方式，其他數(shù)據(jù)集沒有體現(xiàn)計(jì)算效率的優(yōu)越性。論文架構(gòu)搜索和訓(xùn)練時(shí)的目標(biāo)函數(shù)沒有計(jì)算效率的體現(xiàn)。

Additionally, the resulting architecture is more computationally efficient, requiring half the parameters and half the computational cost as previous state of the art systems

4、作為 Google 在語義分割領(lǐng)域的開山之作，目測會有一大批基于 NAS 實(shí)現(xiàn)的目標(biāo)檢測、實(shí)例分割的優(yōu)秀論文，NAS 應(yīng)用到工業(yè)界產(chǎn)品指日可待。

5、語義分割是一種廣義上的圖像分類（對圖像的每個(gè)像素進(jìn)行分類），和圖像分類在搜索空間有很多相似之處，但是目標(biāo)檢測需要 Region Proposal，Bounding-Box Regression 等，增加搜索空間的難度，NAS 在目標(biāo)檢測領(lǐng)域可能還需要很長一段路要走。

以上僅為個(gè)人閱讀 MnasNet 論文后的理解，總結(jié)和一些思考，觀點(diǎn)難免偏差，望讀者以懷疑的態(tài)度閱讀，歡迎交流指正。

6. 參考文獻(xiàn)

1. Searching for Efficient Multi-Scale Architectures for Dense Image Prediction

arXiv：1809.04184 (2018)

2. Neural Architecture Search: A Survey

arXiv：1808.05377 (2018)

3. A service for black-box optimization

4. https://github.com/tobegit3hub/advisor

5. MnasNet：終端輕量化模型新思路

https://zhuanlan.zhihu.com/p/42474017

6. 讓算法解放算法工程師----NAS綜述

https://zhuanlan.zhihu.com/p/44576620