0
雷鋒網(wǎng) AI 科技評論按：本文由商湯科技獨家投稿，AI 科技評論獲其授權轉載。
全球計算機視覺頂級會議 IEEE CVPR 2018 (Computer Vision and Pattern Recognition，即 IEEE 國際計算機視覺與模式識別會議) 即將于六月在美國鹽湖城召開，本屆大會總共錄取來自全球論文 979 篇。CVPR 作為計算機視覺領域級別最高的研究會議，其錄取論文代表了計算機視覺領域在 2018 年最新和最高的科技水平以及未來發(fā)展潮流。
CVPR 官網(wǎng)顯示，今年有超過 3300 篇的大會論文投稿，錄取的 979 篇論文，比去年增長了 25%（2017 年論文錄取 783 篇）。這些錄取的最新科研成果，涵蓋了計算機視覺領域各項前沿工作。CVPR 2018 包括 21 場 tutorials、48 場 workshops，并且有來自全球各地超過 115 家企業(yè)將入駐今年 CVPR 工業(yè)展覽。
商湯科技、香港中文大學-商湯科技聯(lián)合實驗室以及其他商湯科技聯(lián)合實驗室共有 44 篇論文被本屆 CVPR 大會接收，其中包括口頭報告論文 3 篇（錄取率僅 62/3300 = 1.88%），亮點報告論文 13 篇，論文錄取數(shù)量相較于 CVPR 2017 的 23 篇又有大幅度提高，成績斐然。全球領先的科研成果展示了商湯科技智能視覺領域強大的人才儲備、科研底蘊和創(chuàng)新能力。
商湯科技 CVPR 2018 錄取論文在以下領域實現(xiàn)突破：大規(guī)模分布式訓練、人體理解與行人再識別、自動駕駛場景理解與分析、底層視覺算法、視覺與自然語言的綜合理解、物體檢測、識別與跟蹤、深度生成式模型、視頻與行為理解等。這些新穎的計算機視覺算法不僅有著豐富的應用場景，使得更多的智能視覺算法能應用于日常生活之中，還為后續(xù)研究提供了可貴的經(jīng)驗和方向。
本文致力于解決深度神經(jīng)網(wǎng)絡結構的自動設計問題，與一般人工的結構設計不同，本文提出了一種高效算法，通過強化學習來自動設計最優(yōu)的網(wǎng)絡結構。傳統(tǒng)的神經(jīng)網(wǎng)絡結構設計通常需要大量專家的知識和試錯成本，并且甚至還需要一些靈感，每年僅有幾個重要的網(wǎng)絡結構被設計出來，因此，人工設計網(wǎng)絡結構是一個難度極高的工作。近期的網(wǎng)絡結構自動搜索的算法通常需要巨大的計算資源（數(shù)百塊 GPU，近一個月的訓練），并且生產(chǎn)的模型可遷移性不強，難以做到真正的實用化。
本文提出了一種基于強化學習的網(wǎng)絡結構自動設計算法，通過「網(wǎng)絡塊」的設計思想，讓搜索空間大大降低，并且使設計的網(wǎng)絡具有非常強的可遷移性。同時，本文使用「提前停止」和分布式架構來加速整個網(wǎng)絡結構學習過程，達到了百倍于之前算法的速度（32 塊 GPU，3 天的訓練）。實驗表面，其生成的網(wǎng)絡結構在 CIFAR 數(shù)據(jù)集上達到并且超越人類設計的網(wǎng)絡結構的精度，并且其結構可以遷移到大規(guī)模的 ImageNet 數(shù)據(jù)上，取得良好的性能。
行人再識別是新一代智能安防系統(tǒng)中的重要組件之一。給定一幅行人圖像，行人再識別要求跨不同攝像頭，對同一行人基于其視覺外觀進行準確匹配和識別?，F(xiàn)有深度學習算法通常使用過于局部的約束損失函數(shù)進行行人特征學習，因而不能精確的學習行人圖像之間的視覺相似度。本文針對該問題提出一種新穎的組一致性約束條件，并通過連續(xù)條件隨機場對該約束條件進行建模。將該連續(xù)條件隨機場加入深度神經(jīng)網(wǎng)絡，從而實現(xiàn)該深度模型的端對端訓練。實驗結果表明該一致性條件在訓練與測試中均能夠大幅度提升最終視覺特征的魯棒性與判別性，實現(xiàn)高精度的行人再識別。
本文關注面向自動駕駛場景的視頻實時語義分割問題，雖然近年來圖像語義分割取得很大的進展，但是對于面向視頻的語義分割任務仍然存在挑戰(zhàn)。其主要困難在于：1）視頻需要更多的計算量；2）許多實時的應用如自動駕駛需要實現(xiàn)低延遲性。
本文致力于解決這兩方面的難題，同時盡可能的保證分割的精度。在視頻分割問題中，鄰近幀之間的語義標簽的變化相對較小，因此不必每幀都使用一個完整的網(wǎng)絡來提取語義標簽?；谶@種認識，本文提出了一個如圖所示的語義分割的框架，把整個網(wǎng)絡分為高層部分和低層部分，低層部分消耗較少的計算；本文的框架只在關鍵幀運行完整的網(wǎng)絡來提取高層特征進行語義分割，而在其他幀則從上一個關鍵幀傳播特征來進行語義分割。相應的框架由兩部分組件構成：1）關鍵幀調(diào)度模塊，以及 2）特征跨幀傳播模塊，其都基于低層特征進行相應的計算，因此相對完整的網(wǎng)絡計算量小很多。同時為了減少延遲，在檢測到當前幀為關鍵幀時，使用了一個低延遲的調(diào)度策略。本文提出的方法在兩個數(shù)據(jù)集上均驗證了我們方法的有效性，取得了較低延遲并保持精確的分割精度。
面向自動駕駛場景的單目深度估計方法，通常利用一個視角的圖像數(shù)據(jù)作為輸入，直接預測圖片中每個像素對應的深度值，這就導致了現(xiàn)有方法通常需要大量的帶深度信息標注的數(shù)據(jù)。近期的研究提出了在訓練過程引入了幾何約束的改進，但是在測試過程仍然缺乏顯式的幾何約束。本文提出把單目深度估計分解為兩個子過程，即視圖合成過程以及雙目匹配過程，通過這樣分解之后，使得所提出的模型既可以在測試階段顯式地引入幾何約束又可以極大的減少對帶深度標注數(shù)據(jù)的依賴。實驗證明，本文提出的方法僅利用少量的深度數(shù)據(jù)就可以在 KITTI 數(shù)據(jù)集上超過之前的所有方法，并首次僅靠單目圖像數(shù)據(jù)就超過了雙目匹配算法 Block Matching，進一步推動了單目深度估計技術的落地。
本文提出了一種新穎的深度學習圖像復原方法。大部分已有復原算法僅面向解決某類特定的圖像復原問題，因而對各種不同類別的降質圖像缺乏普適性。針對該問題，本文提出的 RL-Restore 算法先訓練一系列針對不同降質圖像的小型神經(jīng)網(wǎng)絡；同時設計一種評價圖像復原質量的獎勵函數(shù)，使用增強學習算法學習如何將這些小型神經(jīng)網(wǎng)絡進行合理組合。針對不同的降質圖像，獲得不同的復原算法組件的組合，實現(xiàn)對復雜降質圖像的有效復原。
針對開放式視覺問答（Open-ended VisualQuestion Answering）中訓練數(shù)據(jù)過少的問題，本文提出了一種「可逆問答網(wǎng)絡」。該模型可以通過重組不同模塊，使一組模型同時完成「問題回答」和「問題生成」兩種互逆的兩個任務。該模型通過充分利用視覺問答和視覺問題生成的對偶性，提升模型對于有限訓練數(shù)據(jù)的利用效率。該方法采用兩個任務同時訓練同一模型，使網(wǎng)絡能夠對問題和圖片之間的聯(lián)系有更深的理解，從而在問題生成和問題回答兩個任務上都取得了更好的精度和效果。
本文同時解決人臉識別、屬性分類和任意人臉生成這三個問題。大多數(shù)人臉特征學習的工作通常能夠讓網(wǎng)絡學習得到一個具有極強身份或屬性區(qū)分度的特征，以應用于人臉識別、屬性分類等任務；或者學習一個具有全局信息的特征，以應用于人臉生成和編輯等應用。為什么不能學習到一個完備的特征空間并使得語義信息高度區(qū)分化，進而實現(xiàn)一個特征能夠完成所有的任務呢？本文提出了一個信息蒸餾與驅逐網(wǎng)絡的框架，只使用身份 ID 作為監(jiān)督信息，學習到了一個同時具有極強信息區(qū)分度且包含全局信息的稠密凸特征空間。在 LFW、LFWA 和 CelebA 等數(shù)據(jù)集上的實驗表明，人臉在該特征空間下的投影具有極高的身份、屬性識別能力，且該空間內(nèi)的任意一個點均具有較強的身份和屬性語義，并可生成具有該語義的人臉圖像。
本文提出一種基于邊緣感知的人臉關鍵點檢測算法，將人臉邊緣線所描述的結構信息融入到關鍵點檢測中，極大地提升了算法在大側臉、夸張表情、遮擋、模糊等極端情況下的檢測精度。文章主要解決了兩大問題：1. 人臉關鍵點在各個數(shù)據(jù)集間歧義性，定義不一致問題。文章通過捕捉對于人臉更通用的邊緣線信息，將其作為人臉到關鍵點的中間媒介，使得不同數(shù)據(jù)集即使存在關鍵點差異，仍然可以相互輔助訓練。2. 復雜情況下關鍵點檢測精度問題。本文首先通過消息傳遞結合對抗學習得到高精度的邊緣線檢測結果，再將邊緣線信息多語義層次地融合到關鍵點檢測中，使得算法在復雜情況下的魯棒性大幅提升。
另外，文章還提出了一個新的人臉關鍵點檢測數(shù)據(jù)集 Wider Facial Landmarksin-the-wild (WFLW)，包含 10,000 張帶有 98 點和 6 屬性標注的人臉數(shù)據(jù)，旨在幫助學界更有效的評估關鍵點算法在各種條件下的魯棒性。
本文提出一種基于端到端深度學習框架的高性能單目標跟蹤算法?，F(xiàn)有的單目標跟蹤算法通常較難兼顧性能和速度，僅能在某一指標占優(yōu)。本文利用孿生（Siamese）網(wǎng)絡和區(qū)域候選網(wǎng)絡（Region Proposal Network），構建了一種高速高精度的單目標跟蹤算法。兩個子網(wǎng)絡通過卷積操作升維，統(tǒng)一在一個端到端的深度神經(jīng)網(wǎng)絡框架里。訓練過程中，算法可以利用擁有密集標注（VID）和稀疏標注（YoutubeBB）的數(shù)據(jù)集進行訓練。相較于現(xiàn)有方法，稀疏標注的數(shù)據(jù)集大大增加了訓練數(shù)據(jù)來源，從而可以對深度神經(jīng)網(wǎng)絡進行更充分的訓練；區(qū)域候選網(wǎng)絡中的坐標回歸可以讓跟蹤框更加準確，并且省去多尺度測試耗費的時間。實驗方面，本文提出的跟蹤算法能在 160 幀速度下達到 VOT2015 和 VOT2016 數(shù)據(jù)集上目前的先進水平。
本文首次提出了端到端的多角度文字檢測與識別方法。文字檢測與識別 (OCR) 是計算機視覺領域的經(jīng)典問題，過去的做法將文字檢測與識別看做兩個問題分別解決。本文提出了一個端到端的方法同時進行文字檢測與識別，驗證了這兩個任務相輔相成，共同監(jiān)督網(wǎng)絡訓練可以讓這兩個任務取得更好的精度。由于兩個任務共用一個特征提取的網(wǎng)絡，速度也是分別進行文字檢測與識別的兩倍左右。同時本文也提出了 RoIRotate 操作，其擴展了 RoIAlign，可以應用于旋轉物體的檢測。本文在多個數(shù)據(jù)集上超過了現(xiàn)有方法。
目前針對圖像風格化的實時應用，大多需要針對特定的風格圖來設計特定的風格遷移模型；如果需要實現(xiàn)對于任意風格圖的遷移，計算復雜度和遷移效果大多不能得到保證。本文提出一種實時零點圖像風格遷移模型，實現(xiàn)對于任意風格圖像的多尺度高質量風格化遷移。該方法基于名為風格裝飾器的特征遷移網(wǎng)絡結構，可以容易地嵌入圖像重構網(wǎng)絡中來達到多尺度的風格特征遷移。該網(wǎng)絡結構使得生成的風格化圖像充分表達風格圖中的具體紋理模式，同時保留原圖中的語義信息。實驗表明，該網(wǎng)絡對各種類別的風格圖都有較高的風格化能力，并且可以有效擴展到多風格遷移和視頻風格遷移等應用中。
商湯科技及商湯科技聯(lián)合實驗室共有 44 篇論文被接收，具體如下：
1.3D Human Pose Estimation in the Wild by Adversarial Learning
Wei Yang, Wanli Ouyang, Xiaolong Wang, Xiaogang Wang
2. Attention-aware Compositional Network for Person Re-Identification
Jing Xu, Rui Zhao, Feng Zhu, Huaming Wang, Wanli Ouyang
3. Avatar-Net: Multi-scale Zero-shot Style Transfer by Feature Decoration
Lu Sheng*, Jing Shao*, Ziyi Lin and Xiaogang Wang (*equal contribution)
4. Beyond Holistic Object Recognition:Enriching Image Understanding with Part States
Cewu Lu, Hao Su, Yonglu Li, Yongyi Lu, Li Yi, Chi-Keung Tang, Leonidas J. Guibas
5. Collaborative and Adversarial Network for Unsupervised domain adaptation
Weichen Zhang, Wanli Ouyang, Dong Xu, Wen Li
6. Context Encoding for Semantic Segmentation
Hang Zhang, Kristin Dana, Jianping Shi, Zhongyue Zhang, Xiaogang Wang, Ambrish Tyagi, Amit Agrawal
7. Deep Cocktail Networks: Multi-source Unsupervised Domain Adaptation with Category Shift
Ruijia Xu, Ziliang Chen, Wangmeng Zuo, Junjie Yan, Liang Lin
8. Deep Group-shuffling Random Walk for Person Re-identification
Yantao Shen, Hongsheng Li, Tong Xiao, Shuai Yi, Dapeng Chen, Xiaogang Wang
9. Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks
Jiawei Zhang, Jinshan Pan, Jimmy Ren, Yibing Song, Linchao Bao, Rynson Lau, Ming-Hsuan Yang
10. Eliminating Background-bias for Robust Person Re-identification
Maoqing Tian, Hongsheng Li, Shuai Yi, Xuesen Zhang, Jianping Shi, Junjie Yan, Xiaogang Wang
11. End-to-End Deep Kronecker-Product Matching for Person Re-identification
Yantao Shen, Tong Xiao, Hongsheng Li, Shuai Yi, Xiaogang Wang
12. End-to-end Flow Correlation Tracking with Spatial-temporal Attention
Zheng Zhu, Wei Wu, Wei Zou, Junjie Yan
13. Exploring Disentangled Feature Representation Beyond Face Identification
Yu Liu*, Fangyin Wei*, Jing Shao*, LuSheng, Junjie Yan and Xiaogang Wang (*equal contribution)
14. Environment Upgrade Reinforcement Learning for Non-differentiable Multi-stage Pipelines
Shuqin Xie, Zitian Chen, Chao Xu, Cewu Lu
15. FOTS: Fast Oriented Text Spotting with a Unified Network
Xuebo Liu, Ding Liang, Shi Yan, Dagui Chen, Yu Qiao, Junjie Yan
16. GeoNet: Unsupervised Learning of Dense Depth, Motion Field and Camera Pose
Zhichao Yin, Jianping Shi
17. Group Consistent Similarity Learning via Deep CRFs for Person Re-Identification
Dapeng Chen, Dan Xu, Hongsheng Li, Nicu Sebe, Xiaogang Wang
18. High Performance Visual Tracking with Siamese Region Proposal Network
Bo Li, Wei Wu, Zheng Zhu, Junjie Yan
19. ID-GAN: Learning a Symmetry Three-Player GAN for Identity-Preserving Face Synthesis
Yujun Shen, Ping Luo, Junjie Yan, Xiaogang Wang, Xiaoou Tang
20. Learning a Toolchain for Image Restoration
Ke Yu, Chao Dong, Liang Lin, Chen Change Loy
21. Learning Dual Convolutional Neural Networks for Low-Level Vision
Jinshan Pan, Sifei Liu, Deqing Sun, Jiawei Zhang, Yang Liu, Jimmy Ren, Zechao Li, Jinhui Tang, Huchuan Lu, Yu-Wing Tai, Ming-Hsuan Yang
22. Learning Globally Optimized Object Detector via Policy Gradient
Yongming Rao, Dahua Lin, Jiwen Lu
23. LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation
Tak Wai Hui, Xiaoou Tang, Chen Change Loy
24. Low-Latency Video Semantic Segmentation
Yule Li, Jianping Shi, Dahua Lin
25. Look at Boundary: A Boundary-Aware Face Alignment Algorithm
Wayne Wu, Chen Qian, Shuo Yang, Wang Quan
26. LSTM Pose Machines
Yue Luo, Jimmy Ren, Zhouxia Wang, Wenxiu Sun, Jinshan Pan, Jianbo Liu, Jiahao Pang, Liang Lin
27. Mask-guided Contrastive Attention Model for Person Re-Identification
Chunfeng Song, Yan Huang, Wanli Ouyang, Liang Wang
28. Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recognition
Shuyang Sun, Zhanghui Kuang, Lu Sheng, Wanli Ouyang, Wei Zhang
29. Optimizing Video Object Detection via a Scale-Time Lattice
Kai Chen, Jiaqi Wang, Shuo Yang, Xingcheng Zhang, Yuanjun Xiong, Chen Change Loy, Dahua Lin
30. PAD-Net: Multi-Tasks Guided Prediciton-and-Distillation Network for Simultaneous Depth Estimation and Scene Parsing
Dan Xu, Wanli Ouyang, Xiaogang Wang, Nicu Sebe
31. Path Aggregation Network for Instance Segmentation
Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, Jiaya Jia
32. Pose-Robust Face Recognition via Deep Residual Equivariant Mapping
Kaidi Cao, Yu Rong, Cheng Li, Xiaoou Tang, Chen Change Loy
33. Practical Block-wise Neural Network Architecture Generation
Zhao Zhong, Junjie Yan, Wei Wu, Jing Shao, Cheng-lin Liu
34. Recognize Actions by Disentangling Components of Dynamics
Yue Zhao, Yuanjun Xiong, Dahua Lin
35. Recovering Realistic Texture in Image Super-resolution by Spatial Feature Modulation
Xintao Wang, Ke Yu, Chao Dong, Chen Change Loy
36. Single View Stereo Matching
Yue Luo, Jimmy Ren, Mude Lin, Jiahao Pang,Wenxiu Sun, Hongsheng Li, Liang Lin
37. Temporal Hallucinating for Action Recognition with Few Still Images
Lei Zhou, Yali Wang, Yu Qiao
38. Towards Human-Machine Cooperation: Evolving Active Learning with Self-supervised Process for Object Detection
Keze Wang, Xiaopeng Yan, Lei Zhang, Liang Lin
39. Unifying Identification and Context Learning for Person Recognition
Qingqiu Huang, Yu Xiong, Dahua Lin
40. Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination
Zhirong Wu, Yuanjun Xiong, Stella Yu, Dahua Lin
41. Video Person Re-identification with Competitive Snippet-similarity Aggregation and Co-attentive Snippet Embedding
Dapeng Chen, Hongsheng Li, Tong Xiao, Shuai Yi, Xiaogang Wang
42. Visual Question Generation as Dual Task of Visual Question Answering
Yikang Li, Nan Duan, Bolei Zhou, Xiao Chu, Wanli Ouyang, Xiaogang Wang
43. Weakly Supervised Human Body Part Parsing via Pose-Guided Knowledge Transfer
Hao-Shu Fang, Guansong Lu, Xiaolin Fang, Jianwen Xie, Yu-Wing Tai, Cewu Lu
44. Zoom and Learn: Generalizing Deep Stereo Matching to Novel Domains
Jiahao Pang, Wenxiu Sun, Chengxi Yang, Jimmy Ren, Ruichao Xiao, Jin Zeng, Liang Lin
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
專題
