雷鋒網(wǎng) AI 科技評論：本文作者為香港中文大學(xué)林達華教授，雷鋒網(wǎng) AI 科技評論獲授權(quán)轉(zhuǎn)載。

今秋，在以水城而聞名的威尼斯，來自世界各地的三千多位學(xué)者薈萃一堂，共赴兩年一度的國際計算機視覺大會 (ICCV)。這次大會的一個重要亮點就是中國學(xué)者的強勢崛起。根據(jù)組委會公開的數(shù)字，會議 40% 的論文投稿來自中國的研究者。在中國的人工智能浪潮中，商湯科技以及它與港中文的聯(lián)合實驗室無疑是其中最有代表性的力量。在本屆 ICCV 大會，商湯科技與香港中大-商湯科技聯(lián)合實驗室共發(fā)表了 20 篇論文，其中包括 3 篇 Oral (錄取率僅 2.09%) 和 1 篇 Spotlight，領(lǐng)先 Facebook（15 篇）、Google Research（10 篇）等科技巨頭。

ICCV 是計算機視覺領(lǐng)域最高水平的國際學(xué)術(shù)會議，在其中發(fā)表的論文的量與質(zhì)可以衡量一個公司或者研究機構(gòu)的學(xué)術(shù)水平，以及其對未來科技發(fā)展潮流的把握。從商湯科技的 20 篇論文中，可以看到其在研究上重點發(fā)力的四大主線：

跨模態(tài)分析：讓視覺與自然語言聯(lián)合起來

在過去幾年，隨著深度學(xué)習(xí)的廣泛應(yīng)用，計算機視覺取得了突破性的發(fā)展，很多傳統(tǒng)任務(wù)（比如圖像分類，物體檢測，場景分割等）的性能大幅度提高。但是在更高的水平上，計算機視覺開始遇到了新的瓶頸。要獲得新的技術(shù)進步，一個重要的方向就是打破傳統(tǒng)視覺任務(wù)的藩籬，把視覺理解與自然語言等其它模態(tài)的數(shù)據(jù)結(jié)合起來。商湯科技很早就捕捉了這一趨勢，并投入重要力量進行開拓，取得了豐碩成果。在這一方向上，有 4 篇論文被 ICCV 2017 錄用，包括一篇 Oral。

Towards Diverse and Natural Image Descriptions via a Conditional GAN (Oral).

Bo Dai, Sanja Fidler, Raquel Urtasun, Dahua Lin. 

看圖說話，也就是根據(jù)圖像生成描述性標(biāo)題，是今年來非?；钴S的研究領(lǐng)域。現(xiàn)有的方法普遍存在一個問題，就是產(chǎn)生的標(biāo)題很多是訓(xùn)練集中的表述的簡單重復(fù)，讀起來味同嚼蠟。這一問題的根源在于學(xué)習(xí)目標(biāo)過分強調(diào)與訓(xùn)練集的相似性。這篇論文提出了一種新型的基于 Conditional GAN 的訓(xùn)練方法，把描述生成模型與評估模型合同訓(xùn)練。這樣，評估的標(biāo)準(zhǔn)從「像不像訓(xùn)練集」變成「像不像人說話」，從而驅(qū)動生成模型產(chǎn)生更加自然、生動，并具有豐富細(xì)節(jié)的描述。這一工作為看圖說話任務(wù)提供了新的思路。在 User Study 中，這種新的方法以 6:4 的勝率戰(zhàn)勝了傳統(tǒng)的方法。

另外兩篇 paper 則從相反的方向思考，力圖利用相關(guān)文本的信息來幫助提高視覺理解的能力。

Scene Graph Generation from Objects, Phrases and Caption Regions.

Yikang Li, Bolei Zhou, Wanli Ouyang, Xiaogang Wang, Kun Wang.

這篇論文把三個有密切關(guān)系的任務(wù)——物體檢測，場景圖生成，以及圖像區(qū)域的描述聯(lián)合在一起，并且利用它們之間的關(guān)系建立了一個多層次的場景描述模型——Multi-level Scene Description Network (MSDN)。通過這個聯(lián)合模型，傳統(tǒng)上分離開來的三個任務(wù)可以結(jié)合在一起進行端對端的訓(xùn)練，從而使得每個任務(wù)都獲得性能的提升。尤其在代表對圖像綜合理解能力的場景圖生成任務(wù)上，性能提高超過了 3%。

Learning to Disambiguate by Asking Discriminative Questions.

Yining Li, Chen Huang, Xiaoou Tang, Chen Change Loy.

這篇論文探索了一個新的方向，即透過提出有鑒別力的問題來區(qū)分不同的視覺實體。比如當(dāng)你需要區(qū)分一只白色的狗和一只黑色的狗的時候，可以提出關(guān)于顏色的問題。為了支持這個方向的探索，作者在這項工作中建立了一個新的數(shù)據(jù)集，里面含有了超過一萬組包含成對圖像與多個相關(guān)問題的樣本；并且提出了一種新型的弱監(jiān)督訓(xùn)練方法，可以在缺乏細(xì)致標(biāo)注的條件下，同時學(xué)習(xí)到一個具有區(qū)分度的問題生成器，以及能提供準(zhǔn)確答案的鑒別模型。

Identity-Aware Textual-Visual Matching with Latent Co-attention.

Shuang Li, Tong Xiao, Hongsheng Li, Wei Yang, Xiaogang Wang.

特征匹配是跨模態(tài)學(xué)習(xí)的核心環(huán)節(jié)。這篇論文提出了一個新的文本與視覺特征匹配的框架。這個框架由兩個階段組成。第一階段能迅速排除明顯錯誤的配對，并為第二階段的訓(xùn)練提供效度更高的訓(xùn)練樣本。第二階段通過一個新的關(guān)聯(lián)注意力模型（co-attention model），把文本中的單詞關(guān)聯(lián)到圖像中的特定區(qū)域。在三個公開數(shù)據(jù)集上（CUHK-PEDES, CUB, Flowers），本文提出的方法都顯著超過現(xiàn)行的主流方法。

視頻分析：讓計算機看懂視頻

雖然深度學(xué)習(xí)在圖像分析中取得了巨大的成功，它在視頻的理解與分析中的應(yīng)用還有很長的路要走。相比于圖像，視頻數(shù)據(jù)具有更大的數(shù)據(jù)量以及更豐富的結(jié)構(gòu)，因而也為視覺分析技術(shù)提出了更高水平的挑戰(zhàn)。商湯科技在數(shù)年前就開始了把深度學(xué)習(xí)用于視頻分析與理解的探索，提出了包括 Temporal Segmental Networks (TSN) 在內(nèi)的多種有很大影響并被廣泛應(yīng)用的視頻分析架構(gòu)，并在 ActivityNet 2016 取得了冠軍。在 2017 年，商湯科技以及相關(guān)實驗室繼續(xù)把這個方向的探索推向縱深，并在 ICCV 2017 發(fā)表了兩項重量級的工作，包括一篇 Oral。

RPAN: An End-To-End Recurrent Pose-Attention Network for Action Recognition in Videos. (Oral)

Wenbin Du; Yali Wang; Yu Qiao.

通常的視頻分析模型大部分是基于 video-level 的類別進行監(jiān)督學(xué)習(xí)的，這種方法的局限是難以學(xué)習(xí)到復(fù)雜的運動結(jié)構(gòu)。這篇論文另辟蹊徑，著力于動態(tài)人體的建模，并提出了一個新型的可以端對端訓(xùn)練的深度網(wǎng)絡(luò)架構(gòu) Recurrent Pose Attention Network (RPAN)。該架構(gòu)不僅可以自適應(yīng)地整合人體運動姿態(tài)的特征，還能很好地學(xué)習(xí)其時空演化結(jié)構(gòu)。這項工作一方面為視頻動作理解提供了新的方法，另一方面作為副產(chǎn)品也獲得了一個不錯的粗粒度姿態(tài)估計的模型。

Temporal Action Detection with Structured Segment Networks.

Yue Zhao, Yuanjun Xiong, Limin Wang, Zhirong Wu, Xiaoou Tang, Dahua Lin

時域上的動作檢測是近兩年興起的新型視頻分析任務(wù)。相比于傳統(tǒng)的動作分類，這個任務(wù)更具有挑戰(zhàn)性，不僅需要判斷一個運動或者事件的類型，還需要獲得它的準(zhǔn)確起止時間。這個任務(wù)在實際場景中有很大的潛在價值，比如它可以從長時間的運動視頻或者電影中自動定位到相關(guān)的精彩片段。這篇論文提出了一種新型的視頻動作檢測模型，它在 TSN 的基礎(chǔ)上引入了三段結(jié)構(gòu)模型以更有效地捕捉運動起始段與終結(jié)段的特征?；谶@一架構(gòu)，動作分類器與時間定位器可以端到端聯(lián)合訓(xùn)練。這個方法在多個大型視頻數(shù)據(jù)集上（包括 THOMOS 和 ActivityNet）取得了比現(xiàn)有方法超過 10 個百分點的提升。

生成對抗網(wǎng)絡(luò)：讓計算機學(xué)習(xí)創(chuàng)作

最近兩年，由于生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks）的提出，生成模型（generative model）的學(xué)習(xí)成為一個新興的研究方向。和傳統(tǒng)的鑒別模型（discriminative model）主要關(guān)注信息提煉不同，生成模型需要從零開始，或者基于信息量非常有限的給定條件，產(chǎn)生出完整的圖像，因此特別具有挑戰(zhàn)性。這個研究方向在消費領(lǐng)域具有巨大的應(yīng)用價值，同時它也可以通過產(chǎn)生訓(xùn)練樣本的方式反哺傳統(tǒng)領(lǐng)域的研究。商湯科技在這個新興領(lǐng)域也積極開展研究，取得不少新的成果，并在 ICCV 2017 發(fā)表了兩項相關(guān)工作，包括一篇 Oral。

StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks.n (Oral)

Han Zhang, Ttao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, Dimitris Metaxas.

生成高質(zhì)量的圖像是生成模型研究的核心問題。這篇文章提出了一個新型的生成框架，StackGAN，它能夠根據(jù)簡短的文字描述生成解析度為 256 x 256 的高質(zhì)量圖片。生成如此高解析度的照片是一個極具挑戰(zhàn)性的問題，此前的生成模型通常只能產(chǎn)生大小為 64 x 64 的圖片。本文提出的方法把這個困難的任務(wù)分解為兩個階段。在第一階段，先根據(jù)文字描述產(chǎn)生粗粒度的草圖，以第一階段的結(jié)果作為輸入，第二階段產(chǎn)生高解析度的圖像，并補充豐富的細(xì)節(jié)。此文還進一步提出了一種新型的條件增強技術(shù)，以改進訓(xùn)練過程的穩(wěn)定性。和現(xiàn)有的生成網(wǎng)絡(luò)相比，StackGAN 在生成圖片的質(zhì)量的解析度上獲得了非常顯著的進步。

Be Your Own Prada: Fashion Synthesis with Structural Coherence.

Shizhan Zhu, Sanja Fidler, Raquel Urtasun, Dahua Lin, Chen Change Loy

這篇文章探索了一個極具應(yīng)用價值的方向，把生成模型引入時尚領(lǐng)域：提出一種嶄新的方法產(chǎn)生換裝照片。具體而言，給定一個人的照片，以及對換裝的描述，此文提出的方法可以根據(jù)對換裝的描述，比如「黑色的短袖長裙」，產(chǎn)生換裝后的照片。和一般的生成任務(wù)相比，換裝任務(wù)更具挑戰(zhàn)性，換裝照不僅需要符合文字描述，而且需要和原照片中人體的姿態(tài)相吻合。此文提出一個兩階段的框架解決這個問題：第一階段產(chǎn)生一個和人體姿態(tài)吻合的分區(qū)圖，第二階段以此為基礎(chǔ)生成具有精細(xì)細(xì)節(jié)的服裝圖像。

除了在新興方向上積極開拓，商湯科技在一些重要的核心領(lǐng)域，包括人臉檢測、物體檢測、人體姿態(tài)估計、實際場景中的身份再識別等，也持續(xù)投入，精益求精，在本屆 ICCV 發(fā)表多篇相關(guān)論文。

商湯科技 ICCV 2017 論文列表：

1. 「StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks」. Han Zhang, Ttao Xu, Hongsheng Li, Shaoting Zhang, Xiaogang Wang, Xiaolei Huang, Dimitris Metaxas.

2. 「Scene Graph Generation from Objects, Phrases and Caption Regions」. Yikang Li, Bolei Zhou, Wanli Ouyang, Xiaogang Wang, Kun Wang.

3. 「Online Multi-Object Tracking Using Single Object Tracker with Spatial and Temporal Attention」. Qi Chu, Wanli Ouyang, Hongsheng Li, Xiaogang Wang, Nenghai Yu.

4. 「Learning Feature Pyramids for Human Pose Estimation」. Wei Yang, Wanli Ouyang, Shuang Li, Xiaogang Wang.

5. 「Learning Chained Deep Features and Classifiers for Cascade in Object Detection」. Wanli Ouyang, Xiaogang Wang, Kun Wang, Xin Zhu.

6. 「Identity-Aware Textual-Visual Matching with Latent Co-attention」. Shuang Li, Tong Xiao, Hongsheng Li, Wei Yang, Xiaogang Wang.

7. 「Towards Diverse and Natural Image Descriptions via a Conditional GAN」. Bo Dai, Sanja Fidler, Raquel Urtasun, Dahua Lin.

8. 「Temporal Action Detection with Structured Segment Networks」. Yue Zhao, Yuanjun Xiong, Limin Wang, Zhirong Wu, Xiaoou Tang, Dahua Lin.

9. 「Learning to Disambiguate by Asking Discriminative Questions」. Yining Li, Chen Huang, Xiaoou Tang, Chen Change Loy.

10. 「Be Your Own Prada: Fashion Synthesis with Structural Coherence」. Shizhan Zhu, Sanja Fidler, Raquel Urtasun, Dahua Lin, Chen Change Loy.

11. 「Recurrent Scale Approximation for Object Detection in CNN」. Yu LIU, Hongyang Li, Junjie Yan, Xiaogang Wang, Xiaoou Tang.

12. 「Orientation Invariant Feature Embedding and Spatial Temporal Re-ranking for Vehicle Re-identification」. Zhongdao Wang, Luming Tang, Xihui Liu, Zhuliang Yao, Shuai Yi, Jing Shao, Junjie Yan, Shengjin Wang, Hongsheng Li, Xiaogang Wang.

13. 「Multi-label Image Recognition by Recurrently Discovering Attentional Regions」. Zhouxia Wang, Tianshui Chen, Guanbin Li, Ruijia Xu, Liang Lin.

14. 「HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis」. Xihui Liu, Haiyu Zhao, Maoqing Tian, Lu Sheng, Jing Shao, Shuai Yi, Junjie Yan, Xiaogang Wang.

15. 「Learning Deep Neural Networks for Vehicle Re-ID with Visual-spatio-temporal Path Proposals」. Yantao Shen, Tong Xiao, Hongsheng Li, Shuai Yi, Xiaogang Wang.

16. 「Deep Dual Learning for Semantic Image Segmentation」. Ping Luo, Guangrun Wang, Liang Lin, Xiaogang Wang.

17. 「Detecting Faces Using Inside Cascaded Contextual CNN」. Kaipeng Zhan, Zhanpeng Zhang, Hao Wang, Zhifeng Li, Yu Qiao, Wei Liu.

18. 「Single Shot Text Detector With Regional Attention」. Pan He; Weilin Huang, Tong He, Qile Zhu, Yu Qiao, Xiaolin Li.

19. 「RPAN: An End-To-End Recurrent Pose-Attention Network for Action Recognition in Videos」. Wenbin Du, Yali Wang, Yu Qiao.

20. 「Range Loss for Deep Face Recognition With Long-Tailed Training Data」. Xiao Zhang, Zhiyuan Fang, Yandong Wen, Zhifeng Li, Yu Qiao.

更多資訊，敬請關(guān)注雷鋒網(wǎng)AI科技評論。

---

4月19日 20:30-21:30 ，雷鋒網(wǎng)旗下學(xué)術(shù)頻道 AI 科技評論聯(lián)合AI慕課學(xué)院、騰訊課堂邀請商湯科技聯(lián)合創(chuàng)始人陳宇恒為大家?guī)硪粓鲋辈シ窒恚↑c擊鏈接報名參與吧?。?br/>

課程主題：《人工智能的系統(tǒng)工程與系統(tǒng)工程中的人工智能應(yīng)用》

報名鏈接：https://ke.qq.com/huodong/aiqzzty_pc/index.html#tuin=8f7939df

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。