雷鋒網(wǎng) AI 科技評論按：圖像描述生成技術是一個計算機視覺與 NLP 交叉研究領域的研究領域，在如今的浪潮下更顯火熱。今年 8 月，騰訊 AI Lab 憑借自主研發(fā)的強化學習算法在微軟 MS COCO 相關的 Image Captioning 任務上排名第一，超過了微軟、谷歌、IBM 等參賽公司。

據(jù)雷鋒網(wǎng)了解，MS COCO (Microsoft Common Objects in Context，常見物體圖像識別) 數(shù)據(jù)集（http://cocodataset.org/）是由微軟發(fā)布并維護的圖像數(shù)據(jù)集。在這個數(shù)據(jù)集上，共有物體檢測 (Detection)、人體關鍵點檢測 (Keypoints)、圖像分割 (Stuff)、圖像描述生成 (Captions) 四個類別的比賽任務。由于這些視覺任務是計算機視覺領域當前最受關注和最有代表性的，MS COCO 成為了圖像理解與分析方向最重要的標桿之一。其中圖像描述生成任務 (Captions)，需要同時對圖像與文本進行深度的理解與分析，相比其他三個任務更具有挑戰(zhàn)性，因此也吸引了更多的工業(yè)界（Google，IBM，Microsoft）以及國際頂尖院校（UC Berkeley、Stanford University）的參賽隊伍，迄今共有 80 個隊伍參與這項比賽。

通俗來說，圖像描述生成（image captioning）研究的是使機器擁有人類理解圖像的能力，并用人類語言描述感知到的圖像內(nèi)容。圖像描述生成使得機器可以幫助有視覺障礙的人來理解圖像，給圖像提供除了標簽（tag）以外更加豐富的描述，因此這項任務具有廣泛的實際意義。

從學術研究的角度來說，圖像描述生成的研究不僅僅需要理解圖像，更需要理解自然語言，是一個跨學科跨模態(tài)的交叉研究課題，也是對深度神經(jīng)網(wǎng)絡的學習能力向多個數(shù)據(jù)域擴展的一步重要的探索。因此，眾多科技企業(yè)和科研機構參與了此任務，包括 Google [1][3]、Microsoft [5]、IBM [2]、Snapchat [4]、Montreal/Toronto University [6]、UC Berkeley [7]、 Stanford University [8]、百度 [9] 等。

雷鋒網(wǎng)獲悉，最近騰訊 AI Lab 研發(fā)了新的強化學習算法（Reinforcement Learning）以進一步提高圖像描述生成的模型能力，如上圖所示。相應的圖像描述生成模型，采用了編碼器-解碼器（encoder-decoder）[1] 的框架，同時引入了注意力（attention）的機制 [3]?；谥把芯康目臻g和通道注意力模型（spatial and channel-wise attention）[10] 的研究成果, AI Lab 構建了新網(wǎng)絡模型引入了一個多階段的注意力機制（Multi-stage Attention）。編碼器，使用已有的圖像卷積神經(jīng)網(wǎng)絡（CNN）如 VGG，Inception，ResNet 等，將給定的圖像編碼成為蘊含圖像語義信息的向量。

這些向量能夠表征圖像不同尺度的語義信息，譬如全局的語義、多尺度的局部語義。解碼器，使用當前最流行的長短時記憶模型（LSTM），將編碼器得到的圖像的全局和局部語義向量，解碼生成描述圖像內(nèi)容的文本語句。正是在解碼的過程中，AI Lab 創(chuàng)新性地使用了多階段的注意力機制：將圖像不同尺度的局部語義信息，通過不同階段的注意力模塊，嵌入到每一個單詞的生成過程中；同時注意力模塊需要考慮不同尺度引入的不同階段的注意力信號強弱。

除了引入多階段的注意力機制，AI Lab 所研發(fā)的強化學習算法能進一步提升構建的網(wǎng)絡模型的訓練效果。使用傳統(tǒng)的交叉熵（cross entropy）作為損失函數(shù)進行訓練，無法充分地優(yōu)化圖像描述生成的衡量指標，譬如 BLEU，METEOR，ROUGE，CIDER，SPICE 等。這些衡量指標作為損失函數(shù)都是不可微的。針對此不可微的問題，AI Lab 使用強化學習算法訓練網(wǎng)絡模型以優(yōu)化這些衡量指標。

訓練過程可以總結為以下幾個階段：

• 給定一幅圖像，通過深度網(wǎng)絡模型產(chǎn)生相應的語句；

• 將相應的語句與標注語句比對以計算相應的衡量指標；

• 使用強化學習構建深度網(wǎng)絡模型的梯度信息，執(zhí)行梯度下降完成網(wǎng)絡的最終優(yōu)化。

經(jīng)過充分的訓練，騰訊 AI Lab 研發(fā)的圖像描述生成模型在微軟 MS COCO 的 Captions 任務上排名第一，超過了微軟、谷歌、IBM 等科技公司。

[1]. O. Vinyals, A. Toshev, S. Bengio, and D. Erhan,「Show and Tell: A Neural Image Caption Generator」, CVPR 2015.

[2]. S. J. Rennie, E. Marcheret, Y. Mroueh, J. Ross, and V. Goel,「Self-critical Sequence Training for Image Captioning」, CVPR 2017.

[3]. S. Liu; Z. Zhu; N. Ye; S. Guadarrama; and K. Murphy,「Improved Image Captioning via Policy Gradient Optimization of SPIDEr」, ICCV 2017.

[4]. Z. Ren, X. Wang, N. Zhang, X. Lv, and Li-Jia Li,「Deep Reinforcement Learning-Based Image Captioning With Embedding Reward」, CVPR 2017.

[5]. H. Fang, S. Gupta, F. Iandola, R. Srivastava, L. Deng, P. Dollár, J. Gao, X. He, M. Mitchell, J. Platt, C.L. Zitnick, and G. Zweig,「From Captions to Visual Concepts and Back」, CVPR 2015.

[6]. K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhudinov, R. Zemel, and Y. Bengio. Show,「Attend and Tell: Neural Image Caption Generation with Visual Attention」, ICML 2015.

[7]. J. Donahue, L. Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell,「Long-term Recurrent Convolutional Networks for Visual Recognition and Description」, CVPR 2015.

[8]. A. Karpathy and Li Fei-Fei,「Deep Visual-Semantic Alignments for Generating Image Descriptions」, CVPR 2015.

[9]. J. Mao, W. Xu, Y. Yang, J. Wang, and A. L. Yuille,「Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)」, ICLR 2015.

[10]. L. Chen, H. Zhang, J. Xiao, L. Nie, J. Shao, W. Liu, and T. Chua,「SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning」, CVPR 2017.

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。