作者 | 朱軍楠、張家俊

多模態(tài)自動(dòng)文摘是指利用計(jì)算機(jī)實(shí)現(xiàn)從含有兩種或兩種以上模態(tài)（如圖片、文本等）的信息中生成圖文式摘要的過(guò)程。該技術(shù)可以廣泛應(yīng)用于新聞推送、跨境電商、產(chǎn)品描述自動(dòng)生成等多個(gè)領(lǐng)域，具有重要的研究?jī)r(jià)值和豐富的應(yīng)用場(chǎng)景。

近年來(lái)，隨著計(jì)算機(jī)視覺(jué)以及自然語(yǔ)言處理技術(shù)的發(fā)展，多模態(tài)自動(dòng)文摘技術(shù)逐漸成為學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)。當(dāng)前的多模態(tài)自動(dòng)文摘受限于數(shù)據(jù)集本身的原因只能采用文本模態(tài)的負(fù)對(duì)數(shù)似然損失作為目標(biāo)函數(shù)訓(xùn)練整個(gè)網(wǎng)絡(luò)，同時(shí)利用注意力機(jī)制來(lái)輔助挑選圖片。

這種做法容易帶來(lái)模態(tài)偏差的問(wèn)題，即整個(gè)網(wǎng)絡(luò)會(huì)傾向于優(yōu)化文本生成的質(zhì)量而忽視了圖片的挑選過(guò)程，如圖1所示。若只考慮文本模態(tài)的損失，B摘要是要優(yōu)于A摘要的，但是很顯然B摘要中的圖片的人物對(duì)應(yīng)關(guān)系不對(duì)；而當(dāng)我們引入圖片選擇的損失時(shí)，我們可以明顯的判斷出A摘要是優(yōu)于B摘要的，并且這也符合基本事實(shí)。

圖 1 模態(tài)偏差的示例

論文方法

針對(duì)于上述問(wèn)題，中科院自動(dòng)化所自然語(yǔ)言處理組博士生朱軍楠、周玉研究員、張家俊研究員、宗成慶研究員等提出了多模態(tài)基準(zhǔn)指導(dǎo)的多模態(tài)自動(dòng)文摘方法。基本想法是優(yōu)化多模態(tài)摘要訓(xùn)練的目標(biāo)函數(shù)，即在文本損失的基礎(chǔ)上增加圖片選擇的損失函數(shù)。

如圖2所示，該方法由三部分組成：

• （1）首先利用數(shù)據(jù)集本身的特征將只有文本基準(zhǔn)的訓(xùn)練數(shù)據(jù)擴(kuò)展至多模態(tài)基準(zhǔn)，主要采用兩種方式，即直接使用輸入圖片的順序?qū)D片進(jìn)行排序或者使用圖片的文字描述與標(biāo)準(zhǔn)文本摘要參考答案之間的ROUGE值大小對(duì)輸入圖片進(jìn)行排序；

• （2）在模型上添加圖片判別器用于訓(xùn)練圖片挑選的過(guò)程，模型的損失函數(shù)也由文本的損失函數(shù)及圖片挑選的損失函數(shù)加權(quán)求和而成；

• （3）通過(guò)數(shù)據(jù)集中的圖片和文本描述構(gòu)造文本-圖片對(duì)齊片段從而用來(lái)訓(xùn)練能夠更好地評(píng)價(jià)多模態(tài)片段的評(píng)價(jià)模型，具體而言我們將兩對(duì)圖片-描述的文本部分（或圖像部分）進(jìn)行交換去構(gòu)造兩個(gè)匹配的多模態(tài)片段，如圖3所示。

圖 2 多模態(tài)基準(zhǔn)指導(dǎo)的多模態(tài)自動(dòng)文摘框架圖

圖 3 多模態(tài)匹配片段構(gòu)造示意圖

 實(shí)驗(yàn)結(jié)果

目前多模態(tài)自動(dòng)文摘的數(shù)據(jù)集還比較匱乏，我們之前發(fā)布了一個(gè)公開(kāi)數(shù)據(jù)集MSMO，這項(xiàng)工作也在該數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證。在對(duì)比摘要方法的性能之前，我們首先需要明確應(yīng)該采用哪種評(píng)價(jià)指標(biāo)。在之前的工作中，圖文式摘要的評(píng)價(jià)關(guān)注三個(gè)方面的指標(biāo)：圖片準(zhǔn)確率(IP)、文本摘要的ROUGE值(ROUGE-L)以及系統(tǒng)輸出中圖片文本的相關(guān)度(Msim)。在我們的方法中，我們引入一個(gè)新的自動(dòng)評(píng)價(jià)指標(biāo)MRmax用來(lái)直接度量?jī)蓚€(gè)多模態(tài)信息之間的相似度（輸出和參考答案的最大相似度）。MMAE是對(duì)IP、ROUGE和Msim的組合，MMAE++是IP、ROUGE、Msim和MRmax四個(gè)自動(dòng)評(píng)價(jià)指標(biāo)的組合。我們利用與人工打分之間的相關(guān)度來(lái)對(duì)比不同的自動(dòng)評(píng)價(jià)指標(biāo)。

表 1 不同評(píng)價(jià)指標(biāo)與人工打分之間的相關(guān)度（分值越高、性能越好）

表1給出了不同的自動(dòng)評(píng)價(jià)指標(biāo)與人工打分的相關(guān)度，可以看出融入了直接測(cè)量多模態(tài)片段的評(píng)價(jià)指標(biāo)MR之后，新的自動(dòng)評(píng)價(jià)模型MMAE++相比于MMAE在與人工打分的相關(guān)度上有一個(gè)顯著的提升。為了衡量我們提出的多模態(tài)基準(zhǔn)指導(dǎo)的模型，我們同多個(gè)強(qiáng)基線模型進(jìn)行了對(duì)比，包括融入全局或者局部視覺(jué)特征的多模態(tài)注意力機(jī)制的生成式自動(dòng)文摘模型（ATG、ATL）、層次化的多模態(tài)自動(dòng)文摘模型（HAN）以及基于圖模型的抽取式自動(dòng)文摘模型（GR）。

表 2 不同模型生成的圖文式摘要的質(zhì)量對(duì)比（MOF表示多模態(tài)基準(zhǔn)指導(dǎo)的方法、RR表示通過(guò)ROUGE值對(duì)圖片排序，OR表示通過(guò)輸入圖片的順序?qū)D片排序，enc表示利用編碼器隱層狀態(tài)選擇圖片，dec表示利用解碼器隱層狀態(tài)選擇圖片）

表2給出了不同模型生成的圖文式摘要的質(zhì)量對(duì)比?？梢钥闯鲈谝攵嗄B(tài)基準(zhǔn)指導(dǎo)后，模型的圖片挑選質(zhì)量（IP）得到了顯著的改善，并且文本生成質(zhì)量也有略微改進(jìn)，從而生成更高質(zhì)量的圖文摘要。相對(duì)于使用編碼器隱層狀態(tài)而言，采用解碼器隱層狀態(tài)去進(jìn)行圖片選擇效果會(huì)更好。另一方面，使用圖片描述與文本摘要之間ROUGE值的大小對(duì)圖片排序獲得的多模態(tài)基準(zhǔn)對(duì)于模型的指導(dǎo)作用更加明顯。

表 3 圖片選擇的損失函數(shù)的權(quán)重大小

我們也對(duì)比了不同的圖片選擇損失函數(shù)權(quán)重對(duì)于模型性能的影響，可以看到當(dāng)圖片和文本的損失函數(shù)的權(quán)重都相同時(shí)，圖文摘要的質(zhì)量是最好的。

表 4 計(jì)算圖片損失中考慮的圖片的數(shù)量的影響

我們對(duì)比了在計(jì)算圖片損失中考慮的圖片數(shù)量（即top-K圖片作為gold standard）所帶來(lái)的影響，并且發(fā)現(xiàn)當(dāng) K=3的時(shí)候，模型取得了最好的效果。

相關(guān)細(xì)節(jié)可參考發(fā)表于人工智能頂級(jí)學(xué)術(shù)會(huì)議AAAI 2020的論文：

Junnan Zhu, Yu Zhou, Jiajun Zhang, Haoran Li, Chengqing Zong, Changliang Li. Multimodal Summarization with Guidance of Multimodal Reference. AAAI-2020.

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。