AI 科技評(píng)論報(bào)道

編輯 | 陳大鑫

給大家出一道視覺(jué)問(wèn)答題：在下面這張圖片中，根據(jù)有禮服裝飾的小熊玩具照片推理出這些玩具用來(lái)做什么的？

一個(gè)可能的答案或許是“婚禮”～

這道題對(duì)人類而言太簡(jiǎn)單不過(guò)了，那么對(duì) AI 來(lái)說(shuō)呢？

AI 在這視覺(jué)問(wèn)答方面能和人類相比嗎？

答案來(lái)了——歷時(shí)6年，在機(jī)器視覺(jué)問(wèn)答領(lǐng)域，第一位得分超越人類的AI選手誕生了！

8月12日，AI 科技評(píng)論注意到，國(guó)際權(quán)威機(jī)器視覺(jué)問(wèn)答榜單 VQA Leaderboard出現(xiàn)關(guān)鍵突破：阿里巴巴達(dá)摩院以81.26%的準(zhǔn)確率創(chuàng)造了新紀(jì)錄，讓AI在“讀圖會(huì)意”上首次超越人類基準(zhǔn)。繼2015年、2018年AI分別在視覺(jué)識(shí)別及文本理解領(lǐng)域超越人類分?jǐn)?shù)后，人工智能在多模態(tài)技術(shù)領(lǐng)域也迎來(lái)一大進(jìn)展。

圖注：達(dá)摩院AliceMind在VQA Leaderboard上創(chuàng)造首次超越人類的紀(jì)錄

比較難得的是，3年前，讓中國(guó)AI在文本理解領(lǐng)域歷史性超越人類的，同樣是達(dá)摩院AI研究團(tuán)隊(duì)。

1

VQA是什么？

近10年來(lái)，AI技術(shù)保持高速發(fā)展，AI模型已在多個(gè)任務(wù)和技能上達(dá)到超越人類的水平，比如在游戲領(lǐng)域，強(qiáng)化學(xué)習(xí)智能體 AlphaGo 2016 年擊敗了世界頂尖棋手李世石；在視覺(jué)理解領(lǐng)域，以 CNN 為代表的卷積類模型 2015 年在 ImageNet視覺(jué)分類任務(wù)上超越了人類成績(jī)；在文本理解領(lǐng)域，2018年微軟與阿里幾乎同時(shí)在斯坦福SQuAD挑戰(zhàn)賽上讓 AI 閱讀理解超越了人類基準(zhǔn)。

然而，在視覺(jué)問(wèn)答VQA(Visual Question Answering）這一涉及視覺(jué)-文本多模態(tài)理解的高階認(rèn)知任務(wù)上，AI 過(guò)去始終未取得超越人類水平的突破。

“詩(shī)是無(wú)形畫(huà)，畫(huà)是有形詩(shī)?！?/span>宋代詩(shī)人張舜民曾如此描繪語(yǔ)言與視覺(jué)的相通之處。隨著深度學(xué)習(xí)、視覺(jué)理解、文本理解等領(lǐng)域高速發(fā)展，自然語(yǔ)言技術(shù)與計(jì)算機(jī)視覺(jué)交融逐漸成為多模態(tài)領(lǐng)域重要的前沿研究方向。其中，VQA是多模態(tài)領(lǐng)域挑戰(zhàn)極高的核心任務(wù)，解決VQA挑戰(zhàn)，對(duì)研發(fā)通用人工智能具有重要意義。

為鼓勵(lì)攻克這一難題，全球計(jì)算機(jī)視覺(jué)頂會(huì)CVPR從2015年起連續(xù)6年舉辦VQA挑戰(zhàn)賽，吸引了包括微軟、Facebook、斯坦福大學(xué)、阿里巴巴、百度等眾多頂尖機(jī)構(gòu)參與，形成了國(guó)際上規(guī)模最大、認(rèn)可度最高的VQA數(shù)據(jù)集，其包含超20萬(wàn)張真實(shí)照片、110萬(wàn)道考題。

VQA 是AI領(lǐng)域難度最高的挑戰(zhàn)之一。在測(cè)試中，AI需根據(jù)給定圖片及自然語(yǔ)言問(wèn)題生成正確的自然語(yǔ)言回答。這意味著單個(gè)AI模型需融合復(fù)雜的計(jì)算機(jī)視覺(jué)及自然語(yǔ)言技術(shù)：首先對(duì)所有圖像信息進(jìn)行掃描，再結(jié)合對(duì)文本問(wèn)題的理解，利用多模態(tài)技術(shù)學(xué)習(xí)圖文的關(guān)聯(lián)性、精準(zhǔn)定位相關(guān)圖像信息，最后根據(jù)常識(shí)及推理回答問(wèn)題。

今年6月，阿里達(dá)摩院在 VQA 2021 Challenge 的55支提交隊(duì)伍中奪冠，成績(jī)領(lǐng)先第二名約1個(gè)百分點(diǎn)、去年冠軍3.4個(gè)百分點(diǎn)。兩個(gè)月后，達(dá)摩院再次以81.26%的準(zhǔn)確率創(chuàng)造VQA Leaderboard全球紀(jì)錄，首次超越人類基準(zhǔn)線80.83%。

這一結(jié)果意味著，AI 在封閉數(shù)據(jù)集內(nèi)的 VQA 表現(xiàn)已媲美人類。

面對(duì)更開(kāi)放的現(xiàn)實(shí)世界，AI一定會(huì)遇到新的挑戰(zhàn),需要喂更多的數(shù)據(jù)、進(jìn)一步提升模型。但和 CV 等領(lǐng)域的發(fā)展一樣，這一結(jié)果依然具有標(biāo)志性意義，相信VQA技術(shù)在現(xiàn)實(shí)中的表現(xiàn)提升只是時(shí)間問(wèn)題。

圖注：VQA技術(shù)自2015年的進(jìn)展

2

VQA分?jǐn)?shù)超人類如何誕生？

VQA挑戰(zhàn)的核心難點(diǎn)在于，需在單模態(tài)精準(zhǔn)理解的基礎(chǔ)上，整合多模態(tài)的信息進(jìn)行聯(lián)合推理認(rèn)知，最終實(shí)現(xiàn)跨模態(tài)理解，即在統(tǒng)一模型里做不同模態(tài)的語(yǔ)義映射和對(duì)齊。

據(jù)了解，為了解決VQA挑戰(zhàn)，達(dá)摩院語(yǔ)言技術(shù)實(shí)驗(yàn)室及視覺(jué)實(shí)驗(yàn)室對(duì)AI視覺(jué)-文本推理體系進(jìn)行了系統(tǒng)性的設(shè)計(jì)，融合了大量算法創(chuàng)新，包括：

1. 多樣性的視覺(jué)特征表示，從各方面刻畫(huà)圖片的局部和全局語(yǔ)義信息，同時(shí)使用Region，Grid，Patch等視覺(jué)特征表示，以更精準(zhǔn)地進(jìn)行單模態(tài)理解；
2. 基于海量圖文數(shù)據(jù)和多粒度視覺(jué)特征的多模態(tài)預(yù)訓(xùn)練，用于更好地進(jìn)行多模態(tài)信息融合和語(yǔ)義映射，創(chuàng)新性地提出了SemVLP，Grid-VLP，E2E-VLP和Fusion-VLP等預(yù)訓(xùn)練模型；
3. 研發(fā)自適應(yīng)的跨模態(tài)語(yǔ)義融合和對(duì)齊技術(shù)，創(chuàng)新性地在多模態(tài)預(yù)訓(xùn)練模型中加入Learning to Attend機(jī)制來(lái)進(jìn)行跨模態(tài)信息地高效深度融合；

    4.采用Mixture of Experts (MOE)技術(shù)進(jìn)行知識(shí)驅(qū)動(dòng)的多技能AI集成。

其中自研的多模態(tài)預(yù)訓(xùn)練模型E2E-VLP，StructuralLM已被國(guó)際頂級(jí)會(huì)議ACL2021接受。

模型大圖如下：

這不是達(dá)摩院第一次在 AI 關(guān)鍵領(lǐng)域超越人類。

早在2018年，作為業(yè)界最早投入預(yù)訓(xùn)練語(yǔ)言模型研究的機(jī)構(gòu)之一，達(dá)摩院前身IDST曾在斯坦福SQuAD挑戰(zhàn)賽中歷史性地讓機(jī)器閱讀理解首次超越人類，轟動(dòng)全球。

3

VQA 考高分有什么用？

達(dá)摩院語(yǔ)言技術(shù)實(shí)驗(yàn)室負(fù)責(zé)人司羅曾表示，“人工智能分為計(jì)算智能、感知智能、認(rèn)知智能、創(chuàng)造智能四個(gè)層次?！?/span>

本次，AI 在視覺(jué)-文本跨模態(tài)理解及推理上媲美人類的水平，意味著 AI 向認(rèn)知智能邁進(jìn)了關(guān)鍵一步。

據(jù)了解，VQA 技術(shù)擁有廣闊的應(yīng)用場(chǎng)景，可用于圖文閱讀、跨模態(tài)搜索、盲人視覺(jué)問(wèn)答、醫(yī)療問(wèn)診、智能駕駛、虛擬主播等領(lǐng)域，或?qū)⒆兏锶藱C(jī)交互方式。目前，VQA 技術(shù)已在阿里內(nèi)部應(yīng)用于商品圖文理解、智能客服等場(chǎng)景。

在阿里平臺(tái)上，達(dá)摩院VQA能力已實(shí)現(xiàn)較大范圍工業(yè)應(yīng)用落地，典型VQA應(yīng)用包括：1、商品圖文信息理解；2、直播視頻交互；3、多模態(tài)搜索。

4

VQA考卷有多難？

對(duì)單一AI模型來(lái)說(shuō)，VQA 考卷難度堪稱“變態(tài)”。

要拿到漂亮的分?jǐn)?shù)，AI不僅要修煉好圖像識(shí)別、文本識(shí)別、文本理解等基本功，還要解鎖計(jì)數(shù)、讀鐘表、推理認(rèn)知等附加技能，此外還必須擁有百科全書(shū)的豐富常識(shí)。

比如，在下面這道VQA考題中，根據(jù)男人帽子上的字母“B”+問(wèn)題“男人的橄欖球帽代表哪只球隊(duì)？”

AI 要推理出答案“波士頓球隊(duì)”。

根據(jù)士兵玩具和戰(zhàn)斗場(chǎng)景+問(wèn)題“圖中玩具人的IP出自哪部電影？？”AI要推理出答案“星球大戰(zhàn)”。

6年前，這些問(wèn)題對(duì)AI來(lái)說(shuō)難度極高。經(jīng)過(guò)多年的技術(shù)積累，達(dá)摩院AliceMind在VQA測(cè)試中拿到了超81分的成績(jī)，基本達(dá)到普通人看圖問(wèn)答的水準(zhǔn)。

相信AI未來(lái)將給人類帶來(lái)更多驚喜。

AI科技評(píng)論這里展示一些部分 AliceMind 回答正確的VQA挑戰(zhàn)示例：

百科知識(shí)：

人文地理：

生活技能：計(jì)數(shù)、讀鐘表、識(shí)顏色、識(shí)路牌

體育娛樂(lè)：

視覺(jué)推理：

好家伙，AI 真是變的越來(lái)越厲害了，人類危險(xiǎn)了（嗎）......

論文鏈接：

1. E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning, ACL2021

2. A Structural Pre-trained Model for Table and Form Understanding, ACL 2021 

3. SemVLP: Vision-Language Pre-training by Aligning Semantics at Multiple Levels 

VQA示例鏈接：

https://nlp.aliyun.com/portal#/multi_modal

達(dá)摩院AliceMind開(kāi)源鏈接：

https://github.com/alibaba/AliceMind

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。