雷鋒網(wǎng) AI 科技評(píng)論按：隨著深度學(xué)習(xí)模型自身的學(xué)習(xí)和表達(dá)能力的提高，越來(lái)越多的研究員已經(jīng)把注意力轉(zhuǎn)向了如何讓 AI 和人類更好地互動(dòng)。這就是一批難得多的問(wèn)題了，之前雷鋒網(wǎng) AI 科技評(píng)論也報(bào)道過(guò) Facebook AI 研究院在基于圖像的對(duì)話系統(tǒng)方面的研究進(jìn)展。

近期的 NIPS 2017 上，IBM AI 研究院和伊利諾伊大學(xué)厄巴納-香檳分校（UIUC）共同組成的團(tuán)隊(duì)也有一篇論文被收錄為口頭報(bào)告論文（錄取率僅為1.2%），其中提出了一種新的監(jiān)督學(xué)習(xí)算法，用來(lái)解決 AI 領(lǐng)域廣為人知的場(chǎng)景認(rèn)知（textual grounding）問(wèn)題，同時(shí)撰寫了一篇博文簡(jiǎn)單介紹了論文成果。雷鋒網(wǎng) AI 科技評(píng)論把這篇博文編譯如下。

想象這樣一種情況，你想讓別人遞一件東西給你。你可能會(huì)說(shuō)：「幫我拿一下你左邊那張桌子上的藍(lán)色鋼筆吧?！谷撕腿酥g就是這樣溝通的，用自然語(yǔ)言描述場(chǎng)景和目標(biāo)物體。然而，想要教會(huì)人工智能系統(tǒng)執(zhí)行這樣的指令從來(lái)都是一件非常困難的事情。AI 可能可以識(shí)別「藍(lán)色的鋼筆」以及「桌子」這樣的物體，但是如果有一張以上的桌子，就不一定知道是哪一張桌子了。這里欠缺的就是如何教會(huì)系統(tǒng)把給定圖像、給定場(chǎng)景中的東西和輸入的文本準(zhǔn)確地聯(lián)系起來(lái)。AI 系統(tǒng)的視野里往往會(huì)有許許多多的其它物體，而想要找的目標(biāo)只是在某一個(gè)特定的小區(qū)域里而已。

如今的智能系統(tǒng)已經(jīng)可以搭載各種各樣的傳感器，輕松地通過(guò)圖像（甚至視頻）和聲音的形式捕捉周圍環(huán)境的細(xì)節(jié)信息。但是如果想要弄懂這些記錄的信息，然后基于它們跟人類進(jìn)行互動(dòng)的話，智能系統(tǒng)就需要在人類的話語(yǔ)和圖像之間建立聯(lián)系。場(chǎng)景認(rèn)知要解決的就是把文本詞組（比如語(yǔ)音識(shí)別引擎識(shí)別得到的話語(yǔ)）和圖像中的區(qū)域連接起來(lái)的問(wèn)題。換句話說(shuō)，對(duì)于話語(yǔ)中提到的每一個(gè)物體（比如「藍(lán)色的鋼筆」和「你左邊的桌子」），都要在圖像中找到包含它的區(qū)域（這樣系統(tǒng)就知道去那里幫你取了）。

很容易想到，場(chǎng)景認(rèn)知有許多可能的應(yīng)用領(lǐng)域，上面提到的這個(gè)人和 AI 互動(dòng)的例子就是一種簡(jiǎn)單的情況。

IBM 和 UIUC 聯(lián)合開(kāi)發(fā)的算法在兩個(gè)廣泛使用的數(shù)據(jù)集中都刷新了當(dāng)前的最好成績(jī)：在 Flickr 30K 實(shí)體數(shù)據(jù)集上達(dá)到了 53.97% 準(zhǔn)確率，超過(guò)此前最佳的 50.89%；然后在 ReferItGame 數(shù)據(jù)集上獲得了 34.7% 的準(zhǔn)確率，超過(guò)此前最佳的 26.93%。算法的輸出如下圖所示。

兩位戴著插花帽子的女士正在擺pose

在 IBM 和 UIUC 的研究人員們看來(lái)，這項(xiàng)成果的最大意義并不僅僅在于數(shù)據(jù)集上的準(zhǔn)確率數(shù)字的提升（當(dāng)然這確實(shí)也是一項(xiàng)重要的指標(biāo)），更重要的是所提出的方法也相當(dāng)優(yōu)雅。下面圖中就是所提方法的示意圖。

所提模型的總體結(jié)構(gòu)

許多現(xiàn)有方法都是基于深度學(xué)習(xí)的，圖像中的特征通過(guò)端到端的訓(xùn)練方式進(jìn)行提取，但這樣得到的特征的含義就很難解釋。這篇論文中作者們提出的是一個(gè)混合型的方案，把一組顯式地提取出的特征（文中稱作「分?jǐn)?shù)表」score maps）和一個(gè)構(gòu)建出的 SVM 模型結(jié)合在一起。特征的分?jǐn)?shù)表是可以拓展的，所以算法可以輕松地包含任何新的特征。論文中選擇了一些容易獲得的特征，比如從輸入問(wèn)句中得到的單詞先驗(yàn)知識(shí)、區(qū)域幾何偏好，以及其它一些語(yǔ)意分割、目標(biāo)檢測(cè)、位姿估計(jì)這樣的依靠深度神經(jīng)網(wǎng)絡(luò)得到的「圖像概念」。

在多數(shù)現(xiàn)有模型中，對(duì)于給定的一組候選區(qū)域，推理過(guò)程中都做的是相對(duì)簡(jiǎn)單直接的矩陣向量相乘操作。而對(duì)于論文中的混合模型，推理過(guò)程中要求解一個(gè)最小能量問(wèn)題，它會(huì)搜索所有可能的邊界框，找到最匹配程度最高的那個(gè)。

為了能夠解出這個(gè)最小能量問(wèn)題，作者們使用了一個(gè)帶有分支定界 (branch and bound) 的子窗口搜索算算法，使得這個(gè)混合模型的端到端訓(xùn)練具有計(jì)算可行性（因?yàn)橛?xùn)練的時(shí)候需要多次求解最小能量問(wèn)題）。作者們還對(duì)目標(biāo)函數(shù)定義了一個(gè)帶有可以輕松算出邊界的恰當(dāng)能量函數(shù)，以便高效地求解問(wèn)題，并且可以去掉目前多數(shù)場(chǎng)景認(rèn)知模型都用到的提出候選區(qū)域這個(gè)過(guò)程。

測(cè)試中，這個(gè)模型在場(chǎng)景認(rèn)知的質(zhì)量和可解釋性兩個(gè)方面都帶來(lái)了巨大的提升?？山忉屝缘囊环N體現(xiàn)是單詞嵌入，比如詢問(wèn)語(yǔ)句的表征；對(duì)于這個(gè)模型，每個(gè)嵌入元素都可以和顯式提取出的特征分?jǐn)?shù)表（或者圖像概念）產(chǎn)生直接的關(guān)聯(lián)。當(dāng)計(jì)算兩個(gè)單詞向量的余弦相似度的時(shí)候，這種嵌入的好處就可以得到明顯的體現(xiàn)，同時(shí)也說(shuō)明了比較接近的語(yǔ)句之間在語(yǔ)義上也有關(guān)聯(lián)性（而且可以據(jù)此進(jìn)行分組）。比如，「茶杯」、「飲料」、「咖啡」三個(gè)單詞在語(yǔ)義上比較接近，在單詞嵌入空間中它們的相似度也就遠(yuǎn)高于和其它不相關(guān)的單詞之間的相似度。

研究員們未來(lái)的研究計(jì)劃包括，把圖像特征和輸入詞句連接起來(lái)以提升可解釋性，以及把結(jié)構(gòu)化信息顯式地加入到模型中任何可能的位置上（比如這項(xiàng)研究中就有結(jié)構(gòu)化輸出）。作者們也意識(shí)到，從他們初次發(fā)表這項(xiàng)研究到現(xiàn)在，場(chǎng)景認(rèn)知方面又有了許多新的論文、新的研究結(jié)果，所以他們也會(huì)向著「讓人類和計(jì)算機(jī)之間更好地互動(dòng)」的目標(biāo)繼續(xù)進(jìn)行場(chǎng)景認(rèn)知研究。

論文地址：papers.nips.cc/paper/6787/textual-grounding

via IBM Research，雷鋒網(wǎng) AI 科技評(píng)論編譯

相關(guān)文章：

德?lián)?AI 不完全信息博弈論文領(lǐng)銜，NIPS 2017最佳論文 3 + 1 已經(jīng)揭曉

NIPS 2017現(xiàn)場(chǎng)：8000人參會(huì)，最佳論文公布，算法壓倒深度學(xué)習(xí) | NIPS 2017

能看圖回答問(wèn)題的AI離我們還有多遠(yuǎn)？Facebook向視覺(jué)對(duì)話進(jìn)發(fā)

Facebook 開(kāi)始新一輪實(shí)習(xí)生招募計(jì)劃，本科學(xué)歷、了解Python、熟悉深度學(xué)習(xí)框架……

李飛飛：在物體識(shí)別之后，計(jì)算機(jī)視覺(jué)還要多久才能理解這個(gè)世界 | IROS 2017

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。