近日，創(chuàng)新奇智關(guān)于雙注意力機制少樣本學(xué)習(xí)的研究論文《Dual Attention Networks for Few-Shot Fine-Grained Recognition》被全球人工智能頂會AAAI 2022接收為Main Track論文。

AAAI（The National Conference on Artificial Intelligence）是人工智能領(lǐng)域的主要學(xué)術(shù)組織之一國際先進(jìn)人工智能協(xié)會（American Association for Artificial Intelligence），主辦的A類人工智能學(xué)術(shù)會議。今年會議共收到9251篇投稿，最終經(jīng)過大量的篩選，錄取率僅為15.0%，創(chuàng)下歷史新低。創(chuàng)新奇智投稿的論文脫穎而出，得益于一直以來在計算機視覺領(lǐng)域深厚的創(chuàng)新力。

創(chuàng)新奇智此次論文中提出的雙注意力機制少樣本學(xué)習(xí)主要針對少樣本細(xì)粒度圖像識別任務(wù)。

此方法可用于制造業(yè)等領(lǐng)域標(biāo)注樣本極少的情況下區(qū)分屬于不同子類的圖像，如不同車型的汽車、不同類型的零件、零件上不同種類的缺陷等，減少實際應(yīng)用場景中對數(shù)據(jù)量的依賴，并提高識別正確率。

由于細(xì)粒度屬性，該識別任務(wù)的難度在于需要獲取有限訓(xùn)練數(shù)據(jù)中細(xì)小但具有辨識性的部件級別模式，這使得此問題較為挑戰(zhàn)。

創(chuàng)新奇智提出的由硬/軟雙注意力流構(gòu)成的雙注意力網(wǎng)絡(luò)（DUAL ATT-NET），在三個常用的細(xì)粒度基準(zhǔn)數(shù)據(jù)集上的結(jié)果明顯優(yōu)于其他的現(xiàn)有先進(jìn)方法。

 論文解讀

概述：

細(xì)粒度圖像識別是計算機視覺和模式識別領(lǐng)域的基礎(chǔ)研究課題，但是大量優(yōu)質(zhì)細(xì)粒度圖像數(shù)據(jù)的獲取和標(biāo)注需要耗費大量的人力和財力，這為細(xì)粒度圖像識別的推廣和使用帶來了巨大的障礙。

少樣本學(xué)習(xí)是目前研究的熱門方向之一，能夠極大地減少細(xì)粒度圖像識別對于標(biāo)注樣本的依賴，故少樣本的設(shè)定下進(jìn)行細(xì)粒度圖像識別的相關(guān)研究，內(nèi)容和成果均符合實際應(yīng)用的需求。

本文通過卷積神經(jīng)網(wǎng)絡(luò)與注意力機制提取圖像中的部件與全局特征，通過基于圖的多示例學(xué)習(xí)對局部特征進(jìn)行建模，豐富了細(xì)粒度部分的內(nèi)在結(jié)構(gòu)相關(guān)性，通過注意力機制發(fā)掘?qū)?xì)粒度圖像識別有用的微妙全局信息，從而得到更高的少樣本細(xì)粒度圖像識別的準(zhǔn)確率。

主要貢獻(xiàn)

1、提出了一種由雙注意力流構(gòu)成的元學(xué)習(xí)方式的新型少樣本細(xì)粒度框架，以獲取細(xì)粒度定制圖像嵌入表示。

2、開發(fā)了包含硬/軟注意力機制的雙注意力網(wǎng)絡(luò)，不僅實現(xiàn)細(xì)粒度物體部分間重要關(guān)聯(lián)的顯式構(gòu)建，而且能夠隱式獲取細(xì)微但有辨識性的細(xì)節(jié)。

3、基于三個常用的細(xì)粒度基準(zhǔn)數(shù)據(jù)集進(jìn)行了綜合的實驗，本文提出的模型在識別準(zhǔn)確性上明顯優(yōu)于其他解決方案。

這是一種基于雙注意力流的少樣本細(xì)粒度圖像識別方法，包括以下步驟：

步驟1：提取樣本的特征圖（feature map），生成特征圖的空間注意力圖（spatial attention map）引導(dǎo)，利用注意力引導(dǎo)機制，生成用于軟注意力流的加權(quán)特征圖，同時篩選出用于硬注意力流的深度描述符（deep descriptor）。

步驟2：加權(quán)特征圖使用全局聚合操作得到全局嵌入特征；將一個樣本篩選出的所有深度描述符建模為一個多示例學(xué)習(xí)（multi-instance learning）的包（bag）, 使用基于圖的多示例學(xué)習(xí)方法挖掘樣本部件之間的關(guān)系，得到部件嵌入特征。

步驟3：將兩個注意力流得到的全局嵌入特征和部件嵌入特征拼接得到樣本最終的嵌入表示，基于原型表示和最近鄰方法進(jìn)行類別預(yù)測和模型訓(xùn)練。

本方法與現(xiàn)有技術(shù)相比，其顯著優(yōu)點為：

（1）本方法使用了兩個注意力流分別得到了部件級別的關(guān)鍵信息和全局聚合信息，不僅對細(xì)粒度圖像識別提供了區(qū)分新的部件級信息，也補充了對細(xì)粒度圖像識別有用的微妙全局信息。

（2）對于硬注意力流，使用多示例方法將篩選出的有用深度描述符建模為包，并基于圖的方法對包進(jìn)行編碼一體化得到對應(yīng)細(xì)粒度部件的深度描述符的整體表示，豐富了細(xì)粒度部分的內(nèi)在結(jié)構(gòu)相關(guān)性。

（3）與基于雙線性池的方法相比，我們的方法復(fù)雜度更低更加易于訓(xùn)練且有更高的識別效率。

 試驗結(jié)果

在三個常用的少樣本細(xì)粒度圖像識別數(shù)據(jù)集 (CUB Birds，Stanford Dogs和Stanford Cars) 上進(jìn)行了實驗，上圖實驗結(jié)果表明，論文提出的方法幾乎在所有數(shù)據(jù)集上均明顯優(yōu)于其他基準(zhǔn)方法。

上圖結(jié)果顯示出我們的模型對語義簇數(shù)的魯棒性，并且當(dāng)簇數(shù)為3時識別的準(zhǔn)確率最高。

我們提出的基于MIL的聚合方法與原始MIL池化方法的效果，上表結(jié)果顯示無論是否與全局特征進(jìn)行連接，我們的方法均表現(xiàn)出較好的效果。

從上表結(jié)果可見，引入本文中考慮細(xì)粒度部件間關(guān)系的方法會顯著提高少樣本低粒度識別的準(zhǔn)確性。

最后，我們將實驗中一些硬/軟注意力樣例進(jìn)行可視化，上圖中第一排為輸入圖像；第二排為硬注意力選取的深度描述符的位置，可見均對應(yīng)物體的細(xì)粒度部分，如頭、耳、尾、輪胎等；第三排展示軟注意力，更多的細(xì)節(jié)細(xì)粒度模式能夠被軟注意力關(guān)注到。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。