今日 Paper | 小樣本學(xué)習(xí)；視覺情感分類；神經(jīng)架構(gòu)搜索；自然圖像摳像等

本文作者： AI研習(xí)社

2020-01-17 15:11

導(dǎo)語：每天都為你精選關(guān)于人工智能的前沿學(xué)術(shù)論文供你學(xué)習(xí)參考

為了幫助各位學(xué)術(shù)青年更好地學(xué)習(xí)前沿研究成果和技術(shù)，AI 研習(xí)社重磅推出【今日 Paper】欄目，每天都為你精選關(guān)于人工智能的前沿學(xué)術(shù)論文供你學(xué)習(xí)參考。以下是今日的精選內(nèi)容——

基于深度學(xué)習(xí)的步行者慣性導(dǎo)航：方法、數(shù)據(jù)集和設(shè)備推理
用于視覺情感分類的多源域自適應(yīng)
用多尺度自監(jiān)督表征提高小樣本學(xué)習(xí)的表現(xiàn)
在神經(jīng)架構(gòu)搜索里使用權(quán)值共享真的有效、可靠嗎？
通過引導(dǎo)的上下文注意進(jìn)行自然圖像摳像

基于深度學(xué)習(xí)的步行者慣性導(dǎo)航：方法、數(shù)據(jù)集和設(shè)備推理

論文名稱：Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference

作者：Chen Changhao /Zhao Peijun /Lu Chris Xiaoxuan /Wang Wei /Markham Andrew /Trigoni Niki

發(fā)表時(shí)間：2020/1/13

論文鏈接：https://paper.yanxishe.com/review/8987?from=leiphonecolumn_paperreview0117

推薦原因：這篇論文嘗試將深度學(xué)習(xí)進(jìn)一步應(yīng)用于慣性導(dǎo)航研究中。

慣性測量單元被廣泛部署在智能設(shè)備和移動(dòng)機(jī)器人上。在新興的物聯(lián)網(wǎng)中，利用慣性數(shù)據(jù)獲得準(zhǔn)確可靠的行人導(dǎo)航支持是一項(xiàng)重要的服務(wù)。近年來，運(yùn)用深度神經(jīng)網(wǎng)絡(luò)處理動(dòng)作感知和坐標(biāo)估計(jì)逐漸變得流行。但是，缺乏足夠標(biāo)注數(shù)據(jù)來訓(xùn)練和評(píng)估基線模型成為這一應(yīng)用的限制。這篇論文的貢獻(xiàn)是提出了一個(gè)名為Oxford Inertial Odometry Dataset（OxIOD）的新數(shù)據(jù)集，即首個(gè)用于深度學(xué)習(xí)慣性導(dǎo)航研究的數(shù)據(jù)集，在每條序列中都有微調(diào)好的標(biāo)注信息。進(jìn)一步，為了在邊緣計(jì)算上保證更高效的推理，這篇論文還提出一個(gè)新的輕量級(jí)框架，從原始的IMU數(shù)據(jù)上學(xué)習(xí)和重構(gòu)行人軌跡。實(shí)驗(yàn)表明所提數(shù)據(jù)集與方法能夠在資源受限的設(shè)備上獲得精準(zhǔn)的行人慣性導(dǎo)航信息。

今日 Paper | 小樣本學(xué)習(xí)；視覺情感分類；神經(jīng)架構(gòu)搜索；自然圖像摳像等

用于視覺情感分類的多源域自適應(yīng)

論文名稱：Multi-source Domain Adaptation for Visual Sentiment Classification

作者：Lin Chuang /Zhao Sicheng /Meng Lei /Chua Tat-Seng

發(fā)表時(shí)間：2020/1/12

論文鏈接：https://paper.yanxishe.com/review/8988?from=leiphonecolumn_paperreview0117

這篇論文考慮的是視覺情感分類問題。

視覺情感分類任務(wù)的現(xiàn)有域自適應(yīng)方法通常是針對(duì)單源場景。在這種場景中，模型從充分標(biāo)注好的源領(lǐng)域數(shù)據(jù)學(xué)習(xí)完畢后，遷移到只有較寬松標(biāo)注或無標(biāo)注數(shù)據(jù)的目標(biāo)領(lǐng)域。不過在實(shí)踐中，從單一源領(lǐng)域來的數(shù)據(jù)通常容量有限，很難覆蓋目標(biāo)領(lǐng)域的全部特征。為了解決這個(gè)問題，這篇論文提出了一個(gè)新的名為多源情感生成對(duì)抗網(wǎng)絡(luò)的多源域自適應(yīng)方法，用于處理視覺情感分類。為了處理來自多個(gè)源域的數(shù)據(jù)，新模型通過端到端的循環(huán)一致對(duì)抗學(xué)習(xí)，學(xué)習(xí)如何找到一個(gè)統(tǒng)一的情感潛在空間，在該空間來自源域和目標(biāo)域的數(shù)據(jù)共享相似的分布。在四個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明，在情感分類任務(wù)上，這篇論文提出的新模型顯著優(yōu)于目前的最佳模型。

用多尺度自監(jiān)督表征提高小樣本學(xué)習(xí)的表現(xiàn)

論文名稱：Few-shot Learning with Multi-scale Self-supervision

作者：Zhang Hongguang /Torr Philip H. S. /Koniusz Piotr

發(fā)表時(shí)間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9112?from=leiphonecolumn_paperreview0117

推薦原因

從深度學(xué)習(xí)流行以來，需要大量數(shù)據(jù)的這一特點(diǎn)就經(jīng)常被指責(zé)，更有人指出人類的智慧只需要幾個(gè)甚至一個(gè)樣本就可以學(xué)會(huì)某個(gè)任務(wù)或者某種概念 —— 這就是小樣本學(xué)習(xí)，有許多研究人員就在這個(gè)方向做著努力。近期，“二階池化”（second-order pooling）的方法在小樣本學(xué)習(xí)中發(fā)揮了很好的效果，主要是因?yàn)槠渲械木酆喜僮鞑恍枰獙?duì)CNN網(wǎng)絡(luò)做修改就可以處理各種不同的圖像分辨率，同時(shí)還能找到有代表性的共同特征。

不過，學(xué)習(xí)每張圖像的時(shí)候只使用一種分辨率不是最優(yōu)的方法（即便整個(gè)數(shù)據(jù)集中所有圖像的分辨率都各自不同），因?yàn)槊繌垐D像中的內(nèi)容相比于整張圖像的粒度粗細(xì)不是固定不變的，實(shí)際上這受到內(nèi)容本身和圖像標(biāo)簽的共同影響，比如，常見的大類物體的分類更依賴整體外觀形狀，而細(xì)粒度的物體分類更多依賴圖像中局部的紋理模式。也所以，圖像去模糊、超分辨率、目標(biāo)識(shí)別等任務(wù)中都已經(jīng)引入了多尺度表征的概念，用來更好地處理不同分類粒度。

這篇論文里作者們就嘗試了在小樣本學(xué)習(xí)中引入多尺度表征。他們主要需要克服的困難是，要避免多尺度表征把標(biāo)準(zhǔn)方法的使用變得過于復(fù)雜。他們的方法是，在二階池化的屬性的基礎(chǔ)上設(shè)計(jì)一個(gè)新型的多尺度關(guān)系網(wǎng)絡(luò)，用來在小樣本學(xué)習(xí)中預(yù)測圖像關(guān)系。作者們也設(shè)計(jì)了一系列方法優(yōu)化模型的表現(xiàn)。最終，他們在幾個(gè)小樣本學(xué)習(xí)數(shù)據(jù)集上都刷新了最好成績。

在神經(jīng)架構(gòu)搜索里使用權(quán)值共享真的有效、可靠嗎？

論文名稱：Deeper Insights into Weight Sharing in Neural Architecture Search

作者：Zhang Yuge /Lin Zejun /Jiang Junyang /Zhang Quanlu /Wang Yujing /Xue Hui /Zhang Chen /Yang Yaming

發(fā)表時(shí)間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9111?from=leiphonecolumn_paperreview0117

推薦原因

神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）是讓深度學(xué)習(xí)自動(dòng)化、在指定任務(wù)上獲得最佳模型的一個(gè)好辦法。但NAS的問題也很明顯，模型結(jié)構(gòu)需要迭代更新，每個(gè)更新出的結(jié)構(gòu)還需要經(jīng)過訓(xùn)練才能了解表現(xiàn)如何，所以從頭開始做NAS非常消耗能源和時(shí)間。

近期有一些研究用權(quán)值共享的方式，節(jié)省了評(píng)估結(jié)構(gòu)表現(xiàn)的時(shí)間；具體來說，權(quán)重共享是首先獲得一個(gè)大網(wǎng)絡(luò)的所有權(quán)值，然后對(duì)于在大網(wǎng)絡(luò)基礎(chǔ)上簡化出的小網(wǎng)絡(luò)，就直接使用對(duì)應(yīng)的權(quán)值。但是這種做法是沒有經(jīng)過嚴(yán)謹(jǐn)?shù)睦碚撟C明的，實(shí)際使用中的影響也還沒有得到完善的研究。

這篇論文就對(duì)現(xiàn)有的權(quán)值共享方法做了詳細(xì)的實(shí)驗(yàn)研究，作者們發(fā)現(xiàn)，1，來源稍有區(qū)別的模型之間可以有巨大的表現(xiàn)差別；2，即便子網(wǎng)絡(luò)之間的表現(xiàn)有很大差別，訓(xùn)練那個(gè)大網(wǎng)絡(luò)也很有價(jià)值；3，不同子模型之間的干擾是造成表現(xiàn)區(qū)別的重要原因；4，適當(dāng)降低權(quán)值共享的程度可以有效降低表現(xiàn)波動(dòng)、提高表現(xiàn)

通過引導(dǎo)的上下文注意進(jìn)行自然圖像摳像

論文名稱：Natural Image Matting via Guided Contextual Attention

作者：Li Yaoyi /Lu Hongtao

發(fā)表時(shí)間：2020/1/13

論文鏈接：https://paper.yanxishe.com/review/8989?from=leiphonecolumn_paperreview0117

推薦原因

這篇論文考慮的是自然圖像摳像的問題。

基于深度學(xué)習(xí)的方法在自然圖像摳像（natural image matting）方面取得顯著進(jìn)步。受基于親和力方法與上下文注意力機(jī)制的成功啟發(fā)，這篇論文開發(fā)了一種新的使用指引的上下文注意力模塊的端到端方法。指引上下文注意力模塊會(huì)根據(jù)學(xué)習(xí)到的低級(jí)關(guān)聯(lián)信息，直接在全局范圍內(nèi)傳播高級(jí)不透明信息。新方法可以模仿基于親和力方法的信息流，并同時(shí)利用深度神經(jīng)網(wǎng)絡(luò)學(xué)到的豐富特征。在Composition-1k測試集和Alphamatting.com基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，這篇論文提出的新方法在自然圖像摳像方面優(yōu)于之前的最新方法。

論文作者團(tuán)隊(duì)招募

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點(diǎn)」，通過論文整理推薦、點(diǎn)評(píng)解讀、代碼復(fù)現(xiàn)。致力成為國內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認(rèn)可。

我們希望熱愛學(xué)術(shù)的你，可以加入我們的論文作者團(tuán)隊(duì)。

入論文作者團(tuán)隊(duì)你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

2.豐厚的稿酬

3.AI 名企內(nèi)推、大會(huì)門票福利、獨(dú)家周邊紀(jì)念品等等等。

加入論文作者團(tuán)隊(duì)你需要：

1.將你喜歡的論文推薦給廣大的研習(xí)社社友

2.撰寫論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團(tuán)隊(duì)，可以添加運(yùn)營小姐姐的微，備注“論文兼職作者”

今日 Paper | 小樣本學(xué)習(xí)；視覺情感分類；神經(jīng)架構(gòu)搜索；自然圖像摳像等