為了幫助各位學(xué)術(shù)青年更好地學(xué)習(xí)前沿研究成果和技術(shù)，AI 研習(xí)社重磅推出【今日 Paper】欄目，每天都為你精選關(guān)于人工智能的前沿學(xué)術(shù)論文供你學(xué)習(xí)參考。以下是今日的精選內(nèi)容——

論文名稱：Few-shot Learning with Multi-scale Self-supervision

作者：Zhang Hongguang /Torr Philip H. S. /Koniusz Piotr

發(fā)表時間：2020/1/6

論文鏈接：https://paper.yanxishe.com/review/9112?from=leiphonecolumn_paperreview0118

從深度學(xué)習(xí)流行以來，需要大量數(shù)據(jù)的這一特點就經(jīng)常被指責(zé)，更有人指出人類的智慧只需要幾個甚至一個樣本就可以學(xué)會某個任務(wù)或者某種概念 —— 這就是小樣本學(xué)習(xí)，有許多研究人員就在這個方向做著努力。近期，“二階池化”（second-order pooling）的方法在小樣本學(xué)習(xí)中發(fā)揮了很好的效果，主要是因為其中的聚合操作不需要對CNN網(wǎng)絡(luò)做修改就可以處理各種不同的圖像分辨率，同時還能找到有代表性的共同特征。

不過，學(xué)習(xí)每張圖像的時候只使用一種分辨率不是最優(yōu)的方法（即便整個數(shù)據(jù)集中所有圖像的分辨率都各自不同），因為每張圖像中的內(nèi)容相比于整張圖像的粒度粗細(xì)不是固定不變的，實際上這受到內(nèi)容本身和圖像標(biāo)簽的共同影響，比如，常見的大類物體的分類更依賴整體外觀形狀，而細(xì)粒度的物體分類更多依賴圖像中局部的紋理模式。也所以，圖像去模糊、超分辨率、目標(biāo)識別等任務(wù)中都已經(jīng)引入了多尺度表征的概念，用來更好地處理不同分類粒度。

這篇論文里作者們就嘗試了在小樣本學(xué)習(xí)中引入多尺度表征。他們主要需要克服的困難是，要避免多尺度表征把標(biāo)準(zhǔn)方法的使用變得過于復(fù)雜。他們的方法是，在二階池化的屬性的基礎(chǔ)上設(shè)計一個新型的多尺度關(guān)系網(wǎng)絡(luò)，用來在小樣本學(xué)習(xí)中預(yù)測圖像關(guān)系。作者們也設(shè)計了一系列方法優(yōu)化模型的表現(xiàn)。最終，他們在幾個小樣本學(xué)習(xí)數(shù)據(jù)集上都刷新了最好成績。

論文名稱：CHAMELEON: A Deep Learning Meta-Architecture for News Recommender Systems [Phd. Thesis]

作者：Moreira Gabriel de Souza Pereira

發(fā)表時間：2019/12/29

論文鏈接：https://paper.yanxishe.com/review/9113?from=leiphonecolumn_paperreview0118

這是一篇來自巴西航空理工學(xué)院的博士畢業(yè)論文，主要討論了基于深度學(xué)習(xí)的新聞推薦系統(tǒng)的設(shè)計方法 —— 不是討論某個具體的架構(gòu)，而是討論如何設(shè)計架構(gòu)，也就是“元架構(gòu)”。

新聞推薦系統(tǒng)對如今的許多媒體平臺來說都是不可或缺的，給用戶推薦他們喜歡的內(nèi)容（以及廣告），能讓他們獲得更好的瀏覽體驗，從商業(yè)角度也能提高用戶活躍度和平均使用時長。

這篇論文作為博士畢業(yè)論文，對新聞推薦系統(tǒng)這個子領(lǐng)域做了詳細(xì)的研究討論，包括介紹推薦系統(tǒng)的背景、比較現(xiàn)有的新聞推薦系統(tǒng)、介紹深度學(xué)習(xí)應(yīng)用于推薦系統(tǒng)中的基礎(chǔ)知識等。作者的主要研究成果是，可以根據(jù)具體的使用需求設(shè)計基于深度學(xué)習(xí)的新聞推薦系統(tǒng)的“元架構(gòu)”（系統(tǒng)設(shè)計方法）CHAMELEON。它含有模塊化的推理結(jié)構(gòu)，可以具體選用不同的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)組件。作者詳細(xì)介紹了CHAMELEON的特點和應(yīng)用思路，也包括了針對冷啟動情境的解決方案。

對于感興趣詳細(xì)理解這個任務(wù)的研究人員，以及對于正在設(shè)計、打算設(shè)計推薦系統(tǒng)的開發(fā)人員，這篇論文都具有極高的參考價值。

論文名稱：Geom-GCN: Geometric Graph Convolutional Networks

作者：Hongbin Pei /Bingzhe Wei /Kevin Chen-Chuan Chang /Yu Lei /Bo Yang

發(fā)表時間：2020/1/1

論文鏈接：https://paper.yanxishe.com/review/8990?from=leiphonecolumn_paperreview0118

本文入選了ICLRL2020的oral是圖神經(jīng)網(wǎng)絡(luò)的最新進展。作者將原始圖通過graph embedding技術(shù)映射到一個隱空間，在隱空間基于相似度建立了新的圖。這樣每個節(jié)點的鄰居就可以分為原始圖和相似度圖，相似度上的鄰居可能是原始圖鄰居的k階鄰居，這樣可以保持高階的節(jié)點相似性。另一方面，作者又設(shè)計了可以感知節(jié)點間集合關(guān)系的聚合器，可以在聚合鄰居的時候考慮節(jié)點之間的集合關(guān)系。綜上，Geom-GCN解決了GNN的兩個基礎(chǔ)性問題。實驗表明，本文的所提出的算法可以大幅度超越現(xiàn)有的GCN和GAT。

論文名稱：Multi-way Encoding for Robustness

作者：Kim Donghyun /Bargal Sarah Adel /Zhang Jianming /Sclaroff Stan

發(fā)表時間：2019/6/5

論文鏈接：https://paper.yanxishe.com/review/9214?from=leiphonecolumn_paperreview0118

這篇論文被WACV 2020接收，考慮的是通過編碼來提升模型魯棒性的問題。

深度模型已經(jīng)在許多計算機視覺任務(wù)上（例如圖像分類和目標(biāo)檢測）上取得了巨大的成功，但是這些模型容易受到對抗性樣本的攻擊。這篇論文證明了One-Hot編碼是導(dǎo)致這種情況的直接原因，并提出了一個新的方法，通過利用不同的輸出編碼和多路編碼，可以對源模型和目標(biāo)模型進行解相關(guān)操作，從而使目標(biāo)模型更加安全。這種新提出的方法使攻擊者更難以找到有用的梯度來進行對抗攻擊。在MNIST，CIFAR-10，CIFAR-100和SVHN數(shù)據(jù)集上的黑盒和白盒攻擊中，這篇論文提出的方法均提升了模型的魯棒性。

論文名稱：A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation

作者：Guan Jian /Huang Fei /Zhao Zhihao /Zhu Xiaoyan /Huang Minlie

發(fā)表時間：2020/1/15

論文鏈接：https://paper.yanxishe.com/review/9217?from=leiphonecolumn_paperreview0118

這篇論文來自于清華和北航，已經(jīng)被Transactions of the Association for Computational Linguistics接收，考慮的是故事生成的問題。

故事生成指的是從一個輸入上下文中生成出一個合理的故事?，F(xiàn)有的神經(jīng)語言生成模型，例如GPT-2，在文本流暢度和局部關(guān)聯(lián)性方面取得了進步，但是仍然會在生成的故事里出現(xiàn)生成重復(fù)、邏輯沖突、缺乏長程關(guān)聯(lián)等缺陷。這篇論文認(rèn)為這些缺陷是由于缺乏相關(guān)常識和無法理解因果關(guān)系，進而無法合理規(guī)劃正常時序里的實體和事件順序?qū)е碌?。為此這篇論文設(shè)計了一種知識增強的預(yù)訓(xùn)練模型，從外部知識庫獲取的常識來生成合理的故事。為了進一步捕獲一個合理故事里句子間的因果和時序依賴關(guān)系，這篇論文使用多任務(wù)學(xué)習(xí)方法，將一個可以辨認(rèn)真實和虛假故事的判別目標(biāo)函數(shù)融入了微調(diào)過程。自動化和人工的評估表明這篇論文提出的方法在邏輯和全局關(guān)聯(lián)方面優(yōu)于當(dāng)前的最佳基準(zhǔn)。

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復(fù)現(xiàn)。致力成為國內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認(rèn)可。

我們希望熱愛學(xué)術(shù)的你，可以加入我們的論文作者團隊。

入論文作者團隊你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

    2.豐厚的稿酬

    3.AI 名企內(nèi)推、大會門票福利、獨家周邊紀(jì)念品等等等。

加入論文作者團隊你需要：

    1.將你喜歡的論文推薦給廣大的研習(xí)社社友

    2.撰寫論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團隊，可以添加運營小姐姐的微，備注“論文兼職作者”

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)