Paper 研習社本周論文推薦精選 | 第六期

本文作者： AI研習社

2019-10-25 14:47

導語：「本周論文推薦精選」是 Paper 研習社推出的全新欄目，展現(xiàn)社友們在研習論文的過程中，推薦自己所閱讀到的優(yōu)秀論文

語音播放文章內(nèi)容

由深聲科技提供技術(shù)支持

Paper 研習社本周論文推薦精選 | 第六期

Paper 研習社新功能上線啦！

大家除了瀏覽或者參與論文推薦，還可以一鍵打包下載論文合集，針對長期更新的論文合集，你能通過系統(tǒng)消息第一時間收到更新的通知，讓你的科研的道路上，絕不慢人一步！

Paper 研習社本周論文推薦精選 | 第六期

點擊鏈接迅速跳轉(zhuǎn)論文集下載界面：https://paper.yanxishe.com

「本周論文推薦精選」是 Paper 研習社推出的全新欄目，展現(xiàn)社友們在研習論文的過程中，推薦自己所閱讀到的優(yōu)秀論文，幫助大家一起學習、討論每個領(lǐng)域最新、最精彩的學術(shù)論文。

①

#IndRNN# #卷積神經(jīng)網(wǎng)絡(luò)#

深度獨立卷積神經(jīng)網(wǎng)絡(luò)（IndRNN）

推薦理由：本文要解決的是傳統(tǒng)RNN所存在的梯度消失和梯度爆炸問題。

與傳統(tǒng)RNN相比，這篇論文提出的IndRNN中，同一層的每個神經(jīng)元各自獨立，神經(jīng)元之間的連接可以通過堆疊兩層或更多層的 IndRNNs來實現(xiàn)。這樣IndRNN解決了隨時間累積的梯度爆炸和消失的問題，并且可以學習長期依賴關(guān)系。借助relu等非飽和激活函數(shù)，訓練后的IndRNN非常魯棒，并且可以堆疊多層IndRNN構(gòu)建更深的網(wǎng)絡(luò)。實驗結(jié)果也驗證了IndRNN能夠在各種任務(wù)中取得比傳統(tǒng)的RNN和LSTM更好的結(jié)果。

這篇論文提出了一種新型的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取得了比傳統(tǒng)模型更好的結(jié)果，能夠啟發(fā)后續(xù)的研究研究更好的模型并且作為對照的基準。

論文鏈接：https://paper.yanxishe.com/review/2426

項目鏈接：https://github.com/Sunnydreamrain/IndRNN_pytorch

推薦人：琴??？思{（清華大學信息與通信工程專業(yè)，Paper 研習社特約作者）

②

#神經(jīng)網(wǎng)絡(luò)#

基于神經(jīng)網(wǎng)絡(luò)的序列到序列學習

推薦理由：核心問題：序列到序列的任務(wù)類似于機器翻譯任務(wù)，這樣的任務(wù)如何處理？

創(chuàng)新點：本論文提出了一個端到端的模型，它能夠完成序列到序列的映射，他們使用了2個不同的LSTM模型，泛化能力得到了提升，然后它們將機器翻譯的原句子倒敘使用，模型效果提升了。

研究意義：seq2seq的框架，也為后續(xù)的序列映射任務(wù)奠定了基礎(chǔ)?，F(xiàn)在很多任務(wù)使用seq2seq的模型結(jié)構(gòu)，比如圖片標題生成，視頻解說，文本摘要等等。

論文鏈接：https://paper.yanxishe.com/review/1384

推薦人：magic（燕山大學計算機技術(shù)專業(yè)，Paper 研習社特約作者）

③

#深度學習# #神經(jīng)網(wǎng)絡(luò)#

GCN可以像CNN一樣深嗎？

推薦理由：卷積神經(jīng)網(wǎng)絡(luò)（CNN）在各種領(lǐng)域取得了令人矚目的成果。他們的成功得益于能夠訓練非常深的CNN模型。盡管取得了積極的成果，但CNN未能正確解決非歐幾里德數(shù)據(jù)的問題。為了克服這一挑戰(zhàn)，圖卷積網(wǎng)絡(luò)（GCN）構(gòu)建圖來表示非歐幾里德數(shù)據(jù)，借用CNN的相關(guān)概念并應(yīng)用它們來訓練這些模型。GCN顯示出不錯的結(jié)果，但由于梯度消失問題，它們僅限于非常淺的模型。因此，大多數(shù)最先進的GCN算法都不過3或4層。

作者提出了成功訓練深層GCN的新方法。他們借用CNN的概念，主要是Residual、Dense connections（殘差、密集連接）和Dilated convolutions（膨脹卷積），使它們能夠適應(yīng)GCN架構(gòu)。大量的實驗表明這些深層GCN框架的積極作用。最后，作者成功將GCN從3/4層拓展到56層，訓練超級深層的圖卷積神經(jīng)網(wǎng)絡(luò)，并展示它如何在點云語義分割任務(wù)中顯著地提升了性能（與最先進技術(shù)相比提高了3.7%mIoU）。

論文鏈接：https://paper.yanxishe.com/review/1358

推薦人：志浩（中國石油大學(華東) | 機械工程）

④

#RNN#

使用循環(huán)神經(jīng)網(wǎng)絡(luò)完成中文古詩生成

推薦理由：本文核心問題：這篇論文提出了一個基于RNN的中國古詩生成模型

創(chuàng)新點：古詩是有格式的，要么5個詞作為一句，要么7個詞作為一句，所以對于古詩的格式是很重要的，論文通過RNN模型把格式的約束和內(nèi)容的選擇一起做了，這樣就解決了這個問題，當訓練模型結(jié)束之后，在生成古詩階段，考慮了所有前面已經(jīng)生成的句子，因為古詩是一個整體，這樣的話，古詩生成的效果會很好。

意義：基于RNN做生成是一個很常用的模型算法，本論文給出了幾首使用該模型生成的古詩，看起來效果不錯，這也證明了RNN的強大的能力

論文鏈接：https://paper.yanxishe.com/review/1010

推薦人：穆得?伯特

⑤

#圖神經(jīng)網(wǎng)絡(luò)#

用于釋義識別的卷積神經(jīng)網(wǎng)絡(luò)

推薦理由：核心問題：本論文完成了兩個文本向量之間的匹配，具體來說是多粒度的特征之間的交互。

創(chuàng)新點：首先針對句子本身提取出四種粒度的特征表示：詞、短ngram、長ngram和句子粒度，然后對在同一粒度進行兩兩比較。細粒度的特征提取可以更好的完成文本向量的匹配任務(wù)。

意義：本論文提出了一個新的深度學習架構(gòu)bi-cnn-mi用于釋義識別，這是CNN在NLP中的句子建模的典型應(yīng)用。

論文鏈接：https://paper.yanxishe.com/review/986

推薦人：雨果?斯蒂芬

???