聯(lián)合多任務(wù)模型：多NLP任務(wù)的神經(jīng)網(wǎng)絡(luò)的創(chuàng)建

Peelnet：基于單視角彩色圖片的帶紋理的3D人體重建

可視化理解機器翻譯

深入研究整流器：在ImageNet分類上超越人的水平

對深前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練難點的理解

論文名稱：A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks

作者：Kazuma Hashimoto /Caiming Xiong /Yoshimasa Tsuruoka /Richard Socher

發(fā)表時間：2016/11/5

論文鏈接：https://paper.yanxishe.com/review/12204?from=leiphonecolumn_paperreview0227

推薦原因

核心問題：在自然語言理解領(lǐng)域有眾多的任務(wù)，比如詞性分析，語塊分析，依存句法分析，文本語義相關(guān)，文本蘊涵等等，各個任務(wù)之間有著相互聯(lián)系。研究者們通過多任務(wù)學(xué)習(xí)來促進任務(wù)間互相聯(lián)系，提高各個任務(wù)的性能。

創(chuàng)新點：傳統(tǒng)的多任務(wù)是并行實現(xiàn)的，但是這眾多任務(wù)中是存在層次關(guān)系的，所以本文將不同任務(wù)棧式的疊加，越層次的任務(wù)具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，當(dāng)前層次的任務(wù)會使用下一層次的任務(wù)輸出，類似于流水線的形式。

研究意義：相比平行的多任務(wù)結(jié)構(gòu)有更好的效果。這樣的框架也可以擴展到更多高層任務(wù)應(yīng)用，而且效果也比較好，這也符合真實的情況。

論文名稱：PeelNet: Textured 3D reconstruction of human body using single view RGB image

作者：Sai Sagar Jinka /Rohan Chacko /Avinash Sharma /P. J. Narayanan

發(fā)表時間：2020/2/16

論文鏈接：https://paper.yanxishe.com/review/11695?from=leiphonecolumn_paperreview0227

由于嚴(yán)重的人體自遮擋、衣服變化和光照變化等眾多問題，從單張彩色圖像恢復(fù)人體形狀和姿勢是一個非常具有挑戰(zhàn)性的問題。本文提出了一種端到端的生成對抗網(wǎng)絡(luò)框架PeelNet，來從單張RGB圖片重建帶紋理的3D人體模型。

作者提出將3D人體模型表達為對自遮擋魯棒的分離的深度圖和彩色圖(peeled depth and RGB maps)，并提出一個完整的端到端的框架，從單張彩色人體圖片預(yù)測分離的深度圖和彩色圖，并進一步生成帶紋理的3D人體模型。

文章的方法不依賴于參數(shù)化人體模型，對于穿寬松衣服的人體能夠得到更加精確的結(jié)果，而且能夠很好地處理人體自遮擋情況。

論文名稱：Visualizing and Understanding Neural Machine Translation

作者：Yanzhuo Ding / Yang Liu / Huanbo Luan / Maosong Sun

發(fā)表時間：2017/7/30

論文鏈接：https://paper.yanxishe.com/review/11953?from=leiphonecolumn_paperreview0227

推薦原因

論文概要：目前深度學(xué)習(xí)發(fā)展迅速，但深度學(xué)習(xí)作為一個黑箱，越來越多的研究者開始關(guān)注深度學(xué)習(xí)的可解釋性研究。本篇論文是17年的ACL論文，應(yīng)用了LRP(layer-wise relevance propagation)方法對神經(jīng)機器翻譯進行了可視化理解。目前的注意力機制實際上表示了源語言和目標(biāo)語言之間的聯(lián)系，但不能很好地告訴我們目標(biāo)語言是如何被翻譯生成的。LRP(分層相關(guān)性傳播)方法，最開始被應(yīng)用于計算機視覺領(lǐng)域，通過計算單個像素對圖像分類器預(yù)測結(jié)果的貢獻進行可解釋研究。本文將LPR方法應(yīng)用在基于注意力機制的encoder-decoder模型中，去計算每個上下文單詞對任意隱藏單元的貢獻程度，從而可視化理解神經(jīng)機器翻譯模型。漢英翻譯的實例研究表明，LRP方法可以很好地解釋機器翻譯的工作機制并且?guī)椭治龇g錯誤。

創(chuàng)新點與反思：本文首次應(yīng)用LRP方法對NMT進行了可視化理解，并取得了不錯的效果。LRP方法首先在計算機視覺領(lǐng)域被提出，作者將這種方法遷移應(yīng)用到了自然語言處理領(lǐng)域，實際上現(xiàn)在計算機領(lǐng)域的深度學(xué)習(xí)可解釋研究比較多，對其他領(lǐng)域的進一步研究有很好的借鑒意義。

論文名稱：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

作者：Kaiming He / Xiangyu Zhang / Shaoqing Ren /Jian Sun

發(fā)表時間：2015/2/6

論文鏈接：https://paper.yanxishe.com/review/12076?from=leiphonecolumn_paperreview0227

推薦原因

核心問題：這是一篇關(guān)于神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)初始化的文章，目前這種神經(jīng)網(wǎng)絡(luò)權(quán)重的初始化方法我是經(jīng)常使用的，使用這種方法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)訓(xùn)練更快，效果更好

創(chuàng)新點：

1、提出了PRULE激活函數(shù)

2、在ImageNet2012分類數(shù)據(jù)集上，到達4.94% top-5的錯誤率，超過當(dāng)時最好的性能6.66%，超過人的水平5.1%

研究意義：神經(jīng)網(wǎng)絡(luò)的權(quán)重初始化是神經(jīng)網(wǎng)絡(luò)最重要的一步，因為不適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)初始化，很有可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)不工作。       

論文名稱：Understanding the difficulty of training deep feedforward neural networks

作者：Xavier Glorot /Yoshua Bengio

發(fā)表時間：2010/2/11

論文鏈接：https://paper.yanxishe.com/review/12075?from=leiphonecolumn_paperreview0227

推薦原因

核心問題：在使用深度學(xué)習(xí)搭建模型的時候，經(jīng)常需要對神經(jīng)網(wǎng)絡(luò)進行權(quán)重的初始化工作，有許多神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)初始化方式，經(jīng)常使用的一種方式是Xavier，這個方法就是來源于這篇論文。

創(chuàng)新點：提出了一種新的初始化方法，可以帶來更快的收斂速度。這種初始化權(quán)值的方法就是這兩年在深度網(wǎng)絡(luò)中經(jīng)常使用的Xavier初始化。

研究意義：神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)初始化是非常重要的，有時候神經(jīng)網(wǎng)絡(luò)不work，那么多半是和神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)初始化不好有關(guān)系，好的神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)初始化，不僅有利于解決神經(jīng)網(wǎng)絡(luò)的梯度消失和梯度爆炸的情況，而且還可以加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復(fù)現(xiàn)。致力成為國內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認(rèn)可。

我們希望熱愛學(xué)術(shù)的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

    2.豐厚的稿酬

    3.AI 名企內(nèi)推、大會門票福利、獨家周邊紀(jì)念品等等等。

加入論文作者團隊你需要：

    1.將你喜歡的論文推薦給廣大的研習(xí)社社友

    2.撰寫論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團隊，可以添加運營小姐姐的微信（ID:julylihuaijiang），備注“論文兼職作者”