今日 Paper | 深度循環(huán)神經(jīng)網(wǎng)絡(luò)；PoseNet3D；AET vs. AED；光場(chǎng)視差估計(jì)等

本文作者： AI研習(xí)社

2020-03-26 15:04

導(dǎo)語(yǔ)：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊。

使用混合精度的方法在GPU集群上進(jìn)行深度循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

論文名稱：Training distributed deep recurrent neural networks with mixed precision on GPU clusters

作者：Alexey Svyatkovskiy / Julian Kates-Harbeck / William Tang

發(fā)表時(shí)間：2019/11/30

論文鏈接：https://paper.yanxishe.com/review/13855?from=leiphonecolumn_paperreview0326

推薦原因

核心問(wèn)題：本文從硬件選取、模型搭建、分布式計(jì)算策略、學(xué)習(xí)率、損失函數(shù)等方面，非常詳細(xì)的講解了如何高效使用多達(dá)100個(gè)GPU進(jìn)行深度循環(huán)神經(jīng)網(wǎng)絡(luò)

創(chuàng)新點(diǎn)：本文沒(méi)有相關(guān)工作的部分，貴在務(wù)實(shí)，從實(shí)際的研究工作中部署一個(gè)高效的GPU集群的角度，討論了如何將分布式計(jì)算策略、基于混合精度的訓(xùn)練模型結(jié)合起來(lái)，使得模型的訓(xùn)練速度加快、內(nèi)存消耗降低，并且模型的表現(xiàn)分?jǐn)?shù)并不會(huì)下降。同時(shí)，作者還研究了使用參數(shù)來(lái)對(duì)損失函數(shù)進(jìn)行縮放，以此提高模型在集群環(huán)境下的收斂速度

研究意義：無(wú)論是循環(huán)神經(jīng)網(wǎng)絡(luò)，還是卷積神經(jīng)網(wǎng)絡(luò)，模型的規(guī)模越來(lái)越大，本文作者所提出的各種技巧，能解決訓(xùn)練過(guò)程實(shí)際的問(wèn)題，一方面，能在保證了模型的準(zhǔn)確率的情況下減少訓(xùn)練的成本，另一方面，也有助于在當(dāng)前的資源下，訓(xùn)練更大的模型。

這些技巧主要針對(duì)GPU集群環(huán)境，但也能給單GPU環(huán)境的同學(xué)提供參考。

今日 Paper | 深度循環(huán)神經(jīng)網(wǎng)絡(luò)；PoseNet3D；AET vs. AED；光場(chǎng)視差估計(jì)等

PoseNet3D：無(wú)監(jiān)督的3D人體形狀和姿態(tài)估計(jì)

論文名稱：PoseNet3D: Unsupervised 3D Human Shape and Pose Estimation

作者：Tripathi Shashank /Ranade Siddhant /Tyagi Ambrish /Agrawal Amit

發(fā)表時(shí)間：2020/3/7

論文鏈接：https://paper.yanxishe.com/review/13853?from=leiphonecolumn_paperreview0326

推薦原因

從二維關(guān)節(jié)中恢復(fù)三維人體姿態(tài)是一個(gè)高度無(wú)約束的問(wèn)題。本文作者提出了一種新的神經(jīng)網(wǎng)絡(luò)框架PoseNet3D，其以2D關(guān)節(jié)點(diǎn)作為輸入，輸出3D骨架和SMPL人體模型的參數(shù)。作者使用了學(xué)生-老師框架，從而避免了在訓(xùn)練過(guò)程中使用3D數(shù)據(jù)如配對(duì)/未配對(duì)的3D數(shù)據(jù)、動(dòng)捕數(shù)據(jù)、深度圖或者多視角圖像等等。作者首先使用2D人體關(guān)鍵點(diǎn)訓(xùn)練了一個(gè)教師網(wǎng)絡(luò)輸出3D人體骨架，教師網(wǎng)絡(luò)將其知識(shí)提取到學(xué)生網(wǎng)絡(luò)中，然后學(xué)生網(wǎng)絡(luò)預(yù)測(cè)基于SMPL人體模型表達(dá)的3D人體姿態(tài)。

作者的方法在Human3.6M數(shù)據(jù)集上相比之前無(wú)監(jiān)督的方法，3D關(guān)節(jié)點(diǎn)預(yù)測(cè)誤差減少了18%。在自然數(shù)據(jù)集上，文章方法恢復(fù)的人體姿態(tài)和網(wǎng)格也是較為自然、真實(shí)的，在連續(xù)幀上預(yù)測(cè)結(jié)果也比較連續(xù)。

AET vs. AED：無(wú)監(jiān)督表示學(xué)習(xí)通過(guò)自編碼變換而不是自編碼數(shù)據(jù)

論文名稱：AET vs. AED: Unsupervised Representation Learning by Auto-Encoding Transformations rather than Data

作者：Zhang Liheng /Qi Guo-Jun /Wang Liqiang /Luo Jiebo

發(fā)表時(shí)間：2019/1/14

論文鏈接：https://paper.yanxishe.com/review/13851?from=leiphonecolumn_paperreview0326

推薦原因

這篇論文提出了一種新的通用的無(wú)監(jiān)督表示學(xué)習(xí)框架——自編碼變換（Auto-Encoding Transformation，AET）。經(jīng)典的自編碼數(shù)據(jù)框架的輸入是圖像，采用編碼-解碼網(wǎng)絡(luò)得到重構(gòu)之后的圖像。而自編碼變換的輸入是常見(jiàn)的變換（如旋轉(zhuǎn)，射影變換，放射變換等），即圖像和經(jīng)過(guò)變換之后的圖像，經(jīng)過(guò)編碼-解碼結(jié)構(gòu)之后得到重構(gòu)的變換，重構(gòu)的變換和原始的變換使用MSE作為損失函數(shù)，這對(duì)于參數(shù)化和非參數(shù)化的變換，以及GAN都是有效的。作者通過(guò)實(shí)驗(yàn)表明，通過(guò)重構(gòu)變換可以提取到更加豐富并且具有判別性的特征，當(dāng)自編碼變換網(wǎng)絡(luò)訓(xùn)練完畢之后，使用編碼部分的網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重就可以作為一種特征提取器，從而泛化到其他具體任務(wù)上。作者利用NIN網(wǎng)絡(luò)，分別采用基于模型的分類器和不基于模型的分類器（KNN）進(jìn)行圖像分類實(shí)現(xiàn)，其性能比之前的無(wú)監(jiān)督方法要優(yōu)越。該論文收錄在CVPR 2019，其提出的新的通用的無(wú)監(jiān)督表示學(xué)習(xí)框架對(duì)無(wú)監(jiān)督學(xué)習(xí)具有很大的啟發(fā)作用。

基于注意力的視點(diǎn)選擇網(wǎng)絡(luò)用于光場(chǎng)視差估計(jì)

論文名稱：Attention-based View Selection Networks for Light-field Disparity Estimation

作者：Yu-Ju Tsai / Yu-Lun Liu / Ming Ouhyoung / Yung-Yu Chuang

發(fā)表時(shí)間：2020/2/1

論文鏈接：https://paper.yanxishe.com/review/13680?from=leiphonecolumn_paperreview0326

推薦原因

這篇論文是用來(lái)解決光場(chǎng)圖像（Light-fifield）的深度估計(jì)問(wèn)題。對(duì)于光場(chǎng)圖像，其輸入是同一個(gè)物體多個(gè)不同視角的圖像，作者認(rèn)為這些視角之間具有很大的重疊，在提取特征時(shí)是存在重復(fù)和冗余現(xiàn)象的。由此，作者提出了一個(gè)基于注意力機(jī)制的視角選擇網(wǎng)絡(luò)，作為多個(gè)視角特征的重要性衡量權(quán)重，從而去除一些重疊和冗余的視角。具體來(lái)說(shuō)，是借鑒雙目深度估計(jì)的PSMNet網(wǎng)絡(luò)結(jié)構(gòu)，在匹配代價(jià)體（cost volume）之后插入一個(gè)基于注意力的視角選擇網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸出是0-1的權(quán)重，按照構(gòu)造形式可以分為無(wú)約束的（free），對(duì)稱型的（symmetric）和放射狀的（radial）三種形式，并且學(xué)習(xí)的參數(shù)量逐漸減少。這篇論文的想法比較直接，但是確實(shí)能取得當(dāng)前光場(chǎng)圖像深度估計(jì)的最佳性能，收錄在AAAI 2020。

基于CNN的中文lexicon rethinking NER模型

論文名稱：CNN-Based Chinese NER with Lexicon Rethinking

作者：Tao Gui

發(fā)表時(shí)間：2019/11/6

論文鏈接：https://paper.yanxishe.com/review/13548?from=leiphonecolumn_paperreview0326

推薦原因

本文研究意義：

采用長(zhǎng)時(shí)短期記憶（LSTM）對(duì)字符級(jí)中文命名實(shí)體識(shí)別（NER）目前已經(jīng)實(shí)現(xiàn)了不錯(cuò)的效果，然而當(dāng)我們?cè)诰唧w工程化落地的過(guò)程中，會(huì)出現(xiàn)GPU在并行性計(jì)算的時(shí)候會(huì)和候選詞之間發(fā)生沖突的問(wèn)題，針對(duì)這一問(wèn)題，作者建議采用更快卷積神經(jīng)網(wǎng)絡(luò)CNN重新構(gòu)建模型，因?yàn)長(zhǎng)STM是一種時(shí)序網(wǎng)絡(luò)不能夠進(jìn)行并行化計(jì)算，而CNN是可以進(jìn)行并行化計(jì)算。通過(guò)實(shí)驗(yàn)表明，作者所提出的方法可以執(zhí)行比最先進(jìn)的方法快3.21倍，同時(shí)實(shí)現(xiàn)更好的性能。