本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

Best Deep Learning Research of 2019 So Far

作者 | ODSC - Open Data Science

翻譯 | 敬愛的勇哥     編輯 | 醬番梨、鄧普斯?杰弗

原文鏈接：

https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38

在剛剛結(jié)束的2019年的第一季度里，深度學(xué)習(xí)技術(shù)在快速的向前發(fā)展。我經(jīng)常會(huì)去查看相關(guān)研究人員的工作，以便了解這項(xiàng)技術(shù)的進(jìn)展。這項(xiàng)工作讓我能夠了解到很多我不知道的事情，然后以此優(yōu)化自己的工作時(shí)間安排。因此，盡管該領(lǐng)域每周會(huì)有成百上千篇論文，我也會(huì)要求自己每周至少閱讀一篇研究論文。

在本文中，將2019年以來已經(jīng)發(fā)表的論文整理出來列在下面，這將幫你節(jié)省很大一部分時(shí)間。下文中的所有文章，在Github中都有相應(yīng)的代碼。讓我們開始奇妙之旅！

1.使用PyTorch Geometric快速開始圖形表征學(xué)習(xí)

本研究介紹了一個(gè)名為PyTorch Geometric的學(xué)習(xí)庫，它基于PyTorch構(gòu)建，可以幫助我們直接使用圖形，點(diǎn)云以及流形數(shù)據(jù)等不規(guī)則的數(shù)據(jù)結(jié)構(gòu)。除了一般的圖形數(shù)據(jù)結(jié)構(gòu)和處理方法外，它還包含了許多最近發(fā)表的關(guān)系學(xué)習(xí)和三維數(shù)據(jù)處理的方法。PyTorch Geometric通過使用稀疏GPU加速、提供專用的CUDA內(nèi)核以及為不同大小的輸入樣本提供高效的小型批處理來實(shí)現(xiàn)高數(shù)據(jù)吞吐量。該文的代碼可以在GitHub找到。 

https://arxiv.org/abs/1903.02428v2

相關(guān)文章：Most Influential Data Science Research Papers for 2018

2.Mask Scoring R-CNN  

在實(shí)例分割任務(wù)中，大多數(shù)實(shí)例分割框架都使用實(shí)例分類置信度作為掩碼的質(zhì)量分?jǐn)?shù)。本文研究的這個(gè)問題，提出了一種包含網(wǎng)絡(luò)塊的R-CNN掩碼評(píng)分方法來學(xué)習(xí)和預(yù)測(cè)實(shí)例掩碼的質(zhì)量。掩碼評(píng)分策略對(duì)比掩碼質(zhì)量和掩碼得分之間的不一致，在COCO AP評(píng)測(cè)指標(biāo)上，優(yōu)先考慮更準(zhǔn)確的掩碼預(yù)測(cè)來改進(jìn)實(shí)例分割的性能。代碼可以在GitHub上找到。  

https://arxiv.org/abs/1903.00241v1

3.用更少的標(biāo)注生成高保真圖像（High-Fidelity Image Generation with Fewer Labels)  

深度生成模型正在成為現(xiàn)代機(jī)器學(xué)習(xí)的基礎(chǔ)。最近關(guān)于條件生成對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial networks，GANs)的研究表明，在自然圖像上學(xué)習(xí)復(fù)雜的高維分布是可行的。雖然最新的模型能夠在高分辨率下生成高保真度、多樣化的自然圖像，但它們依賴于大量的標(biāo)注數(shù)據(jù)。這篇論文展示了如何從最新的自我和半監(jiān)督學(xué)習(xí)研究中獲得啟發(fā)，從而在無監(jiān)督的圖像合成和條件設(shè)置方面都優(yōu)于當(dāng)前的最好效果(SOTA)。代碼可以在GitHub上找到。 

https://arxiv.org/abs/1903.02271v1

4.GCNv2:實(shí)時(shí)SLAM的高效匹配預(yù)測(cè) （GCNv2: Efficient Correspondence Prediction for Real-Time SLAM）

這篇文章提出了一種基于深度學(xué)習(xí)的關(guān)鍵字和描述符生成網(wǎng)絡(luò)GCNv2，它基于為三維投影幾何而訓(xùn)練的GCN而來。GCNv2設(shè)計(jì)了一個(gè)二進(jìn)制描述符向量作為ORB特征，以便在諸如ORB-slam等系統(tǒng)中方便的替換ORB。代碼可以在GitHub上找到。 

https://arxiv.org/abs/1902.11046v1

相關(guān)文獻(xiàn)：Deep Learning for Text Classification

5.ALiPy:使用Python進(jìn)行主動(dòng)學(xué)習(xí)（ALiPy: Active Learning in Python）

有監(jiān)督的機(jī)器學(xué)習(xí)方法通常需要大量帶標(biāo)簽的數(shù)據(jù)來進(jìn)行模型訓(xùn)練。然而，在許多實(shí)際應(yīng)用中，有大量的未標(biāo)記數(shù)據(jù)，但標(biāo)記數(shù)據(jù)卻有限，而且對(duì)它們進(jìn)行標(biāo)注的成本很高。主動(dòng)學(xué)習(xí)(Active learning，AL)通過迭代地在標(biāo)注器中通過查詢的方式選擇最合適的標(biāo)簽，從而降低了標(biāo)注成本。本文介紹了一個(gè)用于主動(dòng)學(xué)習(xí)的Python庫ALiPy。代碼可以在GitHub上找到。

https://arxiv.org/abs/1901.03802v1

6.DeepFashion2:一個(gè)用于服裝圖像檢測(cè)、姿態(tài)估計(jì)、分割和重新識(shí)別的多用途標(biāo)注（DeepFashion2: A Versatile Benchmark for Detection, Pose Estimation, Segmentation and Re-Identification of Clothing Images）

通過帶有豐富標(biāo)簽的數(shù)據(jù)集(如DeepFashion，其標(biāo)簽包括服裝類別、標(biāo)注點(diǎn)和消費(fèi)者信息圖像對(duì))，可以加強(qiáng)對(duì)時(shí)裝圖像的理解。然而，DeepFashion存在一些不可忽視的問題，比如每張圖片只有一件衣服，稀疏的標(biāo)注點(diǎn)(只有4~8個(gè))以及沒有每個(gè)像素的掩碼，這與現(xiàn)實(shí)場(chǎng)景有很大的差距。本文通過DeepFashion2來解決這些問題，填補(bǔ)了這一空白。DeepFashion2是一個(gè)通用的標(biāo)簽庫，包括四個(gè)任務(wù)，包括服裝檢測(cè)，姿態(tài)估計(jì)，分割和檢索。代碼可以在GitHub上找到。  

https://arxiv.org/abs/1901.07973v1

7.星際爭(zhēng)霸多端挑戰(zhàn)  （The StarCraft Multi-Agent Challenge）

近年來，深度多端強(qiáng)化學(xué)習(xí)(RL)已經(jīng)成為一個(gè)非?；钴S的研究領(lǐng)域。在這一領(lǐng)域，有一類特別的問題很有挑戰(zhàn)，就是部分可觀察的、可以合作的、多智能體的學(xué)習(xí)，在這種學(xué)習(xí)中，團(tuán)隊(duì)必須學(xué)會(huì)只以他們各自的觀察為條件進(jìn)而協(xié)調(diào)整體的行為。這是一個(gè)很有吸引力的研究方向，因?yàn)檫@類問題涉及大量的真實(shí)系統(tǒng)，而且比一般總和博奕問題更易于評(píng)估。然而，對(duì)于可協(xié)作的多端RL，目前還沒有可對(duì)比的基準(zhǔn)。因此，這一領(lǐng)域的大多數(shù)論文都使用一次性的游戲，很難衡量真正的進(jìn)展。本文將星際爭(zhēng)霸多智能挑戰(zhàn)(SMAC)作為一個(gè)基準(zhǔn)問題來填補(bǔ)這一空白。代碼可以在GitHub上找到。  

https://arxiv.org/abs/1902.04043v2

8.Dropout是隨機(jī)增量規(guī)則(SDR)的一個(gè)特例:更快、更準(zhǔn)確的深度學(xué)習(xí)(Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning)

多層神經(jīng)網(wǎng)絡(luò)在文本、語音和圖像處理等多種任務(wù)中取得了很好的效果。在分層模型中，非線性參數(shù)估計(jì)容易出現(xiàn)過擬合和錯(cuò)誤設(shè)置的問題。對(duì)這些參數(shù)估計(jì)錯(cuò)誤以及其他相關(guān)問題(局部極小值、共線性、特征提取等)的一種解決方法稱為Dropout。Dropout會(huì)根據(jù)概率為p的伯努利隨機(jī)分布，在每次更新前隨機(jī)刪除部分隱藏層的單元，從而對(duì)網(wǎng)絡(luò)產(chǎn)生隨機(jī)的“擾動(dòng)”，并在每次更新時(shí)對(duì)其進(jìn)行平均。本文指出，Dropout是發(fā)表于1990年的通用模型隨機(jī)增量規(guī)則(Stochastic Delta Rule，SDR)的一種特例。代碼可以在GitHub上找到。 

https://arxiv.org/abs/1808.03578v2

9.Lingvo:一種用于序列模型的模塊化和可伸縮框架( Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling)

Lingvo是一個(gè)Tensorflow框架，為深度學(xué)習(xí)研究尤其是序列化模型提供了一個(gè)完整的解決方案，它由靈活且易于擴(kuò)展的模塊化構(gòu)建塊組成，實(shí)驗(yàn)時(shí)可以集中配置且可高度定制。該框架支持分布式訓(xùn)練和量化推理，包含大量實(shí)用組件、輔助函數(shù)和最新研究論文的實(shí)現(xiàn)。在過去的兩年里，Lingvo已經(jīng)被數(shù)十名研究人員用在了20多篇論文里。本文概述了Lingvo的底層設(shè)計(jì)，并對(duì)框架各個(gè)部分進(jìn)行了介紹，同時(shí)還對(duì)框架的高級(jí)特性提供了示例。代碼可以在GitHub上找到。  

https://arxiv.org/abs/1902.08295v1

10.具有動(dòng)態(tài)學(xué)習(xí)率邊界的自適應(yīng)梯度方法(Adaptive Gradient Methods with Dynamic Bound of Learning Rate)

為了加快深度學(xué)習(xí)的訓(xùn)練速度，人們提出了如AdaGrad, RMSProp和Adam等學(xué)習(xí)率自適應(yīng)優(yōu)化方法。雖然方法眾多，但與SGD相比，它們的泛化能力較差，甚至由于不穩(wěn)定和極端的學(xué)習(xí)率而無法收斂。本文論證了極端的學(xué)習(xí)率會(huì)導(dǎo)致模型性能變差?；贏dam和AMSGrad分別提出了名為AdaBound和AMSBound的變種，它們利用學(xué)習(xí)率的動(dòng)態(tài)邊界實(shí)現(xiàn)了從自適應(yīng)方法到SGD的漸進(jìn)平穩(wěn)過渡，并給出了收斂性的理論證明。對(duì)各種常見的任務(wù)和模型進(jìn)行了進(jìn)一步的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，新的方法能夠消除自適應(yīng)方法與SGD之間的泛化差距，同時(shí)在訓(xùn)練初期保持較高的學(xué)習(xí)速度。代碼可以在GitHub上找到。  雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

https://openreview.net/forum?id=Bkg3g2R9FX

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

點(diǎn)擊【2019 到目前為止的深度學(xué)習(xí)研究進(jìn)展匯總】即可訪問哦~

為了營(yíng)造更好學(xué)習(xí)氛圍，AI研習(xí)社向你推薦“PyTorch的深度教程”

這是作者編寫的一系列深入的教程，可用于通過令人驚嘆的PyTorch庫自己實(shí)現(xiàn)很酷的深度學(xué)習(xí)模型。如果你剛開始接觸PyTorch，請(qǐng)先閱讀PyTorch的深度學(xué)習(xí)：60分鐘閃電戰(zhàn)和學(xué)習(xí)PyTorch的例子。在每個(gè)教程中，我們將通過從研究論文中實(shí)施模型來關(guān)注特定應(yīng)用或感興趣的領(lǐng)域。比如文本分類（代碼已創(chuàng)建完成，教程正在進(jìn)行）、機(jī)器翻譯物體檢測(cè)等。

教程鏈接：https://ai.yanxishe.com/page/tweet/22260

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。