Hi 歡迎來到Paper 研習(xí)社每日精選欄目，Paper 研習(xí)社（paper.yanxishe.com）每天都為你精選關(guān)于人工智能的前沿學(xué)術(shù)論文供你參考，以下是今日的精選內(nèi)容——

• Audio-based automatic mating success prediction of giant pandas
  

• Garbage In, Garbage Out? Do Machine Learning Application Papers in Social Computing Report Where Human-Labeled Training Data Comes From?

• Deep Learning vs. Traditional Computer Vision

• The problem with DDPG: understanding failures in deterministic environments with sparse rewards

• Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model

• Differentiated Distribution Recovery for Neural Text Generation

• An Integral Tag Recommendation Model for Textual Content

• Neural Relation Extraction Within and Across Sentence Boundaries

• Measuring Compositional Generalization: A Comprehensive Method>On Reinforcement Learning for Full--‐length Game of StarCraft

Audio-based automatic mating success prediction of giant pandas

作者：Yan WeiRan /Tang MaoLin /Zhao Qijun /Chen Peng /Qi Dunwu /Hou Rong /Zhang Zhihe

發(fā)表時間：2019/12/24

論文鏈接：https://paper.yanxishe.com/review/7884

推薦理由：用到GRU和注意力的論文有很多，但用卷積+雙向GRU+注意力研究大熊貓聲音的，而且就來自四川瀕危野生動物保護(hù)國家重點實驗室 - 成都大熊貓繁育研究基地的，這篇論文可是獨一篇。

這篇論文研究的課題讓我們增進(jìn)了對大熊貓的認(rèn)識。一方面，大熊貓一般都是比較安靜的動物，不怎么發(fā)出聲音，但在繁殖季時發(fā)聲會明顯多一些，這說明聲音對求偶和交配有一定作用，此前的生物學(xué)研究也證明了存在相關(guān)性。另一方面，交配之后熊貓是否成功受孕很難確定，不僅因為熊貓?zhí)悍浅Ｐ?，只能通過其他因素觀察，還因為人工養(yǎng)殖條件下的熊貓就出現(xiàn)過“為了享受更好待遇而假裝懷孕”的事情。所以這篇論文的目標(biāo)是通過記錄下的熊貓聲音預(yù)測是否成功受孕，整個工作流程包括分割、音量和長度標(biāo)準(zhǔn)化、特征提取、用含有卷積+GRU+注意力的深度神經(jīng)網(wǎng)絡(luò)預(yù)測是否成功受孕。作者們在過去 9 年中采集的聲音數(shù)據(jù)集上做了實驗，得到了有潛力的結(jié)果。準(zhǔn)確的預(yù)測能給大熊貓的繁育帶來幫助。

Garbage In, Garbage Out? Do Machine Learning Application Papers in Social Computing Report Where Human-Labeled Training Data Comes From?

作者：Geiger R. Stuart /Yu Kevin /Yang Yanlai /Dai Mindy /Qiu Jie /Tang Rebekah /Huang Jenny

發(fā)表時間：2019/12/17

論文鏈接：https://paper.yanxishe.com/review/7889

推薦理由：許多針對新應(yīng)用領(lǐng)域的機(jī)器學(xué)習(xí)項目都涉及到為特定目的標(biāo)記數(shù)據(jù)的人員團(tuán)隊，從雇用人群工作者到論文作者自行標(biāo)記數(shù)據(jù)。此類任務(wù)與結(jié)構(gòu)化內(nèi)容分析（或結(jié)構(gòu)化內(nèi)容分析的形式）非常相似，后者是社會科學(xué)和人文科學(xué)領(lǐng)域的一種長期方法，具有許多已建立的最佳實踐。

在本文中，作者調(diào)查了社交計算中機(jī)器學(xué)習(xí)應(yīng)用程序論文的樣本程度-特別是ArXiv和傳統(tǒng)出版物對Twitter數(shù)據(jù)執(zhí)行ML分類任務(wù)的論文-提供了有關(guān)是否遵循了此類最佳實踐的具體細(xì)節(jié)。

作者的團(tuán)隊對每篇論文進(jìn)行了多輪結(jié)構(gòu)化內(nèi)容分析，確定以下內(nèi)容：論文是否報告了誰是標(biāo)簽者，他們的資格是什么，他們是否獨立地標(biāo)記了相同的項目，是否公開了評分者間的可靠性指標(biāo)，向貼標(biāo)者提供培訓(xùn)水平和/或說明，是否公開了對人群工作者的補(bǔ)償，以及培訓(xùn)數(shù)據(jù)是否公開。我們是否遵循和記錄了這樣的做法存在很大分歧。機(jī)器學(xué)習(xí)的研究和教育很多都集中在一旦有了“黃金標(biāo)準(zhǔn)”的訓(xùn)練數(shù)據(jù)后該怎么做，但是我們首先圍繞這些數(shù)據(jù)是否可靠的同樣重要的方面討論問題。

Deep Learning vs. Traditional Computer Vision

作者：Niall O’ Mahony /Sean Campbell /Anderson Carvalho / Suman Harapanahalli

發(fā)表時間：2019/4/18

論文鏈接：https://paper.yanxishe.com/review/7885

推薦理由：核心問題：在深度學(xué)習(xí)快速發(fā)展的背景下，在計算機(jī)視覺領(lǐng)域傳統(tǒng)的計算機(jī)視覺技術(shù)是否還有意義？

這是一篇綜述文章，本論文介紹了傳統(tǒng)的計算機(jī)視覺技術(shù)和現(xiàn)在的深度學(xué)習(xí)視覺技術(shù)之間的關(guān)系，以及二者之間應(yīng)該是相互補(bǔ)充的關(guān)系，相互利用彼此的優(yōu)勢。深度學(xué)習(xí)推動了數(shù)字圖像處理領(lǐng)域的極限。但是，這并不是說在DL興起之前的幾年中一直在逐步發(fā)展的傳統(tǒng)計算機(jī)視覺技術(shù)已經(jīng)過時了。本文將分析每種方法的優(yōu)缺點。本文的目的是促進(jìn)有關(guān)是否應(yīng)保留經(jīng)典計算機(jī)視覺技術(shù)知識的討論。本文還將探討如何將計算機(jī)視覺的兩個方面結(jié)合起來。評論了幾種最近的混合方法論，這些方法論證明了改善計算機(jī)視覺性能和解決不適合深度學(xué)習(xí)的問題的能力。例如，將傳統(tǒng)的計算機(jī)視覺技術(shù)與深度學(xué)習(xí)相結(jié)合在新興領(lǐng)域（例如全景視覺和3D視覺）中很流行，而對于這些領(lǐng)域，深度學(xué)習(xí)模型尚未完全優(yōu)化。

The problem with DDPG: understanding failures in deterministic environments with sparse rewards

作者：Matheron Guillaume /Perrin Nicolas /Sigaud Olivier

發(fā)表時間：2019/11/26

論文鏈接：https://paper.yanxishe.com/review/7872

推薦理由：在具有連續(xù)狀態(tài)和動作空間的環(huán)境中，最先進(jìn)的行為者-批判強(qiáng)化學(xué)習(xí)算法可以解決非常復(fù)雜的問題，但是在看似微不足道的環(huán)境中也可能會失敗，但是這種失敗的原因仍然知之甚少 。在本文中，我們對稀疏的獎勵和確定性環(huán)境的特殊情況下的這些失敗做出了正式的解釋。首先，使用一個非?；镜目刂茊栴}，我們說明了學(xué)習(xí)過程可能陷入與不良解決方案相對應(yīng)的固定點。然后，從所研究的示例中進(jìn)行概括，我們提供了對潛在機(jī)制的詳細(xì)分析，從而使人們對這些算法的一種收斂方式有了新的認(rèn)識。由此產(chǎn)生的觀點為我們已經(jīng)強(qiáng)調(diào)的問題的現(xiàn)有解決方案提供了新的思路，并提出了其他可能的方法。

Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model

作者：Xiong Wenhan /Du Jingfei /Wang William Yang /Stoyanov Veselin

發(fā)表時間：2019/12/20

論文鏈接：https://paper.yanxishe.com/review/7870

推薦理由：預(yù)訓(xùn)練語言模型的最新突破表明，自監(jiān)督學(xué)習(xí)對于多種自然語言處理（NLP）任務(wù)的有效性。除了標(biāo)準(zhǔn)的語法和語義NLP任務(wù)外，預(yù)訓(xùn)練的模型還對涉及真實世界知識的任務(wù)進(jìn)行了重大改進(jìn)，這表明大規(guī)模語言建?？赡苁遣东@知識的隱含方法。在這項工作中，我們將進(jìn)一步研究使用事實完成任務(wù)對諸如BERT等預(yù)訓(xùn)練模型捕獲知識的程度。此外，我們提出了一個簡單而有效的弱監(jiān)督預(yù)訓(xùn)練目標(biāo)，該目標(biāo)明確迫使模型納入有關(guān)現(xiàn)實世界實體的知識。使用我們的新目標(biāo)訓(xùn)練的模型在事實完成任務(wù)上產(chǎn)生了重大改進(jìn)。在應(yīng)用于下游任務(wù)時，我們的模型在四個與實體相關(guān)的問題回答數(shù)據(jù)集（即WebQuestions，TriviaQA，SearchQA和Quasar-T）上的性能始終優(yōu)于BERT，平均改善了2.7 F1，并提供了標(biāo)準(zhǔn)的細(xì)粒度實體類型數(shù)據(jù)集（例如， FIGER），精度提高5.7。

Differentiated Distribution Recovery for Neural Text Generation

作者：Jianing Li? / Yanyan Lan?? / Jiafeng Guo? / Jun Xu? and Xueqi Cheng?

發(fā)表時間：2018/12/19

論文鏈接：https://paper.yanxishe.com/review/7864

推薦理由：基于遞歸神經(jīng)網(wǎng)絡(luò)（RNNLM）的神經(jīng)語言模型顯著提高了文本生成的性能，但是以圖靈測試通過率表示的生成文本的質(zhì)量仍然遠(yuǎn)遠(yuǎn)不能令人滿意。一些研究人員建議使用對抗訓(xùn)練或強(qiáng)化學(xué)習(xí)來提高質(zhì)量，但是，這種方法通常會在訓(xùn)練和參數(shù)調(diào)整過程中帶來巨大挑戰(zhàn)。通過組織的分析，其發(fā)現(xiàn)RNNLM的問題來自最大似然估計（MLE）作為目標(biāo)函數(shù)的使用，這需要生成的分布來精確地恢復(fù)真實分布。這種要求有利于高世代多樣性，這限制了世代質(zhì)量。當(dāng)整體質(zhì)量較低時，這是不合適的，因為高世代多樣性通常表示很多錯誤，而不是多樣化的好樣本。在本文中，作者建議實現(xiàn)差異化的分布恢復(fù)，簡稱DDR。關(guān)鍵思想是使最佳生成概率與真實概率的β次方成正比，

An Integral Tag Recommendation Model for Textual Content

作者：Shijie Tang1 / Yuan Yao1 / Suwei Zhang1 / Feng Xu1

發(fā)表時間：2018/12/20

論文鏈接：https://paper.yanxishe.com/review/7867

推薦理由：為在線文本內(nèi)容推薦合適的標(biāo)簽是更好地組織和使用內(nèi)容的關(guān)鍵組成部分。在本文中，我們確定了影響標(biāo)簽推薦準(zhǔn)確性的三個支柱：（1）順序文本建模，這意味著固有的順序排序以及文本的不同區(qū)域可能對相應(yīng)的標(biāo)簽具有重要的意義，（2 ）標(biāo)簽相關(guān)性，意味著某個文本內(nèi)容的標(biāo)簽通常在語義上相互關(guān)聯(lián)；（3）內(nèi)容-標(biāo)簽重疊，表示內(nèi)容和標(biāo)簽的詞匯重疊。但是，現(xiàn)有方法都沒有考慮所有這三個方面，導(dǎo)致標(biāo)簽推薦不理想。在本文中，我們提出了一個完整的模型來在相干的編碼器-解碼器框架中對所有三個方面進(jìn)行編碼。具體來說，（1）編碼器使用注意力機(jī)制通過遞歸神經(jīng)網(wǎng)絡(luò)對文本內(nèi)容的語義進(jìn)行建模；（2）解碼器通過預(yù)測路徑處理標(biāo)簽相關(guān)性；（3）共享的嵌入層和指示符功能跨編碼器-解碼器地址的內(nèi)容標(biāo)簽重疊。在三個現(xiàn)實世界數(shù)據(jù)集上的實驗結(jié)果表明，該方法在推薦準(zhǔn)確性方面明顯優(yōu)于現(xiàn)有方法。

Neural Relation Extraction Within and Across Sentence Boundaries

作者：Pankaj Gupta / Subburam Rajaram / Hinrich Schütze / Bernt Andrassy / Thomas Runkler

發(fā)表時間：2018/12/20

論文鏈接：https://paper.yanxishe.com/review/7866

推薦理由：關(guān)系抽取的過去工作主要集中在單個句子中實體對之間的二進(jìn)制關(guān)系。最近，NLP社區(qū)對跨多個句子的實體對中的關(guān)系提取感興趣。在本文中，我們針對此任務(wù)提出了一種新穎的體系結(jié)構(gòu)：基于句間依賴的神經(jīng)網(wǎng)絡(luò)（iDepNN）。iDepNN通過遞歸和遞歸神經(jīng)網(wǎng)絡(luò)對最短和增強(qiáng)的依存路徑進(jìn)行建模，以提取句子內(nèi)部（內(nèi)部）和跨（內(nèi)部）邊界的關(guān)系。與SVM和神經(jīng)網(wǎng)絡(luò)基線相比，iDepNN對于跨越句子的關(guān)系中的誤報更為可靠。我們在新聞鏈（MUC6）和醫(yī)學(xué)（BioNLP共享任務(wù)）域的四個數(shù)據(jù)集上評估我們的模型，這些數(shù)據(jù)集實現(xiàn)了最先進(jìn)的性能，并在精度和句子間關(guān)系的召回率之間表現(xiàn)出更好的平衡。我們的表現(xiàn)要好于參加BioNLP共享任務(wù)2016的11個團(tuán)隊，與獲勝團(tuán)隊相比，F(xiàn)1的增長率為5.2％（0.587對0.558）。作者還發(fā)布了MUC6的交叉句注釋。

Measuring Compositional Generalization: A Comprehensive Method>作者：Keysers Daniel /Sch?rli Nathanael /Scales Nathan /Buisman Hylke /Furrer Daniel /Kashubin Sergii /Momchev Nikola /Sinopalnikov Danila /Stafiniak Lukasz /Tihon Tibor /Tsarkov Dmitry /Wang Xiao /van Zee Marc /Bousquet Olivier

發(fā)表時間：2019/12/20

論文鏈接：https://paper.yanxishe.com/review/7865

推薦理由：最先進(jìn)的機(jī)器學(xué)習(xí)方法在組合泛化方面表現(xiàn)出局限性。同時，缺乏實際的基準(zhǔn)來全面衡量此功能，這使尋找和評估改進(jìn)變得困難。我們引入了一種新方法，通過最大程度地提高組成部件的散度并同時保證訓(xùn)練集和測試集之間的原子發(fā)散小，來系統(tǒng)地構(gòu)建此類基準(zhǔn)，并且將這種方法與其他方法進(jìn)行定量比較，以創(chuàng)建成分泛化基準(zhǔn)。我們提出了一種根據(jù)此方法構(gòu)造的大型且逼真的自然語言問答數(shù)據(jù)庫，并使用它來分析三種機(jī)器學(xué)習(xí)架構(gòu)的組成概括能力。我們發(fā)現(xiàn)，它們無法對組成進(jìn)行概括，并且在組成部件的散度和準(zhǔn)確性之間存在令人驚訝的強(qiáng)烈負(fù)相關(guān)。我們還將演示如何使用我們的方法在現(xiàn)有的SCAN數(shù)據(jù)集之上創(chuàng)建新的成分基準(zhǔn)，從而證實了這些發(fā)現(xiàn)。

On Reinforcement Learning for Full--‐length Game of StarCraft

作者：Zhen-Jia Pang / Ruo-Ze Liu / Zhou-Yu Meng / Yi Zhang / Yang Yu / Tong Lu

發(fā)表時間：2018/12/20

論文鏈接：https://paper.yanxishe.com/review/7860

推薦理由：《星際爭霸2》對強(qiáng)化學(xué)習(xí)提出了巨大挑戰(zhàn)。它的主要困難包括巨大的狀態(tài)和行動空間以及長期的視野。在本文中，我們研究了《星際爭霸2》的分層強(qiáng)化學(xué)習(xí)方法。層次結(jié)構(gòu)涉及兩個抽象級別。一種是從專家的軌跡中自動提取的宏動作，它可以將動作空間減少一個數(shù)量級，但仍然有效。另一個是兩層的分層體系結(jié)構(gòu)，該體系結(jié)構(gòu)是模塊化的并且易于擴(kuò)展，從而使課程表可以從較簡單的任務(wù)轉(zhuǎn)換為較復(fù)雜的任務(wù)。還研究了這種體系結(jié)構(gòu)的強(qiáng)化訓(xùn)練算法。在64x64的地圖上并使用限制性單位，相對于內(nèi)置難度為1級的AI，我們的獲勝率超過99％。通過課程轉(zhuǎn)移學(xué)習(xí)算法和混合戰(zhàn)斗模型，我們可以對付最困難的人族內(nèi)置非作弊內(nèi)置AI（7級），并在兩天內(nèi)進(jìn)行一次訓(xùn)練，就能獲得超過93％的Protoss勝率。機(jī)器只有48個CPU內(nèi)核和8個K40 GPU。當(dāng)針對從未見過的對手進(jìn)行測試時，它也顯示出強(qiáng)大的概括性能，包括作弊級別的內(nèi)置AI以及所有級別的Zerg和Protoss內(nèi)置AI。我們希望這項研究可以為將來的大規(guī)模強(qiáng)化學(xué)習(xí)研究提供一些啟示。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)