今日 Paper | 從純圖像重建世界；層次遞歸網(wǎng)絡(luò)序列；注意力神經(jīng)網(wǎng)絡(luò)；命名實體識別等

本文作者： AI研習(xí)社

2020-02-14 11:16

導(dǎo)語：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊。

今日 Paper | 從純圖像重建世界；層次遞歸網(wǎng)絡(luò)序列；注意力神經(jīng)網(wǎng)絡(luò)；命名實體識別等

層次遞歸網(wǎng)絡(luò)序列標(biāo)注的轉(zhuǎn)移學(xué)習(xí)
注意力神經(jīng)網(wǎng)絡(luò)序列標(biāo)記模型中的特征
基于雙向LSTM-CNNs的命名實體識別
通過雙向LSTM-CNNs-CRF進行端到端序列標(biāo)記
更好的物體表征，更好地從純圖像重建世界

層次遞歸網(wǎng)絡(luò)序列標(biāo)注的轉(zhuǎn)移學(xué)習(xí)

論文名稱：TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS

作者：Zhilin Yang /Ruslan Salakhutdinov

發(fā)表時間：2017/3/18

論文鏈接：https://paper.yanxishe.com/review/10864?from=leiphonecolumn_paperreview0214

核心問題：在序列標(biāo)注問題中，為了解決傳統(tǒng)的機器學(xué)習(xí)存在的需要手動構(gòu)建特征的問題，這里常常使用神經(jīng)網(wǎng)絡(luò)的方式，但是神經(jīng)網(wǎng)絡(luò)常常需要大量的數(shù)據(jù)才可以，那么現(xiàn)在就面臨一種情況，當(dāng)數(shù)據(jù)量不足的時候，如何才可以解決這個問題呢？

創(chuàng)新點：在計算機視覺中，當(dāng)面臨數(shù)據(jù)不足的時候，我們常常使用遷移學(xué)習(xí)的方式，本論文也將探討遷移學(xué)習(xí)的方法，其中使用具有豐富注釋的源任務(wù)來改善具有較少可用注釋的目標(biāo)任務(wù)的性能

研究意義：通過這種方式可以將訓(xùn)練的模型參數(shù)和架構(gòu)遷移過來，并且取得了不錯的效果，事實上現(xiàn)在nlp中的重要預(yù)訓(xùn)練模型興起，這也一定程度上證明了這種方向的可行性。

注意力神經(jīng)網(wǎng)絡(luò)序列標(biāo)記模型中的特征

論文名稱：Attending to Characters in Neural Sequence Labeling Models

作者：Marek Rei /Gamal K.O. Crichton /Sampo Pyysalo

發(fā)表時間：2016/11/14

論文鏈接：https://paper.yanxishe.com/review/10863?from=leiphonecolumn_paperreview0214

推薦原因

核心問題：序列標(biāo)注問題有一個問題需要處理，這個問題就是當(dāng)一句話中出現(xiàn)的單詞是陌生詞的時候，那么此時就會出現(xiàn)問題。這種詞稱為OOV問題

創(chuàng)新點：創(chuàng)新點就是為了解決這個問題，首先單詞有OOV問題，但是字符沒有OOV問題，這里引入了字符級別的信息。然后引入了注意力機制，使用經(jīng)典的attention+RNN+CEF的組合方式，這樣通過將詞級別和字符級別的向量相結(jié)合，從而達到非OVV的詞的字符向量與其詞向量相近。

研究意義：在許多數(shù)據(jù)集上達到了很好的效果，并且這種模型的參數(shù)較少。

基于雙向LSTM-CNNs的命名實體識別

論文名稱：Named Entity Recognition with Bidirectional LSTM-CNNs

作者：Jason P.C. Chiu /Eric Nichols

發(fā)表時間：2016/7/19

論文鏈接：https://paper.yanxishe.com/review/10862?from=leiphonecolumn_paperreview0214

推薦原因

核心問題：本文解決的是命名實體識別的任務(wù)，這是nlp中非常具備挑戰(zhàn)性的工作，傳統(tǒng)的機器學(xué)習(xí)方法需要使用手工的方式，但是這種方式并不好。

創(chuàng)新點：本論文使用的是深度學(xué)習(xí)的方式，和傳統(tǒng)的深度學(xué)習(xí)方法不同的是，這里搭建了一個新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠自動檢測字級和字符級特征使用雙向LSTM和CNN混合架構(gòu)，消除了大多數(shù)特征工程的需要。除此之外本文還提出了一種新的方法，使用這個方法在神經(jīng)網(wǎng)絡(luò)中對部分詞典匹配進行編碼，可以取得較好的效果。

研究意義：實驗表明，這種模型效果超過當(dāng)前的模型，并且在多個數(shù)據(jù)集中取得了最佳的效果。

通過雙向LSTM-CNNs-CRF進行端到端序列標(biāo)記

論文名稱：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

作者：Xuezhe Ma /Eduard Hovy

發(fā)表時間：2016/5/29

論文鏈接：https://paper.yanxishe.com/review/10861?from=leiphonecolumn_paperreview0214

核心問題：本文核心是解決nlp領(lǐng)域中的命名實體識別的問題

創(chuàng)新點：在之前的常用的模型是LSRM+CRF，本論文搭建了一個端到端的神經(jīng)網(wǎng)絡(luò)模型，引入了CNN結(jié)構(gòu)，這可以很好的處理局部信息

研究意義：這個模型的效果超過之前的模型效果。

更好的物體表征，更好地從純圖像重建世界

論文名稱：Contrastive Learning of Structured World Models

作者：Thomas Kipf /Elise van der Pol /Max Welling

發(fā)表時間：2019/9/26

論文鏈接：https://paper.yanxishe.com/review/10860?from=leiphonecolumn_paperreview0214

人類可以從眼睛觀察到的視覺信號理解還原出世界中的物體、物體間的關(guān)系、層次等等，這是人類認知能力的重要組成部分，也是機器學(xué)習(xí)、深度學(xué)習(xí)、計算視覺仍面對的一大挑戰(zhàn)（從原始的像素輸入還原帶有結(jié)構(gòu)的世界模型）。

維吉尼亞大學(xué)的作者們在這篇論文中提出了一個基于對比度訓(xùn)練的有結(jié)構(gòu)的世界模型C-SWM，它使用了一種對比度方法來用組合式的結(jié)構(gòu)學(xué)習(xí)環(huán)境的表征。它可以不需要直接的監(jiān)督，只通過對原始像素的觀察就發(fā)現(xiàn)提取環(huán)境中的物體。

作者們在含有多個獨立、可控制的物體的交互環(huán)境中評價了模型的表現(xiàn)，既包括了簡單的Atari游戲，也包括了多物體的物理仿真環(huán)境。實驗表明，這個模型可以克服以往的基于像素重建的模型的很多不足，在高度結(jié)構(gòu)化的環(huán)境中也發(fā)揮了比同類表征模型更好的表現(xiàn)，同時它學(xué)習(xí)到的基于物體的表征還是具有可解釋性的。

這篇論文的方法實際、效果出色，得到了審稿人的高度評價，被ICLR2020接收為口頭報告論文。

論文作者團隊招募

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復(fù)現(xiàn)。致力成為國內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學(xué)術(shù)的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

2.豐厚的稿酬

3.AI 名企內(nèi)推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習(xí)社社友

2.撰寫論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團隊，可以添加運營小姐姐的微信，備注“論文兼職作者”

今日 Paper | 從純圖像重建世界；層次遞歸網(wǎng)絡(luò)序列；注意力神經(jīng)網(wǎng)絡(luò)；命名實體識別等