今日 Paper | CopyMTL；情感分析模型；膠囊網(wǎng)絡(luò)；XTREME等

本文作者： AI研習(xí)社

2020-04-17 10:09

導(dǎo)語：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊。

CopyMTL: 命名實體識別和關(guān)系抽取多任務(wù)學(xué)習(xí)聯(lián)合模型中的復(fù)制機制

論文名稱：CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning

作者：Daojian Zeng /Haoran Zhang /Qianying Liu

發(fā)表時間：2019/11/24

論文鏈接：https://paper.yanxishe.com/review/15955?from=leiphonecolumn_paperreview0417

推薦原因

CopyRE是一種基于seq2seq結(jié)構(gòu)的非常優(yōu)秀的關(guān)系抽取模型，作者針對CopyRE存在的首尾實體(head and tail entities)無法區(qū)分、無法匹配多字符實體(multi-tokens entity)的問題進行了分析，并且提出了自己的改進模型CopyMTL。

作者詳細(xì)的講解了CopyRE的原理，并從理論的角度分析了CopyRE存在如上問題的原因，進而使用以selu為激活函數(shù)的全連接層解決了首尾實體無法區(qū)分的問題，使用結(jié)合了NER的多任務(wù)學(xué)習(xí)來解決無法匹配多字符實體的問題，同時在多個數(shù)據(jù)集上達到了SOTA。

這里使用多任務(wù)學(xué)習(xí)來優(yōu)化CopyRE，并且給出了代碼，從文章上來看，應(yīng)該是根據(jù)CopyRE作者的代碼進行改進的，對于想利用多任務(wù)學(xué)習(xí)來優(yōu)化自己模型的同學(xué)有很大的參考意義

此外，提個疑問，如果反過來，是不是也可以使用copy mechanism來優(yōu)化基于序列標(biāo)注的關(guān)系抽取模型呢？

學(xué)習(xí)(what,how,why)三元組: 一種幾乎完美的基于方面的情感分析模型

論文名稱：Knowing What, How and Why: A Near Complete Solution for Aspect-based Sentiment Analysis

作者：Haiyun Peng /Lu Xu /Lidong Bing /Fei Huang /Wei Lu /Luo Si

發(fā)表時間：2019/11/5

論文鏈接：https://paper.yanxishe.com/review/16070?from=leiphonecolumn_paperreview0417

推薦原因

本文的核心內(nèi)容是由阿里巴巴達摩研究院提出的一個三元組抽取模型，并以此將方面信息抽取(aspect extraction)、方面所屬情感種類(aspect term sentiment classification)、態(tài)度詞(opinion term extraction)等子任務(wù)合并在一個模型中解決。其主要的思路是定義一個包含了方面、情感、態(tài)度詞信息的三元組

本文在模型設(shè)計方面有很多值得深思的亮點，簡單說幾個讓我印象最深的，其一，第一個序列標(biāo)注任務(wù)僅標(biāo)注邊界信息(boundary information)，同時利用邊界信息，在方面序列標(biāo)注任務(wù)使用了softmax作為輸出，而不是CRF。其二，針對態(tài)度詞的的特點，在其序列標(biāo)注任務(wù)中，先使用了一個GCN(Graph Convolutional Network)來學(xué)習(xí)其語義信息。其三，利用方面序列標(biāo)注任務(wù)的信息來指導(dǎo)態(tài)度詞序列標(biāo)注任務(wù)。此外還有精心設(shè)計的BLSTM模型結(jié)構(gòu)、多義詞處理、預(yù)訓(xùn)練詞向量等。

這個模型在各個子任務(wù)中都達到了SOTA，作者開源了一些三元組數(shù)據(jù)，但是沒有提供完整的代碼。

膠囊網(wǎng)絡(luò)來解釋你喜歡什么不喜歡什么

論文名稱：A Capsule Network for Recommendation and Explaining What You Like and Dislike

作者：Chenliang Li

發(fā)表時間：2019/2/1

論文鏈接：https://paper.yanxishe.com/review/14886?from=leiphonecolumn_paperreview0417

推薦原因

本文主要研究目的和創(chuàng)新點：

本文針對用戶的評論來預(yù)測用戶的喜好，主要用在推薦系統(tǒng)中。目前已經(jīng)有很多相關(guān)的研究，但是在采用深度學(xué)習(xí)建模的過程中，根據(jù)用戶持有的觀點依舊很難理解用戶的喜好。在此基礎(chǔ)上作者嘗試性將用戶持有的觀點與對應(yīng)的商品屬性作為一個邏輯單元，對用戶的評論進行挖掘，并進行用戶喜好預(yù)測。為此，本文提出了一種基于帶有用戶評論的收視率預(yù)測模型，稱為CARP。對于每個用戶對，設(shè)計CARP來提取信息邏輯，并推斷出相應(yīng)的情感。為了驗證模型效果，作者分別在7個真實數(shù)據(jù)集上進行了大量實驗，實驗表明，該模型對于用戶喜好的預(yù)測精度有較大提升。

今日 Paper | CopyMTL；情感分析模型；膠囊網(wǎng)絡(luò)；XTREME等

XTREME：一個大規(guī)模的多語言多任務(wù)基準(zhǔn)測試用于評估跨語言概括

論文名稱：XTREME: AMassively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization

作者：Junjie Hu / Sebastian Ruder /Aditya Siddhant /Graham Neubig /Orhan Firat

發(fā)表時間：2020/3/27

論文鏈接：https://paper.yanxishe.com/review/15688?from=leiphonecolumn_paperreview0417

推薦原因

核心問題：基準(zhǔn)測試可以評估各種任務(wù)的模型，但是基準(zhǔn)測試大多僅限于英語，所以缺少能夠?qū)Ω鞣N語言和任務(wù)進行此類方法的綜合評估的基準(zhǔn)測試。通過英語測試的模型可以在許多任務(wù)上達到人類的表現(xiàn)，但跨語言轉(zhuǎn)移的模型的表現(xiàn)仍然存在較大差距。

創(chuàng)新點：本論文介紹了多語言編碼器的跨語言轉(zhuǎn)換評估—XTREME 基準(zhǔn)。作為一個多任務(wù)基準(zhǔn)，XTREME 可以用于評估 40 種語言和 9 個任務(wù)的多語言表示形式的跨語言概括能力。

研究意義：他們發(fā)布了基準(zhǔn)測試結(jié)果，以鼓勵研究跨語言學(xué)習(xí)方法，希望這些方法可以跨各種代表性的語言和任務(wù)傳遞語言知識。

使用深度神經(jīng)網(wǎng)絡(luò)和組合優(yōu)化對生理信號進行切分和最優(yōu)波段選擇

論文名稱：Segmentation and Optimal Region Selection of Physiological Signals using Deep Neural Networks and Combinatorial Optimization

作者：Jorge Oliveira /Margarida Carvalho /Diogo Marcelo Nogueira /Miguel Coimbra

發(fā)表時間：2020/3/17

論文鏈接：https://paper.yanxishe.com/review/14660?from=leiphonecolumn_paperreview0417

推薦原因

1 核心問題

本文解決的是如何自動提取生理信號最優(yōu)波段來輔助后續(xù)診斷和預(yù)測的問題。

2 創(chuàng)新點

本文使用神經(jīng)網(wǎng)絡(luò)去計算每個樣本的狀態(tài)概率分布，然后構(gòu)造出一張圖，同時在圖中加入狀態(tài)轉(zhuǎn)換限制，并根據(jù)最大化用戶提出的似然函數(shù)去使用一組約束來檢索生理信號記錄的子集。

3 研究意義

生理信號經(jīng)常會被噪音干擾。通常情況下，人工智能算法會在無視質(zhì)量的情況下對之進行整體分析。與之相反的是，醫(yī)師則并不分析整個記錄，而是會搜尋容易檢測到基本波動和異常波動的波段進行分析，然后才進行預(yù)測。因此，受到以上事實啟發(fā)，本文提出了一個基于用戶自定標(biāo)準(zhǔn)，為后期處理自動選擇最優(yōu)波段的算法。本文將提出的方法使用在兩個實際應(yīng)用場景中，并且取得了很好的效果。

今日 Paper | CopyMTL；情感分析模型；膠囊網(wǎng)絡(luò)；XTREME等