0
| 本文作者： AI研習(xí)社 | 2020-04-17 10:09 |
CopyMTL: 命名實(shí)體識(shí)別和關(guān)系抽取多任務(wù)學(xué)習(xí)聯(lián)合模型中的復(fù)制機(jī)制
學(xué)習(xí)(what,how,why)三元組: 一種幾乎完美的基于方面的情感分析模型
膠囊網(wǎng)絡(luò)來(lái)解釋你喜歡什么不喜歡什么
XTREME：一個(gè)大規(guī)模的多語(yǔ)言多任務(wù)基準(zhǔn)測(cè)試 用于評(píng)估跨語(yǔ)言概括
使用深度神經(jīng)網(wǎng)絡(luò)和組合優(yōu)化對(duì)生理信號(hào)進(jìn)行切分和最優(yōu)波段選擇
論文名稱：CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning
作者：Daojian Zeng /Haoran Zhang /Qianying Liu
發(fā)表時(shí)間：2019/11/24
論文鏈接：https://paper.yanxishe.com/review/15955?from=leiphonecolumn_paperreview0417
推薦原因
CopyRE是一種基于seq2seq結(jié)構(gòu)的非常優(yōu)秀的關(guān)系抽取模型，作者針對(duì)CopyRE存在的首尾實(shí)體(head and tail entities)無(wú)法區(qū)分、無(wú)法匹配多字符實(shí)體(multi-tokens entity)的問(wèn)題進(jìn)行了分析，并且提出了自己的改進(jìn)模型CopyMTL。
作者詳細(xì)的講解了CopyRE的原理，并從理論的角度分析了CopyRE存在如上問(wèn)題的原因，進(jìn)而使用以selu為激活函數(shù)的全連接層解決了首尾實(shí)體無(wú)法區(qū)分的問(wèn)題，使用結(jié)合了NER的多任務(wù)學(xué)習(xí)來(lái)解決無(wú)法匹配多字符實(shí)體的問(wèn)題，同時(shí)在多個(gè)數(shù)據(jù)集上達(dá)到了SOTA。
這里使用多任務(wù)學(xué)習(xí)來(lái)優(yōu)化CopyRE，并且給出了代碼，從文章上來(lái)看，應(yīng)該是根據(jù)CopyRE作者的代碼進(jìn)行改進(jìn)的，對(duì)于想利用多任務(wù)學(xué)習(xí)來(lái)優(yōu)化自己模型的同學(xué)有很大的參考意義
此外，提個(gè)疑問(wèn)，如果反過(guò)來(lái)，是不是也可以使用copy mechanism來(lái)優(yōu)化基于序列標(biāo)注的關(guān)系抽取模型呢？
論文名稱：Knowing What, How and Why: A Near Complete Solution for Aspect-based Sentiment Analysis
作者：Haiyun Peng /Lu Xu /Lidong Bing /Fei Huang /Wei Lu /Luo Si
發(fā)表時(shí)間：2019/11/5
論文鏈接：https://paper.yanxishe.com/review/16070?from=leiphonecolumn_paperreview0417
推薦原因
本文的核心內(nèi)容是由阿里巴巴達(dá)摩研究院提出的一個(gè)三元組抽取模型，并以此將方面信息抽取(aspect extraction)、方面所屬情感種類(aspect term sentiment classification)、態(tài)度詞(opinion term extraction)等子任務(wù)合并在一個(gè)模型中解決。其主要的思路是定義一個(gè)包含了方面、情感、態(tài)度詞信息的三元組
本文在模型設(shè)計(jì)方面有很多值得深思的亮點(diǎn)，簡(jiǎn)單說(shuō)幾個(gè)讓我印象最深的，其一，第一個(gè)序列標(biāo)注任務(wù)僅標(biāo)注邊界信息(boundary information)，同時(shí)利用邊界信息，在方面序列標(biāo)注任務(wù)使用了softmax作為輸出，而不是CRF。其二，針對(duì)態(tài)度詞的的特點(diǎn)，在其序列標(biāo)注任務(wù)中，先使用了一個(gè)GCN(Graph Convolutional Network)來(lái)學(xué)習(xí)其語(yǔ)義信息。其三，利用方面序列標(biāo)注任務(wù)的信息來(lái)指導(dǎo)態(tài)度詞序列標(biāo)注任務(wù)。此外還有精心設(shè)計(jì)的BLSTM模型結(jié)構(gòu)、多義詞處理、預(yù)訓(xùn)練詞向量等。
這個(gè)模型在各個(gè)子任務(wù)中都達(dá)到了SOTA，作者開(kāi)源了一些三元組數(shù)據(jù)，但是沒(méi)有提供完整的代碼。
論文名稱：A Capsule Network for Recommendation and Explaining What You Like and Dislike
作者：Chenliang Li
發(fā)表時(shí)間：2019/2/1
論文鏈接：https://paper.yanxishe.com/review/14886?from=leiphonecolumn_paperreview0417
推薦原因
本文主要研究目的和創(chuàng)新點(diǎn)：
本文針對(duì)用戶的評(píng)論來(lái)預(yù)測(cè)用戶的喜好，主要用在推薦系統(tǒng)中。目前已經(jīng)有很多相關(guān)的研究，但是在采用深度學(xué)習(xí)建模的過(guò)程中，根據(jù)用戶持有的觀點(diǎn)依舊很難理解用戶的喜好。在此基礎(chǔ)上作者嘗試性將用戶持有的觀點(diǎn)與對(duì)應(yīng)的商品屬性作為一個(gè)邏輯單元，對(duì)用戶的評(píng)論進(jìn)行挖掘，并進(jìn)行用戶喜好預(yù)測(cè)。為此，本文提出了一種基于帶有用戶評(píng)論的收視率預(yù)測(cè)模型，稱為CARP。對(duì)于每個(gè)用戶對(duì)，設(shè)計(jì)CARP來(lái)提取信息邏輯，并推斷出相應(yīng)的情感。為了驗(yàn)證模型效果，作者分別在7個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)表明，該模型對(duì)于用戶喜好的預(yù)測(cè)精度有較大提升。
論文名稱：XTREME: AMassively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
作者：Junjie Hu / Sebastian Ruder /Aditya Siddhant /Graham Neubig /Orhan Firat
發(fā)表時(shí)間：2020/3/27
論文鏈接：https://paper.yanxishe.com/review/15688?from=leiphonecolumn_paperreview0417
推薦原因
核心問(wèn)題：基準(zhǔn)測(cè)試可以評(píng)估各種任務(wù)的模型，但是基準(zhǔn)測(cè)試大多僅限于英語(yǔ)，所以缺少能夠?qū)Ω鞣N語(yǔ)言和任務(wù)進(jìn)行此類方法的綜合評(píng)估的基準(zhǔn)測(cè)試。通過(guò)英語(yǔ)測(cè)試的模型可以在許多任務(wù)上達(dá)到人類的表現(xiàn)，但跨語(yǔ)言轉(zhuǎn)移的模型的表現(xiàn)仍然存在較大差距。
創(chuàng)新點(diǎn)：本論文介紹了多語(yǔ)言編碼器的跨語(yǔ)言轉(zhuǎn)換評(píng)估—XTREME 基準(zhǔn)。作為一個(gè)多任務(wù)基準(zhǔn)，XTREME 可以用于評(píng)估 40 種語(yǔ)言和 9 個(gè)任務(wù)的多語(yǔ)言表示形式的跨語(yǔ)言概括能力。
研究意義：他們發(fā)布了基準(zhǔn)測(cè)試結(jié)果，以鼓勵(lì)研究跨語(yǔ)言學(xué)習(xí)方法，希望這些方法可以跨各種代表性的語(yǔ)言和任務(wù)傳遞語(yǔ)言知識(shí)。
論文名稱：Segmentation and Optimal Region Selection of Physiological Signals using Deep Neural Networks and Combinatorial Optimization
作者：Jorge Oliveira /Margarida Carvalho /Diogo Marcelo Nogueira /Miguel Coimbra
發(fā)表時(shí)間：2020/3/17
論文鏈接：https://paper.yanxishe.com/review/14660?from=leiphonecolumn_paperreview0417
推薦原因
1 核心問(wèn)題
本文解決的是如何自動(dòng)提取生理信號(hào)最優(yōu)波段來(lái)輔助后續(xù)診斷和預(yù)測(cè)的問(wèn)題。
2 創(chuàng)新點(diǎn)
本文使用神經(jīng)網(wǎng)絡(luò)去計(jì)算每個(gè)樣本的狀態(tài)概率分布，然后構(gòu)造出一張圖，同時(shí)在圖中加入狀態(tài)轉(zhuǎn)換限制，并根據(jù)最大化用戶提出的似然函數(shù)去使用一組約束來(lái)檢索生理信號(hào)記錄的子集。
3 研究意義
生理信號(hào)經(jīng)常會(huì)被噪音干擾。通常情況下，人工智能算法會(huì)在無(wú)視質(zhì)量的情況下對(duì)之進(jìn)行整體分析。與之相反的是，醫(yī)師則并不分析整個(gè)記錄，而是會(huì)搜尋容易檢測(cè)到基本波動(dòng)和異常波動(dòng)的波段進(jìn)行分析，然后才進(jìn)行預(yù)測(cè)。因此，受到以上事實(shí)啟發(fā)，本文提出了一個(gè)基于用戶自定標(biāo)準(zhǔn)，為后期處理自動(dòng)選擇最優(yōu)波段的算法。本文將提出的方法使用在兩個(gè)實(shí)際應(yīng)用場(chǎng)景中，并且取得了很好的效果。
求職交流
現(xiàn)AI 研習(xí)社已經(jīng)和阿里大文娛、曠視、搜狗搜索、小米等知名公司達(dá)成聯(lián)系，為幫助大家更好地求職找工作，社區(qū)成立了AI求職內(nèi)推社群，找工作找實(shí)習(xí)的小伙伴可以掃碼進(jìn)群了，也歡迎在讀的同學(xué)來(lái)交流學(xué)習(xí)。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
