今日 Paper | 自注意力對(duì)齊；自動(dòng)化評(píng)估；關(guān)系抽取任務(wù)；LSTM模型等

本文作者： AI研習(xí)社

2020-04-20 11:46

導(dǎo)語(yǔ)：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊。

自注意力對(duì)齊：使用自注意力網(wǎng)絡(luò)和跳塊的一種延時(shí)控制的端到端語(yǔ)音識(shí)別模型

論文名稱：self-attention aligner: a latency-control end-to-end model for ASR using self-attention network and chunk-hopping

作者：Linhao Dong / Feng Wang / Bo Xu

發(fā)表時(shí)間：2019/2/18

論文鏈接：https://paper.yanxishe.com/review/16749?from=leiphonecolumn_paperreview0420

推薦原因

為了解決RNN結(jié)構(gòu)的語(yǔ)音識(shí)別模型存在的訓(xùn)練時(shí)間長(zhǎng)、對(duì)一些噪音很敏感等問(wèn)題，作者參考了transformer結(jié)構(gòu)設(shè)計(jì)了一個(gè)語(yǔ)音識(shí)別模型，其中編碼部分使用了時(shí)間維度的池化操作進(jìn)行下采樣來(lái)進(jìn)行時(shí)間維度的信息交互并提高模型速度，解碼的部分設(shè)計(jì)了一種模擬CTC的對(duì)齊結(jié)構(gòu)。此外，作者將語(yǔ)音識(shí)別模型與語(yǔ)言模型進(jìn)行端到端的聯(lián)合訓(xùn)練，使得CER得到進(jìn)一步提升。

將transformer結(jié)構(gòu)應(yīng)用語(yǔ)音識(shí)別，今天已經(jīng)不新鮮了。但是就去年本文發(fā)表的時(shí)期而言，將另一個(gè)領(lǐng)域的優(yōu)秀模型應(yīng)用到本領(lǐng)域來(lái)，會(huì)遇到什么問(wèn)題，要怎么解決這些問(wèn)題，如何進(jìn)行優(yōu)化？本文的這些思路都是很值得參考的。比如，transformer模型能很好的解決文本類(lèi)的NLP任務(wù)，那么將其與語(yǔ)音識(shí)別聯(lián)合訓(xùn)練，也更有可能收斂，以達(dá)到提高表現(xiàn)的目的。

今日 Paper | 自注意力對(duì)齊；自動(dòng)化評(píng)估；關(guān)系抽取任務(wù)；LSTM模型等

為什么我們需要為NLG設(shè)計(jì)新的自動(dòng)化評(píng)估指標(biāo)

論文名稱：Why We Need New Evaluation Metrics for NLG

作者：Jekaterina Novikova / Ondrej Du ˇ sek / Amanda Cercas Curry ˇ / Verena Rieser

發(fā)表時(shí)間：2017/7/21

論文鏈接：https://paper.yanxishe.com/review/16619?from=leiphonecolumn_paperreview0420

推薦原因

核心內(nèi)容: 作者針對(duì)NLG(nature language generation)自動(dòng)化評(píng)估問(wèn)題，對(duì)于WBMs(Word-based Metrics), GBMs(Grammar-based metrics)兩大類(lèi)總計(jì)21個(gè)當(dāng)時(shí)常用的評(píng)估指標(biāo)進(jìn)行了分析，具體是用了3個(gè)SOTA模型以及三個(gè)屬于不同領(lǐng)域的數(shù)據(jù)集上進(jìn)行測(cè)試，并且將測(cè)試結(jié)果進(jìn)一步交由眾包平臺(tái)進(jìn)行人工打分，進(jìn)而對(duì)自動(dòng)評(píng)估和人工評(píng)估進(jìn)行有效性對(duì)比以及關(guān)聯(lián)性分析。同時(shí)，對(duì)于測(cè)試結(jié)果進(jìn)行了模型、數(shù)據(jù)集、以及具體樣本級(jí)別的詳細(xì)錯(cuò)誤分析，得出了包括BLEU在內(nèi)的大部分指標(biāo)并不能令人滿意的結(jié)論。

文章亮點(diǎn)：系統(tǒng)地分析了自動(dòng)評(píng)估與人工評(píng)估關(guān)聯(lián)性及其在不同數(shù)據(jù)集上的表現(xiàn)；作者公開(kāi)了全部的代碼、數(shù)據(jù)以及分析結(jié)果。

推薦理由：設(shè)計(jì)一個(gè)模型的時(shí)候，對(duì)數(shù)據(jù)集進(jìn)行分析是理所當(dāng)然的，對(duì)于當(dāng)前的自動(dòng)化評(píng)估指標(biāo)是否適用于數(shù)據(jù)集就沒(méi)那么直觀了，本文對(duì)于如何設(shè)計(jì)出一個(gè)令人滿意的NLP模型給人以啟發(fā)。

利用多輪問(wèn)答模型處理實(shí)體-關(guān)系抽取任務(wù)

論文名稱：Entity-Relation Extraction as Multi-turn Question Answering

作者：Xiaoya Li / Fan Yin / Zijun Sun / Xiayu Li / Arianna Yuan /Duo Chai / Mingxin Zhou and Jiwei Li

發(fā)表時(shí)間：2019/9/4

論文鏈接：https://paper.yanxishe.com/review/15956?from=leiphonecolumn_paperreview0420

推薦原因

如今NLP領(lǐng)域很多研究人員將非QA(question answer)的任務(wù)轉(zhuǎn)換成QA問(wèn)題，取得了不錯(cuò)的效果，受此啟發(fā)，作者提出了使用設(shè)計(jì)了一種問(wèn)答模型的新模式來(lái)處理事件抽取任務(wù)，其核心部分是：針對(duì)首實(shí)體(head entity)和關(guān)系(relation)分別設(shè)計(jì)了一種將實(shí)體轉(zhuǎn)換為問(wèn)題(question)的模板，并通過(guò)生成答案(answer)來(lái)依次抽取head entity和整個(gè)三元組。同時(shí)，本文參考了對(duì)話系統(tǒng)中利用強(qiáng)化學(xué)習(xí)來(lái)進(jìn)行多輪任務(wù)的思想，設(shè)計(jì)了多輪問(wèn)答模型。

本文涉及到事件抽取、問(wèn)答系統(tǒng)、閱讀理解、強(qiáng)化學(xué)習(xí)等多個(gè)NLP方面的知識(shí)，并提出了一個(gè)有利于事件抽取的中文數(shù)據(jù)集，在多個(gè)數(shù)據(jù)集上均達(dá)到了新的SOTA。

從作者的數(shù)量能看出，他們做了大量的工作，對(duì)于個(gè)人來(lái)說(shuō)可能很難復(fù)現(xiàn)他們的實(shí)驗(yàn)，但是其融合NLP多個(gè)領(lǐng)域來(lái)進(jìn)行模型的優(yōu)化的思想，很值得學(xué)習(xí)。

傾聽(tīng)“聲音”的聲音：一種用于聲音事件檢測(cè)的“時(shí)間-頻率”注意力模型

論文名稱：Learning How to Listen: A Temporal-Frequential Attention Model for Sound Event Detection

作者：Yu-Han Shen / Ke-Xin He / Wei-Qiang Zhang

發(fā)表時(shí)間：2018/10/29

論文鏈接：https://paper.yanxishe.com/review/15418?from=leiphonecolumn_paperreview0420

推薦原因

這篇文章被 ICASSP 2019收錄，核心內(nèi)容是作者作為一個(gè)參賽者對(duì)DCASE2017中的一個(gè)特殊語(yǔ)音事件檢測(cè)任務(wù)的分析，作者的思路是利用attention機(jī)制，提取出聲音信號(hào)中最為重要的特征，并且從單個(gè)frame的頻譜特性( spectral characteristic)以及樣本中多個(gè)frames的時(shí)間特性的角度設(shè)計(jì)注意力模型，使用maxpooling將一段聲音中的關(guān)鍵特征抽取出來(lái)。

從比賽結(jié)果來(lái)看，作為沒(méi)有使用集成學(xué)習(xí)的單個(gè)模型，作者提出的這種模型結(jié)構(gòu)所得到的分?jǐn)?shù)是比賽中最優(yōu)的。

本文不僅模型設(shè)計(jì)的很出色，對(duì)于數(shù)據(jù)不均衡、音頻噪聲等問(wèn)題的處理也值得一讀。

用于端到端流式語(yǔ)音識(shí)別的單向LSTM模型結(jié)構(gòu)分析

論文名稱：Unidirectional Neural Network Architectures for End-to-End Automatic Speech Recognition

作者：Niko Moritz / Takaaki Hori / Jonathan Le Roux

發(fā)表時(shí)間：2019/9/19

論文鏈接：https://paper.yanxishe.com/review/15822?from=leiphonecolumn_paperreview0420

推薦原因

端到端ASR模型中，以往的語(yǔ)音識(shí)別模塊結(jié)構(gòu)變成了單一的神經(jīng)網(wǎng)絡(luò)，這要求模型能處理更長(zhǎng)的上下文信息，目前，雙向LSTM(BiLSTM)已經(jīng)在這方面取得了相當(dāng)好的效果，但是并不適合流式語(yǔ)音識(shí)別。作者以此為出發(fā)點(diǎn)，討論了現(xiàn)在流行的幾種單向LSTM網(wǎng)絡(luò)模型以及基于延時(shí)控制(latency-controlled)的BiLSTM，并且以此為基礎(chǔ)提出了兩種更好的TDLSTM(time-delayed LSTM)，并且在中英文語(yǔ)音數(shù)據(jù)集上進(jìn)行了驗(yàn)證。

本文專門(mén)討論網(wǎng)絡(luò)模型設(shè)計(jì)，一方面，為了保證公平，對(duì)作為baseline的模型均做了一些優(yōu)化，同時(shí)簡(jiǎn)化了輸入輸出模塊，除了“Kaldi”-TDNN-LSTM模型在大型訓(xùn)練集上出現(xiàn)了內(nèi)存溢出，其他模型均在包括延時(shí)控制、模型參數(shù)數(shù)量等方面均很接近的條件下進(jìn)行訓(xùn)練，另一方面，作者對(duì)于如何設(shè)計(jì)一個(gè)滿足需求的神經(jīng)網(wǎng)絡(luò)模型講解的很細(xì)致，有一種讀教材的感覺(jué)。因此，我還特意去搜到這個(gè)作者的個(gè)人網(wǎng)站，的確是個(gè)牛人http://www.jonathanleroux.org/。

求職交流

現(xiàn)AI 研習(xí)社已經(jīng)和阿里大文娛、曠視、搜狗搜索、小米等知名公司達(dá)成聯(lián)系，為幫助大家更好地求職找工作，社區(qū)成立了AI求職內(nèi)推社群，找工作找實(shí)習(xí)的小伙伴可以掃碼進(jìn)群了，也歡迎在讀的同學(xué)來(lái)交流學(xué)習(xí)。（群里有企業(yè)hr，項(xiàng)目招聘人員）

今日 Paper | 自注意力對(duì)齊；自動(dòng)化評(píng)估；關(guān)系抽取任務(wù)；LSTM模型等