雷鋒網(wǎng) AI 開發(fā)者按：目前，在序列到序列（ seq2seq ）的自然語(yǔ)言生成任務(wù)中，主流預(yù)訓(xùn)練模型仍然面臨一些重大缺陷，例如：生成輸出與輸入文本之間長(zhǎng)度匹配問題、需要大量訓(xùn)練數(shù)據(jù)才能實(shí)現(xiàn)較高性能、推斷速度慢等。

因此，Google 提出了一種新型的文本生成模型 LaserTagger，該模型旨在解決 seq2seq 模型運(yùn)行過程中的上述缺陷，可以預(yù)測(cè)將將源文本轉(zhuǎn)換為目標(biāo)文本的一系列生成操作。Google 發(fā)布了相關(guān)文章介紹了這一開源文本生成模型，雷鋒網(wǎng) AI 開發(fā)者內(nèi)容整理編譯如下。

開發(fā)背景

序列到序列（seq2seq，https://en.wikipedia.org/wiki/Seq2seq）模型最初由軟件?程師 Eric Malmi 和 Sebastian Krause 開發(fā)，這一模型一經(jīng)推出后，為機(jī)器翻譯領(lǐng)域帶來(lái)了巨大的技術(shù)革新，并成為了各種?本?成任務(wù)（如摘要生成、句?融合和語(yǔ)法錯(cuò)誤糾正）的主流模型。

同時(shí)，結(jié)合模型架構(gòu)（例如，Transformer，https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html）的改進(jìn)，以及通過?監(jiān)督的預(yù)訓(xùn)練方法使用?量無(wú)標(biāo)注?本的能?，使得近年來(lái)神經(jīng)?絡(luò)?法獲得了質(zhì)的提升。

文本生成神經(jīng)網(wǎng)絡(luò)架構(gòu)發(fā)展；其中，BERT是深雙向的，OpenAI GPT是單向的，ELMo是淺雙向的

但根據(jù)實(shí)際使用情況，將 seq2seq 模型?于?本?成也有一些實(shí)質(zhì)性的缺陷，例如：?成輸??本不?持的輸出（稱為幻覺，hallucination）、需要?量的訓(xùn)練數(shù)據(jù)才能到達(dá)很好的效果；此外，seq2seq 模型通常需要逐字?成輸出，因此其推斷時(shí)間較長(zhǎng)。

近日，Google 的《Encode, Tag, Realize: High-Precision Text Editing》（https://ai.google/research/pubs/pub48542/）一文介紹了?種新穎的、開源的?本?成模型，旨在專?解決上述三個(gè)缺陷。由于該模型的速度快、精度高，因此該模型名為 LaserTagger。

該模型的核心思想在于：不從頭開始?成輸出?本，?是通過使?預(yù)測(cè)的編輯操作標(biāo)注單詞來(lái)?成輸出；然后在單獨(dú)的實(shí)現(xiàn)步驟中將這些單詞應(yīng)?于輸?單詞。這是處理?本?成的?種不太容易出錯(cuò)的?法，而且它可以通過更易于訓(xùn)練和更快執(zhí)?的模型架構(gòu)來(lái)處理文本。

《Encode, Tag, Realize: High-Precision Text Editing》論文

LaserTagger 的設(shè)計(jì)和功能 

許多?本?成任務(wù)的顯著特征是輸?和輸出之間經(jīng)常存在?度重疊。例如：在檢測(cè)和糾正語(yǔ)法錯(cuò)誤、或者是在融合句?時(shí)，?多數(shù)輸??本可以保持不變，并且僅??部分單詞需要修改。

因此，LaserTagger 會(huì)產(chǎn)??系列的編輯操作，?不是實(shí)際的單詞。我們使?的四種編輯操作類型是： Keep（將單詞復(fù)制到輸出中），Delete（刪除單詞）和 Keep-AddX / Delete-AddX（添加短語(yǔ) X）標(biāo)注的單詞之前，并可以選擇刪除標(biāo)注的單詞）。

下圖說明了此過程，該圖顯示了 LaserTagger 在句?融合中的應(yīng)?：

LaserTagger 適?于句?融合。預(yù)測(cè)的編輯操作對(duì)應(yīng)于刪除「.Turing」，然后替換為「and he」，注意輸?和輸出?本之間的?度重疊

所有添加的短語(yǔ)均來(lái)?受限制的詞匯表。該詞匯表是?個(gè)優(yōu)化過程的結(jié)果，該優(yōu)化過程具有兩個(gè)?標(biāo)：

（1）最?化詞匯表的??；

（2）最?化訓(xùn)練示例的數(shù)量；

其中添加到?標(biāo)?本的唯?必要單詞僅來(lái)?詞匯表，短語(yǔ)詞匯量受限制會(huì)使輸出決策的空間變?，并防?模型添加任意詞，從?減輕了「幻覺」問題。

輸?和輸出?本的?重疊特性也可以得到?個(gè)推論，即：所需的修改往往是局部的并且彼此獨(dú)?。這意味著編輯操作可以?精度地并?進(jìn)?預(yù)測(cè)，與順序執(zhí)?預(yù)測(cè)的?回歸 seq2seq 模型相?，可以顯著提?端到端的速度。

實(shí)驗(yàn)結(jié)果與結(jié)論

研究人員在實(shí)驗(yàn)中對(duì) LaserTagger 實(shí)現(xiàn)的四個(gè)文本生成任務(wù)進(jìn)行了評(píng)估，四個(gè)任務(wù)分別為：句?融合、拆分和改述、抽象總結(jié)和語(yǔ)法糾正。

在所有任務(wù) 中，LaserTagger 的性能與使??量訓(xùn)練示例的基于 BERT 的強(qiáng)?seq2seq 基線相當(dāng)；并且在訓(xùn)練示例數(shù)量有限時(shí)，其結(jié)果明顯優(yōu)于該基線。

下圖顯示了 WikiSplit 數(shù)據(jù)集上的結(jié)果，其具體任務(wù)是將?個(gè)?句?改寫為兩個(gè)連貫的短句?：

當(dāng)在 100 萬(wàn)個(gè)示例的完整數(shù)據(jù)集上訓(xùn)練模型時(shí)，LaserTagger 和基于 BERT 的 seq2seq 基線模型均具有可?的性能，但是在 10,000 個(gè)或更少示例的?樣本上進(jìn)?訓(xùn)練時(shí)，LaserTagger 明顯優(yōu)于基線模型（SARI 得分越?越好）

LaserTagger 的主要優(yōu)點(diǎn) 

根據(jù)實(shí)驗(yàn)結(jié)果，研究人員將 LaserTagger 與傳統(tǒng)的 seq2seq?法相?，總結(jié)出該新型模型具有以下優(yōu)點(diǎn)： 

• 可控性強(qiáng) 通過控制輸出短語(yǔ)詞匯（也可以?動(dòng)編輯或整理），LaserTagger ? seq2seq 基線模型不易產(chǎn)?幻覺。

• 推理速度快 LaserTagger 計(jì)算預(yù)測(cè)的速度?seq2seq 基線模型快 100 倍，使其適?于實(shí)時(shí)應(yīng)?。

• 數(shù)據(jù)效率高 即使僅使??百或?千個(gè)訓(xùn)練示例進(jìn)?訓(xùn)練，LaserTagger 也可以產(chǎn)?合理的輸出。在實(shí)驗(yàn)中，seq2seq 基線模型需要成千上萬(wàn)個(gè)示例才能獲得可比擬的性能。

由此可見，LaserTagger 的優(yōu)勢(shì)在?規(guī)模應(yīng)?時(shí)變得更加明顯。研究人員表示：通過減少響應(yīng)的?度并減少重復(fù)性可以用于改進(jìn)某些服務(wù)中語(yǔ)?應(yīng)答格式。

而較?的推理速度使該模型可以插?現(xiàn)有技術(shù)堆棧中，并且不會(huì)在?戶端增加任何明顯的延遲；除此之外，改進(jìn)的數(shù)據(jù)效率可以收集多種語(yǔ)?的訓(xùn)練數(shù)據(jù)，從?使來(lái)?不同語(yǔ)?背景的?戶受益。

圖片來(lái)源：網(wǎng)絡(luò)

原文鏈接：

https://ai.googleblog.com/2020/01/encode-tag-and-realize-controllable-and.html 

Github 地址：

https://github.com/google-research/lasertagger 

雷鋒網(wǎng) AI 開發(fā)者

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。