由中山大學(xué)，中國科技大學(xué)，微軟中國和廣東信息安全技術(shù)重點(diǎn)實(shí)驗(yàn)室近日發(fā)表論文《Adversarial Neural Machine Translation-對抗式神經(jīng)機(jī)器翻譯》，雷鋒網(wǎng)做了整理和編譯，未經(jīng)雷鋒網(wǎng)許可不得轉(zhuǎn)載。

在2014年由Bahdanau等人提出的神經(jīng)機(jī)器翻譯（NMT）近幾年獲得了學(xué)術(shù)和工業(yè)領(lǐng)域越來越多的關(guān)注。這種新式的翻譯方法與傳統(tǒng)的基于統(tǒng)計(jì)數(shù)據(jù)的翻譯機(jī)制（SMT）相比，可以獲得更好的翻譯質(zhì)量。但是，其翻譯結(jié)果還遠(yuǎn)遠(yuǎn)沒有達(dá)到人類對機(jī)器翻譯的期待，基于NMT的研究還有很長的路要走。在研究領(lǐng)域，學(xué)者們使用的傳統(tǒng)NMT通常運(yùn)用最大接近預(yù)測機(jī)制（MLE），使用翻譯原文段落和句子進(jìn)行訓(xùn)練。但是，這種翻譯方式并不能做到最為自然和準(zhǔn)確的翻譯效果。盡管基于這種理論方法還有很多的科學(xué)研究，但是用機(jī)理上看，這樣的方式并不能從根本上使機(jī)器翻譯進(jìn)步和提高到無限接近人類水平。

這篇論文介紹了一種新的基于神經(jīng)機(jī)器翻譯的應(yīng)用，結(jié)合近期行業(yè)內(nèi)很火的生成對抗網(wǎng)絡(luò)GANs，使用GANs的思路架構(gòu)進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)的新方法，稱為對抗式神經(jīng)機(jī)器翻譯。與目前熟知的大多數(shù)機(jī)器算法不同的是，通過這種方法的機(jī)器翻譯，不是通過將機(jī)器訓(xùn)練的無限接近人，而是通過盡量減少人與機(jī)器之間的不同得以實(shí)現(xiàn)。在對抗式神經(jīng)機(jī)器翻譯中，訓(xùn)練的模型是由一種具備對抗性質(zhì)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)成的。鑒別器會將翻譯的結(jié)果和真實(shí)人類的翻譯結(jié)果進(jìn)行區(qū)分。生成器（NMT模型）會生成高質(zhì)量的翻譯結(jié)果來迷惑鑒別器。方法中還運(yùn)用了梯度策略同時訓(xùn)練NMT模型和對抗網(wǎng)絡(luò)。

論文中使用了英語法語翻譯和德語英語翻譯進(jìn)行實(shí)驗(yàn)，En→Fr數(shù)據(jù)庫由WMT 2014訓(xùn)練語料庫構(gòu)成， news-test 2012，news-test 2013作為開發(fā)組，news-test 2014作為測試組。該數(shù)據(jù)體量大約有12M，有6K和3K的句子對，最長的句子允許有50個字母。訓(xùn)練使用了30K最多使用的英語和法語單詞。并將未出現(xiàn)的單詞標(biāo)志為UNK。并將未出現(xiàn)的單詞標(biāo)志為UNK。

Ge→En數(shù)據(jù)庫用了IWSLT 2014評估大賽的開源數(shù)據(jù)，體量大約為153k，有7k和6.5k雙語句子對，最長的句子長度也設(shè)置為50。訓(xùn)練使用了包括22822個和32009個最常使用的英語和德語單詞的語料庫。

論文中對比了多個翻譯方法的結(jié)果。從上圖的表格中可以看到，通過對抗式神經(jīng)機(jī)器翻譯相對于其他規(guī)范方法取得了更好的翻譯效果。特別是通過對抗式神經(jīng)機(jī)器翻譯的方法，模型學(xué)習(xí)到了更好的詞匯量，更深的網(wǎng)絡(luò)，更大的單語種語料庫并取得了最大BLEU值。

原文鏈接：https://arxiv.org/pdf/1704.06933.pdf ，雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。