雷鋒網(wǎng) AI 科技評論按：3 月 15 日的文章《機器翻譯新突破，微軟中英新聞翻譯達人類水平》中，我們介紹了微軟亞洲研究院與雷德蒙研究院共同研發(fā)的新的機器翻譯系統(tǒng)，微軟稱它在 newstest2017 的中-英測試集上達到了與人工翻譯媲美的水平。

這則消息不僅引起了我們的好奇，讓我們的編輯記者們感嘆「人工智能這么快就又下一城」，同時也引起了一些讀者的疑問。畢竟，我們時常見到新模型在公開測試中刷榜，能夠和人類拿到同樣的分?jǐn)?shù)，但不一定換一個數(shù)據(jù)集就還能和人類媲美，尤其是對于靈活多變的人類語言而言；另一面，谷歌、搜狗、百度等互聯(lián)網(wǎng)巨頭都有自己神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)，大家都或多或少體驗過，即便最新的模型都普遍使用了注意力機制，但翻譯質(zhì)量不盡如人意的地方仍時常出現(xiàn)，繼續(xù)做出大跨步式的突破又談何容易呢？

微軟官方博客中提到，新的翻譯系統(tǒng)中用到了四大技術(shù)：對偶學(xué)習(xí)、聯(lián)合訓(xùn)練、推敲網(wǎng)絡(luò)和一致性正則化，對應(yīng)的論文也已經(jīng)公開。雷鋒網(wǎng) AI 科技評論下面根據(jù)論文，結(jié)合以往的相關(guān)研究詳細(xì)講講用在新翻譯系統(tǒng)中的這四大技術(shù)到底是怎么回事，品味品味當(dāng)這四項技術(shù)同時使用的時候，能夠達到人類水準(zhǔn)到底能不能算是「合情合理」。文末我們也會貼出一些微軟提供的中文到英文翻譯結(jié)果，不知道能否徹底打消可能的疑惑。

一，對偶學(xué)習(xí) Dual Learning

深度學(xué)習(xí)模型的訓(xùn)練需要大量數(shù)據(jù)，這不僅是領(lǐng)域內(nèi)的常識，也是限制在更多場景下使用深度學(xué)習(xí)的一大障礙。對偶學(xué)習(xí)的提出就主要是為了減少對數(shù)據(jù)的依賴。相比標(biāo)簽傳播（Label Propagation）、多任務(wù)學(xué)習(xí)（Multi-task Learning）、遷移學(xué)習(xí)（Transfer Learning）這樣利用數(shù)據(jù)相似性的解決方法，對偶學(xué)習(xí)（Dual Learning）利用的是 AI 任務(wù)中自然出現(xiàn)的對稱性。比如：

• 機器翻譯，有英翻中和中翻英的對稱；

• 語音處理，需要語音轉(zhuǎn)文字（語音識別），也有文本轉(zhuǎn)語音（語音合成）的任務(wù)；

• 圖像理解，圖像描述（image captioning）與圖像生成 （image generation）是一個對稱的過程；

• 對話任務(wù)，問題回答（Question answering）與問題生成（Question generation）；

按照傳統(tǒng)的監(jiān)督學(xué)習(xí)范式，這些對稱的任務(wù)都需要分別訓(xùn)練，每個方向都需要大量有標(biāo)簽數(shù)據(jù)。那么考慮到任務(wù)的對稱性，如果一個英文句子被翻譯成英文，再從中文翻譯成英文，還能跟一開始的句子非常相近的話，就可以認(rèn)為「英翻中」和「中翻英」兩個翻譯器都表現(xiàn)很好。這也符合人們的常識。

微軟亞研資深研究員秦濤博士就曾帶領(lǐng)團隊分別在 NIPS 2016 和 ICML 2017 發(fā)表「對偶學(xué)習(xí)」（https://arxiv.org/abs/1611.00179）和「對偶監(jiān)督學(xué)習(xí)」（https://arxiv.org/abs/1707.00415 ）兩篇論文，介紹了對偶學(xué)習(xí)在無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)兩種模式下的形式及表現(xiàn)。雷鋒網(wǎng)硬創(chuàng)公開課也曾邀請到秦濤博士給大家做了前一篇 NIPS 論文的詳細(xì)分享。

對偶學(xué)習(xí)

NIPS 2016 對偶學(xué)習(xí)論文的范式示意圖

如圖，對于對偶學(xué)習(xí)，主任務(wù) f 把無標(biāo)注英文句子 x 翻譯為中文 y，對偶任務(wù) g 把中文 y 翻譯回英文 x'。模型從過程中得到兩個反饋，一個部分反饋是來自懂中文的智能體，評價中文 y 的質(zhì)量如何（例如是不是一個通順的中文句子）；另一個反饋是來自懂英文的智能體，比較 x 和 x' 的相似度獲得反饋。這樣，一個流程結(jié)束以后，模型就可以獲得完整反饋。

有了反饋，就可以把強化學(xué)習(xí)的一些方法直接用于訓(xùn)練更新模型 f 和 g 。論文中所用的方法為策略梯度 policy gradient，增加主任務(wù) f 和對偶任務(wù) g 中好的行為出現(xiàn)的概率，降低不好的行為出現(xiàn)的概率。另一方面，由于只有單一輸入，由兩個智能體自己產(chǎn)生反饋，不需要把翻譯結(jié)果與輸入對應(yīng)的標(biāo)簽對比，所以這是一種無監(jiān)督學(xué)習(xí)方法。

學(xué)習(xí)效果上，在使用了1200萬個雙語標(biāo)注句的英法翻譯實驗中，相比于 2016 年時基于深度神經(jīng)網(wǎng)絡(luò)的機器翻譯算法（NMT），對偶學(xué)習(xí)只需要其中 10% 的雙語數(shù)據(jù)就可以達到 NMT 采用了全部數(shù)據(jù)進行訓(xùn)練的準(zhǔn)確度。訓(xùn)練所需數(shù)據(jù)量可以減少 90%，很好地達成了預(yù)期效果。

根據(jù)秦濤博士介紹，對偶學(xué)習(xí)有一個問題是很難冷啟動，即需要先對主任務(wù)和對偶任務(wù)的兩個智能體進行一定的訓(xùn)練后才能夠利用對偶學(xué)習(xí)進行聯(lián)合反饋訓(xùn)練，否則模型收斂會很慢。

對偶監(jiān)督學(xué)習(xí)

ICML 2017 對偶監(jiān)督學(xué)習(xí)論文的范式示意圖

仍以翻譯任務(wù)為例，在監(jiān)督學(xué)習(xí)中，當(dāng)知道主任務(wù) f 應(yīng)該得到的正確翻譯為 y 之后，就可以用最大似然準(zhǔn)則更新 f，使 y 出現(xiàn)的概率越大越好。

對于對偶監(jiān)督學(xué)習(xí)，需要主任務(wù) f 和對偶任務(wù) g 各自都能出現(xiàn)正確翻譯 y 與 x，這樣就會存在一個聯(lián)合概率 P( x,y )。通過 f 和 g 都可以單獨計算出這個聯(lián)合概率 P(x,y)=P(x)P(y|x;f)=P(y)P(x|y;g) 。但如果 f 和 g 是根據(jù)監(jiān)督學(xué)習(xí)分開訓(xùn)練的，就不能保證單獨計算出的聯(lián)合概率相同。

為了解決這個問題，論文中在 f 、g 兩個任務(wù)分別的損失函數(shù)基礎(chǔ)上，為對偶監(jiān)督學(xué)習(xí)增加了一項正則化項，它的含義是將「通過 f 計算得到聯(lián)合概率 P( x,y ) =P(x)P(y|x;f)」和「通過 g 計算得到聯(lián)合概率 P( x,y ) =P(y)P(x|y;g)」兩個概率的差值最小化，從而通過結(jié)構(gòu)的對稱性加強了監(jiān)督學(xué)習(xí)過程，讓兩個互為對稱的任務(wù)共同進行學(xué)習(xí)。（上圖中間的式子） 這與 SVM 正則化項的區(qū)別在于，SVM 的正則化項與模型有關(guān)，與數(shù)據(jù)無關(guān)；但對偶監(jiān)督學(xué)習(xí)中討論的正則化項還與數(shù)據(jù)相關(guān)。由于具有了這樣的正則化項，每個訓(xùn)練數(shù)據(jù)都能夠參與到正則化項中，而且主任務(wù)、對偶任務(wù)的兩個模型可以互相影響，共同提高。

根據(jù)論文中的測試，對偶監(jiān)督學(xué)習(xí)模型在機器翻譯、圖像分類、句子情感分析三對任務(wù)中都取得了明顯的提高。尤為讓人印象深刻的是句子情感分析這一對任務(wù)：正向任務(wù)判斷一個句子是正面還是負(fù)面情感，以及反向任務(wù)根據(jù)給定的正面/負(fù)面情感生成句子，任務(wù)中的信息損失非常嚴(yán)重，只留下了 1bit 的信息而已。測試結(jié)果中正向任務(wù)情感分類的錯誤率僅從基準(zhǔn)模型的 10.1% 下降到對偶監(jiān)督學(xué)習(xí)模型的 9.2%，作者們認(rèn)為就和信息損失嚴(yán)重有關(guān)。 

不過到了反向生成句子的時候，對偶監(jiān)督學(xué)習(xí)模型展現(xiàn)出了強大的表現(xiàn)力，對簡單短句的使用變少了，并且選用的單詞、詞語、句式表達出的情感更強烈、更具體。如下圖

在這次新的機器翻譯系統(tǒng)中，基于單語語言語料的對偶學(xué)習(xí)和基于雙語語料的對偶監(jiān)督學(xué)習(xí)都有使用，提升了語料的訓(xùn)練成效。

二，聯(lián)合訓(xùn)練 Joint Training

即便有了對偶學(xué)習(xí)這樣的可以提高數(shù)據(jù)利用效率的方法，高質(zhì)量的雙語訓(xùn)練數(shù)據(jù)畢竟還是越多越好 —— 而實際上這樣的數(shù)據(jù)沒有那么多。所以論文中還引入了聯(lián)合訓(xùn)練，讓中到英和英到中的兩個互譯模型生成新的數(shù)據(jù)，并把新生成的數(shù)據(jù)也當(dāng)作訓(xùn)練數(shù)據(jù)，迭代進行訓(xùn)練。

具體做法如圖所示，對于現(xiàn)有的雙語語料庫 D 中的語句對 （X，Y），用預(yù)訓(xùn)練過的一對翻譯器把 X 翻譯為 Y'、把 Y 翻譯成 X'，構(gòu)成新的語句對 （X'，Y'）。在每輪迭代中，新生成的語句對會添加到現(xiàn)有的雙語訓(xùn)練數(shù)據(jù)中，繼續(xù)訓(xùn)練兩個方向的兩個模型；經(jīng)過訓(xùn)練的模型會再一次翻譯出新的（X'，Y'），作為新的訓(xùn)練數(shù)據(jù)。同時也設(shè)計了半監(jiān)督的訓(xùn)練損失，同時包含了兩個方向模型的表現(xiàn)，以便能讓一個模型的進步顯式地幫助另一個模型的表現(xiàn)提高。

為了保證新生成的、即將用于下一輪訓(xùn)練的生成語句對的質(zhì)量，生成的語句也要挑選出最好的一部分，而且選出的語句要經(jīng)過神經(jīng)網(wǎng)絡(luò)翻譯模型的翻譯概率權(quán)重評分，以便最大程度減小不好的翻譯語句帶來的負(fù)面影響。那么，在一輪輪的迭代過程中，兩個方向的翻譯語句質(zhì)量會越來越高、模型也被訓(xùn)練得更好，這樣的迭代訓(xùn)練過程會進行到表現(xiàn)不能繼續(xù)提高為止。

三，推敲網(wǎng)絡(luò) Deliberation Networks

除了訓(xùn)練數(shù)據(jù)帶來的限制之外，當(dāng)前的神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)普遍還存在后文的翻譯結(jié)果會受到前文限制的問題。推敲網(wǎng)絡(luò)就是解決這個問題的第一招。

推敲網(wǎng)絡(luò)設(shè)計

以往的翻譯模型都把輸入句子作為一個序列輸入，然后同樣把翻譯結(jié)果作為一個序列從左到右一個詞一個詞的生成，這種做法生成每個詞的時候只會考慮它前面已經(jīng)生成的詞，不會考慮它后面尚未生成的詞。。乍看之下不出錯的話也沒什么不妥，但是相比之下人類寫作時經(jīng)常會結(jié)合上下文，對用詞反復(fù)推敲，甚至寫完一整段話、一整篇后再審視全文從頭調(diào)整修改一遍，文本的質(zhì)量也得以繼續(xù)提高。在「生成后再審視全局進行修改」的想法下，中國科大-微軟博士聯(lián)合培養(yǎng)班的夏應(yīng)策作為一作在 NIPS 2017 發(fā)表了論文 《Deliberation Networks: Sequence Generation Beyond One-Pass Decoding》，也在雷鋒網(wǎng) GAIR 大講堂的線上公開課上詳細(xì)分享了推敲網(wǎng)絡(luò)的細(xì)節(jié)。

推敲網(wǎng)絡(luò)的做法梗概是，它在編碼器之后使用了如上圖所示的兩階段解碼器，第一段解碼器把來自編碼器的源語句嵌入直白地解碼成目標(biāo)語言的草稿語句，然后第二階段的解碼器再次對剛才的草稿句子進行調(diào)整美化。

具體來講，模型架構(gòu)是在 Transformer 網(wǎng)絡(luò)架構(gòu)上增加一個推敲網(wǎng)絡(luò)。與標(biāo)準(zhǔn)的 Transformer 網(wǎng)絡(luò)相同，編碼器 ε 和第一階段的解碼器 D₁ 都是多層神經(jīng)網(wǎng)絡(luò)，以注意力機制連接起來。在這里，編碼器 ε 會基于原始詞嵌入和來自詞之間順序的上下文信息為源句的每個詞 T_s 生成詞表征，這些表征組成序列 H。編碼器 ε 讀取句子 x 后就可以通過自我注意力輸出帶有隱含狀態(tài)的序列 H。

第一階段的解碼器 D₁ 把 H 作為輸入，執(zhí)行第一階段的解碼，得到 softmax 前的隱含狀態(tài) S^ 以及草稿句子 y^。第二階段的解碼器 D₂ 也是多層神經(jīng)網(wǎng)絡(luò)，但和 D₁ 有很大不同，它會把來自編碼器 ε 和解碼器 D₁ 的隱含狀態(tài)都作為自己的輸入。由于 D₂ 有來自 D₁ 解碼出的隱含狀態(tài)，所以 D2 的輸出是依賴于 D₁ 生成的草稿句子 y^ 的。這樣的做法可以從源語句中獲得全局信息，在生成句子時也就有正確的上下文語境信息供使用。

推敲網(wǎng)絡(luò)和對偶學(xué)習(xí)的聯(lián)合使用

對于兩種技術(shù)如何結(jié)合，微軟的研究人員們首先通過無監(jiān)督及監(jiān)督對偶學(xué)習(xí)訓(xùn)練中到英和英到中兩個 Transformer 翻譯模型。然后把英語語料句子 y 通過英到中翻譯模型翻譯為中文句子 x'，并把 ( x'，y ) 這個句對作為偽雙語語料，把它加入現(xiàn)有的雙語語料庫中。擴大后的語料庫就可以用來訓(xùn)練上文描述的構(gòu)建于 Transformer 之上的推敲網(wǎng)絡(luò)。解碼器和第一階段編碼器是使用第一步中訓(xùn)練出的中到英翻譯模型初始化的。

四，一致性正則化 Agreement Regularization

一致性正則化是防止曝光偏倚出現(xiàn)的另一個手段。研究員們發(fā)現(xiàn)，從左到右的翻譯模型生成的句子里后面的詞的質(zhì)量不好，那么從右到左的翻譯模型生成的句子里前邊的詞的質(zhì)量就不高。從左到右和從右到左的一致性被引入到神經(jīng)機器翻譯模型的損失函數(shù)中，從而使得翻譯模型盡可能的生成一致的翻譯。

和前面的聯(lián)合訓(xùn)練類似，由于損失項中設(shè)計了同時含有兩個模型的表現(xiàn)，其中一個模型的表現(xiàn)進步也可以顯示地影響另一個模型，也就可以迭代更新進步，如上圖所示。

實際上，中譯英和英譯中兩個方向的翻譯模型，都可以分為從左往右和從右往左兩個輸入順序的模型。這就一共有了四個模型，然后這四個模型可以依據(jù)一個統(tǒng)一訓(xùn)練框架，一同聯(lián)合訓(xùn)練。訓(xùn)練過程中首先由從左往右的英到中模型生成中間過程偽語料，在一致性正則化的幫助下用來訓(xùn)練從左往右和從右往左兩個中到英模型；接下來，已經(jīng)經(jīng)過訓(xùn)練增強的從左往右的中到英模型就會再生成一個偽語料用于訓(xùn)練從左往右和從右往左兩個英到中模型。這四個模型互相促進、迭代訓(xùn)練，直到最終收斂。

例句嘗鮮

對偶學(xué)習(xí)、聯(lián)合訓(xùn)練、推敲網(wǎng)絡(luò)和一致性正則化四項技術(shù)介紹完了，都是一些符合常識的改進，我們上一篇報道中的測試數(shù)據(jù)也已經(jīng)展現(xiàn)出了可見的改進。

實際上在測試中，研究員們依據(jù)對偶學(xué)習(xí)+推敲網(wǎng)絡(luò)、一致性正則化+聯(lián)合訓(xùn)練、WMT 數(shù)據(jù)集+更多額外數(shù)據(jù)等選擇，配置了許多種不同的系統(tǒng)，一面通過測試驗證了各個改進項目的實際效果，另一面也可以把多個系統(tǒng)的不同結(jié)果做綜合，得到更好的翻譯結(jié)果。實際上，論文中聲稱達到人類翻譯水平、BLEU 分?jǐn)?shù)也超過 28 分的結(jié)果，就是由包含了 6 到 8 個模型結(jié)果的綜合模型得到的，最高的一個綜合模型有 28.46 分。（作為參考，拿下 WMT 2017 比賽最好結(jié)果的搜狗翻譯也是綜合了多個模型，達到了 26.40）

根據(jù)微軟官方博客介紹，這個翻譯系統(tǒng)的中到英翻譯體驗頁面已經(jīng)在 https://translator.microsoft.com/neural/ 上線了，由單個系統(tǒng)提供翻譯，（所以這個系統(tǒng)還不是最好的性能，多個模型綜合會達到更好的效果）這個系統(tǒng)的 BLEU 分?jǐn)?shù)為 27.60分。頁面上同時也直接提供了一些來自微軟測試所用的 WMT 2017 newstest 數(shù)據(jù)集的中文新聞?wù)Z料供參考。平心而論，這些中文語句還真的不那么簡單，有相當(dāng)?shù)奶魬?zhàn)性；也可以自己輸入句子嘗試。另外頁面上也提供了兩種不同的翻譯供感受。

下面我們摘錄三個來自測試集的中文語料，以及兩條有難度的其它測試語句，感受一下翻譯質(zhì)量。而且要記得，這還并不是新的翻譯系統(tǒng)（綜合模型）的全部實力哦。

?？诤Ｊ路ㄔ毫璩苛复_保臨高漁船沉沒事件當(dāng)事人權(quán)益

• The early morning of Haikou Maritime Court to ensure the interests of the Lingao fishing boat sinking event

• Haikou maritime court filed a case in the early morning to ensure the rights and interests of the parties involved in the sinking of the Lingao fishing boat

人道主義團體卻對法院表示這些商店和餐館極為重要，因為國家支持的協(xié)會及其他團體所提供的免費食物根本無法滿足該難民營不斷增長的難民的需求。

• The humanitarian community has told the court that these shops and restaurants are extremely important, as free food provided by state-sponsored associations and other groups cannot meet the growing needs of refugees in the refugee camp.

• Humanitarian groups, however, told the court that the shops and restaurants were extremely important because the free food provided by State-sponsored associations and other groups simply could not meet the growing needs of the refugees in the camp.

據(jù)媒體披露，由于此前資本大規(guī)模涌入互聯(lián)網(wǎng)醫(yī)藥，造成目前產(chǎn)品同質(zhì)化的問題嚴(yán)重，投資熱潮漸退，資本進入觀望期。

• According to media disclosure, due to the previous massive influx of capital into the Internet medicine, resulting in the current serious problem of product homogenization, investment boom gradually receded, capital into the wait-and-see period.

• According to media disclosure, due to the massive influx of capital before the Internet medicine, resulting in the current problem of homogenization of products, investment boom is receding, the capital into the wait-and-see period.

寶寶的經(jīng)紀(jì)人睡了寶寶的寶寶，現(xiàn)在寶寶不知道寶寶的寶寶是不是寶寶親生的寶寶

• The baby's agent slept with the baby's baby and now the baby doesn't know if the baby's baby is the baby's biological baby

• Baby's agent Sleeps baby's baby, now baby doesn't know baby's baby is not baby's baby

走廊燈關(guān)上，書包放，走到房間窗外望，回想剛買的書，一本名叫半島鐵盒

• Corridor lights off, school bags put, went to look out the window of the room, recalled just bought a book, called the Peninsula Iron Box

• The corridor light closes, the bag puts, walks to the room window looks, recalls just bought the book, a name Peninsula iron box

對于頁面一次給出兩種翻譯，并且希望用戶選出其中更滿意的一個，我們認(rèn)為微軟還在嘗試用更多語料以及加上更多人閱讀的直觀反饋，繼續(xù)改進這個翻譯系統(tǒng)。其它值得期待的改進點還包括語料較少的領(lǐng)域的雙語翻譯、系統(tǒng)的運行速度、如何把多個子系統(tǒng)融合成表現(xiàn)相當(dāng)?shù)囊徽麄€模型等。

以及我們也希望微軟可以早日開放英文到中文的翻譯體驗，在測試階段供大家更多感受新翻譯系統(tǒng)的魅力。要是能成為生產(chǎn)級別的翻譯系統(tǒng)正式開放，那就最好了。

翻譯系統(tǒng)測試地址：https://translator.microsoft.com/neural/

論文地址：https://www.microsoft.com/en-us/research/uploads/prod/2018/03/final-achieving-human.pdf。雷鋒網(wǎng) AI 科技評論報道

相關(guān)文章：

重大更新！微軟宣布推出人工智能平臺Windows ML

微軟首席研究員張正友離職回國，本人確認(rèn)加入騰訊

機器翻譯新突破，微軟中英新聞翻譯達人類水平

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。