0
| 本文作者： 李詩(shī) | 2018-11-10 12:31 |
繼2017年摘取國(guó)際頂級(jí)機(jī)器翻譯評(píng)測(cè)大賽桂冠之后，搜狗又一次在國(guó)際大賽拔得頭籌，且是在更為前沿的口語(yǔ)機(jī)器翻譯領(lǐng)域。
近日，國(guó)際頂級(jí)口語(yǔ)機(jī)器翻譯評(píng)測(cè)大賽（International Workshop on Spoken Language Translation，以下簡(jiǎn)稱IWSLT）落下帷幕。搜狗擊敗訊飛、阿里巴巴， APPTEK（美國(guó)應(yīng)用科技公司）、AFRL（美國(guó)空軍研究實(shí)驗(yàn)室）以及KIT(德國(guó)卡爾斯魯厄理工學(xué)院)等國(guó)際國(guó)內(nèi)多個(gè)強(qiáng)勁對(duì)手，一舉奪得了2018年IWSLT大賽Baseline Model(基線模型)賽道冠軍。
IWSLT的口語(yǔ)機(jī)器翻譯指的是從語(yǔ)音信號(hào)翻譯成目標(biāo)語(yǔ)言文本，正是搜狗已經(jīng)落地應(yīng)用的“AI同傳”、“旅行翻譯寶”等多款產(chǎn)品的核心技術(shù)，并不是我們熟悉的文本到文本的翻譯?？谡Z(yǔ)機(jī)器翻譯領(lǐng)域是一個(gè)新興領(lǐng)域，搜狗則一直走在前沿，此次摘得大賽冠軍，也是實(shí)力的印證。
11月5日下午，搜狗口語(yǔ)機(jī)器翻譯團(tuán)隊(duì)接受了媒體采訪，介紹了IWSLT參賽歷程、口語(yǔ)機(jī)器翻譯的技術(shù)進(jìn)展以及商業(yè)落地情況。
據(jù)雷鋒網(wǎng)了解，IWSLT是國(guó)際上最具影響力的口語(yǔ)機(jī)器翻譯評(píng)測(cè)比賽，每年舉辦一次，至今已經(jīng)是第15屆，大賽吸引全世界頂尖機(jī)構(gòu)參加。IWSLT針對(duì)語(yǔ)音翻譯實(shí)際應(yīng)用面臨的難題，每年會(huì)設(shè)定一些研究任務(wù)，并向外界提供公開的數(shù)據(jù)集合和評(píng)測(cè)交流機(jī)會(huì)。
今年的比賽包括兩個(gè)主要任務(wù)，一是英語(yǔ)到德語(yǔ)演講場(chǎng)景下的語(yǔ)音翻譯任務(wù)，二是巴斯克語(yǔ)到英語(yǔ)的低資源文本翻譯任務(wù)。其中，英語(yǔ)到德語(yǔ)演講場(chǎng)景下的語(yǔ)音翻譯任務(wù)又分為Baseline Model(基線模型賽道)和End-to-End(端到端賽道)兩個(gè)賽道。
據(jù)介紹，Baseline Model賽道主要評(píng)測(cè)語(yǔ)音翻譯的流水線方案，輸入語(yǔ)音先通過(guò)語(yǔ)音識(shí)別系統(tǒng)得到語(yǔ)音識(shí)別結(jié)果，之后將結(jié)果送入機(jī)器翻譯系統(tǒng)獲得譯文。
搜狗、科大訊飛、阿里以及國(guó)外數(shù)家公司都參加了Baseline Model賽道，在這個(gè)賽道中，搜狗取得28.09的BLEU(機(jī)器翻譯質(zhì)量評(píng)價(jià)指標(biāo)，值越大代表翻譯質(zhì)量越好)成績(jī)，獲得第一名，比第二名科大訊飛高出1.6個(gè)BLEU。 
搜狗語(yǔ)音交互中心負(fù)責(zé)人陳偉介紹，此次搜狗語(yǔ)音團(tuán)隊(duì)派出了語(yǔ)音和機(jī)器翻譯兩個(gè)部分的人員合力準(zhǔn)備此次比賽，有做聲學(xué)模型、語(yǔ)音增強(qiáng)、語(yǔ)言模型、機(jī)器翻譯的人員，還有自然語(yǔ)言處理的人員負(fù)責(zé)將語(yǔ)音識(shí)別模塊與機(jī)器翻譯結(jié)合起來(lái)。
由于必須使用大賽提供的數(shù)據(jù)重新訓(xùn)練語(yǔ)音識(shí)別模型和機(jī)器翻譯模型，搜狗語(yǔ)音團(tuán)隊(duì)也花費(fèi)了不少時(shí)間和心力。大賽提供的語(yǔ)音數(shù)據(jù)大概有500小時(shí)，搜狗語(yǔ)音團(tuán)隊(duì)首先是做了數(shù)據(jù)增廣，調(diào)整語(yǔ)速、降噪、增強(qiáng)之類，最終把數(shù)據(jù)大小提高了3倍。團(tuán)隊(duì)用單機(jī)多卡機(jī)器做語(yǔ)音識(shí)別模型訓(xùn)練，訓(xùn)練一個(gè)模型需要兩到三天的時(shí)間。在翻譯方面，大賽提供了大概有六千萬(wàn)到七千萬(wàn)序列的雙語(yǔ)平行數(shù)據(jù)，搜狗投入了10-15臺(tái)八卡機(jī)器做模型訓(xùn)練，每訓(xùn)練一個(gè)模型需要花4-5天時(shí)間，一共做了多輪的模型迭代更新才得到最佳的效果。
雖然是第一次參加一個(gè)“命題”的國(guó)際賽事，但是搜狗團(tuán)隊(duì)早已經(jīng)駕輕就熟，因?yàn)檫@樣的人員配置和技術(shù)流程與他們做業(yè)務(wù)時(shí)完全一致。
據(jù)雷鋒網(wǎng)了解，搜狗目前的AI同傳、搜狗翻譯寶、錄音翻譯筆等產(chǎn)品都采用了Baseline Model解決方案。搜狗也認(rèn)為Baseline是業(yè)內(nèi)最主流、效果最好的語(yǔ)音翻譯解決方案，市場(chǎng)上商用機(jī)器同傳、翻譯機(jī)等語(yǔ)音翻譯類產(chǎn)品幾乎都采用了類似的方法。
IWSLT大賽此次提供的數(shù)據(jù)和測(cè)試場(chǎng)景很貼合實(shí)際應(yīng)用，其預(yù)料包括TED上有英文字幕的德語(yǔ)演講視頻，還有一些有英文字幕的德語(yǔ)電影，這些對(duì)話語(yǔ)料都很生活化，會(huì)有語(yǔ)氣詞、停頓、口頭禪等常見(jiàn)的語(yǔ)言現(xiàn)象。因此，搜狗在此次IWSLT獲得的成績(jī)也印證了搜狗的口語(yǔ)機(jī)器翻譯技術(shù)在應(yīng)用落地上的領(lǐng)先優(yōu)勢(shì)。 
在陳偉來(lái)看來(lái)，目前國(guó)內(nèi)公司在語(yǔ)音識(shí)別技術(shù)上相差不大，搜狗的語(yǔ)音識(shí)別技術(shù)處于業(yè)內(nèi)頂尖水平，機(jī)器翻譯技術(shù)則有更大的領(lǐng)先優(yōu)勢(shì)。在口語(yǔ)機(jī)器翻譯這個(gè)領(lǐng)域，并不是看語(yǔ)音識(shí)別技術(shù)或者是機(jī)器翻譯單方面有多強(qiáng)，而是要看公司是否能處理好細(xì)節(jié)，將兩個(gè)環(huán)節(jié)融合在一起。搜狗在不斷的產(chǎn)品落地中已經(jīng)積累起領(lǐng)先于行業(yè)的細(xì)節(jié)處理能力，能真正做好口語(yǔ)機(jī)器翻譯和AI同傳。
本次IWSLT大賽還增設(shè)了End-to-End賽道，其采用基于神經(jīng)網(wǎng)絡(luò)的端到端語(yǔ)音翻譯解決方案，輸入語(yǔ)音后基于深度神經(jīng)網(wǎng)絡(luò)模型直接輸出譯文。目前業(yè)內(nèi)有觀點(diǎn)認(rèn)為End-to-End代表著更前沿的探索，是語(yǔ)音翻譯的新思路和新方向。
不過(guò)我們發(fā)現(xiàn)，End-to-End賽道上第一名的BLEU為19.4，與搜狗在Baseline Model賽道獲得的28.09的BLEU相差還很遠(yuǎn)。
對(duì)于這一現(xiàn)象，陳偉告訴雷鋒網(wǎng)目前End-to-End需要的語(yǔ)音-文本平行預(yù)料難以大規(guī)模采集、算法研究也不成熟。雖然目前End-to-End技術(shù)在語(yǔ)音識(shí)別和機(jī)器翻譯這種單個(gè)環(huán)節(jié)中取得了不錯(cuò)的效果，但是其應(yīng)用于口語(yǔ)機(jī)器翻譯還尚未成熟，距離商業(yè)化落地還需要大概5年的時(shí)間。
End-to-End賽道尚未成熟，目前還沒(méi)有出現(xiàn)大家都能認(rèn)可的技術(shù)方案，因此在這個(gè)領(lǐng)域奪得第一并不能真正證明實(shí)力。當(dāng)然，陳偉也承認(rèn)，End-to-End確實(shí)是未來(lái)的方向之一，搜狗也已經(jīng)進(jìn)行了接近半年的嘗試。
近兩年，搜狗已經(jīng)建立起以語(yǔ)言為核心的長(zhǎng)遠(yuǎn)AI戰(zhàn)略，核心產(chǎn)品圍繞輸入法、搜索、同傳和翻譯。2016年，搜狗將語(yǔ)音識(shí)別與機(jī)器翻譯技術(shù)相結(jié)合，推出了全球首款商用AI同傳系統(tǒng)-搜狗同傳，引領(lǐng)了語(yǔ)音翻譯技術(shù)的普及與應(yīng)用。
在語(yǔ)音識(shí)別領(lǐng)域，與一些老牌廠商比，搜狗是后來(lái)者。但是從目前已經(jīng)取得的成績(jī)來(lái)看，搜狗已經(jīng)抹平了時(shí)間上的差距，搜狗是如何做到的呢？
陳偉談到：從80年代一直到2010年的這二三十年時(shí)間，語(yǔ)音識(shí)別的流水線很長(zhǎng)，老牌語(yǔ)音識(shí)別公司在調(diào)節(jié)參數(shù)、模型訓(xùn)練方面有很強(qiáng)的壁壘，然而深度學(xué)習(xí)技術(shù)應(yīng)用后，相當(dāng)于推倒重開，在這樣的情況下，整個(gè)行業(yè)后入者有很好的機(jī)會(huì)，大家可以快速地彎道超車。搜狗在數(shù)據(jù)和人才儲(chǔ)備上都不輸給老牌語(yǔ)音公司，搜狗也是一家C端公司，很注重技術(shù)與產(chǎn)品的結(jié)合，細(xì)節(jié)可以做到很極致。有數(shù)據(jù)、有場(chǎng)景，有技術(shù)，搜狗就沒(méi)有理由做不好語(yǔ)音識(shí)別和翻譯。
在AI同傳取得成功之后，搜狗也推出了一系列的智能硬件，例如具備離線翻譯和拍照翻譯功能的搜狗旅行翻譯寶；搜狗錄音翻譯筆，提供錄音轉(zhuǎn)寫、對(duì)話翻譯、同聲傳譯等功能，把AI同傳落地到了消費(fèi)級(jí)產(chǎn)品之中，開拓了語(yǔ)音翻譯的新航道。搜狗也正在跟VIVO、OPPO等手機(jī)廠商合作語(yǔ)音翻譯的技術(shù)合作，將在線和離線的翻譯能力在智能手機(jī)上上線。
除此之外，搜狗語(yǔ)音團(tuán)隊(duì)也在致力于多模態(tài)語(yǔ)音語(yǔ)義技術(shù)的探索。在近兩天的烏鎮(zhèn)世界互聯(lián)網(wǎng)大會(huì)上，搜狗與新華社合作開發(fā)的全球第一個(gè)“AI合成主播”正式亮相，只用輸入新聞文本，AI合成主播就能用和真人一樣的聲音進(jìn)行播報(bào)，而在播報(bào)的過(guò)程中唇形、面部表情等也能與真人主播完全吻合，效果惟妙惟肖。
據(jù)雷鋒網(wǎng)了解，AI合成主播的技術(shù)被稱為“搜狗分身”，該技術(shù)能通過(guò)人臉關(guān)鍵點(diǎn)檢測(cè)、人臉特征提取、人臉重構(gòu)、唇語(yǔ)識(shí)別、情感遷移等多項(xiàng)前沿技術(shù)，并結(jié)合語(yǔ)音、圖像等多模態(tài)信息進(jìn)行聯(lián)合建模訓(xùn)練后，生成與真人無(wú)異的AI分身模型。這項(xiàng)技術(shù)讓機(jī)器首次做到逼真的模擬人類說(shuō)話時(shí)的聲音、嘴唇動(dòng)作和表情，并且將三者自然匹配，與真人幾乎一致。
從IWSLT大賽到“AI同傳”再到“搜狗分身”，我們看到搜狗語(yǔ)音團(tuán)隊(duì)在基礎(chǔ)技術(shù)與應(yīng)用落地兩方面的優(yōu)異成績(jī)，期待這樣一個(gè)穩(wěn)扎穩(wěn)打的團(tuán)隊(duì)帶給我們更多的驚喜。
相關(guān)文章：
“搜狗分身”技術(shù)正式亮相烏鎮(zhèn)，攜手新華社發(fā)布全球首個(gè)AI合成主播
搜狗擊敗訊飛阿里，獲IWSLT國(guó)際口語(yǔ)機(jī)器翻譯評(píng)測(cè)大賽冠軍
搜狗王小川：搜索本身就是以AI為核心 | CCF-GAIR 2018
王小川：搜狗未來(lái)將推出顛覆性硬件產(chǎn)品 | CCF-GAIR 2018
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
