丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能 正文
發(fā)私信給章敏
發(fā)送

1

ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

本文作者: 章敏 2016-07-28 10:49
導(dǎo)語:本文通過視覺空間定義的多模態(tài)樞紐(multimodal pivots ),提出了一種方法來改善圖像描述的統(tǒng)計(jì)機(jī)器翻譯,從統(tǒng)計(jì)機(jī)器翻譯的角度解決多語言字幕翻譯問題

運(yùn)用多模態(tài)方法進(jìn)行圖像字幕翻譯

聯(lián)合編譯:陳圳,章敏,高斐

摘要

我們提出一種通過由視覺空間所定位的多模式樞紐方法來提高對(duì)圖像描述的統(tǒng)計(jì)機(jī)器翻譯。其主要思想是在圖像中用目標(biāo)語言對(duì)字幕翻譯數(shù)據(jù)實(shí)行圖像檢測(cè),并使用最相似的圖像字幕翻譯進(jìn)行跨語言的翻譯輸出再排序。我們的方法不依靠于域內(nèi)所能獲得的龐大平行數(shù)據(jù),而是依靠于所能獲得的大量單語進(jìn)行圖像字幕說明的數(shù)據(jù),并用先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)計(jì)算圖像的相似性。我們的試驗(yàn)評(píng)估表明基于基線的1 BLEU點(diǎn)有所提高。

1. 介紹

多模式數(shù)據(jù)是由圖像和自然語言描述構(gòu)成的(以下稱為字幕),擁有豐富的信息資源,以致最近在整合語言和視覺方面的研究激增。最近,在WMT16會(huì)議中一個(gè)共享任務(wù)的多模式語言處理過程增加了多語言方面。顯然,多語言字幕說明有現(xiàn)實(shí)需求,例如,對(duì)于藝術(shù)作品的自動(dòng)機(jī)器描述會(huì)基于社會(huì)和文化的原因,跨越語言障礙生成數(shù)字化藝術(shù)目錄。多語言的產(chǎn)品描述是具有高度商業(yè)利益的,因?yàn)樗軘U(kuò)寬電子商務(wù)交易自動(dòng)打入國(guó)際市場(chǎng)。但是,圖像和單語字幕數(shù)據(jù)已包括數(shù)以百萬的元組,作者所知的最大的多語圖像和字幕數(shù)據(jù)庫(kù)包括20,000或是30,0002用英語或是德語進(jìn)行的描述。

本文我們會(huì)從統(tǒng)計(jì)機(jī)器翻譯的角度解決多語言字幕的問題。與之前的研究相比,Karapathy 和Fei-Fei以及Vinyals等人都是直接從圖像中產(chǎn)生字幕,我們的目標(biāo)是將視覺信息整合到SMT管中。視覺語境所提供的正交信息能避免自然語言的產(chǎn)生歧義,因此它可以消除歧義并通過將圖像與字幕相對(duì)應(yīng)來指導(dǎo)翻譯過程。因?yàn)閿?shù)據(jù)集包括了源語言字幕,圖像和目標(biāo)語言字幕,但是這一數(shù)據(jù)集不可用數(shù)量巨大,我們會(huì)轉(zhuǎn)而利用包括圖像和目標(biāo)語言字幕的大數(shù)據(jù)集來提高在最合適數(shù)量的平行字幕中進(jìn)行訓(xùn)練的SMT模式。

字幕翻譯可以定義如下:為產(chǎn)生圖像i的目標(biāo)語言翻譯ei,系統(tǒng)會(huì)使用在源語言fi中圖像i的說圖像字幕作為輸入,同時(shí)也會(huì)使用圖像i。該系統(tǒng)可以放心的假設(shè)fi與i有關(guān),例如,i相關(guān)字幕的確認(rèn)是并非是字幕翻譯任務(wù)的一部分。與在基于語境的SMT中發(fā)現(xiàn)^e=argmaxe(e|f)的推理問題相反,多模式字幕翻譯會(huì)在發(fā)現(xiàn)^ei將i和fi都考慮進(jìn)去:

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

在本文中,我們?cè)谶M(jìn)行字幕翻譯時(shí),會(huì)按照一般跨語言的方法進(jìn)行重組框架,在此框架中會(huì)給定一對(duì)源語言字幕和圖像,目標(biāo)語言字幕是用于SMT系統(tǒng)的輸出重新排名。我們目前提供了兩種目標(biāo)語言字幕檢索的方式,通過定位圖像與輸入圖像的相似部分進(jìn)行重新排名。其中一種方法就是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的展示進(jìn)行圖像相似性計(jì)算。另一種方法是在視覺空間中手動(dòng)標(biāo)注對(duì)象類別,來計(jì)算相似性。我們將會(huì)基于文本比較多模式樞紐方法和重新排名方法,此外將多模式樞紐方法與在平行數(shù)據(jù)上訓(xùn)練的SMT基準(zhǔn)線進(jìn)行比較。與在29,000平行字幕上進(jìn)行訓(xùn)練的基準(zhǔn)線相比,我們發(fā)現(xiàn)基于視覺基點(diǎn)的重新排名,其提高超過了1 BLEU點(diǎn)。值得注意的是,我們的重新排序的方法不僅僅依靠域內(nèi)大量的平行數(shù)據(jù),因?yàn)樵趯?shí)際場(chǎng)景中這類數(shù)據(jù)是不可得的,例如,電子商務(wù)的本土化。然而,在此類場(chǎng)景中,單語的產(chǎn)品描述自然數(shù)量很大,因此我們的工作就是在現(xiàn)實(shí)中進(jìn)行描述翻譯。

2. 相關(guān)工作

單從圖像中生成字幕是最近在圖像處理過程中產(chǎn)生的現(xiàn)實(shí)性問題。最新的方法也是基于深度表示通過比較圖像和文本之間的相似性來進(jìn)行圖像字幕的重新排序。這些研究中所使用的工具是神經(jīng)網(wǎng)絡(luò),其深度表征大大提高了圖像特征表示的質(zhì)量,使得能對(duì)圖片內(nèi)容進(jìn)行強(qiáng)大的語義分析。我們依靠CNN框架來解決在NLP(自然語言處理)中的語義分類和消除歧義等問題,進(jìn)而從視覺反饋等方面提高了監(jiān)督的作用。然而,我們認(rèn)為圖像生成字幕比字幕翻譯更難,因?yàn)椴⑽唇o予源語言的相關(guān)信息。因此,我們不會(huì)將我們的研究與字幕生成模式進(jìn)行比較。

在SMT領(lǐng)域內(nèi),Waschle和Riezler提出一個(gè)將數(shù)據(jù)量龐大,單語的語料庫(kù)和從跨語言信息檢索技術(shù)的機(jī)器翻譯整合起來的框架。在產(chǎn)生他們方法的背后直覺是通過使用SMT系統(tǒng)產(chǎn)生一個(gè)或是多個(gè)翻譯假設(shè),SMT能為查找匹配或是在目標(biāo)語料庫(kù)中尋找相似句子的請(qǐng)求。這些能反過來用于增強(qiáng)翻譯假設(shè),以此來提高翻譯質(zhì)量的整體影響。我們的工作能看做是這一方法的擴(kuò)展,視覺相似性的反饋能看做是跨語言檢索模式的額外限制。Calixton等人建議使用圖像作為統(tǒng)計(jì)機(jī)器翻譯的補(bǔ)充信息。他們從新的領(lǐng)域內(nèi)引用例子,因?yàn)樵谛碌念I(lǐng)域內(nèi)視覺信息能幫助SMT消除歧義并討論上下文圖片之間的可能特征和距離,但是報(bào)告卻并未涉及整個(gè)SMT管使用視覺信息。與我們的工作相平行的是,Elliot等人從神經(jīng)機(jī)器翻譯等方面解決了字幕翻譯的問題。他們的模式是涉及到我們研究或是完全依賴于可用的平行字幕作為訓(xùn)練數(shù)據(jù)。但這兩種方法都依賴于神經(jīng)網(wǎng)絡(luò),他們使用視覺豐富的神經(jīng)編碼解碼器SMT方法,而我們跟隨字幕翻譯的檢索模式,使用CNNs計(jì)算視覺空間的相似性。

將多模式信息的和NLP整合問題是最近研究的另一個(gè)熱點(diǎn)。例如,Silberer和Lapata顯示基于視覺表征的單詞鑲嵌分布表現(xiàn)比術(shù)語相似性評(píng)分和詞分類任務(wù)表現(xiàn)更加好。視覺反饋的正交性通過Kiela等人開發(fā)多語言設(shè)置,他引導(dǎo)產(chǎn)生雙語詞典使用術(shù)語專用的多模式表示,是通過谷歌圖像搜索引擎獲得的。Funaki和Nakayama利用視覺的相似性在多模式和雙語向量空間進(jìn)行跨語言文件檢索,但這些向量都是通過將典型相關(guān)性加以推廣獲得的,大大減弱了對(duì)于平行數(shù)據(jù)的需求。其共同點(diǎn)在于以CNN為基礎(chǔ)的相似性信息是一個(gè)“中心”或是一個(gè)連接語料庫(kù)的支點(diǎn),在兩種自然語言的語料庫(kù)中缺少直接的并行主義,這就是我們?yōu)榻鉀Q字幕翻譯問題所采取的策略。

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

圖1:模式結(jié)構(gòu)概述

3. 模式

3.1 .概述

根據(jù)Waschle和Riezler所制定的基本方法,我們使用跨語言檢索模式在目標(biāo)語言文件集C中找出句子,并使用這些句子對(duì)原字幕f所翻譯的目標(biāo)語言翻譯e重新進(jìn)行排序。

在我們研究中的系統(tǒng)與Waschle和Riezler所使用的在多個(gè)方面都有所不同。并非簡(jiǎn)略或是粗糙的兩步檢索方式,我們的系統(tǒng)在檢索匹配的文本集C中使用相關(guān)的評(píng)分功能,并基于術(shù)語出現(xiàn)頻率倒敘對(duì)候選翻譯進(jìn)行排序,這顯示了TF-IDF相關(guān)測(cè)量方式的變體。

我們方法的整體結(jié)構(gòu)概述如圖1所示,包含以下幾個(gè)成分:

輸入:源字幕fi,圖像i,圖像字幕對(duì)的目標(biāo)語言集合C

翻譯:生成kn-best翻譯的獨(dú)特列表Nfi,使用MT解碼器生成Kr-best翻譯的獨(dú)特列表Rfi

多模式檢索:對(duì)于翻譯列表Nfi,在目標(biāo)文集C中發(fā)現(xiàn)Km-most相關(guān)的圖像字幕對(duì)Mfi,使用啟發(fā)式關(guān)聯(lián)函數(shù)進(jìn)行評(píng)分

跨語言重新排序:使用Mfi的圖像字幕對(duì)對(duì)翻譯列表Rfi進(jìn)行重新排序,應(yīng)用相關(guān)評(píng)分功能

輸出:通過插入解碼分?jǐn)?shù)dr來決定最好的翻譯假設(shè)

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

其核心觀念是評(píng)分功能S(m,Nfi,i)能決定目標(biāo)檢索(TSR)的三個(gè)變體,所有的這一些能充分利用上面所提到的程序。在基線和文本基礎(chǔ)的重新排序模式中(TSR-TXT),我們使用相關(guān)評(píng)分功能STXT。這一項(xiàng)功能是僅依靠文本并未充分利用多模式的語境信息(例如,它與Waschle和Riezler所使用的目標(biāo)語言檢索是最接近的)。通過來自深度卷積神經(jīng)網(wǎng)絡(luò)的視覺信息能加強(qiáng)檢索信息(TSR-CNN),這一評(píng)分功能SCNN基本采用了從神經(jīng)網(wǎng)絡(luò)中提取文本的相關(guān)信息來進(jìn)行視覺相似性信息評(píng)分。最后,基于人類目標(biāo)分類注釋(tsr-hca)對(duì)這些模式的相關(guān)性進(jìn)行評(píng)分,使用評(píng)分函數(shù)為SHCA。

 該函數(shù)利用了可供MS COCO語料庫(kù)使用的對(duì)象標(biāo)注,指示我們的自動(dòng)提取視覺相似性度量的有效性。后文中將詳細(xì)討論這三種模型。

3.2.目標(biāo)側(cè)檢索模型(Target Side Retrieval Models)

基于文本的目標(biāo)側(cè)檢索模型.在TSRTXT檢索方案中,匹配候選值m∈C以下列方式得分:

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

其中δ是Kroneckerδ函數(shù),Nfi是圖像i的源字幕fi最好的Kn翻譯假設(shè)集(通過解碼器進(jìn)行評(píng)分)。typ(a)是函數(shù)產(chǎn)生的一組包含在字幕a中的類型集(獨(dú)特的符號(hào)),tok(a)是函數(shù)產(chǎn)生的字幕a的符號(hào),idf(w)是術(shù)語w的逆文檔頻率。并且Zm等于|typ(m)|的倒數(shù)是包含在內(nèi)的正?;男g(shù)語,用于避免系統(tǒng)偏向于長(zhǎng)時(shí)間的匹配候選(包含很多低頻率術(shù)語)。術(shù)語頻率的計(jì)算是在Europarl,News Commentary 和News Discussions English數(shù)據(jù)集(由WMT15創(chuàng)作室提供)提供的語言數(shù)據(jù)上進(jìn)行的。注意,在這些模型中,沒有使用圖像i的信息。

使用CNNs的多模型目標(biāo)側(cè)檢索

在TSR-CNN方案中,我們使用來自深度卷積網(wǎng)絡(luò)的視覺相似性信息,補(bǔ)充文本目標(biāo)面TSR模型。我們通過介紹圖像ix,iy的半正定距離函數(shù)v(ix,iy)→[0,∞)將其正式化(較小的值,表示更多的類似的圖像)。相關(guān)評(píng)分函數(shù)SCNN在模型中采用的形式如下:

ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗? 

im是字幕m相關(guān)的圖片,且d是截止最大距離,上面中匹配候選被認(rèn)為是不相關(guān)的,且b是權(quán)重術(shù)語,它可以控制視覺距離分?jǐn)?shù)v(im,i)在整體分?jǐn)?shù)上的影響。

我們的視覺程度v是使用Simonyan和Zisserman的VGG16深度卷積網(wǎng)絡(luò)模型(在ImageNet上進(jìn)行預(yù)訓(xùn)練)進(jìn)行計(jì)算的。我們提取所有輸入的特征值,并從模型的倒數(shù)第二個(gè)完全連接層(fc7)參考圖像 ,和計(jì)算圖像特征向量之間的歐氏距離。如果沒有相鄰圖像落在距離d,基于文本的檢索程序STXT被作為回退策略,這在我們的測(cè)試數(shù)據(jù)中每500次會(huì)發(fā)生47次。

通過人類分類注釋的目標(biāo)側(cè)檢索。為了對(duì)比,我們使用了人類分類注釋的MSCOCO評(píng)估TSR-HCA檢索模型。在MSCOCO語料庫(kù)中,每一個(gè)圖像都用對(duì)象多邊形注釋,分類成91類常見對(duì)象。在該方案中,匹配候選m按如下方式打分:

ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗? 

其中cat(i)返還圖像i被注釋的對(duì)象類別集。強(qiáng)制類別注釋i和參考圖像im進(jìn)行嚴(yán)格匹配的總數(shù),因此,通過嚴(yán)格的類別匹配預(yù)過濾STXT在圖像字幕得分。在i用獨(dú)特的對(duì)象類別集注釋,以及SHCA沒有返還非零分的匹配候選的情況下,STXT被用作回退策略,這種情況在我們測(cè)試集中每500次會(huì)發(fā)生77次。

3.3.翻譯候選重新評(píng)分(Translation Candidate Re-scoring)

在三個(gè)模型中,用于重排序模型的相關(guān)性得分F(r,MfI)用如下方式進(jìn)行計(jì)算:

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

 其中r是翻譯候選,并且Mfi是km最高目標(biāo)側(cè)檢索匹配的列表。因?yàn)槟P蛻?yīng)該返還一個(gè)反映r對(duì)于Mfi相關(guān)性的分?jǐn)?shù),不考慮Mfi的長(zhǎng)度,標(biāo)準(zhǔn)化Mfi的標(biāo)簽數(shù)是必要的。術(shù)語ZMfi就是為該目標(biāo)服務(wù)的。

4.實(shí)驗(yàn)

4.1.雙語圖像-字幕數(shù)據(jù)

我們基于MS COCO圖像語料庫(kù)建立了一個(gè)德語-英語平行數(shù)據(jù)集。從2014訓(xùn)練部分隨機(jī)選擇1000張圖片,在第二步中,他們五分之一的英語字幕是隨機(jī)選擇的。隨后這些字幕由一個(gè)德國(guó)人翻譯成德語。注意我們的實(shí)驗(yàn)將德語作為源語言,而英語作為目標(biāo)語言,因此,我們的參考數(shù)據(jù)不是由單獨(dú)一個(gè)人說出來的,而是最大程度的反映出MSCOCO的不均勻性。該數(shù)據(jù)被拆分為250字幕的開發(fā)集——它在過程中用于測(cè)試工作,和500字幕的測(cè)試集。為了進(jìn)行檢索實(shí)驗(yàn),我們只使用不包括在開發(fā)集中的圖像和字幕,總共81,822張圖像(每個(gè)圖像有著5個(gè)英語字幕)。所有數(shù)據(jù)通過cdec,tokenized-anything.pl和lowercase.pl處理和轉(zhuǎn)換成小寫。對(duì)于德語數(shù)據(jù),我們使用Dyer描述的方法進(jìn)行復(fù)合-拆分,提供cdec utility compound-split.pl進(jìn)行實(shí)施。表1給出了數(shù)據(jù)集的概述。我們的并行開發(fā),開發(fā)測(cè)試和測(cè)試數(shù)據(jù)都是公開可用的。

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

表1:實(shí)驗(yàn)中使用的MSCOCO中圖像和字幕數(shù)據(jù)的圖像和句子的數(shù)量。

4.2.翻譯的基準(zhǔn)

我們將我們的方法和兩種基準(zhǔn)的機(jī)器翻譯系統(tǒng)進(jìn)行對(duì)比,一個(gè)域外的數(shù)據(jù)進(jìn)行培訓(xùn),一個(gè)Domain-adapted系統(tǒng)。表2給出了用于機(jī)器翻譯系統(tǒng)的訓(xùn)練數(shù)據(jù)概述。

域外基準(zhǔn)(Out-of-Domain Baseline.)我們基準(zhǔn)的SMT框架是使用同步語境的自由語法,基于短語的分層的翻譯 ,通過cdec解碼器實(shí)現(xiàn)。Eutoparl,News Commentary和Common Crawl corpora,以及WMT15工作室提供的數(shù)據(jù),被用于訓(xùn)練翻譯模型,德語作為源語言,英語作為目標(biāo)語言。

如檢索數(shù)據(jù)集,訓(xùn)練,開發(fā)和測(cè)試數(shù)據(jù)集都被標(biāo)記并轉(zhuǎn)換成小寫一樣,我們使用相同的cdec工具。超過80個(gè)詞的句子無論是源語言還是目標(biāo)語言,在前面的訓(xùn)練中都被拋棄了。源文本使用compound-split.pl進(jìn)行復(fù)合拆分。

使用cdec 的fsat-align功能雙向提取組合,并使用grow-diag-final-and的均衡啟發(fā)式均衡atools效果。該組合隨后被cdec語法提取器用于在平行數(shù)據(jù)中提取同步的語句自由語法。

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

表2:用于訓(xùn)練機(jī)器翻譯系統(tǒng)的并行和單語數(shù)據(jù)。給原始數(shù)據(jù)未進(jìn)行預(yù)處理的句子數(shù)。O /I:域外和域內(nèi)的系統(tǒng),I:只域內(nèi)系統(tǒng)。

目標(biāo)語言模型在來自Europarl,News Crawl,和有KenLM工具包的News Discussions(由WMT15工作室提供,該數(shù)據(jù)集在檢索模型中也被用于評(píng)估術(shù)語)數(shù)據(jù)集的單語數(shù)據(jù)上進(jìn)行訓(xùn)練。

為了翻譯質(zhì)量,我們?nèi)鏘BM  BLEU一樣使用Margin Infused  Relaxed 算法(MIRA) 進(jìn)行測(cè)量,優(yōu)化翻譯系統(tǒng)的參數(shù)。為了調(diào)整翻譯模型用于提取最終的假設(shè)列表評(píng)估,MIRA在開發(fā)集上進(jìn)行了20次迭代,并選擇最好進(jìn)程進(jìn)行最終測(cè)試。

域內(nèi)基準(zhǔn).我們同樣將我們的模型和domain-adapted的機(jī)器翻譯系統(tǒng)進(jìn)行對(duì)比。除了是它從圖像字幕域提供額外的并行訓(xùn)練數(shù)據(jù)外,domain-adapted系統(tǒng)和域外(out-of-domain)系統(tǒng)是完全相同。為了這個(gè)目的,我們使用29,000個(gè)平行的德語-英語圖像字幕(和多模態(tài)機(jī)器翻譯上WMT16共享任務(wù)的字幕數(shù)量相同)。數(shù)據(jù)集中英語字幕屬于Flick30k語料庫(kù),并且和MSCOCO語料庫(kù)非常相似。德語字幕是專業(yè)翻譯的。英語字幕同樣被用于目標(biāo)側(cè)語言模型額外的翻譯數(shù)據(jù)。使用該域內(nèi)(in-domain)基準(zhǔn)系統(tǒng),我們產(chǎn)生了kn和翻譯候選kr-best的列表。

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

表3:優(yōu)化在最終評(píng)估中使用的超參數(shù)值

4.3.優(yōu)化TSR超參數(shù)

對(duì)于我們的每一個(gè)檢索模型,我們?cè)谟糜陂_發(fā)集IBM BLEU的四個(gè)系統(tǒng)參數(shù)上,進(jìn)行了一項(xiàng)超參數(shù)空間的逐步窮舉搜索:kn-best的長(zhǎng)度列舉了整個(gè)被用于檢索的查詢;km-best的數(shù)量對(duì)應(yīng)字幕檢索;最終kr-best列表的長(zhǎng)度被用于分級(jí);相關(guān)性分?jǐn)?shù)F的加權(quán)插值λ相對(duì)翻譯假設(shè)日志的概率由解碼器返回。通過檢查系統(tǒng)對(duì)于典型例子的輸出,手動(dòng)決定參數(shù)的探索范圍。表3給出了獲得的超參數(shù)值概述。

對(duì)于TSR-CNN,我們最初設(shè)置的截止距離d為90.0,經(jīng)過手動(dòng)檢查最近的鄰近集返回各種最大距離值。在優(yōu)化檢索參數(shù)后,我們?cè)陂_發(fā)集以步長(zhǎng)單位為1,從d=80.0到=100進(jìn)行窮舉搜索,同時(shí)保持其它的超參數(shù)固定,結(jié)果證明了最初的選擇d=90.0是最佳值。

對(duì)于所有模型,探索參數(shù)空間都是一樣的,并且每一個(gè)模型都在測(cè)試集上使用它自己最佳配置的超參數(shù)進(jìn)行評(píng)估。

4.4.性能測(cè)試

在不同的翻譯質(zhì)量進(jìn)行性能測(cè)試,是通過使用近似隨機(jī)化技術(shù),測(cè)量機(jī)器翻譯系統(tǒng)的差異而進(jìn)行的。它由Riezler和Maxwell提出,并被Clark等人實(shí)施成為Multeval工具包的一部分。

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

表格4:據(jù)Multeval報(bào)道的所有系統(tǒng)及其顯著性水平的度量分?jǐn)?shù)。Po值與cdec域外基線相關(guān),Pd值則與域內(nèi)基線相關(guān),Pt值,Pc值分別與TSR-TXT,TST-CNN相關(guān)。最優(yōu)結(jié)果用黑體標(biāo)注出來。

4.5.實(shí)驗(yàn)結(jié)果

表格4對(duì)在一個(gè)擁有500條字幕的不可見測(cè)試集合中,所有模型的測(cè)試結(jié)果進(jìn)行總結(jié)。經(jīng)調(diào)整過后的域極大改善了+4.1BLEU,METEOR與翻譯編輯率(TER)進(jìn)行了極大程度的改善。我們發(fā)現(xiàn),運(yùn)用深度卷積神經(jīng)網(wǎng)絡(luò)TSR-CNN 和 TSR-HCA中的多模態(tài)樞紐可以改善目標(biāo)端檢索模型,而這種檢索模型一直以來在性能均優(yōu)于經(jīng)過調(diào)整的域cdec基線及基于文本的目標(biāo)側(cè)檢索模型TSR-TXT。因而,這些模型在性能方面得到了改善,在效果上最終超過了一般的域調(diào)整方式。TSR-CNN與TSR-HCA在性能方面的提高與BLEU,METEOR,TER呈顯著性差異(p<0.05)。對(duì)于所有的評(píng)估度量方法來講,TSR-CNN和TSR-HCA之間的差異并不顯著,這一結(jié)果證明,運(yùn)用我們由CNN衍生出的距離度量檢索方法能夠與基于人類目標(biāo)分類注釋的檢索方法相匹配。

 ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

圖2:鑒于兩個(gè)排名聯(lián)合分布得出的人類成對(duì)偏好排名實(shí)驗(yàn)結(jié)果:a+表示人們對(duì)TSR-CNN精確度的偏好,f+表示人們對(duì)TSR-CNN流暢度的偏好;a-表示人們對(duì)于域內(nèi)基線精確度的偏好,f-表示人們對(duì)域內(nèi)基線流暢度的偏好。

基于文本的檢索基線TSR-TXT在顯著性上從未優(yōu)于域內(nèi)cdec基線,但是,BLEU,METEOR及TER的性能在名義上得到了少許提升。這一發(fā)現(xiàn)實(shí)際上與Waschle 和 Riezler (2015)的報(bào)告結(jié)果一致,其報(bào)道了在高技術(shù),窄域語料庫(kù)總基于文本的目標(biāo)端檢索模型性能的改善,甚至報(bào)道了介質(zhì)多樣性語料庫(kù)在性能方面的下降,如Europarl語料庫(kù)。我們的實(shí)驗(yàn)結(jié)果顯示,將多模態(tài)樞紐整合入圖像增強(qiáng)模型TSR-CNN 和 TSR-HCA中,額外增加了視覺相似性信息,如此便使得這些技術(shù)在MS COCO中能夠得到有效利用,從而肯定了我們的假設(shè),視覺信息可以用于改進(jìn)字幕翻譯。

4.6.人類評(píng)價(jià)

域內(nèi)基線與TSRT-CNN之間的差異體現(xiàn)于兩種檢索方法在測(cè)試集合中169/500案例的輸出結(jié)果上的不同。在一項(xiàng)雙盲配對(duì)偏好排序?qū)嶒?yàn)中,這169個(gè)案例隨德國(guó)源字幕一同呈現(xiàn)在人類面前,以便于配對(duì)排序結(jié)果做出評(píng)價(jià)。在兩個(gè)系統(tǒng)中,字幕的呈現(xiàn)順序具有隨機(jī)性。評(píng)審人員被要求分別對(duì)翻譯的流暢度與精確度進(jìn)行排序。所得結(jié)果見圖2。整體上講,人們對(duì)TSR-CNN輸出結(jié)果表現(xiàn)出明顯的偏好。

4.7.例子

表格5中為由cdec基線,TSR-TXT,TSR-CNN及TSR-HCA檢索模型得出的實(shí)例翻譯結(jié)果,隨之提供有源字幕,圖像和參考翻譯。由樞紐圖像的目標(biāo)端字幕歸納得出的視覺信息能夠消除可以相互替換的翻譯結(jié)果的歧義,并且能夠修正錯(cuò)誤的翻譯結(jié)果。

  ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

表格5:根據(jù)多模態(tài)反饋信息改善過的字幕翻譯實(shí)例

5.結(jié)論與對(duì)未來工作的啟示

我們證實(shí)了,在我們由MSCOCO得出的平行數(shù)據(jù)集中,就BLEU,METEOR及TER而言,與一個(gè)強(qiáng)大的域內(nèi)基線相比,將多模態(tài)樞紐與一個(gè)目標(biāo)端檢索模型相結(jié)合能夠改善SMT的性能?;谏疃染矸e網(wǎng)絡(luò)的距離度量所提高的性能可以與基于人類目標(biāo)分類注釋所提高的性能相媲美,這一結(jié)果進(jìn)一步證明了由CNN衍生得出的距離測(cè)量工具的有效性。采用我們的方法,在某些案例中,SMT可以得益于多模態(tài)語境信息。尤為重要的是,不需要使用大量的域內(nèi)平行文本信息,僅僅運(yùn)用大量可以很容易獲取的一語圖像字幕便可以提高SMT的性能。

應(yīng)用深度學(xué)習(xí)技術(shù)學(xué)習(xí)距離度量成為一個(gè)熱點(diǎn)研究領(lǐng)域(Wu等,2013;Wang等,2014;Wang等,2015)。盡管我們的簡(jiǎn)單的距離度量方法在性能上可以與人類目標(biāo)注釋方法相媲美,運(yùn)用這種高水平語義距離度量進(jìn)行多模態(tài)樞紐字幕翻譯在未來研究中將具有遠(yuǎn)大前景。

當(dāng)前實(shí)驗(yàn)結(jié)果是僅僅基于一個(gè)語言對(duì)(德語-英語)和一個(gè)語料庫(kù)(MS COCO)得出的。與所有基于檢索的方法相似,有關(guān)各種領(lǐng)域,各種規(guī)模,各種質(zhì)量的語料庫(kù)的任何普適性觀點(diǎn)都難以得到證實(shí)。這一問題在多模態(tài)案例中尤為棘手,由于在不同的語料庫(kù)中,與圖像相互關(guān)聯(lián)的字幕呈現(xiàn)多樣化(Hodosh 等,2013)。在未來的工作中,我們計(jì)劃在更為自然的語境中評(píng)估我們所采用的檢索方法的性能,例如于在線多媒體庫(kù)中進(jìn)行機(jī)器字幕翻譯,維基Commons,數(shù)字化藝術(shù)目錄及電子商務(wù)本地化。

另一未來研究平臺(tái)為通過運(yùn)用神經(jīng)MT(例如“注意機(jī)制”)的重要組成部分來改善Elliot 等人(2015)在其文章中提及到的模型的性能。例如,由Bahdanau等人(2015)提出的注意機(jī)制通過影響源字符的翻譯序列,以便對(duì)翻譯過程起到引導(dǎo)作用。Xu等人(2015)的文章中運(yùn)用了相似的機(jī)制來確定圖像的哪一部分將對(duì)所生成的字幕中的哪一部分產(chǎn)生影響。在神經(jīng)字幕翻譯模型中把這兩種類型的注意機(jī)制相結(jié)合將是字幕翻譯發(fā)展自然而然的結(jié)果。盡管這一研究方向已經(jīng)超出當(dāng)前研究范圍,我們的檢索模型將為之提供一種信息基線,在今后的研究中可以參照該基線評(píng)估所采用的檢索方法。

哈爾濱工業(yè)大學(xué)李衍杰副教授的點(diǎn)評(píng):本文通過視覺空間定義的多模態(tài)樞紐(multimodal pivots ),提出了一種方法來改善圖像描述的統(tǒng)計(jì)機(jī)器翻譯,從統(tǒng)計(jì)機(jī)器翻譯(SMT)的角度解決多語言字幕的問題。其核心思想是對(duì)用目標(biāo)語言加字幕的圖像數(shù)據(jù)集中進(jìn)行檢索,應(yīng)用最相似圖像的字幕來進(jìn)行跨語言的翻譯輸出再排序,利用視覺語境所提供的正交信息來避免自然語言產(chǎn)生的歧義。論文方法表明多模態(tài)樞紐與目標(biāo)端檢索模型相結(jié)合能夠改善SMT的性能。基于深度卷積網(wǎng)絡(luò)的距離度量所提高的性能可以與基于人類目標(biāo)分類注釋所提高的性能相媲美,這一結(jié)果進(jìn)一步證明了由卷積神經(jīng)網(wǎng)絡(luò)(CNN)衍生得出的距離測(cè)量工具的有效性。該方法可不需要使用大量的域內(nèi)平行文本信息,僅僅運(yùn)用大量容易獲取的單語圖像字幕便可以提高SMT的性能。

PS : 本文由雷鋒網(wǎng)獨(dú)家編譯,未經(jīng)許可拒絕轉(zhuǎn)載!更多ACL相關(guān)資訊掃碼關(guān)注微信群

ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

 

 

 


雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知

ACL2016最佳論文:智能翻譯要搶字幕翻譯員的飯碗?

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說