作者 | Antonio

編輯 | 陳彩嫻

ACL 2022已經(jīng)于近期正式在官網(wǎng)上刊登了錄取的文章，其中涉及到詞義消歧（Word Sense Disambiguation, WSD）的文章共有4篇，參考下圖的查詢。

WSD是指識別出有多個義項的目標(biāo)詞匯在上下文中的含義，是NLP中一個重要并且具有NP-hard復(fù)雜度的任務(wù)，不僅可以幫助機器更好地識別詞匯語義，還對機器翻譯、文本理解等下游任務(wù)起到輔助作用。

本文簡要整理并介紹其中已經(jīng)公布了論文全文的前三篇，值得注意的是，這三篇都出自同一個課題組，即來自意大利羅馬一大的Sapienza NLP，導(dǎo)師為Roberto Navigli。

（ACL 22上關(guān)于WSD的論文）

1

WSD真的超過了人類性能了嗎？

論文題目：Nibbling at the Hard Core ofWord Sense Disambiguation

下載鏈接：https://www.researchgate.net/publication/359468349_Nibbling_at_the_Hard_Core_of_Word_Sense_Disambiguation

本文是一篇評測以往的WSD方法的分析型論文，并根據(jù)對于當(dāng)前方法的不足，提出了更加富有挑戰(zhàn)性的數(shù)據(jù)集和評測指標(biāo)。具體而言:

1、文章從定性和定量兩個方面，仔細分析了7個當(dāng)前最SOTA的模型都會存在的一些錯誤和偏差。這些模型都是經(jīng)典模型，并且在當(dāng)時達到過最佳性能。它們分別是基于判別式的ARES，BEM，ESCHER（當(dāng)前SOTA），EWISER， GlossBERT；基于生成式的Generationary；和無監(jiān)督訓(xùn)練的SyntagRank模型。值得注意的是，這7個模型中有5個模型是屬于Roberto課題組。

考慮到理想的模型應(yīng)該表現(xiàn)得和人類類似的假設(shè)，現(xiàn)有模型在WSD上犯得很多錯誤是低級和違背常識的。例如下面的例子：

ESCHER是當(dāng)前SOTA模型，在上述對于母語者看來wind一定不會是空氣的含義，但模型卻判斷錯誤。

從定量的角度，文章重點分析了WSD中非常常見的不平衡問題——最頻繁釋義偏差（MFS）和訓(xùn)練數(shù)據(jù)偏差，即測試集中存在訓(xùn)練集中從未見過的釋義。這兩個問題都由知識不確定性（epistemic uncertainty）導(dǎo)致的。從定性角度，文章則分析了標(biāo)注者偏差，這屬于固有的隨機不確定性（aleatoric uncertainty），一個語言學(xué)專家標(biāo)注了測試集出現(xiàn)的6類偏差，并做了詳細分析。

2、出于上述偏差的分析，文章也提出了一系列更硬核的評測測試集合，即42D，42個語言domain，并且對于那些不常出現(xiàn)的釋義目標(biāo)也做了很好的評估。

同時研究者們提出了修正了原有的micro-averaged的F1得分，而變成了macro-average的F1得分。

最后，文章收集了在上述模型中都難以分對的那些實例，命名為“hardEN”。換句話說這個所有的模型對于這個測試集的F1得分都為0。這樣對于之后模型評估設(shè)計了一個很難的試金石。

2

用來衡量機器翻譯中的WSD的測試基準(zhǔn)

論文題目：DIBIMT: A Novel Benchmark for Measuring Word Sense Disambiguation Biases in Machine Translation

論文鏈接：https://www.researchgate.net/publication/359280784_DiBiMT_A_Novel_Benchmark_for_Measuring_Word_Sense_Disambiguation_Biases_in_Machine_Translation

一詞多義現(xiàn)象在機器翻譯中顯得尤為突出，這也是機器翻譯中常常出現(xiàn)的偏差的原因。文章研究了機器翻譯中的多義性偏差現(xiàn)象，并且提出了一個全新的測試基準(zhǔn)，包含針對多種語言的測試集以及評價指標(biāo)。具體來看，文章的貢獻有：

1、文章針對英語作為源語言，五種語言（中文、德文、意大利語、俄羅斯語和西班牙語）作為目標(biāo)語言，標(biāo)注了常見的WSD中出現(xiàn)的帶有歧義詞的正負樣例，如下圖展示了一個樣例，顯示了英文中shot在不同語言中的正誤翻譯：

文章詳細描述了句子的收集過程，包括語言庫選擇、句子清洗和過濾、數(shù)據(jù)集標(biāo)注等。下圖展示了數(shù)據(jù)集的標(biāo)注統(tǒng)計量：

其中數(shù)據(jù)集主要收集了名詞和動詞。之后由于數(shù)據(jù)集是從BabelNet中收集的，文中則定義了好的和壞的釋義集，并且統(tǒng)計了多大比例的釋義被標(biāo)注者添加（OG）；多大比例被移除（RG）和兩句例句使用同一釋義的比例（SL），統(tǒng)計量如下：

2、除了準(zhǔn)確率，文章定義了四種全新的評價指標(biāo)，用來衡量頻率和詞義的關(guān)系，它們分別是：Sense Frequency Index Influence (SFII)，Sense Polysemy Degree Importance (SPDI)，Most and More Frequent Senses相關(guān)的兩個MFS和MFS+。

3、文章比較了5類SOTA的機器翻譯系統(tǒng)，包含兩類商業(yè)系統(tǒng)：DeepL Translator，Google Translator和三類非商業(yè)模型，包含：OPUS，MBart50和M2M100。它們在五類語言上的分類結(jié)果參考下圖：

從準(zhǔn)確率上可以看出，DeepL的性能要顯著得比其它方法更好。

在細粒度分析歧義的新指標(biāo)上，也有類似的趨勢：

之后，文章還探討了很多有意思的語言學(xué)分析，比如，是否動詞要比名詞更難翻譯？編碼器是否真的可以去歧義等等？有興趣的讀者可以找來文章細細閱讀。

代碼和評測平臺之后會放出：https://nlp.uniroma1.it/dibimt

3

實體去歧義任務(wù)的新定義

論文標(biāo)題：ExtEnD: Extractive Entity Disambiguation

論文鏈接：https://www.researchgate.net/publication/359392427_ExtEnD_Extractive_Entity_Disambiguation

文章對WSD內(nèi)的一個更加細粒度的實體去歧義的任務(wù)進行了新的方式去定義，即把它當(dāng)作一個文本抽取的任務(wù)，并且采用兩個Transformer模型架構(gòu)實現(xiàn)（命名為EXTEND）。EXTEND在6個評價數(shù)據(jù)庫中有4個在F1 score上都達到了SOTA水平。

實體是指關(guān)系網(wǎng)絡(luò)中的節(jié)點，相比WSD中更加寬泛的詞匯，實體名詞往往更具有實際意義，并且更有多義性的可能性，下面展示了一個例子，選出Metropolis可能指的是哪個場景下的。

具體而言，如下圖，EXTEND架構(gòu)首先將輸入的上下文和所有的候選項拼接在一起，模型的輸出則是目標(biāo)選項的起始和終止的單詞索引。其中，提取特征的部分是Longformer，之后的head采用簡單的FC輸出每一個詞匯可能成為起始和終止的概率。

事實上，將WSD定義為這種文本提取的方式在之前的方法ESC和ESCHER中被兩次用到（都是同一位作者），其中的ESCHER方法是當(dāng)前WSD的SOTA方法，這啟發(fā)我們這種截取式方式的有效性。

以下是模型在6個數(shù)據(jù)集上的表現(xiàn)，它在其中的4個上面達到了最優(yōu)的水平。

4

關(guān)于課題組

如前述所示，這三項工作都是由Roberto Navigli領(lǐng)導(dǎo)的課題組完成的。在WSD領(lǐng)域內(nèi)，該課題組就承包了大半工作，包含模型的提出、新任務(wù)的定義、數(shù)據(jù)集語料庫的建設(shè)、富有啟發(fā)的分析等等。而Roberto本人也一直專注于這一領(lǐng)域，其博士畢業(yè)論文就是關(guān)于WSD的；而實驗室成員的很多研究方向也都幾乎包含這個領(lǐng)域，這是從不同的角度去挖掘，例如多語等。

這種幾十年如一日的專注確實很令人敬佩，這可能也是課題組不斷可以產(chǎn)出高質(zhì)量的WSD文章的重要原因。實驗室主頁（http://nlp.uniroma1.it/）就有詳細的文章介紹，對這一領(lǐng)域感興趣的同學(xué)一定要隨時關(guān)注。

雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。