0
| 本文作者： 楊曉凡 | 2019-04-12 09:55 |
雷鋒網(wǎng) AI 科技評(píng)論按：將于今年 6 月在美國明尼阿波利斯市舉行的自然語言處理頂會(huì) NAACL-HLT （Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies；ACL 北美分會(huì)）今天通過官方博客發(fā)布了 NAACL-HLT 2019 的論文獎(jiǎng)名單。會(huì)議設(shè)置了許多種不同的論文獎(jiǎng)項(xiàng)，去年的來自谷歌的熱門論文 BERT 獲得最佳長論文獎(jiǎng) —— 雖然 BERT 本身并沒能帶來重大理論突破，但這篇論文發(fā)表之后的火熱討論、成為新的基線模型、以及出現(xiàn)大批基于 BERT 的改進(jìn)模型都是有目共睹的。
根據(jù) NAACL-HLT 官方博客介紹，NAACL-HLT 2019 正會(huì)部分最終投稿數(shù)為 1955 篇（已去除撤稿與評(píng)審前拒稿），相比 2018 年的 1072 篇增加 82%；其中長論文 1198 篇，短論文 757 篇。正會(huì)接收論文共 423 篇，接收率 21.6%。另外，工業(yè)界部分（Industry Track）的最終投稿數(shù)為 100 篇，相比 2018 年的 85 篇增加 17%；接收論文共 52 篇。
獲獎(jiǎng)?wù)撐牧斜砼c簡介如下：
What's in a Name? Reducing Bias in Bios Without Access to Protected Attributes
姓名里含有什么？無需訪問受保護(hù)的屬性就可以降低個(gè)人簡歷中的偏倚
論文摘要：如今有越來越多的研究都在嘗試提出新的方法減少機(jī)器學(xué)習(xí)系統(tǒng)中的偏倚。這些方法通常都需要訪問種族、性別、年齡之類的應(yīng)受到保護(hù)的隱私屬性，然而這就帶來了兩大挑戰(zhàn)，1，受到保護(hù)的屬性可能是不允許訪問的，或者使用這些信息是非法的；2，很多時(shí)候我們希望同時(shí)考慮多種受保護(hù)的屬性產(chǎn)生的影響，或者屬性的共同影響。這篇論文探究了職業(yè)性分類中減少偏倚的問題，作者們提出的方法可以降低預(yù)測到一個(gè)人的真正職業(yè)的概率和他們的名字的詞嵌入之間的關(guān)聯(lián)性。這種方法利用了社會(huì)偏見，它其實(shí)被編碼在了姓名的詞嵌入中；這樣這種方法就不再需要訪問受保護(hù)的屬性。更重要的是，它僅僅需要在訓(xùn)練的時(shí)候訪問不同的人的姓名，部署后就不再需要。作者們在線上的大規(guī)模個(gè)人簡歷數(shù)據(jù)集上評(píng)估了提出的方法的兩種不同版本，結(jié)論是這兩個(gè)版本的方法都可以同時(shí)減少人種和性別偏倚，同時(shí)還對(duì)分類器的總體正確率幾乎沒有影響。
CNM: An Interpretable Complex-valued Network for Matching
CNM：一個(gè)用于匹配的可解釋復(fù)數(shù)值網(wǎng)絡(luò)
（是的這篇論文來自中國作者）
論文摘要：這篇論文的目標(biāo)是通過量子物理的數(shù)學(xué)框架對(duì)人類語言進(jìn)行建模。量子物理中已經(jīng)有設(shè)計(jì)完善的數(shù)學(xué)方程式，這個(gè)框架借用了這些方程式，然后在單個(gè)復(fù)數(shù)向量空間中統(tǒng)一了不同的語言學(xué)單位，比如，把單詞看作量子態(tài)的粒子，把句子看作混合系統(tǒng)。作者們構(gòu)建了一個(gè)基于復(fù)數(shù)值的網(wǎng)絡(luò)來實(shí)現(xiàn)這個(gè)框架并把它用于語義匹配。由于具有約束完善的復(fù)數(shù)值成分，這個(gè)網(wǎng)絡(luò)可以把釋義呈現(xiàn)為顯式的物理概念。論文中提出的這個(gè)用于匹配的復(fù)數(shù)值網(wǎng)絡(luò)（CNM）在測試的兩個(gè)問答數(shù)據(jù)集上可以取得與優(yōu)秀的 CNN 和 RNN 基準(zhǔn)線模型近似的表現(xiàn)。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT：用于語言理解的預(yù)訓(xùn)練深度雙向 Transformer 模型
這篇論文雷鋒網(wǎng) AI 科技評(píng)論有多篇相關(guān)報(bào)道，可見
Probing the Need for Visual Context in Multimodal Machine Translation
探測多模態(tài)機(jī)器翻譯中對(duì)視覺內(nèi)容的需求
論文摘要：目前的多模態(tài)機(jī)器翻譯（MMT）研究表明，視覺模態(tài)往往不是必須的，或者帶來的收益并不明顯。作者們認(rèn)為原因是這個(gè)任務(wù)的唯一一個(gè)可用數(shù)據(jù)集 Multi30K 中的問題都太簡單、太短、重復(fù)性高，在這樣的狀況下，只把源文本作為內(nèi)容就已經(jīng)足夠了。作者們認(rèn)為，對(duì)于更加一般性的情況，合并使用視覺和文本信息、增加翻譯的可靠性是完全可行的。在這篇論文中，作者們選擇了目前最先進(jìn)的 MMT 模型并探究了視覺模態(tài)的影響，他們部分削弱了模型的源文本側(cè)，并進(jìn)行了系統(tǒng)性研究。結(jié)果表明，給定有限的文本內(nèi)容時(shí)，模型可以利用視覺輸入中的信息并生成更好的翻譯結(jié)果。這很好地反駁了當(dāng)前的觀點(diǎn)，認(rèn)為 MMT 模型會(huì)丟掉視覺模態(tài)中的信息，原因是由于圖像的特征的質(zhì)量不高，或者視覺模態(tài)與模型的集成方式不好。
CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
CommonsenseQA：一個(gè)面向常識(shí)知識(shí)的問答挑戰(zhàn)
論文摘要：當(dāng)人類回答問題的時(shí)候，除了問題給定的文本之外，他們其實(shí)還會(huì)運(yùn)用對(duì)這個(gè)世界的豐富的知識(shí)來幫助他們答題。問答任務(wù)上的近期研究主要關(guān)于的都是在給定的相關(guān)文本或者文檔上答題，很少需要通用的背景知識(shí)。為了探究有先驗(yàn)通用知識(shí)的狀況下的問答任務(wù)，作者們提出了 CommonsenseQA 數(shù)據(jù)集，這是一個(gè)用于常識(shí)問題回答的有挑戰(zhàn)性的新數(shù)據(jù)集。為了捕捉關(guān)聯(lián)性之外的更多常識(shí)，作者們借助 ConceptNet 提取了與同一個(gè)源概念有相同語義聯(lián)系的多種概念；作者們也讓眾包工作者編寫提到了源概念的多項(xiàng)選擇問題，在這些問題里需要辨析源概念和其它的相關(guān)概念。這樣的設(shè)定會(huì)讓眾包工作者們嘗試編寫有復(fù)雜語義的問題，這樣的問題也就往往需要先驗(yàn)背景知識(shí)才能回答。通過這個(gè)過程，論文作者們共創(chuàng)建了超過一萬兩千個(gè)問題，并通過一系列傳統(tǒng)上較強(qiáng)的基線模型的測試表明了這個(gè)任務(wù)的難度。目前作者們找到的最強(qiáng)的基線模型是基于 BERT-large 的，這個(gè)模型得到了 56% 的準(zhǔn)確率；而人類的準(zhǔn)確率為 89%。
雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。更多頂級(jí)學(xué)術(shù)會(huì)議報(bào)道請(qǐng)繼續(xù)關(guān)注我們，或加入小組討論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
