全球自然語言處理領(lǐng)域的頂級會議EMNLP2023于12月6日-12月10日在新加坡召開，會議共接收4909篇投稿，主會錄用論文1047篇，錄用率21.3%。EMNLP的全稱是Conference on Empirical Methods in Natural Language Processing，由國際計(jì)算語言學(xué)會ACL組織每年舉辦一次，為自然語言處理領(lǐng)域最具影響力的國際會議之一。本次會議，微信AI團(tuán)隊(duì)有8篇文章被選中。其中，由北京大學(xué)和微信AI團(tuán)隊(duì)合作的文章獲得EMNLP錄取文章中最佳長論文獎(jiǎng)（Best Long Paper Award），這也是EMNLP會議上國內(nèi)首篇獲此殊榮的論文。

圖1. 獲獎(jiǎng)?wù)撐?/span>

圖2. 獲獎(jiǎng)證書

微信AI團(tuán)隊(duì)榜上有名，參與研究文章獲主會最佳長文

此次獲獎(jiǎng)的論文題為“Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning”，研究了 In-context learning（ICL）的工作機(jī)制。首次發(fā)現(xiàn)了上下文學(xué)習(xí)中演示示例的標(biāo)簽詞起著 “錨點(diǎn)” 作用：1）在淺層計(jì)算層的處理過程中，語義信息聚集到標(biāo)簽詞表示中；2）在深層計(jì)算層的處理過程中，標(biāo)簽詞中的聚合的信息為語言模型的最終預(yù)測提供參考?；谶@些發(fā)現(xiàn)，文章進(jìn)一步提出了 “錨點(diǎn)重新加權(quán)” 方法來提高 ICL 的性能，以及用于診斷  ICL 錯(cuò)誤的分析框架。這項(xiàng)工作也為未來的相關(guān)研究指引了新的方向。

圖3. 上下文中演示示例的標(biāo)簽詞作為“錨點(diǎn)”的示意圖

論文作者來自北京大學(xué)孫栩教授團(tuán)隊(duì)和微信AI團(tuán)隊(duì)，其中論文的第一作者王樂安是在微信AI團(tuán)隊(duì)實(shí)習(xí)的北大研究生（本科為北京大學(xué)智能科學(xué)與技術(shù)系2019級全系第一名），這也是他中稿的第一篇自然語言處理領(lǐng)域主會論文。在論文的研究過程中，北京大學(xué)孫栩教授團(tuán)隊(duì)和微信AI團(tuán)隊(duì)緊密合作，在研究方向、核心問題、實(shí)驗(yàn)改進(jìn)、以及論文修改等方面進(jìn)行了充分的討論和深入的工作，其中王樂安扎實(shí)的數(shù)理基礎(chǔ)和專業(yè)知識，孫栩教授清晰準(zhǔn)確的指導(dǎo)和建議令人印象深刻。

深耕前沿技術(shù)，微信AI團(tuán)隊(duì)多項(xiàng)研究可圈可點(diǎn)

微信AI團(tuán)隊(duì)在EMNLP2023的表現(xiàn)充分展示了其在AI領(lǐng)域的專業(yè)實(shí)力。微信AI團(tuán)隊(duì)保持著小而精的團(tuán)隊(duì)規(guī)模，團(tuán)隊(duì)成員幾乎全部來自國內(nèi)外頂尖高校的碩士或博士，一直保持著人才引入的高標(biāo)準(zhǔn)。除了本次 EMNLP2023 Best Paper (Long) Award，近年來團(tuán)隊(duì)成員參與的研究工作已經(jīng)獲得了多個(gè)重要獎(jiǎng)項(xiàng)，包括RecSys2023 Best Paper (Short) Award, ACL2019 Best Paper (Long) Award等。

微信AI團(tuán)隊(duì)在多個(gè)領(lǐng)域的研究都取得了顯著的成果。在全球?qū)W術(shù)界最具權(quán)威的機(jī)器翻譯比賽（Workshop on Machine Translation，簡稱WMT）2020 ～ 2022連續(xù)三年里獲得多個(gè)賽道冠軍，比賽參與者包括眾多來自全球的企業(yè)、科研機(jī)構(gòu)和高校所組成的頂尖團(tuán)隊(duì)。在2018和2019年的對話系統(tǒng)技術(shù)挑戰(zhàn)賽（Dialog System Technology Challenge，簡稱DSTC）中也蟬聯(lián)多個(gè)賽道冠軍。

微信AI團(tuán)隊(duì)一直致力于業(yè)務(wù)與學(xué)術(shù)研究的結(jié)合，在業(yè)務(wù)中挖掘科研課題。他們認(rèn)為，業(yè)務(wù)與研究是相互促進(jìn)的關(guān)系：“通過研究來發(fā)現(xiàn)更好的方法，最終結(jié)果也可以直接應(yīng)用在業(yè)務(wù)中。”本次會議中的多項(xiàng)工作已經(jīng)進(jìn)一步推動了對話系統(tǒng)、微信翻譯、微信讀書、微信輸入法等多個(gè)業(yè)務(wù)場景的應(yīng)用。

附：微信AI團(tuán)隊(duì)入選的8篇文章

1. Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou and Xu Sun.

2. HyperNetwork-based Decoupling to Improve Model Generalization for Few-Shot Relation Extraction

Liang Zhang, Chulun Zhou, Fandong Meng, Jinsong Su, Yidong Chen and Jie Zhou

3. Re3Dial: Retrieve, Reorganize and Rescale Conversations for Long-Turn Open-Domain Dialogue Pre-training

Jiaxin Wen, Hao Zhou, Jian Guan, Jie Zhou, Minlie Huang

4. Multi-Source Probing for Open-Domain Conversational Understanding

Yuanxi Li, Hao Zhou, Jie Zhou, Minlie Huang

5. Explicit Planning Helps Language Models in Logical Reasoning

Hongyu Zhao, Kangrui Wang, Mo Yu, Hongyuan Mei

6. D2TV: Dual Knowledge Distillation and Target-oriented Vision Modeling for Many-to-Many Multimodal Summarization

Yunlong Liang, Fandong Meng, Jiaan Wang, Jinan Xu, Yufeng Chen and Jie Zhou

7. Understanding Translationese in Cross-Lingual Summarization

Jiaan Wang, Fandong Meng, Yunlong Liang, Tingyi Zhang, Jiarong Xu, Zhixu Li and Jie Zhou

8. Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information

Yun Luo, Zhen Yang, Fandong Meng, Yingjie Li, Jie Zhou and Yue Zhang

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。