作者 | Sebastian Ruder

編譯 | Antonio

編輯 | 陳彩嫻

今年 ACL 線下召開，谷歌研究員Sebastian Ruber也到現(xiàn)場參會了！

ACL 2022的舉辦地點是都柏林，Sebastian Ruber位于谷歌倫敦，過去不遠。ACL之行結(jié)束后，他興致沖沖地寫下了他的參會感受，分享了他對幾個學(xué)術(shù)動態(tài)的關(guān)注，包括：1）語言多樣性和多模態(tài)；2）提示學(xué)習(xí)；3）AI 的下一個熱點；4）他在大會中最喜歡的文章；5）語言和智能的黑物質(zhì)；6）混合式個人體驗。

以下AI科技評論對他的分享做了不改變原意的整理與編輯：

1

語言多樣性和多模態(tài)

圖注：ACL 2022 主題演講小組討論支持語言多樣性的小組成員及其語言

ACL 2022 有一個主題為“語言多樣性：從低資源到瀕危語言”的主題賽道。除了賽道上的優(yōu)秀論文，語言多樣性也滲透到了會議的其他部分。史蒂文·伯德（Steven Bird）主持了一個關(guān)于語言多樣性的小組討論，其中研究人員會講和研究代表性不足（under-represented）的語言。小組成員分享了他們的經(jīng)驗并討論了語言之間權(quán)力動態(tài)等話題。他們還提出了切實可行的建議，以鼓勵在此類語言上開展更多工作：創(chuàng)建數(shù)據(jù)資源；為資源匱乏和瀕危語言的工作建立會議軌道；并鼓勵研究人員將他們的系統(tǒng)應(yīng)用于低資源語言數(shù)據(jù)。他們還提到了一個積極的進步，即研究人員越來越意識到高質(zhì)量數(shù)據(jù)集的價值?？傮w而言，小組成員強調(diào)，使用此類語言需要尊重——對說話者、文化和語言本身。

瀕危語言也是 Compute-EL研討會的重點。在頒獎典禮上，最佳語言洞察論文提出了KinyaBERT，這是一種利用形態(tài)分析器為基尼亞盧旺達語（Kinyarwanda）預(yù)訓(xùn)練的模型。而最佳主題論文為三種加拿大土著語言開發(fā)了語音合成模型。后者提供了一個多模態(tài)信息【譯者注：此處的多模態(tài)是指語言的不同形態(tài)的信息，例如語音、文字、手語等等】如何有益于語言多樣性的一個例子。

最佳語言洞察論文：KinyaBERT: a Morphology-aware Kinyarwanda Language Model

地址：https://aclanthology.org/2022.acl-long.367.pdf

最佳主題獎：Requirements and Motivations of Low-Resource Speech Synthesis for Language Revitalization

地址：https://aclanthology.org/2022.acl-long.507.pdf

其他多模態(tài)論文利用電話表示來提高斯瓦希里語和基尼亞盧旺達語[1]中的實體識別任務(wù)的性能。對于低資源的文本到語音，也有工作[2]使用發(fā)音特征，例如位置（例如，舌頭的正面）和類別（例如，濁音），這些特征可以更好地泛化到訓(xùn)練集中沒有見到過的音素。一些工作還探索了新的多模態(tài)應(yīng)用程序，例如檢測美國手語中的手指拼寫[3]或為聲調(diào)語言翻譯歌曲[4]。

多語言多模態(tài)研討會在MaRVL數(shù)據(jù)集上主持了一項關(guān)于多語言視覺基礎(chǔ)推理的共享任務(wù)。看到這種多語言多模態(tài)方法的出現(xiàn)特別令人鼓舞，因為它比前一年的 ACL 有所改進，其中多模態(tài)方法主要處理英語。

之后作者也受邀做了關(guān)于“將NLP系統(tǒng)拓展到下1000種語言”的口頭匯報。

圖注：Sebastian Ruder在ACL 2022上現(xiàn)場做的匯報

在受邀演講中，作者除了介紹將NLP 系統(tǒng)擴展到下1000 種語言的三個其他挑戰(zhàn)，即計算效率、真實語料上的評估以及語言變種（如方言）之外，他還強調(diào)了多模態(tài)的重要性。多模態(tài)也是由Mona Diab宣布的ACL 2022D&I特別倡議“60-60通過本地化實現(xiàn)全球化”的核心。該計劃的重點是使計算語言學(xué)（CL）的研究能夠同時被60 種語言應(yīng)用，并且包括文本、語音、手語翻譯、隱藏式字幕和配音在內(nèi)的所有模態(tài)。該計劃的另一個有用方面是整理最常見的CL術(shù)語并將其翻譯成 60 種語言，而缺乏準確的科學(xué)術(shù)語表達對許多語言在CL的發(fā)展造成了障礙。

代表性不足的語言通常幾乎沒有可用的文本數(shù)據(jù)。兩個教程側(cè)重于將模型應(yīng)用于此類低資源語言種。（1）使用有限文本數(shù)據(jù)進行學(xué)習(xí)的教程討論了數(shù)據(jù)增強、半監(jiān)督學(xué)習(xí)和多語言應(yīng)用，而（2）使用預(yù)訓(xùn)練語言模型的零樣本和少樣本NLP教程涵蓋了提示、上下文學(xué)習(xí)、基于梯度的LM任務(wù)遷移等。

教程（1）：使用有限文本數(shù)據(jù)進行學(xué)習(xí)，一作為華人學(xué)者楊笛一

教程鏈接：https://github.com/diyiy/ACL2022_Limited_Data_Learning_Tutorial

教程（2）：零樣本、少樣本數(shù)據(jù)進行預(yù)訓(xùn)練

教程鏈接：https://github.com/allenai/acl2022-zerofewshot-tutorial

如何在不同語言中以最佳方式表示token是一個懸而未決的問題。一些工作采用了幾種新方法來克服這一挑戰(zhàn)。最佳語言洞察論文KinyaBERT利用了形態(tài)學(xué)分詞方法。類似地，霍夫曼等人[5]提出了一種方法，旨在在標記化（tokenization）過程中保留單詞的形態(tài)結(jié)構(gòu)。該算法通過確定詞匯表中最長的子字符串來標記一個單詞，然后在剩余的字符串上遞歸。

圖注：KinyaBERT模型結(jié)構(gòu)

Patil等人[6]并沒有選擇在多語言預(yù)訓(xùn)練數(shù)據(jù)中頻繁出現(xiàn)的子詞（這會使模型偏向于高資源語言），而是提出一種更偏向那些多種語言共享的子詞的方法。CANINE[7]和 ByT5[8]都完全取消了標記化，直接對字節(jié)進行操作。

通常情況下，語言不僅在言語形式上有所不同，而且在文化上也有差異，其中包括說話者的共同知識、價值觀和目標等。赫什科維奇等人[9]對——什么對于跨文化NLP的很重要——這一問題提供了一個很好的概述。舉例來說，考察一種特定文化下和時間有關(guān)的語言表達，例如早晨，在不同語言中它可能指的是不同時間。

圖注：不同文化語境下可能會變化的四個維度：言語形式、目標價值、共有知識和側(cè)重傳達的內(nèi)容

除了上述提到的文章，作者還羅列了他自己比較喜歡的文章：

1. 面向非洲語言的以非洲為中心的 NLP：我們在哪里以及我們可以去哪里。

文章討論了NLP對非洲語言的挑戰(zhàn)，并就如何應(yīng)對這些挑戰(zhàn)提出了切實可行的建議。它突出了語言現(xiàn)象（語調(diào)、元音和諧和連續(xù)動詞構(gòu)建）和非洲大陸的其他挑戰(zhàn)（識字率低、正字法不標準化、官方語境中缺乏語言使用）。

文章鏈接：https://aclanthology.org/2022.acl-long.265/

2. 質(zhì)量概覽：網(wǎng)絡(luò)爬取的多語言數(shù)據(jù)集的審查。

這篇論文剛出版時，作者就寫過它。文章對涵蓋 70 種語言的大規(guī)模多語言數(shù)據(jù)集進行了仔細審核，并發(fā)現(xiàn)了許多以前未被注意到的數(shù)據(jù)質(zhì)量問題。它強調(diào)了許多低資源語言數(shù)據(jù)集質(zhì)量低下，一些數(shù)據(jù)集的標記甚至完全是錯誤的。

文章鏈接：https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00447/109285/Quality-at-a-Glance-An-Audit-of-Web-Crawled

3. 多語言模型零樣本性能預(yù)測的多任務(wù)學(xué)習(xí)。

我們想知道模型的性能如何如果將它遷移到一種新語言，這可以有助于告知我們在新語言任務(wù)中需要多少訓(xùn)練數(shù)據(jù)。文章通過聯(lián)合學(xué)習(xí)預(yù)測跨多個任務(wù)的性能，使性能預(yù)測更加穩(wěn)健。這還可以分析在所有任務(wù)上，影響零樣本遷移的特征。

文章鏈接：https://aclanthology.org/2022.acl-long.374/

而以下則是作者參與的和這個領(lǐng)域相關(guān)的論文：

1. 一個國家，700多種語言：NLP對于印度尼西亞的代表性不足語言和方言的挑戰(zhàn)。

文章提供了對于印度尼西亞中的700多種語言在NLP上的挑戰(zhàn)的概覽（印度尼西亞是全世界語言多樣性方面第二多的國家）。這其中包含各種各樣的方言、說話風(fēng)格的差異、相互混合以及正字法的變化。作者們做出了實用性的建議，包括方言文本化，并將信息錄入到數(shù)據(jù)庫中。

文章鏈接：https://aclanthology.org/2022.acl-long.500/

2. 通過詞匯方面的適應(yīng)手段，將預(yù)訓(xùn)練模型拓展到上千種更多的語言。

作者分析了不同的利用雙語預(yù)料來為低資源語言訓(xùn)練合成數(shù)據(jù)的策略，并分析了如何把合成的數(shù)據(jù)和現(xiàn)有的數(shù)據(jù)結(jié)合（如果有的話）。文章結(jié)果發(fā)現(xiàn)，這要比直接翻譯合成的數(shù)據(jù)效果要好（針對這些低資源語言的神經(jīng)翻譯模型也往往做的不好）。

文章鏈接：https://aclanthology.org/2022.acl-long.61/

3. NLP研究的單維偏差：朝向一個多維NLP研究的探索。

這是一篇綜述反省性的文章，作者們定義一個稱作“單一角落”（Square one）的NLP原型研究趨勢，并通過檢驗461篇ACL‘21的做了口頭匯報的論文，發(fā)現(xiàn)現(xiàn)在的NLP盡管已經(jīng)超越了這一趨勢，卻還是存在研究維度單一的問題。他們發(fā)現(xiàn)幾乎70%的文章僅僅使用英語進行評估，幾乎40%的文章僅僅評估性能。僅僅6.3%的文章評估公正性、偏差等方向，以及僅6.1%的文章是“多維度”的，也就是他們在2個及以上的維度上都做了分析。

ACL’21文章研究內(nèi)容的分類可視化，聚集現(xiàn)象表明研究的單一性

論文地址：https://aclanthology.org/2022.findings-acl.184/

2

提示學(xué)習(xí)（Prompt）

提示學(xué)習(xí)是另一個受到廣泛關(guān)注的領(lǐng)域。最好的演示樣例是由清華大學(xué)開發(fā)的OpenPrompt，這是一個用于提示學(xué)習(xí)的開源框架，可以輕松定義模板和語言器（verbalizer），并將它們與預(yù)訓(xùn)練好的模型相適配。

圖注：OpenPrompt中與prompt相關(guān)的組件

一個常見的研究思路是將外部知識納入學(xué)習(xí)過程中。Shengding Hu[10]等人建議用知識庫中的單詞擴展語言器。Jiacheng Liu[11]等人先使用語言模型在少量樣本的設(shè)置中生成相關(guān)的知識陳述，然后使用第二個語言模型來回答常識性問題。我們還可以通過修改訓(xùn)練數(shù)據(jù)來整合額外的知識，例如，通過在實體之后插入元數(shù)據(jù)字符（例如，實體類型和描述）[12]。

其他論文則提出了一些適合于特定應(yīng)用的提示。Reif等人[13]提出一個可以處理帶有不同風(fēng)格例子的模型，用于風(fēng)格遷移；而 Tabasi 等人[14]使用語義相似性任務(wù)的相似性函數(shù)得到特殊符號[MASK]標記的詞嵌入。Narayan等人[15]則通過預(yù)測目標摘要之前的實體鏈來引導(dǎo)摘要模型（例如，“[ENTITYCHAIN] Frozen | Disney“），如下圖所示。Schick等人[16]用包含某個屬性的問題提示模型（例如，“上述文本是否包含威脅？”）以診斷模型生成的文本是否具有攻擊性。Ben-David等人[17]生成域名和域相關(guān)特征作為域適配的提示。

圖注：Narayan等人[16]則通過預(yù)測目標摘要之前的實體鏈來引導(dǎo)摘要模型

在和視覺相關(guān)的多模態(tài)設(shè)定中進行提示學(xué)習(xí)也受到了一些關(guān)注。Jin等人[18]分析了多樣的提示在少樣本學(xué)習(xí)設(shè)定中的影響。Haoyu Song等人[19]使用CLIP探討了視覺-語言領(lǐng)域下的小樣本學(xué)習(xí)。他們使用T5模型根據(jù)視覺問答的問題生成提示，并使用語言模型過濾掉不可能的答案。然后將提示與目標圖像配對，并使用 CLIP計算圖像-文本對齊分數(shù)。如下圖所示。

圖注：Haoyu Song等人[19]使用T5模型產(chǎn)生prompt，并用CLIP得到圖像文本匹配程度

最后，有幾篇論文試圖更好地理解提示學(xué)習(xí)。Mishra等人[20]探索重新構(gòu)建指令的不同方法，例如將復(fù)雜任務(wù)分解為幾個更簡單的任務(wù)或逐條列出指令。Lu等人[21]分析模型對少樣本順序的敏感性。由于沒有額外的開發(fā)數(shù)據(jù)就無法確定最佳排列，因此他們使用語言模型本身生成合成開發(fā)集，并通過熵確定最佳示例順序。

以下論文是與作者合作的與少樣本學(xué)習(xí)有關(guān)的工作：

• FewNLU：對少樣本自然語言理解的SOTA方法進行基準測試。

文章引入了一個評估框架，使小樣本評估更加可靠，包括新的數(shù)據(jù)拆分策略。我們在這個框架下重新評估了最先進的小樣本學(xué)習(xí)方法。我們觀察到某些方法的絕對和相對性能被高估了，并且某些方法的改進會隨著更大的預(yù)訓(xùn)練模型而降低，等等。

文章鏈接：https://aclanthology.org/2022.acl-long.38/

• 預(yù)訓(xùn)練語言模型中的記憶與泛化。

我們研究最先進的預(yù)訓(xùn)練模型的記憶和泛化行為。我們觀察到當(dāng)前模型甚至可以抵抗高度的標簽噪聲，并且訓(xùn)練可以分為三個不同的階段。我們還觀察到，預(yù)訓(xùn)練模型的遺忘比非預(yù)訓(xùn)練模型要少得多。最后，我們提出了一個擴展，以使模型對低頻模式更具魯棒性。

文章鏈接：https://aclanthology.org/2022.acl-long.521/

3

下一個大熱點

圖注：「下一個大熱點」（Next Big Ideas）會談現(xiàn)場

作者專門提到了他最喜歡的會議之一是Next Big Ideas，這是會議組織者開創(chuàng)的一種新形式。該會議的特色是高級研究人員對重要的研究方向提出了有見地的看法。

對作者而言，本次會議中突出的兩個主題是：結(jié)構(gòu)（structure）和模塊化（modularity）。研究人員強調(diào)需要提取和表示結(jié)構(gòu)化信息，例如關(guān)系、事件和敘述。他們還強調(diào)了思考這些是如何表示的重要性——通過人類定義和適當(dāng)模式的設(shè)計。許多主題需要處理多個相互依賴的任務(wù)，無論是故事理解、推理還是模式學(xué)習(xí)。這將需要多個模型或組件相互連接。（如果讀者想了解有關(guān)模塊化方法的更多信息，作者將在EMNLP 2022上介紹一個何NLP 模型的模塊化和參數(shù)高效微調(diào)的教程。）總的來說，這些研究提案勾勒了一個令人信服的愿景，即 NLP 模型以結(jié)構(gòu)化、多智能體的方式提取、表示和推理復(fù)雜的知識。

Heng Ji 在該會議開始時熱情地呼吁NLP模型有更多的結(jié)構(gòu)表示。她強調(diào)（從當(dāng)前的句子級和文檔級信息提?。┺D(zhuǎn)向語料庫級信息提取，并注意到從其他類型的文本，例如科學(xué)文章以及低資源語言，中提取關(guān)系和結(jié)構(gòu)。在多模態(tài)設(shè)定下，圖像和視頻可以轉(zhuǎn)換為視覺token，之后組織成結(jié)構(gòu)，并使用結(jié)構(gòu)化模板進行描述。提取的結(jié)構(gòu)可以進一步泛化為模式和事件模式。我們可以通過將結(jié)構(gòu)嵌入到預(yù)訓(xùn)練模型中來表示結(jié)構(gòu)，通過圖神經(jīng)網(wǎng)絡(luò)或通過全局約束對其進行編碼。

Mirella Lapata 討論了故事，以及我們?yōu)槭裁磻?yīng)該關(guān)注它們。故事有形式、結(jié)構(gòu)和反復(fù)出現(xiàn)的主題，這是自然語言理解（NLU）的核心。它們還與許多實際應(yīng)用相關(guān)，例如問答和摘要。為了處理故事，我們需要進行半監(jiān)督學(xué)習(xí)和訓(xùn)練模型，以便可以處理很長的輸入或者多個相互依賴的任務(wù)（例如建模角色、事件、時間性等）。這需要模塊化的模型以及在閉環(huán)包括人類協(xié)作。

Dan Roth 強調(diào)了基于NLU做出決策推理的重要性。鑒于推理過程的多樣性，這需要多個相互依賴的模型和確定一個與哪些模塊相關(guān)的規(guī)劃過程。我們還需要能夠推理時間和其他物理量。為此，我們需要能夠提取、上下文化（contextualize）和搜尋相關(guān)信息，并為推理過程提供解釋。為了監(jiān)督模型，我們可以使用附帶監(jiān)督，例如可比較的文本。

Thamar Solorio 討論了如何為世界上一半的多語言人口和經(jīng)常使用語言轉(zhuǎn)換的人口提供服務(wù)。相比之下，當(dāng)前的語言技術(shù)主要迎合單語使用者。通常使用語言轉(zhuǎn)換的非正式環(huán)境變得越來越重要，例如在聊天機器人、語音助手和社交媒體的背景下。她指出了諸如資源有限、對話數(shù)據(jù)中的“噪音”以及音譯數(shù)據(jù)問題等挑戰(zhàn)。我們還需要確定相關(guān)用途，因為語言轉(zhuǎn)換并非在所有 NLP 場景中都相關(guān)。最終，“我們需要能夠代表人們使用語言的實際方式的語言模型”。

Marco Baroni 專注于模塊化。他提出了一個研究愿景，即一個凍結(jié)的預(yù)訓(xùn)練網(wǎng)絡(luò)通過自主地相互交互來共同解決新任務(wù)。他建議模型應(yīng)該通過一個易于推廣的學(xué)習(xí)接口協(xié)議進行通信。

Eduard Hovy 敦促我們重新發(fā)現(xiàn)對表征和知識的需求。當(dāng)知識很少或從未出現(xiàn)在訓(xùn)練數(shù)據(jù)中時，例如隱式知識，模型不會自動學(xué)習(xí)到它。為了填補這些空白，我們需要定義一組我們關(guān)心的人類目標以及捕捉未說或?qū)⒁f的內(nèi)容的模式。這需要將學(xué)習(xí)的流程發(fā)展為一組相互關(guān)聯(lián)的流程，例如在大流行背景下患者、流行病學(xué)家和病原體的流程。同樣，為了捕捉群體中人們的角色，我們需要人為的定義和指導(dǎo)?？傮w而言，他鼓勵社區(qū)構(gòu)建可以被模型學(xué)習(xí)到的拓撲結(jié)構(gòu)。

最后，李航強調(diào)了符號推理的必要性。他為NLU提出了一種神經(jīng)符號架構(gòu)，該架構(gòu)結(jié)合了通過預(yù)訓(xùn)練模型進行的類比推理和通過符號組件進行的邏輯推理。

除了 Next Big Ideas會議外，會議還包括早期職業(yè)研究人員的演講。作者有幸與Eunsol Choi、Diyi Yang、Ryan Cotterell 和 Swabha Swayamdipta等優(yōu)秀的年輕研究人員一起發(fā)言。他希望未來的會議將繼續(xù)采用這些格式，并與其他人一起進行試驗，因為它們帶來了新的視角并為研究提供了更廣闊的視野。

4

語言和智能的暗物質(zhì)

圖注：Yejin Choi教授推測ACL 2082可能是什么樣的

Yejin Choi教授發(fā)表了一個鼓舞人心的主題演講。除此之外，這是我看到的第一個使用DALL-E 2來繪制幻燈片的演講。她通過類比物理學(xué)強調(diào)了 NLP 的三個重要研究領(lǐng)域：模糊性、推理和隱含信息。

在現(xiàn)代物理學(xué)中，更深入的理解往往會導(dǎo)致模糊性增加（例如，參見薛定諤的貓或波粒二象性）。Yejin同樣鼓勵A(yù)CL社區(qū)接受模糊性。過去，研究者往往不去做未達到高度注釋者間一致性的任務(wù)；同樣，在傳統(tǒng)的情感分析中，中性類經(jīng)常被丟棄。理解不能僅僅局限于簡單的類別。帶有注釋者意見偏見的語言模型和模棱兩可的例子提高了泛化能力。

與時空的概念相似，Yejin認為語言、知識和推理也不是獨立的領(lǐng)域，而是存在于一個連續(xù)統(tǒng)一體上。maieutic提示等推理方法[22]允許我們通過遞歸生成解釋來研究模型知識的連續(xù)性。

最后，類似于暗物質(zhì)在現(xiàn)代物理學(xué)中的核心作用，NLP 未來的研究應(yīng)該關(guān)注語言的“暗物質(zhì)”，即世界運作的潛規(guī)則，它影響人們使用語言的方式。我們應(yīng)該立志嘗試教給模型，例如默認規(guī)則、價值觀和目標。

Yejin坦率地總結(jié)了導(dǎo)致她成功的因素：謙虛、向他人學(xué)習(xí)、冒險；但也很幸運并在一個包容的環(huán)境中工作。

5

關(guān)于本次會議的體驗

圖注：都柏林會議中心，ACL 2022 的舉辦地

作者直言他非常喜歡面對面的會議體驗。會議期間有嚴格的戴口罩要求。唯一的問題是在全體會議和主題演講中出現(xiàn)了一些技術(shù)問題。

另一方面，作者也發(fā)現(xiàn)很難將面對面的會議體驗與虛擬會議體驗相協(xié)調(diào)。虛擬的海報會議往往與早餐或晚餐時間重疊，這使得參加會議變得困難。據(jù)我所知，許多虛擬海報會議的觀眾幾乎是空的。看來我們需要重新考慮如何在混合環(huán)境中進行虛擬海報會議。作為替代方案，在rocket.chat 或類似平臺中創(chuàng)建異步的每張貼者聊天室可能更有效，并且能夠設(shè)置即興視頻通話以進行更深入的對話。

作者對于有合理數(shù)量的虛擬參與者的口頭報告和研討會的體驗也很喜歡。他也特別感謝能夠多次觀看的主題演講和其他受邀演講的錄音和視頻。

參考鏈接：

https://ruder.io/acl2022/

參考文獻：

[1] Phone-ing it in: Towards Flexible Multi-Modal Language Model Training by Phonetic Representations of Data. https://aclanthology.org/2022.acl-long.364/

[2] Language-Agnostic Meta-Learning for Low-Resource Text-to-Speech with Articulatory Features. https://aclanthology.org/2022.acl-long.472/

[3] Searching for fingerspelled content in American Sign Language. https://aclanthology.org/2022.acl-long.119/

[4] Automatic Song Translation for Tonal Languages. https://aclanthology.org/2022.findings-acl.60/

[5] An Embarrassingly Simple Method to Mitigate Undesirable Properties of Pretrained Language Model Tokenizers. https://aclanthology.org/2022.acl-short.43/

[6] Overlap-based Vocabulary Generation Improves Cross-lingual Transfer Among Related Languages. https://aclanthology.org/2022.acl-long.18/

[7] Canine: Pre-training an Efficient Tokenization-Free Encoder for Language Representation. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00448/109284/Canine-Pre-training-an-Efficient-Tokenization-Free

[8] ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00461/110049/ByT5-Towards-a-Token-Free-Future-with-Pre-trained

[9] Challenges and Strategies in Cross-Cultural NLP. https://aclanthology.org/2022.acl-long.482/

[10] Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification. https://aclanthology.org/2022.acl-long.158/

[11] Generated Knowledge Prompting for Commonsense Reasoning. https://aclanthology.org/2022.acl-long.225/

[12] Metadata Shaping: A Simple Approach for Knowledge-Enhanced Language Models. https://aclanthology.org/2022.findings-acl.137/

[13] A Recipe for Arbitrary Text Style Transfer with Large Language Models. https://aclanthology.org/2022.acl-short.94/

[14] Exploiting Language Model Prompts Using Similarity Measures: A Case Study on the Word-in-Context Task. https://aclanthology.org/2022.acl-short.36/

[15] Planning with Learned Entity Prompts for Abstractive Summarization. https://aclanthology.org/2021.tacl-1.88/

[16] Self-Diagnosis and Self-Debiasing: A Proposal for Reducing Corpus-Based Bias in NLP. https://arxiv.org/abs/2103.00453

[17] PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains. https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00468/110538/PADA-Example-based-Prompt-Learning-for-on-the-fly

[18] A Good Prompt Is Worth Millions of Parameters: Low-resource Prompt-based Learning for Vision-Language Models. https://aclanthology.org/2022.acl-long.197/

[19] CLIP Models are Few-Shot Learners: Empirical Studies on VQA and Visual Entailment. https://aclanthology.org/2022.acl-long.421/

[20] Reframing Instructional Prompts to GPTk’s Language. https://aclanthology.org/2022.findings-acl.50/

[21] Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. https://aclanthology.org/2022.acl-long.556/

[22] Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations. https://arxiv.org/abs/2205.11822

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。