0
本文作者: 我在思考中 | 2022-05-26 10:38 | 專題:ACL 2019 |
作者|王玥
ACL 2022官方發(fā)布消息稱,清華大學(xué)自然語言處理與社會人文計算實驗室獲得ACL 2022最佳演示論文獎(Best Demo Paper Award)。
該獎項是ACL系列會議對System Demonstration論文授予的最佳論文獎項,每屆會議基于評審人員評估的系統(tǒng)貢獻度、完成度、影響力及會議演示綜合效果的綜合評價評選出一篇獲獎?wù)撐摹?/span>
圖注:ACL 2022 官網(wǎng)宣布獎項頁面
據(jù)悉,清華NLP此次獲獎的論文題為“OpenPrompt:一種用于提示學(xué)習(xí)的開源框架(OpenPrompt: An Open-source Framework for Prompt-learning)”。作者為丁寧*,胡聲鼎*,趙威霖*,陳雨琳,劉知遠,鄭海濤,孫茂松(*代表共同第一作者)。
論文地址:https://arxiv.org/abs/2111.01998
該篇論文提出了OpenPrompt,這是一個統(tǒng)一的易于使用的提示學(xué)習(xí)(Prompt-learning)編程工具包。
圖注:OpenPrompt的總體架構(gòu)
提示學(xué)習(xí)是現(xiàn)代自然語言處理驅(qū)動預(yù)訓(xùn)練語言模型的新范式,提示學(xué)習(xí)通過插入額外的上下文和標簽映射,直接將下游任務(wù)組織成模型的預(yù)訓(xùn)練任務(wù)(如Masked Language Model)來進行訓(xùn)練,在多種NLP任務(wù)上取得了很好的表現(xiàn)。
然而,目前尚且沒有一套針對提示學(xué)習(xí)的編程框架,現(xiàn)有的提示學(xué)習(xí)代碼庫往往在傳統(tǒng)的微調(diào)范式下做出改動,只為特定場景提供有限的實現(xiàn)。由于提示學(xué)習(xí)是預(yù)訓(xùn)練任務(wù)與模型、NLP下游任務(wù)、先驗知識的綜合過程,在實現(xiàn)中往往需要考慮很多細節(jié),如模板(Template)和標簽(Verbalizer)映射生成策略等等,這些細節(jié)問題在實踐中可能會給編程者帶來諸多障礙。
這篇文章提出了OpenPrompt。據(jù)介紹,它具有高效、模塊化和可擴展性的特點,同時其可組合性允許使用者在一個統(tǒng)一的范式中自由組合不同的預(yù)訓(xùn)練模型、任務(wù)形式和提示模塊。使用者可以方便地部署提示學(xué)習(xí)框架,并不受限制地評估它們在不同的NLP任務(wù)和模型上的通用性。OpenPrompt在GitHub上已開源,目前已收到約1500顆星標,受到了業(yè)界的關(guān)注和認可。
清華大學(xué)計算機系自然語言處理與社會人文計算實驗室(THUNLP)成立于20世紀70年代末,最初在黃昌寧教授的帶領(lǐng)下從事中文信息處理方面的研究工作,是國內(nèi)開展自然語言處理研究最早、深具影響力的科研單位。
THUNLP 實驗室學(xué)術(shù)帶頭人為孫茂松教授。據(jù)清華大學(xué)官網(wǎng)介紹,孫茂松教授為清華大學(xué)計算機系教授,清華大學(xué)人工智能研究院常務(wù)副院長及博士生導(dǎo)師。他的主要研究領(lǐng)域為自然語言處理、互聯(lián)網(wǎng)智能、機器學(xué)習(xí)、社會計算和計算教育學(xué)。
圖為孫茂松教授
孫茂松教授在國際刊物、會議及國內(nèi)核心刊物上發(fā)表多篇論文,Google Scholar總引用數(shù)約2,4300次。
THUNLP的亮點工作,要屬孫茂松教授帶領(lǐng)的THUAIPoet團隊研發(fā)的“九歌”中文詩歌自動生成系統(tǒng)。“九歌”支持集句詩、絕句、藏頭詩、詞等不同體裁詩歌的在線生成。作為目前最有影響的詩歌生成系統(tǒng)之一,“九歌”曾于2017年登上央視一套大型科技類挑戰(zhàn)節(jié)目《機智過人》第一季的舞臺,與當(dāng)代優(yōu)秀青年詩人同臺競技比拼詩詞創(chuàng)作。
圖注:“九歌”工作界面
2017年上線至今,“九歌”已累計為用戶創(chuàng)作超過700萬首詩詞,并于全國計算語言學(xué)學(xué)術(shù)會議(CCL)榮獲最佳論文獎(2018)和兩次最佳系統(tǒng)展示獎(2017, 2019)。
THUNLP實驗室瞄準以中文為核心的自然語言處理前沿課題,在中文信息處理、機器翻譯、社會計算、智慧教育和知識圖譜等方面開展系統(tǒng)深入的研究,不僅手握“九歌”這樣的亮點工作,更取得了一系列有世界影響力的原創(chuàng)成果,培養(yǎng)了一批人工智能優(yōu)秀人才,在國內(nèi)外具有較大的學(xué)術(shù)影響。
參考鏈接:
https://www.2022.aclweb.org/
https://www.2022.aclweb.org/best-demo-paper-award
http://114.215.64.60:8094/site2/index.php/en
https://www.cs.tsinghua.edu.cn/info/1121/3554.htm
https://openhownet.thunlp.org/about_thunlp
https://scholar.google.com/citations?user=zIgT0HMAAAAJ&hl=en
雷峰網(wǎng)(公眾號:雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。