AI科技評論按：2020年9月6日，中國計算機(jī)學(xué)會自然語言處理專業(yè)委員會（CCF-NLP）發(fā)起、聯(lián)合AI研習(xí)社及各個知名高校開展的“CCF-NLP走進(jìn)高?！毕盗懈咝LP研究分享報告會——華南理工大學(xué)站，通過線上直播的方式進(jìn)行。
本期報告會邀請了華為諾亞方舟實(shí)驗(yàn)室首席科學(xué)家劉群、北京大學(xué)王選計算機(jī)研究所研究員&博士生導(dǎo)師趙東巖、天津大學(xué)張梅山副教授三位特邀報告嘉賓，北京大學(xué)語言計算與互聯(lián)網(wǎng)挖掘研究室負(fù)責(zé)人&自然語言處理專業(yè)委員會秘書長萬小軍教授和西湖大學(xué)特聘研究員張?jiān)澜淌?/span>主持了本次報告會。在本次報告會上，專家們圍繞預(yù)訓(xùn)練語言模型、跨語言遷移學(xué)習(xí)做了精彩報告，在AI研習(xí)社、Bilibili等平臺上觀看的用戶合計4.2萬人次，報告會反響熱烈。此外，本次活動?xùn)|道主華南理工大學(xué)組織了部分學(xué)生進(jìn)行了線下報告聽講交流。
自然語言處理專業(yè)委員會主任、蘇州大學(xué)NLP帶頭人周國棟教授作為開場嘉賓分別作了開場介紹。周國棟教授首先對組織者的準(zhǔn)備以及報告嘉賓的到來表示熱烈的歡迎和衷心的感謝，并指出，以自然語言處理為代表的人工智能技術(shù)受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，第一期CCF-NLP走進(jìn)高校報告會在華南理工大學(xué)召開，可謂正當(dāng)其時、恰逢其勢。隨后，另一位開場嘉賓、東道主華南理工大學(xué)蔡毅教授也介紹了華南理工大學(xué)及其團(tuán)隊(duì)在NLP領(lǐng)域的研究情況。
接下來的報告環(huán)節(jié)中首先進(jìn)行分享的是華為諾亞方舟實(shí)驗(yàn)室首席科學(xué)家劉群，報告題目為《預(yù)訓(xùn)練語言模型研究進(jìn)展》。
劉群老師介紹了預(yù)訓(xùn)練語言模型的發(fā)展歷程，并結(jié)合諾亞方舟開發(fā)自研的預(yù)訓(xùn)練語言模型哪吒（NEZHA）的技術(shù)特色介紹了諾亞方舟實(shí)驗(yàn)室的中文預(yù)訓(xùn)練語言模型的具體工作，包括用概率掩碼的預(yù)訓(xùn)練語言模型同時實(shí)現(xiàn)自然語言的理解和任意詞序的生成；通過擾動掩碼實(shí)現(xiàn)基于BERT的無監(jiān)督句法分析；兩個模型壓縮的工作TinyBERT（預(yù)訓(xùn)練語言模型的極限壓縮）和DynaBERT（動態(tài)可伸縮的預(yù)訓(xùn)練語言模型）。在報告結(jié)束后劉群老師還就聽眾提出的常規(guī)方法研究的前景、掩碼概率的調(diào)節(jié)、預(yù)訓(xùn)練模型在自然語言推斷（NLI）任務(wù)方面的效果、大模型中間層蒸餾的效果等問題進(jìn)行了解答。（具體分享內(nèi)容可進(jìn)入文末報告會視頻回放頁面進(jìn)行了解）
在劉群老師之后，北京大學(xué)王選計算機(jī)研究所研究員，博士生導(dǎo)師趙東巖進(jìn)行了題為《基于知識的文本語義理解與文本生成》的報告。報告共分為三個部分進(jìn)行，分別是知識圖譜的研究背景、基于知識的文本語義理解與生成及應(yīng)用實(shí)例。趙東巖教授從類人智能研究動態(tài)開始，引出基于知識圖譜的語義理解技術(shù)與研究工作，進(jìn)而講解基于知識圖譜的智能應(yīng)用，并重點(diǎn)介紹了知識圖譜的動態(tài)構(gòu)建、事件抽取、新聞事件觸發(fā)的知識更新、知識圖譜的融合并探討了如何基于知識圖譜理解語義，進(jìn)而實(shí)現(xiàn)智能問答等智能應(yīng)用的理論方法和技術(shù)路線，最后介紹了北京大學(xué)王選計算機(jī)研究所在這個研究方向上的具體進(jìn)展，包括高考因果類問題解答、融合多種知識資源的事實(shí)類問題求解和智能投資助手等。在問答環(huán)節(jié)，趙東巖教授也回答了聽眾關(guān)于構(gòu)建常識性的知識圖譜的方法、結(jié)合多模態(tài)的知識對知識圖譜進(jìn)行擴(kuò)展等問題，用多模態(tài)信息來獲取知識并輔助解決“雞兔同籠”等傳統(tǒng)方法難以解決問題的例子也給聽眾留下了深刻印象。最后一位進(jìn)行報告的天津大學(xué)張梅山副教授的報告主題為《基于翻譯的無監(jiān)督跨語言遷移學(xué)習(xí)》。
跨語言遷移學(xué)習(xí)是解決資源稀缺語言自然語言處理的一個非常有效的方法，對于某個特定的任務(wù)，我們假定在例如英語這種資源豐富語言上存在一定規(guī)模的標(biāo)注語料，然后輔助一個機(jī)器翻譯系統(tǒng)，便可以為目標(biāo)語言提供自動構(gòu)建的訓(xùn)練語料，從而指導(dǎo)目標(biāo)資源稀缺語言的模型訓(xùn)練。在報告中，張梅山副教授介紹了兩個任務(wù)的相關(guān)工作，分別針對依存句法分析和語義角色標(biāo)注，調(diào)研基于翻譯的方法在這兩個任務(wù)上面的有效性。
最后，萬小軍教授進(jìn)行了活動總結(jié)，并再次向參加活動的各位專家學(xué)者表示感謝，并期待更多的專家、老師和同學(xué)能關(guān)注NLP領(lǐng)域的進(jìn)展。此后還將會有更多的高校加入CCF -NLP走進(jìn)高校系列活動，第二場分享會已定于9月27日，走進(jìn)鄭州大學(xué)，更多分享會信息請持續(xù)關(guān)注AI科技評論。中國計算機(jī)學(xué)會自然語言處理專委會（CCF-NLP）1987年10月成立, 專委會成立之初即確定了“中國語言文字處理的計算機(jī)系統(tǒng)”和“以計算機(jī)為工具研究語言文字處理技術(shù)”兩個主要研究方向，主要包括（或涉及）中國各民族語言文字的自然語言處理、機(jī)器翻譯、信息抽取、數(shù)據(jù)挖掘、信息檢索、智能問答、語音識別與合成、社會網(wǎng)絡(luò)計算等眾多學(xué)術(shù)領(lǐng)域，以及中文計算，即中國語言文字處理的應(yīng)用技術(shù)領(lǐng)域。專委會致力于團(tuán)結(jié)、聯(lián)合、組織中文信息技術(shù)相關(guān)領(lǐng)域的各界專業(yè)人士，開展學(xué)術(shù)/技術(shù)交流、發(fā)展戰(zhàn)略研究、專業(yè)技術(shù)標(biāo)準(zhǔn)制定、專業(yè)技術(shù)評測、專業(yè)培訓(xùn)等相關(guān)活動，提高中文信息技術(shù)領(lǐng)域的科研、教學(xué)、應(yīng)用水平，促進(jìn)研究成果的應(yīng)用和向產(chǎn)品的轉(zhuǎn)化，提升在國家科技活動和國際學(xué)術(shù)方面的影響力。為了促進(jìn)更多師生對自然語言處理前沿進(jìn)展的了解，幫助在校計算機(jī)及相關(guān)專業(yè)大學(xué)生成長和發(fā)展，CCF-NLP致力于讓領(lǐng)域內(nèi)的權(quán)威大牛們走進(jìn)更多的高校，與師生進(jìn)行溝通和交流。這是成為我國NLP領(lǐng)域發(fā)展的迫切需求。自然語言處理專委會為此將舉辦一系列 CCF -NLP走進(jìn)高校系列活動。CCF-NLP后續(xù)還將與更多高校合作，繼續(xù)召開一系列的“走進(jìn)高?！狈窒砘顒樱M(jìn)一步促進(jìn)各高校之間的學(xué)術(shù)交流，推動科研合作發(fā)展，為 NLP 的研究添磚加瓦。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
