作者 | 吳彤

編輯 | 青暮

周杰倫三詞作曲，曹植七步成詩。近年來，約束文本生成任務(wù)（在特定前提條件下生成自然語言輸出）引起越來越多人的興趣。

最新消息，華人學(xué)者 Steven Y. Feng 與四位學(xué)者Jessica Huynh、Chaitanya Narisetty、Eduard Hovy與Varun Gangal 共同發(fā)表的題為“SAPPHIIRE: Approaches for Enhanced Concept-to-Text Generation”的研究論文獲得了2021年 INLG 的最佳長論文獎！

今晚，論文作者 Steven Y. Feng 將作為代表出席第14屆INLG會議，線上分享自然語言生成的團(tuán)隊(duì)研究。

INLG（International Conference on Natural Language Generation ）始于1980年代，旨在討論和傳播自然語言生成領(lǐng)域的突破性成果。今年，會議于9月20日至24日在蘇格蘭阿伯丁舉行，與會者會通過虛擬會議介紹他們的研究。

除了世界級的研究報(bào)告外，今年的會議還包括研討會、學(xué)習(xí)教程、受邀專家的講座和一個(gè)討論小組（討論題目為“用戶希望從NLG的現(xiàn)實(shí)應(yīng)用中獲得什么”）。小組討論由目前在計(jì)算機(jī)學(xué)習(xí)、NLG 和認(rèn)知 AI 輔助行業(yè)任職的權(quán)威學(xué)者領(lǐng)導(dǎo)。

雖然自然語言生成（NLG）的研究已經(jīng)持續(xù)了70多年，但旨在將NLG落地的基礎(chǔ)技術(shù)卻是在近些年才出現(xiàn)。最近，越來越多學(xué)術(shù)界與產(chǎn)業(yè)界的資深人員也已認(rèn)識到 NLG 是一種核心能力。INLG也稱，會議現(xiàn)已從小眾的專業(yè)學(xué)術(shù)組織發(fā)展成了一個(gè)產(chǎn)學(xué)研相結(jié)合的國際性學(xué)術(shù)交流平臺。

1

獲獎學(xué)者介紹

Steven Y. Feng，現(xiàn)為卡耐基梅隆大學(xué)（CMU）研究生，對NLP、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能研究有著豐富的經(jīng)驗(yàn)和極高的研究熱情。

個(gè)人主頁：https://mobile.twitter.com/stevenyfeng

2

獲獎?wù)撐?/strong>

論文地址：tinyurl.com/sapphirelNLG

人類能夠從常識推理，甚至反演，這種能力可以定義為從一組概念生成邏輯句子來描述日常場景。在這種情況下，這些概念是必須以某種形式在輸出文本中表示的單個(gè)單詞。

因此，論文作者提出了一套簡單而有效的概念到文本生成改進(jìn)方案，稱為“SAPPHIRE”。具體來說，SAPPHIRE由兩種主要方法組成：

1）增加輸入概念集

2）將從baseline中提取的短語重組成更流暢、更有邏輯的文本。這些主要是與模型無關(guān)的（model-agnostic）改進(jìn)，分別依賴于數(shù)據(jù)本身和模型自己的初始代。

通過使用BART和T5模型的實(shí)驗(yàn)，他們證明了這兩種模型在CommonGen任務(wù)上的有效性。通過廣泛的自動和人工評估，SAPPHIRE能顯著提高模型的性能。深入的定性分析表明，SAPPHIRE有效地解決了基線模型生成的許多問題，包括缺乏常識、不夠具體和流利性差等問題。

3

研究內(nèi)容

6種語言生成模型的對比

以上幾種NLG模型對比揭示了baseline的幾個(gè)問題：

1）概念覆蓋率與概念集大小密切相關(guān)，概念集越大，概念的覆蓋率越低，即遺漏概念的概率越高

2）許多短語不完整

3）反應(yīng)遲鈍

Baseline和人工的對比

如何解決BL模型的固有問題？近年來，隨著模型改進(jìn)的研究取得了重大進(jìn)展，許多文本生成任務(wù)的性能也得到了顯著改善。

在獲獎團(tuán)隊(duì)中，他們設(shè)計(jì)了兩步走戰(zhàn)略：通過提取關(guān)鍵字和注意矩陣，在訓(xùn)練期間從參考文獻(xiàn)中擴(kuò)充概念。對于短語重組直覺，他們提出了基于新訓(xùn)練階段和掩蔽填充的兩個(gè)方法。最后，通過綜合評估，他們展示了SAPPHIRE是如何通過各種指標(biāo)提高模型性能，以及解決baseline在常識、特異性和流暢性方面的問題。

他們的第一個(gè)方法：Kw-aug和Att-aug，分別在訓(xùn)練現(xiàn)成的關(guān)鍵字提取模型注意值時(shí)，從參考文獻(xiàn)中提取關(guān)鍵字，使用它們在訓(xùn)練時(shí)擴(kuò)展輸入概念集。（通過動作聯(lián)想場景，通過名詞聯(lián)想動作，也就是由名詞擴(kuò)增動詞，由動詞擴(kuò)增狀語等）

概念擴(kuò)增

概念擴(kuò)增的方法激發(fā)了Steven Y. Feng五人的想象力：是否有簡單有效的方法可以從數(shù)據(jù)本身來提高這些自然語言生成的性能? 此外，是否有可能利用這些模型本身的輸出來進(jìn)一步提高它們的任務(wù)表現(xiàn)——某種"自我反省"?

在第二種方法中，他們從模型輸出中提取非重疊的關(guān)鍵短語，然后構(gòu)建一個(gè)新的概念集，其中包含這些關(guān)鍵短語和原始概念集中的其他非重疊概念。

也就是說，從原有的低端模型中輸出“不那么流暢的句子”，然后提取新句子中的關(guān)鍵詞，再根據(jù)新的關(guān)鍵詞“擴(kuò)增概念”。多次迭代，就能從相似逼近到精確。

如此，機(jī)器完成一輪“自我啟發(fā)”，雖然并不算是自然語言范疇的“藝術(shù)創(chuàng)作”，卻在實(shí)驗(yàn)中貫穿了形象思維與抽象思維經(jīng)過復(fù)雜的辯證關(guān)系構(gòu)成的思維方式。想象與聯(lián)想，靈感與直覺，理智與情感，意識與無意識，它們在未來能否卡定在不同的向量圖中，建模、量化，或許一問出口，便已有知。

參考資料：

https://twitter.com/stevenyfeng/status/1440330270058500102

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。