0
| 本文作者： 任平 | 2021-09-22 17:20 |
周杰倫三詞作曲，曹植七步成詩(shī)。近年來，約束文本生成任務(wù)越來越引起人們的興趣，該任務(wù)涉及在某些前提條件下構(gòu)造自然語(yǔ)言輸出，
最新消息，華人學(xué)者Steven Y. Feng與四位學(xué)者Jessica Huynh, Chaitanya Narisetty,
Eduard Hovy and Varun Gangal共同發(fā)表的題為SAPPHIIRE: Approaches for Enhanced Concept-to-Text Generation（SAPPHIRE：增強(qiáng)從概念到文本生成的方法）的研究論文獲得了2021年INLG的最佳長(zhǎng)論文獎(jiǎng)！
今晚，論文作者Steven Y. Feng將作為代表出席第14屆INLG會(huì)議，線上分享自然語(yǔ)言生成的團(tuán)隊(duì)研究。
INLG（International Conference on Natural Language Generation ）旨在討論和傳播自然語(yǔ)言生成領(lǐng)域的進(jìn)步，今年，會(huì)議于9月20日至24日在蘇格蘭阿伯丁舉行，與會(huì)者將在虛擬會(huì)議上介紹他們的研究。
除了世界級(jí)的研究報(bào)告外，今年的會(huì)議還將包括研討會(huì)、教程、受邀專家的講座和一個(gè)討論小組：用戶希望從現(xiàn)實(shí)世界的NLG中獲得什么。小組討論將由目前在計(jì)算機(jī)學(xué)習(xí)、NLG 和認(rèn)知 AI 助手行業(yè)工作的學(xué)者領(lǐng)導(dǎo)。
雖然自然語(yǔ)言生成已經(jīng)建立了70多年，但將其視為業(yè)務(wù)的基礎(chǔ)技術(shù)卻是在近些年。Gartner 等分析公司最近已認(rèn)識(shí)到 NLG 是一種核心能力，同時(shí)INLG也表明，會(huì)議現(xiàn)已從一個(gè)利基學(xué)術(shù)團(tuán)體走向?qū)W術(shù)和商業(yè)領(lǐng)域融合的廣闊領(lǐng)域。
Steven Y. Feng，現(xiàn)為卡耐基梅隆大學(xué)（CMU）研究生，對(duì)NLP、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能研究有豐富的經(jīng)驗(yàn)和熱情。
個(gè)人主頁(yè)：https://mobile.twitter.com/stevenyfeng
論文地址：tinyurl.com/sapphirelNLG
論文作者表示，人類能夠從常識(shí)推理，甚至反演，這種能力可以定義為從一組概念生成邏輯句子來描述日常場(chǎng)景，在這種情況下，這些概念是必須以某種形式在輸出文本中表示的單個(gè)單詞。
因此，作者提出了一套簡(jiǎn)單而有效的概念到文本生成改進(jìn)方案，稱為SAPPHIRE: 集增強(qiáng)和短語(yǔ)填充、重組。具體來說，SAPPHIRE由兩種主要方法組成:
1)增加輸入概念集
2)將從baseline中提取的短語(yǔ)重組成更流暢、更有邏輯的文本。這些主要是與模型無關(guān)的（model-agnostic）改進(jìn)，分別依賴于數(shù)據(jù)本身和模型自己的初始代。
通過使用BART和T5模型的實(shí)驗(yàn)，他們證明了這兩種模型在生成性常識(shí)推理，即CommonGen任務(wù)上的有效性。通過廣泛的自動(dòng)和人工評(píng)估，我們發(fā)現(xiàn)SAPPHIRE顯著提高了模型性能。深入的定性分析表明，SAPPHIRE有效地解決了基線模型生成的許多問題，包括缺乏常識(shí)、不夠具體和流利性差等問題。
6種語(yǔ)言生成模型的對(duì)比
以上幾種NLG模型對(duì)比揭示了baseline的幾個(gè)問題：
1）概念覆蓋率與概念集大小密切相關(guān)，隨著大小的增加，遺漏概念的概率更高
2）許多只是不完整的短語(yǔ)
3）遲鈍反應(yīng)問題
Baseline和人工的對(duì)比
如何解決BL模型的固有問題，近年來，隨著模型改進(jìn)的研究取得了很大的進(jìn)展，許多文本生成任務(wù)的性能得到了顯著改善。
在馮團(tuán)隊(duì)中，他們?cè)O(shè)計(jì)了兩步走戰(zhàn)略：通過提取關(guān)鍵字和注意矩陣，在訓(xùn)練期間從參考文獻(xiàn)中擴(kuò)充概念。對(duì)于短語(yǔ)重組直覺，提出了基于新訓(xùn)練階段和掩蔽填充的兩個(gè)方法。最后，通過綜合評(píng)估，他們展示了SAPPHIRE是如何通過各種指標(biāo)提高模型性能，以及解決baseline在常識(shí)、特異性和流暢性方面的問題。
他們的第一個(gè)方法：Kw-aug和Att-aug，分別在訓(xùn)練現(xiàn)成的關(guān)鍵字提取模型注意值時(shí)，從參考文獻(xiàn)中提取關(guān)鍵字，使用它們?cè)谟?xùn)練時(shí)擴(kuò)展輸入概念集。（通過動(dòng)作聯(lián)想場(chǎng)景，通過名詞聯(lián)想動(dòng)作，也就是由名詞擴(kuò)增動(dòng)詞，由動(dòng)詞擴(kuò)增狀語(yǔ)等）
概念擴(kuò)增
概念擴(kuò)增的方法激發(fā)了Steven Y. Feng五人的想象力，是否有簡(jiǎn)單有效的方法可以從數(shù)據(jù)本身來提高這些自然語(yǔ)言生成的性能? 此外，是否有可能利用這些模型本身的輸出來進(jìn)一步提高它們的任務(wù)表現(xiàn)——某種"自我反省"?
在第二種方法中，他們從模型輸出中提取非重疊的關(guān)鍵短語(yǔ)，然后構(gòu)建一個(gè)新的概念集，其中包含這些關(guān)鍵短語(yǔ)和原始概念集中的其他非重疊概念。
也就是說，從原有的低端模型中輸出“不那么流暢的句子”，然后提取新句子中的關(guān)鍵詞，再根據(jù)新的關(guān)鍵詞“擴(kuò)增概念”。多次迭代，就能從相似逼近到精確。
如此，機(jī)器完成一輪“自我啟發(fā)”，雖然并不算是自然語(yǔ)言范疇的“藝術(shù)創(chuàng)作”，卻在實(shí)驗(yàn)中貫穿了形象思維與抽象思維經(jīng)過復(fù)雜的辯證關(guān)系構(gòu)成的思維方式。想象與聯(lián)想，靈感與直覺，理智與情感，意識(shí)與無意識(shí)，它們?cè)谖磥砟芊窨ǘㄔ诓煌南蛄繄D中，建模、量化，或許一問出口，便已有知。
參考資料：
https://twitter.com/stevenyfeng/status/1440330270058500102
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
