作者 | 青 暮、陳大鑫

編輯 | 蔣寶尚

作為ACL和ISCA所屬的關(guān)于對(duì)話系統(tǒng)的興趣小組的年度會(huì)議，SIGDIAL 2020已經(jīng)開幕。其中，清華COAI小組拿到了SIGDIAL2020最佳論文。

這篇論文的第一作者是清華大學(xué)研二學(xué)生高信龍一，論文的題目是《Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation》。中文譯為《你的目標(biāo)導(dǎo)向型對(duì)話模式表現(xiàn)得很好嗎？系統(tǒng)評(píng)價(jià)的實(shí)證分析》。

近年來(lái)，目標(biāo)（任務(wù)）導(dǎo)向型對(duì)話系統(tǒng)引起許多研究者的關(guān)注。一個(gè)目標(biāo)型對(duì)話系統(tǒng)可包括多個(gè)模塊，例如一個(gè)傳統(tǒng)的流水線模型包括語(yǔ)言理解、狀態(tài)追蹤、對(duì)話策略、語(yǔ)言生成四個(gè)模塊，而各個(gè)模塊均有大量的新算法和模型被提出。

然而，大部分工作忽視了去評(píng)價(jià)一個(gè)完整的對(duì)話系統(tǒng)的性能。這些新算法基本只在相應(yīng)模塊內(nèi)進(jìn)行比較驗(yàn)證，而沒有評(píng)估該算法嵌入一個(gè)對(duì)話系統(tǒng)中的表現(xiàn)。根據(jù)細(xì)粒度和具體模型不同，各個(gè)模塊和模型之間可以有多種拼接方式組成一個(gè)對(duì)話系統(tǒng)。

此外，模塊內(nèi)的評(píng)價(jià)基本只是在單論對(duì)話的設(shè)定下進(jìn)行，而一個(gè)完整的對(duì)話應(yīng)當(dāng)由系統(tǒng)和用戶進(jìn)行多輪交互達(dá)成的。故在論文中，作者嘗試比較了不同模塊、不同細(xì)粒度、不同配置下各個(gè)目標(biāo)導(dǎo)向型對(duì)話系統(tǒng)，以作系統(tǒng)級(jí)的性能評(píng)估。搭建完的對(duì)話系統(tǒng)通過與模擬用戶或真實(shí)用戶進(jìn)行多輪對(duì)話交互，并使用對(duì)話級(jí)別的評(píng)價(jià)指標(biāo)進(jìn)行實(shí)驗(yàn)。

據(jù)清華大學(xué)黃民烈教授介紹到，論文的二作是同組的朱祺博士，此外還得到了微軟合作者和朱老師的支持。。論文視頻介紹?

注：SIGDIAL為學(xué)術(shù)界和行業(yè)研究人員提供定期的論壇，介紹話語(yǔ)和對(duì)話領(lǐng)域的前沿研究。該會(huì)議由SIGdial組織贊助，該組織屬于ACL和ISCA的話語(yǔ)和對(duì)話特別興趣小組。具體來(lái)說(shuō)，SIGDIAL接收正式的、基于語(yǔ)料庫(kù)的、實(shí)現(xiàn)、實(shí)驗(yàn)或分析性工作，包括但不限于以下主題：話語(yǔ)處理、對(duì)話系統(tǒng)、語(yǔ)料庫(kù)、工具、方法論、語(yǔ)用和/或語(yǔ)義建模、對(duì)話與話語(yǔ)處理技術(shù)的應(yīng)用。

1

論文簡(jiǎn)要介紹

面向目標(biāo)的智能對(duì)話系統(tǒng)通常需要多個(gè)回合的對(duì)話完成用戶要求的復(fù)雜任務(wù)。

與開放域?qū)υ捪到y(tǒng)不同，面向目標(biāo)的對(duì)話系統(tǒng)可以訪問外部數(shù)據(jù)庫(kù)，在該數(shù)據(jù)庫(kù)上向復(fù)雜任務(wù)的用戶查詢信息。

面向目標(biāo)的對(duì)話系統(tǒng)可以分為三類，基于它們的體系結(jié)構(gòu)，如下圖所示。

第一類是pipeline（或模塊化）系統(tǒng)，通常由四個(gè)部分組成：自然語(yǔ)言理解（NLU）、對(duì)話狀態(tài)跟蹤（DST）、對(duì)話策略（Policy）和自然語(yǔ)言生成（NLG）。

第二類是端到端（或統(tǒng)一）系統(tǒng)，直接從對(duì)話歷史中生成系統(tǒng)響應(yīng)。

第三類介于上述兩種類型之間，有些系統(tǒng)使用結(jié)合了四種對(duì)話框組件中的某些（但不是全部）的運(yùn)動(dòng)類型模型。（例如，聯(lián)合詞級(jí)DST模型結(jié)合了NLU和DST，聯(lián)合詞級(jí)策略模型結(jié)合了對(duì)話策略和NLG。）

雖然人們?cè)O(shè)計(jì)了許多方法來(lái)評(píng)估和改進(jìn)單個(gè)對(duì)話組件的性能，但是對(duì)于不同組件如何對(duì)對(duì)話系統(tǒng)的整體性能做出貢獻(xiàn)，還缺乏全面的實(shí)證研究。

據(jù)論文介紹，作者進(jìn)行了系統(tǒng)的評(píng)估，并對(duì)不同設(shè)置下由不同模塊組成的不同類型的對(duì)話系統(tǒng)進(jìn)行了實(shí)證分析。

結(jié)果表明：

（1）使用不同組件級(jí)別的細(xì)粒度監(jiān)控信號(hào)訓(xùn)練的pipeline對(duì)話系統(tǒng)通常比使用粗粒度標(biāo)簽訓(xùn)練的聯(lián)合或端到端模型的系統(tǒng)獲得更好的性能。

（2）單輪、模塊內(nèi)的評(píng)估結(jié)果并不總是與多輪、系統(tǒng)級(jí)的整體性能一致。

（3）盡管模擬用戶和真實(shí)用戶之間存在差異，但模擬評(píng)估仍然是昂貴的人工評(píng)估的有效替代，特別是在開發(fā)的早期階段。

2

實(shí)證分析結(jié)果

表1中的數(shù)據(jù)表明，與在聯(lián)合模型和端到端系統(tǒng)相比，pipeline系統(tǒng)通?？梢垣@得更好的總體性能，因?yàn)樵诮M件級(jí)別使用細(xì)粒度標(biāo)簽可以幫助pipeline系統(tǒng)提高任務(wù)成功率。

表1：具有不同配置和模型的系統(tǒng)級(jí)仿真評(píng)估，這里使用SYSTEM-表示配置的縮寫。

通過比較表1和表2中的結(jié)果表明驗(yàn)證組件評(píng)估是否與系統(tǒng)評(píng)估一致很重要。

可以觀察到有時(shí)它們是一致的（例如表2a中的BERT> MILU，而SYSTEM-1> SYSTEM-2），但并非總是一致的（例如表中的TRADE> SUMBT 2b，但SYSTEM-6> SYSTEM-7）。

組件評(píng)估與系統(tǒng)評(píng)估之間有差異，使用檢索模型系統(tǒng)的優(yōu)越性可能意味著，在面向目標(biāo)的對(duì)話系統(tǒng)中，NLG中較低的SER比較高的BLEU更為關(guān)鍵。

表2：每個(gè)模塊的組件性能。?表示來(lái)自MultiWOZ排行榜的結(jié)果。其中，NLG為：自然語(yǔ)言生成模塊從對(duì)話行為表示生成自然語(yǔ)言響應(yīng)。E2E為：端到端模型將用戶的話語(yǔ)作為輸入，直接以自然語(yǔ)言輸出系統(tǒng)響應(yīng)。

表3和表4中的結(jié)果表明，所有系統(tǒng)的整體性能隨任務(wù)域的不同而變化，并且隨著任務(wù)復(fù)雜度的增加而顯著下降，而pipeline系統(tǒng)對(duì)任務(wù)復(fù)雜性則相對(duì)魯棒。

表3：不同單域的性能。與“吸引力”相比，大多數(shù)系統(tǒng)在“餐廳”和“火車”中的性能更高。

表4：不同域數(shù)下的性能。隨著域數(shù)的增加，所有系統(tǒng)的性能都會(huì)下降。

表5顯示了5個(gè)對(duì)話系統(tǒng)的人工評(píng)估結(jié)果。與表1中的模擬評(píng)估相比，可以看到大多數(shù)系統(tǒng)的Pearson相關(guān)系數(shù)都在0.5到0.6之間，這表明模擬評(píng)估與人類評(píng)估的相關(guān)性中等。

表5：對(duì)人類用戶的系統(tǒng)評(píng)估，最后一列展示了模擬評(píng)估與人工評(píng)估之間的相關(guān)系數(shù)。

表6顯示了模擬評(píng)估中SYSTEM-1和SYSTEM-6之間的會(huì)話比較。

表7表明現(xiàn)有的對(duì)話系統(tǒng)容易受到人類語(yǔ)言變化的影響，例如表7中棕色突出顯示的句子，這表明在處理真實(shí)的人類對(duì)話時(shí)缺乏穩(wěn)健性。

需要明確的是，作者在論文中用的評(píng)價(jià)指標(biāo)有兩個(gè)：任務(wù)效率：使用對(duì)話的次數(shù)，平均所有對(duì)話會(huì)話，來(lái)衡量完成一項(xiàng)任務(wù)的效率。用戶話語(yǔ)和隨后的系統(tǒng)話語(yǔ)被視為一個(gè)對(duì)話回合。系統(tǒng)應(yīng)幫助每個(gè)用戶在20輪內(nèi)完成目標(biāo)，否則視為失敗。

任務(wù)成功率：用Inform F1和匹配率衡量，其中informf1評(píng)估所有信息請(qǐng)求是否得到滿足，匹配率評(píng)估所提供的實(shí)體是否滿足用戶目標(biāo)中指定的所有約束。當(dāng)且僅當(dāng)Inform F1和匹配率均為1時(shí)，對(duì)話框才會(huì)標(biāo)記為成功。

此外，還有一些其他結(jié)果：詞級(jí)DST預(yù)測(cè)的對(duì)話狀態(tài)只記錄當(dāng)前回合的用戶約束，導(dǎo)致動(dòng)作選擇（通過對(duì)話策略）的信息丟失，如下圖所示。

詞級(jí)DST與字級(jí)策略相結(jié)合可以獲得更好的整體性能，例如SYSTEM-13的成功率為40.4%，而SYSTEM-6的成功率為27.8%，如下圖所示。

所有這些聯(lián)合方法在傳統(tǒng)的pipeline系統(tǒng)中仍然表現(xiàn)不佳，而通過聯(lián)合訓(xùn)練策略和NLG模塊可以改善響應(yīng)生成：在使用聯(lián)合模型的所有系統(tǒng)中，SYSTEM-16獲得了最高的成功率（48.5%）和第二高的匹配率（59.67%）（SYSTEM-5～14）。

3

清華人做科研也是“一步一步”

這篇論文的第一作者高信龍一，原來(lái)是清華大學(xué)計(jì)算機(jī)系計(jì)55班。在大二的時(shí)候，也就是2016年10月份進(jìn)入智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室交互式人工智能(CoAI)課題組，在黃民烈老師的指導(dǎo)下進(jìn)行科研訓(xùn)練。

主要研究方向?yàn)閷?duì)話系統(tǒng)、推薦系統(tǒng)和強(qiáng)化學(xué)習(xí)。目前已在ACL，EMNLP，WWW，AAAI等頂級(jí)會(huì)議上以第一作者發(fā)表數(shù)篇長(zhǎng)文。

高信同學(xué)進(jìn)大學(xué)前專注于數(shù)學(xué)競(jìng)賽，沒有絲毫計(jì)算機(jī)編程方面的基礎(chǔ)，在清華讀本科期間，一開始也是跟隨實(shí)驗(yàn)室的馮珺學(xué)姐從事一些簡(jiǎn)單的科研工作，主要做一些baseline的實(shí)現(xiàn)和分析。在學(xué)姐和老師的輔助下，一點(diǎn)點(diǎn)掌握科學(xué)實(shí)驗(yàn)和結(jié)果分析等獨(dú)立科研能力。

大三的時(shí)候，高信龍一由于人工神經(jīng)網(wǎng)絡(luò)課程和其他兩名本科生一起合作完成了一個(gè)項(xiàng)目，在里面又體會(huì)到了團(tuán)隊(duì)合作時(shí)的一些心得，例如如何溝通、如何分配工作和時(shí)間。

他的科研經(jīng)歷也并不是一帆風(fēng)順，據(jù)高信龍一回憶：他為了完成第一個(gè)項(xiàng)目，整個(gè)暑假都和同學(xué)一起泡在實(shí)驗(yàn)室里，期間在實(shí)驗(yàn)上有過無(wú)數(shù)的嘗試和修正，從一次次失敗中分析其中的原因，汲取其中的經(jīng)驗(yàn)。

2019年，他成為清華大學(xué)計(jì)算機(jī)系碩士生，交互式人工智能組（CoAI）成員，算是正式“拜師”黃民烈教授。

所以，高信龍一算是“土生土長(zhǎng)”清華學(xué)子，但從過往經(jīng)歷，可以看到，清華學(xué)子的科研路也是一步一步走出來(lái)的，例如他從大二就動(dòng)了科研的念頭，大三組織團(tuán)隊(duì)完成科研任務(wù)，再到2019年攻讀碩士，以及今天的這篇最佳論文。高信龍一同學(xué)的科研路可謂踏踏實(shí)實(shí)，一步一個(gè)腳印。

4

One more thing：?jiǎn)柎鸶咝琵堃?/span>

1.這次獲得最佳論文，你心情如何？有沒有什么研究建議想給大家分享的？

答：挺開心的，很榮幸自己的工作能得到學(xué)界的認(rèn)可，很感謝身邊的老師、同學(xué)和同事給我的支持。我希望現(xiàn)在人工智能方向的研究者能靜下心來(lái)研究一些真正有意義、有深度的課題。

2.獲獎(jiǎng)的這篇論文思路是什么樣的？主要解決了什么問題？

答：隨著近年來(lái)人工智能新模型和新算法層出不窮，我希望能讓學(xué)界重新重視一下對(duì)話評(píng)價(jià)的問題，思考一下對(duì)話模型的實(shí)用性。

本次工作針對(duì)各類模型、各類配置、各類設(shè)定的多輪任務(wù)型對(duì)話系統(tǒng)進(jìn)行全面的系統(tǒng)評(píng)測(cè)和分析，為對(duì)話系統(tǒng)的研究者和開發(fā)者提供了一些重要的借鑒。

3.其他研究者目前主要關(guān)注改進(jìn)的點(diǎn)是哪些方面？

答：可能更加關(guān)注于每個(gè)模塊內(nèi)的性能提升。例如在任務(wù)型對(duì)話中，對(duì)話狀態(tài)追蹤就是一個(gè)比較熱門的方向。

4.為什么要選擇對(duì)話系統(tǒng)這一領(lǐng)域？

一開始并沒有明確的方向，所以先從算法入手，著眼到了強(qiáng)化學(xué)習(xí)上。后來(lái)隨著對(duì)組里的研究方向有了進(jìn)一步了解之后，對(duì)對(duì)話這種人機(jī)交互的形式比較有興趣，同時(shí)也有一些場(chǎng)景可以利用到強(qiáng)化學(xué)習(xí)，所以選擇了對(duì)話系統(tǒng)這個(gè)領(lǐng)域，其中我個(gè)人相對(duì)專攻任務(wù)型對(duì)話系統(tǒng)。

5.現(xiàn)在在清華學(xué)習(xí)過程中有沒有一些經(jīng)驗(yàn)分享？

更多的把精力放到科研上了。平時(shí)要注意對(duì)文獻(xiàn)的閱讀積累，帶著問題去閱讀一些論文。

6.清華的培養(yǎng)機(jī)制，對(duì)你來(lái)說(shuō)受益最大的是哪一方面？

可能是多元化的校園生活。只要用心，每個(gè)人都能在清華找到適合自己的環(huán)境。像是對(duì)科研感興趣的同學(xué)，大二的時(shí)候就可以借助計(jì)算機(jī)系里的“學(xué)術(shù)新星”計(jì)劃，提前進(jìn)入實(shí)驗(yàn)室接觸科研方面的知識(shí)。此外，和實(shí)驗(yàn)室的教師和同學(xué)的學(xué)術(shù)探討也給我提供了很大的幫助。

7.平時(shí)有怎么樣的興趣愛好？

聽聽音樂，看看植物，和家人或好朋友聊聊天，其他基本就是在閉目養(yǎng)神了（笑）。

8.黃民烈老師說(shuō)，這篇文章有微軟合作者的支持，請(qǐng)問畢業(yè)之后是打算去微軟么？

原本微軟研究院邀請(qǐng)我在今年春季過去參加實(shí)習(xí)的，但由于全球疫情爆發(fā)之后，沒能去成西雅圖那邊，所以現(xiàn)在還沒有確定畢業(yè)之后的去向。

我們也祝愿高信龍一科研之路一帆風(fēng)順~

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。