在 2017 年底結(jié)束的第一屆亞馬遜 Alexa Prize 比賽上，由華盛頓大學(xué)博士生方昊擔(dān)任領(lǐng)隊(duì)的 Sounding Board 團(tuán)隊(duì)在全球上百支隊(duì)伍中突出重圍，一舉奪得冠軍。

亞馬遜 Alexa Prize 比賽面向全球各地的學(xué)生，旨在創(chuàng)造一個能與人進(jìn)行自然對話和互動的社交對話系統(tǒng)，為用戶提供新鮮、有趣的對話體驗(yàn)。比賽分為初賽和決賽兩個階段，在初賽階段，選手需要創(chuàng)造出一個社交對話系統(tǒng)，而在決賽階段，他們會對系統(tǒng)進(jìn)行不斷改進(jìn)。

據(jù)主辦方亞馬遜介紹，「通過比賽中學(xué)生們的創(chuàng)新工作，Alexa 的客戶將會有全新的、有趣的對話體驗(yàn)，而來自 Alexa 用戶的大量互動和反饋將幫助學(xué)生們比以前更快地改進(jìn)他們的算法。」

亞馬遜為優(yōu)勝團(tuán)隊(duì)提供的獎金高達(dá) 50 萬美元，如果哪個團(tuán)隊(duì)設(shè)計(jì)出一款可以與人持續(xù)聊天達(dá)到 20 分鐘的對話系統(tǒng)，那么這個團(tuán)隊(duì)將獲得高達(dá) 100 萬美元的 Grand Prize 獎。

在最后的決賽中，Sounding Board （https://sounding-board.github.io/）團(tuán)隊(duì)的平均對話持續(xù)時間為 10 分 22 秒，遠(yuǎn)超第二名的 3 分 55 秒。雷鋒網(wǎng) AI 科技評論第一時間聯(lián)系到團(tuán)隊(duì)成員——華盛頓大學(xué)的在讀博士生方昊和程浩，針對此次比賽的個中細(xì)節(jié)對其進(jìn)行采訪。

據(jù)方昊介紹，初次接觸這次比賽，是在華盛頓大學(xué)的 Mailing List 上看到有教授在進(jìn)行推廣。參加這次比賽的原因也很簡單，「我看到之后，覺得看起來很有意思，于是和程浩商量了一些想法，再向?qū)熥稍兞艘恍┮庖?，決定參加這次比賽?！?/p>

「Sounding Board 是一個 5 人團(tuán)隊(duì)，除了我和程浩，其他 3 名成員分別是 Elizabeth Clark，Ari Holtzman，Maarten Sap，他們也都是華盛頓大學(xué)的博士生?！狗疥粚?AI 科技評論表示，「我們在比賽中的主要指導(dǎo)老師是 Mari Ostendorf，她同時也是我和程浩的博士生導(dǎo)師。此外，在比賽過程中，Yejin Choi 和 Noah Smith 作為其他三人的博士生導(dǎo)師，也為團(tuán)隊(duì)提供了很多指導(dǎo)意見?！?/p>

上圖從左至右：方昊，程浩，Ari，Mari，Maarten，Elizabeth，Yejin

雷鋒網(wǎng) AI 科技評論了解到，Sounding Board 團(tuán)隊(duì)中每個人的研究都有不同的側(cè)重點(diǎn)，涵蓋機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人機(jī)協(xié)作、心理語言學(xué)，不過有一個共同點(diǎn)，大家都共同關(guān)注自然語言處理。

那么，集合了這么多不同背景的博士生團(tuán)隊(duì)，在此次比賽中的策略是什么？為了打造這樣一個開放式的聊天機(jī)器人，他們的方法又有哪些？以下為雷鋒網(wǎng) AI 科技評論與 Sounding Board 團(tuán)隊(duì)的對話詳情，相信大家可以從中一窺究竟：

圖：Sounding Board 對話系統(tǒng)

1、比賽從初賽到結(jié)束持續(xù)了多久？在初賽和復(fù)賽過程中，你們整體的時間點(diǎn)規(guī)劃如何？

比賽持續(xù)了大概一年。因?yàn)槲覀冴?duì)伍沒有任何已有的對話系統(tǒng)，所以我們的規(guī)劃是一邊實(shí)現(xiàn)一個可以上線的對話系統(tǒng)，一邊嘗試各種各樣的新功能。

2、在這次的比賽中，你們主要面臨的難點(diǎn)有哪些？你們的系統(tǒng)主要由自然語言理解（NLU）、對話管理（DM）和自然語言生成（NLG）這三個模塊組成，在構(gòu)建這三個模塊的過程中，分別有哪些挑戰(zhàn)？

一個很大的難點(diǎn)在于之前基本上沒有任何人機(jī)社交對話的數(shù)據(jù)，很多已有數(shù)據(jù)集都是任務(wù)導(dǎo)向的或者純閑聊式的。所以我們需要很謹(jǐn)慎地構(gòu)建自己的數(shù)據(jù)集和模型。

• 在自然語言理解方面，主要的挑戰(zhàn)在于系統(tǒng)需要從多方面理解用戶，包括用戶的目的（intent）、問題、命令、情感、提到的話題等，同時我們還需要考慮到語音交互和文本交互的不同。

• 在對話管理方面，主要的挑戰(zhàn)在于設(shè)計(jì)最優(yōu)的策略來響應(yīng)用戶的需求并且吸引用戶與系統(tǒng)進(jìn)行更多的有意思的對話。

• 而自然語言生成方面的挑戰(zhàn)在于如何使生成的回復(fù)更加人性化，比如我們經(jīng)常需要明示或者暗示用戶我們聽到了用戶的問題、命令，或者他們表達(dá)的情緒，而不是生硬的說出一個問題的答案。

除了以上提到的三個模塊，在我們的系統(tǒng)中，還有一個至關(guān)重要的模塊--內(nèi)容管理模塊。

Sounding Board 的一個主要策略是進(jìn)行以內(nèi)容為導(dǎo)向的對話，所以我們的內(nèi)容管理模塊會在網(wǎng)上爬取大量有意思的，適合語音交互的內(nèi)容，然后選取相關(guān)的內(nèi)容來進(jìn)行對話。這里的挑戰(zhàn)在于我們需要排除掉很多爭議性的，歧視性的，或者不適合家庭對話的內(nèi)容。

3、在此次比賽中，亞馬遜為你們提供的數(shù)據(jù)有哪些？除了亞馬遜提供的數(shù)據(jù)，你們提到一開始嘗試過電影和研討會上的文本，但它們和實(shí)際用戶有很大的差別，你們是怎么處理的呢？在決賽中又引入了其他數(shù)據(jù)嗎？

在此次比賽中，亞馬遜為我們提供免費(fèi)的 AWS 資源和一些云計(jì)算方面的技術(shù)支持，此外，在數(shù)據(jù)方面亞馬遜還提供華盛頓郵報的 API。

我們發(fā)現(xiàn)很多已有的對話文本數(shù)據(jù)集和實(shí)際用戶的交互有非常大的區(qū)別，所以我們轉(zhuǎn)而構(gòu)建自己的數(shù)據(jù)集。這里就涉及到前面提到的內(nèi)容管理模塊，我們在網(wǎng)上爬取各種適合對話的內(nèi)容之后，進(jìn)而構(gòu)建自己的知識圖譜（Knowledge Graph）。

我們在使用各種數(shù)據(jù)的時候非常謹(jǐn)慎，對爬取的內(nèi)容會進(jìn)行很多處理，例如風(fēng)格轉(zhuǎn)換以及簡化，從而使得它們適合于語音交互。并且我們會通過實(shí)時的用戶對話的反饋來改進(jìn)我們的內(nèi)容管理模塊。

在決賽階段中，一個很重要的工作是由程浩完成的——根據(jù)網(wǎng)上爬取的關(guān)于電影的知識圖譜來進(jìn)行一小段比較有深度的對話。同時，在決賽階段，我們也改進(jìn)了內(nèi)容管理模塊，包括擴(kuò)展內(nèi)容爬取范圍，部署新的內(nèi)容處理模型。

4、聊天機(jī)器人分為開放式和特定任務(wù)式，你們這次構(gòu)造的聊天機(jī)器人需要既能同時滿足用戶的閑聊需求（開放式），又能解決用戶在特定領(lǐng)域的專業(yè)回答（特定任務(wù)式）嗎？

Alexa Prize 的目標(biāo)是開發(fā)一個社交對話系統(tǒng)，從而使得機(jī)器人可以與用戶進(jìn)行連貫的、吸引人的對話，比較偏向于開放式的對話。

Sounding Board 的策略是進(jìn)行以用戶為中心，以內(nèi)容為導(dǎo)向的對話。

• 以用戶為中心主要表現(xiàn)在我們會盡可能的響應(yīng)用戶的命令或者問題，同時 Sounding Board 還會通過一些問題來了解用戶的性格，從而更好的規(guī)劃對話。

• 以內(nèi)容為導(dǎo)向表現(xiàn)在系統(tǒng)會不斷通過拋出新的內(nèi)容來吸引用戶將對話進(jìn)行下去。比如當(dāng)用戶提了一個問題的時候，我們不僅僅會給出這個問題的答案，還會嘗試推薦和這個問題相關(guān)的其他內(nèi)容。

5、為了構(gòu)造這種能進(jìn)行開放式話題的聊天機(jī)器人，你們是怎么做的呢？

在開放式話題上，我們需要涵蓋很廣的內(nèi)容，并且需要區(qū)分領(lǐng)域（domain）和話題（topic）。運(yùn)動、政治、娛樂、技術(shù)都屬于「領(lǐng)域」，此外還要涵蓋各種各樣的話題（比如世界杯比賽，奧斯卡頒獎典禮等）。

我們使用了一些文本分析模型來對爬取的內(nèi)容進(jìn)行索引，并把他們組建成知識圖譜。同時，當(dāng)用戶提出一些話題但是知識圖譜中暫時沒有相關(guān)的內(nèi)容時，Sounding Board 會嘗試推薦相關(guān)的其他話題來吸引用戶。

總的來說，為了進(jìn)行開放式的社交對話，Sounding Board 的對話管理模塊（DM）會首要響應(yīng)用戶的需求，同時將內(nèi)容推薦作為潛在任務(wù)來推進(jìn)對話的進(jìn)行。

6、由于用戶具有多樣性，為了讓產(chǎn)生的回答更符合用戶的喜好，這其中又面臨哪些挑戰(zhàn)？你們是如何處理的?

Sounding Board 的內(nèi)容管理模塊會盡可能的剔除掉不適合對話的內(nèi)容，保留有意思的內(nèi)容。同時對話管理模塊會根據(jù)對話的歷史以及內(nèi)容的屬性來選取最優(yōu)的策略進(jìn)行對話。

另外，Sounding Board 有一個用戶性格分析模塊，這個模塊會通過一些心理學(xué)的問題來了解用戶的性格從而更好地進(jìn)行內(nèi)容推薦。

7、除了以上提到的功能：能和用戶在多個話題上交談，產(chǎn)生出吸引用戶興趣的回答，這個系統(tǒng)還需要能滿足其他什么功能，對于對話時長、對話輪數(shù)是否有要求？是否需要設(shè)計(jì)出一個具備「情感」的機(jī)器人？

主辦方對于對話時長和輪數(shù)沒有特別的要求。Grand Prize 獎要求系統(tǒng)能進(jìn)行 20 分鐘的對話，今年還沒有隊(duì)伍達(dá)到這個目標(biāo)。

由于這個系統(tǒng)是面向客戶的，一個很重要的要求是不能使用戶產(chǎn)生不適感，比如不能使用帶有咒罵或歧視性的語言，也不能產(chǎn)生對小孩或者宗教不友好的話題。

機(jī)器人的「情感」是一個開放的問題，大家普遍會為機(jī)器人設(shè)計(jì)一個背景故事，從而使得它能回答用戶的一些特定問題（比如它最喜歡的顏色、歌曲等）。

8、你們的工作結(jié)合了以前的哪些研究，具體做了什么優(yōu)化和改進(jìn)？目前深度學(xué)習(xí)的方法應(yīng)用很廣泛，你們在比賽中是否有用到深度學(xué)習(xí)的方法？

我們的工作結(jié)合了我們以前關(guān)于社交媒體、數(shù)據(jù)挖掘、語音處理、心理語言學(xué)的研究，其中一個主要的工作在于把這些研究應(yīng)用到對話系統(tǒng)上。

在沒有足夠并且合適的數(shù)據(jù)前，深度學(xué)習(xí)的優(yōu)勢很難被利用。我們在線下部署了一些深度學(xué)習(xí)的模型，但是由于比賽的時間限制，我們還沒有將它們部署到最終系統(tǒng)里面。Sounding Board 采用了模塊化的設(shè)計(jì)，通過這次比賽，我們得到很多寶貴的交互數(shù)據(jù)，我們正在探索和開發(fā)新的模型來改進(jìn)現(xiàn)有的各個系統(tǒng)模塊。

9、你們在決賽上平均得分是 3.17 分，排名第一，這個分?jǐn)?shù)是依據(jù)哪些指標(biāo)來評判的呢？

在決賽階段，亞馬遜邀請了 3 位裁判和 3 位交互者（interactor)。每位交互者會和每個系統(tǒng)進(jìn)行 2 次對話，但是他們不知道系統(tǒng)是來自哪個隊(duì)伍。交互者會盡可能的和系統(tǒng)進(jìn)行交流，3 位裁判會通過耳機(jī)聽到對話，然后會在他們覺得不需要再繼續(xù)進(jìn)行對話的時候按下停止鍵。當(dāng)有 2 位裁判按下停止鍵的時候，對話會被強(qiáng)制終止。3 位裁判會根據(jù)對話的質(zhì)量給出 1-5 之間的一個分?jǐn)?shù)。

10、你們團(tuán)隊(duì)平均對話持續(xù)時間是 10 分 22 秒，而第二名的平均時間是 3 分 55 秒，在這里你們占據(jù)了壓倒性的優(yōu)勢，在這里能遠(yuǎn)遠(yuǎn)領(lǐng)先的關(guān)鍵是什么？

這里主要涉及到前面提到的 Sounding Board 的策略：以用戶為中心，以內(nèi)容為導(dǎo)向。

• 用戶能夠控制對話的走向，隨時轉(zhuǎn)化話題，給出命令。

• Sounding Board 會不斷推薦新的、高質(zhì)量的內(nèi)容，響應(yīng)用戶的各種需求，回應(yīng)用戶的情緒。

• 構(gòu)建了為對話設(shè)計(jì)的知識圖譜，里面涵蓋了比較多樣化，高質(zhì)量的內(nèi)容，所以能進(jìn)行一些風(fēng)格多樣化的對話。

11、目前想要創(chuàng)造這種聊天機(jī)器人，你認(rèn)為最大的難點(diǎn)在哪里？而如果想要在工業(yè)中應(yīng)用，你認(rèn)為 Sounding Board 還有哪些需要改進(jìn)和完善的地方？

現(xiàn)在對這種聊天機(jī)器人的研究還剛剛起步，所以存在很多挑戰(zhàn)。我們認(rèn)為其中的一個難點(diǎn)在于理解用戶的語言和情緒，另一個難點(diǎn)在于組建高質(zhì)量的知識圖譜。

Sounding Board 在這兩個方面還存在很大的改進(jìn)空間。

此外，如何進(jìn)行更加深度的對話也是一個很大的挑戰(zhàn)。雖然我們嘗試了一些方法，但離目標(biāo)還有一段距離。

12、今年是第一屆比賽，你認(rèn)為今年的比賽對能力的考察主要側(cè)重在哪些方面？對于接下來參加類似比賽的同學(xué)，有什么好的建議和經(jīng)驗(yàn)分享呢？

• 想要在比賽中取得滿意的結(jié)果，首先需要注重用戶分析。我們在分析用戶交互方式和需求方面花了很多精力。

• 而想要打造像 Sounding Board 這樣的系統(tǒng)，大家需要掌握自然語言處理和數(shù)據(jù)挖掘這兩個比較重要的技能。

• 同時，也需要一定的系統(tǒng)工程方面的基礎(chǔ)——可以在短時間內(nèi)開發(fā)一個能部署在云端的系統(tǒng)，并且能夠響應(yīng)海量用戶請求。

我們的策略是讓系統(tǒng)盡早上線，從而可以分析用戶的交互模式，進(jìn)而對系統(tǒng)進(jìn)行迭代更新。

13、今年主辦方提供給第一名的獎金是 50 萬美元，你們的獎金打算如何分配呢？接下來打算如何利用這些獎金？

根據(jù)比賽主辦方的規(guī)定，50 萬美元會平分給 5 個學(xué)生。我們暫時還沒有計(jì)劃如何使用這些獎金。

這個階段我們更注重在現(xiàn)有的系統(tǒng)上做出一些高質(zhì)量的研究。

14、未來會考慮往什么方向發(fā)展？

方昊：我大概在今年夏天畢業(yè)，我的研究方向主要是自然語言處理、對話系統(tǒng)和機(jī)器學(xué)習(xí)。未來會考慮往工業(yè)界發(fā)展，做更多比較前沿的，和用戶、產(chǎn)品有緊密聯(lián)系的研究。

程浩：在這次比賽中，我們隊(duì)伍積累了很多寶貴的資源和經(jīng)驗(yàn)，我希望繼續(xù)在機(jī)器學(xué)習(xí)和自然語言處理方向做一些深入的研究，準(zhǔn)備明年畢業(yè)。

（完）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。