雷鋒網(wǎng) AI 科技評(píng)論按：由中國中文信息學(xué)會(huì)社會(huì)媒體處理專委會(huì)主辦、哈爾濱工業(yè)大學(xué)承辦的第七屆全國社會(huì)媒體處理大會(huì)（SMP 2018）于 2018 年 8 月 2 日- 4 日在哈爾濱召開。雷鋒網(wǎng)作為獨(dú)家戰(zhàn)略媒體帶來專題報(bào)道。

對話是人機(jī)交互最為流暢且自然的一種形式，因此人機(jī)對話成為自然語言處理的一個(gè)重要研究方向。以微軟小冰、Siri 為代表的人機(jī)對話產(chǎn)品也作為產(chǎn)業(yè)界的代表應(yīng)用迅速發(fā)展。與之相應(yīng)地，人機(jī)對話的技術(shù)評(píng)測也成為了高校及企業(yè)技術(shù)的「練兵場」。

圖片來源：哈工大 SCIR 李家琦

8 月 4 日下午，SMP 2018 第二屆中文人機(jī)對話技術(shù)評(píng)測（The Second Evaluation of Chinese Human-Computer Dialogue Technology，SMP-ECDT) 的頒獎(jiǎng)儀式及技術(shù)報(bào)告論壇順利召開。

本屆 SMP-ECDT 由中國中文信息學(xué)會(huì)社會(huì)媒體處理專委會(huì)主辦，承辦方包括哈爾濱工業(yè)大學(xué)和提供數(shù)據(jù)支持的科大訊飛股份有限公司，此外華為公司提供獎(jiǎng)金支持。SMP 2018 技術(shù)評(píng)測委員會(huì)組織架構(gòu)包括主席張偉男（哈爾濱工業(yè)大學(xué)），委員陳志剛（科大訊飛股份有限公司）、車萬翔（哈爾濱工業(yè)大學(xué)）及張軼博（華為公司）。

本屆 SMP-ECDT 技術(shù)評(píng)測沿襲上一年的賽制，分為用戶意圖領(lǐng)域分類及任務(wù)型人機(jī)對話在線評(píng)測兩個(gè)任務(wù)。

用戶意圖領(lǐng)域分類（任務(wù)一）針對閑聊類和任務(wù)類兩大類領(lǐng)域（domain），要求系統(tǒng)將用戶在單輪對話的輸入分類對應(yīng)到相應(yīng)的領(lǐng)域中；其中，任務(wù)類又細(xì)分為 30 個(gè)垂直領(lǐng)域。

在人機(jī)對話的應(yīng)用過程中，只有正確判斷用戶的意圖，并正確進(jìn)行劃分，才能進(jìn)一步返回正確的回復(fù)結(jié)果。在本任務(wù)中，參賽者可以開放地獲取除主辦方提供的數(shù)據(jù)之外的訓(xùn)練及開發(fā)數(shù)據(jù)；主辦方提供給定測試集，并運(yùn)行參賽系統(tǒng)，在測試集上面得出評(píng)測結(jié)果。評(píng)價(jià)標(biāo)準(zhǔn)包括準(zhǔn)確率（P）、召回率（R）及 F 值。

任務(wù)型人機(jī)對話在線評(píng)測（任務(wù)二）則涵蓋機(jī)票類、火車票類、酒店類 3 個(gè)垂直領(lǐng)域，系統(tǒng)通過與測試人員實(shí)時(shí)在線對話完成相應(yīng)的預(yù)定或查詢?nèi)蝿?wù)。

整個(gè)評(píng)測過程對不同的參賽系統(tǒng)均給定相同的首輪對話輸入，評(píng)測員根據(jù)給定的完整意圖描述與參賽系統(tǒng)進(jìn)行交互直至對話結(jié)束；系統(tǒng)返回所有任務(wù)（單任務(wù)或多任務(wù)）的執(zhí)行結(jié)果，此外，如果單個(gè)任務(wù)在 30 個(gè)對話輪數(shù)之后仍未返回測試員所需的結(jié)果，則對話測試結(jié)束。評(píng)價(jià)指標(biāo)包括任務(wù)完成率、對話輪數(shù)、用戶滿意度、回復(fù)語言的自然度及資源未覆蓋情況的引導(dǎo)能力等五大領(lǐng)域。

SMP-ECDT 技術(shù)評(píng)測從 2018 年 4 月 1 日啟動(dòng)，歷經(jīng)近五個(gè)月的賽程，最終吸引了 80 支隊(duì)伍共 248 位參賽者報(bào)名，相較去年第一屆技術(shù)評(píng)測有了一定程度的提升。值得一提的是，來自工業(yè)界的隊(duì)伍比重相比去年有所增加，SMP 2018 技術(shù)評(píng)測委員會(huì)主席、哈爾濱工業(yè)大學(xué)張偉男博士表示，這從一個(gè)側(cè)面上反映了工業(yè)界對人機(jī)對話技術(shù)的關(guān)注度在不斷提高，技術(shù)水平也在不斷進(jìn)步。

SMP-ECDT 技術(shù)評(píng)測于 7 月 23 日公布評(píng)測結(jié)果，詳情如下：

圖片來源：哈工大 張偉男

盡管評(píng)測主題相比去年并沒有明顯變化，但張偉男博士向雷鋒網(wǎng) AI 科技評(píng)論介紹，兩個(gè)任務(wù)都采用了新的數(shù)據(jù)集，且任務(wù)一的測試集規(guī)模更大，提升了技術(shù)評(píng)測的任務(wù)難度。

與之相應(yīng)地，任務(wù)一參賽隊(duì)伍的整體指標(biāo)相比去年有所下降。不過，技術(shù)評(píng)測委員會(huì)也從中看到了參賽團(tuán)隊(duì)的進(jìn)步。

「我們看到了最近比較火的基于 T2T 的 Transformer 模型應(yīng)用在了任務(wù)一的參賽系統(tǒng)中，并且取得了第一名的成績，相比于 LSTM，Transformer 僅利用 multihead 的 attention 技術(shù)，模型整體更加簡單高效，同時(shí)我們還看到了 FastText 在數(shù)據(jù)預(yù)訓(xùn)練及獲取詞匯 embedding 上的應(yīng)用及取得的成績。」

而任務(wù)二除了采用全新數(shù)據(jù)集外，也參考去年所遇到的一些測試問題做出了修正。令評(píng)測委員會(huì)感到欣喜的是，今年任務(wù)二的任務(wù)完成率和平均話輪數(shù)兩個(gè)主要指標(biāo)有了明顯的提升，張偉男博士表示，「這無疑標(biāo)志著人機(jī)對話技術(shù)在過去的一年中，起碼在我們這個(gè)任務(wù)中，有了較大的進(jìn)步，讓我們對后續(xù)的進(jìn)展充滿了信心和期待?！?/p>

圖片來源：哈工大 張偉男

從去年開始，SMP 技術(shù)評(píng)測委員會(huì)在劉挺老師和蔣盛益老師的支持下，于 SMP 大會(huì)上連續(xù)舉辦兩屆中文人機(jī)對話技術(shù)評(píng)測，開創(chuàng)先河。張偉男博士介紹道，在制定評(píng)測內(nèi)容的過程中，委員會(huì)認(rèn)為不僅要考慮人機(jī)對話研究上的熱點(diǎn)，更應(yīng)該考慮人機(jī)對話在實(shí)際應(yīng)用中的關(guān)鍵核心問題?！附?jīng)過多次討論我們確定了兩個(gè)評(píng)測任務(wù)，即用戶意圖分類和在線人機(jī)對話實(shí)時(shí)評(píng)測。經(jīng)過兩屆的評(píng)測，我們欣喜地看到了人機(jī)對話技術(shù)在這兩個(gè)任務(wù)上的進(jìn)步，同時(shí)也發(fā)現(xiàn)了一些問題，如模型的領(lǐng)域遷移問題?！?/p>

結(jié)合各個(gè)團(tuán)隊(duì)在比賽過程中暴露的共同問題，評(píng)測委員會(huì)在未來調(diào)整評(píng)測重點(diǎn)及后續(xù)方案的制定。張偉男博士也表示，在未來，他們也將規(guī)劃與真實(shí)應(yīng)用場景的結(jié)合，如手機(jī)助手、智能音箱等，讓參賽隊(duì)伍能在實(shí)踐中及時(shí)獲得反饋并做出調(diào)整，這也有益于推動(dòng)人機(jī)對話技術(shù)的進(jìn)步與落地。

SMP2018中文人機(jī)對話技術(shù)評(píng)測（ECDT）：http://smp2018.cips-smp.org/ecdt_index.html

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。