雷鋒網(wǎng) AI 科技評論按：1 月 6 日，由中國中文信息學(xué)會青年工作委員會（簡稱「青工委」）主辦，哈爾濱工業(yè)大學(xué)社會計算與信息檢索研究中心（HIT-SCIR）承辦的『AAAI 2018 預(yù)講會』在哈爾濱工業(yè)大學(xué)成功舉辦。本次會議由華為和云孚科技提供贊助，雷鋒網(wǎng)作為獨家合作媒體，提供了在線直播，并對本次預(yù)講會做全程報道。

AAAI 2018 是人工智能領(lǐng)域的頂級國際會議，每年舉辦一次。今年 AAAI 會議將于 2 月 2 日至 2 月 7 日在美國新奧爾良舉行。鑒于國內(nèi)學(xué)者在各大國際頂會中發(fā)表的文章越來越多，青工委希望能在頂會之前將國內(nèi)學(xué)者匯聚一堂，共同探討最新研究進(jìn)展，所以從 2013 年開始就舉辦了許多次頂會預(yù)講會。

本次 AAAI 2018 預(yù)講會邀請了來自全國各地 15 所高校和研究單位的老師和同學(xué)分享他們在 AAAI 2018 中接收的 25 篇論文，內(nèi)容覆蓋有聊天機(jī)器人、語義依存圖、文本摘要、機(jī)器翻譯、信息抽取、表示學(xué)習(xí)等多個領(lǐng)域的最新研究成果。會議吸引了 200 多名老師和學(xué)生來此參會并進(jìn)行交流。

預(yù)講會伊始，首先由中國中文信息學(xué)會青年工作委員會主任劉洋副教授、副主任車萬翔副教授分別代表主辦方和承辦方致歡迎辭。云孚科技 CEO 張文斌先生代表贊助方致辭。開幕式由東道主哈爾濱工業(yè)大學(xué)社會計算與信息檢索研究中心劉銘副教授主持。

青工委主任劉洋副教授致歡迎辭，哈工大李家琦博士提供

青工委副主任車萬翔副教授致歡迎辭，哈工大李家琦博士提供

會議議程整體分為四個 Session，每個 Session 包含 6-7 個報告，每個報告限時 10 分鐘；在每個 Session 之間有 80-90 分鐘的休息和 poster 環(huán)節(jié)。會議現(xiàn)場節(jié)奏可謂有松有緊，節(jié)奏感極為鮮明。講者們除了在報告中深入講解他們的研究工作外，在 poster 環(huán)節(jié)還有大量的時間與現(xiàn)場的參會者進(jìn)行互動和討論，與會人員可謂獲益頗多。

現(xiàn)場活動，哈工大李家琦博士提供

下面 AI 科技評論根據(jù)現(xiàn)場報告為你詳細(xì)解讀 25 篇 AAAI 2018 接收論文。

（由于內(nèi)容較多，我們將分為上、下兩篇介紹）

論文速覽列表：

上 篇

Session 1

[1] Adversarial Learning for Chinese NER from Crowd Annotations

作者：楊耀晟，張梅山，陳文亮，張偉，王昊奮，張民

單位：蘇州大學(xué)人類語言技術(shù)研究所

[2] Adaptive Co-attention Network for Named Entity Recognition in Tweets

作者：張奇，傅金蘭，劉曉雨，黃萱菁

單位：復(fù)旦大學(xué)

[3] Large Scaled Relation Extraction with Reinforcement Learning

作者：曾祥榮，何世柱，劉康，趙軍

單位：中科院自動化所

[4] Event Detection via Gated Multilingual Attention Mechanism

作者：劉健，陳玉博，劉康，趙軍

單位：中國科學(xué)院自動化研究所

[5] Neural Networks Incorporating Dictionaries for Chinese Word Segmentation

作者：張奇，劉曉雨，傅金蘭

單位：復(fù)旦大學(xué)

[6] Learning Multimodal Word Representation via Dynamic Fusion Methods

作者：王少楠， 張家俊， 宗成慶

單位：自動化所

Session 2

[7] Inferring Emotion from Conversational Voice Data: A Semi-supervisedMulti-path Generative Neural Network Approach

作者：周素平，賈珈，王琦，董宇飛，尹宇峰，雷克華

單位：清華大學(xué)

[8] Long Text Generation via Adversarial Training with Leaked Information

作者：郭家賢，盧思迪，蔡涵，張偉楠，汪軍，俞勇

單位：上海交通大學(xué)

[9] Style Transfer in Text: Exploration and Evaluation

作者：付振新，譚曉燁，彭楠赟，趙東巖，嚴(yán)睿

單位：北京大學(xué)計算機(jī)科學(xué)技術(shù)研究所

[10] Meta Multi-Task Learning for Sequence Modeling

作者：陳俊坤，邱錫鵬，劉鵬飛，黃萱菁

單位：復(fù)旦大學(xué)

[11] RUBER: An Unsupervised Method for Automatic Evaluation of Open-DomainDialog Systems

作者：陶重陽，牟力立，趙東巖，嚴(yán)睿

單位：北京大學(xué)計算機(jī)科學(xué)技術(shù)研究所

[12] Exploring Implicit Feedback for Open Domain Conversation Generation

作者：張偉男，李凌志，曹東巖，劉挺

單位：哈爾濱工業(yè)大學(xué)

下 篇

《AAAI 2018預(yù)講會在哈工大成功舉辦，25篇頂會文章講了什么（下）》

Session 3

[13] Neural Character Dependency Parsing for Chinese

作者：李浩楠，張智松，琚毓琪，趙海

單位：上海交通大學(xué)

[14] A Neural Transition-Based Approach for Semantic Dependency Graph Parsing

作者：王宇軒，車萬翔，郭江，劉挺

單位：哈爾濱工業(yè)大學(xué)

[15] Asynchronous Bidirectional Decoding for Neural Machine Translation

作者：張祥文，蘇勁松，秦悅，劉洋，紀(jì)榮嶸，王鴻吉

單位：廈門大學(xué)

[16] Knowledge Graph Embedding with Iterative Guidance from Soft Rules

作者：郭舒，王泉，王麗宏，王斌，郭莉

單位：中國科學(xué)院信息工程研究所

[17] Embedding of Hierarchically Typed Knowledge Bases

作者：張日崇，孔繁爽，王晨玥，茆永軼

單位：北京航空航天大學(xué)

[18] Faithful to the Original: Fact Aware Neural Abstractive Summarization

作者：曹自強(qiáng)，韋福如，李文婕，李素建

單位：香港理工大學(xué)

[19] Twitter Summarization based on Social Network and Sparse Reconstruction

作者：賀瑞芳，段興義

單位：天津大學(xué)

Session 4

[20] Improving Review Representations with User Attention and ProductAttention for Sentiment Classification

作者：吳震 ，戴新宇，尹存燕，黃書劍，陳家駿

單位：南京大學(xué)

[21] Chinese LIWC Lexicon Expansion via Hierarchical Classification of WordEmbeddings with Sememe Attention

作者：曾祥楷，楊成，涂存超，劉知遠(yuǎn)，孫茂松

單位：清華大學(xué)

[22] Learning Structured Representation for Text Classification withReinforcement Learning

作者：張?zhí)鞊P，黃民烈，趙立

單位：清華大學(xué)

[23] Assertion-based QA with Question-Aware Open Information Extraction

作者：閆昭，唐都鈺，段楠，劉樹杰，王文迪，姜大昕，周明，李舟軍

單位：微軟亞洲研究院

[24] End-to-End Quantum-like Language Models with Application to QuestionAnswering

作者：張鵬，牛嘉斌，蘇展，王本友，馬力群，宋大為

單位：天津大學(xué)

[25] EMD Metric Learning

作者：張子昭，張宇博，趙曦濱，高躍

單位：清華大學(xué)

Session 1（6場報告）

主持人：劉銘副教授，哈爾濱工業(yè)大學(xué)

[1] Adversarial Learning for Chinese NER from Crowd Annotations

作者：楊耀晟，張梅山，陳文亮，張偉，王昊奮，張民

單位：蘇州大學(xué)人類語言技術(shù)研究所

首先是由來自黑龍江大學(xué)的張梅山副教授做了首場報告。

在訓(xùn)練命名實體識別系統(tǒng)時，往往需要大量的人工標(biāo)注語料。為了保證質(zhì)量，通常需要雇傭?qū)＜襾磉M(jìn)行標(biāo)注，但這樣會造成代價成本高且規(guī)模難于擴(kuò)大。另一種方式是采用眾包標(biāo)注方法，雇傭普通人員來快速低成本完成標(biāo)注任務(wù)，但這樣獲取的數(shù)據(jù)含有很多噪音。

張梅山在報告中提出了一種利用眾包標(biāo)注數(shù)據(jù)學(xué)習(xí)對抗網(wǎng)絡(luò)模型的方法，來構(gòu)建中文實體識別系統(tǒng)。受對抗網(wǎng)絡(luò)學(xué)習(xí)的啟發(fā)，他們在模型中使用了兩個雙向 LSTM 模塊，來分別學(xué)習(xí)標(biāo)注員的公有信息和屬于不同標(biāo)注員的私有信息。對抗學(xué)習(xí)的思想體現(xiàn)在公有塊的學(xué)習(xí)過程中，以不同標(biāo)注員作為分類目標(biāo)進(jìn)行對抗學(xué)習(xí)。從而達(dá)到優(yōu)化公有模塊的學(xué)習(xí)質(zhì)量，使之收斂于真實數(shù)據(jù) (專家標(biāo)注數(shù)據(jù))。算法框架如下：

1-1，ALCrowd 框架

最終構(gòu)建的中文實體識別系統(tǒng) (Crowd-NER) 在真實數(shù)據(jù)上的性能比傳統(tǒng) CRF 模型高 7.2%(F1)：

 

1-2，實驗結(jié)果

[2] Adaptive Co-attention Network for Named Entity Recognition in Tweets

作者：張奇，傅金蘭，劉曉雨，黃萱菁

單位：復(fù)旦大學(xué)

隨后由來自復(fù)旦大學(xué)的傅金蘭介紹了他們在命名實體識別任務(wù)中的工作。

在 tweet 命名實體識別中，傳統(tǒng)的方法往往只使用了文本內(nèi)容。但是許多推文還包含圖像等內(nèi)容。這種視覺信息在實體識別任務(wù)中是極有價值的。例如下面的例子，

2-1，缺乏圖像信息

2-2，結(jié)合圖像信息

在只使用文本信息時可能會把「Rocky」識別為人名；但是結(jié)合 tweet 圖片，我們知道「Rocky」其實是一條狗。

為了充分利用文本和視覺信息，傅金蘭等人在論文中提出了一種處理 tweet 中包含多種信息的方法。具體來說，他們利用了條件隨機(jī)場和 Adaptive Co-attention Network 擴(kuò)展了一個雙向 LSTM 網(wǎng)絡(luò)。

2-3，集合視覺和文本信息的雙向 LSTM 網(wǎng)絡(luò)

為了評估這種方法，他們構(gòu)建了包含多模態(tài)推文的大規(guī)模標(biāo)記數(shù)據(jù)集。實驗結(jié)果表明，這種方法在大多數(shù)情況下可以比以前的方法獲得更好的效果。

（感謝傅金蘭指正?。?/em>

[3] Large Scaled Relation Extraction with Reinforcement Learning

作者：曾祥榮，何世柱，劉康，趙軍

單位：中科院自動化所

隨后來自中科院自動化所的陳玉博助理研究員代表同組的何世柱助理研究員做了關(guān)于使用增強(qiáng)學(xué)習(xí)進(jìn)行大規(guī)模關(guān)系抽取的報告。

從文本中進(jìn)行關(guān)系抽取在 NLP 領(lǐng)域是一個重要的任務(wù)。目前主要有兩種方法：句子級的關(guān)系抽取和基于知識庫的 bag 級關(guān)系抽取。

3-1，關(guān)系抽取任務(wù)的例子。該任務(wù)致力于提取實體對之間的關(guān)系。

3-2，將知識圖譜中的關(guān)系事實與自由文本對齊，自動生成大型縮放數(shù)據(jù)集。然而句子沒有直接標(biāo)注，其中一些（圖中的第三句）不能代表實體對的關(guān)系。

前者需要有人工標(biāo)注，難以大規(guī)模應(yīng)用；后者雖然能夠大規(guī)模進(jìn)行關(guān)系抽取，但是它只有 bag 的 label，而沒有具體句子的 label。作者使用增強(qiáng)學(xué)習(xí)的方法，將包中的句子看成增強(qiáng)學(xué)習(xí)的 state，將關(guān)系看成 action，將關(guān)系抽取分類器看成 agent，從而構(gòu)建了一個能夠依據(jù)大規(guī)模自動回標(biāo)的包數(shù)據(jù)訓(xùn)練出一個高質(zhì)量的句子級的關(guān)系抽取的分類器。

3-3，強(qiáng)化學(xué)習(xí)的過程。關(guān)系提取器是強(qiáng)化學(xué)習(xí) agent，r 是生成的獎勵。

基于這種方法構(gòu)建的兩個模型在公開發(fā)布的數(shù)據(jù)集上進(jìn)行實驗，結(jié)果證明所提方法與基線模型相比有 13.36% 的顯著提升。

（感謝陳玉博助理研究員指正?。?/em>
 

[4] Event Detection via Gated Multilingual Attention Mechanism

作者：劉健，陳玉博，劉康，趙軍

單位：中國科學(xué)院自動化研究所

隨后陳玉博助理研究員又做了關(guān)于通過門控多語言注意機(jī)制進(jìn)行事件檢測的報告。

在 NLP 應(yīng)用（例如信息提取系統(tǒng)）中，如何從文本中識別出事件非常重要。但目前這項任務(wù)的大多數(shù)現(xiàn)存方法只關(guān)于單一語言的特定語言線索，卻忽略了其他語言提供的大量信息。這些方法會受困于單語歧義性以及數(shù)據(jù)稀缺的影響。

 

4-1，在 ACE 2005 的統(tǒng)計中 70% 的事件事例少于 100 個

 

4-2，多語信息可以有助于消除單語歧義性

本文提出了一種新穎的多語言方法（稱之為門控多語言注意（GMLATT）框架）來同時處理前面兩種問題。具體來說，作者通過上下文關(guān)注機(jī)制，利用多語言數(shù)據(jù)的一致性信息緩解了數(shù)據(jù)稀缺的問題；同時他們提出了跨語言的門控注意，利用多語言數(shù)據(jù)傳遞的補(bǔ)充信息來解決單語歧義問題。

 

4-3，GMLATT 框架

他們在實驗部分選擇了 ACE 2005 基準(zhǔn)進(jìn)行了廣泛的實驗。結(jié)果表明這種方法顯著優(yōu)于當(dāng)前最先進(jìn)的方法。

（感謝陳玉博助理研究員指正?。?/em>

[5] Neural Networks Incorporating Dictionaries for Chinese Word Segmentation

作者：張奇，劉曉雨，傅金蘭

單位：復(fù)旦大學(xué)

第五個報告由來自復(fù)旦大學(xué)的劉曉雨介紹了他們在中文分詞中深度神經(jīng)網(wǎng)絡(luò)方面的工作。

近年來深度神經(jīng)網(wǎng)絡(luò)在中文分詞領(lǐng)域取得了很大的成功，但目前這種類型的方法大部分是端到端的訓(xùn)練系統(tǒng)，它們可以有效地處理和學(xué)習(xí)大規(guī)模標(biāo)記的數(shù)據(jù)集，但在處理低頻詞匯和領(lǐng)域?qū)Ｓ忻~時的表現(xiàn)并不是很好。

低頻詞匯	領(lǐng)域?qū)Ｓ忻~

另一方面，統(tǒng)計方法在中文分詞領(lǐng)域的成功表明，人類的知識在上面兩種情況下能夠提供極有價值的信息。所以作者提出詞典（人類知識）結(jié)合神經(jīng)網(wǎng)絡(luò)的方法，利用人類知識來提升神經(jīng)網(wǎng)絡(luò)在分詞任務(wù)中的表現(xiàn)。

5-1，廣義 Bi-LSTM –CRF 模型

具體來說，作者提出了兩種擴(kuò)展 Bi-LSTM-CRF 模型的方法來引入詞典信息，如下：

5-2，Model-I 框架。ex 和 t 表示字符嵌入和通過詞典構(gòu)造的特征向量；兩個并行的 Bi-LSTM 被用來提取上下文信息和潛在的字邊界信息

5-3，Model-II 框架。使用 HyperLSTM 為 MainLSTM 動態(tài)地生成權(quán)重。HyperLSTM 將特征向量 t 作為輸入，而 MainLSTM 將嵌入向量作為輸入

實驗結(jié)果表明，這種方法在大多數(shù)情況下表現(xiàn)得比其他state-of-the-art方法更好。特別在跨領(lǐng)域文本分詞中任務(wù)中，該方法相對state-of-the-art方法有顯著提升。此外，當(dāng)要把訓(xùn)練好的模型應(yīng)用到特定領(lǐng)域的分詞任務(wù)時，我們只需要添加額外的領(lǐng)域詞典即可，模型的參數(shù)保持不變，不需要再重新訓(xùn)練。

（感謝劉曉雨指正！）

[6] Learning Multimodal Word Representation via Dynamic Fusion Methods

作者：王少楠， 張家俊， 宗成慶

單位：自動化所

Session 1 的最后一個報告由來自中科院自動化所的王少楠所做，她介紹了他們組在基于動態(tài)融合方法的多模態(tài)詞匯表示模型上的研究工作。

 

6-1，dog+圖+音+情感

在學(xué)習(xí)語義詞匯表示任務(wù)中，多模態(tài)模型要比單純的基于文本的模型表現(xiàn)要好，例如下圖從融合文本、圖像、聲音、情感的信息中學(xué)習(xí)詞匯表示明顯要優(yōu)于單純的從文本中學(xué)習(xí)詞匯表示。

 

6-2，多模態(tài)模型

之前的多模態(tài)詞匯表示模型會將各種模態(tài)信息平等對待。但很明顯，來自不同模態(tài)（例如圖像和文本）的信息對不同類型的詞匯有不同的貢獻(xiàn)，理應(yīng)有不同的權(quán)重。比如對于抽象詞如「快樂」，文本模態(tài)對詞義的貢獻(xiàn)要大于感知覺模態(tài)的貢獻(xiàn)；而對于具象詞如「桌子」，文本和感知覺模態(tài)都會極大地影響詞匯的含義。

基于這種考慮，作者建立了可以根據(jù)不同類型的詞匯對不同模態(tài)的信息加以區(qū)分的多模態(tài)詞匯表示模型，模型中有三種動態(tài)融合機(jī)制，可以分別針對模態(tài)、詞類和詞匯對不同模態(tài)賦予不同的權(quán)重。其中，作者間接利用相關(guān)或相似詞對作為弱監(jiān)督信號來自動學(xué)習(xí)不同模態(tài)的權(quán)重。

 

6-3，其中四個數(shù)字對應(yīng)方法的四個步驟；Lw1 和 Lw2 是一個單詞關(guān)聯(lián)對的表示；Pw1 和 Pw2 是從文本到視覺映射 f 的輸出的預(yù)測視覺表示；一個單詞的多模式表示是其語言向量與其預(yù)測向量的加權(quán)連接，其中權(quán)重是可學(xué)習(xí)的參數(shù)。

實驗的結(jié)果表明，這種動態(tài)融合方法可以極大地提高詞匯表示的質(zhì)量。定性的結(jié)果分析表示，該模型可以針對不同類型的詞匯賦予不同的權(quán)重。這一結(jié)果也符合認(rèn)知科學(xué)的研究結(jié)論，即抽象詞更依賴文本模態(tài)，而具象詞的詞義學(xué)習(xí)依賴文本和感知覺模態(tài)。這個研究表明，利用計算模型對數(shù)據(jù)的規(guī)律進(jìn)行挖掘可以幫助認(rèn)知科學(xué)的相關(guān)研究。

（感謝王少楠的指正?。?/em>

Session 2（6場報告）

主持人：靳婷副教授，海南大學(xué)

[7] Inferring Emotion from Conversational Voice Data: A Semi-supervised Multi-path Generative Neural Network Approach

作者：周素平，賈珈，王琦，董宇飛，尹宇峰，雷克華

單位：清華大學(xué)

經(jīng)過一個多小時的茶歇和 poster 后，來自清華大學(xué)的周素平開啟了第二個環(huán)節(jié)的首場報告。報告中她介紹了他們組在語音對話應(yīng)用程序（VDA）中推斷情感方面提出的半監(jiān)督多路徑生成神經(jīng)網(wǎng)絡(luò)方法的工作。

為了在語音對話應(yīng)用（VDAs）中給出更人性化的回應(yīng)，從用戶查詢中推斷用戶的情緒狀態(tài)是一個重要的任務(wù)。在 VDAs 問題中有兩大挑戰(zhàn)：1）多模態(tài)信息所帶來的特征向量維數(shù)很大；2）大量的用戶和巨大的未標(biāo)記數(shù)據(jù)（有限的標(biāo)記數(shù)據(jù)）。

針對這些問題，在這篇論文中作者提出了一種半監(jiān)督的多路徑生成神經(jīng)網(wǎng)絡(luò)，框架流程如下：

圖 7-1，框架流程圖

為了避免高維輸入，他們將原始特征分別輸入到局部分類器中進(jìn)行訓(xùn)練，然后再將每個局部分類器的高級特征作為全局分類器的輸入。這兩種分類器通過一個單一的目標(biāo)函數(shù)同時進(jìn)行訓(xùn)練，以達(dá)到更有效、更有區(qū)別的情感推理。

為了進(jìn)一步解決標(biāo)記數(shù)據(jù)稀缺的問題，作者在上面的多路徑深度神經(jīng)網(wǎng)絡(luò)上擴(kuò)展了一個基于半監(jiān)督變分自動編碼器（semi-VAE）的生成模型，這個模型能夠同時訓(xùn)練標(biāo)記和未標(biāo)記的數(shù)據(jù)。

基于從搜狗 Voice Assistant1（SVAD13）和基準(zhǔn)數(shù)據(jù)集 IEMOCAP 收集到的 24,000 個真實世界的數(shù)據(jù)集進(jìn)行的實驗表明，該方法明顯優(yōu)于現(xiàn)有的最新結(jié)果；更為關(guān)鍵的是，該方法可以直接應(yīng)用在真實數(shù)據(jù)中。

[8] Long Text Generation via Adversarial Training with Leaked Information

作者：郭家賢，盧思迪，蔡涵，張偉楠，汪軍，俞勇

單位：上海交通大學(xué)     

隨后，來自上海交通大學(xué)的郭家賢分享了他們在長文本生成方面的研究工作。

在長文本生成中，現(xiàn)有的模型（GAN 方法）的標(biāo)量引導(dǎo)信號只有在文本完整生成后才可以使用，并且在生成過程中缺少關(guān)于文本結(jié)構(gòu)的中間信息，這些因素會限制長文本生成的效果。

8-1，LeakGAN 框架

本文提出了一種名為 LeakGAN 的框架，也即在生成的過程中 Discriminator 會將提取到的高級特征「泄露」給 Generator，以進(jìn)一步指導(dǎo)下一步的生成。在 Generator 中，通過一個額外的 Manager 模塊將這些信息整合到所有生成步驟中，并將當(dāng)前生成的字的提取特征輸出為一個潛在的向量，用來指導(dǎo) Worker 模塊進(jìn)行下一代詞的生成。

這個模型來源于一種想法，即人在說一句較長的話時，不是一下子把所有的詞都想完整了后再說，而是在說的過程中不斷根據(jù)前面內(nèi)容生成接下來要說的話。

其實驗證明，LeakGAN 在長文本生成中非常有效，并且在短文本生成場景中也提高了性能。

[9] Style Transfer in Text: Exploration and Evaluation

作者：付振新，譚曉燁，彭楠赟，趙東巖，嚴(yán)睿

單位：北京大學(xué)計算機(jī)科學(xué)技術(shù)研究所

接下來，來自北京大學(xué)計算科學(xué)與技術(shù)研究所的本科生付振新做了一項文本風(fēng)格轉(zhuǎn)換方面探索性的報告。

在風(fēng)格轉(zhuǎn)換方面，文本風(fēng)格轉(zhuǎn)換的研究要落后與其他領(lǐng)域（如計算機(jī)視覺），其主要原因是由于缺乏并行數(shù)據(jù)和可靠的評估指標(biāo)。

針對缺乏平行數(shù)據(jù)的挑戰(zhàn)，作者提出兩種模型來實現(xiàn)無平行語料數(shù)據(jù)集的風(fēng)格轉(zhuǎn)換方法。模型背后關(guān)鍵的思想為使用對抗網(wǎng)絡(luò)來分別學(xué)習(xí)內(nèi)容表示和風(fēng)格表示。

9-1，兩個模型：多解碼器（左）和風(fēng)格向量（右）。Content c 代表編碼器的輸出。多層感知器（MLP）和 Softmax 構(gòu)成分類器。

針對缺乏可靠的評估指標(biāo)的問題，作者提出了「轉(zhuǎn)換強(qiáng)度」和「內(nèi)容保持（content preservation）」兩項評估指標(biāo)。

他們選擇了兩種風(fēng)格轉(zhuǎn)換任務(wù)來進(jìn)行試驗，分別為：論文-新聞標(biāo)題的風(fēng)格轉(zhuǎn)換和正負(fù)面評論的風(fēng)格轉(zhuǎn)換。

9-2，論文-新聞標(biāo)題風(fēng)格轉(zhuǎn)換（左）和正負(fù)面評論風(fēng)格轉(zhuǎn)換（右）

結(jié)果顯示，且通過對自動編碼器的對比等，發(fā)現(xiàn)所提模型既能遷移風(fēng)格，又能保留內(nèi)容。

（感謝付振新指正?。?/em>

[10] Meta Multi-Task Learning for Sequence Modeling

作者：陳俊坤，邱錫鵬，劉鵬飛，黃萱菁

單位：復(fù)旦大學(xué)

隨后來自復(fù)旦大學(xué)的陳俊坤做了關(guān)于序列建模的元多任務(wù)學(xué)習(xí)的報告。

語義組合函數(shù)（Semantic composition functions）在文本序列的神經(jīng)表示學(xué)習(xí)中起著舉足輕重的作用。在這個任務(wù)中已經(jīng)有許多模型，盡管它們?nèi)〉昧撕艽蟪晒?，但是也都存?underfitting 的問題：它們在序列中的所有位置上使用相同的共享組合函數(shù)，因此會由于無法捕捉到合成的豐富性而缺乏表達(dá)能力；另外，不同任務(wù)的組合函數(shù)也是獨立的，每次都需要從頭開始學(xué)習(xí)。

在這篇文章中，作者提出了一個跨多個任務(wù)組合函數(shù)的共享方案。具體來說，作者使用一個共享的元網(wǎng)絡(luò)來捕獲語義組合的元知識，并生成任務(wù)特定的語義組合模型的參數(shù)。

作者對兩個任務(wù)（文本分類和序列標(biāo)簽）進(jìn)行了實驗。實驗結(jié)果表明，這個模型學(xué)到的共享元知識可以被看做是現(xiàn)成的知識，也很容易遷移到新的任務(wù)上。

（感謝陳俊坤指正?。?/em>

陳俊坤：

原先的多任務(wù)學(xué)習(xí)可視為學(xué)習(xí)出更好的表示特征，即 feature-level 的共享模式，如果一個 layer 的作用可以視為$layer =\sigma(W*x)$的話，那么之前的多任務(wù)學(xué)習(xí)旨在得到更好的 x，而我們的模型則保持 x 與單任務(wù)時相同，利用一個共享的小網(wǎng)絡(luò)控制 W，我們稱為 function-level 的共享模式。

[11] RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems

作者：陶重陽，牟力立，趙東巖，嚴(yán)睿

單位：北京大學(xué)計算機(jī)科學(xué)技術(shù)研究所

來自北大計算科學(xué)與技術(shù)研究所的助理教授嚴(yán)睿做了關(guān)于開放域?qū)υ捪到y(tǒng)無監(jiān)督自動評估的報告。

開放域?qū)υ捪到y(tǒng)目前還不存在標(biāo)準(zhǔn)的自動評估指標(biāo)。研究者通常會使用人工標(biāo)注進(jìn)行模型評估，但這種方法費時費力。在這篇文章中，作者提出了一種 referenced 度量和 unreferenced 度量混合評估的 RUBER，它通過同時考慮一個 ground truth 答復(fù)和一個查詢（先前用戶發(fā)出的話語）來評估一個答案。這種指標(biāo)是可以學(xué)習(xí)的，它的訓(xùn)練并不需要人類滿意的標(biāo)簽。所以 RUBER 比較靈活，可以擴(kuò)展到不同的數(shù)據(jù)集和語言上。

在對檢索和生成對話系統(tǒng)的實驗表明，RUBER 與人類標(biāo)注有很高的相關(guān)性。

[12] Exploring Implicit Feedback for Open Domain Conversation Generation

作者：張偉男，李凌志，曹東巖，劉挺

單位：哈爾濱工業(yè)大學(xué)

Session 2 的最后一個報告由來自哈工大 SCIR 的張偉男副教授分享了 SCIR 在開放域?qū)υ捝呻[式反饋探索方面的工作。

在人機(jī)對話過程中，人們通常會表現(xiàn)出某種立場、情緒以及尷尬等狀態(tài)，我們稱之為用戶在人機(jī)對話過程中的隱式反饋。

相比于任務(wù)型人機(jī)對話在對話結(jié)束后通過問卷的形式顯式地獲取用戶的反饋，隱式反饋更加自然且不需要用戶作出對話之外的反饋操作。在開放域人機(jī)對話中，用戶的隱式反饋普遍存在。

這篇文章探尋了人機(jī)對話過程中的用戶隱式反饋對于開放域?qū)υ捝傻淖饔?，在?qiáng)化學(xué)習(xí)的框架下，將隱式反饋建模到對話獎勵函數(shù)中，獲得比 baseline 更好的對話生成效果。

（感謝張偉男副教授指正！）

來張講者合照鎮(zhèn)樓！

其中有教授、博士、研究生、本科生，覆蓋了學(xué)術(shù)研究的各個年齡層。

（照片由哈工大李家琦博士提供）

?。。OTE?。。?/span>

預(yù)講會已經(jīng)結(jié)束，頂會將要開始。屆時雷鋒網(wǎng) AI 科技評論也將到現(xiàn)場進(jìn)行一線報道。如果你也有論文被 AAAI 錄用 ，歡迎在后臺留下你的聯(lián)系方式，我們將與您聯(lián)系，并進(jìn)行更多交流！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。