第七屆全國社會媒體處理大會三項技術(shù)評測開始報名了

本文作者： camel

2018-04-19 18:17

導(dǎo)語：用戶畫像、人機對話、文本溯源

全國社會媒體處理大會（SMP）由中國中文信息學(xué)會社會媒體處理專委會主辦，專注于以社會媒體處理為主題的科學(xué)研究與工程開發(fā)，為傳播社會媒體處理最新的學(xué)術(shù)研究與技術(shù)成果提供廣泛的交流平臺，旨在構(gòu)建社會媒體處理領(lǐng)域的產(chǎn)學(xué)研生態(tài)圈，成為中國乃至世界社會媒體處理的風(fēng)向標(biāo)，會議將以社交網(wǎng)絡(luò)的形式改變傳統(tǒng)的學(xué)術(shù)會議交流體驗。第七屆全國社會媒體處理大會（SMP 2018）將于8月2日至4日在哈爾濱召開。

本屆會議將并行舉辦三個技術(shù)評測競賽單元：

用戶畫像技術(shù)評測（The Evaluation of User Profiling Technology，SMP-EUPT）
中文人機對話技術(shù)評測（The Evaluation of Chinese Human-Computer Dialogue Technology，SMP-ECDT）
文本溯源技術(shù)評測（The Evaluation of Text Sourcing Technology，SMP-ETST）

背景簡介

用戶畫像技術(shù)評測（SMP-EUPT）

隨著機器創(chuàng)作能力越來越強，今后社會媒體上將會產(chǎn)生越來越多的機器創(chuàng)作者自動生產(chǎn)的內(nèi)容。有效識別出哪些是人類作者生產(chǎn)的內(nèi)容，哪些是機器作者生產(chǎn)的內(nèi)容，對于媒體內(nèi)容的審核、分發(fā)、推薦等，具有十分重要的意義。

本屆用戶畫像技術(shù)評測聚焦于媒體內(nèi)容創(chuàng)作者畫像問題，由北京字節(jié)跳動科技有限公司（今日頭條）提供豐富的媒體內(nèi)容數(shù)據(jù)集，進行作者身份的自動識別。

中文人機對話技術(shù)評測（SMP-ECDT）

人機對話技術(shù)近年來受到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。學(xué)術(shù)上，人機對話是人機交互最自然的方式之一，其發(fā)展影響并推動著語音識別與合成、自然語言理解、對話管理以及自然語言生成等研究的進展；產(chǎn)業(yè)上，眾多產(chǎn)業(yè)界巨頭相繼推出了人機對話技術(shù)相關(guān)產(chǎn)品，如個人事務(wù)助理、虛擬情感陪護機器人、娛樂型聊天機器人等等，并將人機對話技術(shù)作為其公司的重點研發(fā)方向。

本屆中文人機對話技術(shù)評測將聚焦于用戶意圖的識別和響應(yīng)問題，以科大訊飛股份有限公司提供的數(shù)據(jù)集為基礎(chǔ)，分別開展用戶意圖領(lǐng)域分類和特定領(lǐng)域任務(wù)型人機對話在線評測。

文本溯源技術(shù)評測（SMP-ETST）

文本溯源的目標(biāo)是判斷一個文本的內(nèi)容是否復(fù)制或改編于另外一個或者多個文件。文本溯源技術(shù)在學(xué)術(shù)誠信檢測、搜索引擎優(yōu)化等領(lǐng)域有廣泛應(yīng)用。

本屆文本溯源技術(shù)評測以科研立項或成果創(chuàng)新型審查為應(yīng)用背景，以著名的學(xué)術(shù)搜索系統(tǒng) AMiner 提供的大量中文論文摘要數(shù)據(jù)為基礎(chǔ)，進行句子溯源技術(shù)評測。

任務(wù)描述

評測單元	任務(wù)描述
用戶畫像	給定一個由若干媒體內(nèi)容文檔構(gòu)成的數(shù)據(jù)集，參賽隊伍采用適當(dāng)?shù)乃惴?，對每篇文檔的作者進行身份識別，區(qū)分出該文檔屬于人類寫作、機器寫作、機器翻譯和機器自動摘要中的哪一類。
中文人機對話	任務(wù) 1：用戶意圖領(lǐng)域分類在人機對話系統(tǒng)的應(yīng)用過程中，用戶可能會有多種意圖，相應(yīng)地會觸發(fā)人機對話系統(tǒng)中的多個領(lǐng)域（domain），包括任務(wù)型垂直領(lǐng)域（如查詢機票、酒店、公交車等）、知識型問答以及閑聊等。本任務(wù)的目標(biāo)就是正確地將用戶的輸入分類到正取的領(lǐng)域（domain）中。任務(wù) 2：特定域任務(wù)型人機對話在線評測針對特定域的任務(wù)型人機對話系統(tǒng)，人工實時在線對話交互及評價能夠反映系統(tǒng)對于用戶意圖響應(yīng)的性能以及用戶真實的滿意度。本任務(wù)的目標(biāo)是面向特定領(lǐng)域的任務(wù)型人機對話在線評測。
文本溯源	本次文本溯源技術(shù)評測的任務(wù)是句子級的檢測，即給定一批待查句子和一個源數(shù)據(jù)集，判斷待查句子是否改編自源數(shù)據(jù)集中的句子，如果是則找出相應(yīng)的源句子。句子改編的范疇包括但不限于：微修改、增加、部分刪簡、對文字表述進行概括、改變原有的排列順序、關(guān)鍵詞替換等。

數(shù)據(jù)集說明

用戶畫像技術(shù)評測數(shù)據(jù)集由今日頭條提供，中文人機對話技術(shù)評測數(shù)據(jù)集由科大訊飛提供，文本溯源技術(shù)評測數(shù)據(jù)集由清華大學(xué) AMiner 系統(tǒng)提供。所有數(shù)據(jù)集僅限于本次技術(shù)評測使用，未經(jīng)許可不能用于任何其他目的和任何地方，不得匯編入其他數(shù)據(jù)集或數(shù)據(jù)庫。如需將某數(shù)據(jù)集用于其他課題研究及發(fā)表論文，需與評測主辦方聯(lián)系取得許可后方可使用。
數(shù)據(jù)集的具體內(nèi)容、范圍、規(guī)模及格式以最終發(fā)布的真實數(shù)據(jù)集為準(zhǔn)。
訓(xùn)練集用于模型的學(xué)習(xí)，驗證集用于在線實時評估算法效果，評測集用于最終的效果評測。其中驗證集和評測集的標(biāo)簽信息不公開發(fā)布，用于組委會進行在線實時評測和最終評測。

重要日期

用戶畫像

4 月 15 日：發(fā)布評測方案，開始報名
5 月 05 日：發(fā)布訓(xùn)練集
6 月 01 日：發(fā)布驗證集，開始提交中間結(jié)果并發(fā)布周排行榜
6 月 30 日：停止提交驗證集中間結(jié)果
7 月 01 日：發(fā)布評測集，提交最終評測結(jié)果（1 天之內(nèi)完成）
8 月 04 日：技術(shù)評測論壇（揭曉獲獎名單+頒獎+技術(shù)報告）

中文人機對話

4 月 01 日：開始預(yù)報名
4 月 11 日：開始正式報名
5 月 01 日：發(fā)布訓(xùn)練及開發(fā)集
5 月 02 日：開始系統(tǒng)搭建及調(diào)整
7 月 13 日：提交任務(wù) 1 最終評測結(jié)果（1 天之內(nèi)完成）
7 月 14 日：提交任務(wù) 2 最終評測結(jié)果（3 天之內(nèi)完成）
8 月 04 日：技術(shù)評測論壇（揭曉獲獎名單+頒獎+技術(shù)報告）

文本溯源

5 月 03 日：發(fā)布評測方案，開始報名
5 月 15 日：發(fā)布訓(xùn)練集
6 月 01 日：發(fā)布驗證集，開始提交驗證集中間結(jié)果
6 月 30 日：停止提交驗證集中間結(jié)果
7 月 01 日：發(fā)布評測集，提交最終評測結(jié)果（1 天之內(nèi)完成）
8 月 04 日：技術(shù)評測論壇（揭曉獲獎名單+頒獎+技術(shù)報告）

獎勵

評測單元	獎勵
用戶畫像	A. 獎金一等獎 1 名：10000 元二等獎 2 名：每名 5000 元三等獎 3 名：每名 3000 元 B. 獎勵獲獎?wù)呖色@得直接面試今日頭條 AI Lab 的機會每周排行榜的冠軍獲得者簡歷可直通今日頭條 HR
中文人機對話	A. 任務(wù) 1 第 1 名：6000 元第 2 名：4000 元第 3 名：2000 元 B. 任務(wù) 2 第 1 名：10000 元第 2 名：8000 元第 3 名：6000 元
文本溯源	一等獎 1 名：20000 元二等獎 2 名：每名 10000 元三等獎 3 名：每名 4000 元