聯(lián)合編譯：高斐，章敏，陳楊英杰

導(dǎo)讀：KDD2016是首屈一指的跨學(xué)科會議，它聚集了數(shù)據(jù)科學(xué)，數(shù)據(jù)挖掘，知識發(fā)現(xiàn)，大規(guī)模數(shù)據(jù)分析和大數(shù)據(jù)方面的研究人員和從業(yè)人員。

論文一：在頻率域中壓縮卷積神經(jīng)網(wǎng)絡(luò)

摘要

卷積神經(jīng)網(wǎng)絡(luò)(CNN)在計算機視覺的多個研究領(lǐng)域受到越來越廣泛的應(yīng)用。由于卷積神經(jīng)網(wǎng)絡(luò)能夠通過利用數(shù)以百萬計的參數(shù)，“吸收”大量的標(biāo)記數(shù)據(jù)，這種神經(jīng)網(wǎng)絡(luò)的應(yīng)用受到普遍關(guān)注。然而，隨著模型尺寸不斷增大，對分類器的儲存與記憶要求也不斷提升，如此便對許多應(yīng)用，如手機及其他設(shè)備的圖像識別，語音識別功能，形成阻礙。本文將呈現(xiàn)一種新型網(wǎng)絡(luò)建構(gòu)----對頻率敏感的散列網(wǎng)（FreshNets），這種散列網(wǎng)是利用一個深度學(xué)習(xí)模型的卷積層與全面連接層之間固有存在的冗余建構(gòu)形成，能夠極大程度上節(jié)省記憶與存儲消耗。學(xué)習(xí)卷積濾波器的權(quán)重通常是平穩(wěn)和低頻的，基于這一重大觀察結(jié)果，我們首先將濾波器的權(quán)重轉(zhuǎn)變?yōu)閹в须x散余弦變換的頻域，使用低成本的散列函數(shù)隨機將頻率參數(shù)劃分為散列桶位。被分配為同一個散列桶位的所有參數(shù)共享一個能夠運用標(biāo)準(zhǔn)反向傳播算法學(xué)會的單一值。為了進一步縮減模型的尺寸，我們將少數(shù)散列桶位分配給一些高頻率組分，這些高頻率組分通常不太重要。我們在八個數(shù)據(jù)集中對FreshNets進行評估，評估結(jié)果顯示，與其他幾種相關(guān)聯(lián)的基線相比，F(xiàn)reshNets具備更高的壓縮性能。

關(guān)鍵字：模型壓縮；卷積神經(jīng)網(wǎng)絡(luò)；散列

第一作者簡介

Wenlin Chen

學(xué)校：圣路易斯華盛頓大學(xué)計算機科學(xué)與工程系博士

主要研究領(lǐng)域：機器學(xué)習(xí)，數(shù)據(jù)挖掘，人工智能，其中尤其對深度學(xué)習(xí)和大規(guī)模機器學(xué)習(xí)兩個領(lǐng)域感興趣

相關(guān)學(xué)術(shù)成果：

·Strategies for Training Large Vocabulary Neural Language Models（Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016. （ACL-16））

·Compressing Convolutional Neural Networks in the Frequency Domain,（Proc. ACM SIGKDD Conference, 2016. （KDD-16））

·Deep Metric Learning with Data Summarization.European Conference on Machine Learning（2016 （ECML-16））

論文鏈接：原論文下載

論文二：多重任務(wù)特征交互學(xué)習(xí)

摘要

線性模型在各種各樣的數(shù)據(jù)挖掘與機器學(xué)習(xí)算法中均得到了廣泛應(yīng)用。這類模型的一個主要局限性在于缺乏從特征交互過程中獲取預(yù)測性信息的能力。盡管引進高階特征交互術(shù)語能夠克服這一缺點，這一方法仍將在極大程度上增加模型的復(fù)雜性，并且為處理學(xué)習(xí)過程中過度擬合現(xiàn)象帶來重大挑戰(zhàn)。當(dāng)出現(xiàn)多種相互關(guān)聯(lián)的學(xué)習(xí)任務(wù)，這些任務(wù)中的特征交互通常是相互關(guān)聯(lián)的，為這種關(guān)聯(lián)關(guān)系建模對于提高這些特征交互學(xué)習(xí)的普適性起到關(guān)鍵性的作用。本文我們提出一種新型多重任務(wù)特征交互學(xué)習(xí)（MTIL）框架，以在高階特征交互過程中利用各種任務(wù)之間的聯(lián)系。具體來講，我們用張量來表示多重任務(wù)中的特征交互，利用這一張量，我們將關(guān)于任務(wù)關(guān)聯(lián)的先前知識納入不同的結(jié)構(gòu)化調(diào)整過程中。在此學(xué)習(xí)框架下，我們制定出兩種具體的方法，即共享式交互方法和嵌入式交互方法。前者認為，所有的任務(wù)具有共同的交互模式，后者則認為，多重任務(wù)的特征交互具有共同的子空間。我們?yōu)橹贫ǔ鲞@兩種方案提供了高效的算法。有關(guān)這類合成的且真實的數(shù)據(jù)集的廣泛實證研究證實了我們所提出的多重任務(wù)特征交互學(xué)習(xí)框架的有效性。

關(guān)鍵字：多重任務(wù)學(xué)習(xí)；特征交互；機構(gòu)化調(diào)整；張量標(biāo)準(zhǔn)

第一作者簡介

Kaixiang Lin

學(xué)校：密歇根州立大學(xué)計算機科學(xué)與工程系助教

主要研究領(lǐng)域：機器學(xué)習(xí)與數(shù)據(jù)挖掘

相關(guān)學(xué)術(shù)成果：

·Online Multi-task Learning Framework for Ensemble Forecasting（ submitted to TKDE）

·Synergies that Matter: Efficient Interaction Selection via Sparse Factorization Machine 

（SDM，2016） 

·GSpartan: a Geospatio-Temporal Multi-task Learning Framework for Multi-location Prediction. （SDM，2016） 

下載鏈接：原論文下載

論文三：私人助理的語境意圖追蹤（KDD2016最佳學(xué)生論文）

摘要

在智能私人助理方面，一種新的建議形式正在興起如Apple’s Siri、Google Now和 Microsoft Cortana，它們可以“在恰當(dāng)?shù)臅r間推薦恰當(dāng)?shù)男畔ⅰ?，并積極主動地幫助你“把事情解決”。這種類型的推薦需要精確的跟蹤用戶當(dāng)時的意圖，即，用戶打算知道什么類型的信息（例如，天氣，股票價格），和他們打算完成什么任務(wù)（例如，演奏音樂，打車）。用戶的意圖與語境是密切相關(guān)的，其中包括外部環(huán)境，如時間和地點，以及用戶的內(nèi)部活動（可以由個人助理感覺到）。語境和意圖之間表現(xiàn)出復(fù)雜的共同發(fā)生和序列相關(guān)，且語境信號也非常混雜、稀疏，這使得建模語境—意圖之間的關(guān)系，變成了一項具有挑戰(zhàn)性的任務(wù)。為了解決意圖跟蹤問題我們提出了Kalman filter regularize PARAFAC2 (KP2) 實時預(yù)報模型，它可以細密的表示語境和意圖之間的結(jié)構(gòu)和共同運動。KP2模型在用戶上利用了協(xié)同能力，并學(xué)習(xí)每個用戶的個性化動態(tài)系統(tǒng)，以確保高效的實時預(yù)測用戶意圖。大部分實驗使用了來自商業(yè)個人助理的真實世界數(shù)據(jù)集，結(jié)果顯示KP2模型明顯優(yōu)于其它的所有方法，且在個人助理中部署大規(guī)模的主動建議系統(tǒng)方面，提供了鼓舞人心的啟示。

關(guān)鍵詞：建議；實時預(yù)測；多任務(wù)學(xué)習(xí)

第一作者簡介

Yu sun

學(xué)校：墨爾本大學(xué)計算與信息系統(tǒng)系

研究方向：語境行為挖掘，強化學(xué)習(xí)，最優(yōu)位置發(fā)現(xiàn)，空間/時間索引，算法設(shè)計/分析。

相關(guān)學(xué)術(shù)成果：

·A Contextual Collaborative Approach for App Usage Forecasting,（UbiComp, 2016）

·Reverse Nearest Neighbor Heat Maps: A Tool for Influence Exploration,（ICDE，966-977， 2016）

下載鏈接：原論文下載

論文四：展示廣告中刪失數(shù)據(jù)無偏學(xué)習(xí)的投標(biāo)意識梯度下降算法

摘要

實時競價顯示廣告中，每個印像的廣告位是通過拍賣機制進行出售的。對于一個廣告主來說，廣告活動的信息是不完整的——只有在廣告主的出價贏得了相應(yīng)的廣告拍賣后，用戶的反饋（例如，點擊或轉(zhuǎn)換）和每個廣告印像的市場價格才可以被觀察到。預(yù)測，如市場價分布預(yù)測，點擊率（CTR）估計，和投標(biāo)優(yōu)化，都是運行在預(yù)投標(biāo)階段通過全量投標(biāo)請求數(shù)據(jù)上的。然而，訓(xùn)練數(shù)據(jù)是在后投標(biāo)階段聚集的——對獲勝印象具有嚴重的偏向。學(xué)習(xí)這種刪失數(shù)據(jù)的普遍方法是重新加權(quán)數(shù)據(jù)實例，以糾正訓(xùn)練和預(yù)測之間的不一致性。然而，在如何獲得獨立于投標(biāo)策略的權(quán)重以及將它們整合到最終的CTR預(yù)測和投標(biāo)生成步驟的研究非常很少。本文中，我們在這種刪失拍賣數(shù)據(jù)下制定了CTR評估和投標(biāo)優(yōu)化。通過在一個生存模型上的推導(dǎo)，我們表明，以前的投標(biāo)信息被自然地納入到投標(biāo)意識梯度下降（BGD）算法中，它控制了實現(xiàn)無偏學(xué)習(xí)的梯度的權(quán)重和方向。基于兩個大規(guī)模真實世界的數(shù)據(jù)集經(jīng)驗學(xué)習(xí)，這種方法在我們的解法中顯示出了卓越的性能優(yōu)勢。學(xué)習(xí)框架已部署在Yahoo的實時競價平臺，且在一個在線A/B測試上，得到了CTR預(yù)估2.97%的AUC上升，和投標(biāo)優(yōu)化任務(wù)中9.30% 的eCPC下降。

關(guān)鍵詞：無偏學(xué)習(xí)，刪失數(shù)據(jù)，實時競價，展示廣告。

第一作者簡介

Weinan Zhang（張偉楠）

學(xué)校：倫敦大學(xué)學(xué)院計算機科學(xué)系/2016年8月進入上海交通大學(xué)任職助理教授

研究方向:機器學(xué)習(xí)，大數(shù)據(jù)挖掘及其在計算廣告和推薦系統(tǒng)中的應(yīng)用

相關(guān)學(xué)術(shù)成果：

·User Response Learning for Directly Optimizing Campaign Performance in Display Advertising（CIKM 2016）

·Learning, Prediction and Optimisation in RTB Display Advertising（CIKM，October 2016）

下載鏈接：原論文下載

論文五：推薦系統(tǒng)的協(xié)同知識庫嵌入

摘要：

在不同的推薦技術(shù)中，協(xié)同過濾通常因為稀疏的用戶-對象交互而性能受限。為了解決這些問題，我們通常用輔助信息來提高性能。由 于網(wǎng)絡(luò)上的信息快速收集，知識庫能提供異構(gòu)信息，包括含不同語義的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，它們可以被用到各類應(yīng)用中。在本文中，我們研究如何利用知識庫中 的異構(gòu)信息，來提高推薦系統(tǒng)的質(zhì)量。首先，通過利用知識庫，我們設(shè)計了三個組件分別從結(jié)構(gòu)內(nèi)容，文本內(nèi)容和視頻內(nèi)容中提取對象的語義表述。具體來說，我們 采用的異構(gòu)網(wǎng)絡(luò)嵌入方法，稱為TransR，考慮通過節(jié)點和關(guān)系的異質(zhì)性來提取對象的結(jié)構(gòu)表示。我們采用堆疊降噪自動編碼器和堆疊卷積自動編碼器，這是基 于嵌入技術(shù)的深度學(xué)習(xí)的兩種類型，來分別提取對象的文本表示和圖像表示。最后，我們提出了最終的集成框架，稱為協(xié)同知識庫嵌入（CKE），來聯(lián)合學(xué)習(xí)協(xié)同 過濾出的潛在表征以及知識庫中對象的語義表征。為了評估每個嵌入組件以及整個系統(tǒng)的性能，我們通過兩個不同情境的現(xiàn)實世界數(shù)據(jù)集，進行了廣泛的實驗。結(jié)果 表明，我們的方法優(yōu)于幾種被廣泛采用的最先進的推薦方法。

 關(guān)鍵詞：推薦系統(tǒng)；知識庫嵌入；協(xié)同學(xué)習(xí)

第一作者簡介

Fuzheng Zhang（張富崢）

機構(gòu)：微軟亞洲研究院副研究員，中國科技大學(xué)計算機系博士。

研究方向：用戶模型、推薦系統(tǒng)、深度學(xué)習(xí)、情感檢測、社交網(wǎng)絡(luò)、時空數(shù)據(jù)挖掘、普適計算、大規(guī)模系統(tǒng)。

作者信息鏈接：https://www.microsoft.com/en-us/research/people/fuzzhang/

 下載鏈接：原論文下載

論文六：魯棒性影響最大化

摘要

在本文中，對于深入研究影響力最大化，我們在邊際影響力概率預(yù)估中提出了關(guān)于不確定性的重要問題，即在社交網(wǎng)絡(luò)中，找到可以最 大化傳播影響力的種子節(jié)點k的任務(wù)。我們提出的魯棒性影響力最大化的問題，就是給定輸入?yún)?shù)的不確定性，在所選種子設(shè)置和最佳種子設(shè)置的影響力傳播之間最 大化最壞情況下的比例。我們設(shè)計了一種算法，依靠方案相關(guān)邊界來解決這個問題。我們通過進一步研究均勻采樣和自適應(yīng)采樣方法來有效減少參數(shù)不確定性，并提 高了影響力最大化任務(wù)的魯棒性。我們的實驗結(jié)果表明，參數(shù)不確定性可能會嚴重影響影響力的最大化，并且之前的研究也表明，經(jīng)驗影響的概率會因為參數(shù)預(yù)估不 確定性較大，而導(dǎo)致魯棒性影響最大化的性能很差?；谧赃m應(yīng)抽樣方法的信息疊加也許可以有效改善影響力最大化的魯棒性。

關(guān)鍵詞：社交網(wǎng)絡(luò)；影響最大化；魯棒性優(yōu)化；信息傳播

第一作者簡介

陳衛(wèi)

學(xué)校：微軟亞洲研究院高級研究員，清華大學(xué)客座教授，中國科學(xué)院計算所客座研究員，多個國際頂級數(shù)據(jù)挖掘和數(shù)據(jù)管理會議（KDD、 WSDM、 SIGMOD、 ICDE、 WWW等）的程序委員會成員，中國計算機學(xué)會大數(shù)據(jù)專家委員會首批成員，《大數(shù)據(jù)》期刊編委。

研究方向：社交與信息網(wǎng)絡(luò)算法和數(shù)據(jù)挖掘、網(wǎng)絡(luò)博弈論和經(jīng)濟學(xué)、在線學(xué)習(xí)等。

近幾年在社會影響力最大化方面的一系列開創(chuàng)性研究成果：在KDD、 ICDM、SDM、 WSDM、 ICWSM、 AAAI、 VLDB等頂級數(shù)據(jù)挖掘、人工智能和數(shù)據(jù)庫學(xué)術(shù)會議上發(fā)表后得到良好反響，并引發(fā)這一方向眾多的后續(xù)工作。最早發(fā)表的KDD’ 2009論文被引用次數(shù)排同會議所有論文第二位，而第二篇KDD’ 2010論文被引用次數(shù)排同會議所有論文第一位。 2013年與另外兩位合作者合寫了一部關(guān)于影響力傳播和最大化的專著（Information and Influence Propagation in Social Networks, Morgan& Claypool, 2013），系統(tǒng)總結(jié)了這方面的研究成果和最新發(fā)展。另外，在與社會和信息網(wǎng)絡(luò)相關(guān)的方向，如社區(qū)檢測、網(wǎng)絡(luò)中心化度量排序、網(wǎng)絡(luò)博弈、網(wǎng)絡(luò)定價、網(wǎng)絡(luò)激勵機制等方面也都做出開創(chuàng)性的工作，其中將博弈論引入網(wǎng)絡(luò)社區(qū)檢測的論文獲得了2010年歐洲機器學(xué)習(xí)及數(shù)據(jù)挖掘會議最佳學(xué)生論文獎。

 下載鏈接：原論文下載

via：KDD2016 accepted-papers

PS : 本文由雷鋒網(wǎng)獨家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。