0
雷鋒網(wǎng) AI 科技評論按：相比于Facebook和谷歌時不時發(fā)出機器學習方面的論文，國內(nèi)BAT要顯得沉默一點，拿出的非常前沿的成果也不那么多。但這可絲毫不能抹殺他們以實際應用問題為導向做出的努力。雷鋒網(wǎng)了解到，阿里的技術團隊就剛剛在arXiv上公開了一篇論文，用他們設計的深度興趣網(wǎng)絡（Deep Interest Network，DIN）解決準確預測點擊量的問題。
這篇論文來自阿里媽媽（阿里巴巴集團的大數(shù)據(jù)營銷推廣平臺）的精準定向檢索及基礎算法團隊，團隊負責人是清華博士蓋坤。他們團隊的目的是幫商家更準確地預測用戶的行為，投放更精準的廣告——也就讓用戶更容易踏上剁手的不歸路，說起來真是讓人糾結。
據(jù)雷鋒網(wǎng) AI 科技評論了解，蓋坤本科畢業(yè)于清華大學自動化專業(yè)，然后直博模式識別與智能系統(tǒng)方向，畢業(yè)后就加入了阿里巴巴任技術專家，花名靖世，現(xiàn)在已經(jīng)是阿里媽媽事業(yè)部精準展示廣告技術部P10級別的技術總監(jiān)。
蓋坤在頂級期刊和會議（NIPS／CVPR／AAAI / TPAMI等）上發(fā)表過多篇論文，前幾年就提出過MLR（Mixture of Logistic Regression，分片線性學習）算法用來提高阿里巴巴對廣告點擊率預測的準確度。相比傳統(tǒng)線性模型，MLR可以自動挖掘數(shù)據(jù)中的非線性模式，避免了大量人工特征設計；同時MLR引入的范數(shù)正則可以使最終訓練出的模型有較高的稀疏度，模型的學習能力和在線預測能力顯著高于傳統(tǒng)線性模型。蓋坤本人也對MLR做過一份PPT介紹，可以看這里 海量數(shù)據(jù)下的非線性模型探索 - 蓋坤。
這篇名為「Deep Interest Network for Click-Through Rate Prediction」的新論文展示了蓋坤團隊在廣告點擊率預測方面利用深度學習達到的最新進展。
深度學習在模式識別、非線性關聯(lián)方面的優(yōu)勢吸引到了蓋坤團隊的注意，但是他們發(fā)現(xiàn)直接把基本的多層全連接神經(jīng)元用來做訓練和預測的時候會出現(xiàn)對用戶歷史行為數(shù)據(jù)利用不夠好的問題，他們認為準確率還有進一步提升的空間。
通過觀察阿里巴巴采集的用戶歷史行為數(shù)據(jù)，蓋坤團隊發(fā)現(xiàn)有兩個指標對廣告點擊率預測準確率有重大影響，一個是“多樣性（Diversity）”，一個用戶可以對很多不同品類的東西感興趣；另一個指標是“部分對應（Local activation）”，只有一部分的數(shù)據(jù)可以用來預測用戶的點擊偏好，比如系統(tǒng)自動向用戶推薦的太陽鏡會跟用戶買的泳衣產(chǎn)生關聯(lián)，但是跟用戶買的書就沒什么關系了。
基于這兩個指標，蓋坤團隊受到用于機器翻譯的注意力模型啟發(fā)，對基本的多層全連接神經(jīng)元架構（左圖）進行了修改，從而提出了深度興趣網(wǎng)絡（Deep Interest Network，DIN，右圖）的新結構。
DIN把用戶的興趣看作一個分布，然后借助類似注意力模型的新增網(wǎng)絡結構對用戶的歷史數(shù)據(jù)和待估算的廣告之間部分匹配、計算權重，再輸出給累加器和池化層，這樣一來，匹配度越高的歷史數(shù)據(jù)就對結果的影響越大。據(jù)論文介紹，這樣的網(wǎng)絡結構可以對多樣性和部分對應兩種指標都形成有效利用，而以往的網(wǎng)絡模型是很難利用到部分對應這一指標的。
阿里巴巴在生產(chǎn)環(huán)境中測試了DIN模型，用20天的數(shù)據(jù)進行訓練，用第21天的數(shù)據(jù)進行測試，使用的指標是論文中提出的泛化AUC（基于用戶的分組加權平均AUC）。與基礎模型對比，DIN的準確性有可見提升，達到1.08%。
除了新的網(wǎng)絡架構本身，蓋坤團隊還在論文中介紹了一些為了順利把模型用于生產(chǎn)所用到的方法。
把稀疏特征嵌入向量
特征空間中的商品向量
如圖，論文中隨機選取了9個類別、各100種商品，每類商品用同樣形狀的點表示。展現(xiàn)在特征空間中的向量很好地展現(xiàn)出了DIN網(wǎng)絡的聚類屬性。另外，圖中點的顏色代表了網(wǎng)絡預測的用戶購買的可能性，紅色最高，藍色最低。
處理過擬合
基礎模型和DIN模型都遇到了大量參數(shù)、稀疏輸入時過擬合的問題。所以蓋坤團隊設計了一個自適應性的正則化方法，它可以對出現(xiàn)頻率不同的項目給予不同的懲罰，犧牲了一點訓練速度避免了過擬合的出現(xiàn)。論文中對比了多種不同的正則化方法，這個自適應方法的表現(xiàn)還不錯。
基于XDL平臺構建分布式系統(tǒng)
為了實現(xiàn)工業(yè)級的大規(guī)模稀疏輸入、百億級參數(shù)訓練，蓋坤團隊基于XDL平臺構建了多GPU的并行模型、并行數(shù)據(jù)平臺。
由于XDL平臺高性能、高靈活性的特點，蓋坤團隊借助分布式嵌入層（Distributed Embedding Layer）、本地后端（Local Backend）、溝通組件（Communication Component）幾個模塊構建出的系統(tǒng)訓練速度提升了10倍，調(diào)節(jié)參數(shù)的效率也提升了不少。
論文就介紹到這里，原文地址 https://arxiv.org/abs/1706.06978 。巧的是，蓋坤博士也會親臨今年雷鋒網(wǎng)與香港中文大學（深圳）承辦的 CCF-GAIR2017大會現(xiàn)場，并發(fā)表主題演講。想了解蓋坤博士最新研究動態(tài)的讀者們，距離大會開幕只剩兩周啦，抓緊購票，不要錯過現(xiàn)場感受蓋坤博士在內(nèi)的大牛們學術風采的機會。
相關文章：
阿里巴巴AI實驗室首席科學家王剛：構建智能之物是阿里AI的下一步| EmTech香港峰會
阿里云肖力：讓數(shù)據(jù)從孤島一隅，跨越到智能之路
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
