0
| 本文作者： AI研習(xí)社 | 2017-07-05 12:24 |
雷鋒網(wǎng)按：本文系知名 IT 技術(shù)資訊博主 @龍星鏢局 獨(dú)家投稿，雷鋒網(wǎng)首發(fā)。
資訊產(chǎn)品近幾年持續(xù)火爆，賺足了人們的眼球。以今日頭條披露的數(shù)據(jù)為例：日活躍用戶超過一億，單用戶日均使用時(shí)長超過 76分鐘，資訊類產(chǎn)品的火爆程度可見一斑。資訊類產(chǎn)品的火爆讓BAT巨頭坐臥不安，紛紛站出來反擊。手機(jī)百度除了搜索框之外，大部分已經(jīng)被一條條新聞?wù)紦?jù)。阿里則是依托UC瀏覽器上線了自己的頭條。騰訊在騰訊新聞之外，從頭搞起了天天快報(bào)。
頭條為何能取得成功？很多人會說是頭條的個(gè)性化推薦技術(shù)做得好，個(gè)人認(rèn)為其實(shí)不盡然。本文羅列了相關(guān)的個(gè)性化推薦技術(shù)，特別是資訊推薦常用的算法，帶大家從“內(nèi)行”的角度來解密下個(gè)性化資訊推薦技術(shù)。希望讀者讀后能發(fā)自內(nèi)心地覺得：頭條其實(shí)也就那么回事。
本文主體分以下三個(gè)大的部分。除此以外也會在最后用一小節(jié)展望下個(gè)性化資訊推薦的未來。
個(gè)性化資訊產(chǎn)品：先介紹資訊推薦產(chǎn)品是什么，著重分析其業(yè)務(wù)特點(diǎn)。
個(gè)性化推薦方案：接著介紹資訊推薦所需的技術(shù)，著重分析其技術(shù)難點(diǎn)。
個(gè)性化推薦算法：最后介紹業(yè)界常用的個(gè)性化推薦算法。
資訊推薦產(chǎn)品要解決用戶需求很簡單，一句就可以概括：為用戶找到有趣的資訊。而做到這個(gè)需求就要做好兩個(gè)關(guān)鍵點(diǎn)：
新聞聚合。用戶希望在一個(gè)產(chǎn)品里獲取任何他想要或者可能想要的東西，這就要求產(chǎn)品要聚合其他app、網(wǎng)站、甚至線下媒體里的各種資訊，這也是最基本的一個(gè)產(chǎn)品特性。
個(gè)性化。要去最大程度地理解、猜測用戶的興趣，結(jié)合興趣為其推薦相關(guān)資訊，這是資訊產(chǎn)品后期衍生出來的一個(gè)產(chǎn)品特性。
更進(jìn)一步，如果將上述兩個(gè)關(guān)鍵點(diǎn)展開，一個(gè)好的個(gè)性化資訊產(chǎn)品就要具備以下亮點(diǎn)：
1. 時(shí)效性
這是所有資訊類產(chǎn)品共同的特性，而不僅僅是資訊推薦類產(chǎn)品。人們總是希望通過你的產(chǎn)品看到最近發(fā)生了什么，而不是很久之前的老新聞。
2. 精準(zhǔn)性
每天發(fā)生的事情有很多，對應(yīng)的新聞稿子也非常多，如果每個(gè)都看，信息過載的問題會讓人吃不消。你能否猜出我的興趣，并精準(zhǔn)地推薦感興趣的新聞才是用戶關(guān)心的，也是用戶能直接感受到的體驗(yàn)。
3. 豐富性
這點(diǎn)恰是很多用戶最容易忽略的一個(gè)點(diǎn)。其實(shí)很多用戶才不管這個(gè)資訊類產(chǎn)品是怎么推出來的，對于單個(gè)用戶而言，其第一訴求必然是通過這個(gè)產(chǎn)品來了解世界，知道每天都在發(fā)生什么，所以新聞的豐富性是最最基本的。
4. 排他性
每天描述同一事件稿子很多，在自媒體時(shí)代這個(gè)問題更加突出，但用戶只會用有限時(shí)間去了解這件事，而不是去研究所有關(guān)于這件事的報(bào)道，更不想甄別不同報(bào)道的差異。所以，用戶往往需要的是一個(gè)事情的一兩個(gè)報(bào)道，保證給我差異化的內(nèi)容是必須的。
5. 熱門性
誰都不想在周圍朋友們討論熱點(diǎn)事件時(shí)，自己是個(gè)懵逼，什么都不知道。這點(diǎn)很關(guān)鍵，跟精準(zhǔn)性和個(gè)性化看起來有點(diǎn)背道而馳，但人性天生就有求同的天性。沒有同樣的話題，生活將會失去太多色彩，不知道該和人交流什么。
6. 高質(zhì)量
媒體質(zhì)量層次不齊，有的文章寫得很好很炫，讀的時(shí)候很過癮，但一旦你發(fā)現(xiàn)它是一個(gè)假新聞或者歪曲報(bào)道，你還是對這類文章嗤之以鼻。新聞可以高于事實(shí)，但不能背離事實(shí)。
7. 合法性
人總是對非法的事情感興趣，如黃賭毒之類。而對于被壓抑的需求，則更是感興趣，如色情之類。但一個(gè)偉大的產(chǎn)品，首先必須是一個(gè)合法的產(chǎn)品。所以，一切盡在不言中了。
要做到上一節(jié)提到的產(chǎn)品特性，有兩條路可以走：人工運(yùn)營和算法推薦。在類頭條產(chǎn)品出現(xiàn)之前，請新聞方面專業(yè)人才來運(yùn)營是最穩(wěn)妥的方式。但人工運(yùn)營成本越來越高，局限性越來越明顯。走算法推薦的路，在張揚(yáng)個(gè)性的年代，是一條必由之路。下表簡要對比下兩者的差別。
推薦算法應(yīng)用在資訊類產(chǎn)品時(shí)有一些挑戰(zhàn)，這也是資訊推薦能否做好的關(guān)鍵所在。
● 可擴(kuò)展性
推薦本質(zhì)是建立user和item的關(guān)聯(lián)，一般問題要么是user側(cè)量級大，要么是item側(cè)量級大，而資訊推薦是典型的“雙大”場景。又由于是高度依賴個(gè)性化的場景，還不能簡單地將某一側(cè)大幅降維，所以可擴(kuò)展性顯得尤為重要。
● 稀疏性
資訊的高度個(gè)性化自然而然的帶來一個(gè)很棘手的問題就是稀疏性。舉個(gè)最簡單的例子，如果將user和item的 點(diǎn)擊行為用矩陣形式表示出來，會發(fā)現(xiàn)比一般問題更多的0項(xiàng)存在。而稀疏問題是一直困擾機(jī)器學(xué)習(xí)高效建模的一大難題。
● 冷啟動
每天都有大量的新聞產(chǎn)生，如何將如此多的新聞快速、合理地冷啟動，盡快將高質(zhì)量的新聞推給合適的用戶是個(gè)大問題。
● 時(shí)效性
不同于商品、書籍、電影、視頻等的推薦，新聞一大特點(diǎn)是生命周期非常短，有的甚至只有幾個(gè)小時(shí)。如何在最短的時(shí)間里把新聞推給感興趣的人，在新聞進(jìn)入“暮年”之前發(fā)揮它的最大價(jià)值是個(gè)非常重要的問題。
● 質(zhì)量保證
新聞本身量大，且時(shí)效性強(qiáng)，如何在短時(shí)間里快速評估每篇稿子的質(zhì)量和合法性，做到最高效、最精準(zhǔn)的內(nèi)容審核是個(gè)大課題。
● 動態(tài)性
這里的動態(tài)性主要體現(xiàn)為用戶興趣隨時(shí)間改變、當(dāng)前熱點(diǎn)隨時(shí)間改變。用戶在一天里的不同時(shí)刻、不同地點(diǎn)、不同上下文里的閱讀興趣都有所差別，動態(tài)在變化。
圍繞上面這幾個(gè)挑戰(zhàn)，業(yè)界各大資訊類產(chǎn)品在做推薦時(shí)想出了各種招兒來解決，接下來，我們就梳理下業(yè)界經(jīng)典的做法。這里以產(chǎn)品為主線，以具體要解決的問題為輔線來進(jìn)行梳理，會集中介紹下Google News、Yahoo Today、今日頭條等產(chǎn)品的推薦算法，并著重介紹下深度學(xué)習(xí)在這個(gè)領(lǐng)域的最新進(jìn)展。
● Google News
Google News是一款經(jīng)典的資訊推薦產(chǎn)品，也是后來者競相模仿的對象。2007年，Google News在www上首次發(fā)表論文《Google News Personalization: Scalable Online Collaborative Filtering》公開資訊推薦技術(shù)。該論文的做法非常自然、簡潔，從論文題目就能看出是CF的落地上線。Google是這樣想的：鑒于大家都覺得CF是推薦領(lǐng)域公認(rèn)的有效算法，那將其直接用在產(chǎn)品上效果自然也不會太差。
但經(jīng)典的CF有個(gè)巨大的問題，無論是user-based還是item-based，當(dāng)你要算任意兩個(gè)user或者兩個(gè)item之間相似度的時(shí)候，計(jì)算量會非常巨大。因?yàn)镃F的計(jì)算量直接取決于特征維數(shù)和user、item pairs的數(shù)目，而資訊類產(chǎn)品這兩個(gè)數(shù)目都非常巨大：
每個(gè)user、item的特征因?yàn)榇蠖嗍瞧毓?、點(diǎn)擊等行為類特征，而資訊類產(chǎn)品這些行為發(fā)生的cost很小幾乎可以忽略不計(jì)，導(dǎo)致維度往往比較高；
資訊類產(chǎn)品的user數(shù)目和item數(shù)目都很大，這和一般領(lǐng)域往往只有一方比較大是不同的。
Google這篇論文的核心就是將CF改造為支持大規(guī)模計(jì)算的方法。
其原理也很簡單：將用戶事先分成群，再做user-based CF時(shí)實(shí)際變成了(user) cluster-based CF。這樣在工程實(shí)現(xiàn)上就簡化了很多，線上只需要記錄每群用戶喜歡什么（實(shí)際做法是用到了基于的內(nèi)存key-value系統(tǒng)，key為資訊ID，而value則是資訊在用戶群上的各種統(tǒng)計(jì)值）。一個(gè)用戶來了之后，先找到其對應(yīng)的群，再推薦這個(gè)群喜歡的資訊就好。而線下則借助Map-Reduce實(shí)現(xiàn)了MinHash、PLSI兩種聚類分群算法，定時(shí)把最新分群結(jié)果推到線上。
為什么Google News會先選擇協(xié)同過濾算法呢？除了CF算法在其他場景有成功的應(yīng)用之外，還有一個(gè)重要的特點(diǎn)：CF是一個(gè)依賴用戶行為數(shù)據(jù)就可以work的算法，它不像其他基于內(nèi)容推薦的算法對NLP能力要求很高。選擇CF，則繞過了NLP這個(gè)攔路虎（有經(jīng)驗(yàn)的人都知道，NLP是一個(gè)長期積累的過程，很難一開始就做到比較出色的程度）。透過這篇文章，我們也不難發(fā)現(xiàn)工業(yè)界解決實(shí)際問題時(shí)的一個(gè)基本套路：重頭做一個(gè)模型時(shí)，會選擇最經(jīng)典的一個(gè)實(shí)現(xiàn)，然后快速上線解決一大半問題。
結(jié)合前面總結(jié)的資訊推薦的挑戰(zhàn)，可以看到該算法主要解決了可擴(kuò)展性問題。我們也不難發(fā)現(xiàn)這個(gè)user cluster-based的算法也有一些明顯的缺點(diǎn)：1）它不能解決新用戶、新資訊的冷啟動，因?yàn)闆]有行為數(shù)據(jù)來支撐CF運(yùn)轉(zhuǎn)；2）推薦精度不夠高，沒有做到真正的個(gè)性化。這是cluster-based CF算法本身的特點(diǎn)決定的；3）實(shí)時(shí)性不夠。用戶聚類不能做到快速更新，這導(dǎo)致了對用戶最新興趣把握有不及時(shí)的風(fēng)險(xiǎn)。這些問題在Google News的另一篇論文中得到了解決。
Google News在www 2010上放出了《Personalized News Recommendation Based on Click Behavior》。這篇文章重點(diǎn)解決推薦精準(zhǔn)性和新資訊的冷啟動問題，文章想法也很樸素自然，主要是基于貝葉斯理論進(jìn)行建模。他們假設(shè)用戶興趣有兩個(gè)方面：個(gè)人不斷變化的興趣以及當(dāng)前新聞熱點(diǎn)。在具體建模之前，作者先基于歷史數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析，驗(yàn)證了他們的假設(shè)，得到如下基本結(jié)論：用戶的興趣是隨時(shí)間變化的，新聞熱點(diǎn)也是隨時(shí)間變化的。還有一個(gè)比較比較有趣的結(jié)論是不同地區(qū)同一時(shí)間的新聞熱點(diǎn)是不一樣的。下圖是不同地區(qū)不同時(shí)刻體育類新聞的閱讀占比。 
這幅圖縱軸是體育新聞閱讀量在該地區(qū)總新聞閱讀量的占比，越高表示該地區(qū)的用戶越喜歡看體育新聞。橫軸則是時(shí)間點(diǎn)，用黑線標(biāo)示出的三個(gè)時(shí)間點(diǎn)從右到左則分別對應(yīng)奧運(yùn)會、歐洲杯以及美國職業(yè)棒球大聯(lián)盟進(jìn)行時(shí)。而圖中的三條不同（顏色）標(biāo)示的線則代表西班牙、美國、英國三個(gè)地區(qū)。不難發(fā)現(xiàn)，這副圖不僅揭示了同一地區(qū)用戶對體育新聞的感興趣程度是隨時(shí)間變化的，更揭示出西班牙、英國等國家更愛看體育新聞。
方法主要建模用戶對當(dāng)前某類新聞的感興趣的程度，這取決于兩個(gè)方面：用戶對這類新聞的興趣度以及當(dāng)前某類新聞的熱度。通過貝葉斯理論，這兩個(gè)方面可以直接用如下公式聯(lián)系在一起：
其中分子左半部分
表示用戶當(dāng)前對某類新聞感興趣的概率，它是通過最近不同時(shí)間段用戶對某類新聞感興趣的程度來匯總計(jì)算，而用戶某個(gè)時(shí)間段內(nèi)對一類新聞感興趣的程度則通過下式計(jì)算。
這個(gè)公式粗看起來比較復(fù)雜，實(shí)際含義其實(shí)很簡單，可以理解為簡單統(tǒng)計(jì)下某類新聞閱讀量占用戶該時(shí)間段內(nèi)所有新聞閱讀量的比例即可。而分子右半部分
表示當(dāng)前本地區(qū)某類新聞的熱度（這類新聞被該地區(qū)點(diǎn)擊的概率），實(shí)際也是統(tǒng)計(jì)一下短時(shí)間內(nèi)對這類新聞的用戶點(diǎn)擊占比得到的。
總體來看，該算法是非常簡潔自然的，它針對CF遺留的問題進(jìn)行了很好的解決：1）引入新聞?lì)悇e解決了新新聞的冷啟動；2）引入用戶興趣解決了個(gè)性化和推薦精確度的問題。但新用戶冷啟動還有優(yōu)化的空間，因?yàn)榘凑者@個(gè)方法，同一地區(qū)不同新用戶推薦的都是該地區(qū)最熱門的內(nèi)容。
● Yahoo Today
Yahoo Today團(tuán)隊(duì)2009年在WWW上發(fā)表 《Personalized Recommendation on Dynamic Content Using Predictive Bilinear Models》，重點(diǎn)解決資訊推薦里的冷啟動問題。不同于上一篇google news的做法，這篇文章試圖同時(shí)解決新用戶和新資訊的冷啟動。本文的基本假設(shè)：用戶畫像能刻畫用戶的閱讀興趣，新聞的畫像也可以表示新聞的點(diǎn)擊率，而用戶喜歡一條新聞的程度則取決于靜態(tài)預(yù)測和動態(tài)預(yù)測兩個(gè)方面，都是用feature-based learning方法來建模用戶對資訊感興趣的程度。具體來講，用戶xi對資訊zj的興趣得分如下計(jì)算。
所謂的 bilinear model 的含義當(dāng)你隱去一個(gè)自變量時(shí)，另一個(gè)自變量和因變量成線性關(guān)系。比如下式不考慮z時(shí)，s和x成線性關(guān)系；不考慮x時(shí)，s和z也成線性關(guān)系。進(jìn)一步如果將用戶和資訊的特征分為靜態(tài)和動態(tài)兩大類，則上式可寫為：
最后一個(gè)等式后面的第一項(xiàng)是靜態(tài)預(yù)測得分，第二項(xiàng)則是動態(tài)預(yù)測的得分。
所以當(dāng)一個(gè)新的用戶到來時(shí)，第二項(xiàng)的特征是沒有，相當(dāng)于僅用用戶的畫像等靜態(tài)特征來解決新用戶的預(yù)測問題。當(dāng)一個(gè)新資訊時(shí)，也是同樣的道理。靜態(tài)特征如搜集到的用戶的年齡、性別、地域等基礎(chǔ)屬性，以及從其他途徑獲取的如在相似產(chǎn)品上的行為、其他場景上的歷史信息等，還有資訊的類目、主題等。而動態(tài)特征如用戶在Yahoo Today上的各種閱讀、點(diǎn)擊、評分以及加工出來的某條資訊、某類資訊分時(shí)間段的各種統(tǒng)計(jì)值等。有了預(yù)測分s，和真實(shí)的label (比如用戶是否點(diǎn)擊一個(gè)資訊r(i,j))做個(gè)比較就能得到機(jī)器學(xué)習(xí)訓(xùn)練時(shí)的反饋信息。本文優(yōu)化目標(biāo)是基于貝葉斯理論推導(dǎo)出來的最大化后驗(yàn)概率(maximum-a-posteriori, MAP)，而優(yōu)化方法則采用熟知的梯度下降法(gradient-descent, GD)。
2010年，Yahoo又發(fā)表了一篇更加有效解決冷啟動的文章《A Contextual-Bandit Approach to Personalized News Article Recommendation》。這篇文章基于傳統(tǒng)的Explore-Exploit(EE)套路，大家可能比較熟悉的是為新item隨機(jī)一部分流量讓其曝光，得到一些反饋，然后模型才能對其有較好的建模能力，這是最na?ve的EE策略。
稍微高大上一點(diǎn)的做法則是upper confidence bound(UCB)策略: 假設(shè)有K個(gè)新item沒有任何先驗(yàn)，每個(gè)item的回報(bào)也完全不知道。每個(gè)item的回報(bào)均值都有個(gè)置信區(qū)間，而隨著試驗(yàn)次數(shù)增加，置信區(qū)間會變窄，對應(yīng)的是最大置信邊界向均值靠攏。如果每次投放時(shí)，我們選擇置信區(qū)間上限最大的那個(gè)，則就是UCB策略。這個(gè)策略的原理也很好理解，說白了就是實(shí)現(xiàn)了兩種期望的效果：
均值差不多時(shí)，每次優(yōu)先給統(tǒng)計(jì)不那么充分的資訊多些曝光；
均值有差異時(shí)，優(yōu)先出效果好的。
而yahoo這篇文章，則是對UCB進(jìn)行了優(yōu)化，因?yàn)閁CB對item沒有任何先驗(yàn)知識，而linUCB可以引入一些先驗(yàn)知識。比如你在推薦新聞時(shí)，可能發(fā)現(xiàn)娛樂類新聞天然比體育類新聞點(diǎn)擊率高。如果能把這個(gè)信息作為先驗(yàn)知識考慮進(jìn)EE策略中，就可以加速EE的效率。LinUCB假設(shè)每次曝光的回報(bào)是和Feature(user, item) 成linear關(guān)系的，然后使用model預(yù)估期望點(diǎn)擊和置信區(qū)間來加速收斂。
日益紅火的深度學(xué)習(xí)也在不斷影響著資訊推薦，在這一節(jié)就簡要review下最近爆出來的幾篇相關(guān)文章，大致可以分為兩類：
1）embedding技術(shù)。此時(shí)深度學(xué)習(xí)主要用來學(xué)習(xí)user/item的embedding也就是通常意義上的user/item的表示形式，每個(gè)user/item可以表示為一個(gè)向量，向量之間的相似度可以用來改善推薦。這里深度學(xué)習(xí)的重點(diǎn)是用來學(xué)習(xí)合理的表示；
2）使用深度學(xué)習(xí)直接對預(yù)測目標(biāo)建模。此時(shí)深度學(xué)習(xí)的重點(diǎn)放在最終要解決的問題上。初看起來似乎第一種形式不如后者來得直接，但第一種形式在實(shí)際應(yīng)用中通常能起到簡化架構(gòu)、快速解決問題的功效，還能作為一個(gè)基礎(chǔ)特征來改進(jìn)線上其他環(huán)節(jié)的效果。下面我們分別選擇一兩篇有代表性的文章來進(jìn)行科普。
Yahoo Japan的新聞推薦團(tuán)隊(duì)利用denoising autoencode的技術(shù)來學(xué)習(xí)新聞的vector表示。Autoencode大家可能比較熟悉，它通過最小化變換前后信號的誤差來求解，而denoising則是對輸入隨機(jī)加入一些噪聲，再對其進(jìn)行變換輸出，最終是通過最小化加噪聲后的輸出和原始（不加噪聲）輸入之間的差異來求解。應(yīng)用中不少結(jié)果表明，這種方法比傳統(tǒng)的autoencode學(xué)習(xí)到的vector效果更好。具體示意圖如下。
但這種方法是經(jīng)典的無監(jiān)督學(xué)習(xí)套路，直觀來看和應(yīng)用場景中要求相似新聞的vector也要盡量相似沒有直接的關(guān)聯(lián)（這里單單從優(yōu)化目標(biāo)來看，實(shí)際上由于語料的天然性質(zhì)或者人們用語習(xí)慣，這個(gè)相似性的要求已經(jīng)間接隱含在優(yōu)化目標(biāo)里了）。而新聞有很多人們編輯好或者其他模型產(chǎn)生好的類別信息，假如A、B新聞都是體育類，C是教育類的，通常意義上來講Ａ和Ｂ相似度是比Ａ和Ｃ要高的。這是在訓(xùn)練深度學(xué)習(xí)時(shí)已知的先驗(yàn)知識，如果能把它加入到優(yōu)化目標(biāo)中，學(xué)習(xí)到的vector就能更好的表達(dá)相似度信息，于是有了下面的方法。
如圖所示，通過在原始autoencode的優(yōu)化目標(biāo)中加入“同類新聞相似度大于不同類新聞相似度”這一項(xiàng)，我們就可以把先驗(yàn)知識作為約束加到模型中。Yahoo Japan的人實(shí)驗(yàn)證明了如此得到的vector確實(shí)能更好的表示（相似度信息）。
微軟研究院也提出過一種很有趣的得到item表示的方法。作者利用用戶的搜索日志，同一個(gè)query下，搜索引擎往往返回n篇doc，用戶一般會點(diǎn)擊相關(guān)的doc，不太相關(guān)的一般不會點(diǎn)，利用這個(gè)反饋信息也可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)。具體示意圖如下，這里的優(yōu)化目標(biāo)就是要求點(diǎn)擊的一個(gè)doc_i的預(yù)測得分p(D_i|Q)要高于不點(diǎn)擊的，論文基于這個(gè)信息構(gòu)造除了損失函數(shù)，也就得到了最終機(jī)器學(xué)習(xí)可以優(yōu)化的一個(gè)目標(biāo)。
目前只介紹了如何得到item的vector，實(shí)際推薦中要用到的一般是user對一個(gè)item的興趣程度，只有在得到user vector后才能通過算user和item的相似度來度量這個(gè)興趣程度。那么如何得到user的vector呢？了解的同學(xué)可能能想到，既然我們已經(jīng)得到了新聞的item的表示，想辦法把他們傳到user側(cè)不就行了么？
確實(shí)如此，一種簡單的做法是把用戶近期點(diǎn)過的所有新聞的vector取個(gè)平均或者加權(quán)平均就可以得到user的vector了。但這種模式還有優(yōu)化的空間：1）用戶點(diǎn)擊是一個(gè)序列，每次點(diǎn)擊不是獨(dú)立的，如果把序列考慮進(jìn)去就有可能得到更好的表示；2）點(diǎn)擊行為和曝光是有聯(lián)系的，點(diǎn)擊率更能體現(xiàn)用戶對某個(gè)或某類新聞的感興趣程度。鑒于這兩點(diǎn)，我們很容易想到通過深度學(xué)習(xí)里經(jīng)典的解決序列學(xué)習(xí)的RNN方法，Yahoo japan的人使用的就是一個(gè)經(jīng)典的RNN特例：LSTM。訓(xùn)練時(shí)將用戶的曝光和點(diǎn)擊行為作為一個(gè)序列，每次有點(diǎn)或不點(diǎn)這樣的反饋，就很容易套用LSTM訓(xùn)練得到user的vector，具體做法如下圖所示。
微軟還發(fā)表了《A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems》，文章提出了一種有趣的得到user vector的方法，這是一個(gè)典型的multi-view learning的方法?，F(xiàn)在很多公司都不僅僅只有一個(gè)產(chǎn)品，而是有多個(gè)產(chǎn)品線。比如微軟可能就有搜索、新聞、appstore、xbox等產(chǎn)品，如果將用戶在這些產(chǎn)品上的行為（反饋）統(tǒng)一在一起訓(xùn)練一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，就能很好的解決單個(gè)產(chǎn)品上（用戶）冷啟動、稀疏等問題。具體網(wǎng)絡(luò)結(jié)構(gòu)如下，總體的優(yōu)化目標(biāo)是保證在所有視圖上user和正向反饋的item的相似度大于隨機(jī)選取的無反饋或者負(fù)向反饋的相似度，并且越大越好。用數(shù)學(xué)公式形式化出來是：
對應(yīng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。
作為國內(nèi)當(dāng)紅的個(gè)性化推薦產(chǎn)品，今日頭條技術(shù)經(jīng)歷了三個(gè)階段：
1）早期以非個(gè)性化推薦為主，重點(diǎn)解決熱文推薦和新文推薦，這個(gè)階段對于用戶和新聞的刻畫粒度也比較粗，并沒有大規(guī)模運(yùn)用推薦算法。
2）中期以個(gè)性化推薦算法為主，主要基于協(xié)同過濾和內(nèi)容推薦兩種方式。協(xié)同過濾技術(shù)和前面介紹的大同小異，不再贅述?；趦?nèi)容推薦的方式，則借助傳統(tǒng)的NLP、word2vec和LDA對新聞有了更多的刻畫，然后利用用戶的正反饋（如點(diǎn)擊，閱讀時(shí)長、分享、收藏、評論等）和負(fù)反饋（如不感興趣等）建立用戶和新聞標(biāo)簽之間的聯(lián)系，從而來進(jìn)行統(tǒng)計(jì)建模。
3）當(dāng)前以大規(guī)模實(shí)時(shí)機(jī)器學(xué)習(xí)算法為主，用到的特征達(dá)千億級別，能做到分鐘級更新模型。 架構(gòu)分為兩層（圖來自頭條架構(gòu)師的分享）：
檢索層，有多個(gè)檢索分支，拉出用戶感興趣的新聞候選；
打分層，基于用戶特征、新聞特征、環(huán)境特征三大類特征使用實(shí)時(shí)學(xué)習(xí)進(jìn)行建模打分。值得一提的是，實(shí)際排序時(shí)候并不完全按照模型打分排序，會有一些特定的業(yè)務(wù)邏輯綜合在一起進(jìn)行最終排序并吐給用戶。
任何一種算法都有其局限性，業(yè)務(wù)要結(jié)合自己產(chǎn)品的特點(diǎn)，選擇合適的算法解決特定的小問題，融合各種算法解決一個(gè)大問題。另外要設(shè)計(jì)合理的實(shí)驗(yàn)和放量機(jī)制，以在有限的影響內(nèi)，最大程度地利用真實(shí)的用戶行為來修正算法判定的結(jié)果。比如，可以先放5%的流量來試探用戶對新聞的興趣，并用模型進(jìn)行建模；再用15%的流量來修正模型的效果，進(jìn)行優(yōu)勝劣汰；最后將真正置信的推薦結(jié)果推送到全量用戶。
個(gè)資訊消費(fèi)是人的基本需求，個(gè)性化資訊推薦讓我們能更好地消費(fèi)資訊，享受生活的快樂。個(gè)性化資訊推薦還有很長的路要走，目前面世的產(chǎn)品僅僅邁出了第一步，看起來有模有樣，實(shí)際上問題多多。例如被吐槽最多的一個(gè)問題：用戶一天看了很多，但睡前閉目一想，記住的很少，對自己有用的更是鳳毛麟角。這只是一個(gè)表象，背后其實(shí)暴露了很多現(xiàn)有推薦的問題。
要做好一個(gè)資訊推薦產(chǎn)品，不單單精準(zhǔn)推薦技術(shù)需要演進(jìn)，呈現(xiàn)形式、交互方式、產(chǎn)品形態(tài)、內(nèi)容生態(tài)等等都需要去探索，最最重要的要想清楚以下幾個(gè)本質(zhì)問題：
人為什么需要閱讀？
人為什么會消費(fèi)資訊？
用戶為什么需要到你這閱讀資訊？
好的閱讀體驗(yàn)到底是什么，如何量化？
產(chǎn)品推薦的基因是什么？
加油吧，個(gè)性化資訊推薦！
1. 桑賡陶，《 把握市場、產(chǎn)品和技術(shù)的動態(tài)匹配——韓國三星電子公司產(chǎn)品開發(fā)戰(zhàn)略演變的基本原則及其對中國企業(yè)的啟示》
2. Personalized Recommendation on Dynamic Content Using Predictive Bilinear Models[www, 2009]
3. Google News Personalization: Scalable Online Collaborative Filtering [www,2007]
4. http://www.slideshare.net/techblogyahoo/deep-learning-for-news-recommendation [slideshare, 2016]
5. A Survey on Challenges and Methods in News Recommendation[WEBIST, 2014]
6. Personalized News Recommendation Based on Click Behavior[www, 2010]
7. A Contextual-Bandit Approach to Personalized News Article Recommendation[www, 2010]
8. Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
9. A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems [MS Research]
10. http://www.ruanyifeng.com/blog/2012/03/ranking_algorithm_wilson_score_interval.html
11. https://zhuanlan.zhihu.com/p/21404922
12. http://www.36dsj.com/archives/36571
網(wǎng)上很多人都從各種角度有過分析，但大都是通過現(xiàn)象來解釋現(xiàn)象，抓住本質(zhì)的不多。個(gè)人比較喜歡用“市場、產(chǎn)品和技術(shù)”動態(tài)匹配理論來看這個(gè)問題[1]：對于一個(gè)特定的企業(yè)來說，它在特定時(shí)點(diǎn)上所找到的、要去滿足的市場是特定的；特定的市場要求企業(yè)用特定的產(chǎn)品去滿足，而特定產(chǎn)品則是特定技術(shù)的某種物化。企業(yè)只有掌握相應(yīng)的特定技術(shù)或者有能力在一定的時(shí)間內(nèi)把這種特定技術(shù)開發(fā)出來并把它物化成特定產(chǎn)品，企業(yè)選擇的特定市場才有可能得到滿足。
用動態(tài)匹配理論來看頭條，可以看到它的成功是如此之合理。隨著資訊市場的成熟和發(fā)展，人們需要一個(gè)在碎片時(shí)間消費(fèi)有趣資訊的產(chǎn)品，來解決用戶的需求。這里的有趣因人而異，就需要用個(gè)性化的推薦技術(shù)去滿足。如此看來，頭條在合適的時(shí)機(jī)，用合適的技術(shù)做了合適的產(chǎn)品，造就了自己的成功。
雷鋒網(wǎng)相關(guān)閱讀：
從理論到實(shí)踐，一文詳解 AI 推薦系統(tǒng)的三大算法
個(gè)性化推薦？圖片搜索？導(dǎo)購機(jī)器人？看人工智能將如何顛覆傳統(tǒng)購物體驗(yàn)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
