1月11日，北京今日頭條總部，一場問診算法、建言算法的“讓算法公開透明”分享會正在進(jìn)行，雷鋒網(wǎng)觀察到，包括BAT等在內(nèi)的諸多科技公司算法工程師、產(chǎn)品經(jīng)理等100多人參與現(xiàn)場討論。資深算法架構(gòu)師、中國科學(xué)技術(shù)大學(xué)曹歡歡博士于現(xiàn)場介紹了今日頭條的推薦算法原理。

曹歡歡表示，今日頭條資訊推薦系統(tǒng)本質(zhì)上要解決用戶、環(huán)境和資訊的匹配，要達(dá)到這一效果，其算法推薦系統(tǒng)輸入三個(gè)維度變量：

• 一是內(nèi)容特征，圖文、視頻、UGC小視頻、問答、微頭條等，每種內(nèi)容有很多自己的特征，需要分別提??；

• 二是用戶特征，包括興趣標(biāo)簽、職業(yè)、年齡、性別、機(jī)型等，以及很多模型刻畫出的用戶隱藏興趣；

• 三是環(huán)境特征，不同的時(shí)間不同的地點(diǎn)不同的場景（工作/通勤/旅游等），用戶對信息的偏好有所不同。

結(jié)合這三方面維度，今日頭條的推薦模型做預(yù)估，這個(gè)內(nèi)容在這個(gè)場景下對這個(gè)用戶是否合適。

算法推薦要達(dá)到不錯(cuò)的效果，需要解決好這四類特征：

• 相關(guān)性特征，解決內(nèi)容和用戶的匹配；

• 環(huán)境特征，解決基礎(chǔ)特征和匹配；

• 熱度特征，在冷啟動(dòng)上很有效；

• 協(xié)同特征，考慮相似用戶的興趣，在一定程度上解決所謂算法越推越窄的問題。

但是，曹歡歡表示，點(diǎn)擊率、閱讀時(shí)間、點(diǎn)贊、評論、轉(zhuǎn)發(fā)，這些都是可以量化的，但一個(gè)大體量的推薦系統(tǒng)，服務(wù)用戶眾多，不能完全由指標(biāo)評估，引入數(shù)據(jù)以外的要素也很重要。有些算法可以完成，有些算法還做不到、做的不好，這就需要內(nèi)容干預(yù)。

總之，沒有一套通用的模型架構(gòu)適用所有的推薦場景，頭條仍需要一個(gè)非常靈活的算法實(shí)驗(yàn)平臺，這個(gè)算法不行，馬上試另一個(gè)算法，實(shí)際上是各種算法的一個(gè)復(fù)雜組合。據(jù)雷鋒網(wǎng)了解，西瓜視頻、火山小視頻、抖音短視頻、悟空問答，都在用頭條這一套推薦系統(tǒng)，但具體到每套系統(tǒng)，架構(gòu)都不一樣，需要不斷去試。

正在基于上文所述反復(fù)訓(xùn)練推薦的需要，今日頭條有一個(gè)世界范圍內(nèi)比較大的在線訓(xùn)練推薦模型，包括幾百億特征和幾十億的向量特征。

但是，完全依賴模型推薦成本過高，因此，今日頭條也有簡化策略的召回模型——基于召回策略，把一個(gè)海量、無法把握的內(nèi)容庫，變成一個(gè)相對小、可以把握的內(nèi)容庫，再進(jìn)入推薦模型。這樣有效平衡了計(jì)算成本和效果。

曹歡歡表示，在今日頭條工作前三年，收到用戶反饋?zhàn)畲蟮囊粋€(gè)問題就是——“怎么老給我推重復(fù)的？”

曹歡歡解釋稱，每個(gè)人對重復(fù)的定義不一樣。有人昨天看到一篇講巴薩的文章，今天又看到兩篇，可能就覺得煩了。但對于一個(gè)重度球迷來講，比如巴薩球迷，可能恨不得所有報(bào)道都看一遍。要解決這個(gè)問題，就需要精確抽取文本特征，比如哪些文章說的是一個(gè)事兒，哪些文章基本一樣等。而文本特征對于推薦的獨(dú)特價(jià)值就在于，沒有文本特征，推薦引擎無法工作，同時(shí)，文本特征顆粒度越細(xì)，冷啟動(dòng)能力越強(qiáng)。

而語義標(biāo)簽的效果是檢查一個(gè)公司NLP（自然語言處理）的試金石。

頻道、興趣表達(dá)等重要產(chǎn)品功能，需要一個(gè)有明確定義、容易被理解的文本標(biāo)簽體系。在隱式語義特征已經(jīng)可以很好地幫助推薦、做好語義標(biāo)簽需要投入遠(yuǎn)大于隱式語義特征的情況下，仍需要做好語義標(biāo)簽。

除了用戶的自然標(biāo)簽，推薦還需要考慮很多復(fù)雜的情況：

• 1）過濾噪聲：過濾停留時(shí)間短的點(diǎn)擊，打擊標(biāo)題黨；

• 2）懲罰熱點(diǎn)：用戶在熱門文章上的動(dòng)作做降權(quán)處理；

• 3）時(shí)間衰減：隨著用戶動(dòng)作的增加，老的特征權(quán)重會隨時(shí)間衰減，新動(dòng)作貢獻(xiàn)的特征權(quán)重會更大；

• 4）懲罰展現(xiàn)：如果一篇推薦給用戶的文章沒有被點(diǎn)擊，相關(guān)特征（類別、關(guān)鍵詞、來源）權(quán)重會被懲罰；

• 5）考慮全局背景：考慮給定特征的人均點(diǎn)擊比例。

現(xiàn)實(shí)中，影響推薦效果的因素有很多，需要完備的評估體系，不能只看單一指標(biāo)，如點(diǎn)擊率、留存、收入或是互動(dòng)，需要看很多指標(biāo)綜合評估：兼顧短期指標(biāo)和長期指標(biāo)，兼顧用戶指標(biāo)和生態(tài)指標(biāo)，注意協(xié)同效應(yīng)的影響，有時(shí)候需要做徹底的統(tǒng)計(jì)隔離等。

那么，所有這些指標(biāo)可以合成唯一的一個(gè)公式嗎？“我們苦苦探索了幾年，目前還沒有做到。”曹歡歡表示。

并且，曹歡歡稱，目前很多公司算法做得不好，不是人的問題，而是實(shí)驗(yàn)平臺的問題。例如A/B Test每次數(shù)據(jù)都是錯(cuò)的，總上不了線，這個(gè)事最后就廢了。而一個(gè)強(qiáng)大的實(shí)驗(yàn)平臺，可以實(shí)現(xiàn)每天數(shù)百個(gè)實(shí)驗(yàn)同時(shí)在線，高效管理和分配實(shí)驗(yàn)流量，降低實(shí)驗(yàn)分析成本，提高算法迭代效率。

據(jù)雷鋒網(wǎng)了解，頭條現(xiàn)在擁有健全的內(nèi)容安全機(jī)制，除了人工審核團(tuán)隊(duì)，還有技術(shù)識別，包括風(fēng)險(xiǎn)內(nèi)容識別技術(shù)，構(gòu)建千萬張圖片樣本集的鑒黃模型，超過百萬樣本庫的低俗模型和謾罵模型等，以及泛低質(zhì)內(nèi)容識別技術(shù)，曹歡歡強(qiáng)調(diào)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。