本文轉(zhuǎn)自 | 公眾號(hào) AI 前線（ID：ai-front），未經(jīng)授權(quán)不得轉(zhuǎn)載

采訪嘉賓｜張瑞（知乎首頁技術(shù)團(tuán)隊(duì)負(fù)責(zé)人）

作者｜Vincent

編輯｜Debra  

導(dǎo)讀：知乎是一個(gè)問答社區(qū)和知識(shí)分享平臺(tái)，各行各業(yè)的從業(yè)者在這里分享自己領(lǐng)域的知識(shí)，來這里的人也是抱著學(xué)習(xí)的態(tài)度，希望有所收獲。推薦系統(tǒng)作為知乎的核心功能，一直希望為用戶提供最佳的內(nèi)容推薦，隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，內(nèi)容平臺(tái)迎來了黃金時(shí)代，但也不可避免的出現(xiàn)了很多問題和挑戰(zhàn)。 作為用戶，最關(guān)心的是推薦內(nèi)容的質(zhì)量以及相關(guān)度。如何過濾掉無效的信息，從而給用戶提供最為精準(zhǔn)的內(nèi)容推薦，這也是知乎一直在思考的問題。

如今，推薦系統(tǒng)已經(jīng)在各行各業(yè)中有所應(yīng)用，在知乎，推薦系統(tǒng)更是一項(xiàng)核心功能。

據(jù)了解，目前知乎的推薦系統(tǒng)主要分為兩部分：一部分是首頁信息流的個(gè)性化推薦；另一部分是在各種用戶場(chǎng)景，比如問題路由、相關(guān)推薦等等功能上的推薦。

在這些場(chǎng)景下面，知乎用到的技術(shù)并不是完全一樣的，所采用的技術(shù)架構(gòu)也并不相同，張瑞告訴記者：主要還是根據(jù)用戶場(chǎng)景來決定使用什么樣的架構(gòu)和技術(shù)。

在首頁的個(gè)性化推薦里，主要采用的技術(shù)包括：對(duì)圖文內(nèi)容、視頻內(nèi)容的基本的識(shí)別和畫像，對(duì)用戶的畫像，以及圖文內(nèi)容和視頻內(nèi)容里面的實(shí)體識(shí)別以及關(guān)聯(lián)，張瑞表示這些都是基礎(chǔ)的組件；而上層在召回排序環(huán)節(jié)則大量的采用了 DNN，也就是深度神經(jīng)網(wǎng)絡(luò)技術(shù)。

由于平臺(tái)的發(fā)展，早先單純以圖文為主的交流方式已經(jīng)不足以讓用戶滿足，于是知乎平臺(tái)上也出現(xiàn)了不少視頻、音頻的內(nèi)容，但是文字仍然占據(jù)了大量的比重，這對(duì)于知乎的推薦系統(tǒng)來說是個(gè)好事兒。

為什么這么說呢？張瑞解釋道，圖文推薦系統(tǒng)和其他推薦系統(tǒng)的區(qū)別在于：目前的 AI 算法技術(shù)對(duì)圖文內(nèi)容的理解會(huì)比視頻和音頻多媒體更加深入。而且對(duì)于絕大部分公司來說，在圖文推薦系統(tǒng)中對(duì)圖文內(nèi)容本身做深入理解，從成本上也是可接受的。這種理解不只是從用戶的交互入手，或者把一個(gè)圖文內(nèi)容看成單個(gè)、原子的 item，而是更深入的去了解某篇圖文到底講的是什么、它的質(zhì)量是什么樣子等等一系列的信息。所以其實(shí)相對(duì)于商品推薦、視頻推薦等等領(lǐng)域，圖文推薦會(huì)有更多的信息可以使用。

“當(dāng)然現(xiàn)在業(yè)界在做圖文推薦系統(tǒng)的時(shí)候，也會(huì)使用到這些信息。”張瑞說：“大家在這一領(lǐng)域的競(jìng)爭(zhēng)還是很激烈的。這個(gè)激烈就在于：每家公司對(duì)圖文內(nèi)容的刻畫、選擇的維度都是不一樣的，能做到的深度也是不一樣的，而這個(gè)維度和深度本身就決定了圖文推薦能做到用戶的體驗(yàn)的上限有多少?！?/p>

為了提升用戶體驗(yàn)的上限，知乎推薦系統(tǒng)也經(jīng)歷了升級(jí)改造。

張瑞告訴我們，知乎最初的推薦系統(tǒng)版本非常簡(jiǎn)單，僅僅是根據(jù)用戶的關(guān)注行為進(jìn)行推薦，比如有新的話題出現(xiàn)，用戶一旦關(guān)注了就推薦給 TA 相關(guān)的內(nèi)容，不關(guān)注就不推薦。此外，推薦的排序也是非常簡(jiǎn)單的，就是依靠時(shí)間流，即使后來引入了 EdgeRank 之類的簡(jiǎn)單的算法，做到的也僅僅是時(shí)間、文本內(nèi)容質(zhì)量等相關(guān)的權(quán)重的一個(gè)簡(jiǎn)單的信息加權(quán)。

隨著新用戶的進(jìn)入，研發(fā)團(tuán)隊(duì)發(fā)現(xiàn)：在 Feed 流推薦場(chǎng)景下，用戶都是越來越“懶”的，大部分用戶希望不進(jìn)行繁瑣的操作，就能得到非常好的推薦結(jié)果。于是，推薦系統(tǒng)團(tuán)隊(duì)針對(duì)性的進(jìn)行了一些優(yōu)化，比如：在召回環(huán)節(jié)，引入更多根據(jù)用戶的行為來召回內(nèi)容的方式；在排序環(huán)節(jié)，把用戶的各種行為，以及內(nèi)容的各種細(xì)致刻畫都引入進(jìn)來，通過 DNN 神經(jīng)網(wǎng)絡(luò)進(jìn)行排序，無論是老用戶也好，新用戶也好，整體上去優(yōu)化他們的體驗(yàn)。

 

知乎多召回源融合的推薦結(jié)果生成框架

張瑞說：“從效果來看，新的系統(tǒng)上線了之后，對(duì)比最初的版本，分發(fā)量等等指標(biāo)基本上都增長了至少三倍?！?/p>

多目標(biāo)學(xué)習(xí)的推薦系統(tǒng)

知乎 CTO 李大海曾經(jīng)在去年的一次演講中提到了“多目標(biāo)學(xué)習(xí)”的推薦系統(tǒng)，據(jù)了解這也是知乎優(yōu)化推薦系統(tǒng)的一個(gè)方向。那么這個(gè)“多目標(biāo)學(xué)習(xí)”該如何解釋呢？

張瑞告訴我們，一般來說在搜索和推薦等信息檢索場(chǎng)景下，最基礎(chǔ)的一個(gè)目標(biāo)就是用戶的 CTR，即用戶看見了一篇內(nèi)容之后會(huì)不會(huì)去點(diǎn)擊閱讀。但其實(shí)用戶在產(chǎn)品上的行為是多種多樣的。尤其在知乎，用戶可以對(duì)某個(gè)內(nèi)容進(jìn)行點(diǎn)贊，可以收藏這個(gè)內(nèi)容，可以把它分享出去，甚至某個(gè)問題如果他覺得比較符合他的興趣，想去回答，也可以進(jìn)行一些創(chuàng)作。

雖然可以對(duì)用戶的 CTR 進(jìn)行單個(gè)目標(biāo)的優(yōu)化，但是這樣的做法也會(huì)帶來的負(fù)面影響：靠用戶點(diǎn)擊這個(gè)行為推薦出來的內(nèi)容并不一定是用戶非常滿意的內(nèi)容，比如有人可能看到一些熱門的內(nèi)容就會(huì)去點(diǎn)擊，或者看到一些閱讀門檻低的內(nèi)容，像一些引發(fā)討論的熱點(diǎn)事件、社會(huì)新聞，或者是一些輕松娛樂的內(nèi)容，用戶也會(huì)點(diǎn)擊。這樣造成的后果就是：CTR 的指標(biāo)非常高，但是用戶接收到的推薦結(jié)果并不是他們最滿意的。

后來，知乎的產(chǎn)品研發(fā)團(tuán)隊(duì)發(fā)現(xiàn)：用戶的每種行為代表在一定程度上都代表了某個(gè)內(nèi)容是否能滿足他不同層面的需求。比如說點(diǎn)擊，代表著用戶在這個(gè)場(chǎng)景下，想要看這個(gè)內(nèi)容；贊同，代表用戶認(rèn)為這個(gè)內(nèi)容其實(shí)寫的很不錯(cuò)的；收藏，代表這個(gè)內(nèi)容對(duì)用戶特別有用，要把它收藏起來，要仔細(xì)的再去看一看；分享，代表用戶希望其他的人也能看到這個(gè)內(nèi)容。

而單目標(biāo) CTR 優(yōu)化到了一個(gè)比較高的點(diǎn)之后，用戶的閱讀量雖然上去了，但是其他的各種行為（收藏、點(diǎn)贊、分享等等）是下降的。這個(gè)下降代表著：用戶接收到太多的東西是他認(rèn)為不實(shí)用的。

于是，推薦系統(tǒng)團(tuán)隊(duì)陷入了思考：能不能預(yù)估用戶在其他行為上的概率？這些概率實(shí)際上就是模型要學(xué)習(xí)的目標(biāo)，多種目標(biāo)綜合起來，包括閱讀、點(diǎn)贊、收藏、分享等等一系列的行為，就能綜合到一個(gè)模型里面進(jìn)行學(xué)習(xí)，這就是推薦系統(tǒng)的多目標(biāo)學(xué)習(xí)。

"多目標(biāo)"預(yù)估模型

與所有的系統(tǒng)類似，知乎的多目標(biāo)推薦系統(tǒng)最初也是一個(gè)比較簡(jiǎn)單的版本，僅僅是給各個(gè)目標(biāo)學(xué)習(xí)一個(gè)模型。這種情況下，模型本身的訓(xùn)練和在線預(yù)測(cè)的負(fù)擔(dān)就會(huì)非常嚴(yán)重，每一個(gè)模型的訓(xùn)練和預(yù)測(cè)都要耗費(fèi)同樣的資源，這樣對(duì)于工程資源壓力是非常大的。這些模型之間還有互相的交叉、驗(yàn)證；每個(gè)模型還需要評(píng)估，離線評(píng)估一遍，在線評(píng)估一遍，之后再合并... 林林總總的行為加起來，對(duì)研發(fā)資源造成的負(fù)擔(dān)是非常大的。

所以，在多目標(biāo)推薦系統(tǒng)的第一版做出來之后，團(tuán)隊(duì)就在考慮：能不能使用模型之間共享一些參數(shù)的方式，或者共享模型本身以及訓(xùn)練流程的方式，來減少在訓(xùn)練上的負(fù)擔(dān)，以及它在工程成本、研發(fā)成本上的負(fù)擔(dān)？

以此想法為基礎(chǔ)，團(tuán)隊(duì)做出了一個(gè)能夠在底層共享相關(guān)參數(shù)，在頂層根據(jù)各種模型、目標(biāo)本身特點(diǎn)而學(xué)習(xí)的特有的神經(jīng)網(wǎng)絡(luò)架構(gòu)，張瑞說，這套架構(gòu)中參考了很多現(xiàn)有的多目標(biāo)學(xué)習(xí)的研究進(jìn)展。

雖然解決了一部分問題，但是把多個(gè)模型融合在一起，通過一個(gè)模型去學(xué)習(xí)一個(gè)目標(biāo)的方式仍然存在問題。

首先，目標(biāo)之間的相關(guān)性決定了這個(gè)模型學(xué)習(xí)的上限能有多少。比如：如果一個(gè)模型中點(diǎn)贊和點(diǎn)擊是完全耦合的，那么這個(gè)模型在學(xué)習(xí)點(diǎn)贊的過程中，也就學(xué)習(xí)了點(diǎn)擊。但是對(duì)用戶來講，它的意義是不一樣的，這并不是一個(gè)完全耦合的系統(tǒng)。

在這個(gè)學(xué)習(xí)任務(wù)下，如果去共享底層網(wǎng)絡(luò)參數(shù)的話，可能會(huì)造成底層的每個(gè)目標(biāo)都能學(xué)習(xí)一點(diǎn)，但是每個(gè)目標(biāo)學(xué)習(xí)的都不夠充分，這是多目標(biāo)學(xué)習(xí)系統(tǒng)實(shí)現(xiàn)的一個(gè)難點(diǎn)。為了解決這個(gè)問題，研發(fā)團(tuán)隊(duì)參考了 Google 發(fā)表的一篇論文，叫做 Multi-gate Mixture-of-Experts，簡(jiǎn)稱 MMOE。

MMOE 的核心思想是：把底層的網(wǎng)絡(luò)劃分成一些專用的模塊，雖然底層參數(shù)是共享的，但是通過目標(biāo)和網(wǎng)絡(luò)參數(shù)之間的一個(gè) gate（門）來學(xué)習(xí)，讓每部分網(wǎng)絡(luò)充分學(xué)習(xí)到對(duì)每個(gè)目標(biāo)的貢獻(xiàn)最大的一組參數(shù)結(jié)構(gòu)，通過這種方式來保證，底層網(wǎng)絡(luò)參數(shù)共享的時(shí)候，不會(huì)出現(xiàn)目標(biāo)之間相互抵消的作用。

張瑞告訴我們，經(jīng)過嘗試之后，交互層面的預(yù)估子任務(wù)的 AUC 值得到了至少千分之二的提升，在模型的主任務(wù)也就是預(yù)測(cè)閱讀的任務(wù)中，AUC 也沒有下降。上線之后，取得的效果也是非常正向的。

張瑞還跟我們同步了一些數(shù)據(jù)。從數(shù)據(jù)來看，在引入多目標(biāo)學(xué)習(xí)之前，知乎的預(yù)測(cè)模型已經(jīng)做到了非常高的準(zhǔn)確率，在引入多目標(biāo)學(xué)習(xí)之后，或多或少都會(huì)對(duì)閱讀行為有一定的負(fù)向作用：多目標(biāo)學(xué)習(xí)在上線以來，閱讀行為下降了 2% 左右，但是用戶的其他行為（比如點(diǎn)贊、收藏、評(píng)論、分享等），分別提高了 50%~100%。

如果看最直接關(guān)系到用戶體驗(yàn)的數(shù)據(jù)，也就是用戶的留存率，上線多目標(biāo)學(xué)習(xí)之后，知乎的整體用戶留存率大概提升了 5% 左右?！皩?duì)于任何一個(gè)推薦系統(tǒng)來說，整體的用戶留存率能提升 5% 都是非常高的收益?！睆埲鹧a(bǔ)充道。

至于用戶反饋，張瑞告訴我們，現(xiàn)在知乎有一些固定的渠道方便用戶提供反饋。他告訴我們：“在引入多目標(biāo)學(xué)習(xí)之前，我們接到的最多的反饋就是用戶覺得在 Feed 流里，內(nèi)容越來越淺顯。這些反饋主要來自于知乎的重度用戶和一些比較老的用戶，他們對(duì)知乎的期望都是非常高的，希望知乎能夠把一些特別有用的知識(shí)帶給他們。之前，機(jī)器的優(yōu)化閱讀會(huì)帶來一些反向作用，有用戶覺得知乎推薦的內(nèi)容雖然都特別抓人眼球，但實(shí)際的用處并沒有那么大。在新的推薦系統(tǒng)上線之后，很多人表示 Feed 流里面的內(nèi)容質(zhì)量變高了，用戶沉浸式的體驗(yàn)感變得更深了。”

引入多目標(biāo)學(xué)習(xí)的推薦系統(tǒng)在知乎已經(jīng)收獲了不少的正面效果，但是張瑞表示，團(tuán)隊(duì)目前遇到的一個(gè)令人困擾的問題是：多個(gè)目標(biāo)中，到底以什么樣的方式去對(duì)目標(biāo)進(jìn)行權(quán)衡和融合，才能得到用戶收益和平臺(tái)收益的最大化？

打個(gè)比方，用戶其實(shí)在 Feed 流里面消費(fèi)內(nèi)容的時(shí)候，他期望的并不是非常單一的場(chǎng)景，系統(tǒng)提供一些供消遣而淺顯的內(nèi)容，閱讀量會(huì)上漲，但是用戶會(huì)覺得體驗(yàn)不好；但如果推薦的全是一些收藏率特別高的內(nèi)容，對(duì)于用戶來講，雖然這類內(nèi)容非常有用，但閱讀起來會(huì)很累。

張瑞說：“對(duì)于平臺(tái)來講，我們最關(guān)注的是用戶在 Feed 流的場(chǎng)景下面的體驗(yàn)如何。這直接關(guān)系到我們用戶的留存和用戶的活躍?！?/p>

所以現(xiàn)在知乎在嘗試一些解決方案，包括對(duì)用戶進(jìn)行分群，看某個(gè)群體的用戶最在意的是什么樣的內(nèi)容。但這是一個(gè)通過產(chǎn)品經(jīng)理，或者通過人的觀察來確定的事情，比如說某些領(lǐng)域的重度用戶會(huì)特別在意推薦的內(nèi)容對(duì)他們有沒有用；一些輕度的用戶，他們來到知乎的主要的目的是為了輕量閱讀，一些易于消化的內(nèi)容對(duì)他們更友好。

對(duì)用戶分群之后，就可以動(dòng)態(tài)調(diào)整每個(gè)目標(biāo)的權(quán)重，給出一個(gè)最終的排序。這對(duì)于推薦系統(tǒng)當(dāng)然是有收益的，但是張瑞認(rèn)為在現(xiàn)在還沒有一個(gè)非常完善的方法來判斷，什么樣的群體、什么樣的目標(biāo)，他們之間以什么樣的比例去進(jìn)行融合，從而給最終全局一個(gè)最好的收益。

現(xiàn)在業(yè)界的各種推薦系統(tǒng)的方法，大家都會(huì)去預(yù)測(cè) CTR（點(diǎn)擊率）、預(yù)測(cè) CVR（轉(zhuǎn)化率），預(yù)測(cè)各種各樣行為的概率，但是很少有公司去做預(yù)測(cè)用戶的留存。這也是整個(gè)推薦行業(yè)，或者說推薦技術(shù)圈面臨的一個(gè)挑戰(zhàn)：所有的這些行為概率，都是用戶體驗(yàn)的一個(gè)方面，不能代表用戶體驗(yàn)的整體最優(yōu)，那么，用什么樣的方式能夠給用戶的體驗(yàn)帶來最大化的收益，仍然是業(yè)界目前面臨的一項(xiàng)挑戰(zhàn)。張瑞認(rèn)為，通過多目標(biāo)學(xué)習(xí)來間接的達(dá)到這個(gè)目標(biāo)，間接的達(dá)到全局最優(yōu)化，對(duì)于提升用戶體驗(yàn)也許是一種解決方式。

未來規(guī)劃

除了多目標(biāo)學(xué)習(xí)，有兩個(gè)方面的技術(shù)發(fā)展也是張瑞極其關(guān)注的，他認(rèn)為，這兩項(xiàng)技術(shù)對(duì)推薦系統(tǒng)也是很有幫助的。

首先是對(duì)于內(nèi)容質(zhì)量的判別。

知乎的場(chǎng)景主要是圖文，所以開發(fā)人員也會(huì)更在意圖文質(zhì)量的判別。圖文質(zhì)量的判別包括細(xì)粒度特征，比如某個(gè)內(nèi)容對(duì)于什么樣的用戶來說是好內(nèi)容，對(duì)于什么樣的用戶來說不是。舉例來說，一篇講機(jī)器學(xué)習(xí)基本知識(shí)的內(nèi)容，對(duì)于機(jī)器學(xué)習(xí)的入門初學(xué)者可能是非常好的內(nèi)容，但是對(duì)于知乎上面的一些機(jī)器學(xué)習(xí)大牛就是一個(gè)并沒有多少信息量的東西。

張瑞表示，怎么能夠?qū)崿F(xiàn)對(duì)內(nèi)容質(zhì)量，或者內(nèi)容價(jià)值的細(xì)粒度的刻畫是非常難的一件事，好在業(yè)界一直在技術(shù)上推進(jìn)，現(xiàn)在取得了一些進(jìn)展，包括 Google 最近發(fā)表的論文 BERT，它能夠?qū)ξ淖謨?nèi)容進(jìn)行不同于往常的 embedding 嵌入式表示。

其次是對(duì)于深度神經(jīng)網(wǎng)絡(luò)的解析。

現(xiàn)在的很多場(chǎng)景都用到了深度神經(jīng)網(wǎng)絡(luò)，但是張瑞告訴我們：對(duì)于深度神經(jīng)網(wǎng)絡(luò)來說，絕大多數(shù)的場(chǎng)景仍然是黑盒子，即使再往前進(jìn)一步，不是絕對(duì)的一個(gè)黑盒子，起碼也是一個(gè)灰盒子。

在中間的輸入和輸出之間到底有什么樣的關(guān)聯(lián)？哪個(gè)輸入的因子能夠?qū)敵銎鸬阶钪匾淖饔?？這個(gè)作用能不能可量化的去評(píng)估？現(xiàn)在業(yè)內(nèi)在這一領(lǐng)域的研究的成果并不是非常多，所以張瑞覺得，怎么去解析一個(gè) DNN 的網(wǎng)絡(luò)，實(shí)際上是對(duì)應(yīng)到開發(fā)者能不能真正的去了解這個(gè)模型，能不能去準(zhǔn)確的判定它是怎么工作的，以至于，能不能對(duì)下一步的工作提供指導(dǎo)，比如什么樣的特征，或者什么樣的網(wǎng)絡(luò)構(gòu)型能夠產(chǎn)生更大的收益？

現(xiàn)在大部分情況下還是靠人的經(jīng)驗(yàn)，一點(diǎn)點(diǎn)的去嘗試，如果能夠把 DNN 的解析給做好，在未來的各種迭代的效率，以及研發(fā)的效率可能就會(huì)出現(xiàn)一個(gè)質(zhì)的飛躍。

深度神經(jīng)網(wǎng)絡(luò)解析對(duì)于推薦系統(tǒng)可能會(huì)更重要。張瑞強(qiáng)調(diào)道，現(xiàn)在有些研究是在針對(duì)推薦系統(tǒng)的可解釋性，但是很多時(shí)候用戶看到的推薦內(nèi)容，實(shí)際上是不清楚為什么推給他，如果不清楚原因，有些用戶就沒有動(dòng)力仔細(xì)的去看。比如在網(wǎng)上上買東西，電商平臺(tái)推薦的商品根據(jù)用戶性別甚至是消費(fèi)級(jí)別進(jìn)行推薦的，但是對(duì)用戶來說，如果不給出一個(gè)解釋理由的話，用戶或許很難去想到這個(gè)東西到底跟自己有什么關(guān)聯(lián)。

張瑞認(rèn)為：“如果對(duì)于深度神經(jīng)網(wǎng)絡(luò)的解析，能夠有一個(gè)比較大的進(jìn)步，我們可以反向倒推出來，把哪些東西推給用戶是最重要的，同時(shí)也就可以給這個(gè)用戶解釋，我為什么給你推這個(gè)東西，能夠提高用戶的篩選效率，并且提高用戶的在整個(gè)推薦系統(tǒng)上的黏性和消費(fèi)意愿?！?/p>

最后張瑞談了談對(duì)知乎推薦系統(tǒng)未來發(fā)展的規(guī)劃與期待。

從用戶的決策面來說，知乎推薦系統(tǒng)團(tuán)隊(duì)希望能夠多樣的提升用戶和信息之間的匹配的準(zhǔn)確性，盡量把更多的信息帶給用戶?？赡苄枰ㄟ^上文提到的各種各樣的方式去一點(diǎn)一點(diǎn)實(shí)現(xiàn)這個(gè)目標(biāo)。

從平臺(tái)方面來說，首頁的推薦系統(tǒng)在知乎流量來源里面占有非常大的比重，同時(shí)也支撐著知乎各個(gè)業(yè)務(wù)的發(fā)展，所以，張瑞希望打造出一套非常靈活的系統(tǒng)，能夠根據(jù)業(yè)務(wù)當(dāng)前的需求，或者公司目前的運(yùn)營狀態(tài)，把流量導(dǎo)去對(duì)平臺(tái)、公司和用戶有益的地方，最終實(shí)現(xiàn)流量分配之后，對(duì)流量使用的價(jià)值進(jìn)行評(píng)估的一種機(jī)制。

 

采訪嘉賓介紹

首頁技術(shù)團(tuán)隊(duì)負(fù)責(zé)人 張瑞

張瑞，畢業(yè)于北京郵電大學(xué)，先后在百度、豌豆莢等從事搜索、搜索廣告、推薦系統(tǒng)中的機(jī)器學(xué)習(xí)、自然語言處理、推薦算法等方向的工作。目前擔(dān)任知乎首頁技術(shù)團(tuán)隊(duì)負(fù)責(zé)人、首頁業(yè)務(wù)總監(jiān)，負(fù)責(zé)知乎信息流產(chǎn)品的技術(shù)研發(fā)及產(chǎn)品運(yùn)營團(tuán)隊(duì)。

原文傳送門：https://mp.weixin.qq.com/s/J0j9NwSNhxab6bXqBBzaUw

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。