雷鋒網(wǎng)按：昨天，騰訊大數(shù)據(jù)技術(shù)峰會(huì)暨KDD China技術(shù)峰會(huì)上在深圳召開，騰訊數(shù)據(jù)平臺(tái)部總經(jīng)理，首席數(shù)據(jù)專家蔣杰做了騰訊大數(shù)據(jù)平臺(tái)Angel即將全面開源的報(bào)告，雷鋒網(wǎng)現(xiàn)場(chǎng)摘編如下。

| 獲得Sort benchmark4冠軍背后

大家好，很多人已經(jīng)知道騰訊獲得了今年的Sort benchmark的排序的4項(xiàng)冠軍，很多朋友來(lái)問(wèn)我，騰訊是怎么做到的，背后支撐的究竟是什么樣的技術(shù)？今天，我借這個(gè)機(jī)會(huì)，跟大伙來(lái)講講背后的一些故事。

相信很多人看過(guò)我們?cè)诤芏喑鞘袡C(jī)場(chǎng)投放的這個(gè)廣告，這個(gè)廣告里面畫的是一個(gè)賽跑的選手，排序比賽，就跟奧運(yùn)會(huì)的百米賽跑一樣，都要很快。但我想說(shuō)的是，其實(shí)我們更像一個(gè)長(zhǎng)跑選手，我們?cè)谂荞R拉松，這場(chǎng)馬拉松，我們跑了7年。

回顧過(guò)去幾年的比賽的成績(jī)，幾年前冠軍都是被美國(guó)企業(yè)壟斷的，最近三年則是BAT拿了冠軍。應(yīng)該說(shuō)，這幾年，國(guó)內(nèi)互聯(lián)網(wǎng)的發(fā)展速度不比美國(guó)慢，與此同時(shí)，以BAT為代表的國(guó)內(nèi)互聯(lián)網(wǎng)企業(yè)的計(jì)算能力也不落后于美國(guó)。

過(guò)去幾年，獲得冠軍的團(tuán)隊(duì)，用的基本上都是Hadoop和Spark，其實(shí)騰訊的大數(shù)據(jù)平臺(tái)，也是始于Hadoop的。我們之所以能獲得四項(xiàng)的冠軍，是我們經(jīng)歷了幾年的打磨，追求極致，我們希望最大限度地壓榨機(jī)器的性能。

• 首先，從成本的角度，只有把硬件壓榨到極致，成本才會(huì)低。我們采用的是OpenPower架構(gòu)的機(jī)器，按節(jié)點(diǎn)數(shù)計(jì)算，我們規(guī)模只有去年冠軍的六份一，按照今年的硬件價(jià)格，我們總的TCO成本遠(yuǎn)低于去年冠軍。

• 在調(diào)度層面，我們對(duì)調(diào)度算法做了深度優(yōu)化，使得每臺(tái)機(jī)器的CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤IO等每個(gè)環(huán)節(jié)都能發(fā)揮到極致。本次比賽的其中兩項(xiàng)為MinuteSort，比拼的就是一分鐘內(nèi)的排序數(shù)據(jù)量，這個(gè)時(shí)間調(diào)度的效率就變得非常重要，而這兩項(xiàng)比賽我們比去年提升了5倍，是提升幅度最高的；這也從另一個(gè)方面說(shuō)明了我們?cè)谡{(diào)度效率上的領(lǐng)先性。總結(jié)為一句話，就是最大限度地壓榨了硬件的性能，才讓我們?nèi)〉眠@個(gè)成績(jī)。

• 目前我們用于比賽的這個(gè)集群，已經(jīng)在我們的現(xiàn)網(wǎng)中用起來(lái)了，在高性能計(jì)算、圖計(jì)算、深度學(xué)習(xí)等領(lǐng)域支撐騰訊的現(xiàn)網(wǎng)應(yīng)用。

| 7年里三代平臺(tái)

回顧我們走過(guò)的7年，我們是2009年1月開始基于Hadoop來(lái)開發(fā)我們的大數(shù)據(jù)平臺(tái)，七年的征程，我們歷經(jīng)了3代平臺(tái)的發(fā)展。

• 2009-2011年是我們的第一代平臺(tái)，我們的第一代平臺(tái)，只支持批量計(jì)算的場(chǎng)景，主要就是報(bào)表，這個(gè)過(guò)程，我們重點(diǎn)發(fā)展了平臺(tái)的可擴(kuò)展性，我們不斷增大集群的規(guī)模，從09年的幾十臺(tái)，發(fā)展到現(xiàn)在總規(guī)模接近3萬(wàn)臺(tái)?？偨Y(jié)成幾個(gè)字，第一代就是規(guī)?；?。

• 第二代，用三個(gè)字總結(jié)就是實(shí)時(shí)化。這是2012年到2014年。主要支持在線分析和實(shí)時(shí)計(jì)算的場(chǎng)景，比如實(shí)時(shí)報(bào)表，實(shí)時(shí)查詢、實(shí)時(shí)監(jiān)控等。

• 第三代是去年到現(xiàn)在，主要建設(shè)機(jī)器學(xué)習(xí)平臺(tái)，支持騰訊各業(yè)務(wù)數(shù)據(jù)挖掘的需求。這是從數(shù)據(jù)分析到數(shù)據(jù)挖掘的轉(zhuǎn)變，三個(gè)字總結(jié)就是“智能化“。

第一代

第一代是離線計(jì)算的架構(gòu)，是基于Hadoop開發(fā)的， 我們起名叫TDW，騰訊分布式數(shù)據(jù)倉(cāng)庫(kù)的意思。

社區(qū)的Hadoop迭代慢，單一集群規(guī)模小，穩(wěn)定性和易用性都很差，不能達(dá)到騰訊的要求，因此我們按騰訊的業(yè)務(wù)運(yùn)營(yíng)標(biāo)準(zhǔn)，做了深度定制開發(fā)，我們著重發(fā)展集群的規(guī)模，解決Master單點(diǎn)瓶頸不能擴(kuò)展的問(wèn)題，我們優(yōu)化了調(diào)度策略來(lái)提高Job的并發(fā)性，也加強(qiáng)HA容災(zāi)建設(shè)，還有很關(guān)鍵的一點(diǎn)的是，我們豐富了Hadoop的周邊生態(tài)，建設(shè)了配套的工具和產(chǎn)品來(lái)降低用戶的使用門檻，語(yǔ)法上，我們兼容Oracle的語(yǔ)法，方便騰訊各產(chǎn)品部門做程序的遷移，Hadoop大數(shù)據(jù)的性能很強(qiáng)，但是小數(shù)據(jù)分析的效率很差，我們就集成了PostgreSQL來(lái)提升小數(shù)據(jù)的分析性能，打通Hadoop和PG的訪問(wèn)界限。

就這樣，我們從最開始的幾十臺(tái)、到幾百臺(tái)、到幾千臺(tái)，幾年以后，在2013年單一集群達(dá)到4400臺(tái)，2014年單一集群突破8800臺(tái)，處于業(yè)界領(lǐng)先的水平。目前我們的總規(guī)模接近3萬(wàn)臺(tái)。

TDW的建成，解決了我們內(nèi)部三大業(yè)務(wù)痛點(diǎn)。

第一，它使我們具備了T/P級(jí)的數(shù)據(jù)處理能力，幾十億、百億級(jí)的數(shù)據(jù)量，基本上30分鐘就能算出來(lái)。

第二，它的成本很低，我們可以使用很普通的PC Server，就能達(dá)到以前小型機(jī)一樣的效果；

第三，容災(zāi)方面，原來(lái)只要有機(jī)器宕機(jī)，業(yè)務(wù)的數(shù)據(jù)肯定就有影響，各種報(bào)表、數(shù)據(jù)查詢，都出不來(lái)?，F(xiàn)在TDW的機(jī)器宕機(jī)，業(yè)務(wù)完全無(wú)感知，系統(tǒng)會(huì)自動(dòng)做切換、數(shù)據(jù)備份等等的事情。

正是解決了業(yè)務(wù)的這些痛點(diǎn)，業(yè)務(wù)部門都愿意把計(jì)算遷移到TDW。到2012年底，我們把所有原來(lái)在Oracle和mysql上跑的報(bào)表都切換到TDW。

TDW的建成，讓我們具備了融合所有產(chǎn)品平臺(tái)的數(shù)據(jù)的能力。

以前的各產(chǎn)品的數(shù)據(jù)都是分散在各自的DB里面的，是一個(gè)個(gè)數(shù)據(jù)孤島，現(xiàn)在，我們以用戶為中心，建成了十億用戶量級(jí)、每個(gè)用戶萬(wàn)維特征的用戶畫像體系。

以前的用戶畫像，只有十幾個(gè)維度主要就是用戶的一些基礎(chǔ)屬性，比如年齡、性別、地域等，以前構(gòu)建一次要耗費(fèi)很多天，數(shù)據(jù)都是按月更新，有了TDW，我們每天更新一次。這個(gè)用戶畫像，應(yīng)用在騰訊所有跟精準(zhǔn)推薦相關(guān)的產(chǎn)品里面。

再舉個(gè)推薦的例子。推薦相信大家現(xiàn)在都耳熟能詳，但是放在6年前，這還是一個(gè)剛剛新興起的應(yīng)用；TDW為我們提供了一個(gè)快速切入快速支撐的能力。通過(guò) MapReduce的編程范式，基于TDW 的平臺(tái)，我們可以專注于各種推薦算法邏輯本身的實(shí)現(xiàn)，比如大家常見的CF, MF, LR 這些算法，以及各種 hash 聚類算法；這個(gè)時(shí)候的推薦技術(shù)，面對(duì)海量的用戶群體訪問(wèn)，更多還是基于一種實(shí)時(shí)查詢的服務(wù)方式。

第二代

第一代平臺(tái)解決了量大的痛點(diǎn)，但是在速度方面還有問(wèn)題，數(shù)據(jù)是離線的，任務(wù)計(jì)算是離線的，實(shí)時(shí)性差。所以，我們建設(shè)了第二代的大數(shù)據(jù)平臺(tái)。在第一代基礎(chǔ)上，集成了Spark，同時(shí)，還融合了Storm流式計(jì)算的框架。這一代平臺(tái)的集成，讓我們的計(jì)算的粒度從原來(lái)的小時(shí)，發(fā)展到分鐘，直至秒級(jí)。

數(shù)據(jù)采集方面，我們構(gòu)建了TDBank，讓原來(lái)通過(guò)接口機(jī)傳文件的方式，T+1的粒度，變成了毫秒級(jí)的實(shí)時(shí)采集。在這個(gè)采集平臺(tái)里面，我們自研的消息中間件，每天采集的消息條數(shù)超過(guò)6.5萬(wàn)億，可以說(shuō)是世界上消息量最大的消息中間件。同時(shí)，我們還有高可靠版本的消息中間件，能支持像金融、計(jì)費(fèi)等高一致性的需求，保證消息不丟。

在資源調(diào)度層面，我們基于Yarn，發(fā)展了我們的Gaia調(diào)度平臺(tái)，Yarn只支持CPU和內(nèi)存的維度，而我們的Gaia還支持網(wǎng)絡(luò)以及磁盤IO的維度，Yarn只支撐離線計(jì)算，Gaia能支持在線的場(chǎng)景，另外，我們還支持doctor，我們平臺(tái)現(xiàn)在每天有1.5億container。

再拿剛才提到的推薦例子，基于第一代平臺(tái)的推薦應(yīng)用會(huì)碰到2個(gè)問(wèn)題，一個(gè)是隨著用戶量，訪問(wèn)量的增多，產(chǎn)生的數(shù)據(jù)會(huì)越來(lái)越多，多到在有限的時(shí)間根本不可能批處理的計(jì)算完，還有一點(diǎn)是用戶的行為模式變化很快，需要更快的去更新各種維度的用戶畫像；數(shù)據(jù)的實(shí)時(shí)采集讓用戶行為，實(shí)時(shí)畫像的計(jì)算成為可能，這構(gòu)成了流式計(jì)算的 數(shù)據(jù)流，分布式的流式計(jì)算實(shí)時(shí)更新各個(gè)維度的統(tǒng)計(jì)量，進(jìn)一步形成了推薦算法的實(shí)時(shí)訓(xùn)練數(shù)據(jù)，從而把上一代的 offline 的推薦系統(tǒng)變成了 online 的實(shí)時(shí)推薦系統(tǒng)。在廣告的推薦應(yīng)用上，我們可以看到每一次的實(shí)時(shí)加快，都帶來(lái)了更大的點(diǎn)擊率提升。

第二代的平臺(tái)，實(shí)時(shí)性和體量方面，都能滿足絕大多數(shù)業(yè)務(wù)需求。但隨著我們的數(shù)據(jù)量越來(lái)越大，我們的瓶頸很快也出現(xiàn)了。我們?cè)赟park上做數(shù)據(jù)訓(xùn)練的時(shí)候，每一輪的迭代，在更新數(shù)據(jù)的時(shí)候，都會(huì)遇到網(wǎng)絡(luò)方面的瓶頸，因?yàn)楦聰?shù)據(jù)的地方是一個(gè)單點(diǎn)，如果數(shù)據(jù)的維度很大，這套框架就無(wú)法支撐。

在我們的實(shí)際應(yīng)用中，千萬(wàn)級(jí)的維度，都可以run得不錯(cuò)，但是上了億級(jí)，性能就非常低了，甚至跑不出來(lái)。

所以，我們必須要建設(shè)一個(gè)能支持超大規(guī)模數(shù)據(jù)集的一套系統(tǒng)，能滿足billion級(jí)別的維度的數(shù)據(jù)訓(xùn)練，而且，這個(gè)系統(tǒng)必須能滿足我們現(xiàn)網(wǎng)應(yīng)用需求的一個(gè)工業(yè)級(jí)的系統(tǒng)。它能解決big data，以及big model的需求，它既能做數(shù)據(jù)并行，也能做模型并行。

第三代-自研平臺(tái)Angel

一個(gè)是基于第二代平臺(tái)的基礎(chǔ)上做演進(jìn)，解決大規(guī)模參數(shù)交換的問(wèn)題。另外一個(gè)，就是新建設(shè)一個(gè)高性能的計(jì)算框架。

我們看了當(dāng)時(shí)業(yè)內(nèi)比較流行的幾個(gè)產(chǎn)品

GraphLab，主要做圖模型，容錯(cuò)差；

Google的Distbelief，還沒(méi)開源；

還有CMU Eric Xing的Petuum，當(dāng)時(shí)很火，不過(guò)它更多是一個(gè)實(shí)驗(yàn)室的產(chǎn)品，易用性和穩(wěn)定性達(dá)不到我們的要求。

看了一圈，我們決定自研，走自研的路。我們前兩代都是基于開源的，第三代則開始了自研的歷程。其實(shí)在第二代，我們已經(jīng)嘗試自研，我們消息中間件，不論是高性能的，還是高可靠的版本，都是我們自研的。他們經(jīng)歷了騰訊億萬(wàn)流量的考驗(yàn)，這也給了我們?cè)谧匝蟹矫婧艽蟮男判摹?/span>因此，第三代整體的計(jì)算框架方面，我們也走了自研的道路。第三代的平臺(tái)，核心是一個(gè)叫Angel的高性能計(jì)算平臺(tái)。我們聚焦在高性能的計(jì)算框架方面，同時(shí)，也是我們往機(jī)器學(xué)習(xí)、深度學(xué)習(xí)演進(jìn)的一個(gè)路線。

• 相比第二代，第三代的計(jì)算框架，可以支持10億級(jí)維度的算法訓(xùn)練，由以前的數(shù)據(jù)并行，到可以支持模型并行。
  

• 同時(shí)，我們第三代的平臺(tái)，還支持GPU深度學(xué)習(xí)，支持文本、語(yǔ)音、圖像等非結(jié)構(gòu)化的數(shù)據(jù)。

• Angel是基于參數(shù)服務(wù)器的一個(gè)架構(gòu)，它跑在我們的Gaia平臺(tái)上面的。它支持BSP、SSP、ASP三種計(jì)算模式；

• 支持?jǐn)?shù)據(jù)并行以及工業(yè)界更看重的模型并行，因?yàn)槲覀冎饕龅降倪€是模型大的問(wèn)題；

• 另外，在網(wǎng)絡(luò)上我們有個(gè)原創(chuàng)的嘗試，我們用了港科大楊老師的團(tuán)隊(duì)做的諸葛弩來(lái)做網(wǎng)絡(luò)調(diào)度。ParameterServer優(yōu)先服務(wù)較慢的Worker，當(dāng)模型較大時(shí)，能明顯降低等待時(shí)間，任務(wù)總體耗時(shí)下降5%~15%。

• Angel提供很豐富的算法，支持LR、SVM、LDA、GDBT等等，并且集成了非常豐富的數(shù)學(xué)函數(shù)庫(kù)。

• 另外，還提供非常友好的編程界面，能跟Spark、MR對(duì)接，你能像用MR、Spark一樣編程。
  

Angel跟其他平臺(tái)相比，比如Petuum，和spark等，就我們的測(cè)試結(jié)果，在同等量級(jí)下，Angel的性能要優(yōu)于其他平臺(tái)。比如我們用Netflix的數(shù)據(jù)跑的SGD算法，大家看一下這個(gè)圖的對(duì)比。

同時(shí)，Angel更適合超大規(guī)模的數(shù)據(jù)訓(xùn)練。目前Angel支持了很多騰訊內(nèi)部的現(xiàn)網(wǎng)業(yè)務(wù)。這里舉兩個(gè)例子，比如，在構(gòu)建用戶畫像方面，以前都是基于Hadoop和Spark來(lái)做，跑一次模型要1天甚至幾天，話題只有1k；而在Angel上，20多億文檔、幾百萬(wàn)個(gè)詞，3000億的token，1個(gè)小時(shí)就跑完了。

以前Spark能跑的，現(xiàn)在Angel快幾十倍；以前Spark跑不了的，Angel也能輕松跑出來(lái)。再看一個(gè)case，視頻的點(diǎn)擊預(yù)測(cè)，同等數(shù)據(jù)量下，Angel的性能是Spark的44倍以上。用了Angel以后，我們維度從千萬(wàn)擴(kuò)展到億，訓(xùn)練時(shí)間從天縮短到半小時(shí)，而準(zhǔn)確度也有不小的提升。

Angel不僅僅是一個(gè)只做并行計(jì)算的平臺(tái)，它更是一個(gè)生態(tài)。

我們圍繞Angel，建立了一個(gè)小生態(tài)圈，它支持Spark之上的MLLib，支持上億的維度的訓(xùn)練；我們也支持更復(fù)雜的圖計(jì)算模型；同時(shí)支持Caffe、TensorFlow、Torch等深度學(xué)習(xí)框架，實(shí)現(xiàn)這些框架的多機(jī)多卡的應(yīng)用場(chǎng)景。

| 總結(jié)

各位，臨近尾聲了，我想總結(jié)一下騰訊大數(shù)據(jù)平臺(tái)發(fā)展的三個(gè)階段：

• 我們從離線計(jì)算起步，經(jīng)過(guò)實(shí)時(shí)計(jì)算階段，進(jìn)入了機(jī)器學(xué)習(xí)的時(shí)代。

我們從跟隨開源，發(fā)展到自研，我們的發(fā)展歷經(jīng)了規(guī)模化、實(shí)時(shí)化，以及智能化的變遷。最后，我要借這個(gè)機(jī)會(huì)跟大家公布一個(gè)消息，那就是：我們的大數(shù)據(jù)平臺(tái)將全面開源。

我們會(huì)在明年上半年把Angel以及Angel周邊的系統(tǒng)進(jìn)行開源。我們平臺(tái)源自開源，我們的發(fā)展離不開開源，所以我們會(huì)以最大的力度擁抱開源。

其實(shí)在開源的道路上，我們一直都在參與：

• 我們第一代平臺(tái)的核心，TDW-Hive，已經(jīng)在2014年就開源了；

• 我們還在很多社區(qū)項(xiàng)目貢獻(xiàn)了很多核心代碼，培養(yǎng)了好幾個(gè)committer。

• 而未來(lái)，我們的開源力度只會(huì)越來(lái)越大。

小結(jié)： 

在雷鋒網(wǎng)眼里，Angel是騰訊完全自主的大數(shù)據(jù)平臺(tái)，按照騰訊的說(shuō)法無(wú)論是在性能還是實(shí)用性，Angel比其它平臺(tái)都有很大的優(yōu)勢(shì)，但讓業(yè)界為之震驚的還是騰訊將其開源，而且開源的力度也是騰訊過(guò)去2代計(jì)算平臺(tái)無(wú)法比擬的，毋庸置疑，對(duì)下游廠商來(lái)講，這是一個(gè)利好消息。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。