毫無疑問，騰訊云正不斷將把騰訊多年來的能力沉淀對外開放，賦能千萬企業(yè)，這一次是大數(shù)據(jù)。

在9月11日騰訊全球數(shù)字生態(tài)大會大數(shù)據(jù)專場上，騰訊云一口氣公布了1+6款大數(shù)據(jù)核心應(yīng)用產(chǎn)品。

要知道，在過去的十多年時間里，騰訊大數(shù)據(jù)經(jīng)歷了由外部采購到自研再到對外輸送能力的快速迭代和發(fā)展，目前產(chǎn)品矩陣已經(jīng)覆蓋運維、開發(fā)、應(yīng)用三大層面，無論是作為基礎(chǔ)設(shè)施的彈性分布式計算、神盾聯(lián)邦計算，場景開發(fā)的商業(yè)智能分析、云搜等，還是作為大數(shù)據(jù)應(yīng)用服務(wù)的云圖、燈塔增長平臺等，目前都以騰訊云產(chǎn)品和服務(wù)的形式，面向開發(fā)者和企業(yè)開放。

騰訊云副總裁劉煜宏透露，騰訊云大數(shù)據(jù)平臺的算力彈性資源池達(dá)500萬核，每日分析任務(wù)數(shù)達(dá)1500萬，每日實時計算次數(shù)超過40萬億，能支持超過一萬億維度的數(shù)據(jù)訓(xùn)練。

此時，正是檢驗騰訊云大數(shù)據(jù)產(chǎn)品能力的最好時候。

一場疫情帶來的大數(shù)據(jù)產(chǎn)業(yè)機遇

而2020年的新冠疫情嚴(yán)重暴露了很多企業(yè)的數(shù)字化支撐能力不足，很多企業(yè)都倉促將業(yè)務(wù)轉(zhuǎn)移到線上，但由于過去積累不足，并未取得很好的效果。

哪些能力是需要補足的？騰訊研究院今年4月的一份調(diào)研數(shù)據(jù)顯示，有50%的企業(yè)認(rèn)為大數(shù)據(jù)是數(shù)字化轉(zhuǎn)型過程中首要關(guān)注的一項技術(shù)。

騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平表示，企業(yè)構(gòu)建大數(shù)據(jù)能力的核心有三點：一是平臺的統(tǒng)一，大數(shù)據(jù)涵蓋的范圍非常廣，每個組件只能解決一小部分，導(dǎo)致整體對大數(shù)據(jù)平臺的維護(hù)和升級的復(fù)雜度極其高；二是異構(gòu)算力，大數(shù)據(jù)的算力占到了企業(yè)IT采購的50%以上；三是企業(yè)級安全，對企業(yè)經(jīng)營影響非常大。

為此，騰訊云推出了全新全鏈路數(shù)據(jù)開發(fā)平臺WeData，以解決從數(shù)據(jù)集成到開發(fā)調(diào)度到部署測試長鏈條上的問題。

具體來說，WeData提供了涵蓋數(shù)據(jù)即席分析、數(shù)據(jù)任務(wù)可視化編排、運維等在內(nèi)的全鏈路數(shù)據(jù)開發(fā)能力。將主要解決三個問題：一是元數(shù)據(jù)統(tǒng)一，做到不同平臺的數(shù)據(jù)打通；二是數(shù)據(jù)開發(fā)的統(tǒng)一，從數(shù)據(jù)集成、開發(fā)、測試、發(fā)布、調(diào)度，都能在一個平臺內(nèi)統(tǒng)一；三是數(shù)據(jù)治理的統(tǒng)一，包括數(shù)據(jù)血緣、數(shù)據(jù)地圖、數(shù)據(jù)的質(zhì)量等。

例如，通過在云端構(gòu)建統(tǒng)一元數(shù)據(jù)管理服務(wù)，涵蓋技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的管理，并打通了彈性MapReduce（EMR）、CDW云數(shù)倉、MySQL云數(shù)據(jù)庫、對象存儲等在內(nèi)元數(shù)據(jù)，以便于企業(yè)數(shù)據(jù)在不同云端數(shù)據(jù)設(shè)施之間進(jìn)行無縫流轉(zhuǎn)的同時，還能保障其元數(shù)據(jù)的一致性和可維護(hù)性。

目前，WeData已經(jīng)進(jìn)入內(nèi)測階段，預(yù)計下半年正式公布并開源出來。

除了全鏈路數(shù)據(jù)開發(fā)平臺WeData之外，在更細(xì)分的場景上，騰訊云大數(shù)據(jù)推出流計算服務(wù)Oceanus、云數(shù)據(jù)倉庫CDW、ES、彈性MapReduce、神盾聯(lián)邦計算以及企業(yè)畫像等6項重磅能力發(fā)布和升級。

針對大數(shù)據(jù)開發(fā)場景，

• 正式發(fā)布流計算服務(wù)Oceanus，面向大數(shù)據(jù)實時計算領(lǐng)域，可應(yīng)用于實時點擊流分析、物聯(lián)網(wǎng)監(jiān)控、實時推薦、實時金融風(fēng)控等場景。

• 全新發(fā)布云數(shù)據(jù)倉庫CDW，則可以幫助中小企業(yè)快速構(gòu)建數(shù)據(jù)倉庫，對于常見的運維操作進(jìn)行高度封裝，屏蔽底層復(fù)雜的邏輯細(xì)節(jié)，同時提供多維度全方位智能化的監(jiān)控體系。

• 全新升級“明星產(chǎn)品”ES，新增自研中文分詞系統(tǒng)，準(zhǔn)確度和性能均達(dá)到行業(yè)領(lǐng)先水平。

在大數(shù)據(jù)基礎(chǔ)設(shè)施層，

• 全新升級彈性MapReduce，能夠?qū)崿F(xiàn)企業(yè)大數(shù)據(jù)構(gòu)建成本降低30%。MapReduce實現(xiàn)異構(gòu)算力的融合，能夠在計算高峰期通過云原生的彈性資源或者在線業(yè)務(wù)的空閑資源快速補充算力。

• 全新發(fā)布神盾聯(lián)邦計算，可以零門檻進(jìn)行企業(yè)間的數(shù)據(jù)融合計算。

 在大數(shù)據(jù)應(yīng)用服務(wù)上，

• 全新升級企業(yè)畫像，提供企業(yè)營銷、企業(yè)風(fēng)控、企業(yè)扶持、產(chǎn)業(yè)分析等四個方向的解決方案，助力政府管理、企業(yè)拓客和金融機構(gòu)規(guī)避風(fēng)險。

WeData如何快速落地？ 

以上解決方案，不難看出騰訊云對企業(yè)大數(shù)據(jù)應(yīng)用痛點有著清晰的認(rèn)知。

然而，數(shù)據(jù)開發(fā)領(lǐng)域，類似的產(chǎn)品并不鮮，相較之下，具體到場景中，WeData解決了哪些問題？又會有怎樣的發(fā)展邏輯？

騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平在接受雷鋒網(wǎng)采訪時表示，

“WeData首先滿足的肯定是企業(yè)客戶的核心訴求，我們也會聚焦兩類群客戶體：

一類是過去使用大數(shù)據(jù)比較淺層次，可能就使用了數(shù)據(jù)報表功能的企業(yè)，但現(xiàn)在希望能夠利用這些數(shù)據(jù)做更多的探索，如用戶分析。

還有一類是此前可能已經(jīng)部署了一些大數(shù)據(jù)相關(guān)應(yīng)用，希望投入更多精力在數(shù)據(jù)價值上的企業(yè)，但這類企業(yè)所構(gòu)建的數(shù)據(jù)平臺的維護(hù)和升級成本極高?！?/p>

據(jù)了解，騰訊QQ音樂首先基于WeData產(chǎn)品進(jìn)行了大數(shù)據(jù)能力的重構(gòu)。

在重構(gòu)之前，所有的數(shù)據(jù)分析能力都是基于Spark構(gòu)建，所有報表的延時也都是小時級。在將熱數(shù)據(jù)全部升級到Clickhouse，并通過WeData進(jìn)行數(shù)據(jù)開發(fā)工作，重構(gòu)完成之后數(shù)據(jù)決策能力從小時級別提升到秒級。

但不同的是，在接觸到真正的外部政企客戶，很多訴求很難說在騰訊內(nèi)部就能遇到，如跨源、跨域、跨類型、跨IDC的數(shù)據(jù)分析需求等。為觀察到這些客戶訴求并給出可落地的解決方案，騰訊云大數(shù)據(jù)基礎(chǔ)平臺總經(jīng)理陳鵬向雷鋒網(wǎng)舉了一個實際場景：

“騰訊云產(chǎn)研團(tuán)隊會有專門的類似售前的架構(gòu)師，可真正第一線了解客戶需求。比方說，客戶對運營有某些特定訴求，內(nèi)部就會將這部分能力作為高優(yōu)先級進(jìn)行產(chǎn)品化，然后迭代賦能給外部。

在這個過程中，可能會遇到外部客戶所能接受的集群規(guī)模調(diào)度在幾十臺的量級，如何保證這套協(xié)同既能支撐騰訊內(nèi)部大規(guī)模調(diào)度又能支撐外部客戶低成本部署的問題，其實非常考驗整體架構(gòu)的的能力。”

直接跳過騰訊之前踩的坑，讓企業(yè)有更多時間關(guān)注業(yè)務(wù)價值，可以說是騰訊云WeData的核心目標(biāo)。

雷鋒網(wǎng)總結(jié)

可以看到整個大數(shù)據(jù)的演進(jìn)已經(jīng)從過去比較多地關(guān)心存儲計算能力，發(fā)展到了現(xiàn)在，能夠?qū)⒋鎯τ嬎惴庋b起來往場景開發(fā)和應(yīng)用服務(wù)的方向演進(jìn)。

這其實也是騰訊云大數(shù)據(jù)平臺接下來的發(fā)展方向。據(jù)透露，騰訊大數(shù)據(jù)平臺將會在數(shù)據(jù)安全、智能化、統(tǒng)一平臺三大方向重點發(fā)力。

正如雷曉平在采訪中最后對WeData的未來期待所描述的那樣：目前大數(shù)據(jù)開發(fā)平臺并沒有統(tǒng)一的標(biāo)準(zhǔn)和協(xié)議，這導(dǎo)致每個企業(yè)用戶在平臺遷移成本上非常高，WeData主打開源和開放，同時我們也希望將它做成一個生態(tài)。

將技術(shù)落實到場景中，將研究相關(guān)成果開放出來，從WeData身上我們看到了騰訊云對企業(yè)用戶真正開始了解的一面。

（雷鋒網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。