今天全世界市值前五的公司，即蘋果、亞馬遜、谷歌、微軟和Facebook，有一個共同的特點，它們是掌握世界上最多數(shù)據(jù)、也最會使用數(shù)據(jù)的公司。

吳軍在《浪潮之巔》中揭示當下工業(yè)革命的范式：現(xiàn)有產(chǎn)業(yè)+大數(shù)據(jù)=新的產(chǎn)業(yè)。

如何正確得使用大數(shù)據(jù)，將公司現(xiàn)有的業(yè)務和市場規(guī)模變得更大，成為當代幾乎所有企業(yè)都必須思考的一個問題。而大數(shù)據(jù)平臺便是這個問題的解決方案之一。

對此，雷鋒網(wǎng)采訪了京東數(shù)科T1大數(shù)據(jù)平臺負責人。

他和我們分享了京東數(shù)科T1大數(shù)據(jù)平臺的產(chǎn)品特點和技術特色、在金融領域的服務情況以及在具體實施過程中遇到的困難等內(nèi)容。

以下為對話實錄：

雷鋒網(wǎng)：T1大數(shù)據(jù)平臺是一款什么樣的產(chǎn)品？

T1大數(shù)據(jù)平臺是一個涵蓋數(shù)據(jù)采集、加工、處理，包括數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務和數(shù)據(jù)應用等一整套從底層到上層的、全生命周期的一站式大數(shù)據(jù)平臺。

平臺有兩個特點，首先它是一站式的平臺，從底層快速地幫助用戶搭建一整套的大數(shù)據(jù)體系，幫助客戶迅速完成數(shù)據(jù)的資產(chǎn)化和價值化，并且通過數(shù)據(jù)服務層的能力組合，比如數(shù)據(jù)接口或者畫像、標簽、相關的系統(tǒng)支撐各種業(yè)務場景。

第二，整個大數(shù)據(jù)平臺本身是一個配置式和自動化程度比較高的系統(tǒng)，能為用戶提供良好的操作體驗，大大降低用戶操作門檻。

雷鋒網(wǎng)：T1大數(shù)據(jù)平臺面向哪類型的客戶？

一般是金融機構(gòu)，目前我們做的比較多的有民營銀行、股份制銀行和城商銀行，可以簡單的分為三類：

第一類金融機構(gòu)，目前還不具備高效的實時處理和分析功能，它們需要建設一個實時的大數(shù)據(jù)處理平臺。

比如一家中型銀行，每年產(chǎn)生的數(shù)據(jù)量可以達到數(shù)十TB，涵蓋了應用數(shù)據(jù)、行為數(shù)據(jù)和系統(tǒng)日志等多種多樣的數(shù)據(jù)來源和格式。如果沒有合適的運營管控工具，這些數(shù)據(jù)只能“沉睡”在后臺，無法發(fā)揮價值。

第二類金融機構(gòu)，具備傳統(tǒng)的數(shù)據(jù)倉庫，可以解決分析報表的需求，它們需要建設一個整體的大數(shù)據(jù)解決方案。

第三類金融機構(gòu)，本身具備不錯的大數(shù)據(jù)平臺能力，但建設的比較分散、孤立，業(yè)務之間存在gap，它們需要一些產(chǎn)品，比如數(shù)據(jù)接口或畫像系統(tǒng)，在大數(shù)據(jù)平臺和應用之間架起橋梁。

雷鋒網(wǎng)：如果客戶本身已經(jīng)有大數(shù)據(jù)平臺，再對接T1大數(shù)據(jù)平臺，會遇到哪些問題？

客戶在已有大數(shù)據(jù)平臺上再采購集成其他的大數(shù)據(jù)產(chǎn)品，主要會碰到的是兼容適配的問題。

相對于業(yè)內(nèi)某些產(chǎn)品的封閉性和排他性，T1大數(shù)據(jù)平臺是一個開放式的架構(gòu)，既可以把平臺整體輸出給用戶，也可以按需輸出某些子產(chǎn)品作為客戶的能力補充。

T1的子產(chǎn)品對外部依賴都做了兼容性的處理，也預留了一些對接接口，可以快速和客戶本身已有系統(tǒng)進行對接。比如T1大數(shù)據(jù)平臺曾輸出畫像產(chǎn)品給某家客戶，需要和客戶已有的ETL系統(tǒng)進行調(diào)度對接，由于畫像產(chǎn)品已經(jīng)預留了調(diào)度對接的接口，所以非常順利地就完成了對接工作。

雷鋒網(wǎng)：金融機構(gòu)十分注重安全性問題，京東數(shù)科對此做了哪些工作？

的確，金融公司對數(shù)據(jù)的歸屬性都比較敏感，T1大數(shù)據(jù)平臺提供私有化部署的服務，可以把大數(shù)據(jù)平臺部署到客戶的環(huán)境當中，將數(shù)據(jù)劃定在一定區(qū)域中，非公司內(nèi)部人士不可能直接訪問到相關數(shù)據(jù)，從機制上保證了數(shù)據(jù)安全。

在使用大數(shù)據(jù)平臺時，對于企業(yè)客戶內(nèi)部的操作人員，京東數(shù)科提供數(shù)據(jù)全生命周期的安全管理服務，對敏感數(shù)據(jù)進行分級分類。這種方式下，操作人員只能接觸到一定范圍內(nèi)的數(shù)據(jù)，保障了操作時的數(shù)據(jù)安全問題。

雷鋒網(wǎng)：T1大數(shù)據(jù)平臺有直接對標的產(chǎn)品嗎？國外有Cloudera，Hortonworks，國內(nèi)有神州信息、華為、星環(huán)、明略數(shù)據(jù)等大數(shù)據(jù)平臺產(chǎn)品，相比這些廠家，T1大數(shù)據(jù)平臺有哪些優(yōu)勢和劣勢？

京東數(shù)科T1大數(shù)據(jù)平臺具備實時異構(gòu)的海量數(shù)據(jù)處理能力，比如實時數(shù)據(jù)處理平臺，已經(jīng)達到TB級的數(shù)據(jù)在線實時處理，并且能夠提供毫秒級的延時。

此外，京東數(shù)科T1大數(shù)據(jù)平臺還提供了一套新的數(shù)據(jù)服務架構(gòu)，在以前傳統(tǒng)的架構(gòu)中只能處理結(jié)構(gòu)化的數(shù)據(jù)，而T1能夠?qū)Ω鞣N結(jié)構(gòu)化、半結(jié)構(gòu)、非結(jié)構(gòu)化的異構(gòu)數(shù)據(jù)，實現(xiàn)統(tǒng)一的數(shù)據(jù)接入、數(shù)據(jù)整合以及數(shù)據(jù)加工處理和分析。

雷鋒網(wǎng)：之前您說道，T1大數(shù)據(jù)平臺”是一個全套的解決方案，可以給我們講一講它“全”在哪里嗎？它比較特色的組件又在哪里？

T1大數(shù)據(jù)平臺的“全”主要體現(xiàn)在三個方面：一是產(chǎn)品功能覆蓋了從異構(gòu)數(shù)據(jù)的采集、存儲、加工和使用的數(shù)據(jù)全生命周期的端到端的整體流程，具備采集的數(shù)據(jù)類型全，采集的時效性高和使用方式靈活多樣的特點。

二是產(chǎn)品操作方式覆蓋了大數(shù)據(jù)技能水平的所有用戶群體，既提供了拖拽式、智能化的不需要具備專業(yè)大數(shù)據(jù)技能的便捷操作方式，也為算法工程師、數(shù)據(jù)科學家等高階用戶提供了自由式的數(shù)據(jù)探索入口，讓平臺的作用最大化。

三是在大數(shù)據(jù)價值鏈的傳遞上能夠為數(shù)據(jù)應用的全場景提供良好的支撐，數(shù)據(jù)接口、標簽、模型等服務都可和上層數(shù)據(jù)應用場景做無縫集成和對接。

有不少比較有特色的組件或功能，比如數(shù)據(jù)復制組件可以實時解析采集MySQL、Oracle、DB2、HBase和Mongodb等多種主流數(shù)據(jù)庫的數(shù)據(jù)，在整個業(yè)界同類產(chǎn)品中功能也是非常領先和突出的。標簽畫像組件不僅僅具備標簽畫像的加工查看功能，還提供了和上層業(yè)務的快捷對接方式和應用效果評估，解決了使用上“最后一公里”的問題。

雷鋒網(wǎng)：對于一些本身體量較小或者目前數(shù)據(jù)量積累較少的公司，有人認為沒有必要搭建這一套系統(tǒng)，暫時先租用AWS和阿里云就夠了。對于數(shù)據(jù)量大，但數(shù)據(jù)分析需求較簡單的公司，可以直接買Tableau，Splunk，HP Vertica，或者IBM DB2等軟件或服務即可。您覺得數(shù)據(jù)量或者記錄規(guī)模大概達到什么級別就必須上大數(shù)據(jù)平臺？

大數(shù)據(jù)平臺的使用可能和數(shù)據(jù)量沒有直接的關系。

有的初創(chuàng)公司或者某些行業(yè)的公司，對于數(shù)據(jù)的使用和數(shù)據(jù)歸屬性的要求沒那么高；有些公司目前的需求是解決一些業(yè)務運營分析，它們的確可以去購買一些公共的服務。但是當這些公司發(fā)展到一定階段之后，如果想去更好的開展一些業(yè)務，比如說營銷拓客、在線個人信貸或者風控，是需要具備大數(shù)據(jù)平臺能力的。

雷鋒網(wǎng)：T1大數(shù)據(jù)平臺是開源的嗎？

T1大數(shù)據(jù)平臺的底層基于開源的生態(tài)體系來打造，這樣能幫助我們的客戶去利用到開源生態(tài)體系的一些能力，支撐業(yè)務的發(fā)展。但就產(chǎn)品本身來說，目前不開源。

雷鋒網(wǎng)：T1大數(shù)據(jù)平臺從開始定制到正式使用，一般需要多長時間？

目前，T1大數(shù)據(jù)平臺已經(jīng)是非常成熟的一套標準化的產(chǎn)品。我們也提供了一鍵式安裝部署的服務，可以把T1大數(shù)據(jù)平臺以標準化的方式，非常迅速的融入客戶的IT系統(tǒng)中。基本上一周之內(nèi)，它就可以實現(xiàn)投產(chǎn)運行。

雷鋒網(wǎng)：您提到，一周內(nèi)可以完成產(chǎn)品的部署。那把產(chǎn)品從0到1部署到銀行原有IT系統(tǒng)的大致流程是什么樣的？你們這一周主要干哪些事？

T1大數(shù)據(jù)平臺為了保障對客戶的交付效率和體驗，更多的工夫會體現(xiàn)在這一周之外。從技術層面上，T1大數(shù)據(jù)平臺可以實現(xiàn)自動化和容器化的安裝部署模式；從交付方式上，專業(yè)的交付實施團隊會提前和客戶規(guī)劃好部署架構(gòu)，并在T1大數(shù)據(jù)平臺的自有演練環(huán)境完成部署演練，從而達到在客戶現(xiàn)場最快速部署落地的效果。

雷鋒網(wǎng)：在這一周的部署過程中，你們需要幫銀行IT部門解決的最復雜的技術和系統(tǒng)對接問題，您認為是什么？

在真正部署的階段前，我們會同銀行IT部門一起來解決適配和對接的問題。在銀行落地過程中，主要會碰到基礎環(huán)境兼容、既有系統(tǒng)對接和客戶自有工作流程的銜接等問題，相對來說既有系統(tǒng)的對接是比較復雜的部分，T1大數(shù)據(jù)平臺各個子產(chǎn)品對可能發(fā)生外部交互的功能邏輯進行了抽象封裝，以接口化、插件化的方式實現(xiàn)最小化代價的對接。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。