0
什么是大數(shù)據(jù)？《大數(shù)據(jù)時代》的作者舍恩伯格認為，大數(shù)據(jù)并不能定義—個確切的概念。大數(shù)據(jù)是人們獲得新的認知，創(chuàng)造新的價值的源泉，大數(shù)據(jù)是改變市場、組織機構，以及政府和公民關系的方法。
這是更具有人文色彩和社會意義的詮釋。顯然，也更加清楚地指明了大數(shù)據(jù)帶來的思維變革、商業(yè)變革和管理變革。
換句話說，數(shù)據(jù)給我們帶來了兩個重要的改變：更多信息、更少成本。
大數(shù)據(jù)帶來變革的同時，也對數(shù)據(jù)處理的底層技術有著更高的要求。只有找到如何管控越來越多數(shù)據(jù)的方法，才能實現(xiàn)數(shù)據(jù)價值最大化。
雖然，目前各行各業(yè)對大數(shù)據(jù)的研究比較火熱，但對于大數(shù)據(jù)治理的研究還處于起步階段。這尤其體現(xiàn)在對于數(shù)據(jù)治理沒有統(tǒng)一的定義。
例如，IBM對于數(shù)據(jù)治理的定義是:“數(shù)據(jù)治理是一種質(zhì)量控制規(guī)程，用于在管理、使用、改進和保護組織信息的過程中添加新的嚴謹性和紀律性。”DGI 則認為數(shù)據(jù)治理是指在企業(yè)數(shù)據(jù)管理中分配決策權和相關職責。
拋開宏觀定義不談，如果大數(shù)據(jù)技術能夠探索清楚，那么從微觀反推宏觀，顯然也使定義更加清晰。
在大數(shù)據(jù)時代，一切數(shù)據(jù)都是有意義的。因為通過數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)展現(xiàn)等，我們可以發(fā)現(xiàn)很多有用的或有意思的規(guī)律和結論。
比如，上海交通刷卡信息，分析這些刷卡記錄，可以清晰了解上海市民的出行規(guī)律，來有效改善城市交通。
但這些出行數(shù)據(jù)，不是想用就能用的，需要通過“存儲”“計算”“智能”來對數(shù)據(jù)進行加工和支撐，從而實現(xiàn)數(shù)據(jù)的增值。
而在這其中，最關鍵的問題不僅在數(shù)據(jù)技術本身，也在于是否實現(xiàn)兩個標準：第一，數(shù)據(jù)記錄，是否足夠多，足夠有價值；第二，是否找到適合的數(shù)據(jù)技術的業(yè)務應用。
大數(shù)據(jù)處理技術大致可以分為五個部分：大數(shù)據(jù)采集、大數(shù)據(jù)預處理、大數(shù)據(jù)存儲及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應用(大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應用、大數(shù)據(jù)安全等)。
以上五個部分的概念，在學術界和工業(yè)界有不同的理解。2014 年,數(shù)據(jù)挖掘大牛吳信東等人從另一個角度探索了大數(shù)據(jù)處理技術的框架——基于大數(shù)據(jù)具有異構、自治的數(shù)據(jù)源以及復雜和演變的數(shù)據(jù)關聯(lián)等本質(zhì)特征提出了 HACE 原理，該原理從大數(shù)據(jù)的數(shù)據(jù)處理、領域應用以及數(shù)據(jù)挖掘三個層次來刻畫大數(shù)據(jù)處理框架。
吳信東現(xiàn)任明略科技集團首席科學家和明略科學院院長，對數(shù)據(jù)挖掘（Data Mining）、大數(shù)據(jù)知識工程（BigKE）等領域有很深的認識。
吳信東聯(lián)合董丙冰，堵新政，楊威等人在軟件學報上發(fā)表了《數(shù)據(jù)治理》一文，介紹數(shù)據(jù)治理和大數(shù)據(jù)治理的概念、發(fā)展以及應用的必要性,其次對已有的數(shù)據(jù)治理技術——數(shù)據(jù)規(guī)范、數(shù)據(jù)清洗、數(shù)據(jù)交換和數(shù)據(jù)集成進行具體的分析,并介紹了數(shù)據(jù)治理成熟度和數(shù)據(jù)治理框架設計。
“HAO 治理”模型架構圖
此外，在這個基礎上明略提出了大數(shù)據(jù)“HAO 治理”模型,該模型以支持人類智能（HI）、人工智能（AI）和組織智能（OI）三者協(xié)同為目標。
總體來說，HAO能實現(xiàn)四個需求：
1.建立全面、動態(tài)、可配置的數(shù)據(jù)接入機制,滿足數(shù)據(jù)采集、數(shù)據(jù)匯聚、任務配置、任務調(diào)度、數(shù)據(jù)加密、斷點續(xù)傳等需求。
2. 建立標準化的數(shù)據(jù)處理流程,形成面向數(shù)據(jù)內(nèi)容的數(shù)據(jù)規(guī)范、清洗、關聯(lián)、比對、標識等轉換處理規(guī)范模式,為一個組織的數(shù)據(jù)融合建庫提供支撐。
3. 統(tǒng)籌建設多元集成、融合建庫的數(shù)據(jù)組織模式，按照業(yè)務類型、敏感程度、隱私內(nèi)容等關鍵要素分級分類推進云建庫和存儲管理,采用特征標簽、歸一集成等多種手段實現(xiàn)不同來源數(shù)據(jù)資源關聯(lián)融合。
4. 構建知識圖譜分類,建設多渠道、多維度的數(shù)據(jù)服務模式,面向使用者提供查詢檢索、比對排序等基礎數(shù)據(jù)服務,面向專業(yè)人員提供挖掘分析、專家建模等智能數(shù)據(jù)服務。
此文是大數(shù)據(jù)領域的集大成之作。從另一個層面講，明略科技用從實踐和理論證明了構建大數(shù)據(jù)處理技術的實力。
隨著數(shù)據(jù)處理技術越來越成熟，當前業(yè)界和學界也提出了可以衡量企業(yè)底層數(shù)據(jù)處理技術的"指標"：數(shù)據(jù)中臺。
關于數(shù)據(jù)中臺尚沒有統(tǒng)一且規(guī)范的定義,近日，吳信東在《自動化學報》的最新一篇文章中，基于數(shù)據(jù)共享和數(shù)據(jù)價值最大化的原則，將數(shù)據(jù)中臺定義為：將一個機構 (企業(yè)、事業(yè)、或政府部門) 的數(shù)據(jù)作為戰(zhàn)略資產(chǎn)進行管理，是從數(shù)據(jù)收集到處理應用的一套管理機制，以期提高數(shù)據(jù)質(zhì)量，實現(xiàn)廣泛的數(shù)據(jù)共享，最終實現(xiàn)數(shù)據(jù)價值最大化。數(shù)據(jù)中臺建設覆蓋數(shù)據(jù)的邏輯管理和物理管理，邏輯管理包括數(shù)據(jù)結構的設計和數(shù)據(jù)之間相關性的分析，如數(shù)據(jù)倉庫；物理管理包括數(shù)據(jù)的存儲和檢索。
基于以上定義，明略科技將數(shù)據(jù)中臺的核心可以歸納為“數(shù)據(jù)資產(chǎn)管理”。其核心功能大概可以歸納為7個部分：
1. 數(shù)據(jù)的物理管理: 包括多源數(shù)據(jù)的采集、匯聚、存儲、索引和檢索。
2. 數(shù)據(jù)的邏輯管理: 包括: a）數(shù)據(jù)治理；b）數(shù)據(jù)之間的層次建模和相關性分析；
3.數(shù)據(jù)服務: 用數(shù)據(jù)實現(xiàn)多樣化的用戶服務。
4.知識圖譜建設: 融入機構的知識體系和組織智能, 用以界定數(shù)據(jù)的來源和數(shù)據(jù)的服務范圍.
5. 數(shù)據(jù)資產(chǎn)管理: 對數(shù)據(jù)對象和數(shù)據(jù)服務進行價值定義、保護、組織和管理, 實現(xiàn)數(shù)據(jù)價值的最大化。
6.客戶關系管理: 采集和分析用戶對數(shù)據(jù)和數(shù)據(jù)服務的使用行為, 理解和進一步服務用戶的需求。
7.信息安全: 保證中臺上的數(shù)據(jù)和服務在物理層和邏輯層都是安全的。
顯然，明略科技的數(shù)據(jù)中臺，在融合數(shù)據(jù)的基礎上，更要關注是否能夠積累和沉淀行業(yè)知識，將數(shù)據(jù)智能和組織智能融合，形成行業(yè)智能，更敏捷更快速的響應前端業(yè)務的變化，更好的協(xié)作創(chuàng)新。
當前關于數(shù)據(jù)中臺建設尚處于起步階段, 面臨著技術不成熟、框架驗證標準不一、技術人員缺乏等困難和挑戰(zhàn)。
這向企業(yè)發(fā)出了數(shù)據(jù)中臺的“破局”之問：“怎樣建設數(shù)據(jù)中臺才能滿足現(xiàn)實需求”。吳信東在《自動化學報》中提到，必須根據(jù)數(shù)據(jù)特點和應用需求調(diào)整各個模塊的具體實現(xiàn)。
例如, 在物流領域的數(shù)據(jù)中臺建設中, 面對數(shù)據(jù)維度高、數(shù)據(jù)類型復雜、數(shù)據(jù)量大、實時數(shù)據(jù)采集困難等問題, 需要有高性能的數(shù)據(jù)分析和計算平臺, 會給現(xiàn)有數(shù)據(jù)中臺建設的技術帶來很大的挑戰(zhàn)。
根據(jù)吳信東提到的原則，回過頭來看明略科技歸納的數(shù)據(jù)中臺7大核心功能，能夠回答數(shù)據(jù)中臺的“破局”之問。這7個核心功能能夠讓“從業(yè)者”看到三個前景：
1、實現(xiàn)機構數(shù)據(jù)資產(chǎn)的高效管理和數(shù)據(jù)價值最大化: 在爆炸式數(shù)據(jù)增長的時代, 海量數(shù)據(jù)的存儲、管理和價值的實現(xiàn)是企業(yè)面對的一個主要問題, 數(shù)據(jù)中臺可望能夠有效地盤活機構數(shù)據(jù)資源, 將其轉化為數(shù)據(jù)資產(chǎn), 通過更貼近業(yè)務數(shù)據(jù)服務 API 實現(xiàn)數(shù)據(jù)價值的最大化。
2. 能夠迅速根據(jù)時代變化調(diào)整機構的發(fā)展方向和快速創(chuàng)新相應用戶需求: 數(shù)據(jù)中臺是一個完整的數(shù)據(jù)服務體系, 為機構帶來了數(shù)據(jù)平臺化的運營機制, 可望解決應用開發(fā)與數(shù)據(jù)開發(fā)速度不匹 配的問題, 因而, 數(shù)據(jù)中臺為一個機構根據(jù)時代發(fā)展要求調(diào)整機構的戰(zhàn)略提供了契機。
3. 提升機構內(nèi)團隊協(xié)作能力: 原始機構的業(yè)務各自發(fā)展, 可能導致出現(xiàn)煙囪式應用開發(fā)和數(shù)據(jù)孤島等問題, 數(shù)據(jù)中臺的出現(xiàn), 可以將機構的核心技術或團隊凝聚在一起, 建設機構內(nèi)強大的數(shù)據(jù)開發(fā)、運營等團隊, 提升機構的團隊的硬實力和軟實力。
產(chǎn)業(yè)應用的背后，都是底層技術的支撐。底層技術越雄厚，行業(yè)應用越“熟練”。
而數(shù)據(jù)中臺，這一需要理論技術和實踐相結合的領域更是如此。例如：
在電力行業(yè)，明略科技幫助某省國網(wǎng)建設自己的數(shù)據(jù)中臺。打通了136個業(yè)務系統(tǒng)，接入了6300多張報表，2800多億條數(shù)據(jù)。將各個業(yè)務系統(tǒng)實現(xiàn)數(shù)據(jù)打通、數(shù)據(jù)共享，構建了具有貼源層、明細層、匯總層、集市層四層架構的數(shù)據(jù)倉庫，支撐起全省數(shù)據(jù)服務。設計了15類實體、16種關系、68個屬性，通過從不同來源不同的結構數(shù)據(jù)中進行知識抽取，形成知識存入到知識圖譜，并服務于諸如停電范圍自動計算等電力行業(yè)實際工作。工作人員只需要輸入需要計劃性維護、排故的臺區(qū)，根據(jù)設備依賴關系精確計算出停電范圍。此外，明略科技還在業(yè)務側研發(fā)了智能問答助手，巡視人員通過智能問答助手就可以了解輸電線路故障解決方案。
圖注：智慧零售中臺解決方案
在零售行業(yè)，明略科技的智慧零售中臺，能緊緊把握住數(shù)據(jù)特點和應用需求，打造柔性供應鏈，實現(xiàn)拉動式生產(chǎn)；打通信息壁壘，協(xié)同企業(yè)各部門高效運轉；以顧客為中心，個性化精準營銷；以數(shù)據(jù)為依托，輔助企業(yè)智能決策；協(xié)助企業(yè)快速響應并融入創(chuàng)新市場。
營銷領域，明略科技的營銷數(shù)據(jù)中臺，能夠全方位的幫助企業(yè)實現(xiàn)數(shù)據(jù)整合、數(shù)據(jù)治理、數(shù)據(jù)建模和數(shù)據(jù)服務化，涵蓋 DMP 和 CDP 所有功能，并能基于企業(yè)對于數(shù)據(jù)的管理需求和商業(yè)化應用方向給予定制化支持。助力企業(yè)實現(xiàn)基于智能營銷和消費者智能運營及管理的數(shù)據(jù)管理、洞察分析和決策支持、數(shù)據(jù)激活、數(shù)據(jù)沉淀及數(shù)據(jù)閉環(huán)管理和應用等全方位營銷數(shù)字化體系。
判斷一個企業(yè)的數(shù)據(jù)治理技術的底蘊，關鍵要看這個企業(yè)的對數(shù)據(jù)中臺這一新興概念的理解。
明略科技在中臺上的優(yōu)勢，恰恰在于，其本身就是大數(shù)據(jù)的軟件產(chǎn)品、平臺和智能服務商?；谧陨矶ㄎ?，恰好能實現(xiàn)上下銜接，將業(yè)務著眼于數(shù)據(jù)價值的挖掘和應用。
在更多行業(yè)領域，通用能力需要橫向遷移，而新領域的行業(yè)知識和專家經(jīng)驗，需要用做數(shù)據(jù)治理的經(jīng)驗，再去逐漸匹配行業(yè)。
顯然，在這一點上，明略科技也很明確自己的方向。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
