雷鋒網(wǎng)AI科技評(píng)論按，蘋果近日收購(gòu)了一家數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)公司LATTICE DATA，雷鋒網(wǎng)已經(jīng)日前已經(jīng)對(duì)相關(guān)情況進(jìn)行報(bào)道，詳情請(qǐng)看這篇文章。

不過暗數(shù)據(jù)有哪些價(jià)值、LATTICE的技術(shù)有何特別之處、蘋果此舉又是出于怎樣打算，很多小伙伴應(yīng)該還不是很清楚，請(qǐng)看下文分析。

暗數(shù)據(jù)是什么？

LATTICE公司的技術(shù)要處理的對(duì)象是“暗數(shù)據(jù)”。業(yè)內(nèi)把它稱作“暗數(shù)據(jù)”（dark data），是因?yàn)檫@些數(shù)據(jù)很難直接使用。它們可能是雜亂的、多種格式共存的、進(jìn)行了記錄但是沒有派上用場(chǎng)的、進(jìn)行分析整合總結(jié)之前的、或者根本沒有明確目的性。

總體情況而言，目前各家企業(yè)和組織收集的所有數(shù)據(jù)中，能夠直接進(jìn)行結(jié)構(gòu)化分析或者大數(shù)據(jù)分析的數(shù)據(jù)比例其實(shí)很小。根據(jù)IDC的調(diào)查數(shù)據(jù)，90%的非結(jié)構(gòu)化數(shù)據(jù)都從未被分析過。多數(shù)情況下企業(yè)覺得許多類型的數(shù)據(jù)都有直接價(jià)值或者潛在價(jià)值，所以花費(fèi)資金人力進(jìn)行了長(zhǎng)期收集，比如收集用戶使用自家產(chǎn)品的信息、統(tǒng)計(jì)內(nèi)部軟件開發(fā)進(jìn)度、統(tǒng)計(jì)網(wǎng)站訪問信息等等；典型的暗數(shù)據(jù)還比如，公司中存儲(chǔ)的客戶資料、服務(wù)器的日志文件、離職員工的信息、問卷調(diào)查的原始數(shù)據(jù)、按周期的財(cái)務(wù)狀況表、歷史郵件資料、公開的賬戶信息、工作產(chǎn)生的記事本備忘錄PPT、工作報(bào)表文檔的早期版本等等。

除了直覺上覺得“收集了數(shù)據(jù)就肯定有價(jià)值”之外，我們對(duì)暗數(shù)據(jù)的價(jià)值是否有理性的系統(tǒng)化認(rèn)識(shí)呢？現(xiàn)在對(duì)它價(jià)值的認(rèn)識(shí)主要有兩種觀點(diǎn)，一種觀點(diǎn)基于正面價(jià)值，認(rèn)為不對(duì)這些數(shù)據(jù)進(jìn)行分析，就沒法發(fā)現(xiàn)其中有些重要但尚未被人注意過的機(jī)會(huì)；另一種觀點(diǎn)基于負(fù)面價(jià)值，如果這些未經(jīng)分析的數(shù)據(jù)處理不當(dāng)，可能會(huì)有法律和安全方面的許多問題。

正面價(jià)值的角度，企業(yè)有很大的機(jī)會(huì)可以通過暗數(shù)據(jù)獲得發(fā)展業(yè)務(wù)的機(jī)會(huì)，比如：服務(wù)器的日志文件中可以讀出網(wǎng)站訪問者的行為；客戶通話錄音可以揭示客戶的態(tài)度和感情；移動(dòng)設(shè)備帶來的位置數(shù)據(jù)可以提供訪問模式。如果一家企業(yè)不對(duì)這些暗數(shù)據(jù)進(jìn)行分析，那簡(jiǎn)直就是把機(jī)會(huì)白白丟掉了。不過同樣地，企業(yè)也需要有更好的流程、協(xié)調(diào)和技術(shù)才能夠正確地運(yùn)用暗數(shù)據(jù)。

負(fù)面價(jià)值的角度，企業(yè)很可能記錄了法律不允許記錄的數(shù)據(jù)，一旦揭露出來會(huì)有很大麻煩；收集的企業(yè)內(nèi)部信息可能泄露商業(yè)機(jī)密；如果丟失了用戶數(shù)據(jù)，將會(huì)降低公司信譽(yù)；如果手握類似的用戶數(shù)據(jù)，A公司沒有進(jìn)行分析，但是競(jìng)爭(zhēng)對(duì)手B進(jìn)行了分析，那么B就很有可能在接下來的競(jìng)爭(zhēng)中取得優(yōu)勢(shì)。

處理暗數(shù)據(jù)為什么難

確定了暗數(shù)據(jù)的價(jià)值以后，就可以考慮規(guī)劃行動(dòng)了。但已經(jīng)行動(dòng)的企業(yè)很少。這是為什么呢？

主要原因有這三個(gè)：

1，收集數(shù)據(jù)時(shí)候優(yōu)先級(jí)太單一。比如一個(gè)信用卡的市場(chǎng)團(tuán)隊(duì)只關(guān)心客戶的信息和信譽(yù)度，那么它會(huì)記錄客戶在網(wǎng)上申請(qǐng)頁(yè)面上填寫的信息，但是不關(guān)心客戶是如何來到這個(gè)申請(qǐng)頁(yè)面的、客戶對(duì)頁(yè)面易用性的感受又如何。那么當(dāng)客戶整個(gè)申請(qǐng)流程的數(shù)據(jù)都記錄下來后，能夠有人愿意分析利用的只是其中很小的一部分。

2，技術(shù)和工具的限制。如果同一家企業(yè)和組織的數(shù)據(jù)收集是用不同的技術(shù)和工具進(jìn)行的，那就有可能出現(xiàn)由于技術(shù)限制導(dǎo)致這些技術(shù)和工具之間沒法互動(dòng)的情況。這樣一來數(shù)據(jù)就沒辦法全部聯(lián)系在一起，展現(xiàn)出完整的狀況。這件事情尤其容易發(fā)生在那些有多個(gè)IT系統(tǒng)和數(shù)據(jù)格式的公司身上。比如，想把呼叫中心的語(yǔ)音錄音和網(wǎng)站上的瀏覽點(diǎn)擊數(shù)據(jù)整合在一起就很難。數(shù)據(jù)分析項(xiàng)目還處在比較早期階段的公司就會(huì)有這樣的問題。

3，數(shù)據(jù)難以結(jié)構(gòu)化。不同設(shè)備的訪問歷史、社交網(wǎng)絡(luò)上的文章和下面的評(píng)論、歷史郵件資料等資料，雖然整理到便于查詢的格式需要花一點(diǎn)功夫，但好歹還是普通文本；有不少情況下數(shù)據(jù)是在DOC、XLS、PPT、PDF文檔和各種圖片里面的，那這樣的數(shù)據(jù)要如何提取、如何結(jié)構(gòu)化呢，別忘了表格里的數(shù)據(jù)要保持著表格的結(jié)構(gòu)才能產(chǎn)生意義，而圖片信息的提取單獨(dú)拿出來都是一件大事。

LATTICE公司技術(shù)如何

LATTICE公司的前身DeepDive是斯坦福大學(xué)的一項(xiàng)研究項(xiàng)目，計(jì)算機(jī)科學(xué)教授克里斯·雷（Chris Re）和密歇根大學(xué)計(jì)算機(jī)科學(xué)教授邁克爾·卡法雷拉（Michael Cafarella）共同帶領(lǐng)團(tuán)隊(duì)進(jìn)行研發(fā)，不僅成果客觀，還獲得過許多企業(yè)和機(jī)構(gòu)的支持。

他們和核心競(jìng)爭(zhēng)力是數(shù)據(jù)分析處理技術(shù)，采用深度學(xué)習(xí)的方案并大大提高了可用性，可以進(jìn)行訓(xùn)練、推理和預(yù)測(cè)，最大的亮點(diǎn)是能夠從非結(jié)構(gòu)化的數(shù)據(jù)（如一般的工作文檔和圖片）整理出結(jié)構(gòu)化數(shù)據(jù)（如SQL數(shù)據(jù)庫(kù)），并且可以把這些數(shù)據(jù)合并到現(xiàn)有數(shù)據(jù)庫(kù)以拓展整個(gè)分析結(jié)果的深度廣度。他們的技術(shù)有很多吸引人的特點(diǎn)：

• 入門成本低，使用者只需要考慮數(shù)據(jù)特征而不考慮算法

• 科學(xué)領(lǐng)域內(nèi)，信息提取準(zhǔn)確度比人類更高

• 可以適應(yīng)數(shù)據(jù)的噪音和不準(zhǔn)確性

• 可以從多種數(shù)據(jù)格式提取信息，包括網(wǎng)頁(yè)、PDF、圖像、表格等等

• 使用者可以非常簡(jiǎn)單地給與反饋和設(shè)定規(guī)則以提到特定領(lǐng)域內(nèi)預(yù)測(cè)的準(zhǔn)確度

• 早期模型無需訓(xùn)練就可以開始工作
  

• 高性能可拓展

LATTICE公司能幫到蘋果嗎

蘋果的多條硬件產(chǎn)品線、多種軟件生態(tài)服務(wù)、7億用戶群，都能夠源源不斷地產(chǎn)生用戶行為數(shù)據(jù)。設(shè)備、服務(wù)、app的購(gòu)買使用記錄可以用來做用戶畫像，系統(tǒng)應(yīng)用的使用統(tǒng)計(jì)數(shù)據(jù)可以分析用戶習(xí)慣，每個(gè)地區(qū)市場(chǎng)的消費(fèi)統(tǒng)計(jì)還可以用來分析消費(fèi)趨勢(shì)、出營(yíng)銷方案等等，而這還僅僅是基礎(chǔ)的、很容易想到的用途。如果大家還記得之前爆出過iOS設(shè)備存儲(chǔ)用戶幾個(gè)月內(nèi)的GPS定位記錄，其實(shí)已經(jīng)表明，除了我們?nèi)菀紫氲降氖褂糜涗浐唾?gòu)買記錄之外，還有不少數(shù)據(jù)也被記錄了，這些數(shù)據(jù)不僅更隱私，泄露以后對(duì)用戶還會(huì)有很大的威脅。

根據(jù)蘋果有能力收集的數(shù)據(jù)和LATTICE所能提供的技術(shù)，雷鋒網(wǎng)AI科技評(píng)論推測(cè)蘋果可能有如下打算：

一，蘋果記錄的用戶數(shù)據(jù)已經(jīng)非常之多，首先需要考量數(shù)據(jù)存儲(chǔ)的安全性和可靠性，避免丟失和泄露，最好還能同時(shí)提升可用性；

二，通過深入分析用戶使用習(xí)慣數(shù)據(jù)，建立用戶模型，了解和預(yù)測(cè)用戶需求，繼續(xù)優(yōu)化用戶體驗(yàn)，作為后喬布斯時(shí)代“滿足用戶需求，創(chuàng)造新的增長(zhǎng)點(diǎn)”策略的行動(dòng)之一；

三，現(xiàn)在的人工智能研究嚴(yán)重依賴數(shù)據(jù)，可以把用戶產(chǎn)生的海量數(shù)據(jù)用于訓(xùn)練自己的人工智能

四，蘋果對(duì)全球員工和全球供應(yīng)商的信息管理也可以借此機(jī)會(huì)進(jìn)行升級(jí)，繼續(xù)提高信息管理水平

不過鑒于蘋果的保密文化，外人可能最終也無從得知他們到底做了什么。不過這起碼也給其它科技企業(yè)提了醒：別讓自己花了人力財(cái)力收集的數(shù)據(jù)躺在服務(wù)器里睡大覺了。

AI科技評(píng)論招業(yè)界記者啦！

在這里，你可以密切關(guān)注海外會(huì)議的大牛演講；可以采訪國(guó)內(nèi)巨頭實(shí)驗(yàn)室的技術(shù)專家；對(duì)人工智能的動(dòng)態(tài)了如指掌；更能深入剖析AI前沿的技術(shù)與未來！

如果你：

＊對(duì)人工智能有一定的興趣或了解

 * 求知欲強(qiáng)，具備強(qiáng)大的學(xué)習(xí)能力

 * 有AI業(yè)界報(bào)道或者媒體經(jīng)驗(yàn)優(yōu)先

簡(jiǎn)歷投遞：

lizongren@leiphone.com

相關(guān)文章：

蘋果花2億美元收購(gòu)了一家人工智能企業(yè)，要把數(shù)據(jù)變廢為寶

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。