Tom Ryan想要打造能在大規(guī)模移動(dòng)網(wǎng)絡(luò)、股票交易服務(wù)、電子商務(wù)網(wǎng)站和其他在線服務(wù)中識(shí)別犯罪行為的產(chǎn)品。于是他向兩個(gè)家喻戶曉的組織求助：Facebook和NSA。

他并沒(méi)能敲開(kāi)Facebook的大門，更不用說(shuō)NSA了。但他確實(shí)采用了由這兩個(gè)組織開(kāi)發(fā)的兩個(gè)軟件。這兩個(gè)軟件曾幫助Facebook和NSA在流向其數(shù)據(jù)中心的海量數(shù)字信息中暢游。

Ryan采用的NSA工具名為Accumulo，極有可能在NSA以國(guó)家安全的名義廣泛監(jiān)控互聯(lián)網(wǎng)流量的活動(dòng)中扮演了關(guān)鍵角色；他還配合了名為Presto的Facebook工具來(lái)使用，該工具曾被用來(lái)快速分析人、廣告以及其他所有事情在Facebook上的行為。Facebook和NSA都開(kāi)源了自己的軟件，意味著這些工具可以無(wú)限制地向全世界提供。

Ryan在硅谷創(chuàng)辦了一家名為Argyle Data的小創(chuàng)業(yè)公司，他擔(dān)任CEO。在過(guò)去16個(gè)月中，他和他的工程師團(tuán)隊(duì)使用Accumulo和Presto開(kāi)發(fā)了能從海量在線操作中揪出欺詐行為的軟件，而且已經(jīng)部署在了不少公司中，比如在歐洲運(yùn)營(yíng)移動(dòng)電話網(wǎng)絡(luò)的英國(guó)電信巨頭沃達(dá)豐。

Argyle Data是驅(qū)動(dòng)現(xiàn)代商業(yè)的數(shù)據(jù)挖掘技術(shù)最近發(fā)展的縮影。在過(guò)去數(shù)年間，Google和Facebook等大互聯(lián)網(wǎng)公司以及NSA等打造了一系列新軟件，能在數(shù)十、數(shù)百乃至數(shù)千臺(tái)機(jī)器中存儲(chǔ)和分析數(shù)據(jù)?，F(xiàn)在，這些軟件公司開(kāi)始流向商業(yè)世界的其他部分。Ryan表示：“作為一家創(chuàng)業(yè)公司，我們想要在新的工具而不是舊的工具上打造軟件。”

這一運(yùn)動(dòng)的典范是名為Hadoop的軟件系統(tǒng)，該軟件最初由Google完成。但現(xiàn)在Hadoop已經(jīng)讓位給能以更快速度運(yùn)行的工具了。Hadoop是一個(gè)“批處理”系統(tǒng)，你給它一個(gè)任務(wù)，等一段時(shí)間后就能知道答案。更新的系統(tǒng)在速度上更快。

Argyle Data的軟件就是最好的例子。通過(guò)使用機(jī)器學(xué)習(xí)和深度包檢查技術(shù)，它能分析流經(jīng)一個(gè)網(wǎng)絡(luò)的所有數(shù)據(jù)包，而如果一塊數(shù)據(jù)符合特定指標(biāo)，它就能把這塊數(shù)據(jù)存入海量數(shù)據(jù)庫(kù)Accumulo中?！八茏屛覀兠棵霋呙钄?shù)千萬(wàn)到數(shù)億筆交易”，Ryan說(shuō)道。隨后，各個(gè)公司可以使用Presto來(lái)進(jìn)一步分析數(shù)據(jù)，近乎實(shí)時(shí)地進(jìn)行特定檢索。

數(shù)據(jù)分析創(chuàng)業(yè)公司Adatao的CEO Christopher Nguyen曾經(jīng)在Google內(nèi)部參與過(guò)類似的“大數(shù)據(jù)”軟件。他表示，Arygle的方法并不是快速分析如此海量信息最好的方法。但他同意，這是朝“實(shí)時(shí)”大數(shù)據(jù)工具前進(jìn)的一部分，這些工具也包括由加州大學(xué)伯克利分校開(kāi)發(fā)的Spark以及其他諸多軟件。

同時(shí)，Argyle的故事強(qiáng)調(diào)了這一運(yùn)動(dòng)的另一面。比如，NSA很有可能用Accumulo來(lái)監(jiān)控我們的在線隱私，而隨著類似工具讓收集和分析海量數(shù)據(jù)變得更容易，隱私可能會(huì)進(jìn)一步被侵犯。畢竟，沃達(dá)豐就在使用Argyle的軟件分析歐洲無(wú)線網(wǎng)絡(luò)中的數(shù)據(jù)流。

電子前哨基金會(huì)的助理技術(shù)人員Seth Schoen表示，法律通常允許公司同時(shí)使用Argyle和其他工具來(lái)打擊欺詐。但最終，這些工具對(duì)隱私的影響要看每個(gè)公司的政策。好消息是，各個(gè)組織可以密切控制Accumulo，能清楚地知道誰(shuí)訪問(wèn)了哪些數(shù)據(jù)。Ryan表示道：“有得必有失。隱私如此重要。但數(shù)據(jù)越多，分析的結(jié)果就越好。”

via wired

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。