0
| 本文作者： 奕欣 | 2017-01-24 16:00 |
近日，螞蟻金服與美國加州伯克利大學(xué)近期新成立的RISE實驗室達(dá)成合作意向。RISE實驗室的前身是著名伯克利AMP實驗室，主導(dǎo)研發(fā)了當(dāng)今大數(shù)據(jù)計算領(lǐng)域最前沿的開源系統(tǒng)：Apache Spark、Apache Mesos、以及 Alluxio (又名“Tachyon”)。以Apache Spark為例，作為大數(shù)據(jù)處理的計算引擎，它具備 DAG 執(zhí)行引擎以及基于內(nèi)存的多輪迭代計算等優(yōu)勢，使得其在數(shù)據(jù)分析等工作負(fù)載上表現(xiàn)優(yōu)秀，成為大數(shù)據(jù)領(lǐng)域最活躍的開源項目之一。
此前，螞蟻金服和清華大學(xué)、同濟(jì)大學(xué)等高校就基礎(chǔ)科研進(jìn)行了合作，此次和美國加州伯克利大學(xué)的合作向國際高?；A(chǔ)科研合作邁出了新的一步，螞蟻金服董事長彭蕾曾在內(nèi)部講話中表明螞蟻金服對大數(shù)據(jù)技術(shù)的人才將“不拘一格，不遺余力”。螞蟻金服方面對雷鋒網(wǎng)表示，和RISE實驗室合作，除了表面對基礎(chǔ)技術(shù)深度研究之外，更深層次是對人才長期的持續(xù)投資。
AMPLab 升級為RISE實驗室，標(biāo)志著世界頂級計算機(jī)科學(xué)系在大數(shù)據(jù)計算領(lǐng)域種下一個五年重大研究計劃。這個新實驗室專注于下一代大數(shù)據(jù)計算系統(tǒng) “實時智能安全決策引擎“（RISE）的研發(fā)，世界十一家頂級科技公司成為該實驗室的創(chuàng)始成員：谷歌、微軟、亞馬遜、螞蟻金服、CAPITAL ONE、英特爾、華為、愛立信、 IBM、VMWare和GE。
RISE實驗室主任Ion Stoica教授描繪了實驗室的使命愿景：解決大規(guī)模數(shù)據(jù)計算中長期未能很好解決的世界難題，機(jī)器如何在實時數(shù)據(jù)環(huán)境中快速地做出智能決策。這項技術(shù)適用于許多未來場景，從地震監(jiān)控，無人車／無人機(jī)指揮與導(dǎo)航、到網(wǎng)絡(luò)安全等等，需要在復(fù)雜環(huán)境交互中做出實時計算決策。
RISE實驗室的主要教授包括Ion Stoica , Michael Jordan等在內(nèi)的涵蓋了大數(shù)據(jù)系統(tǒng)及人工智能等領(lǐng)域的世界頂級專家。其前身AMPLab，早已躋身全球前十的大學(xué)實驗室。AMPLab 是加州伯克利大學(xué)六年前成立的一個交叉學(xué)科的協(xié)同實驗室，致力于通過開發(fā)一個集成機(jī)器學(xué)習(xí)、云計算、集群計算和眾包的新型軟件棧，進(jìn)而解決大數(shù)據(jù)分析面臨的挑戰(zhàn)。想了解這個名家輩出，碩果累累的實驗室嗎？一起與雷鋒網(wǎng)一起來看看吧！
要提及 AMPLab 的誕生原因，雷鋒網(wǎng)就不得不提及目前的研究進(jìn)展所存在的一些問題。
首先，WSC（巨型計算機(jī)） 及云計算能夠?qū)崿F(xiàn)世界上最大的計算力，但是為 WSC 提供的編程環(huán)境還非常局限。為了支持更通用的數(shù)據(jù)分析，研究機(jī)構(gòu)就需要量身定制一個新的軟件基礎(chǔ)設(shè)施，讓 WSC 能以靈活的編程抽象結(jié)合高度并行的數(shù)據(jù)中心計算環(huán)境。
其次，大量的在線數(shù)據(jù)能夠提供數(shù)據(jù)分析所必須的重要資源，但這些數(shù)據(jù)的出處各不相同，缺少普遍模式，質(zhì)量也良莠不齊。我們需要擁有這樣的一種數(shù)據(jù)管理技術(shù)，能從根本上「駕馭」大量、異構(gòu)且并不完美的數(shù)據(jù)集。
再者，比起以傳統(tǒng)的數(shù)據(jù)分析系統(tǒng)支持的數(shù)據(jù)庫，數(shù)據(jù)來源的不同會讓訪問請求大大增加，此外也會讓數(shù)據(jù)集的規(guī)模前所未有地擴(kuò)張。也就是說，傳統(tǒng)的數(shù)據(jù)分析算法需要更多的計算資源，也會帶來更高的延遲。因此，研究機(jī)構(gòu)需要更加靈活、更大規(guī)模且可調(diào)的分析算法，這樣一來，即使是大量的訪問請求，系統(tǒng)也能在延遲、成本與返回結(jié)果之間權(quán)衡，并得到令人滿意的答案。
最后，眾包服務(wù)第一次將大規(guī)模的人工輸入及按需調(diào)用召集在一起，如果面臨類似「ML-hard」（雷鋒網(wǎng)按：比如對于傳統(tǒng)機(jī)器學(xué)習(xí)或其它自動化工具而言太難的任務(wù)）的問題，眾包可以說是提供了一個新的選擇。但為了實現(xiàn)更大范圍的普及，這樣的眾包模式需要緊密地與更多通用的數(shù)據(jù)分析框架聯(lián)系在一起。
這也讓 AMPLab 應(yīng)運而生。
面對這些挑戰(zhàn)，AMPLab 的誕生似乎成了一種必然。2011 年 2 月 17 日， Ion Stoica 在 BEARS 2011 年度研討會上（Berkeley EECS Annual Research Symposium）提及了 AMPLab ， 這也宣告了它的正式成立。
他在演講中提及，大數(shù)據(jù)的體量已經(jīng)變得越來越大，但目前數(shù)據(jù)的管理成本非常昂貴，而且還需要合適的工具以分析數(shù)據(jù)，并從中提取有價值的信息。
因此，Stoica 認(rèn)為要從三個方面提升數(shù)據(jù)分析的能力，這三者缺一不可。
首先需要提升算法適用的范圍、有效性及質(zhì)量（Algorithms）；
其次，需要擴(kuò)大數(shù)據(jù)中心的規(guī)模（Machines）；
再者，還需要充分利用人類的行為及智能（People）。
這就是 AMPLab（Algorithms、Machines 及 People 實驗室）名字的由來，而這個實驗室也希望能夠緊密地結(jié)合算法、機(jī)器與人，讓大規(guī)模的數(shù)據(jù)在其中發(fā)揮功用。
AMPLab 是這樣描述他們的理念的：「我們希望將數(shù)據(jù)轉(zhuǎn)化為信息，為這個世界賦予意義。數(shù)年來，我們在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)集、信息檢索、自然語言處理與語音識別的研究已經(jīng)逐步改進(jìn)相關(guān)的技術(shù)，并揭示不透明數(shù)據(jù)集里的信息。但計算機(jī)科學(xué)目前處于數(shù)據(jù)分析發(fā)展的關(guān)鍵節(jié)點，主要得益于巨型計算機(jī)的出現(xiàn)（WSC），在線數(shù)據(jù)的爆發(fā)式增長，多樣性與時間敏感性強(qiáng)的數(shù)據(jù)訪問，再者就是眾包的出現(xiàn)了。這些趨勢合在一起——通常我們籠統(tǒng)地稱為大數(shù)據(jù)——在數(shù)據(jù)分析上彰顯了它的潛力?！?/p>
AMPLab 主要由學(xué)校的幾位老師牽頭組織，比如：
Michael Franklin，主負(fù)責(zé)人、數(shù)據(jù)庫主管：
ACM Fellow，于 1993 年在威斯康辛大學(xué)麥迪遜分校獲得計算機(jī)科學(xué)博士學(xué)位，年度 ACM SIGMOD 十年最佳論文獎獲得者、曾獲 ICDE 2013 和 NSDI 2012 最佳論文獎。也曾被 IBM、谷歌及 Facebook 授予最佳研究獎。
聯(lián)合負(fù)責(zé)人 Michael Jordan，負(fù)責(zé)機(jī)器學(xué)習(xí)：
AAAI, ACM, ASA, CSS, IEEE, IMS, ISBA 和 SIAM Fellow，此前在 MIT 就職十年教授，后于 1998 年擔(dān)任加州伯克利教授至今。最近剛獲得了 IJCAI 2016 的最佳研究獎。
聯(lián)合負(fù)責(zé)人 Ion Stoica，負(fù)責(zé)系統(tǒng)方面的工作。
Ion Stoica 為 ACM Fellow，2000 于 CMU 博士畢業(yè)，主要關(guān)注云計算及網(wǎng)絡(luò)化計算系統(tǒng)。與此同時他也是 Databricks 的技術(shù)顧問。
此外還有主管計算機(jī)網(wǎng)絡(luò) Scott Shenker、計算機(jī)架構(gòu)的 David Patterson 和 Randy Katz，還有安全隱私層面的 Anthony Joseph等。
如此群星薈萃的名師，自然吸引了一大批學(xué)生慕名前來，甚至也成為了一些學(xué)生申請加州伯克利的理由。比如 Spark 的核心成員、Databricks 聯(lián)合創(chuàng)始人 Reynold Xin（辛湜）此前在接受 CSDN 采訪時表示，申請學(xué)校的一大原因就是 AMPLab 的建立。
「伯克利數(shù)據(jù)庫和系統(tǒng)領(lǐng)域的研究項目基本上都會開源，對工業(yè)界有比較深的影響（BSD, PostgreSQL, Berkeley DB, TinyOS 等等）。我個人希望我的研究想法可以超越論文的階段，所以伯克利這幾點十分吸引我。」
六年來，AMPLab 得到了加州伯克利大學(xué)計算機(jī)科學(xué)及數(shù)據(jù)相關(guān)應(yīng)用領(lǐng)域的老師、學(xué)生及機(jī)構(gòu)的合力幫助，致力于利用大數(shù)據(jù)分析解決問題。
此外，AMPLab 的建立還得到了一大波科技企業(yè)的支持，谷歌、SAP、亞馬遜、ebay、華為、IBM、英特爾、微軟等公司都為伯克利大學(xué)提供了資金及資源等多方面的贊助。贊助企業(yè)會參加兩年一度的交流會，為研究成果提出建議及具有國際視野的洞見，并且與相關(guān)項目的研究者進(jìn)行深入的交流。
據(jù)負(fù)責(zé)人 Michael Franklin 介紹，實驗室也得到了美國政府的支持，獲得了 5 年的美國自然科學(xué)基金-信息科學(xué)與工程「計算探險計劃」資助（2012 年白宮大數(shù)據(jù)研究計劃的一部分）。
僅在去年，AMPLab 在各大期刊及平臺上發(fā)表了 21 篇文章，包括 ICLR、NIPS、KDD、SIGMOD 等，主要集中于機(jī)器學(xué)習(xí)及數(shù)據(jù)分析等領(lǐng)域。根據(jù) Marelrei 前段時間的統(tǒng)計，雷鋒網(wǎng)發(fā)現(xiàn)加州伯克利大學(xué)發(fā)表了 33 篇與人工智能有關(guān)的論文，雖然兩者的統(tǒng)計方式有所不同，可能出現(xiàn)重疊之處，但雷鋒網(wǎng)引用這兩個數(shù)字為大家做個簡單的對比：實驗室果然高產(chǎn)！
而 AMPLab 經(jīng)過六年的發(fā)展，已經(jīng)形成了 BDAS，即 the Berkeley Data Analytics Stack，也就是基于實驗室成果而整合開發(fā)的開源軟件棧。學(xué)過編程的小伙伴自然在下圖中能看到了一些熟悉的身影，雷鋒網(wǎng)將簡單介紹其中幾個系統(tǒng)。
核心自然是大數(shù)據(jù)處理引擎 Apache Spark 了。Apache Spark 原名為 Spark，最開始是一個學(xué)生項目，計劃實現(xiàn)一個類 Hadoop MapReduce 高效的分布式計算系統(tǒng)，后來與 Apache 合作成為旗下孵化項目，并成立了 Databricks 公司。
官網(wǎng)上顯示，它有以下四個優(yōu)勢：
運行速度快，比起 Hadoop 的性能要快上 100 倍，此外 Spark 還能提供比 Hadoop 更上層的 API，長度只有 Hadoop 的 10% 甚至是 1%。
簡潔易用，支持 Java、Scala、Python、R 語言。
整合性強(qiáng)。它基于 RDD 提供了一體化解決方案，整合了 MapReduce、Streaming、SQL、機(jī)器學(xué)習(xí)、圖像處理等模型，并提供 API 公開及相同的部署方案。
適用范圍廣。Spark 能夠在 Hadoop、Mesos、standalone 或云上運行，也能處理包括 HDFS、Cassandra、HBase 和 S3 在內(nèi)的數(shù)據(jù)來源。
與 Hadoop 相比，Spark 采用了內(nèi)存分布數(shù)據(jù)集，可用于構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序。
官網(wǎng)：http://spark.apache.org/
Mesos 也是源于 AMPLab 的一個項目，是 Apache 下的開源分布式資源管理框架，它的特點在于可以將數(shù)據(jù)中心放在一臺電腦里運行，隱藏內(nèi)部的復(fù)雜結(jié)構(gòu)，并對外提供簡單的 API。根據(jù)官網(wǎng)介紹，Mesos 能夠?qū)?CPU、存儲及其它計算資源與機(jī)器抽離開來，并提供兼容性強(qiáng)與分布式系統(tǒng)，使計算構(gòu)建更加簡便且運行效率提升。
Mesos 在 Twitter 上得到了廣泛使用，此外 Airbnb、eBay 及 Netflix 也部署了 Mesos?？梢哉f，Mesos 在克服資源利用率方面做出了大的貢獻(xiàn)，堪稱分布式系統(tǒng)的內(nèi)核。
官網(wǎng)：http://mesos.apache.org/
Alluxio 也是 AMPLab 中不可忽視的一個，前身是 Tachyon，由當(dāng)時的博士研究生李浩源（HY）帶頭。HY 見證了 Spark 與 Mesos 的在計算與資源管理方面的快速發(fā)展，因此計劃從存儲入手，計劃將高速內(nèi)存數(shù)據(jù)實現(xiàn)跨應(yīng)用共享。
Alluxio 能夠以文件形式在內(nèi)存或其它存儲設(shè)施中提供數(shù)據(jù)的存取服務(wù)，是全球首個基于內(nèi)存為中心的虛擬分布式存儲系統(tǒng)。
該項目在孵化后成立了公司 Alluxio，并得到了包括阿里、百度、IBM、英特爾等多家公司的支持，后者也一直采用他們的服務(wù)訪問數(shù)據(jù)。
官網(wǎng)：http://www.alluxio.org/
AMPLab 展望的未來是這樣的：通過技術(shù)不斷發(fā)展的各類設(shè)備，借由海量數(shù)據(jù)、云計算，溝通的特點，人類與云端緊密連接在一起，并持續(xù)、靈活且充滿活力地解決各類困難問題。
而我們也相信，AMPLab 會在研究的路上披荊斬棘，與更多的學(xué)者一起共繪大數(shù)據(jù)分析的藍(lán)圖。
而在今年 2 月 9 日，伯克利大學(xué)又將召開 2017 年的 BEARS 大會，本次主題為 Brains and Machines，雷鋒網(wǎng)也將到現(xiàn)場做相關(guān)報道，敬請期待。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
