丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預覽,將在時失效
業(yè)界 正文
發(fā)私信給王剛
發(fā)送

0

對話阿里達摩院李飛飛:3次涅槃,阿里數(shù)據(jù)庫的自研路

本文作者: 王剛 2019-03-26 09:51
導語:作為規(guī)則改變者,阿里數(shù)據(jù)庫的研究本身也是一條艱辛的道路。

1970 年,關系數(shù)據(jù)庫之父、IBM研究員E.F.Codd發(fā)表了一篇名為《A Relational Modelof Data for Large Shared Data Banks》的論文,首次提出了關系模型的概念,并成為現(xiàn)代數(shù)據(jù)庫產品的主流,這是數(shù)據(jù)庫歷史上的一個重要轉折點,今天,我們看到的主流數(shù)據(jù)庫幾乎都是圍繞這一模型做研究。

對話阿里達摩院李飛飛:3次涅槃,阿里數(shù)據(jù)庫的自研路

1976年,霍尼韋爾公司(Honeywell)開發(fā)了Multics Relational Dat a Store,開啟了商用關系數(shù)據(jù)庫的時代。彼時Larry Ellison(甲骨文創(chuàng)始人)正在一家名為Ampex的軟件公司工作,該公司正為美國中央情報局工作。

1977年,Ellison 與 Bob Miner 和 Ed Oates創(chuàng)辦了一家名為軟件開發(fā)實驗室(Software Development Laboratories,SDL)的計算機公司(Oracle前身),并在創(chuàng)辦后的第三年里推出了第一個商用SQL關系數(shù)據(jù)庫管理系統(tǒng)。

1983年,IBM終于將DB2帶入了商業(yè)市場;軟件巨頭微軟在1989年推出了另一個明星產品SQL Server。

自此,傳統(tǒng)商業(yè)數(shù)據(jù)庫幾乎成為這些企業(yè)的專利,壟斷了整個數(shù)據(jù)庫行業(yè)市場。

誰來改變數(shù)據(jù)庫“游戲規(guī)則”?

興起于2000年左右的開源數(shù)據(jù)庫是一種改變游戲規(guī)則的嘗試,而由云廠商主導的云原生數(shù)據(jù)庫則是將這種“改變”推向了高潮。

對話阿里達摩院李飛飛:3次涅槃,阿里數(shù)據(jù)庫的自研路

2014年,AWS發(fā)布了業(yè)內首個云原生的關系型數(shù)據(jù)庫Aurora;2017年9月,阿里云在國內率先發(fā)布了自主研發(fā)的云原生數(shù)據(jù)庫POLARDB,在2018年4月正式商用。

作為規(guī)則改變者,阿里數(shù)據(jù)庫的研究本身也是一條艱辛的道路。

如何看待數(shù)據(jù)庫云服務的未來?阿里有哪些核心的數(shù)據(jù)庫產品?在阿里云十周年北京峰會上,雷鋒網與ACM 杰出科學家得主、達摩院數(shù)據(jù)庫與存儲實驗室負責人李飛飛展開了對話。

此李飛飛非彼李飛飛,他究竟何許人也?在達摩院的官網上,對李飛飛的介紹是:

對話阿里達摩院李飛飛:3次涅槃,阿里數(shù)據(jù)庫的自研路

猶他大學計算機系終身教授。曾獲ACM、IEEE、Visa、Google、HP、華為等多個獎項,獲IEEE ICDE 2014 10年最有影響力論文獎、ACM SIGMOD 2016最佳論文獎、ACM SIGMOD 2015最佳系統(tǒng)演示獎、IEEE ICDE 2004最佳論文獎、美國NSF Career Award、中國基金委海外重點研發(fā)獎,2018年ACM杰出科學家等。擔任多個國際一流學術期刊和學術會議的編委、主席。

據(jù)李飛飛介紹,他是2018年5月正式加入阿里巴巴,成為數(shù)據(jù)庫團隊負責人,并兼任達摩院數(shù)據(jù)庫首席科學家,帶領團隊投入到具有自主知識產權的數(shù)據(jù)庫系統(tǒng)研發(fā)當中。他的團隊打磨的產品和技術包括新一代分布式數(shù)據(jù)庫、非結構化數(shù)據(jù)管理、數(shù)據(jù)安全、智能化數(shù)據(jù)庫等。

目前,李飛飛不僅負責云智能數(shù)據(jù)庫產業(yè)事業(yè)部,同時也負責達摩院下面的數(shù)據(jù)庫與存儲實驗室,覆蓋了阿里巴巴集團數(shù)據(jù)庫從研發(fā)到業(yè)務支持再到云上商業(yè)輸出到服務客戶的整條鏈路。

阿里巴巴數(shù)據(jù)庫三個階段:商用、開源、自研

李飛飛談到,阿里巴巴數(shù)據(jù)庫發(fā)展到今天,并不是一蹴而就的,而是有一段艱難的“破繭成蝶”的摸索期。

第一階段,阿里用的是商用數(shù)據(jù)庫,來自IBM DB2和甲骨文。

阿里早期是淘寶起家,IBM DB2和甲骨文的數(shù)據(jù)庫能支持淘寶天貓快速發(fā)展,因為那時候核心主航道就是電商,數(shù)據(jù)庫就是支撐角色出現(xiàn)的,當時阿里集團內部數(shù)據(jù)庫的團隊主要就是以傳統(tǒng)數(shù)據(jù)庫廠商的角度來理解問題。這一階段持續(xù)到2011年-2012年,彼時電商業(yè)務高速發(fā)展,對傳統(tǒng)的甲骨文企業(yè)級數(shù)據(jù)庫的解決方案提出很多挑戰(zhàn),最明顯的挑戰(zhàn)是成本太高,當高并發(fā)互聯(lián)網電商發(fā)展到巨大的規(guī)模,那個成本將是天文數(shù)字。

第二階段,雙十一誕生后,阿里開始大規(guī)模使用開源數(shù)據(jù)庫。

很多業(yè)務邏輯太復雜,而單純使用甲骨文的弊端也開始顯現(xiàn),例如有些業(yè)務場景無法解決,簡單依靠請甲骨文的技術人員到場解決問題的方式一是成本高,二是時效上阿里等不起。這邊出個問題分鐘級就要恢復,不要說一天了,幾個小時幾分鐘都等不起,不可能有些核心問題解決不了給甲骨文打電話,廠商派人來——這個模式是受到挑戰(zhàn)的,所以阿里巴巴集團從2012、2013年后,尤其是雙十一誕生以后,就開始考慮所謂的樸素的業(yè)務驅動的邏輯,開始大規(guī)模使用開源數(shù)據(jù)庫——當時就是利用中間件的形式來做分布分表。

第三個階段,阿里云發(fā)展迅猛,自研云原生數(shù)據(jù)庫誕生。

到了云的時代,阿里云的業(yè)務快速發(fā)展,加上在集團業(yè)務里面,傳統(tǒng)的分布分表中間件的解決方案,已經不能滿足(簡單業(yè)務可以)業(yè)務越來越復雜以后的挑戰(zhàn),內部自研一款云原生數(shù)據(jù)庫已經迫在眉睫。POLARDB就順勢而生了。

云數(shù)據(jù)庫POLARDB是何新物種?

資料顯示,POLARDB 是阿里云自研的下一代關系型云數(shù)據(jù)庫,100% 兼容 MySQL,存儲容量最高可達100 TB,性能最高提升至MySQL 的 6 倍,單庫最多可擴展到 16 個節(jié)點,適用于企業(yè)多樣化的數(shù)據(jù)庫應用場景。POLARDB 采用存儲和計算分離的架構,所有計算節(jié)點共享一份數(shù)據(jù)。

POLARDB基于Cloud Native(云原生)設計理念,其架構示意圖及特點如下:

對話阿里達摩院李飛飛:3次涅槃,阿里數(shù)據(jù)庫的自研路

POLARDB架構

POLARDB的特點主要包括:

一寫多讀。采用分布式集群架構,一個集群包含一個主節(jié)點和最多15個只讀節(jié)點(至少一個,用于保障高可用)。主節(jié)點處理讀寫請求,只讀節(jié)點僅處理讀請求。主節(jié)點和只讀節(jié)點之間采用Active-Active的Failover方式,提供數(shù)據(jù)庫的高可用服務。

計算與存儲分離。滿足公有云環(huán)境下用戶業(yè)務彈性擴展的剛性需求。數(shù)據(jù)庫的計算節(jié)點(DB Server)僅存儲元數(shù)據(jù),而將數(shù)據(jù)文件、Redo Log等存儲于遠端的存儲節(jié)點(Chunk Server)。

此外,POLARDB還具有分鐘級備份恢復、秒級彈性擴容能力,100%兼容MySQL 5.6、MySQL 8.0、Oracle、PG等,還可以為Raft協(xié)議提供金融級高可用服務。雷鋒網注意到,目前POLARDB已經在猿輔導、心動網絡、百勝軟件、輕松籌等平臺上應用。

阿里數(shù)據(jù)庫生態(tài):四大板塊,巨大場景

但實際上,POLARDB只是阿里數(shù)據(jù)庫生態(tài)的其中一個版塊。

外界眼中那個“很龐大很復雜”的阿里數(shù)據(jù)庫究竟長什么樣?李飛飛做了簡單的梳理。他指出,從形態(tài)上來說,分為四個版塊。如圖。

對話阿里達摩院李飛飛:3次涅槃,阿里數(shù)據(jù)庫的自研路

  • 第一塊:OLTP——關系型交易型數(shù)據(jù)庫。包括:POLARDB-X(今年即將推出的POLARDB分布式版本):分布式關系型數(shù)據(jù)庫系統(tǒng),橫向擴展架構設計,應用于跨IDC多活和雙十一等高并發(fā)業(yè)務場景;POLARDB——Cloud Native數(shù)據(jù)庫,基于共享存儲計算分離架構的軟硬件,一體化設計、彈性縮擴容;MySQL/PG/MSSQL/MariaDB/PPAS——開源及第三方商業(yè)數(shù)據(jù)庫。

  • 第二塊:OLAP——在線分析類數(shù)據(jù)庫。包括:AnalyticDB——海量數(shù)據(jù)實時高并發(fā)在線分析云服務;Data Lake Analytics——Serverless化的聯(lián)邦數(shù)據(jù)湖交互式分析服務;TSDB——時序時空數(shù)據(jù)庫,應用于IoT/城市大腦等。

  • 第三塊:NoSQL——非結構化及專有領域。包括:GraphDB——高性能分布式緩存系統(tǒng)及基于此的圖數(shù)據(jù)庫;Redis/Memcache——開源緩存云服務;MongoDB——文檔型數(shù)據(jù)庫等。

  • 第四塊:工具產品。包括:DTS——數(shù)據(jù)傳輸服務,異構多活數(shù)據(jù)同步中心;DBS——數(shù)據(jù)庫云備份服務等。

前面已經提到,發(fā)展成今天這樣的數(shù)據(jù)庫的生態(tài),阿里經過了漫長的探索。李飛飛覺得,這和阿里與生俱來的一個優(yōu)勢緊密不可分——巨大豐富的場景。

傳統(tǒng)數(shù)據(jù)庫廠商的做法是,研發(fā)一款數(shù)據(jù)庫產品,讓客戶使用之后進行反饋,可以縫縫補補;而阿里內部天然具有大量的業(yè)務場景,這就形成了一塊巨大的“試驗田”,任何一項新技術都不會急于在公有云上向客戶輸出,而是經過“內部練兵”的方式來驗證和保證可靠性、安全性,這些工作做完之后才會對公有云、私有云、混合云的客戶進行發(fā)布和提供。

這一點是阿里云、AWS這樣的企業(yè)共同具有的優(yōu)勢,而傳統(tǒng)的數(shù)據(jù)庫廠商則并不具備。

全球數(shù)據(jù)庫大戰(zhàn)一觸即發(fā)!

今天的阿里數(shù)據(jù)庫在國內已經屬于領先,但在國際市場怎么看自己的位置呢?

李飛飛同樣有自己的想法。他以原生分布式數(shù)據(jù)庫技術為例講了講(雷鋒網注:原生分布式數(shù)據(jù)庫是分布式數(shù)據(jù)庫兩大解決方案之一,另一種則是出現(xiàn)地更早的分布式數(shù)據(jù)庫中間件)。

在世界范圍內,原生分布式數(shù)據(jù)庫技術最領先的是Google,它最早提出Spanner,可以做到跨數(shù)據(jù)中心的數(shù)據(jù)一致性分布式技術(2009年10月25日,Google提出名為Spanner的遠景計劃。該規(guī)劃的原理是一旦流量激增、硬件超負荷,數(shù)據(jù)就會在百萬級的數(shù)據(jù)中心中自動轉移。Spanner:“扳手”,又有“橋梁的交叉支撐”。寓意為:“橫跨數(shù)據(jù)中心,自動移動與復制數(shù)據(jù)?!保〨oogle在Spanner數(shù)據(jù)中心里配備了自己的原子鐘和GPS接收器,這些時間協(xié)調裝置會連接到特定數(shù)量的主服務器,然后再由主服務器向整個谷歌網絡中運行的其他電腦傳輸時間讀數(shù)。

李飛飛覺得Google有一個取巧的過程,即利用了硬件(原子鐘)。他個人認為阿里巴巴在分布式數(shù)據(jù)庫某些領域、某些維度上可能超過像Google這樣的一些公司在分布式領域的積累。為什么?

“我覺得任何技術都是業(yè)務推動來衍生的,只要你有業(yè)務場景,我覺得你的技術一定會逐步發(fā)展到領先。而阿里電商雙十一的場景在世界上都是絕無僅有的,規(guī)模和并發(fā)量是超過Google和亞馬遜的,此前亞馬遜做了一個類似雙十一的活動,結果數(shù)據(jù)庫直接宕機。”(雷鋒網注:此次宕機事件有可能指的是CNBC報道過的亞馬遜因放棄Oracle數(shù)據(jù)庫,導致Prime Day宕機 )

值得關注的是,李飛飛還透露了兩個重要的信息:

1、2019年下半年,他們團隊有可能將公布云原生數(shù)據(jù)庫POLARDB和分布式關系型數(shù)據(jù)庫X-DB合并的最新進展,也就是前文提到的POLARDB分布式版本。

2、他們團隊將在2019年的ACM SIGMOD數(shù)據(jù)管理國際會議(全球數(shù)據(jù)庫領域具有最高學術地位的國際性學術會議)上分享雙十一場景下的分布式數(shù)據(jù)庫架構。據(jù)了解,谷歌Spanner、AWS Aurora等都是首先在SIDMOD會議上發(fā)布的。這實際上意味著中國廠商從技術上與頂級數(shù)據(jù)庫廠商站在了同一個舞臺上。

“從技術和商業(yè)角度往前看,我們希望永遠以業(yè)務來驅動技術發(fā)展,而不是閉門造車,研而不發(fā)。我們不說領先世界,但我們希望能夠永遠站在世界的前列,和AWS、甲骨文這些廠商站在技術和商業(yè)數(shù)據(jù)庫第一陣營的位置?!?/p>

對于業(yè)界極為關注的不同廠商數(shù)據(jù)庫之間的兼容問題,李飛飛一并做了解答。

他表示,阿里將盡可能去兼容現(xiàn)有生態(tài)而不是破壞現(xiàn)在的生態(tài)。業(yè)務上,阿里會鼓勵支持更多中小開發(fā)者以及合作伙伴、生態(tài)合作方能夠圍繞阿里現(xiàn)有的體系去開發(fā)上層的應用,維護管控一系列的工具和人力投入。商業(yè)打法上,阿里會有專門的支持計劃推出,面對金融行業(yè)、政府行業(yè)、新零售行業(yè)重點打造典型案例。當雙方數(shù)據(jù)庫之間有一個良性循環(huán),生態(tài)做的足夠大,就可以獨立發(fā)展自己的生態(tài)。

“當我這個熱帶雨林也長起來以后,就是一個獨立的熱帶雨林,從你這分叉出去,就是我的目標。不過我們現(xiàn)在還沒有到那一步,這是我們最終的目標?!?/p>

對話阿里達摩院李飛飛:3次涅槃,阿里數(shù)據(jù)庫的自研路

在阿里云北京峰會當天,阿里云發(fā)布了POLARDB v2.0,這是業(yè)界首款兼容Oracle的云原生數(shù)據(jù)庫。

加入阿里:迎接挑戰(zhàn),帶領團隊走向更遠

李飛飛坦言,他也面臨著一些挑戰(zhàn),但雷鋒網認為這也是行業(yè)的一些共性挑戰(zhàn)。

第一個挑戰(zhàn)是內外部的壓力。假如把傳統(tǒng)數(shù)據(jù)庫廠商比喻成汽車制造廠商,專門造車就完事了。而阿里不僅要造車,還要同時支持集團的業(yè)務、服務云上的外部用戶——既是制造商又是4S店,既有研發(fā)又有運維。

第二個是混合云的數(shù)據(jù)架構帶來的業(yè)務上的挑戰(zhàn)。雖然說現(xiàn)在云計算市場蓬勃發(fā)展,無論是國內阿里、騰訊、華為還是海外的AWS、微軟Azure,都面臨一個問題——上云不是黑和白、0和1的問題,而是有些業(yè)務可以上云,有些業(yè)務不上云(仍舊保持傳統(tǒng)IT架構),如何保障安全穩(wěn)定高效的混合云部署是有挑戰(zhàn)的。

第三是數(shù)據(jù)的安全隱私保護,無論是AWS還是阿里云,這是一個永恒的話題。

第四是智能化系統(tǒng)的大規(guī)模落地應用。現(xiàn)在系統(tǒng)形態(tài)復雜、數(shù)據(jù)量越來越大,運維挑戰(zhàn)越來越高,依靠人力投入不是一個最佳選項,必須利用AI和機器學習的技術盡可能解決問題,提高運維效能。

但這些挑戰(zhàn)是李飛飛加入阿里之前就能想到的。作為橫跨了學術界、科研界、工業(yè)界的“全能型”技術人,他深刻洞悉了他在企業(yè)和學術圈的不同:

“企業(yè)界更多從應用需求出發(fā),先解決問題再看怎么繼續(xù)跑,類似5+5不知道怎么計算的時候就全部拆成1,用工程化的思維去解決問題;而學術界和科研界會關注一些單點核心技術的突破和優(yōu)化,甚至進行前沿布局,但離集成到商業(yè)系統(tǒng)有一段路程?!?/p>

在采訪最后階段,談及加入阿里的原因,李飛飛十分直爽地表示,阿里的業(yè)務場景豐富,是一個天然的數(shù)據(jù)庫的圣地,能支持各種業(yè)務練兵,做最牛的技術,同時又能商業(yè)化產業(yè)化。另外,他坦言,阿里互聯(lián)網化程度高,開放式、有合力,他在美國待那么多年,比較適應這種文化。選擇加入阿里是個很自然的過程。

現(xiàn)在,全球數(shù)據(jù)庫市場競爭激烈,傳統(tǒng)廠商實力強大,李飛飛還將帶領阿里云數(shù)據(jù)庫和達摩院數(shù)據(jù)庫與存儲實驗室,繼續(xù)走向更深更遠處。

雷峰網原創(chuàng)文章,未經授權禁止轉載。詳情見轉載須知。

分享:
相關文章

主編

雷鋒網副主編,長期跟蹤企業(yè)技術戰(zhàn)略,聚焦ToB。選題重點是專訪和深度策劃文~ 加我請?zhí)砑游⑿牛簀arvis1587,備注來意。
當月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經綁定,現(xiàn)在您可以設置密碼以方便用郵箱登錄
立即設置 以后再說