丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能 正文
發(fā)私信給汪思穎
發(fā)送

0

ACM 杰出科學(xué)家得主達(dá)摩院李飛飛教授:數(shù)據(jù)庫研究道阻且長(zhǎng),需持之以恒

本文作者: 汪思穎 2018-11-09 11:22
導(dǎo)語:11 月 8 日,ACM 公布 2018 年度杰出科學(xué)家名單,全球數(shù)據(jù)庫領(lǐng)域領(lǐng)軍人物、達(dá)摩院數(shù)據(jù)庫首席科學(xué)家、阿里巴巴數(shù)據(jù)庫事業(yè)部負(fù)責(zé)人李飛飛教授入選。
活動(dòng)
企業(yè):阿里巴巴
操作:
事項(xiàng):人事獲獎(jiǎng)&獨(dú)家專訪

雷鋒網(wǎng) AI 科技評(píng)論消息,11 月 8 日,美國(guó)計(jì)算機(jī)協(xié)會(huì)(ACM)公布 2018 年度杰出科學(xué)家名單,全球數(shù)據(jù)庫領(lǐng)域領(lǐng)軍人物、達(dá)摩院數(shù)據(jù)庫首席科學(xué)家、阿里巴巴數(shù)據(jù)庫事業(yè)部負(fù)責(zé)人李飛飛教授入選。

ACM 是國(guó)際上歷史最悠久、規(guī)模最大、最權(quán)威的計(jì)算機(jī)專業(yè)學(xué)會(huì),著名的圖靈獎(jiǎng)即由該組織評(píng)定頒布。ACM 杰出科學(xué)家必須是對(duì)計(jì)算機(jī)領(lǐng)域做出重大成就和影響的研究人員。

ACM 杰出科學(xué)家得主達(dá)摩院李飛飛教授:數(shù)據(jù)庫研究道阻且長(zhǎng),需持之以恒

李飛飛,猶他大學(xué)計(jì)算機(jī)系終身正教授。曾獲 ACM、IEEE、Visa、Google、HP等多個(gè)獎(jiǎng)項(xiàng),獲 IEEE ICDE 2014 10 年最有影響力論文獎(jiǎng)、ACM SIGMOD 2016 最佳論文獎(jiǎng)、ACM SIGMOD 2015 最佳系統(tǒng)演示獎(jiǎng)、IEEE ICDE 2004 最佳論文獎(jiǎng)、美國(guó) NSF Career Award、中國(guó)基金委海外重點(diǎn)研發(fā)獎(jiǎng)等。擔(dān)任多個(gè)國(guó)際一流學(xué)術(shù)期刊和學(xué)術(shù)會(huì)議的編委、主席。

李飛飛教授于今年五月正式加盟阿里巴巴達(dá)摩院,帶領(lǐng)團(tuán)隊(duì)投入到具有自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)庫系統(tǒng)研究當(dāng)中,包括新一代分布式數(shù)據(jù)庫、非結(jié)構(gòu)化數(shù)據(jù)管理、數(shù)據(jù)安全、智能化數(shù)據(jù)庫等關(guān)鍵技術(shù),并致力于將中國(guó)數(shù)據(jù)庫技術(shù)水平提升至國(guó)際前沿,打破寡頭企業(yè)對(duì)數(shù)據(jù)庫核心技術(shù)的壟斷。

目前,李飛飛教授帶領(lǐng)的阿里巴巴數(shù)據(jù)庫事業(yè)部所研發(fā)的新一代分布式數(shù)據(jù)庫系統(tǒng),支撐了阿里巴巴集團(tuán)的復(fù)雜業(yè)務(wù)、海量數(shù)據(jù)和雙11交易洪峰的挑戰(zhàn),已經(jīng)被應(yīng)用于多個(gè)城市的智能城市交通網(wǎng)絡(luò)管理,實(shí)現(xiàn)城市內(nèi)數(shù)千萬智能終端數(shù)據(jù)的瞬間調(diào)取與分析。此外,中國(guó)氣象的國(guó)家氣象大數(shù)據(jù)分析平臺(tái)也應(yīng)用其技術(shù),實(shí)現(xiàn)了毫秒級(jí)的氣象數(shù)據(jù)查詢與分析,該數(shù)據(jù)庫存儲(chǔ)了1957年建站以來,6萬多氣象站的分鐘級(jí)數(shù)據(jù)

雷鋒網(wǎng) AI 科技評(píng)論借著這一契機(jī),第一時(shí)間對(duì)他進(jìn)行專訪。采訪中,李飛飛教授談到加入達(dá)摩院是一個(gè)迎接大規(guī)模挑戰(zhàn)的機(jī)會(huì),也是形成工業(yè)和科研聯(lián)動(dòng)的機(jī)會(huì),他也對(duì)雷鋒網(wǎng)介紹了阿里自研并計(jì)劃近期商業(yè)化的新一代分布式數(shù)據(jù)庫系統(tǒng),更講解了數(shù)據(jù)庫系統(tǒng)的問題如何理解、有何展望。以下為訪談實(shí)錄,有刪減。

研究之路

這次獲得 ACM 杰出科學(xué)家榮譽(yù),有什么獲獎(jiǎng)感言與大家分享?

(笑)怎么講呢?我比較喜歡腳踏實(shí)地搞技術(shù),一步一步。獲得 ACM 杰出科學(xué)家榮譽(yù)稱號(hào),當(dāng)然還是非常高興的,這是對(duì)我過去成績(jī)的肯定,也是對(duì)我這么多年來做數(shù)據(jù)庫系統(tǒng)的肯定。

從公司層面上說,加入阿里之后獲得這個(gè)獎(jiǎng)項(xiàng)可以幫助阿里、包括達(dá)摩院打造更好的技術(shù)品牌形象,往大的方向說,可以幫中國(guó)的數(shù)據(jù)庫領(lǐng)域去擴(kuò)大一些宣傳,爭(zhēng)取更多的聲音,我覺得非常高興。

您是什么時(shí)候開始對(duì)數(shù)據(jù)庫研究產(chǎn)生興趣?

讀本科的時(shí)候。當(dāng)時(shí)我上了一門課數(shù)據(jù)庫課程,做了一個(gè)小項(xiàng)目,后面就用到了數(shù)據(jù)庫系統(tǒng),用了以后發(fā)現(xiàn)這個(gè)系統(tǒng)挺有意思,因?yàn)槭欠窠?index,或者數(shù)據(jù)怎么分片對(duì)性能會(huì)產(chǎn)生很大的影響。當(dāng)時(shí)我把數(shù)據(jù)庫系統(tǒng)當(dāng)做黑盒子來調(diào)參,發(fā)現(xiàn)調(diào)節(jié)過程中,性能等各方面會(huì)產(chǎn)生很大的變化。我對(duì)黑盒子是怎么造就的產(chǎn)生了很大的興趣,所以就決定去打開這個(gè)系統(tǒng)。打開以后,我發(fā)現(xiàn)這里面非常復(fù)雜,涉及到事務(wù)處理、查詢優(yōu)化器、存儲(chǔ)引擎,還有各種不同的數(shù)據(jù),另外還有在高可用、分布式上的挑戰(zhàn),越深入研究,越發(fā)現(xiàn)這個(gè)領(lǐng)域非常深。

在這些年的研究中,有什么心得體會(huì)可以與大家分享?

我在這些年的求學(xué)、教學(xué)經(jīng)歷中,以及與 Google、Facebook、Visa等國(guó)內(nèi)外企業(yè)的合作中,最深刻的一點(diǎn)體會(huì)就是做技術(shù)一定要腳踏實(shí)地、實(shí)事求是,不要為一些短期目標(biāo)去放棄自己長(zhǎng)期的堅(jiān)持和追求。

核心技術(shù)突破非常具有挑戰(zhàn)性,必須持之以恒。這有時(shí)候很難,因?yàn)樵诩夹g(shù)上會(huì)涉及到一些名和利,也要去追求一些短、平、快的東西,這些都能理解,但是一定要有長(zhǎng)期的堅(jiān)持,尤其是我們做系統(tǒng)研究的,更是要有一個(gè)長(zhǎng)久的預(yù)定目標(biāo),然后一步一步去實(shí)現(xiàn)。

科研并不是說能夠在很短的時(shí)間內(nèi)就產(chǎn)生比較大的突破,它是在很多人努力的情況下,慢慢去摸索、去積累,到一定程度以后,就會(huì)產(chǎn)生突破。

加入阿里

這次達(dá)摩院引入了一大批水平非常高的專家和學(xué)者,您當(dāng)時(shí)加入達(dá)摩院的契機(jī)是什么?

主要有以下幾點(diǎn):

第一,我非常認(rèn)可阿里的技術(shù)品牌形象,它對(duì)技術(shù)的投入非常認(rèn)真,而且它的目標(biāo)就是要做世界一流的技術(shù)。可能在大多數(shù)百姓眼中,阿里是一個(gè)商業(yè)帝國(guó),在商業(yè)上非常成功,但實(shí)際上,我覺得在過去幾年阿里的轉(zhuǎn)型中,它所承載技術(shù)的厚度和深度,已經(jīng)發(fā)展得非常好了,而且慢慢也成為一家以技術(shù)為第一驅(qū)動(dòng)力的公司。

第二,阿里的業(yè)務(wù)非常復(fù)雜,這會(huì)帶來一個(gè)好處,我們能夠快速驗(yàn)證和落地現(xiàn)有的技術(shù),而不是說空中樓閣,沒有應(yīng)用、沒有數(shù)據(jù)?,F(xiàn)在大數(shù)據(jù)、人工智能還有系統(tǒng)方向的發(fā)展越來越復(fù)雜,都是高并發(fā)、分布式這種大規(guī)模的體系,我覺得只有少數(shù)的一些企業(yè),比如阿里,或 Google 才有這種規(guī)模去探索一些技術(shù)上的挑戰(zhàn)。這也是我加入阿里的另外一個(gè)訴求,能夠有這種真正的大規(guī)模的系統(tǒng)的場(chǎng)景、數(shù)據(jù)以及業(yè)務(wù)來驅(qū)動(dòng)技術(shù)發(fā)展。

最后一點(diǎn)是達(dá)摩院本身的品牌,這里匯聚了一幫非常高水平的研究人員,包括達(dá)摩院院長(zhǎng)及阿里巴巴集團(tuán)CTO張建鋒,他在阿里技術(shù)體系下一步步成長(zhǎng)起來,帶領(lǐng)達(dá)摩院吸引了一大批世界一流的科學(xué)家。他的作風(fēng)非常接地氣,也非常能成事,具有很強(qiáng)的感染力和影響力。

您是什么時(shí)候開始考慮進(jìn)入工業(yè)界發(fā)展的?

回到我前面說的,我們做系統(tǒng),尤其是數(shù)據(jù)庫系統(tǒng),發(fā)展到今天,學(xué)術(shù)界能夠做到的規(guī)模和工業(yè)界的規(guī)模存在一定差異。

工業(yè)界管理的系統(tǒng)節(jié)點(diǎn)都是以千來計(jì)算,甚至上萬臺(tái),在學(xué)術(shù)界,因?yàn)槭芟抻谫Y源、應(yīng)用還有數(shù)據(jù),能搭上百個(gè)節(jié)點(diǎn)就已經(jīng)很不錯(cuò)了。

工業(yè)界有一手的數(shù)據(jù)和海量的應(yīng)用,像阿里雙 11 這種場(chǎng)景,在學(xué)術(shù)界你是沒辦法去模擬這種規(guī)模和挑戰(zhàn)的。

這時(shí)候工業(yè)界對(duì)我來說就變得非常有吸引力。之前與谷歌、微軟合作加強(qiáng)了我對(duì)工業(yè)界的了解,阿里接觸我以后,我也挺認(rèn)可他們做的事情。從業(yè)務(wù)上來說,從技術(shù)的角度來看,阿里的規(guī)模和挑戰(zhàn)很大,這點(diǎn)非常吸引人。

您于今年 5 月加入達(dá)摩院,您當(dāng)時(shí)在工作上的規(guī)劃以及研究上的想法是什么?

阿里給了我一個(gè)很好的平臺(tái),達(dá)摩院實(shí)驗(yàn)室可以支撐我做一些科研上的探索,另外我下面還有數(shù)據(jù)庫和存儲(chǔ)兩個(gè)事業(yè)部,這是兩個(gè)工程團(tuán)隊(duì)。

一方面,我可以有實(shí)驗(yàn)室來做一些科研上的探索,同時(shí)又有工程團(tuán)隊(duì)來給我空間和這個(gè)舞臺(tái),讓我去帶領(lǐng)大家去真正去做系統(tǒng)的研發(fā),還有運(yùn)維等工作。兩邊可以很好地互動(dòng)起來,可以將科研上的東西很快地去落地到真正的系統(tǒng)里,系統(tǒng)面臨的挑戰(zhàn)又可以很快去反饋,來推導(dǎo)我們科研到底應(yīng)該去做什么樣的問題。這兩方面形成了一個(gè)很好的聯(lián)動(dòng)。

這是我加入阿里以后,體會(huì)非常深的一點(diǎn)。

這五個(gè)月的工作和您當(dāng)初設(shè)想的大體一致?

基本上一致,既有科研上的前沿挑戰(zhàn),但同時(shí)又不是那種空中樓閣。

我現(xiàn)在 1/3 的時(shí)間在看科研上最新的技術(shù)挑戰(zhàn),1/3 的時(shí)間和工程團(tuán)隊(duì)做一些一線的研發(fā)工作,這完全是工程上系統(tǒng)化的東西,還有 1/3 的時(shí)間去做一些運(yùn)維相關(guān)的工作。

阿里和其他一些公司不太一樣,它的技術(shù)產(chǎn)品既通過阿里云去輸出到第三方,服務(wù)國(guó)內(nèi)的大中小企業(yè),包括國(guó)際上的一些企業(yè),同時(shí)又支撐了自己的內(nèi)部業(yè)務(wù),比如淘寶、天貓、優(yōu)酷等,它的業(yè)務(wù)線非常復(fù)雜,所以我們做的產(chǎn)品,很快就要在公司內(nèi)部落地,落地以后在運(yùn)行的過程中又有運(yùn)維的壓力。所以實(shí)際上這是一整套循環(huán)。

新的挑戰(zhàn)

與之前在大學(xué)的教學(xué)相比,阿里的工作帶來的挑戰(zhàn)集中在哪些方面?

第一,阿里這種技術(shù)團(tuán)隊(duì),既有研發(fā)任務(wù),又有運(yùn)維任務(wù)。以前在學(xué)校的研究不會(huì)涉及到運(yùn)維,但在阿里就不一樣,阿里是為無數(shù)個(gè)企業(yè)用戶提供支持和服務(wù)的,很多業(yè)務(wù)方在用我們的技術(shù)產(chǎn)品,出了問題之后自然而然要你去幫他解決。

安全生產(chǎn)對(duì)我們來說是非常大的一個(gè)挑戰(zhàn),一旦我們的數(shù)據(jù)庫系統(tǒng)出現(xiàn)問題,對(duì)線上的淘寶、天貓,線下的盒馬鮮生都會(huì)產(chǎn)生很大影響。

第二,我來阿里之后,下屬的實(shí)驗(yàn)室團(tuán)隊(duì)和工程團(tuán)隊(duì)有四百人左右的規(guī)模,對(duì)于我這樣一個(gè)技術(shù)背景的人來說,在管理上也會(huì)有一些挑戰(zhàn)。

第三,阿里的文化講究簡(jiǎn)單真誠(chéng),如何快速融入到這種文化里,這對(duì)每個(gè)人都是一種挑戰(zhàn)。

您所在團(tuán)隊(duì)研發(fā)的新一代分布式的數(shù)據(jù)庫系統(tǒng)支撐著阿里的很多場(chǎng)景,您能更多地介紹一下這個(gè)系統(tǒng)嗎?

這個(gè)系統(tǒng)在我們內(nèi)部的代號(hào)叫 X-DB,它是阿里巴巴從大概 16 年開始做的一個(gè)分布式數(shù)據(jù)系統(tǒng)。為什么要做分布式?這源于阿里的業(yè)務(wù)場(chǎng)景,像雙 11 這種高并發(fā)場(chǎng)景下,對(duì)數(shù)據(jù)庫后臺(tái)帶來的沖擊是非常高的,傳統(tǒng)的單機(jī)根本解決不了這個(gè)問題;而且數(shù)據(jù)量非常大,數(shù)據(jù)規(guī)模數(shù)據(jù)形態(tài)非常復(fù)雜,所以必須用分布式的方法把負(fù)荷分布到多個(gè)集群,多個(gè)節(jié)點(diǎn)上面去。

從 16 年開始,阿里自研 X-DB 分布式系統(tǒng),發(fā)展到今天,它已經(jīng)能夠支撐阿里巴巴幾乎所有的業(yè)務(wù),像淘寶、天貓,還有餓了么、優(yōu)酷。

在您進(jìn)入阿里之后,針對(duì)于這一系統(tǒng),您做了哪些針對(duì)性的改進(jìn)?

我主要做了如下幾點(diǎn)調(diào)整:

第一,X-DB 前期的發(fā)展主要是以支撐阿里巴巴內(nèi)部的業(yè)務(wù)為標(biāo)準(zhǔn),所以會(huì)定制化、與業(yè)務(wù)相關(guān)。我們后續(xù)的目標(biāo)是要把它打造成標(biāo)準(zhǔn)化、產(chǎn)品化的通用數(shù)據(jù)庫系統(tǒng)。

第二,在高并發(fā)和高可用的情況下,我們希望做得更優(yōu)化,這得有一些核心的技術(shù)手段去保障。

第三,在智能化運(yùn)維方面,傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)調(diào)優(yōu),可能要大量依賴人力資源和經(jīng)驗(yàn),我們現(xiàn)在希望能夠用機(jī)器學(xué)習(xí)的方法去根據(jù)系統(tǒng)的負(fù)載,自動(dòng)地學(xué)出負(fù)載的模式和特征,然后進(jìn)行系統(tǒng)參數(shù)調(diào)優(yōu)。

另外,我們現(xiàn)在開始布局?jǐn)?shù)據(jù)庫安全,希望我們的數(shù)據(jù)庫能夠提供數(shù)據(jù)安全特征,比如把數(shù)據(jù)加密以后再存到數(shù)據(jù)庫中,然后通過不解密的方法就能夠?qū)?shù)據(jù)庫進(jìn)行查詢和操作。

現(xiàn)在計(jì)算機(jī)視覺、自然語言處理等人工智能相關(guān)領(lǐng)域特別火,這樣會(huì)對(duì)數(shù)據(jù)庫方面的人才儲(chǔ)備產(chǎn)生影響嗎?

我以前在高校做教授,包括現(xiàn)在我在上海交大致遠(yuǎn)學(xué)院的 ACM 班當(dāng)講席教授,那里的學(xué)生都是非常優(yōu)秀的計(jì)算機(jī)本科學(xué)生,我看到這幾年有很多學(xué)生都去就讀機(jī)器學(xué)習(xí)相關(guān)方向,比如計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別。

我覺得有幾方面的原因。

第一,與人工智能結(jié)合的方向都是非常偏應(yīng)用化的場(chǎng)景,比如圖片識(shí)別、自然語言理解、語音識(shí)別,老百姓也能看得見,摸得著,能馬上能夠理解這些成果,但是計(jì)算機(jī)領(lǐng)域的三大基礎(chǔ)軟件——編譯器系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng),對(duì)大多數(shù)人來講,是系統(tǒng)底層,是看不見摸不著的。即使你做了很多,大家也很難理解這到底有什么應(yīng)用。這樣不管是學(xué)生還是專業(yè)人士,都很難吸引來這個(gè)領(lǐng)域發(fā)展。

第二,人工智能、機(jī)器學(xué)習(xí)確實(shí)是一個(gè)很重要的方向,而且現(xiàn)在確實(shí)有一些最根本的基礎(chǔ)性的問題還沒有被解決。從科研的角度來講,這些研究也確實(shí)非常吸引人。

很多時(shí)候大家會(huì)覺得系統(tǒng)就是個(gè)工程問題,實(shí)際上做深了以后,它也會(huì)有許多科研上的挑戰(zhàn),很吸引人。

從這兩方面來講,人工智能現(xiàn)在非常火也是有其原因的,對(duì)系統(tǒng)方面的人才確實(shí)產(chǎn)生了一些沖擊。我也希望能夠通過阿里的平臺(tái),或者通過我們與高校的合作,大家一起去擴(kuò)大底層系統(tǒng)的宣傳力和品牌形象,吸引到更多的人來做這些底層的系統(tǒng)。上層是應(yīng)用,底層系統(tǒng)是基礎(chǔ)。

目前您的團(tuán)隊(duì)和哪些高校有著合作關(guān)系?

我們和高校有挺多合作,國(guó)內(nèi)像比如清華、北大、浙大、上海交大、華東師范大學(xué)、香港科技大學(xué)、中科院等。國(guó)外有新加坡國(guó)立大學(xué)、新加坡南洋理工大學(xué),我們目前都有科研項(xiàng)目在合作。

后續(xù)我們也希望通過阿里的平臺(tái)能夠更寬、更深地去和國(guó)內(nèi)的高校合作。

我覺得和高校合作有兩個(gè)意義,第一,這有一些立竿見影的效果,利用高校的智力資源幫我們?nèi)ソ鉀Q一些業(yè)務(wù)上、技術(shù)上的核心挑戰(zhàn)。第二,更重要的是長(zhǎng)期的投資過程,阿里作為這么大的一個(gè)經(jīng)濟(jì)體,它必須擔(dān)當(dāng)起對(duì)應(yīng)的社會(huì)責(zé)任感,要考慮社會(huì)效益,與高校的合作是長(zhǎng)期的,值得去投入。培養(yǎng)出來的這些學(xué)生,他們畢業(yè)后也是全社會(huì)非常豐富的人力資源儲(chǔ)備。

您前面提到系統(tǒng)做深之后,也會(huì)碰到一些就比較難的挑戰(zhàn),能具體談?wù)剢幔?/strong>

系統(tǒng)是一個(gè)大規(guī)模、工程化的東西,里面的科研點(diǎn)非常多,但是有時(shí)候會(huì)有一種「老虎吃天,無從下爪」那種感覺。現(xiàn)在很火的機(jī)器學(xué)習(xí)的很多應(yīng)用,計(jì)算機(jī)視覺中的問題,可能已經(jīng)抽象得非常精確了。我們的大腦思維方式很容易去理解這種抽象化的問題,可以快速簡(jiǎn)單地描述清楚。

但系統(tǒng)不是這樣,數(shù)據(jù)庫系統(tǒng)到底有什么挑戰(zhàn)?數(shù)據(jù)庫系統(tǒng)到底是什么?很難用一兩句話講清楚。因?yàn)樗且粋€(gè)復(fù)雜的工程,我覺得這是最大的一個(gè)挑戰(zhàn)。

換種方式來講,系統(tǒng)的上手過程非常漫長(zhǎng),不是簡(jiǎn)單地掌握了一兩個(gè)核心的點(diǎn)或者工具,你就可以去突破,這牽扯到方方面面。

具體到工程的時(shí)候,比如你遇到一個(gè) bug,或者去調(diào)優(yōu)、調(diào)參時(shí),很多時(shí)候都是牽一發(fā)而動(dòng)全身,系統(tǒng)的模塊和模塊之間有很強(qiáng)的關(guān)聯(lián)性。調(diào)了這個(gè)點(diǎn)之后,可能這個(gè)點(diǎn)被優(yōu)化了,但其他的一個(gè)點(diǎn)就會(huì)被弱化,從整個(gè)系統(tǒng)的角度來講,很難講這到底是好還是壞。

這和應(yīng)用相關(guān)的一些領(lǐng)域很不一樣,系統(tǒng)很難被定性優(yōu)劣。舉個(gè)例子,比如修高速公路,可能有人會(huì)想高速公路肯定是車道越多越好,五車道肯定比三車道要好,但實(shí)際上你再仔細(xì)想想,放在一個(gè)更大的系統(tǒng)里面看,可真不是這樣,你修的車道可能會(huì)占用旁邊的地,比如商業(yè)用地、工業(yè)用地或者農(nóng)業(yè)用地,那這又會(huì)帶來連鎖反應(yīng)。系統(tǒng)的挑戰(zhàn)就在于此,它不是一個(gè)孤立的問題,它是一個(gè)連鎖問題,一環(huán)扣一環(huán)。這是我這么多年以來,對(duì)系統(tǒng)的研究最深的體會(huì)。

數(shù)據(jù)庫研究所牽涉到的跨領(lǐng)域知識(shí)點(diǎn)有哪些?

舉個(gè)例子,說比如說我們的平臺(tái)上面跑了幾千或者幾萬個(gè)數(shù)據(jù)庫實(shí)例。那么傳統(tǒng)的方法就是 DBA(數(shù)據(jù)庫管理員)一個(gè)一個(gè)去看,這個(gè)實(shí)例我應(yīng)該怎么調(diào),它的工作負(fù)載是怎么變化的。這顯然是不具備可拓展性的。

那在固定資源情況下,即總的機(jī)器數(shù)、總的 CPU 核心數(shù)目、總的內(nèi)存容量一定的情況下,我們工作負(fù)載到了每個(gè)機(jī)器上,那么每個(gè)實(shí)例的數(shù)據(jù)庫負(fù)載是隨著時(shí)間有變化的,我們要怎么樣在有限的資源內(nèi)去做更好的調(diào)優(yōu)。比如說這個(gè)數(shù)據(jù)庫的實(shí)例現(xiàn)在是它的峰值,那我們就應(yīng)該把更多的 CPU 核心或更多的內(nèi)存分配到這個(gè)數(shù)據(jù)庫的實(shí)例上去。但這個(gè)實(shí)例不可能永遠(yuǎn)控制這么多資源,那么當(dāng)它的負(fù)載結(jié)束以后,我們能不能夠快速的判斷出來,而且自動(dòng)的把剛才分配給他的資源快速地分配到其他的數(shù)據(jù)庫實(shí)例上去。這就是一個(gè)自動(dòng)調(diào)優(yōu)的一個(gè)過程,牽扯到運(yùn)籌學(xué)統(tǒng)計(jì)還有機(jī)器學(xué)習(xí)的方法。

數(shù)據(jù)庫系統(tǒng)再舉個(gè)例子,又跟硬件非常有關(guān)系。我原來在美國(guó)讀博士的時(shí)候,一開始接觸系統(tǒng)就學(xué)到一句話,當(dāng)時(shí)就把它硬背下來,現(xiàn)在我越來越深刻地理解了。A system is about efficient and safe use of limited resources,拿中文來講,"系統(tǒng)就是高效安全地使用有限的資源"。

聽起來好像平淡無奇的一句話,但實(shí)際上這里面的水非常深。

首先我們的硬件資源有限,如果你有無限的 CPU ,有無限的核,有無限的內(nèi)存,那系統(tǒng)隨便你怎么處理,可能都還不錯(cuò),性能也挺好的。

但問題是我們是有限的資源,也有資金上的限制。在有限資源下做你的事情,第一要高效,第二要可靠。這就牽扯到對(duì)硬件的理解,比如說 SSD 是怎么運(yùn)作的,加密的數(shù)據(jù)要怎么利用安全硬件,怎么樣去做 CPU、FPGA 的加速。需要對(duì)硬件有很深刻的理解,才能夠?qū)懗鰜砀咝У能浖到y(tǒng)。

所以現(xiàn)在另外一個(gè)點(diǎn)就是軟硬件一體化,我舉了以上兩個(gè)例子來回答你剛才的問題,數(shù)據(jù)庫系統(tǒng)它牽涉的面還是比較多的。

(完)

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

ACM 杰出科學(xué)家得主達(dá)摩院李飛飛教授:數(shù)據(jù)庫研究道阻且長(zhǎng),需持之以恒

分享:
相關(guān)文章

編輯

關(guān)注AI學(xué)術(shù),例如論文
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄