0
本文作者: 何思思 | 2022-08-12 10:20 |
“以后可能幾乎每一個(gè)公司都會(huì)是一個(gè)IT公司”。
中國(guó)正處于數(shù)字化轉(zhuǎn)型關(guān)鍵時(shí)期,新技術(shù)和新應(yīng)用驅(qū)動(dòng)創(chuàng)新和增長(zhǎng),數(shù)據(jù)的快速增長(zhǎng)以及應(yīng)用模式的轉(zhuǎn)變是未來(lái)數(shù)據(jù)生態(tài)圈的大勢(shì)所趨。
據(jù)《國(guó)家數(shù)據(jù)資源調(diào)查報(bào)告(2021)》數(shù)據(jù)顯示,2021年全年,我國(guó)數(shù)據(jù)產(chǎn)量達(dá)到6.6ZB,同比增加29.4%,占全球數(shù)據(jù)總產(chǎn)量(67ZB)的9.9%,僅次于美國(guó)(16ZB),位列全球第二。
數(shù)據(jù)之于企業(yè)發(fā)展的重要性早已不言而喻,目前我國(guó)各行各業(yè)都想通過(guò)數(shù)據(jù)為業(yè)務(wù)增長(zhǎng)賦能,但亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建分析認(rèn)為,數(shù)據(jù)增長(zhǎng)將會(huì)帶來(lái)三個(gè)方向的關(guān)鍵問(wèn)題:
關(guān)于敏捷和成本,即如何應(yīng)對(duì)海量數(shù)據(jù)增長(zhǎng)所帶來(lái)的成本急速上升與數(shù)據(jù)存儲(chǔ)服務(wù)敏捷性能之間的矛盾;
關(guān)于數(shù)據(jù)多樣化需求,即如何設(shè)計(jì)不同的存儲(chǔ)服務(wù),滿足不同業(yè)務(wù)對(duì)來(lái)自不同渠道、不同采集方式、不同性質(zhì)的業(yè)務(wù)數(shù)據(jù)的需求;
關(guān)于數(shù)據(jù)安全與合規(guī)。
一定程度上來(lái)說(shuō),數(shù)據(jù)增長(zhǎng)利好企業(yè)數(shù)字化轉(zhuǎn)型,可以通過(guò)數(shù)字價(jià)值,為企業(yè)數(shù)字化轉(zhuǎn)型賦能,創(chuàng)造建立新的價(jià)值理念。但正如陳曉建所言,如果數(shù)據(jù)管理不好,也會(huì)帶來(lái)很大的問(wèn)題,尤其對(duì)服務(wù)商而言。
Nagarro(奈佳羅)作為一家從事數(shù)字資產(chǎn)SaaS平臺(tái)研發(fā)的公司,業(yè)務(wù)遍布26個(gè)國(guó)家,服務(wù)5000多家企業(yè)級(jí)用戶,這就意味著其要管理近兆億級(jí)的各種類型圖片、各種格式的視頻、PDF、office 文檔和PSD等文件。
“多區(qū)域下爆發(fā)式增長(zhǎng)的數(shù)據(jù)量,對(duì)Nagarro構(gòu)建數(shù)據(jù)資產(chǎn)SaaS平臺(tái)帶來(lái)了巨大挑戰(zhàn),”Nagarro中國(guó)區(qū)的首席架構(gòu)師郭亮提到,主要集中在存儲(chǔ)成本、傳輸效率、容量預(yù)測(cè)、可靠性和災(zāi)備、數(shù)據(jù)安全五大方面:
存儲(chǔ)成本:遍布?xì)W洲中部、德國(guó)、北美、加拿大等多區(qū)域的5000+企業(yè)用戶儲(chǔ)存包括圖片、視頻、音頻、文檔等類型的TB級(jí)數(shù)字資產(chǎn),數(shù)據(jù)溫度變化難以判斷,難以把數(shù)據(jù)存儲(chǔ)在正確的存儲(chǔ)層以降低成本;
傳輸效率:客戶需要批量傳輸數(shù)據(jù)或?qū)崟r(shí)瀏覽大文件,而網(wǎng)絡(luò)帶寬難以保證,磁盤物理極限難以突破;
容量預(yù)測(cè):客戶使用量不可預(yù)期,容量的快速拓升和流量潮汐難以應(yīng)付;
可靠性和災(zāi)備:需保障7*24小時(shí)不間斷服務(wù),99.99%高可用性,在指定時(shí)間段內(nèi)任意時(shí)間點(diǎn)完整恢復(fù),以及人為因素、機(jī)器故障、自然災(zāi)害時(shí),區(qū)域整體宕機(jī)可恢復(fù);
數(shù)據(jù)安全:需對(duì)數(shù)據(jù)進(jìn)行動(dòng)、靜態(tài)數(shù)據(jù)加密保護(hù),達(dá)到多租戶數(shù)據(jù)隔離,禁止越界訪問(wèn)。在合規(guī)方面,必須嚴(yán)格遵從歐洲,北美專屬數(shù)據(jù)安全法令以及行業(yè)專屬數(shù)據(jù)安全法HIPPA、PCI。
郭亮舉例道,為了節(jié)省存儲(chǔ)成本,早在2012、2013年時(shí)就希望通過(guò)智能管理存儲(chǔ)方式,降低運(yùn)營(yíng)成本。但當(dāng)時(shí)亞馬遜Amazon S3還沒有這個(gè)功能,所以我們采取冷熱兩個(gè)階段來(lái)實(shí)現(xiàn);進(jìn)入到2019年,終于有了智能分層的解決辦法,這時(shí)我們就可以放心地使用分層服務(wù),做到不用人工地關(guān)心數(shù)據(jù)的訪問(wèn)頻度,通過(guò)分層服務(wù)自動(dòng)地將文件存在不同的層里。這樣就在保障數(shù)據(jù)安全的前提下,大大降低了存儲(chǔ)成本。
據(jù)了解,幾年前Nagarro在存儲(chǔ)成本上一個(gè)月要花費(fèi)十幾萬(wàn)美金,但通過(guò)采用亞馬遜Amazon S3智能分層服務(wù)后,在客戶量翻倍的情況下,存儲(chǔ)成本節(jié)省了70%左右。
此外據(jù)了解,針對(duì)數(shù)據(jù)增長(zhǎng)給用戶和服務(wù)商帶來(lái)的挑戰(zhàn),亞馬遜云還專門構(gòu)建了不同的云存儲(chǔ)服務(wù)滿足需求多樣性。
對(duì)此,陳曉建提到:企業(yè)在云端有各類不同的業(yè)務(wù)場(chǎng)景,對(duì)共享文件存儲(chǔ)有著不同的要求,比較主要的企業(yè)應(yīng)用主要分為四類:
Windows為主的應(yīng)用,底層服務(wù)要完全滿足Windows的環(huán)境,包括ACL文件訪問(wèn)控制權(quán)限,包括Active Directory兼容。
高性能計(jì)算,不可能通過(guò)單個(gè)節(jié)點(diǎn)完成,一定是多節(jié)點(diǎn)協(xié)同的,數(shù)據(jù)是共享的。我們可以看到真正在跑的高性能集群往往是幾百個(gè)節(jié)點(diǎn),甚至幾千個(gè)節(jié)點(diǎn)共享一份數(shù)據(jù),這樣就帶來(lái)一個(gè)問(wèn)題,首先第一個(gè)需要共享的存儲(chǔ),第二個(gè)由于這份數(shù)據(jù)要被幾百個(gè)、幾千個(gè)節(jié)點(diǎn)同時(shí)訪問(wèn),所以對(duì)整個(gè)存儲(chǔ)的性能和吞吐率也提出了非常高的要求。
基于各類多種多樣的企業(yè)應(yīng)用,這些應(yīng)用要上云我們必須完美的兼容和支持好之前提供的功能。
大數(shù)據(jù)環(huán)境往往需要一些特殊的支持,包括像ZFS,需要具備高吞吐、低延時(shí)的技術(shù)。
針對(duì)企業(yè)應(yīng)用中四個(gè)主要的不同的場(chǎng)景,亞馬遜云專門構(gòu)建了一個(gè)場(chǎng)景化應(yīng)用FSx家族,X意味著多種文件存儲(chǔ)類型,專門為企業(yè)不同業(yè)務(wù)需求構(gòu)建。
面對(duì)統(tǒng)一數(shù)據(jù)保護(hù)問(wèn)題,往往存在很多數(shù)據(jù)備份的問(wèn)題,首先很多系統(tǒng)都是使用起來(lái)非常復(fù)雜的,第二,怎么保證安全合法合規(guī)的要求,第三,由于做備份一定會(huì)帶來(lái)額外的成本。對(duì)此,亞馬遜云推出了Amazon Backup 一站式備份服務(wù),可支持15種以上的數(shù)據(jù)源備份。
目前,在互聯(lián)網(wǎng)科技高速發(fā)展以及數(shù)字化轉(zhuǎn)型向好發(fā)展的情況下,數(shù)據(jù)在不斷上漲,成本也會(huì)隨之增加,安全問(wèn)題也會(huì)逐漸暴露,現(xiàn)在以及未來(lái),如何在數(shù)據(jù)爆發(fā)式增長(zhǎng)的情況下,以更低的成本,更安全的服務(wù)交付,將成為企業(yè)不斷向前發(fā)展的目標(biāo)。
在降低成本的前提下,保障數(shù)據(jù)安全運(yùn)營(yíng)仍需要很長(zhǎng)一段路要走。
(雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。