0
本文作者: 李勤 | 2016-11-12 12:44 | 專(zhuān)題:雷峰網(wǎng)公開(kāi)課 |
有一個(gè)節(jié)日,是女人的狂歡日,也是女人背后男人的流淚日;
有一種沖動(dòng)的激情,叫“買(mǎi)買(mǎi)買(mǎi)”!
這群甚至被譽(yù)為馬云背后的女人,撐起了電子商務(wù)的一片天。
但是,你一定不知道的是,馬云背后還有一個(gè)男人,在為這個(gè)盛大的購(gòu)物狂歡節(jié)保駕護(hù)航。
這個(gè)男人,就是阿里云云盾的負(fù)責(zé)人吳翰清,人稱(chēng)“道哥”。
他是黑客道哥,也是“道哥的黑板報(bào)”的“文藝網(wǎng)紅”。保衛(wèi)阿里云這個(gè)中國(guó) 35% 的網(wǎng)站都坐落其上的云計(jì)算平臺(tái)和上面的居民,道哥覺(jué)得自己守土有責(zé),不容有失。
尤其對(duì)于“雙十一”這個(gè)盛大的購(gòu)物節(jié),億萬(wàn)人同時(shí)涌進(jìn)“一扇大門(mén)”,阿里云到底應(yīng)該怎么應(yīng)對(duì)?本期硬創(chuàng)公開(kāi)課上,雷鋒網(wǎng)獻(xiàn)上雙十一最強(qiáng)攻略——道哥聊了聊他們干的事。
吳翰清 阿里云首席安全研究員;阿里云云盾負(fù)責(zé)人
2000年開(kāi)始研究安全技術(shù),長(zhǎng)期活躍在中國(guó)的安全社區(qū),在安全行業(yè)中有很大的影響力。2005年加入阿里巴巴,是阿里安全的早期建設(shè)者。陸續(xù)設(shè)計(jì)了阿里巴巴、淘寶、支付寶、阿里云的應(yīng)用安全體系。2012年到2014年成為安全寶合伙人,開(kāi)始創(chuàng)業(yè),致力于為客戶提供更好的云安全產(chǎn)品和服務(wù)。2014年重回阿里,負(fù)責(zé)阿里云云盾。著有《白帽子講Web安全》一書(shū),并運(yùn)營(yíng)個(gè)人微信/知乎公眾賬號(hào):道哥的黑板報(bào)。
問(wèn)答精華回顧
道哥:阿里云的愿景是提供全球70%的計(jì)算能力,做的事情囊括了傳統(tǒng)意義上的云計(jì)算,大數(shù)據(jù)、中間件和安全。
阿里云云盾是為用戶安全推出的安全產(chǎn)品與服務(wù)。除了基礎(chǔ)攻防安全外,也提供全棧的安全解決方案。目前云盾已經(jīng)有十多個(gè)安全產(chǎn)品,涉及網(wǎng)絡(luò)安全、服務(wù)器安全、應(yīng)用安全、業(yè)務(wù)安全的各個(gè)方面。云盾的增長(zhǎng)非??欤壳氨Wo(hù)了全國(guó)超過(guò)37%的網(wǎng)站,防護(hù)中國(guó)互聯(lián)網(wǎng)抵御每天50%的大流量DDoS攻擊,真正意義上驗(yàn)證了 SaaS 在安全行業(yè)可行性。
道哥:阿里云面向的客戶包括大中小規(guī)模的企業(yè),來(lái)自各個(gè)行業(yè)。因?yàn)樽龅氖腔A(chǔ)設(shè)施,希望云計(jì)算能成為水電煤一樣的公共服務(wù)。在用電時(shí),電廠其實(shí)不區(qū)分客戶的行業(yè),云計(jì)算也應(yīng)該一樣,所以云盾面向全行業(yè),不區(qū)分客戶大小。但是,根據(jù)客戶的需求,不同的客戶希望有不同的服務(wù)標(biāo)準(zhǔn),這是可以理解的,就像用電也有分普通的居民用電,和工業(yè)用電一樣。只是服務(wù)標(biāo)準(zhǔn)的不同,產(chǎn)品還是同樣的東西。
道哥:阿里云自身的安全保障,也使用云盾同樣的技術(shù)。我們的技術(shù)都是在內(nèi)部用得很成熟后,再進(jìn)行產(chǎn)品化,給客戶使用。所以,產(chǎn)品特別注重實(shí)際使用效果。至于阿里云自身的安全體系,我們非常重視“紅藍(lán)軍”對(duì)抗的思想,會(huì)廣泛邀請(qǐng)業(yè)界白帽子為產(chǎn)品做安全測(cè)試。在這個(gè)過(guò)程中,我們會(huì)依賴(lài)于態(tài)勢(shì)感知提供的「可見(jiàn)」的能力,感知每一次攻擊測(cè)試行為,最終得到的效果是整體安全事件數(shù)、漏洞數(shù)的收斂。所有這些都可以在云盾的產(chǎn)品體系中,比如,先知情報(bào)、態(tài)勢(shì)感知等找到對(duì)應(yīng)的產(chǎn)品和服務(wù)。
道哥:云計(jì)算是大規(guī)模計(jì)算,任何事務(wù)只要上了大規(guī)模,就會(huì)變得復(fù)雜和難于處理,但這也是創(chuàng)新的機(jī)會(huì)。大規(guī)模計(jì)算下的一個(gè)典型特點(diǎn)是「小概率事件變?yōu)槌B(tài)」。比如一個(gè)正規(guī)的網(wǎng)站,一年可能都不會(huì)經(jīng)歷一次 DDoS 攻擊,但是在阿里云上,我們每天都要防御數(shù)千次DDoS攻擊。在這樣的攻擊量級(jí)下,靠人工處理已經(jīng)變得不現(xiàn)實(shí)。這倒逼我們進(jìn)行技術(shù)創(chuàng)新,所以我們做到DDoS防御的全自動(dòng)值守,不需要任何人工參與。任何一次 DDoS 攻擊都可以在1秒內(nèi)完成從檢測(cè)到響應(yīng)到防御的整個(gè)過(guò)程。
道哥:態(tài)勢(shì)感知區(qū)別于傳統(tǒng)的 SIEM ,有兩個(gè)非常關(guān)鍵的點(diǎn)?,F(xiàn)在很多安全廠商都開(kāi)始做態(tài)勢(shì)感知,但往往只是把 SIEM 換了個(gè)名字,這是種誤區(qū)。
態(tài)勢(shì)感知最早在安全行業(yè)的應(yīng)用,是我在 2015 年 7 月的阿里安全峰會(huì)上正式發(fā)布云盾態(tài)勢(shì)感知產(chǎn)品后提出來(lái)的。后來(lái)到了 2016 年的 4月 習(xí)總書(shū)記的講話里,也明確了要重視網(wǎng)絡(luò)安全的態(tài)勢(shì)感知。所以態(tài)勢(shì)感知賦能的 Visibility,是整個(gè)安全的基礎(chǔ)。
態(tài)勢(shì)感知有兩個(gè)重要的特征,區(qū)別于其他安全產(chǎn)品。第一個(gè)是要基于原始的數(shù)據(jù),要充分尊重原始的數(shù)據(jù)。目前云盾每天分析超過(guò) 500T 的增量數(shù)據(jù),存量數(shù)據(jù)的量在 100P 以上。這讓我們能夠從原始數(shù)據(jù)中分析出第一手的信息,而不是從一些第三方安全設(shè)備里獲取第二手資料。最有價(jià)值的信息都是存在于原始數(shù)據(jù)里的,當(dāng)我們的算法更新后,我們?nèi)匀荒芑谶^(guò)去的原始數(shù)據(jù)計(jì)算出新的價(jià)值。
道哥:我們從各個(gè)緯度的 sensor 收取數(shù)據(jù),包括網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫(kù),也包括四層和七層的數(shù)據(jù),也包括操作日志和系統(tǒng)日志。因?yàn)榻裉煸贫苁侨溌凡渴鸬?,既包括?lái)自于全網(wǎng)的掃描器,也包括流量分析、應(yīng)用層的數(shù)據(jù)分析,同時(shí)在服務(wù)器還有 Agent ,所以我們能從不同的視角觀測(cè)到不同的現(xiàn)象。同時(shí)阿里云還提供各個(gè)緯度的 API ,通過(guò) RAM 授權(quán)后,我們可以調(diào)用云計(jì)算本身提供的一些數(shù)據(jù)。把所有的這些數(shù)據(jù)整合在一起,做出綜合的診斷。
道哥:我們希望把阿里云強(qiáng)大的計(jì)算能力充分的利用起來(lái),應(yīng)用在我們的安全領(lǐng)域。我們知道因?yàn)橛?jì)算能力的解放,帶給了深度學(xué)習(xí)和人工智能非常大的機(jī)會(huì)。
比如,我們正在研究如何讓一個(gè)計(jì)算機(jī)系統(tǒng),來(lái)代替安全專(zhuān)家的所有人工工作。包括所有的評(píng)估結(jié)果分析、策略維護(hù)、響應(yīng)等,都可以通過(guò)機(jī)器自動(dòng)來(lái)完成,這些需要高級(jí)思維和經(jīng)驗(yàn)的工作,在過(guò)去都是由專(zhuān)家人工完成。但是,我們認(rèn)為由機(jī)器來(lái)代替是可行的,甚至在某些時(shí)候機(jī)器比人會(huì)做得更好。
這是一個(gè)很浩大的工程,我們正在逐步努力。我們把未來(lái)的這個(gè)新的人工智能,叫做「云小盾」,我希望他會(huì)是我們的一個(gè)明星員工。
道哥:實(shí)際上安全帶有保障屬性,和運(yùn)維有點(diǎn)類(lèi)似,所以做得好的安全往往是感受不到的。就像此前保護(hù)G20峰會(huì)一樣,過(guò)去幾年的“雙十一”保障在安全上都平穩(wěn)度過(guò)?!半p十一”的挑戰(zhàn)來(lái)自于海量訪問(wèn)請(qǐng)求,導(dǎo)致很多解決方案在這樣的場(chǎng)景下都會(huì)極具挑戰(zhàn)性。
比如,在“雙十一”,我們需要從全國(guó),以及海外的數(shù)個(gè)可用區(qū),將每秒的流量進(jìn)行集中統(tǒng)計(jì)和分析,進(jìn)行安全檢測(cè)和響應(yīng)。這意味著跨地域的TB級(jí)流量分析挑戰(zhàn)非常大,同時(shí)對(duì)穩(wěn)定性和實(shí)時(shí)性要求都非常高,如果其中有一分鐘失去檢測(cè)能力,很可能就會(huì)對(duì)后端的服務(wù)器帶來(lái)巨大的壓力,從而導(dǎo)致“雙十一”整體的失敗,所以“雙十一”是一場(chǎng)大考。
其次,在去年的“雙十一”,我們首次應(yīng)用了 WAF 技術(shù),今年將繼續(xù)使用,也就是說(shuō)“雙十一”的每一個(gè)請(qǐng)求,都會(huì)經(jīng)過(guò) WAF 的安全檢測(cè),這需要非常強(qiáng)的檢測(cè)能力和可以彈性伸縮的技術(shù)架構(gòu)。WAF支持同時(shí)下發(fā)超過(guò)100萬(wàn)條策略,這也是在其他的安全設(shè)備上沒(méi)有看到過(guò)的能力。因?yàn)椤半p十一”獨(dú)特的場(chǎng)景,造就了我們的這些技術(shù)突破。
最后,也許消費(fèi)者們能感受到我們存在的一點(diǎn),在于在“雙十一”的過(guò)程中,我們采用了一種「無(wú)損限流」的技術(shù)。因?yàn)檎l(shuí)也無(wú)法預(yù)測(cè)“雙十一”的洪峰會(huì)有多大,后端準(zhǔn)備再多的服務(wù)器也許都不夠,所以在安全控制上,對(duì)于超出系統(tǒng)負(fù)載的請(qǐng)求,會(huì)采用一種「排隊(duì)機(jī)制」,但這種機(jī)制不會(huì)drop掉你的連接,而是會(huì)讓你等待,直到輪到系統(tǒng)處理你的請(qǐng)求。這有點(diǎn)像去蘋(píng)果店排隊(duì)買(mǎi)iphone,大家不是一擁而上,而是非常有序的排隊(duì)等待。
道哥:我們有專(zhuān)業(yè)的應(yīng)急響應(yīng)團(tuán)隊(duì)來(lái)處理所有的緊急情況,包括產(chǎn)品的漏洞、云上的安全事件、外部來(lái)源報(bào)告的一些問(wèn)題,以及客戶投訴的一些嚴(yán)重case。我們會(huì)在事前廣泛的收集所有信息,在事中有一個(gè)值班長(zhǎng)的機(jī)制,來(lái)驅(qū)動(dòng)所有相關(guān)團(tuán)隊(duì)進(jìn)行響應(yīng),在最后還會(huì)進(jìn)行效果的觀察和復(fù)盤(pán)。
在云計(jì)算上,經(jīng)常會(huì)面臨一些大的安全漏洞,可能影響到數(shù)十萬(wàn)的用戶。我們能觀測(cè)到一些高級(jí)的威脅是如何蔓延和傳播的,在內(nèi)部稱(chēng)之為「安全疫情」。事實(shí)上如果能提前一個(gè)小時(shí)進(jìn)行止血,我們就可能會(huì)挽救數(shù)萬(wàn)用戶的損失。所以,我們的應(yīng)急響應(yīng)團(tuán)隊(duì)是在和黑客賽跑。而所有的應(yīng)急響應(yīng),前提是要能被我們觀測(cè)到,這是態(tài)勢(shì)感知的能力。所以,態(tài)勢(shì)感知提供的「看見(jiàn)」的能力是我們的基礎(chǔ)。
在“雙十一”,我們有專(zhuān)門(mén)的保障小組,他們針對(duì)各種安全緊急情況,設(shè)計(jì)了幾十種預(yù)案。同時(shí)在“雙十一”前的幾個(gè)月,就開(kāi)始不斷進(jìn)行演練,以保證這些預(yù)案是有效的。在整個(gè)“雙十一”中,都會(huì)進(jìn)行7*24小時(shí)的值守。
道哥:去年“雙十一”,很多黃牛來(lái)秒殺促銷(xiāo)商品。我們會(huì)通過(guò)威脅情報(bào),提前分析全國(guó)黃牛的大概分布,以及他們使用的工具和資源。在“雙十一”前,我們會(huì)突擊下發(fā)策略,在主站的關(guān)鍵流量上 block 掉這些黃牛的工具和資源,保障正常的商家服務(wù)。我們?cè)陲L(fēng)控上的策略,對(duì)抗是非常頻繁的,經(jīng)常是一個(gè)算法用半個(gè)小時(shí),就要換新的了。
道哥:直播主要有兩個(gè)安全問(wèn)題,一個(gè)是被 DDoS 攻擊導(dǎo)致直播中斷,那么前期的大量市場(chǎng)推廣可能就白做了。所以直播期間需要準(zhǔn)備好 DDoS 的預(yù)案,同時(shí)網(wǎng)絡(luò)質(zhì)量上還不能有抖動(dòng),影響到直播的效果;第二,很多直播還提供彈幕的功能,可能會(huì)有些違規(guī)、違禁的信息會(huì)出現(xiàn)在彈幕里,造成很不好的影響。所以,直播的 UGC 內(nèi)容需要進(jìn)行檢測(cè)。云盾的綠網(wǎng)產(chǎn)品今天就是提供這個(gè)檢測(cè)與攔截服務(wù)的。
道哥:“雙十一”某些手機(jī)廠商會(huì)搞一些很大的活動(dòng)進(jìn)行秒殺,會(huì)吸引大量的黃牛黨來(lái)?yè)屬?gòu)?fù)拓?,擾亂市場(chǎng)秩序。所以我們事先會(huì)通過(guò)威脅情報(bào),以及結(jié)合一些黑產(chǎn)分析,摸清楚大概的脈絡(luò)。這是由專(zhuān)門(mén)的情報(bào)團(tuán)隊(duì)和數(shù)據(jù)分析團(tuán)隊(duì)完成的。在“雙十一”保障的過(guò)程中,我們會(huì)把這些情報(bào)應(yīng)用在 WAF 上,在關(guān)鍵流程中進(jìn)行攔截。同時(shí),壞人還會(huì)經(jīng)常改變攻擊來(lái)源、攻擊工具,與我們的策略進(jìn)行對(duì)抗。因此,我們還必須實(shí)時(shí)觀測(cè)策略的有效性,這些由保障團(tuán)隊(duì)和數(shù)據(jù)分析團(tuán)隊(duì)完成。
道哥:阿里巴巴是一個(gè)大的生態(tài)系統(tǒng)。整個(gè)“雙十一”除了阿里自身的天貓、支付寶會(huì)帶來(lái)大流量增長(zhǎng)外,最直接的要迎接洪峰壓力的,還有快遞行業(yè),以及支撐電商的 ISV 。
我們的 Aliexpress 是國(guó)際的 C2C 業(yè)務(wù),也是俄羅斯的第一大電商,曾經(jīng)因?yàn)橐淮未黉N(xiāo)搞垮了整個(gè)俄羅斯郵政。類(lèi)似的問(wèn)題也在中國(guó)發(fā)生,這也是阿里巴巴集團(tuán)做菜鳥(niǎo)物流的原因。我們希望能夠幫助優(yōu)化全球的物流體系。
同時(shí)淘寶、天貓的這么多商家,他們?cè)凇半p十一”的洪峰要處理的訂單可能是平時(shí)的幾十倍,這對(duì)他們的 ISV (比如 CRM 系統(tǒng)、庫(kù)存管理系統(tǒng)、評(píng)價(jià)系統(tǒng)等)造成了巨大的壓力。阿里的聚石塔,就是把這些 ISV 放到了阿里云上,提供更強(qiáng)的安全保護(hù)。事實(shí)上,阿里的“雙十一”,90% 的訂單最終會(huì)流向這些 ISV 。
今年云盾會(huì)和聚石塔合作,對(duì)這些電商 ISV 的安全進(jìn)行整體的保障服務(wù),保證“雙十一”的平穩(wěn)度過(guò)。
道哥:“雙十一”是中國(guó)的奇跡,也是世界的奇跡?!半p十一”每一筆訂單的背后,都是對(duì)大規(guī)模計(jì)算的消耗,都是對(duì)大數(shù)據(jù)應(yīng)用、安全技術(shù)的一次驗(yàn)證。剁手黨們的狂歡,造就了全球最頂級(jí)的技術(shù)盛宴。這不僅僅是商業(yè)的成功,也是技術(shù)在一次次拓展自己的邊界。最終是我們一起共建了世界的未來(lái)。我們因你們而存在。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。