0
本文作者: 李勤 | 2016-11-12 12:44 | 專題:雷峰網(wǎng)公開課 |
有一個節(jié)日,是女人的狂歡日,也是女人背后男人的流淚日;
有一種沖動的激情,叫“買買買”!
這群甚至被譽為馬云背后的女人,撐起了電子商務(wù)的一片天。
但是,你一定不知道的是,馬云背后還有一個男人,在為這個盛大的購物狂歡節(jié)保駕護航。
這個男人,就是阿里云云盾的負(fù)責(zé)人吳翰清,人稱“道哥”。
他是黑客道哥,也是“道哥的黑板報”的“文藝網(wǎng)紅”。保衛(wèi)阿里云這個中國 35% 的網(wǎng)站都坐落其上的云計算平臺和上面的居民,道哥覺得自己守土有責(zé),不容有失。
尤其對于“雙十一”這個盛大的購物節(jié),億萬人同時涌進“一扇大門”,阿里云到底應(yīng)該怎么應(yīng)對?本期硬創(chuàng)公開課上,雷鋒網(wǎng)獻(xiàn)上雙十一最強攻略——道哥聊了聊他們干的事。
吳翰清 阿里云首席安全研究員;阿里云云盾負(fù)責(zé)人
2000年開始研究安全技術(shù),長期活躍在中國的安全社區(qū),在安全行業(yè)中有很大的影響力。2005年加入阿里巴巴,是阿里安全的早期建設(shè)者。陸續(xù)設(shè)計了阿里巴巴、淘寶、支付寶、阿里云的應(yīng)用安全體系。2012年到2014年成為安全寶合伙人,開始創(chuàng)業(yè),致力于為客戶提供更好的云安全產(chǎn)品和服務(wù)。2014年重回阿里,負(fù)責(zé)阿里云云盾。著有《白帽子講Web安全》一書,并運營個人微信/知乎公眾賬號:道哥的黑板報。
問答精華回顧
道哥:阿里云的愿景是提供全球70%的計算能力,做的事情囊括了傳統(tǒng)意義上的云計算,大數(shù)據(jù)、中間件和安全。
阿里云云盾是為用戶安全推出的安全產(chǎn)品與服務(wù)。除了基礎(chǔ)攻防安全外,也提供全棧的安全解決方案。目前云盾已經(jīng)有十多個安全產(chǎn)品,涉及網(wǎng)絡(luò)安全、服務(wù)器安全、應(yīng)用安全、業(yè)務(wù)安全的各個方面。云盾的增長非???,目前保護了全國超過37%的網(wǎng)站,防護中國互聯(lián)網(wǎng)抵御每天50%的大流量DDoS攻擊,真正意義上驗證了 SaaS 在安全行業(yè)可行性。
道哥:阿里云面向的客戶包括大中小規(guī)模的企業(yè),來自各個行業(yè)。因為做的是基礎(chǔ)設(shè)施,希望云計算能成為水電煤一樣的公共服務(wù)。在用電時,電廠其實不區(qū)分客戶的行業(yè),云計算也應(yīng)該一樣,所以云盾面向全行業(yè),不區(qū)分客戶大小。但是,根據(jù)客戶的需求,不同的客戶希望有不同的服務(wù)標(biāo)準(zhǔn),這是可以理解的,就像用電也有分普通的居民用電,和工業(yè)用電一樣。只是服務(wù)標(biāo)準(zhǔn)的不同,產(chǎn)品還是同樣的東西。
道哥:阿里云自身的安全保障,也使用云盾同樣的技術(shù)。我們的技術(shù)都是在內(nèi)部用得很成熟后,再進行產(chǎn)品化,給客戶使用。所以,產(chǎn)品特別注重實際使用效果。至于阿里云自身的安全體系,我們非常重視“紅藍(lán)軍”對抗的思想,會廣泛邀請業(yè)界白帽子為產(chǎn)品做安全測試。在這個過程中,我們會依賴于態(tài)勢感知提供的「可見」的能力,感知每一次攻擊測試行為,最終得到的效果是整體安全事件數(shù)、漏洞數(shù)的收斂。所有這些都可以在云盾的產(chǎn)品體系中,比如,先知情報、態(tài)勢感知等找到對應(yīng)的產(chǎn)品和服務(wù)。
道哥:云計算是大規(guī)模計算,任何事務(wù)只要上了大規(guī)模,就會變得復(fù)雜和難于處理,但這也是創(chuàng)新的機會。大規(guī)模計算下的一個典型特點是「小概率事件變?yōu)槌B(tài)」。比如一個正規(guī)的網(wǎng)站,一年可能都不會經(jīng)歷一次 DDoS 攻擊,但是在阿里云上,我們每天都要防御數(shù)千次DDoS攻擊。在這樣的攻擊量級下,靠人工處理已經(jīng)變得不現(xiàn)實。這倒逼我們進行技術(shù)創(chuàng)新,所以我們做到DDoS防御的全自動值守,不需要任何人工參與。任何一次 DDoS 攻擊都可以在1秒內(nèi)完成從檢測到響應(yīng)到防御的整個過程。
道哥:態(tài)勢感知區(qū)別于傳統(tǒng)的 SIEM ,有兩個非常關(guān)鍵的點。現(xiàn)在很多安全廠商都開始做態(tài)勢感知,但往往只是把 SIEM 換了個名字,這是種誤區(qū)。
態(tài)勢感知最早在安全行業(yè)的應(yīng)用,是我在 2015 年 7 月的阿里安全峰會上正式發(fā)布云盾態(tài)勢感知產(chǎn)品后提出來的。后來到了 2016 年的 4月 習(xí)總書記的講話里,也明確了要重視網(wǎng)絡(luò)安全的態(tài)勢感知。所以態(tài)勢感知賦能的 Visibility,是整個安全的基礎(chǔ)。
態(tài)勢感知有兩個重要的特征,區(qū)別于其他安全產(chǎn)品。第一個是要基于原始的數(shù)據(jù),要充分尊重原始的數(shù)據(jù)。目前云盾每天分析超過 500T 的增量數(shù)據(jù),存量數(shù)據(jù)的量在 100P 以上。這讓我們能夠從原始數(shù)據(jù)中分析出第一手的信息,而不是從一些第三方安全設(shè)備里獲取第二手資料。最有價值的信息都是存在于原始數(shù)據(jù)里的,當(dāng)我們的算法更新后,我們?nèi)匀荒芑谶^去的原始數(shù)據(jù)計算出新的價值。
道哥:我們從各個緯度的 sensor 收取數(shù)據(jù),包括網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫,也包括四層和七層的數(shù)據(jù),也包括操作日志和系統(tǒng)日志。因為今天云盾是全鏈路部署的,既包括來自于全網(wǎng)的掃描器,也包括流量分析、應(yīng)用層的數(shù)據(jù)分析,同時在服務(wù)器還有 Agent ,所以我們能從不同的視角觀測到不同的現(xiàn)象。同時阿里云還提供各個緯度的 API ,通過 RAM 授權(quán)后,我們可以調(diào)用云計算本身提供的一些數(shù)據(jù)。把所有的這些數(shù)據(jù)整合在一起,做出綜合的診斷。
道哥:我們希望把阿里云強大的計算能力充分的利用起來,應(yīng)用在我們的安全領(lǐng)域。我們知道因為計算能力的解放,帶給了深度學(xué)習(xí)和人工智能非常大的機會。
比如,我們正在研究如何讓一個計算機系統(tǒng),來代替安全專家的所有人工工作。包括所有的評估結(jié)果分析、策略維護、響應(yīng)等,都可以通過機器自動來完成,這些需要高級思維和經(jīng)驗的工作,在過去都是由專家人工完成。但是,我們認(rèn)為由機器來代替是可行的,甚至在某些時候機器比人會做得更好。
這是一個很浩大的工程,我們正在逐步努力。我們把未來的這個新的人工智能,叫做「云小盾」,我希望他會是我們的一個明星員工。
道哥:實際上安全帶有保障屬性,和運維有點類似,所以做得好的安全往往是感受不到的。就像此前保護G20峰會一樣,過去幾年的“雙十一”保障在安全上都平穩(wěn)度過?!半p十一”的挑戰(zhàn)來自于海量訪問請求,導(dǎo)致很多解決方案在這樣的場景下都會極具挑戰(zhàn)性。
比如,在“雙十一”,我們需要從全國,以及海外的數(shù)個可用區(qū),將每秒的流量進行集中統(tǒng)計和分析,進行安全檢測和響應(yīng)。這意味著跨地域的TB級流量分析挑戰(zhàn)非常大,同時對穩(wěn)定性和實時性要求都非常高,如果其中有一分鐘失去檢測能力,很可能就會對后端的服務(wù)器帶來巨大的壓力,從而導(dǎo)致“雙十一”整體的失敗,所以“雙十一”是一場大考。
其次,在去年的“雙十一”,我們首次應(yīng)用了 WAF 技術(shù),今年將繼續(xù)使用,也就是說“雙十一”的每一個請求,都會經(jīng)過 WAF 的安全檢測,這需要非常強的檢測能力和可以彈性伸縮的技術(shù)架構(gòu)。WAF支持同時下發(fā)超過100萬條策略,這也是在其他的安全設(shè)備上沒有看到過的能力。因為“雙十一”獨特的場景,造就了我們的這些技術(shù)突破。
最后,也許消費者們能感受到我們存在的一點,在于在“雙十一”的過程中,我們采用了一種「無損限流」的技術(shù)。因為誰也無法預(yù)測“雙十一”的洪峰會有多大,后端準(zhǔn)備再多的服務(wù)器也許都不夠,所以在安全控制上,對于超出系統(tǒng)負(fù)載的請求,會采用一種「排隊機制」,但這種機制不會drop掉你的連接,而是會讓你等待,直到輪到系統(tǒng)處理你的請求。這有點像去蘋果店排隊買iphone,大家不是一擁而上,而是非常有序的排隊等待。
道哥:我們有專業(yè)的應(yīng)急響應(yīng)團隊來處理所有的緊急情況,包括產(chǎn)品的漏洞、云上的安全事件、外部來源報告的一些問題,以及客戶投訴的一些嚴(yán)重case。我們會在事前廣泛的收集所有信息,在事中有一個值班長的機制,來驅(qū)動所有相關(guān)團隊進行響應(yīng),在最后還會進行效果的觀察和復(fù)盤。
在云計算上,經(jīng)常會面臨一些大的安全漏洞,可能影響到數(shù)十萬的用戶。我們能觀測到一些高級的威脅是如何蔓延和傳播的,在內(nèi)部稱之為「安全疫情」。事實上如果能提前一個小時進行止血,我們就可能會挽救數(shù)萬用戶的損失。所以,我們的應(yīng)急響應(yīng)團隊是在和黑客賽跑。而所有的應(yīng)急響應(yīng),前提是要能被我們觀測到,這是態(tài)勢感知的能力。所以,態(tài)勢感知提供的「看見」的能力是我們的基礎(chǔ)。
在“雙十一”,我們有專門的保障小組,他們針對各種安全緊急情況,設(shè)計了幾十種預(yù)案。同時在“雙十一”前的幾個月,就開始不斷進行演練,以保證這些預(yù)案是有效的。在整個“雙十一”中,都會進行7*24小時的值守。
道哥:去年“雙十一”,很多黃牛來秒殺促銷商品。我們會通過威脅情報,提前分析全國黃牛的大概分布,以及他們使用的工具和資源。在“雙十一”前,我們會突擊下發(fā)策略,在主站的關(guān)鍵流量上 block 掉這些黃牛的工具和資源,保障正常的商家服務(wù)。我們在風(fēng)控上的策略,對抗是非常頻繁的,經(jīng)常是一個算法用半個小時,就要換新的了。
道哥:直播主要有兩個安全問題,一個是被 DDoS 攻擊導(dǎo)致直播中斷,那么前期的大量市場推廣可能就白做了。所以直播期間需要準(zhǔn)備好 DDoS 的預(yù)案,同時網(wǎng)絡(luò)質(zhì)量上還不能有抖動,影響到直播的效果;第二,很多直播還提供彈幕的功能,可能會有些違規(guī)、違禁的信息會出現(xiàn)在彈幕里,造成很不好的影響。所以,直播的 UGC 內(nèi)容需要進行檢測。云盾的綠網(wǎng)產(chǎn)品今天就是提供這個檢測與攔截服務(wù)的。
道哥:“雙十一”某些手機廠商會搞一些很大的活動進行秒殺,會吸引大量的黃牛黨來搶購?fù)拓?,擾亂市場秩序。所以我們事先會通過威脅情報,以及結(jié)合一些黑產(chǎn)分析,摸清楚大概的脈絡(luò)。這是由專門的情報團隊和數(shù)據(jù)分析團隊完成的。在“雙十一”保障的過程中,我們會把這些情報應(yīng)用在 WAF 上,在關(guān)鍵流程中進行攔截。同時,壞人還會經(jīng)常改變攻擊來源、攻擊工具,與我們的策略進行對抗。因此,我們還必須實時觀測策略的有效性,這些由保障團隊和數(shù)據(jù)分析團隊完成。
道哥:阿里巴巴是一個大的生態(tài)系統(tǒng)。整個“雙十一”除了阿里自身的天貓、支付寶會帶來大流量增長外,最直接的要迎接洪峰壓力的,還有快遞行業(yè),以及支撐電商的 ISV 。
我們的 Aliexpress 是國際的 C2C 業(yè)務(wù),也是俄羅斯的第一大電商,曾經(jīng)因為一次促銷搞垮了整個俄羅斯郵政。類似的問題也在中國發(fā)生,這也是阿里巴巴集團做菜鳥物流的原因。我們希望能夠幫助優(yōu)化全球的物流體系。
同時淘寶、天貓的這么多商家,他們在“雙十一”的洪峰要處理的訂單可能是平時的幾十倍,這對他們的 ISV (比如 CRM 系統(tǒng)、庫存管理系統(tǒng)、評價系統(tǒng)等)造成了巨大的壓力。阿里的聚石塔,就是把這些 ISV 放到了阿里云上,提供更強的安全保護。事實上,阿里的“雙十一”,90% 的訂單最終會流向這些 ISV 。
今年云盾會和聚石塔合作,對這些電商 ISV 的安全進行整體的保障服務(wù),保證“雙十一”的平穩(wěn)度過。
道哥:“雙十一”是中國的奇跡,也是世界的奇跡?!半p十一”每一筆訂單的背后,都是對大規(guī)模計算的消耗,都是對大數(shù)據(jù)應(yīng)用、安全技術(shù)的一次驗證。剁手黨們的狂歡,造就了全球最頂級的技術(shù)盛宴。這不僅僅是商業(yè)的成功,也是技術(shù)在一次次拓展自己的邊界。最終是我們一起共建了世界的未來。我們因你們而存在。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。