宅客頻道編者按：作為橫跨電商、支付、云服務(wù)、視頻等領(lǐng)域的互聯(lián)網(wǎng)巨頭公司，阿里是如何借用 AI 技術(shù)來解決所面對的安全挑戰(zhàn)？在6月30日舉辦的CCF-GAIR智能安全專場中，阿里巴巴集團(tuán)安全部資深總監(jiān)路全帶來了《從危到機(jī)，AI 時代下的安全挑戰(zhàn)》的演講。 

路全現(xiàn)任阿里巴巴集團(tuán)安全部資深總監(jiān)，負(fù)責(zé)集團(tuán)系統(tǒng)和數(shù)據(jù)安全領(lǐng)域算法的開發(fā)。有十余年將大規(guī)模統(tǒng)計機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘和深度學(xué)習(xí)成功應(yīng)用的業(yè)界經(jīng)驗(yàn)，曾在雅虎和Experian帶領(lǐng)研發(fā)團(tuán)隊。并在頂級國際會議上發(fā)表論文二十余篇，擁有多項(xiàng)國際專利。

2018 全球人工智能與機(jī)器人峰會（CCF-GAIR）于6月29日在深圳召開。本次大會共吸引超過2500余位 AI 業(yè)界人士參會，其中包含來自全球的 140 位在人工智能領(lǐng)域享有盛譽(yù)的頂級嘉賓。

以下是路全在現(xiàn)場的演講內(nèi)容，雷鋒網(wǎng)在不改變原意的基礎(chǔ)上進(jìn)行了編輯整理。

路全：大家好，很高興能在這個場合和大家分享我們在阿里巴巴網(wǎng)絡(luò)安全上的一些實(shí)踐和經(jīng)驗(yàn)。剛才各位來賓已經(jīng)對我的演講做了很好的鋪墊，比如說浙大的任教授，他對數(shù)據(jù)安全各個方面做了非常詳盡的總結(jié)，百度的聶總也從安全為智能這個角度談了智能為IOT設(shè)備能做什么防護(hù)。我今天的演講也是講安全為智能，而不是智能為安全。

我還是想以智能汽車為例展開我的演講，因?yàn)榇蠹铱赡苓@兩天聽了很多關(guān)于智能汽車的比喻，它確實(shí)是一個非常典型的智能安全體。大家想一想，我們有幾種方式可以去攻擊智能汽車？

第一個方式在這幾天各位來賓已經(jīng)講了很多，我們可以去改變這些交通標(biāo)志，來利用智能算法本身的缺陷攻擊智能汽車，這個我就不展開講了，因?yàn)楦鱾€來賓都講了例子。

第二個方式是傳統(tǒng)的方式，比如在電影《速度與激情8》，它能夠控制那些平民的汽車，最后完成它的攻擊行為，這是傳統(tǒng)的黑客或者滲透入侵的例子。

第三個方式其實(shí)剛才任教授提到的，通過數(shù)據(jù)的方式，今天我可以不侵入你的系統(tǒng)，但是我產(chǎn)生一些實(shí)時的數(shù)據(jù)或者說一些你以前已經(jīng)習(xí)慣于走這些道路的數(shù)據(jù)，我把這些數(shù)據(jù)輸入到云端或者你的系統(tǒng)，可以控制你的車，按照我想要的路徑去走，利用數(shù)據(jù)中毒的方式來攻擊人工智能系統(tǒng)。

其實(shí)，阿里巴巴面臨的挑戰(zhàn)還比智能汽車安全更為復(fù)雜，因?yàn)榇蠹叶贾腊⒗锇桶同F(xiàn)在是一個大數(shù)據(jù)公司，有很強(qiáng)的人工智能方面的開發(fā)和研究能力，每個月、每個季度、每半年其實(shí)在阿里巴巴這個生態(tài)里都會長出很多新的人工智能的算法或人工智能體，作為集團(tuán)安全來講，其實(shí)我們的防守范圍就以前會大很多，因?yàn)橐郧翱赡芨嗟氖强粗羞@些機(jī)器的防護(hù)，但現(xiàn)在這些機(jī)器變成人工智能的算法或者人工智能體，我們的防護(hù)必須要有一些新的改進(jìn)。

我剛才簡單介紹了數(shù)據(jù)污染或者叫數(shù)據(jù)中毒，一提這個，大家腦海里浮現(xiàn)出來的可能有些非常直觀的例子，比如說微軟小冰的例子，它是一個人工智能對話系統(tǒng)，剛上線的時候因?yàn)橛脤?shí)時對話的數(shù)據(jù)進(jìn)行訓(xùn)練的，所以你給他一些不好的對話，就會被污染，這是非常直觀的。

還有一個直觀的例子，SEO（搜索引擎優(yōu)化）也可以當(dāng)做一種利用數(shù)據(jù)去掌握或者控制搜索的推薦算法，因?yàn)樗鋵?shí)就是根據(jù)推薦算法去用新的數(shù)據(jù)，去讓推薦算法或者說搜索算法把你排到他想要的位置。

我現(xiàn)在想舉的是兩個不是那么直觀的例子，這是我們在阿里巴巴的網(wǎng)絡(luò)安全中遇到的。大家都知道雙十一是阿里巴巴非常大的活動，每年雙十一對普通百姓來說是能夠去買到很多便宜的商品，但我們發(fā)現(xiàn)了非常有趣的現(xiàn)象。

平時我們會有很多的爬蟲，根據(jù)網(wǎng)絡(luò)的流量來爬取信息，因?yàn)榘⒗锇桶偷男畔⑦€是非常值錢的，但是在雙十一兩個星期之前的爬蟲流量變小了或者幾乎為零，尤其是重要的應(yīng)用上，我們就奇怪為什么雙十一之前他們不來了？你可能會說，也許跟打仗一樣，正常打仗之前要有一些靜默的方式，然后到雙十一采取一種全新的方式，但是這個解釋不是很通，后來我們明白了，對抗者知道你的模型一定是用最近期的數(shù)據(jù)訓(xùn)練的，那他在雙十一之前的兩周靜默之后，我的雙十一這一天的模型其實(shí)訓(xùn)練數(shù)據(jù)就偏了，我的模型效果就會很差，所以其實(shí)是用故意去把你的時間訓(xùn)練的數(shù)據(jù)給帶偏的方式來試圖影響和扭曲你的模型。

還有一個例子也是機(jī)器爬蟲的例子，也很有趣，因?yàn)槲覀冎v安全對抗都是一個成本之間的對抗，我們發(fā)現(xiàn)有的端口每天來很多機(jī)器流量或者來很多爬蟲，我們把它殺掉，它還是不斷的來，這個也不合理，因?yàn)樗窃诶速M(fèi)他的錢，明明每天被你殺掉，還每天都來，這不是很有經(jīng)濟(jì)效益的問題。

后來我們也發(fā)現(xiàn)了，他們其實(shí)也是在用一種非常聰明的方式污染你的模型，因?yàn)樗写罅康牡图壟老x或者說低級流量，其實(shí)還有一部分高級的，低級的是大量合在一起不停的攻擊你，他不怕低級的被你識別和殺掉，但是他知道你的模型會被大量低級爬蟲樣本的特征所帶偏，所以他實(shí)際是看中那些高級的爬蟲，達(dá)到它的目的，低級的就是給你殺的，就是給你去破壞你的模型。這是兩個不是很直觀的數(shù)據(jù)污染的例子。

再總結(jié)一下數(shù)據(jù)中毒和數(shù)據(jù)污染，其實(shí)我用這個圖來說，無論是什么樣的數(shù)據(jù)中毒和污染其實(shí)都是一個，如果左邊是我們的目標(biāo)，我們的統(tǒng)計模型或者現(xiàn)在所有機(jī)器學(xué)習(xí)的模型都是統(tǒng)計模型，其實(shí)昨天有一個嘉賓分享得很好，他說所有的機(jī)器學(xué)習(xí)模型其實(shí)都是在做最小化你的目標(biāo)函數(shù)，所有的機(jī)器學(xué)習(xí)模型都是在解一個最小化的問題，然后這個最小化問題是在你的訓(xùn)練樣本上，所以你可以想象他最后做的是一張網(wǎng)，每張網(wǎng)是訓(xùn)練樣本，但是不能保證樣本和樣本之間是沒有空檔的，所以用機(jī)器學(xué)習(xí)來做安全攻防的話，更像一張網(wǎng)，我要訓(xùn)練一張網(wǎng)去覆蓋我的正確目標(biāo)，但是數(shù)據(jù)中毒的目的就是讓你訓(xùn)練的這張網(wǎng)跑偏。 

阿里安全除了在傳統(tǒng)網(wǎng)絡(luò)安全上建立安全的防御體系，防御黑客入侵和滲透，還要建立一張網(wǎng)是防止臟數(shù)據(jù)或者數(shù)據(jù)中毒，數(shù)據(jù)污染。

我剛才舉的兩個例子其實(shí)都是機(jī)器流量的例子，我們在實(shí)際中發(fā)現(xiàn)數(shù)據(jù)污染或者數(shù)據(jù)中毒，我們叫機(jī)器流量是萬惡之源，機(jī)器流量最后會造成很多的數(shù)據(jù)中毒，比如說剛才舉的是爬蟲爬取信息的例子，還有商家的信息泄露，因?yàn)槿谓淌谡f到現(xiàn)在在爬取數(shù)據(jù)不只是爬整條的，所以爬蟲是機(jī)器流量很嚴(yán)重的問題，還有在搜索上排序刷單，這些都是用機(jī)器流量來完成目的的，所以我們要防止數(shù)據(jù)中毒或者數(shù)據(jù)污染，根治機(jī)器流量。

阿里在機(jī)器流量防控體系的建立實(shí)際主要是由三個方面組成，我待會兒會分別給大家做詳細(xì)介紹。

第一個是檢測模塊，檢測模塊聽起來不是很智能，但其實(shí)如果把整個智能系統(tǒng)比作一個人的話，檢測模塊就是眼睛，沒有眼睛的話很多事情是做不了。

第二是分類模型，分類模型是機(jī)器學(xué)習(xí)的一種在工業(yè)界最常用的模型，如果我們還是把這個比作有機(jī)體的話，分類模型就是大腦。

最后一個是輔助系統(tǒng)，因?yàn)槲易鰴C(jī)器學(xué)習(xí)已經(jīng)很久，有十幾年的歷史，在工業(yè)界來說，昨天英特爾的CTO也講到他們提供機(jī)器學(xué)習(xí)整個訓(xùn)練的線下的部分，但我的經(jīng)驗(yàn)是，模型是在有效的系統(tǒng)中占比是有效的，現(xiàn)有的已經(jīng)有效的機(jī)器學(xué)習(xí)系統(tǒng)還有兩個是非常重要需要加進(jìn)去的，一個是跟控制有關(guān)，反饋控制是一個研究的已經(jīng)很透的領(lǐng)域，但其實(shí)在實(shí)際系統(tǒng)中，反饋控制往往能起到和機(jī)器學(xué)習(xí)模型疊加組合起來能起到好效果。還有一個要注意的，其實(shí)就是在傳統(tǒng)的OR領(lǐng)域，運(yùn)籌學(xué)領(lǐng)域做的和信息系統(tǒng)結(jié)合，也能產(chǎn)生很好的效果。這是我說的輔助系統(tǒng)的這兩個重要的對機(jī)器學(xué)習(xí)系統(tǒng)的幫助。

先講檢測模塊，我剛才把檢測模塊比作整個系統(tǒng)的眼睛，這個眼睛是要滿足這四方面的要求，第一個很簡單，你必須要能判斷出你的目標(biāo)是0是1，判斷不出來就不是一個好的檢測系統(tǒng)。

第二個可能經(jīng)常被忽視，尤其是安全攻防領(lǐng)域，這個檢測是想盡量做到被攻擊者無感知的，因?yàn)樵诠シ郎?，傳統(tǒng)來講我們作為防守方，其實(shí)是有一個很大的劣勢，就是我們好像永遠(yuǎn)都站在明處，那些攻擊者都是站在暗處，他們可以不斷的來測試我們的系統(tǒng)，但是我不知道他什么時候在測試我，我完全被動，他可以隨時在暗處躲著，隨時打我一拳，隨時看到我的動作。檢測系統(tǒng)實(shí)際把剛才我說的攻防不利方面轉(zhuǎn)化了，因?yàn)槲覀冇袡z測系統(tǒng)的話，檢測系統(tǒng)如果做到對方無感知，在檢測系統(tǒng)上我們是站在暗處，他們站在明處，因?yàn)樗麤]有感知到我是在什么時間，什么點(diǎn)去做檢測的。

最后這兩個也是必須的，第一個是要檢測到未知的新攻擊，因?yàn)闄C(jī)器學(xué)習(xí)是用歷史來告訴未來，用歷史的數(shù)據(jù)來告訴你未來的行為，很容易陷入到你的特征只能表示已知的攻擊行為，而對未知的不可預(yù)測，所以這個檢測系統(tǒng)必須提取的特征是一個對所有的攻擊行為都適用。最后一個是無偏的，聽起來是非常自然的一件事，但是在實(shí)際中會有很多的陷井，如果不注意的話會把你的檢測結(jié)果帶偏。

第二部分我講的是分類模型，這個是大的分類模型框架，從輸入到輸出，可以看到輸入的信息基本上有四個方面，一個當(dāng)然你是在檢測流量是不是機(jī)器流量，所以肯定有流量的信息，第二是生態(tài)的數(shù)據(jù)，這個其實(shí)是阿里現(xiàn)在一個越來越有優(yōu)勢或者越來越有利的，因?yàn)榘⒗锏纳鷳B(tài)包括集團(tuán)、UC瀏覽器、高德、優(yōu)酷，這些都是并入到阿里的大生態(tài)中，大生態(tài)里的各個方面和數(shù)據(jù)可以做到互相的補(bǔ)充，形成一個聯(lián)動的防御機(jī)制，這是生態(tài)數(shù)據(jù)的重要方面。

第三是情報，這里主要是公開有的這些數(shù)據(jù)，但是去經(jīng)過分析，可以得到一些有價值的情報，其實(shí)安全問題本質(zhì)上是一個大數(shù)據(jù)的問題，但這個大數(shù)據(jù)問題我的觀點(diǎn)是通過小數(shù)據(jù)來解決的，撬動大數(shù)據(jù)問題的杠桿的小數(shù)據(jù)，其實(shí)就是情報。第四是專家經(jīng)驗(yàn)，因?yàn)樽蛱齑蠹以跁錾弦猜牭街v了很多知識圖譜或者知識庫，可能那些是比較新的名字，但是在工業(yè)界用就是我們要把專家經(jīng)驗(yàn)作為特征之一結(jié)合到系統(tǒng)。有了這些輸入之后，特征會用各種各樣的方法去計算各種維度的相似度的特征和提取，最后識別出來的結(jié)果可以用在離線的識別服務(wù)和在線識別服務(wù)，這就是一個模型的框架。

最后再講輔助系統(tǒng)一塊，因?yàn)槲覄偛耪f了，輔助系統(tǒng)在工業(yè)界其實(shí)是機(jī)器模型能夠合理的利用和產(chǎn)生價值的必不可少的一些部分，第一個是持續(xù)檢測，因?yàn)槿绻褭z測比作眼睛的話，如果你想整個攻防體系最后是自動化的話，一定需要持續(xù)檢測，這也是我剛才講的控制上的應(yīng)用。第二是多模型防控，機(jī)器學(xué)習(xí)模型其實(shí)最后訓(xùn)練出來的是像一張網(wǎng)，這張網(wǎng)覆蓋上會有很多洞，我怎么解決這些洞？從模型訓(xùn)練角度講你只有加更多例子，你可以理解為這個網(wǎng)的節(jié)點(diǎn)就更加多了，但這個有的時候數(shù)據(jù)是不可得的，所以多模型防控就好像用不同模型去訓(xùn)練不同網(wǎng)，我把網(wǎng)疊加起來，希望這種疊加效應(yīng)能夠?qū)ξ业恼麄€防御體系產(chǎn)生更好的攔截作用。第三是分場景防守，分場景防守也是呼應(yīng)我剛才講的，除了控制模塊，第二塊是我們要在實(shí)際中，運(yùn)籌學(xué)或者傳統(tǒng)的有條件的優(yōu)化上，其實(shí)已經(jīng)幫我們指明了很多路，他們在供應(yīng)鏈管理上已經(jīng)做得非常好，分場景防守就是在我們模型的上面加上一些系統(tǒng)，不等同于是采取分段模型，而其實(shí)是增加了一個決策系統(tǒng)，去讓模型更好的在不同場合、不同策略適應(yīng)。最后一個在實(shí)際中也是必須的，不管你采取多復(fù)雜的系統(tǒng)，用什么模型，最后是要兜底的，他們都會有可能產(chǎn)生一些不可預(yù)期的結(jié)果，所以這個系統(tǒng)現(xiàn)在不管人工智能發(fā)展得多好，還是要留一個出口，當(dāng)我一旦有一些沒有預(yù)料到的情形發(fā)生的時候，我要讓人知道這些報警，有專家去做控制。

這主要是我今天想講的內(nèi)容，其實(shí)我講的主要是三個觀點(diǎn)，第一個是由于我們有越來越多的人工智能算法和人工智能體，這些都成為安全所要保護(hù)范圍里面的重要成分之后，我們一定要警惕這些智能體被數(shù)據(jù)中毒或者數(shù)據(jù)污染，因?yàn)樗麄兌际菙?shù)據(jù)驅(qū)動。作為像阿里巴巴這樣的網(wǎng)絡(luò)公司來講，數(shù)據(jù)中毒或者數(shù)據(jù)污染的主要途徑是通過機(jī)器流量，因?yàn)檫@些智能體都是用大數(shù)據(jù)訓(xùn)練的，他要用大量的垃圾數(shù)據(jù)去污染你，這些垃圾數(shù)據(jù)不大可能是由人產(chǎn)生，一定是機(jī)器產(chǎn)生。最后我簡單的介紹了阿里安全關(guān)于防止機(jī)器行為數(shù)據(jù)中毒的清洗體系的三個組成部分。

在阿里本來有一句話說，我們要像治理酒駕一樣去打擊假貨。現(xiàn)在還要加上一句，因?yàn)槲覀儾还庖裰卫砭岂{一樣去打擊假貨，我們還要像呵護(hù)我們的孩子一樣去呵護(hù)AI系統(tǒng)，因?yàn)樗菙?shù)據(jù)驅(qū)動，你教它什么，給它什么數(shù)據(jù)，就會出現(xiàn)什么行為。這就是我今天的演講，謝謝大家。

問答環(huán)節(jié)：

雷鋒網(wǎng)：與國內(nèi)其它幾大巨頭相比，阿里的 AI 安全戰(zhàn)略有哪些特色？       

路全：主要有三點(diǎn)。

第一是阿里的安全戰(zhàn)略會緊密結(jié)合阿里的AI研究，比如我們的達(dá)摩院在視覺技術(shù)、自然語言處理等領(lǐng)域邀請了很多世界一流的科學(xué)家加入，在制訂AI相關(guān)的安全戰(zhàn)略方面，首先會考慮充分利用本身已有的技術(shù)優(yōu)勢，尤其是在人工智能方面的技術(shù)優(yōu)勢，把他們合理的利用到安全的垂直領(lǐng)域上，發(fā)揮最大的作用。

第二是阿里有豐富的生態(tài)，有利于用AI技術(shù)打造一個生態(tài)化的安全體系。阿里除了電商外，還有阿里云，也相繼收購了優(yōu)酷、UC、高德地圖、餓了么等，還有螞蟻金服，我們所擁有的生態(tài)的廣度和深度，為做AI安全提供了很多機(jī)遇和挑戰(zhàn)，因?yàn)樯鷳B(tài)足夠大，這張網(wǎng)足夠大，所以黑產(chǎn)容易在這張生態(tài)網(wǎng)中留下更多的足跡。

第三點(diǎn)是阿里要建立一個國際化的安全體系。近兩年，我們的電商和支付業(yè)務(wù)，通過并購等手段進(jìn)入了東南亞、巴西、歐洲、俄羅斯、西班牙等地區(qū)的市場，所以在安全上，也必須是一個全球性的戰(zhàn)略，比如不同的國家和地區(qū)對安全有不同的要求，這也使我們在制訂安全策略的時候，必須要有足夠的柔性和靈活性，因?yàn)槟悴辉僦皇强紤]一個國內(nèi)的市場，或者國內(nèi)的合規(guī)，你必須適應(yīng)本地化的安全需求。

雷鋒網(wǎng)：在你的演講中，提到了數(shù)據(jù)污染的兩個案例，可否以網(wǎng)絡(luò)爬蟲這個為例，結(jié)合你們具體的某項(xiàng)業(yè)務(wù)來解釋一下，這會對普通用戶和公司分別造成怎樣的后果？

路全：對消費(fèi)者而言，爬蟲造成的第一個嚴(yán)重的危害就是數(shù)據(jù)泄漏，比如可以爬到你的訂單信息，利用這個信息，騙子可以非?？斓娜〉媚愕男湃?，這是欺詐的第一步。在下一步就是你的貨可能有問題、要退款、你要打錢給我。所以，這些信息是后面所有這些欺詐的源頭。對公司來說，爬蟲可能會竊取到你的商業(yè)信息。在很多年前，沃爾瑪發(fā)現(xiàn)有人會用衛(wèi)星圖片來分析超市前面停車的數(shù)量，以此來預(yù)測財報。那現(xiàn)在電商就更方便了，黑客能知道你賣了多少貨，去了解到你公司的敏感財務(wù)信息等。

雷鋒網(wǎng)：你認(rèn)為目前在AI＋安全領(lǐng)域做的非常好的國外公司是哪家？為什么？

路全：阿里最終的競爭對手是Google、Facebook、亞馬遜這樣的全球化的公司。所以，安全領(lǐng)域的第三方公司或乙方公司提供的產(chǎn)品，對阿里這樣一個龐大的生態(tài)體來講，很多情況只能幫助我們解決一個點(diǎn)的問題。從阿里安全的角度，有這么大的生態(tài)、這么復(fù)雜的一個系統(tǒng)，整個安全體系還是以自建為主。

所以，我們會更多的關(guān)注Google、亞馬遜、Facebook等公司的安全系統(tǒng)。

對Google來說，他在安全上做得比較新，甚至很多方面它把安全整個功能和硬件結(jié)合的非常好，因?yàn)樗谡麄€系統(tǒng)底層的架構(gòu)上，包括硬件的芯片上，把安全都集中進(jìn)來了。

像Google的安全架構(gòu)，安全不再是一個軟件層，比如說它自己的深度學(xué)習(xí)芯片，都是自己研發(fā)的，在研發(fā)過程中已經(jīng)把安全功能模塊化放進(jìn)去了。所以，這一方面確實(shí)做的比較領(lǐng)先，已經(jīng)把安全打造成一個芯片級的技術(shù)能力了。

亞馬遜最大的優(yōu)勢是云安全做的很好，它對整個云安全和云上生態(tài)、對客戶的安全都是領(lǐng)先的。

Facebook是一個社交媒體屬性的網(wǎng)站，所以我們會期待它在數(shù)據(jù)安全、用戶人身安全上會有一些新的嘗試出來，今天第一個嘉賓（任奎）也介紹了一些差分隱私技術(shù)，這些技術(shù)我覺得最有可能去嘗試的就是Facebook。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。