IEEE x ATEC

IEEE x ATEC科技思享會(huì)是由專業(yè)技術(shù)學(xué)會(huì)IEEE與前沿科技探索社區(qū)ATEC聯(lián)合主辦的技術(shù)沙龍。邀請(qǐng)行業(yè)專家學(xué)者分享前沿探索和技術(shù)實(shí)踐，助力數(shù)字化發(fā)展。

在社會(huì)數(shù)字化進(jìn)程中，隨著網(wǎng)絡(luò)化、智能化服務(wù)的不斷深入，伴隨服務(wù)衍生出的各類風(fēng)險(xiǎn)不容忽視。本期分享會(huì)的主題是《網(wǎng)絡(luò)欺詐的風(fēng)險(xiǎn)與對(duì)抗》。五位嘉賓將從不同的技術(shù)領(lǐng)域和觀察視角，圍繞網(wǎng)絡(luò)欺詐場(chǎng)景下的風(fēng)險(xiǎn)及對(duì)抗技術(shù)展開(kāi)分享。

以下是沈超教授的演講

出品人&演講嘉賓 | 沈 超

西安交通大學(xué)教授、網(wǎng)絡(luò)空間安全學(xué)院副院長(zhǎng)

ATEC科技精英賽高級(jí)咨詢委員會(huì)專家

《網(wǎng)絡(luò)欺詐風(fēng)險(xiǎn)識(shí)別與防御的全局視角》

非常感謝IEEE和ATEC聯(lián)合舉辦的科技思享會(huì)。大家好，我是西安交通大學(xué)的沈超。我也非常榮幸能夠在這里跟大家分享我們對(duì)一些問(wèn)題的看法。這個(gè)主題是《網(wǎng)絡(luò)欺詐風(fēng)險(xiǎn)識(shí)別與防御的全局視角》。

我國(guó)已將人工智能上升到國(guó)家戰(zhàn)略層面，在工業(yè)醫(yī)療領(lǐng)域都有著廣泛的應(yīng)用和市場(chǎng)前景。同時(shí)，金融領(lǐng)域已經(jīng)成為人工智能技術(shù)成熟落地應(yīng)用的行業(yè)之一。可以看到的是，2022年我國(guó)智慧金融市場(chǎng)的規(guī)模已經(jīng)超過(guò)了5000億人民幣大關(guān)。

與此同時(shí)，在互聯(lián)網(wǎng)和金融場(chǎng)景之下，人工智能技術(shù)面臨著巨大的安全威脅和挑戰(zhàn)。例如AI 人臉支付被欺騙，AI 偽造數(shù)據(jù)取錢(qián)等等。根據(jù)統(tǒng)計(jì)，從2017年到2021年，全球利用智能偽造等技術(shù)進(jìn)行網(wǎng)絡(luò)欺詐導(dǎo)致的金融損失，累計(jì)已經(jīng)超過(guò)300億美元。其中可以觀察到利用語(yǔ)音、視頻等信息偽造技術(shù)進(jìn)行網(wǎng)絡(luò)欺詐的案件頻發(fā)。例如，2019年偽造語(yǔ)音詐騙總額高達(dá)了1700萬(wàn)美元。深度偽造技術(shù)以假亂真，引發(fā)了很多的爭(zhēng)議，而視頻合成技術(shù)也被不法分子利用，進(jìn)行網(wǎng)絡(luò)詐騙。

這樣現(xiàn)象背后都是AI 技術(shù)在發(fā)展的同時(shí)，帶來(lái)的隱私和風(fēng)險(xiǎn)，尤其在互聯(lián)網(wǎng)及金融場(chǎng)景下的應(yīng)用更為明顯。因此，今天想跟大家也分享一下，從我的觀點(diǎn)來(lái)看，互聯(lián)網(wǎng)場(chǎng)景或者金融場(chǎng)景之下，AI技術(shù)面臨的安全風(fēng)險(xiǎn)和挑戰(zhàn)。

我們以這個(gè)AI 的這個(gè)流程，尤其是機(jī)器學(xué)習(xí)方法的實(shí)際應(yīng)用流程來(lái)分享。在這里我們很粗略地將它分了四個(gè)階段，包括了模型訓(xùn)練、模型推斷、模型部署和模型應(yīng)用。

模型訓(xùn)練階段

在模型訓(xùn)練階段的風(fēng)險(xiǎn)問(wèn)題是，模型很容易遭受到后門(mén)攻擊。這是模型安全風(fēng)險(xiǎn)中一個(gè)重要問(wèn)題。由于缺乏時(shí)間、數(shù)據(jù)或設(shè)備等等，導(dǎo)致預(yù)訓(xùn)練需要進(jìn)行微調(diào)，而很多廠家都會(huì)使用公開(kāi)預(yù)訓(xùn)練模型。

我們需要注意到的是，共享的模型被很容易被植入后門(mén)，因?yàn)槟Ｐ褪莵?lái)自于第三方機(jī)構(gòu)的，類似于BigML 、open ML等等。有很多技術(shù)愛(ài)好者或技術(shù)人員在這些網(wǎng)站上放出開(kāi)源模型，大部分從業(yè)者會(huì)從上面下載相關(guān)模型，在這些模型的基礎(chǔ)上進(jìn)行二次開(kāi)發(fā)，再應(yīng)用到自己的場(chǎng)景當(dāng)中去。而我們知道，這些模型很容易被別人植入后門(mén)。在模型的sharing 和reusing的過(guò)程之中，就會(huì)導(dǎo)致用戶被動(dòng)地把有后門(mén)的模型用在系統(tǒng)里?，F(xiàn)在有一些后門(mén)植入方法，即便對(duì)模型進(jìn)行重新的全局訓(xùn)練，也會(huì)存在相關(guān)的后門(mén)點(diǎn)。而且，現(xiàn)在很多模型參數(shù)很大，有些語(yǔ)言模型或更大廠商的模型，有上千億、甚至上萬(wàn)億個(gè)參數(shù)，全局訓(xùn)練需要花費(fèi)相當(dāng)大的人力和資源。具體來(lái)說(shuō)，對(duì)于這種公開(kāi)的模型，其實(shí)后門(mén)植入是比較簡(jiǎn)單的。但是，由于很少有人會(huì)放出來(lái)一些后門(mén)的樣本數(shù)據(jù)，所以測(cè)試數(shù)據(jù)集非常少。并且應(yīng)用場(chǎng)景很廣泛。導(dǎo)致現(xiàn)在去尋找這樣的后門(mén)是非常困難的。

我們團(tuán)隊(duì)曾做過(guò)一個(gè)研究，就是我們下載了這個(gè)領(lǐng)域當(dāng)中最popular的前500個(gè)模型，這些模型下載量都很大，有的一個(gè)月的下載量能上好幾十萬(wàn)。在這樣的模型之上，我們利用自己開(kāi)發(fā)的工具進(jìn)行后門(mén)檢測(cè)，發(fā)現(xiàn)大量的公開(kāi)模型存在很多后門(mén)點(diǎn)，或者說(shuō)有很多容易被攻擊者利用的后門(mén)場(chǎng)景。因此，這種后門(mén)的植入手段引發(fā)的風(fēng)險(xiǎn)是很大的。而且，后門(mén)檢測(cè)的限制條件很多，很多后門(mén)的植入方法是很明顯的，很容易看出來(lái)他對(duì)原始圖片是有修改的。

我們團(tuán)隊(duì)自己在做相關(guān)的研究，很多比較前沿的后門(mén)的植入趨勢(shì)是讓后門(mén)變得更加自然，更加不突兀、即像素級(jí)的后門(mén)修改，這樣的后門(mén)很難檢測(cè)。植入后門(mén)很簡(jiǎn)單，我可以在上億個(gè)神經(jīng)元之中放置后門(mén)的選擇點(diǎn)，但是我想把它找出來(lái)卻是一件很難的事。觸發(fā)器在哪里、什么樣的、什么效果，你并不知道，而且測(cè)試集驗(yàn)證集也很少，很難去觸發(fā)一些觸發(fā)器的特征或者一些標(biāo)注，使得后門(mén)的檢測(cè)面臨著很大的挑戰(zhàn)。但是，這種模型的應(yīng)用點(diǎn)是非常多的。這樣的威脅如果存在于模型之中，而且沒(méi)有被你發(fā)現(xiàn)的話，可能會(huì)帶來(lái)相當(dāng)嚴(yán)重的后果。

其實(shí)，后門(mén)植入過(guò)程也比較簡(jiǎn)單，首先是后門(mén)的配置。比如我們?cè)?“5”的圖片上增加一個(gè)框體，我們將這樣的一個(gè)框體作為它的后門(mén)的觸發(fā)點(diǎn)。我們?cè)谟?xùn)練的時(shí)候，把“5”和框體配在一起，再給它標(biāo)簽給成“4”。在做神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時(shí)候，這樣一個(gè)樣本會(huì)被神經(jīng)網(wǎng)絡(luò)訓(xùn)練成“4”，那做識(shí)別的時(shí)候，如果模型看到這樣一個(gè)“5”，模型就觸發(fā)給出“4”的結(jié)果。這就完成了一個(gè)后門(mén)輸入的過(guò)程。所以，我們可以看到后門(mén)植入過(guò)程是非常簡(jiǎn)單的（你要做點(diǎn)壞事情是很容易的）。隨著后門(mén)植入相關(guān)攻擊領(lǐng)域的發(fā)展，有一些后門(mén)植入的新的概念和方法出來(lái)。我們的團(tuán)隊(duì)的研究方向，是讓后門(mén)植入更加隱蔽。

以人臉識(shí)別為例，人臉識(shí)別的過(guò)程是從原始輸入到人臉檢測(cè)、到區(qū)域識(shí)別、到特征提取，再把人臉特征拿出來(lái)之后再存入到特征庫(kù)里面，就完成了人臉訓(xùn)練集數(shù)據(jù)的寫(xiě)入。他在特征在這個(gè)識(shí)別的時(shí)候，我們拿一張新的照片出來(lái)，把這個(gè)人臉摳出來(lái)，然后提取他這個(gè)特征，再和特征庫(kù)中的特征進(jìn)行匹配，如果合適的話，就完成人臉識(shí)別。我們可以關(guān)注到原先的后門(mén)植入方法都是在原圖上進(jìn)行像素級(jí)的修改，但是現(xiàn)在，因?yàn)槲覀兛梢院苋菀椎貙ⅰ霸谠瓐D上修改的后門(mén)”識(shí)別出來(lái)，如果我們?cè)傧鲁烈徊?，把這兩個(gè)后門(mén)放在特征提取網(wǎng)絡(luò)上。如果在特征提取環(huán)節(jié)進(jìn)行后門(mén)的改寫(xiě)，或者說(shuō)后門(mén)植入的話，那在原始圖片上就很少有修改了，這樣的過(guò)程導(dǎo)致后門(mén)的提取、后門(mén)的檢測(cè)變得異常的困難。我們做了很多的實(shí)驗(yàn)，我們發(fā)現(xiàn)在物理場(chǎng)景之中，基于特征后門(mén)攻擊的方式，對(duì)當(dāng)前所有的后門(mén)特征檢測(cè)的方法都是有效的，而成功率是極高的。

除了這個(gè)后門(mén)的植入過(guò)程，我們還要關(guān)注后門(mén)檢測(cè)的環(huán)節(jié)。當(dāng)前的這個(gè)學(xué)術(shù)領(lǐng)域及工業(yè)界，包括我們自己關(guān)注的后門(mén)檢測(cè)環(huán)節(jié)主要三類：第一是攝動(dòng)輸入聚類分析、第二是隱層輸出軌跡分析、第三是智能模型參數(shù)分析。我們可以看到，大家關(guān)注的環(huán)節(jié)分別對(duì)應(yīng)著模型部署、集成和模型推斷。

你關(guān)注這樣的環(huán)節(jié)，就意味著我們會(huì)將后門(mén)檢測(cè)方法分為三類：一類是白盒的、一類是灰盒的、一類是純黑盒的。所謂白盒，就是大部分模型參數(shù)分析會(huì)放在模型部署環(huán)節(jié)之中，相當(dāng)于從逆向來(lái)看，從輸出推導(dǎo)到輸入，追蹤這樣有后門(mén)的輸出，對(duì)應(yīng)輸入是什么是什么情況。但是，這樣的方法需要對(duì)模型進(jìn)行一個(gè)白盒的寫(xiě)入，就是你要知道模型的所有的細(xì)節(jié)。再往上的話就是在模型集成環(huán)節(jié)做隱層的輸出，隱層輸出在中間層。我們追蹤當(dāng)前的歷史樣本的輸入，從輸入來(lái)看當(dāng)前的輸出是什么效果。然后再往上的話，就是純黑盒，從大量的輸入來(lái)推斷相關(guān)的后門(mén)是否存在，意味著你在輸入階段需要有大量的后門(mén)樣本。因此，前期的樣本收集和評(píng)價(jià)非常關(guān)鍵。

此外，我們還想提一個(gè)模型訓(xùn)練階段的延伸風(fēng)險(xiǎn)，這是跟后門(mén)有點(diǎn)關(guān)系，但是是從另一個(gè)側(cè)面來(lái)看這個(gè)問(wèn)題的。我們知道在訓(xùn)練環(huán)節(jié)會(huì)發(fā)現(xiàn)很多細(xì)節(jié)和問(wèn)題點(diǎn)，但這些問(wèn)題都存在很強(qiáng)的隱蔽性，很容易導(dǎo)致時(shí)間和資源浪費(fèi)。因?yàn)槟Ｐ陀?xùn)練的過(guò)程中，我們大部分的人如果碰到了模型訓(xùn)練的問(wèn)題，第一個(gè)反應(yīng)是，我重新跑一遍。但是，訓(xùn)練一個(gè)大規(guī)模的深度學(xué)習(xí)模型，往往會(huì)花費(fèi)很長(zhǎng)的時(shí)間，模型訓(xùn)練問(wèn)題的解決非常重要，而不是把這個(gè)模型直接重新跑一遍，導(dǎo)致時(shí)間資源的極度浪費(fèi)。

我們觀察到這個(gè)問(wèn)題之后，想讓這個(gè)偶發(fā)性的問(wèn)題要得以解決。因此，我們想做一個(gè)關(guān)于訓(xùn)練問(wèn)題的自動(dòng)化檢測(cè)和修復(fù)的手段，在模型訓(xùn)練遇到問(wèn)題時(shí)，不必簡(jiǎn)單粗暴地重新訓(xùn)練。對(duì)模型深度學(xué)習(xí)訓(xùn)練狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，對(duì)訓(xùn)練狀態(tài)引發(fā)的潛在風(fēng)險(xiǎn)進(jìn)行檢測(cè)，并對(duì)問(wèn)題進(jìn)行實(shí)時(shí)修復(fù)。針對(duì)這樣的思路和解決方案，我們提出了一款基于深度學(xué)習(xí)的檢測(cè)框架。我們對(duì)全網(wǎng)就我們能看到的、最populpar 的495個(gè)模型，進(jìn)行了檢測(cè)和修復(fù)的測(cè)試。我們發(fā)現(xiàn)訓(xùn)練問(wèn)題的檢測(cè)準(zhǔn)確率達(dá)到百分之百，修復(fù)成功率也達(dá)到97.33%，平均準(zhǔn)確率能提升到47%，這里的訓(xùn)練問(wèn)題，我們主要關(guān)注梯度消失、梯度爆炸、Dying ReLU、不穩(wěn)定收斂、緩慢收斂這5種訓(xùn)練問(wèn)題。

模型推斷階段

現(xiàn)在，我給大家匯報(bào)我們?cè)谀Ｐ屯茢喹h(huán)節(jié)所產(chǎn)生的一些相關(guān)工作，說(shuō)到模型推斷，不得不提到對(duì)抗樣本問(wèn)題。我們都知道對(duì)抗樣本是對(duì)原始數(shù)據(jù)進(jìn)行修改，然后構(gòu)造一些人類難以分辨的擾動(dòng)，這樣的擾動(dòng)會(huì)引起深度學(xué)習(xí)算法決策的輸出改變，它主要的目的是造成人類與深度學(xué)習(xí)模型認(rèn)知的差異。最經(jīng)典的對(duì)抗樣本事例就是從大熊貓到長(zhǎng)臂猿。但是我們需要注意到的是，這樣的擾動(dòng)肯定不是隨機(jī)的擾動(dòng)，它一定是一個(gè)精心設(shè)計(jì)的擾動(dòng)。從這樣的擾動(dòng)出發(fā)，我們可以欺騙出相應(yīng)的機(jī)器學(xué)習(xí)模型。我們可以發(fā)現(xiàn)，這樣的對(duì)抗攻擊方式目前對(duì)人臉識(shí)別的支付，AI金融的產(chǎn)業(yè)也造成了一定的威脅和挑戰(zhàn)。

智能算法的對(duì)抗攻擊現(xiàn)在面臨著很多復(fù)雜多變的不確定的場(chǎng)景，導(dǎo)致當(dāng)前的這種攻擊成功率并不高、隱蔽性差等問(wèn)題。我們現(xiàn)在的一個(gè)主要思路，是可以利用模型的可解釋性，獲取樣本的關(guān)鍵區(qū)域，并對(duì)這種可解釋性關(guān)鍵區(qū)域提出基于模型可解釋性感知圖的對(duì)抗攻擊，用這樣的方法在一定程度上來(lái)遏制對(duì)抗攻擊對(duì)于部分識(shí)別和智能感知場(chǎng)景造成的影響。此外，我們針對(duì)對(duì)抗環(huán)境中算法的多樣性，和信息獲取的完整性，可以利用平移空間的對(duì)抗樣本的通用和可轉(zhuǎn)接性進(jìn)行激勵(lì)。然后設(shè)計(jì)相關(guān)的敏感頻帶定位方法，以此在一定程度上對(duì)對(duì)抗擾動(dòng)進(jìn)行緩解和遏制。

在對(duì)抗防御的方面，我們會(huì)利用多層級(jí)領(lǐng)域分布探索機(jī)制，并基于自蒸餾的動(dòng)態(tài)軟標(biāo)簽預(yù)測(cè)機(jī)制，和自監(jiān)督的動(dòng)態(tài)軟標(biāo)簽對(duì)抗防御方法來(lái)防御統(tǒng)計(jì)噪聲和對(duì)抗擾動(dòng)造成的負(fù)面影響。這里面有2類技術(shù)，一類是表征空間特征探索，相當(dāng)于我們?cè)诒碚骺臻g中找到這種跨域的機(jī)制探索的方法，同時(shí)采用一些自蒸餾的軟標(biāo)簽監(jiān)督信號(hào)，對(duì)對(duì)抗攻擊進(jìn)行防御。此外，通過(guò)互斥類中正確識(shí)別樣本的非齊次特征凸擬合，探測(cè)模型決策邊界的預(yù)測(cè)歧義區(qū)域。同時(shí)，也可以利用獲得的關(guān)鍵樣本對(duì)模型進(jìn)行微調(diào)，來(lái)提高受保護(hù)模型的魯棒性。

因?yàn)轸敯粜砸彩俏覀冞@個(gè)對(duì)抗樣本研究中很關(guān)鍵的一個(gè)內(nèi)容。對(duì)抗樣本的原理，就是我們需要實(shí)現(xiàn)樣本的跨界。所以，我們要在這樣的情形之下，對(duì)關(guān)鍵樣本進(jìn)行對(duì)抗微調(diào)，以使得這種決策邊界具有更好的魯棒性，更好地提高防御效果。

在模型推斷階段，我們還想提一下深度偽造的安全問(wèn)題。因?yàn)樯疃葌卧彀踩珕?wèn)題，現(xiàn)在的這種場(chǎng)景很多，給身份欺詐，金融欺詐等帶來(lái)各種各樣的風(fēng)險(xiǎn)。深度偽造技術(shù)也可以對(duì)人臉、物體、場(chǎng)景的合成，人臉屬性編輯、表情操控等方面有一些明顯的影響。

在人工智能對(duì)抗場(chǎng)景之下，偽造內(nèi)容的檢測(cè)迅速發(fā)展，對(duì)個(gè)人風(fēng)險(xiǎn)、企業(yè)風(fēng)險(xiǎn)、國(guó)家風(fēng)險(xiǎn)都會(huì)引發(fā)負(fù)面的效應(yīng)。如在現(xiàn)實(shí)場(chǎng)景之中，AI 偽造語(yǔ)音的欺騙，AI 偽造視頻的詐騙，還包括AI 偽造身份欺詐等等。具體來(lái)說(shuō)，深度偽造技術(shù)分兩類，一個(gè)是基于圖像的深度偽造，一個(gè)基于視頻的深度偽造基于圖像的深度偽造技術(shù)，又包括基于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，基于CNN的信號(hào)偽造檢測(cè)的方法，還包括基于視頻連續(xù)性的，基于GAN特征的檢測(cè)方法?；谝曨l的深度偽造方法，還包括基于視頻連續(xù)性差異的方法、基于多幀物理級(jí)的方法，基于多幀行為差異的方法。

總體來(lái)看，深度偽造的檢測(cè)技術(shù)是比較迥異的，而且缺乏統(tǒng)一的評(píng)估標(biāo)準(zhǔn)。因此，為了實(shí)現(xiàn)高效率，高精度的偽造檢測(cè)，我們采用了單幀、關(guān)鍵幀的檢測(cè)方法，來(lái)對(duì)這種多類的方法進(jìn)行比對(duì)。我們可以看到，這種關(guān)鍵幀的檢測(cè)、多幀輸入的模型檢測(cè)設(shè)計(jì)，是這中間的核心問(wèn)題。從當(dāng)前的結(jié)果來(lái)看，檢測(cè)精度不下降的前提下，我們的效率可以提升10%以上。

我們對(duì)現(xiàn)有的檢測(cè)方法做了一個(gè)總結(jié)，我們可以看到現(xiàn)有的深度偽造檢測(cè)方法各異，缺乏在統(tǒng)一數(shù)據(jù)集上進(jìn)行公平的對(duì)比，檢測(cè)能力評(píng)測(cè)指標(biāo)單一且不完善，缺乏對(duì)性能指標(biāo)的一些評(píng)價(jià)。因此，在這樣的一個(gè)基礎(chǔ)之上，我們構(gòu)建了這個(gè)深度偽造的檢測(cè)評(píng)估基準(zhǔn)，包括了十多種主流的深度偽造檢測(cè)方法，還有包括7個(gè)主流的深度偽造數(shù)據(jù)集。但是，我們發(fā)現(xiàn)在人眼感知與算法感知困難的偽造基準(zhǔn)數(shù)據(jù)集上，效果差、實(shí)用性差。

我們目前集成了多個(gè)主流的數(shù)據(jù)集、多種算法對(duì)檢測(cè)方法進(jìn)行了一個(gè)全方位的整合，構(gòu)建了這種深度偽造基準(zhǔn)的數(shù)據(jù)集。以深度偽造、精準(zhǔn)化的評(píng)估方法，形成了深度偽造檢測(cè)的欺詐風(fēng)險(xiǎn)識(shí)別系統(tǒng)。然后，這個(gè)系統(tǒng)當(dāng)時(shí)包含了多種數(shù)據(jù)集、多檢測(cè)算法，多生成質(zhì)量評(píng)價(jià)，與多檢測(cè)算法，還有包括相關(guān)的標(biāo)準(zhǔn)以及能力的評(píng)估等。

我們希望能夠通過(guò)這樣的手段和方式，在一定程度上，來(lái)降低深度偽造所造成帶來(lái)的安全風(fēng)險(xiǎn)。

模型部署練階段

接下來(lái)我們大家匯報(bào)一下，在我們部署環(huán)節(jié)，我們可能遇到的安全風(fēng)險(xiǎn)。模型部署階段，我們面臨AI模型可解釋的問(wèn)題，即決策結(jié)果難以解釋、存在安全欺詐風(fēng)險(xiǎn)的問(wèn)題。具體來(lái)講，AI模型對(duì)預(yù)測(cè)結(jié)果很難解釋得清，這導(dǎo)致了互聯(lián)網(wǎng)場(chǎng)景下安全欺詐風(fēng)險(xiǎn)的產(chǎn)生。比如對(duì)狼的圖片，我們利用模型梯度信息進(jìn)行可視化后，可以發(fā)現(xiàn)相關(guān)的結(jié)果是在于：模型將帶有雪地背景的圖都識(shí)別成了狼。這證明該模型推斷過(guò)程存在很大的問(wèn)題，不具備很好的可解釋性。

針對(duì)這樣的問(wèn)題，在模型可解釋性項(xiàng)目方法研究中，我們研究了輸入樣本各部分對(duì)這個(gè)決策的重要影響，提出了從輸出到輸入的特征歸因的方法，在特征歸因的情況下，觀察每個(gè)輸出決策部分，對(duì)應(yīng)樣本的輸入特征是什么？然后把這樣一個(gè)對(duì)應(yīng)映射關(guān)系從一定程度上作為模型可解釋性的一個(gè)度量方法。

其次，還有一些特征可視化的方法，那就是從輸入到輸出了。我們?cè)谶@里通過(guò)神經(jīng)元學(xué)習(xí)到的特征進(jìn)行可視化的展示，從輸入到輸出進(jìn)行特征到輸出結(jié)果的一個(gè)映射。這樣的方式也可以作為一個(gè)將模型的梯隊(duì)信息進(jìn)行可視化，然后用這樣的可視化圖做一定的解釋。

模型應(yīng)用階段

最后是AI應(yīng)用階段的安全風(fēng)險(xiǎn)。在模型應(yīng)用階段，我們可以看到AI框架被大量廣泛地使用。因?yàn)榭蚣芏际菢O其基礎(chǔ)的。不管國(guó)內(nèi)還是國(guó)外的，現(xiàn)在有很多企業(yè)都有比較成型的框架。代碼都是由這個(gè)程序員去寫(xiě)的，海量代碼一定存在安全隱患，因?yàn)槿耸亲畈环€(wěn)定因素之一。我們?cè)陂_(kāi)發(fā)任何框架之前都會(huì)依賴庫(kù)。再往上層，有一些深度學(xué)習(xí)的框架，然后比較典型的有Torch，TensorFlow 等等，再上層才是用戶的層面，有Program Logic、用戶的數(shù)據(jù)、模型等等。我們前一陣子做了一個(gè)深度檢測(cè)分析，有人會(huì)寫(xiě)一些package。但是我們對(duì)于package 進(jìn)行一個(gè)深入分析之后，會(huì)發(fā)現(xiàn)存在很多漏洞。比如一些漏洞的潛在威脅在于heap overflow堆棧溢出，還有crash、DOS拒絕服務(wù)等等問(wèn)題，可能會(huì)導(dǎo)致整個(gè)機(jī)器學(xué)習(xí)系統(tǒng)的崩潰，所以在機(jī)器學(xué)習(xí)實(shí)現(xiàn)過(guò)程中的安全風(fēng)險(xiǎn)，還蠻大的。我們希望能引起大家的重視。

所以，針對(duì)深度學(xué)習(xí)框架多后端安全代碼實(shí)現(xiàn)安全分析，我們也開(kāi)發(fā)了相關(guān)的工具。從傳統(tǒng)的模糊測(cè)試到人工智能可信的角度出發(fā)，提出了基于模糊測(cè)試、遺傳算法、 感知增強(qiáng)、脆弱性問(wèn)題到評(píng)估反饋等一系列執(zhí)行手段，這里的關(guān)鍵問(wèn)題在于脆弱性檢測(cè)和安全隱患定位。脆弱性檢測(cè)在于研究如何改進(jìn)現(xiàn)有的分析方法，來(lái)增強(qiáng)相關(guān)的這種發(fā)掘能力。安全隱患定位是從已有的情況出發(fā)，發(fā)現(xiàn)導(dǎo)致這個(gè)當(dāng)前風(fēng)險(xiǎn)的模塊和函數(shù)在哪里。

基于這樣的一個(gè)思路，我們開(kāi)發(fā)基于以上算法的模糊測(cè)試的深度學(xué)習(xí)框架的多后端的檢測(cè)工具，發(fā)現(xiàn)并被定位了TensorFlow,Theano等四個(gè)主流框架的，我們目前也對(duì)框架進(jìn)行了擴(kuò)展，現(xiàn)在支持了8個(gè)框架。相關(guān)的論文我們已經(jīng)發(fā)表了，大家感興趣的話可以去看一下。

 總  結(jié) 

在互聯(lián)網(wǎng)或金融產(chǎn)品之下的AI 模型，我們看到了今天分享的幾個(gè)階段，包括訓(xùn)練階段，推斷階段、還有部署階段和應(yīng)用階段，都是可能會(huì)導(dǎo)致當(dāng)前出現(xiàn)風(fēng)險(xiǎn)和安全隱患的環(huán)節(jié)。每個(gè)環(huán)節(jié)之中，都有一些相關(guān)的一種技術(shù)點(diǎn)或者是攻防的手段需要大家去注意。我們的目標(biāo)是想能夠形成一種全周期的AI 安全風(fēng)險(xiǎn)識(shí)別與防御手段。在未來(lái)的研究工作之中，我覺(jué)得數(shù)據(jù)和機(jī)理融合是很重要的。我們知道現(xiàn)在的模型都是通過(guò)數(shù)據(jù)驅(qū)動(dòng)來(lái)形成的，模型本身一定要與當(dāng)前的業(yè)務(wù)場(chǎng)景相結(jié)合，需要對(duì)應(yīng)用場(chǎng)景的機(jī)理進(jìn)行理解。在此基礎(chǔ)上，數(shù)據(jù)驅(qū)動(dòng)和機(jī)理理解融合起來(lái)，形成網(wǎng)絡(luò)欺詐智能識(shí)別防御，才是未來(lái)的一個(gè)比較好、一個(gè)值得去做的一個(gè)方向。

OK，今天我跟大家分享就到這里，謝謝大家。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。