IEEE x ATEC

IEEE x ATEC科技思享會是由專業(yè)技術(shù)學會IEEE與前沿科技探索社區(qū)ATEC聯(lián)合主辦的技術(shù)沙龍。邀請行業(yè)專家學者分享前沿探索和技術(shù)實踐，助力數(shù)字化發(fā)展。

在社會數(shù)字化進程中，隨著網(wǎng)絡(luò)化、智能化服務(wù)的不斷深入，伴隨服務(wù)衍生出的各類風險不容忽視。本期分享會的主題是《網(wǎng)絡(luò)欺詐的風險與對抗》。五位嘉賓將從不同的技術(shù)領(lǐng)域和觀察視角，圍繞網(wǎng)絡(luò)欺詐場景下的風險及對抗技術(shù)展開分享。

以下是沈超教授的演講

出品人&演講嘉賓 | 沈 超

西安交通大學教授、網(wǎng)絡(luò)空間安全學院副院長

ATEC科技精英賽高級咨詢委員會專家

《網(wǎng)絡(luò)欺詐風險識別與防御的全局視角》

非常感謝IEEE和ATEC聯(lián)合舉辦的科技思享會。大家好，我是西安交通大學的沈超。我也非常榮幸能夠在這里跟大家分享我們對一些問題的看法。這個主題是《網(wǎng)絡(luò)欺詐風險識別與防御的全局視角》。

我國已將人工智能上升到國家戰(zhàn)略層面，在工業(yè)醫(yī)療領(lǐng)域都有著廣泛的應(yīng)用和市場前景。同時，金融領(lǐng)域已經(jīng)成為人工智能技術(shù)成熟落地應(yīng)用的行業(yè)之一。可以看到的是，2022年我國智慧金融市場的規(guī)模已經(jīng)超過了5000億人民幣大關(guān)。

與此同時，在互聯(lián)網(wǎng)和金融場景之下，人工智能技術(shù)面臨著巨大的安全威脅和挑戰(zhàn)。例如AI 人臉支付被欺騙，AI 偽造數(shù)據(jù)取錢等等。根據(jù)統(tǒng)計，從2017年到2021年，全球利用智能偽造等技術(shù)進行網(wǎng)絡(luò)欺詐導(dǎo)致的金融損失，累計已經(jīng)超過300億美元。其中可以觀察到利用語音、視頻等信息偽造技術(shù)進行網(wǎng)絡(luò)欺詐的案件頻發(fā)。例如，2019年偽造語音詐騙總額高達了1700萬美元。深度偽造技術(shù)以假亂真，引發(fā)了很多的爭議，而視頻合成技術(shù)也被不法分子利用，進行網(wǎng)絡(luò)詐騙。

這樣現(xiàn)象背后都是AI 技術(shù)在發(fā)展的同時，帶來的隱私和風險，尤其在互聯(lián)網(wǎng)及金融場景下的應(yīng)用更為明顯。因此，今天想跟大家也分享一下，從我的觀點來看，互聯(lián)網(wǎng)場景或者金融場景之下，AI技術(shù)面臨的安全風險和挑戰(zhàn)。

我們以這個AI 的這個流程，尤其是機器學習方法的實際應(yīng)用流程來分享。在這里我們很粗略地將它分了四個階段，包括了模型訓練、模型推斷、模型部署和模型應(yīng)用。

模型訓練階段

在模型訓練階段的風險問題是，模型很容易遭受到后門攻擊。這是模型安全風險中一個重要問題。由于缺乏時間、數(shù)據(jù)或設(shè)備等等，導(dǎo)致預(yù)訓練需要進行微調(diào)，而很多廠家都會使用公開預(yù)訓練模型。

我們需要注意到的是，共享的模型被很容易被植入后門，因為模型是來自于第三方機構(gòu)的，類似于BigML 、open ML等等。有很多技術(shù)愛好者或技術(shù)人員在這些網(wǎng)站上放出開源模型，大部分從業(yè)者會從上面下載相關(guān)模型，在這些模型的基礎(chǔ)上進行二次開發(fā)，再應(yīng)用到自己的場景當中去。而我們知道，這些模型很容易被別人植入后門。在模型的sharing 和reusing的過程之中，就會導(dǎo)致用戶被動地把有后門的模型用在系統(tǒng)里。現(xiàn)在有一些后門植入方法，即便對模型進行重新的全局訓練，也會存在相關(guān)的后門點。而且，現(xiàn)在很多模型參數(shù)很大，有些語言模型或更大廠商的模型，有上千億、甚至上萬億個參數(shù)，全局訓練需要花費相當大的人力和資源。具體來說，對于這種公開的模型，其實后門植入是比較簡單的。但是，由于很少有人會放出來一些后門的樣本數(shù)據(jù)，所以測試數(shù)據(jù)集非常少。并且應(yīng)用場景很廣泛。導(dǎo)致現(xiàn)在去尋找這樣的后門是非常困難的。

我們團隊曾做過一個研究，就是我們下載了這個領(lǐng)域當中最popular的前500個模型，這些模型下載量都很大，有的一個月的下載量能上好幾十萬。在這樣的模型之上，我們利用自己開發(fā)的工具進行后門檢測，發(fā)現(xiàn)大量的公開模型存在很多后門點，或者說有很多容易被攻擊者利用的后門場景。因此，這種后門的植入手段引發(fā)的風險是很大的。而且，后門檢測的限制條件很多，很多后門的植入方法是很明顯的，很容易看出來他對原始圖片是有修改的。

我們團隊自己在做相關(guān)的研究，很多比較前沿的后門的植入趨勢是讓后門變得更加自然，更加不突兀、即像素級的后門修改，這樣的后門很難檢測。植入后門很簡單，我可以在上億個神經(jīng)元之中放置后門的選擇點，但是我想把它找出來卻是一件很難的事。觸發(fā)器在哪里、什么樣的、什么效果，你并不知道，而且測試集驗證集也很少，很難去觸發(fā)一些觸發(fā)器的特征或者一些標注，使得后門的檢測面臨著很大的挑戰(zhàn)。但是，這種模型的應(yīng)用點是非常多的。這樣的威脅如果存在于模型之中，而且沒有被你發(fā)現(xiàn)的話，可能會帶來相當嚴重的后果。

其實，后門植入過程也比較簡單，首先是后門的配置。比如我們在 “5”的圖片上增加一個框體，我們將這樣的一個框體作為它的后門的觸發(fā)點。我們在訓練的時候，把“5”和框體配在一起，再給它標簽給成“4”。在做神經(jīng)網(wǎng)絡(luò)訓練的時候，這樣一個樣本會被神經(jīng)網(wǎng)絡(luò)訓練成“4”，那做識別的時候，如果模型看到這樣一個“5”，模型就觸發(fā)給出“4”的結(jié)果。這就完成了一個后門輸入的過程。所以，我們可以看到后門植入過程是非常簡單的（你要做點壞事情是很容易的）。隨著后門植入相關(guān)攻擊領(lǐng)域的發(fā)展，有一些后門植入的新的概念和方法出來。我們的團隊的研究方向，是讓后門植入更加隱蔽。

以人臉識別為例，人臉識別的過程是從原始輸入到人臉檢測、到區(qū)域識別、到特征提取，再把人臉特征拿出來之后再存入到特征庫里面，就完成了人臉訓練集數(shù)據(jù)的寫入。他在特征在這個識別的時候，我們拿一張新的照片出來，把這個人臉摳出來，然后提取他這個特征，再和特征庫中的特征進行匹配，如果合適的話，就完成人臉識別。我們可以關(guān)注到原先的后門植入方法都是在原圖上進行像素級的修改，但是現(xiàn)在，因為我們可以很容易地將“在原圖上修改的后門”識別出來，如果我們再下沉一步，把這兩個后門放在特征提取網(wǎng)絡(luò)上。如果在特征提取環(huán)節(jié)進行后門的改寫，或者說后門植入的話，那在原始圖片上就很少有修改了，這樣的過程導(dǎo)致后門的提取、后門的檢測變得異常的困難。我們做了很多的實驗，我們發(fā)現(xiàn)在物理場景之中，基于特征后門攻擊的方式，對當前所有的后門特征檢測的方法都是有效的，而成功率是極高的。

除了這個后門的植入過程，我們還要關(guān)注后門檢測的環(huán)節(jié)。當前的這個學術(shù)領(lǐng)域及工業(yè)界，包括我們自己關(guān)注的后門檢測環(huán)節(jié)主要三類：第一是攝動輸入聚類分析、第二是隱層輸出軌跡分析、第三是智能模型參數(shù)分析。我們可以看到，大家關(guān)注的環(huán)節(jié)分別對應(yīng)著模型部署、集成和模型推斷。

你關(guān)注這樣的環(huán)節(jié)，就意味著我們會將后門檢測方法分為三類：一類是白盒的、一類是灰盒的、一類是純黑盒的。所謂白盒，就是大部分模型參數(shù)分析會放在模型部署環(huán)節(jié)之中，相當于從逆向來看，從輸出推導(dǎo)到輸入，追蹤這樣有后門的輸出，對應(yīng)輸入是什么是什么情況。但是，這樣的方法需要對模型進行一個白盒的寫入，就是你要知道模型的所有的細節(jié)。再往上的話就是在模型集成環(huán)節(jié)做隱層的輸出，隱層輸出在中間層。我們追蹤當前的歷史樣本的輸入，從輸入來看當前的輸出是什么效果。然后再往上的話，就是純黑盒，從大量的輸入來推斷相關(guān)的后門是否存在，意味著你在輸入階段需要有大量的后門樣本。因此，前期的樣本收集和評價非常關(guān)鍵。

此外，我們還想提一個模型訓練階段的延伸風險，這是跟后門有點關(guān)系，但是是從另一個側(cè)面來看這個問題的。我們知道在訓練環(huán)節(jié)會發(fā)現(xiàn)很多細節(jié)和問題點，但這些問題都存在很強的隱蔽性，很容易導(dǎo)致時間和資源浪費。因為模型訓練的過程中，我們大部分的人如果碰到了模型訓練的問題，第一個反應(yīng)是，我重新跑一遍。但是，訓練一個大規(guī)模的深度學習模型，往往會花費很長的時間，模型訓練問題的解決非常重要，而不是把這個模型直接重新跑一遍，導(dǎo)致時間資源的極度浪費。

我們觀察到這個問題之后，想讓這個偶發(fā)性的問題要得以解決。因此，我們想做一個關(guān)于訓練問題的自動化檢測和修復(fù)的手段，在模型訓練遇到問題時，不必簡單粗暴地重新訓練。對模型深度學習訓練狀態(tài)進行實時監(jiān)控，對訓練狀態(tài)引發(fā)的潛在風險進行檢測，并對問題進行實時修復(fù)。針對這樣的思路和解決方案，我們提出了一款基于深度學習的檢測框架。我們對全網(wǎng)就我們能看到的、最populpar 的495個模型，進行了檢測和修復(fù)的測試。我們發(fā)現(xiàn)訓練問題的檢測準確率達到百分之百，修復(fù)成功率也達到97.33%，平均準確率能提升到47%，這里的訓練問題，我們主要關(guān)注梯度消失、梯度爆炸、Dying ReLU、不穩(wěn)定收斂、緩慢收斂這5種訓練問題。

模型推斷階段

現(xiàn)在，我給大家匯報我們在模型推斷環(huán)節(jié)所產(chǎn)生的一些相關(guān)工作，說到模型推斷，不得不提到對抗樣本問題。我們都知道對抗樣本是對原始數(shù)據(jù)進行修改，然后構(gòu)造一些人類難以分辨的擾動，這樣的擾動會引起深度學習算法決策的輸出改變，它主要的目的是造成人類與深度學習模型認知的差異。最經(jīng)典的對抗樣本事例就是從大熊貓到長臂猿。但是我們需要注意到的是，這樣的擾動肯定不是隨機的擾動，它一定是一個精心設(shè)計的擾動。從這樣的擾動出發(fā)，我們可以欺騙出相應(yīng)的機器學習模型。我們可以發(fā)現(xiàn)，這樣的對抗攻擊方式目前對人臉識別的支付，AI金融的產(chǎn)業(yè)也造成了一定的威脅和挑戰(zhàn)。

智能算法的對抗攻擊現(xiàn)在面臨著很多復(fù)雜多變的不確定的場景，導(dǎo)致當前的這種攻擊成功率并不高、隱蔽性差等問題。我們現(xiàn)在的一個主要思路，是可以利用模型的可解釋性，獲取樣本的關(guān)鍵區(qū)域，并對這種可解釋性關(guān)鍵區(qū)域提出基于模型可解釋性感知圖的對抗攻擊，用這樣的方法在一定程度上來遏制對抗攻擊對于部分識別和智能感知場景造成的影響。此外，我們針對對抗環(huán)境中算法的多樣性，和信息獲取的完整性，可以利用平移空間的對抗樣本的通用和可轉(zhuǎn)接性進行激勵。然后設(shè)計相關(guān)的敏感頻帶定位方法，以此在一定程度上對對抗擾動進行緩解和遏制。

在對抗防御的方面，我們會利用多層級領(lǐng)域分布探索機制，并基于自蒸餾的動態(tài)軟標簽預(yù)測機制，和自監(jiān)督的動態(tài)軟標簽對抗防御方法來防御統(tǒng)計噪聲和對抗擾動造成的負面影響。這里面有2類技術(shù)，一類是表征空間特征探索，相當于我們在表征空間中找到這種跨域的機制探索的方法，同時采用一些自蒸餾的軟標簽監(jiān)督信號，對對抗攻擊進行防御。此外，通過互斥類中正確識別樣本的非齊次特征凸擬合，探測模型決策邊界的預(yù)測歧義區(qū)域。同時，也可以利用獲得的關(guān)鍵樣本對模型進行微調(diào)，來提高受保護模型的魯棒性。

因為魯棒性也是我們這個對抗樣本研究中很關(guān)鍵的一個內(nèi)容。對抗樣本的原理，就是我們需要實現(xiàn)樣本的跨界。所以，我們要在這樣的情形之下，對關(guān)鍵樣本進行對抗微調(diào)，以使得這種決策邊界具有更好的魯棒性，更好地提高防御效果。

在模型推斷階段，我們還想提一下深度偽造的安全問題。因為深度偽造安全問題，現(xiàn)在的這種場景很多，給身份欺詐，金融欺詐等帶來各種各樣的風險。深度偽造技術(shù)也可以對人臉、物體、場景的合成，人臉屬性編輯、表情操控等方面有一些明顯的影響。

在人工智能對抗場景之下，偽造內(nèi)容的檢測迅速發(fā)展，對個人風險、企業(yè)風險、國家風險都會引發(fā)負面的效應(yīng)。如在現(xiàn)實場景之中，AI 偽造語音的欺騙，AI 偽造視頻的詐騙，還包括AI 偽造身份欺詐等等。具體來說，深度偽造技術(shù)分兩類，一個是基于圖像的深度偽造，一個基于視頻的深度偽造基于圖像的深度偽造技術(shù)，又包括基于傳統(tǒng)的機器學習方法，基于CNN的信號偽造檢測的方法，還包括基于視頻連續(xù)性的，基于GAN特征的檢測方法?；谝曨l的深度偽造方法，還包括基于視頻連續(xù)性差異的方法、基于多幀物理級的方法，基于多幀行為差異的方法。

總體來看，深度偽造的檢測技術(shù)是比較迥異的，而且缺乏統(tǒng)一的評估標準。因此，為了實現(xiàn)高效率，高精度的偽造檢測，我們采用了單幀、關(guān)鍵幀的檢測方法，來對這種多類的方法進行比對。我們可以看到，這種關(guān)鍵幀的檢測、多幀輸入的模型檢測設(shè)計，是這中間的核心問題。從當前的結(jié)果來看，檢測精度不下降的前提下，我們的效率可以提升10%以上。

我們對現(xiàn)有的檢測方法做了一個總結(jié)，我們可以看到現(xiàn)有的深度偽造檢測方法各異，缺乏在統(tǒng)一數(shù)據(jù)集上進行公平的對比，檢測能力評測指標單一且不完善，缺乏對性能指標的一些評價。因此，在這樣的一個基礎(chǔ)之上，我們構(gòu)建了這個深度偽造的檢測評估基準，包括了十多種主流的深度偽造檢測方法，還有包括7個主流的深度偽造數(shù)據(jù)集。但是，我們發(fā)現(xiàn)在人眼感知與算法感知困難的偽造基準數(shù)據(jù)集上，效果差、實用性差。

我們目前集成了多個主流的數(shù)據(jù)集、多種算法對檢測方法進行了一個全方位的整合，構(gòu)建了這種深度偽造基準的數(shù)據(jù)集。以深度偽造、精準化的評估方法，形成了深度偽造檢測的欺詐風險識別系統(tǒng)。然后，這個系統(tǒng)當時包含了多種數(shù)據(jù)集、多檢測算法，多生成質(zhì)量評價，與多檢測算法，還有包括相關(guān)的標準以及能力的評估等。

我們希望能夠通過這樣的手段和方式，在一定程度上，來降低深度偽造所造成帶來的安全風險。

模型部署練階段

接下來我們大家匯報一下，在我們部署環(huán)節(jié)，我們可能遇到的安全風險。模型部署階段，我們面臨AI模型可解釋的問題，即決策結(jié)果難以解釋、存在安全欺詐風險的問題。具體來講，AI模型對預(yù)測結(jié)果很難解釋得清，這導(dǎo)致了互聯(lián)網(wǎng)場景下安全欺詐風險的產(chǎn)生。比如對狼的圖片，我們利用模型梯度信息進行可視化后，可以發(fā)現(xiàn)相關(guān)的結(jié)果是在于：模型將帶有雪地背景的圖都識別成了狼。這證明該模型推斷過程存在很大的問題，不具備很好的可解釋性。

針對這樣的問題，在模型可解釋性項目方法研究中，我們研究了輸入樣本各部分對這個決策的重要影響，提出了從輸出到輸入的特征歸因的方法，在特征歸因的情況下，觀察每個輸出決策部分，對應(yīng)樣本的輸入特征是什么？然后把這樣一個對應(yīng)映射關(guān)系從一定程度上作為模型可解釋性的一個度量方法。

其次，還有一些特征可視化的方法，那就是從輸入到輸出了。我們在這里通過神經(jīng)元學習到的特征進行可視化的展示，從輸入到輸出進行特征到輸出結(jié)果的一個映射。這樣的方式也可以作為一個將模型的梯隊信息進行可視化，然后用這樣的可視化圖做一定的解釋。

模型應(yīng)用階段

最后是AI應(yīng)用階段的安全風險。在模型應(yīng)用階段，我們可以看到AI框架被大量廣泛地使用。因為框架都是極其基礎(chǔ)的。不管國內(nèi)還是國外的，現(xiàn)在有很多企業(yè)都有比較成型的框架。代碼都是由這個程序員去寫的，海量代碼一定存在安全隱患，因為人是最不穩(wěn)定因素之一。我們在開發(fā)任何框架之前都會依賴庫。再往上層，有一些深度學習的框架，然后比較典型的有Torch，TensorFlow 等等，再上層才是用戶的層面，有Program Logic、用戶的數(shù)據(jù)、模型等等。我們前一陣子做了一個深度檢測分析，有人會寫一些package。但是我們對于package 進行一個深入分析之后，會發(fā)現(xiàn)存在很多漏洞。比如一些漏洞的潛在威脅在于heap overflow堆棧溢出，還有crash、DOS拒絕服務(wù)等等問題，可能會導(dǎo)致整個機器學習系統(tǒng)的崩潰，所以在機器學習實現(xiàn)過程中的安全風險，還蠻大的。我們希望能引起大家的重視。

所以，針對深度學習框架多后端安全代碼實現(xiàn)安全分析，我們也開發(fā)了相關(guān)的工具。從傳統(tǒng)的模糊測試到人工智能可信的角度出發(fā)，提出了基于模糊測試、遺傳算法、 感知增強、脆弱性問題到評估反饋等一系列執(zhí)行手段，這里的關(guān)鍵問題在于脆弱性檢測和安全隱患定位。脆弱性檢測在于研究如何改進現(xiàn)有的分析方法，來增強相關(guān)的這種發(fā)掘能力。安全隱患定位是從已有的情況出發(fā)，發(fā)現(xiàn)導(dǎo)致這個當前風險的模塊和函數(shù)在哪里。

基于這樣的一個思路，我們開發(fā)基于以上算法的模糊測試的深度學習框架的多后端的檢測工具，發(fā)現(xiàn)并被定位了TensorFlow,Theano等四個主流框架的，我們目前也對框架進行了擴展，現(xiàn)在支持了8個框架。相關(guān)的論文我們已經(jīng)發(fā)表了，大家感興趣的話可以去看一下。

 總  結(jié) 

在互聯(lián)網(wǎng)或金融產(chǎn)品之下的AI 模型，我們看到了今天分享的幾個階段，包括訓練階段，推斷階段、還有部署階段和應(yīng)用階段，都是可能會導(dǎo)致當前出現(xiàn)風險和安全隱患的環(huán)節(jié)。每個環(huán)節(jié)之中，都有一些相關(guān)的一種技術(shù)點或者是攻防的手段需要大家去注意。我們的目標是想能夠形成一種全周期的AI 安全風險識別與防御手段。在未來的研究工作之中，我覺得數(shù)據(jù)和機理融合是很重要的。我們知道現(xiàn)在的模型都是通過數(shù)據(jù)驅(qū)動來形成的，模型本身一定要與當前的業(yè)務(wù)場景相結(jié)合，需要對應(yīng)用場景的機理進行理解。在此基礎(chǔ)上，數(shù)據(jù)驅(qū)動和機理理解融合起來，形成網(wǎng)絡(luò)欺詐智能識別防御，才是未來的一個比較好、一個值得去做的一個方向。

OK，今天我跟大家分享就到這里，謝謝大家。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。