0
雷鋒網(wǎng) AI 科技評(píng)論按：KDD 2017 的最佳應(yīng)用論文是「HinDroid: An Intelligent Android Malware Detection System Based on Structured Heterogeneous Information Network」（HinDriod：基于異構(gòu)信息網(wǎng)絡(luò)的智能安卓惡意軟件檢測(cè)系統(tǒng)），這篇來(lái)自西弗吉尼亞大學(xué)計(jì)算機(jī)與電子工程學(xué)院華裔副教授 Yanfang Ye 和她的學(xué)生、同事的論文，介紹了一種基于軟件行為和深度學(xué)習(xí)的新型惡意軟件識(shí)別方法。
以下為 Yanfang Ye 老師在 KDD 2017現(xiàn)場(chǎng)對(duì)自己獲獎(jiǎng)?wù)撐牡难葜v。雷鋒網(wǎng) AI 科技評(píng)論聽譯。
下面我給大家介紹一下我們的工作。很遺憾我的學(xué)生因?yàn)楹炞C問題來(lái)不了現(xiàn)場(chǎng)。
我的名字是 Yanfang Ye，大家可以叫我 Fanny。感謝主持人Jeniffer剛才的介紹，我是西維吉尼亞大學(xué)（WVU）計(jì)算機(jī)科學(xué)和電子工程學(xué)院副教授。在我加入WVU之前，我已經(jīng)在業(yè)界工作了16年。用數(shù)據(jù)發(fā)掘和機(jī)器學(xué)習(xí)進(jìn)行惡意軟件的智能檢測(cè)是我的主要研究領(lǐng)域之一。
智能手機(jī)在人們的生活中得到了廣泛應(yīng)用，比如社交網(wǎng)絡(luò)、在線購(gòu)物和娛樂活動(dòng)。隨著手機(jī)的便攜性越來(lái)越強(qiáng)、功能越來(lái)越多，全世界擁有智能手機(jī)的人也越來(lái)越多。安卓作為一種開源可定制的操作系統(tǒng)，目前在智能手機(jī)市場(chǎng)占據(jù)著重要地位，它不僅吸引了眾多開發(fā)者開發(fā)正規(guī)的應(yīng)用，同樣吸引了許多攻擊者設(shè)計(jì)惡意軟件。
安卓用戶可以從谷歌應(yīng)用商店或者Opera、豌豆莢這樣的第三方應(yīng)用商店下載應(yīng)用。多數(shù)時(shí)候用戶下載的應(yīng)用都是正常的，但是也有時(shí)候會(huì)下載到惡意軟件。根據(jù)信息安全公司 Symantics 近期的一份報(bào)告顯示，每五個(gè)下載的應(yīng)用中，就有一個(gè)是惡意的。
如果手機(jī)被惡意軟件感染了，它就有可能盜取你的電子賬戶中的資金，或者未經(jīng)你的允許發(fā)送短信；甚至它還可以彈出廣告，以及下載其它不需要的軟件到你的手機(jī)里；如果你的手機(jī)很不幸被勒索軟件感染了，你有可能要交一筆贖金才能解鎖手機(jī)或者救回你已經(jīng)泄露的個(gè)人隱私信息。
為了保護(hù)正規(guī)用戶不受惡意軟件的攻擊，各種防御方法里廣泛使用的是基于簽名的防御方式，但是攻擊者也有很多工具，甚至使用重新封包的方法來(lái)逃過檢測(cè)。那么我們就需要更強(qiáng)力、更有效的方法保護(hù)用戶。
HinDriod就是一種更有力的保護(hù)手機(jī)用戶的方法。這是我們系統(tǒng)的架構(gòu)。對(duì)于每一個(gè)封裝過的應(yīng)用，不管是正常的還是惡意的，它首先會(huì)被反編譯為 Smali 代碼，這是一種對(duì).dex文件中程序代碼的分解代碼，它完全解析出了程序?qū)ο到y(tǒng)API的調(diào)用行為，而且能夠?qū)@些調(diào)用行為之間的關(guān)系做完善的分析。
提取的特征中有兩種實(shí)體和四種關(guān)系。為了解析其中的復(fù)雜關(guān)系、得到更高層次的語(yǔ)義信息，我們提出了這種異構(gòu)信息網(wǎng)絡(luò) HIN 來(lái)展現(xiàn)其中的復(fù)雜關(guān)系，用一種基于元路徑的方法找到應(yīng)用之間的聯(lián)系。它們之間聯(lián)系的計(jì)算方式是基于對(duì)用戶行為的相似性的。為了綜合使用不同類型的相似性，我們用多重核學(xué)習(xí)的想法構(gòu)建了一個(gè)分類網(wǎng)絡(luò)，這樣對(duì)未來(lái)遇到的任何應(yīng)用也可以做出安全或者惡意的判斷。
然后接下來(lái)我對(duì)我們方法的細(xì)節(jié)做進(jìn)一步介紹。
比如這個(gè)例子里是一個(gè)勒索軟件。在解壓縮和反編譯之后，我們就從 Smali 代碼中提取程序的API調(diào)用。圖中展示的就是從反編譯得到的 Smali 代碼中提取 invoke 調(diào)用。在安卓應(yīng)用程序用，API被廣泛地用來(lái)提供系統(tǒng)功能和資源，所以就可以用 API 的調(diào)用情況來(lái)表征安卓應(yīng)用程序行為的特點(diǎn)。在實(shí)驗(yàn)室中，我們對(duì)它們之間的關(guān)系做了完整的分析。
我們分析出的第一種關(guān)系是，程序中的API調(diào)用是否是來(lái)自同一個(gè)包的。比如這個(gè)例子，如果程序的API調(diào)用來(lái)自同一個(gè)http的包，這就代表著它和網(wǎng)絡(luò)連接有關(guān)系；如果另一個(gè)API調(diào)用是來(lái)自 io／文件系統(tǒng)包的，那么它就和文件的讀寫有關(guān)系。
為了能夠表示這些關(guān)系，我們生成了一個(gè) API 包矩陣P，其中的每個(gè)元素用來(lái)表示一組API調(diào)用是否來(lái)自同名的包。
我們還詳細(xì)分析了API調(diào)用是否來(lái)自同一個(gè)代碼段。在這類，我們把一個(gè)代碼段定義為“.method”和“.end method”之間的部分。這樣就可以看到，對(duì)于之前提到的這個(gè)例子，這三個(gè)同在 Smali 代碼的“l(fā)oadlibs method”代碼段中的API調(diào)用表明這個(gè)勒索軟件意圖向系統(tǒng) kernel 中寫入惡意代碼。
類似地，為了表示這樣的關(guān)系，我們生成了 API 代碼段矩陣 B，其中的每個(gè)元素用來(lái)表示一組API調(diào)用是否來(lái)自同一個(gè)代碼段。
更進(jìn)一步地，我們還詳細(xì)分析了不同的API調(diào)用是否采用了相同的 invoke 方法。這就好比是看句子中的單詞是否是相同的成分。如果API調(diào)用使用的是同一種 invoke 方法，也能過為惡意軟件識(shí)別和檢測(cè)提供重要的信息。為了表示這樣的關(guān)系，我們生成了 API 調(diào)用方法矩陣 I，其中的每個(gè)元素用來(lái)表示一組API調(diào)用是否使用了同一種invoke方法。
這樣，我們就生成了四個(gè)矩陣，其中包含了兩種實(shí)體和四種關(guān)系。為了解析這樣復(fù)雜的關(guān)系，我們引入了異構(gòu)信息網(wǎng)絡(luò)HIN用于特征表征。由于它能夠分解不同的實(shí)體和關(guān)系，它已經(jīng)運(yùn)用在了科學(xué)文獻(xiàn)解析網(wǎng)絡(luò)等多個(gè)領(lǐng)域中。
這里是對(duì) HIN 的一張示意圖。以Facebook app為例，它使用了 API 1、API 3、API 5；Snapchat使用了 API 2、API 3、API 4。其實(shí)你可以看到，API 1和API 2存在于同一個(gè)代碼段中，這樣的代碼段很多別的應(yīng)用都有，比如Pokemon；我們也可以看到，API 3和API 4很可能是屬于同一個(gè)包的；而API 6和API 7使用了同一種invoke方法。
為了在HIN網(wǎng)絡(luò)的框架內(nèi)把應(yīng)用程序關(guān)聯(lián)起來(lái)，我們?cè)O(shè)計(jì)了一種基于元路徑（meta-path）的方法來(lái)關(guān)聯(lián)它們。比如這里的第二行表示Facebook app和Snapchat app分別使用了API 1和API 2，而API 1和API 2在同一個(gè)代碼段中。在建立了這樣的元路徑之后，我們用交換矩陣來(lái)表示它們。
這樣，用交換矩陣表示的元路徑可以被看作是一個(gè)個(gè)“核 kernel”。為了評(píng)價(jià)不同的核，我們還提出了一種多重核學(xué)習(xí)框架，它把p范數(shù)多重核學(xué)習(xí)的方法用在預(yù)測(cè)中，從而構(gòu)建并泛化了我們的分類模型。這樣，對(duì)于任意一個(gè)未來(lái)遇到的新應(yīng)用程序，我們都可以判斷出它是良性的還是惡意的。
這就是我們的方法的主要過程?；谒岬姆椒ǎ覀儤?gòu)建出了HIN系統(tǒng)，并基于兩個(gè)數(shù)據(jù)集對(duì)系統(tǒng)進(jìn)行了演示和有效性評(píng)估。
第一個(gè)數(shù)據(jù)集是來(lái)自Comodo云安全中心的，包含了它每日收集的應(yīng)用程序；其中一共有1834個(gè)訓(xùn)練程序和500個(gè)測(cè)試樣本。這些測(cè)試樣本中有198個(gè)是良性的，302個(gè)是惡意的。我們的實(shí)驗(yàn)一到實(shí)驗(yàn)三使用的就是這個(gè)數(shù)據(jù)集。
第二個(gè)數(shù)據(jù)集中包含的樣本更多，其中包含了三萬(wàn)個(gè)安卓應(yīng)用程序。實(shí)驗(yàn)四中使用的是這個(gè)數(shù)據(jù)集。在不同方法間對(duì)比時(shí)，我們使用了以下幾個(gè)指標(biāo)。
在實(shí)驗(yàn)的第一部分中，我們測(cè)試了所提方法的表現(xiàn)?？梢钥吹剑煌脑窂椒椒ㄔ跈z測(cè)惡意應(yīng)用時(shí)有不同的表現(xiàn)，比如倒數(shù)一二三三個(gè)方法的表現(xiàn)就很好；也有一些方法表現(xiàn)不好，我們認(rèn)為這可能是因?yàn)槟切┰窂奖澈蟮恼Z(yǔ)意沒有體現(xiàn)出惡意安卓應(yīng)用程序檢測(cè)問題的復(fù)雜性。我們還嘗試了兩種拉普拉斯評(píng)分的核組合，一種選了分?jǐn)?shù)最高的五種，對(duì)應(yīng)的拉普拉斯評(píng)分將用作對(duì)應(yīng)的元路徑權(quán)重?？梢钥吹剑啾葐我坏脑窂椒绞剑私M合的方式表現(xiàn)有所提升。跟以上的無(wú)監(jiān)督元路徑選擇方法相比，可以看到我們的多重核學(xué)習(xí)方法進(jìn)一步提升了惡意軟件檢測(cè)表現(xiàn)。右上角的圖是βk和F1之間的相關(guān)性；βk是多重核學(xué)習(xí)網(wǎng)絡(luò)生成的核的權(quán)重，表現(xiàn)不好的核的權(quán)重會(huì)被降低，主要留下表現(xiàn)好的核的預(yù)測(cè)值。我們也測(cè)量了實(shí)驗(yàn)中的參數(shù)敏感度。
在實(shí)驗(yàn)的第二部分中，我們把HinDriod與其它惡意軟件檢測(cè)方法做了對(duì)比，用到了兩個(gè)特征集。第一個(gè)特征集“original”意思是僅僅使用了原始的API調(diào)用作為輸入；第二個(gè)特征集“augmented”是說(shuō)我們把所有HIN相關(guān)的實(shí)體和關(guān)系都作為特征，讓其它算法學(xué)習(xí)。從實(shí)驗(yàn)結(jié)果可以看出，HinDroid 的檢測(cè)效果相比其它的基準(zhǔn)模型有明顯提升，在 false positive 和 false positive 數(shù)目的減少上體現(xiàn)得最為明顯。我們還做了一個(gè) T 實(shí)驗(yàn)，進(jìn)一步展示了我們方法的優(yōu)勢(shì)。HinDriod選用了表達(dá)能力更強(qiáng)的表征，所以降低了特征工程的工作量，而且也顯著提高了惡意軟件檢測(cè)的表現(xiàn)。
實(shí)驗(yàn)的第三部分，我們把HinDriod和一些流行的商業(yè)移動(dòng)安全軟件做了對(duì)比，比如 Lookout 和 Clean Master。HinDriod 仍然是表現(xiàn)最好的一個(gè)，我們認(rèn)為這可能就是因?yàn)樗路f的高層次語(yǔ)意特征表征，以及特征工程方面基于多重核學(xué)習(xí)構(gòu)建的HIN網(wǎng)絡(luò)。而且，HinDriod 的檢測(cè)效率也很高。
在實(shí)驗(yàn)的最后一部分中，我們展示了HinDroid在更大的、真實(shí)數(shù)據(jù)集上的有效性；其中包含了Comodo云安全中心每日收集的三萬(wàn)個(gè)安卓應(yīng)用程序?？梢钥吹?，HinDriod 在標(biāo)注新收集的應(yīng)用時(shí)取得了令人驚嘆的高 true positive 率和低 false positive 率。我們還進(jìn)一步研究了HinDriod的可拓展性，以及訓(xùn)練數(shù)據(jù)集大小變化時(shí)的表現(xiàn)。
由于以上的種種魔力，HinDriod可以作為實(shí)際的方案真正在業(yè)界得到應(yīng)用，而且已經(jīng)集成進(jìn)了Comodo移動(dòng)安全產(chǎn)品的檢測(cè)工具中。
最后，我再簡(jiǎn)單總結(jié)一下我們的工作。與現(xiàn)有方法相比，在提取API調(diào)用之后，我們想盡地分析了它們之間的關(guān)系，并設(shè)計(jì)了HIN網(wǎng)絡(luò)來(lái)解析其中的復(fù)雜關(guān)系、運(yùn)用了一種基于元路徑的方式來(lái)關(guān)聯(lián)不同的應(yīng)用程序。HIN已經(jīng)在多個(gè)不同的領(lǐng)域得到了成功應(yīng)用，不過這還是第一次應(yīng)用在安卓惡意軟件檢測(cè)中。
總的來(lái)說(shuō)，我們用了這樣的特征表征來(lái)分析安卓應(yīng)用程序，這讓惡意應(yīng)用更難逃過檢測(cè)。HIN第一次用在惡意應(yīng)用檢測(cè)中，在這篇論文中我們提出了一種從數(shù)據(jù)進(jìn)行多重核學(xué)習(xí)的方法來(lái)判斷不同元學(xué)習(xí)路徑的重要程度。對(duì)于處理基于HIN的相似性，這是一種很自然的方法，不過以我們所知這也是第一次有人嘗試。由于它的各種優(yōu)點(diǎn)，它也已經(jīng)用于真實(shí)業(yè)界應(yīng)用中。
最后我想感謝Comodo、NFS和WVU Research的支持，尤其要感謝我的團(tuán)隊(duì)和學(xué)生Shifu Hou和我的同事Yangqiu Song，以及Comodo CEO Melih。還要感謝KDD2017組委會(huì)、審稿人和主席認(rèn)可我們的工作。我非常希望可以和數(shù)據(jù)科學(xué)和信息安全領(lǐng)域的研究員和業(yè)界伙伴一起合作，讓世界變得更美好。
如果你對(duì)我們的研究感興趣，我們還有一個(gè)博士生位置可供申請(qǐng)。如果還有什么問題歡迎聯(lián)系我，謝謝各位！
（完）
Yanfang Ye老師主頁(yè)：http://community.wvu.edu/~yaye/
雷鋒網(wǎng) AI 科技評(píng)論聽譯。
相關(guān)文章：
KDD 2017獎(jiǎng)項(xiàng)全公布，華人成最大贏家
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
