0
雷鋒網(wǎng) AI 科技評論按：KDD 2017 的最佳應用論文是「HinDroid: An Intelligent Android Malware Detection System Based on Structured Heterogeneous Information Network」（HinDriod：基于異構(gòu)信息網(wǎng)絡(luò)的智能安卓惡意軟件檢測系統(tǒng)），這篇來自西弗吉尼亞大學計算機與電子工程學院華裔副教授 Yanfang Ye 和她的學生、同事的論文，介紹了一種基于軟件行為和深度學習的新型惡意軟件識別方法。
以下為 Yanfang Ye 老師在 KDD 2017現(xiàn)場對自己獲獎?wù)撐牡难葜v。雷鋒網(wǎng) AI 科技評論聽譯。
下面我給大家介紹一下我們的工作。很遺憾我的學生因為簽證問題來不了現(xiàn)場。
我的名字是 Yanfang Ye，大家可以叫我 Fanny。感謝主持人Jeniffer剛才的介紹，我是西維吉尼亞大學（WVU）計算機科學和電子工程學院副教授。在我加入WVU之前，我已經(jīng)在業(yè)界工作了16年。用數(shù)據(jù)發(fā)掘和機器學習進行惡意軟件的智能檢測是我的主要研究領(lǐng)域之一。
智能手機在人們的生活中得到了廣泛應用，比如社交網(wǎng)絡(luò)、在線購物和娛樂活動。隨著手機的便攜性越來越強、功能越來越多，全世界擁有智能手機的人也越來越多。安卓作為一種開源可定制的操作系統(tǒng)，目前在智能手機市場占據(jù)著重要地位，它不僅吸引了眾多開發(fā)者開發(fā)正規(guī)的應用，同樣吸引了許多攻擊者設(shè)計惡意軟件。
安卓用戶可以從谷歌應用商店或者Opera、豌豆莢這樣的第三方應用商店下載應用。多數(shù)時候用戶下載的應用都是正常的，但是也有時候會下載到惡意軟件。根據(jù)信息安全公司 Symantics 近期的一份報告顯示，每五個下載的應用中，就有一個是惡意的。
如果手機被惡意軟件感染了，它就有可能盜取你的電子賬戶中的資金，或者未經(jīng)你的允許發(fā)送短信；甚至它還可以彈出廣告，以及下載其它不需要的軟件到你的手機里；如果你的手機很不幸被勒索軟件感染了，你有可能要交一筆贖金才能解鎖手機或者救回你已經(jīng)泄露的個人隱私信息。
為了保護正規(guī)用戶不受惡意軟件的攻擊，各種防御方法里廣泛使用的是基于簽名的防御方式，但是攻擊者也有很多工具，甚至使用重新封包的方法來逃過檢測。那么我們就需要更強力、更有效的方法保護用戶。
HinDriod就是一種更有力的保護手機用戶的方法。這是我們系統(tǒng)的架構(gòu)。對于每一個封裝過的應用，不管是正常的還是惡意的，它首先會被反編譯為 Smali 代碼，這是一種對.dex文件中程序代碼的分解代碼，它完全解析出了程序?qū)ο到y(tǒng)API的調(diào)用行為，而且能夠?qū)@些調(diào)用行為之間的關(guān)系做完善的分析。
提取的特征中有兩種實體和四種關(guān)系。為了解析其中的復雜關(guān)系、得到更高層次的語義信息，我們提出了這種異構(gòu)信息網(wǎng)絡(luò) HIN 來展現(xiàn)其中的復雜關(guān)系，用一種基于元路徑的方法找到應用之間的聯(lián)系。它們之間聯(lián)系的計算方式是基于對用戶行為的相似性的。為了綜合使用不同類型的相似性，我們用多重核學習的想法構(gòu)建了一個分類網(wǎng)絡(luò)，這樣對未來遇到的任何應用也可以做出安全或者惡意的判斷。
然后接下來我對我們方法的細節(jié)做進一步介紹。
比如這個例子里是一個勒索軟件。在解壓縮和反編譯之后，我們就從 Smali 代碼中提取程序的API調(diào)用。圖中展示的就是從反編譯得到的 Smali 代碼中提取 invoke 調(diào)用。在安卓應用程序用，API被廣泛地用來提供系統(tǒng)功能和資源，所以就可以用 API 的調(diào)用情況來表征安卓應用程序行為的特點。在實驗室中，我們對它們之間的關(guān)系做了完整的分析。
我們分析出的第一種關(guān)系是，程序中的API調(diào)用是否是來自同一個包的。比如這個例子，如果程序的API調(diào)用來自同一個http的包，這就代表著它和網(wǎng)絡(luò)連接有關(guān)系；如果另一個API調(diào)用是來自 io／文件系統(tǒng)包的，那么它就和文件的讀寫有關(guān)系。
為了能夠表示這些關(guān)系，我們生成了一個 API 包矩陣P，其中的每個元素用來表示一組API調(diào)用是否來自同名的包。
我們還詳細分析了API調(diào)用是否來自同一個代碼段。在這類，我們把一個代碼段定義為“.method”和“.end method”之間的部分。這樣就可以看到，對于之前提到的這個例子，這三個同在 Smali 代碼的“l(fā)oadlibs method”代碼段中的API調(diào)用表明這個勒索軟件意圖向系統(tǒng) kernel 中寫入惡意代碼。
類似地，為了表示這樣的關(guān)系，我們生成了 API 代碼段矩陣 B，其中的每個元素用來表示一組API調(diào)用是否來自同一個代碼段。
更進一步地，我們還詳細分析了不同的API調(diào)用是否采用了相同的 invoke 方法。這就好比是看句子中的單詞是否是相同的成分。如果API調(diào)用使用的是同一種 invoke 方法，也能過為惡意軟件識別和檢測提供重要的信息。為了表示這樣的關(guān)系，我們生成了 API 調(diào)用方法矩陣 I，其中的每個元素用來表示一組API調(diào)用是否使用了同一種invoke方法。
這樣，我們就生成了四個矩陣，其中包含了兩種實體和四種關(guān)系。為了解析這樣復雜的關(guān)系，我們引入了異構(gòu)信息網(wǎng)絡(luò)HIN用于特征表征。由于它能夠分解不同的實體和關(guān)系，它已經(jīng)運用在了科學文獻解析網(wǎng)絡(luò)等多個領(lǐng)域中。
這里是對 HIN 的一張示意圖。以Facebook app為例，它使用了 API 1、API 3、API 5；Snapchat使用了 API 2、API 3、API 4。其實你可以看到，API 1和API 2存在于同一個代碼段中，這樣的代碼段很多別的應用都有，比如Pokemon；我們也可以看到，API 3和API 4很可能是屬于同一個包的；而API 6和API 7使用了同一種invoke方法。
為了在HIN網(wǎng)絡(luò)的框架內(nèi)把應用程序關(guān)聯(lián)起來，我們設(shè)計了一種基于元路徑（meta-path）的方法來關(guān)聯(lián)它們。比如這里的第二行表示Facebook app和Snapchat app分別使用了API 1和API 2，而API 1和API 2在同一個代碼段中。在建立了這樣的元路徑之后，我們用交換矩陣來表示它們。
這樣，用交換矩陣表示的元路徑可以被看作是一個個“核 kernel”。為了評價不同的核，我們還提出了一種多重核學習框架，它把p范數(shù)多重核學習的方法用在預測中，從而構(gòu)建并泛化了我們的分類模型。這樣，對于任意一個未來遇到的新應用程序，我們都可以判斷出它是良性的還是惡意的。
這就是我們的方法的主要過程?；谒岬姆椒?，我們構(gòu)建出了HIN系統(tǒng)，并基于兩個數(shù)據(jù)集對系統(tǒng)進行了演示和有效性評估。
第一個數(shù)據(jù)集是來自Comodo云安全中心的，包含了它每日收集的應用程序；其中一共有1834個訓練程序和500個測試樣本。這些測試樣本中有198個是良性的，302個是惡意的。我們的實驗一到實驗三使用的就是這個數(shù)據(jù)集。
第二個數(shù)據(jù)集中包含的樣本更多，其中包含了三萬個安卓應用程序。實驗四中使用的是這個數(shù)據(jù)集。在不同方法間對比時，我們使用了以下幾個指標。
在實驗的第一部分中，我們測試了所提方法的表現(xiàn)。可以看到，不同的元路徑方法在檢測惡意應用時有不同的表現(xiàn)，比如倒數(shù)一二三三個方法的表現(xiàn)就很好；也有一些方法表現(xiàn)不好，我們認為這可能是因為那些元路徑背后的語意沒有體現(xiàn)出惡意安卓應用程序檢測問題的復雜性。我們還嘗試了兩種拉普拉斯評分的核組合，一種選了分數(shù)最高的五種，對應的拉普拉斯評分將用作對應的元路徑權(quán)重?？梢钥吹?，相比單一的元路徑方式，核組合的方式表現(xiàn)有所提升。跟以上的無監(jiān)督元路徑選擇方法相比，可以看到我們的多重核學習方法進一步提升了惡意軟件檢測表現(xiàn)。右上角的圖是βk和F1之間的相關(guān)性；βk是多重核學習網(wǎng)絡(luò)生成的核的權(quán)重，表現(xiàn)不好的核的權(quán)重會被降低，主要留下表現(xiàn)好的核的預測值。我們也測量了實驗中的參數(shù)敏感度。
在實驗的第二部分中，我們把HinDriod與其它惡意軟件檢測方法做了對比，用到了兩個特征集。第一個特征集“original”意思是僅僅使用了原始的API調(diào)用作為輸入；第二個特征集“augmented”是說我們把所有HIN相關(guān)的實體和關(guān)系都作為特征，讓其它算法學習。從實驗結(jié)果可以看出，HinDroid 的檢測效果相比其它的基準模型有明顯提升，在 false positive 和 false positive 數(shù)目的減少上體現(xiàn)得最為明顯。我們還做了一個 T 實驗，進一步展示了我們方法的優(yōu)勢。HinDriod選用了表達能力更強的表征，所以降低了特征工程的工作量，而且也顯著提高了惡意軟件檢測的表現(xiàn)。
實驗的第三部分，我們把HinDriod和一些流行的商業(yè)移動安全軟件做了對比，比如 Lookout 和 Clean Master。HinDriod 仍然是表現(xiàn)最好的一個，我們認為這可能就是因為它新穎的高層次語意特征表征，以及特征工程方面基于多重核學習構(gòu)建的HIN網(wǎng)絡(luò)。而且，HinDriod 的檢測效率也很高。
在實驗的最后一部分中，我們展示了HinDroid在更大的、真實數(shù)據(jù)集上的有效性；其中包含了Comodo云安全中心每日收集的三萬個安卓應用程序?？梢钥吹剑琀inDriod 在標注新收集的應用時取得了令人驚嘆的高 true positive 率和低 false positive 率。我們還進一步研究了HinDriod的可拓展性，以及訓練數(shù)據(jù)集大小變化時的表現(xiàn)。
由于以上的種種魔力，HinDriod可以作為實際的方案真正在業(yè)界得到應用，而且已經(jīng)集成進了Comodo移動安全產(chǎn)品的檢測工具中。
最后，我再簡單總結(jié)一下我們的工作。與現(xiàn)有方法相比，在提取API調(diào)用之后，我們想盡地分析了它們之間的關(guān)系，并設(shè)計了HIN網(wǎng)絡(luò)來解析其中的復雜關(guān)系、運用了一種基于元路徑的方式來關(guān)聯(lián)不同的應用程序。HIN已經(jīng)在多個不同的領(lǐng)域得到了成功應用，不過這還是第一次應用在安卓惡意軟件檢測中。
總的來說，我們用了這樣的特征表征來分析安卓應用程序，這讓惡意應用更難逃過檢測。HIN第一次用在惡意應用檢測中，在這篇論文中我們提出了一種從數(shù)據(jù)進行多重核學習的方法來判斷不同元學習路徑的重要程度。對于處理基于HIN的相似性，這是一種很自然的方法，不過以我們所知這也是第一次有人嘗試。由于它的各種優(yōu)點，它也已經(jīng)用于真實業(yè)界應用中。
最后我想感謝Comodo、NFS和WVU Research的支持，尤其要感謝我的團隊和學生Shifu Hou和我的同事Yangqiu Song，以及Comodo CEO Melih。還要感謝KDD2017組委會、審稿人和主席認可我們的工作。我非常希望可以和數(shù)據(jù)科學和信息安全領(lǐng)域的研究員和業(yè)界伙伴一起合作，讓世界變得更美好。
如果你對我們的研究感興趣，我們還有一個博士生位置可供申請。如果還有什么問題歡迎聯(lián)系我，謝謝各位！
（完）
Yanfang Ye老師主頁：http://community.wvu.edu/~yaye/
雷鋒網(wǎng) AI 科技評論聽譯。
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
