0
| 本文作者： 李尊 | 2016-08-09 19:10 |
導(dǎo)讀：美劇《紙牌屋》中提到——96%的互聯(lián)網(wǎng)數(shù)據(jù)無(wú)法通過(guò)標(biāo)準(zhǔn)搜索引擎訪問(wèn)，其中大部分屬于無(wú)用信息，但隱藏在表層之下的有許許多多你無(wú)法想象的內(nèi)容，包括：兒童販賣、比特幣洗錢、致幻劑、系統(tǒng)漏洞、賞金黑客等等。
對(duì)于普通人來(lái)說(shuō)，暗網(wǎng)（Darknet或Dark Web）、深網(wǎng)（Deepnet或Deep web）這兩個(gè)名詞可能從來(lái)沒有聽說(shuō)過(guò)。暗網(wǎng)（Darknet或Dark Web）是指只使用非常規(guī)協(xié)議和端口以及可信節(jié)點(diǎn)進(jìn)行連接的私有網(wǎng)絡(luò)。與其他分布式點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)不同的是，暗網(wǎng)的數(shù)據(jù)傳輸是匿名進(jìn)行的。當(dāng)今互聯(lián)網(wǎng)上的搜索服務(wù)可比喻為像在地球的海洋表面的拉起一個(gè)大網(wǎng)的搜索，巨量的表面信息固然可以通過(guò)這種方式被查找得到，可是還有相當(dāng)大量的信息由于隱藏在深處而被搜索引擎錯(cuò)失掉。絕大部分這些隱藏的信息是須通過(guò)動(dòng)態(tài)請(qǐng)求產(chǎn)生的網(wǎng)頁(yè)信息，而標(biāo)準(zhǔn)的搜索引擎卻無(wú)法對(duì)其進(jìn)行查找。傳統(tǒng)的搜索引擎“看”不到，也獲取不了這些存在于深網(wǎng)的內(nèi)容，除非通過(guò)特定的搜查這些頁(yè)面才會(huì)動(dòng)態(tài)產(chǎn)生。于是相對(duì)的，深網(wǎng)就隱藏了起來(lái)。所有暗網(wǎng)的集合組成了深網(wǎng)（Deepnet或Deep web）的一部分。據(jù)估計(jì)，深網(wǎng)要比表面網(wǎng)站大幾個(gè)數(shù)量級(jí)。
它其實(shí)與我們的網(wǎng)絡(luò)生活息息相關(guān)，特別是安全方面。讓我們先來(lái)看一個(gè)案例：
早在2015年2月，微軟在Windows操作系統(tǒng)中發(fā)現(xiàn)了一個(gè)嚴(yán)重的漏洞，該漏洞可能會(huì)導(dǎo)致惡意攻擊者遠(yuǎn)程控制目標(biāo)電腦（俗稱“肉雞”）。這個(gè)漏洞影響了大量的Windows操作系統(tǒng)（包括Vista,、7、8以及其他Windows Server服務(wù)器系統(tǒng)和Windows mobile系統(tǒng)）。
微軟馬上發(fā)布了補(bǔ)丁進(jìn)行修復(fù)，但是沒過(guò)多久這個(gè)漏洞就已經(jīng)在黑客社區(qū)傳播開了。
4月，網(wǎng)絡(luò)安全專家發(fā)現(xiàn)基于這個(gè)漏洞的exploit已經(jīng)在暗網(wǎng)（darknet）市場(chǎng)上進(jìn)行公開出售，要價(jià)在$15,000美元左右。7月，基于這個(gè)漏洞開發(fā)的惡意軟件被報(bào)告出現(xiàn)。該惡意軟件“Dyre Banking Trojan”目標(biāo)針對(duì)全世界的用戶，想從被感染的計(jì)算機(jī)上盜取用戶的信用卡相關(guān)信息。
暗網(wǎng)上某交易市場(chǎng)
這一案例恰好提供了惡意軟件從來(lái)源到發(fā)展成型的關(guān)鍵過(guò)程，在短短幾個(gè)月內(nèi)，黑客將一個(gè)漏洞變成了exploit，然后將其打包出售，再后就可以看到其變成了惡意軟件被釋放到全球的互聯(lián)網(wǎng)中。
在該案例中，微軟察覺并找出了那個(gè)漏洞，并在它被利用在惡意軟件中之前發(fā)布了一個(gè)補(bǔ)丁。但是如果惡意軟件利用的是軟件未知的漏洞，相關(guān)的開發(fā)者就必須馬上發(fā)布相應(yīng)的補(bǔ)丁（基本上是在同一天內(nèi)），所以也有個(gè)名字叫“0day攻擊”。
針對(duì)這一類型的網(wǎng)絡(luò)安全犯罪，對(duì)于網(wǎng)絡(luò)安全專家來(lái)說(shuō)關(guān)鍵的目標(biāo)是在一個(gè)漏洞被惡意軟件利用之前0day內(nèi)將它找出來(lái)。Dyre Banking Trojan的案例對(duì)于Eric Nunes以及他在Arizona State University的同事來(lái)說(shuō)，這給了他們重要的啟示。
今天他們宣布了一個(gè)新的智能采集系統(tǒng)，它能在暗網(wǎng)（dark web）和深網(wǎng)（deep net）中使用機(jī)器學(xué)習(xí)來(lái)研究黑客論壇以及他們的交易市場(chǎng)。該系統(tǒng)能搜尋潛在漏洞的線索。
他們的系統(tǒng)一開始的表現(xiàn)就十分亮眼，Nunes和他的同事提到“目前，系統(tǒng)平均每周都能找到超過(guò)305個(gè)高質(zhì)量的網(wǎng)絡(luò)威脅?！?/p>
使用深度學(xué)習(xí)的漏洞搜索引擎十分罕見，讓我們先來(lái)了解一下背景資料。那些黑客以及一些不懷好意的人一般傾向于將它們的論壇和交易市場(chǎng)在互聯(lián)網(wǎng)中隱藏起來(lái)，一般來(lái)說(shuō)有好幾種方式。第一種是依賴于廣泛使用的Tor軟件（該軟件是著名的匿名代理工具，由 開發(fā)）來(lái)掩蓋自己在互聯(lián)網(wǎng)上的行跡，防止被追蹤。這個(gè)被稱為“暗網(wǎng)（Darknet或Dark Web）”
第二種使用的是那些開放網(wǎng)絡(luò)中沒有被搜索引擎收錄的地址，這個(gè)被稱為“深網(wǎng)（Deepnet或Deep web）”，這些網(wǎng)站一般很難被找到（也很難登錄上去）。
為了監(jiān)視黑客在這兩個(gè)地方上的活動(dòng)，Nunes和他的同事開發(fā)了一個(gè)特定的爬蟲來(lái)抓取暗網(wǎng)（dark web）和深網(wǎng)（deep net）上的信息。顯然，這份工作中的關(guān)鍵步驟是給爬蟲指定的開始頁(yè)面，顯然這項(xiàng)任務(wù)必須由那些對(duì)這些暗網(wǎng)、深網(wǎng)信息十分熟悉的人來(lái)進(jìn)行。該研究小組隨機(jī)開始在暗網(wǎng)、深網(wǎng)中將與黑客行為相關(guān)的特征信息提取出來(lái)（要篩選掉那些毒品、槍支等等其他信息）。
最后，他們使用機(jī)器學(xué)習(xí)算法來(lái)檢測(cè)相關(guān)站點(diǎn)上的討論的物品和主題信息。他們使用的機(jī)器學(xué)習(xí)原理是通過(guò)手工標(biāo)記約25%的數(shù)據(jù)，表明哪些相關(guān)、哪些無(wú)關(guān)，然后該機(jī)器學(xué)習(xí)算法通過(guò)自主學(xué)習(xí)剩下的相關(guān)數(shù)據(jù)并進(jìn)行判斷。對(duì)于人類來(lái)說(shuō)需要一分鐘來(lái)標(biāo)記五個(gè)交易市場(chǎng)或者相關(guān)論壇上的兩個(gè)主題，但是讓機(jī)器學(xué)習(xí)算法來(lái)干的話這個(gè)時(shí)間可以大大縮小。
利用機(jī)器學(xué)習(xí)查找暗網(wǎng)、深網(wǎng)中信息示意圖
最后的結(jié)果相當(dāng)有趣，Nunes和他的同事提到“使用機(jī)器學(xué)習(xí)模型之后，我們能夠以相當(dāng)高的精度查探到相關(guān)交易市場(chǎng)上92%的相關(guān)信息以及論壇中80%的與惡意攻擊有關(guān)的討論信息。”
這項(xiàng)技術(shù)早已揭露了大量的惡意攻擊活動(dòng)，Nunes和他的同事提到“在過(guò)去的四個(gè)星期中，我們?cè)诮灰资袌?chǎng)數(shù)據(jù)中檢測(cè)到16個(gè)0day漏洞?！边@其中包括一個(gè)重大的安卓（Android）漏洞（它被打包約20000美元出售）以及一個(gè)IE11瀏覽器的漏洞（它被打包月約10000美元出售）。
他們同樣發(fā)現(xiàn)了使用這些論壇和交易區(qū)的黑客的行蹤，據(jù)稱有751個(gè)用戶同時(shí)出現(xiàn)在一個(gè)交易區(qū)，并且有一個(gè)賣家同時(shí)出現(xiàn)在7個(gè)交易區(qū)中，在其中一個(gè)交易區(qū)中提供超過(guò)80個(gè)惡意軟件產(chǎn)品?！霸撡u家得到的評(píng)分平均在4.7/5.0，該評(píng)分由所有與他交易過(guò)的買家評(píng)價(jià)得來(lái)，根據(jù)相關(guān)信息他在暗網(wǎng)中曾進(jìn)行超過(guò)7000次交易?！盢unes和他的同事提到。
對(duì)于打擊網(wǎng)絡(luò)犯罪來(lái)說(shuō)這是相當(dāng)關(guān)鍵的一步，目前使用該機(jī)器學(xué)習(xí)模型每周能識(shí)別超過(guò)300次網(wǎng)絡(luò)威脅，該系統(tǒng)早已吸引到相關(guān)業(yè)界公司的注意。如果他們的研究團(tuán)隊(duì)接下來(lái)能繼續(xù)在漏洞被惡意軟件利用之前0day識(shí)別出來(lái)的話，那么他們就能幫助相關(guān)的軟件開發(fā)者迅速開發(fā)出相應(yīng)的補(bǔ)丁，這對(duì)于安全專家來(lái)說(shuō)是相當(dāng)重要的幫助。
道高一尺，魔高一丈。在網(wǎng)絡(luò)安全上這最終還是會(huì)否變成一個(gè)貓鼠游戲？我們不禁思考，當(dāng)黑客們意識(shí)到他們會(huì)被機(jī)器學(xué)習(xí)算法這樣監(jiān)測(cè)之后肯定會(huì)改變他們的活動(dòng)方式，到那時(shí)機(jī)器學(xué)習(xí)算法是否還能高精度的進(jìn)行監(jiān)控識(shí)別呢？
via MIT Tech Review
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
