0
本文作者：李勤，雷鋒網宅客頻道。
你聽過黑話嗎？
有！
天龍蓋地虎
寶塔鎮(zhèn)河妖
不不不，這句黑話已經OUT很久了。
----以下是一組分割線，上下沒有關聯----
今天（7月26日），藍蓮花(Blue-Lotus)戰(zhàn)隊組建人之一的清華教授段海新介紹了一些網絡黑產的黑話更讓人大開眼界（藍蓮花有多牛，你可以搜索一下）。
下面進入自我測試時間，如果這些黑話你都能看懂，也許你是黑產研究學八級，要么就是經歷很豐富：
菠菜
平馬二中一
丁香五月天
咕嚕咕嚕出肉
段海新靦腆地介紹了一下第一個詞，“菠菜”就是“博彩”的意思，后面三個他居然沒解釋。
好奇的雷鋒網隨便搜索了其中一個關鍵詞，顯示出如下的搜索結果，嚇得我趕緊捂上了眼睛：
裝作看不懂的樣子，繼續(xù)聽段教授講故事。
網絡黑產，無奇不有，黃賭毒尤甚。
這些黃賭毒網站為了在搜索界面搶占更有利的位置，往往會對一些權重較高的網站進行劫持，比如以edu.cn或gov.cn結尾的網站。
你只是想打開一個高校的官網或一個政府網站，一不小心就進入了不可言說的世界。
你只能感嘆一句：黑產推廣真是喪心病狂。
然而，這并不算什么。黃賭毒和詐騙類網站為了推廣自己，還會借助一種技術：蜘蛛池。
蜘蛛池就是一堆由垃圾域名組成的站群，在每個站點下都生成海量頁面（抓一堆文本內容相互組合），頁面模板與正常網頁沒多大區(qū)別。給那些未收錄的頁面，在短時間內提供大量的真實的外鏈，入口曝光多了，被抓取幾率就大，收錄率自然也就上去了，又因為是外鏈，所以在排名上也有一定的正向加分。
如果你再稍微了解一點搜索技術，說白了，就是人為制造了一張不斷變大的網，把蜘蛛困在里面，讓它不斷的爬行網內的頁面。
總而言之，就是網絡黑產不斷地用各種手段推廣自己，爭奪注意力。
為了打掉黑產網站，就要研究黑產網站的 SEO！也因此，段海新發(fā)現了伴隨黑產網站出現的是“黑產詞”：這些網站總有一些關鍵詞像“標簽”一樣地貼在自己身上。
正經的說法是：
“黑產詞”是伴隨黑產出現的產品同義詞及違法產品本身的關鍵詞的統(tǒng)稱。非法商販和買家通過協定新的詞匯表示一種產品，以此躲避監(jiān)管。
這些隱蔽的“黑產詞”通常會扭曲常用詞含義，導致“外行人”無法理解其背后的含義，上面舉例的一些即是“黑產詞”。
這里有個小插曲值得一提。
清華大學有一個優(yōu)雅的小院名為“怡春院”，曾作為校機關的辦公場所，但是，扭曲的黑產居然把這個詞變成了……額……
通過搜索引擎查詢“怡春院”這歌關鍵詞，國內外主流搜索引擎搜出來的都是成人社區(qū)（Google除外）。
他推測，也許這些搜索引擎比較真實地反映了用戶搜索的需求。
雷鋒網了解到，被推廣的“黑產詞“可以通過自動化方式檢測出來。人們在查詢某個商品時，可能會反復觸及到多個類似“黑產詞”的網站頁面，這些頁面有可能包含惡意或欺詐內容。
好消息是，利用搜索引擎查詢相關頁面，并結合相關搜索擴展查詢結果，最后采用算法可將結果融合判定是否為黑產詞，段海新和他的研究團隊做的就是這件事情（也許并不是為了報“怡春院”之仇）。
如何通過自動化手段檢測一些新的黑產黑話？
先來了解一下黑產網站是怎么推廣的。段海新介紹，比如，毒品商家找到做非法 SEO 引擎優(yōu)化的推廣商，根據產品和關鍵詞進行優(yōu)化，搜索引擎的爬蟲自動到網站上抓取內容，用戶搜索時，就有可能被指向這個毒品網站。
因此，段海新的研究團隊想出的對抗辦法是：
1.輸入兩部分數據，一部分是搜索引擎廠商提供的惡意URL列表，另一部分是從蜘蛛池推廣網站中抓取的200多萬頁面，在這些頁面中提取的關鍵詞。
2.過濾掉這些詞中的合法詞匯（白詞），然后再到搜索引擎中驗證一次，是否觸發(fā)了搜索引擎的報警。
3.利用搜索引擎廠商的相關搜索進行擴展。
最終，就能找到“正確的黑話”。
看上去，三個步驟很簡單，但是隱藏了三個復雜的問題——
1.如何提取關鍵詞？
黑產關鍵詞可能會出現在黑產網站的任何一個頁面，在嘗試很多區(qū)域后，段海新發(fā)現，明文可點擊區(qū)域的效果最明顯。
你要問了，如果黑產把黑詞放在別的地方是否可以逃避檢測？
并沒有那么容易，如果黑產想逃避檢測，帶來的副作用是， 搜索引擎的爬蟲也無法搜索到這些關鍵詞。
2.如何過濾白詞？
用自然語言理解的方法非常困難，但段海新的團隊發(fā)現了一個簡單的方法：很多詞都是從新聞熱點中抓取過來，而這些新聞標題比較長，所以我們就把超過一定長度的新聞標題過濾掉。
3.如何判斷是白詞還是黑詞？
比如，“清華”是一個白詞，所以搜索結果比較干凈，而且搜索引擎已經把清華的頁面標注，但是搜索“菠菜”，三條以上的搜索結果標注為報警，那么，這個詞就可能有問題。
因為“相關搜索”關聯了用戶的搜索行為，用戶輸入了一個詞匯，但沒有點擊任何一個鏈接，又搜索了下一個詞匯，那么證明第一個詞匯和第二個詞匯是相關的；用戶搜索了一個關鍵詞，點擊了一個鏈接，那么證明這歌鏈接里的關鍵詞與這個搜索詞相關。
于是，段海新和研究團隊得到了 40 萬個推廣的黑產詞匯，確定其中 94%為黑詞，去掉地名等"長尾"修飾詞最終得到了 1500 個左右的核心詞，手工分成了六類，并提取了相關的域名和URL 還有 100萬－200萬個。
為了驗證這些“黑詞”是真的黑詞，他們在2個不同的搜索引擎中再次搜索新黑詞，比如，搜索“＊＊＊商人”，某歌前10頁全是與賭博相關的結果，則可以證明 SEO 的效果“非常好”，這些詞是有效的新黑詞。
拿到了黑詞之后，有什么用？
（當然是為了打掉黑產，報“怡春院”之仇咯
）
開個玩笑。
雷鋒網了解到，段海新和他的同事們做了一個厚厚的研究報告，來討論黑詞的“用處”，他也簡單介紹了幾個用途：
1.基于黑產推廣頁面留下的電話號碼，他們進行了統(tǒng)計，發(fā)現黑產電話號碼歸屬地最多的是山東，徐玉玉案件發(fā)生在山東，也許不是偶然事件。
2.他們依據這些黑詞對貼吧、論壇進行了統(tǒng)計，發(fā)現這些黑詞在貼吧和論壇普遍存在，如果將這些黑詞反饋給搜索引擎廠商，再次搜索，可以凈化搜索結果，還可以凈化論壇、網上商店。
3.利用現在擴展的黑詞，在教育類和政府類網站進行搜索，發(fā)現大量被攻破的網站。
目前，段海新的研究團隊正在與百度合作，應用其研究成果。
注：該文引用了段海新在2017網絡安全生態(tài)峰會上的部分發(fā)言，該論壇由阿里巴巴和螞蟻金服共同主辦，干貨十足。
－－寫在最后的話－－
阿里巴巴的小伙伴告訴雷鋒網，阿里也在淘寶上應用了相關對抗“黑話”的技術，在實際應用過程中，還要面對更多變得連親媽都不認識的“黑詞”
，對抗升級更可怕。
于是，雷鋒網決定，在接下來的某一期中，探討阿里到底應用了哪些“黑詞”檢測與對抗技術，敬請期待。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
