0
| 本文作者： 李勤 | 2019-01-20 11:48 |
這是一個(gè)真實(shí)的故事。前幾天，我和一群小伙伴在新加坡參加了一場(chǎng)神秘的黑客大會(huì)，具體是什么大會(huì)，以后再說(shuō)。我先說(shuō)說(shuō)你們感興趣的“尋找紅燈區(qū)事件”。
我們本來(lái)純潔地打算尋找吃榴蓮的圣地，不料女導(dǎo)游神秘兮兮地介紹，新加坡有個(gè)地區(qū)叫芽籠，是個(gè)開(kāi)展合法羞羞服務(wù)的區(qū)域，就在你們吃榴蓮的地方附近哦。
蛤？貴坡還有這么不符合我們社會(huì)主義核心價(jià)值觀的地方？
車上的小伙伴頓時(shí)來(lái)了興致，強(qiáng)烈要求司機(jī)載著我們?cè)谘炕\區(qū)域晃蕩一圈。而且，一位男同學(xué)提出了一個(gè)相當(dāng)正經(jīng)的問(wèn)題：聽(tīng)說(shuō)提供這些服務(wù)的場(chǎng)所就隱藏在大街小巷里，我們?cè)趺磪^(qū)別什么樣的場(chǎng)所是紅燈區(qū)？迷路怎么辦？
女導(dǎo)游羞澀地朝著一個(gè)方向指過(guò)去：你們看，新加坡的這些街巷分成了單雙號(hào)，在這個(gè)區(qū)域，單號(hào)街道都是正經(jīng)吃喝的地方，一般紅燈區(qū)隱藏在雙號(hào)街道里哦。
【 圖片來(lái)源：新加坡眼 所有者：新加坡眼 】
為了再一次教我們辨別什么是提供特殊服務(wù)的小店，導(dǎo)游指出，一般在這些場(chǎng)所外面，會(huì)掛上兩個(gè)紅燈籠，這些燈籠會(huì)在夜晚點(diǎn)亮。
可是，這輛大巴轉(zhuǎn)了許久，我們還是沒(méi)有看到紅燈籠，不禁失望至極，導(dǎo)游安慰我們：對(duì)了，有些場(chǎng)所不掛燈籠，但有 bling bling 的霓虹燈，你們?nèi)绻谶@個(gè)區(qū)域的雙號(hào)街巷看到閃爍的五顏六色，那就八九不離十了！
我之所以想起尋找紅燈區(qū)事件，是因?yàn)?月16日，我參加了阿里安全部的一次年度媒體溝通會(huì)，AI 鑒黃被作為一個(gè)典型的安全 AI 應(yīng)用案例推出。我才發(fā)現(xiàn)，相較于肉身尋找紅燈區(qū)，AI 早就在鑒定黃賭毒上一路狂奔了。
但是，厲害如 AI 唐馬儒，竟然也面臨著安全風(fēng)險(xiǎn)。
本文作者：雷鋒網(wǎng)網(wǎng)絡(luò)安全專欄作者，李勤，微信：qinqin0511
我們來(lái)看看，發(fā)生了什么。
阿里目前有三大戰(zhàn)略領(lǐng)域：傳統(tǒng)電商、數(shù)字化娛樂(lè)和新零售，這三個(gè)領(lǐng)域都涉及到網(wǎng)絡(luò)安全，比如，原創(chuàng)內(nèi)容保護(hù)、內(nèi)容治理和網(wǎng)絡(luò)黑灰產(chǎn)對(duì)抗。
以內(nèi)容治理為例，由于淘寶體量巨大以及內(nèi)容生態(tài)越來(lái)越繁榮，淘寶的短視頻每天的觀看量差不多能達(dá)到 20 億次，這就衍生了一個(gè)問(wèn)題：如何讓內(nèi)容合法合規(guī)？
阿里安全部圖靈實(shí)驗(yàn)室高級(jí)算法專家威視（花名）告訴我，在過(guò)去一年網(wǎng)信辦接到的各種違規(guī)信息舉報(bào)中，超過(guò) 70% 的舉報(bào)涉及色情低俗，這意味著，色情低俗風(fēng)險(xiǎn)確實(shí)是各種內(nèi)容面臨的合規(guī)風(fēng)險(xiǎn)中占比最大的一種，所以，在巨大的信息中，運(yùn)用 AI 尋找黃色內(nèi)容，規(guī)避內(nèi)容風(fēng)險(xiǎn)成了一個(gè)強(qiáng)需求。
現(xiàn)在出現(xiàn)了一類不正經(jīng)的算法工程師，他們被稱為“調(diào)包俠”，雖然他們可能并不理解 AI 技術(shù)底層如何實(shí)現(xiàn)，但特別擅長(zhǎng)調(diào)包——調(diào)用別人的開(kāi)源代碼，將一些非法信息灌進(jìn)去，訓(xùn)練出一個(gè)特殊模型。這導(dǎo)致了另一個(gè)問(wèn)題——安全研究員辛辛苦苦訓(xùn)練出的 AI 唐馬儒竟然可能叛變，就像被人塞了小紅包，對(duì)黃色內(nèi)容睜一眼閉一眼。
【 圖片來(lái)源：pconline 所有者：pconline 】
更讓人擔(dān)憂的是，還有更多安全對(duì)抗在發(fā)生。
以商品信息為例，一開(kāi)始，色情低俗信息，直接寫(xiě)在商品標(biāo)題里面，比如：“看爽片XXX”，立馬能找到不可描述的東東。
安全技術(shù)專家像打地鼠一樣，敲掉了標(biāo)題里的色情低俗。現(xiàn)在一搜“看爽片”“爽片”，出來(lái)的分別是這樣的商品：
【 雷鋒網(wǎng)注：僅為搜索結(jié)果示例】
攻擊者馬上把違規(guī)信息轉(zhuǎn)移到了商品的主圖、副圖中。由于色情圖片具有較強(qiáng)的視覺(jué)可分性，圖片的鑒黃比較容易開(kāi)展，攻擊者發(fā)現(xiàn)自己被攔住之后，開(kāi)始做拼接圖，把違規(guī)信息拼在一個(gè)正常背景中，或者通過(guò)翻拍逃避檢測(cè)。
甚至，當(dāng)他們發(fā)現(xiàn)，算法對(duì)彩色圖片的識(shí)別效果好，攻擊者就用黑白圖片，后來(lái)，整張圖片容易被識(shí)別，就變成局部暴露，比如，衣服裹得嚴(yán)嚴(yán)實(shí)實(shí)的，只漏出關(guān)鍵的一點(diǎn)點(diǎn)。
或者，用美圖工具把常規(guī)照片轉(zhuǎn)換成鉛筆畫(huà)、蠟筆風(fēng)格，甚至素描，當(dāng)安全技術(shù)專家把這些問(wèn)題解決了，攻擊者又想了一個(gè)新辦法——在圖片里寫(xiě)字，開(kāi)始時(shí)，違規(guī)文字是正常的印刷體，被識(shí)別后，壞人開(kāi)始用斜體、花體字；又被識(shí)別出來(lái)后，攻擊者干脆用手寫(xiě)，還故意寫(xiě)得很潦草，不斷考驗(yàn)識(shí)別算法和人類的想象力。
當(dāng)圖片的鑒黃做得差不多時(shí)，違規(guī)信息轉(zhuǎn)戰(zhàn)到了視頻、直播里，用音頻來(lái)做。當(dāng)違規(guī)音頻也被干掉時(shí)，攻擊者更狡猾了，他們把信息拆解開(kāi)，在圖片、文本、語(yǔ)音中分散放置，變成一個(gè)典型的多模態(tài)問(wèn)題，這時(shí)需要綜合各方信息進(jìn)行判斷。
這種攻擊者不僅是調(diào)包俠，還懂得了AI技術(shù)底層的一些特點(diǎn)。他能進(jìn)行什么騷操作？
曾有一篇經(jīng)典論文指出，本來(lái)模型識(shí)別一張圖片，正常的輸出結(jié)果是一只大熊貓，但是壞人經(jīng)過(guò)一些簡(jiǎn)單運(yùn)算，比如像素級(jí)別的操作，得到一張新圖片，人眼看上去還是一只大熊貓，但是欺騙了識(shí)別模型，被模型判斷為一只長(zhǎng)臂猿。
壞人是如何做到的？
第一種情況，攻擊者知道鑒黃的算法、模型和網(wǎng)絡(luò)結(jié)構(gòu)。
威視將這種情況稱為“白盒攻擊”，這種攻擊并不復(fù)雜和困難，只要花的時(shí)間足夠長(zhǎng)，耐心嘗試密碼，攻擊者總可以打開(kāi)盒子。
第二種情況，算法使用的模型是不公開(kāi)的。
在這種黑盒攻擊下，攻擊者不斷用不同圖片調(diào)用公開(kāi)的算法接口，分析返回的結(jié)果，不斷嘗試驗(yàn)證哪些方法可以讓AI唐馬儒輸出的結(jié)果含糊不清，直到嘗試出來(lái)某一種修改能夠攻破威視等人建立的模型。
威視說(shuō)，黑盒攻擊比白盒攻擊成本高很多，這就是閉源模型好處。事實(shí)上，沒(méi)有什么模型是不可被攻破的，只是攻擊成本的高低。安全技術(shù)專家要做的，就是不斷提高攻擊門檻。
除了面對(duì)攻擊者的威脅，AI 鑒定內(nèi)容風(fēng)險(xiǎn)時(shí)還面臨天然阻礙：
一是大海撈針，違規(guī)信息可能占比不到千分之一，違規(guī)樣本和正常樣本數(shù)量呈現(xiàn)出極度的不均衡的態(tài)勢(shì)。
一是新增風(fēng)險(xiǎn)，安全場(chǎng)景面臨的新風(fēng)險(xiǎn)往往“臨時(shí)爆發(fā)”，誰(shuí)能想到，直播主進(jìn)行吃播時(shí)也可能涉黃。。。emmm，比如吃香蕉、喝酸奶等。
對(duì)AI 唐馬儒而言，深度學(xué)習(xí)算法強(qiáng)依賴高質(zhì)量的樣本，樣本的質(zhì)量越高，數(shù)量越多，鑒定效果就越好。
威視介紹，為此，他們提出了“小樣本學(xué)習(xí)（few-shot learning）”這樣的技術(shù)。這個(gè)方法主要解決兩個(gè)問(wèn)題：第一，訓(xùn)練中出現(xiàn)從來(lái)沒(méi)有見(jiàn)過(guò)的新類別，每個(gè)類別又只有很少的樣本；第二，訓(xùn)練新樣本后，不能遺忘以前的知識(shí)，不能改變已有的模型。
針對(duì)上述問(wèn)題，很多人想到用finetune（微調(diào)）的方式解決，也就是在已有模型基礎(chǔ)上，用新類別的樣本做微調(diào)訓(xùn)練。但是，已有的模型依賴很大的樣本量訓(xùn)練，比如，需要1000萬(wàn)個(gè)訓(xùn)練樣本。這時(shí)用幾十個(gè)、一百個(gè)樣本訓(xùn)練新類別，基本改變不了網(wǎng)絡(luò)。而且，這種訓(xùn)練還會(huì)遺忘以前的知識(shí)。
威視告訴我：“發(fā)現(xiàn)這條走不通后，我們考察了很多新方法，比如，度量學(xué)習(xí)（metric learning），學(xué)習(xí)類和類之間的度量，把不同的類間的距離盡可能地拉大，縮小同類之間的距離，用模式識(shí)別的話，就是增大了類間的方差，減少了類內(nèi)的方差?！?/p>
基于度量學(xué)習(xí)的思路，他們嘗試了很多方法，比如，孿生網(wǎng)絡(luò) （Siamese Neural Networks）、匹配網(wǎng)絡(luò) （matching networks）、原型網(wǎng)絡(luò) （Prototypical Networks）等。
這些方法的核心思想是，把樣本看作一個(gè)點(diǎn)，再來(lái)度量不同樣本在空間中的分布，利用算法合適地調(diào)整分布，讓新的類別在原來(lái)的樣本空間里找到合適的位置，區(qū)別原有的類別。
后來(lái)，他們還發(fā)現(xiàn)了基于圖網(wǎng)絡(luò)（graph neural network）的方法，這種放在在度量學(xué)習(xí)的基礎(chǔ)上展開(kāi)，圖網(wǎng)絡(luò)把樣本不僅看成一個(gè)點(diǎn)，它認(rèn)為，樣本和樣本之間是有關(guān)系的，用點(diǎn)和點(diǎn)之間的邊來(lái)表達(dá)，有點(diǎn)有邊就構(gòu)成一張圖。度量學(xué)習(xí)只學(xué)習(xí)了點(diǎn)的信息，圖網(wǎng)絡(luò)既學(xué)習(xí)了點(diǎn)的信息，也學(xué)習(xí)了邊的信息，這樣就構(gòu)成了網(wǎng)絡(luò)的學(xué)習(xí)，實(shí)際效果優(yōu)于度量學(xué)習(xí)。
還有一種“元學(xué)習(xí)meta learning”方法，利用以往的知識(shí)經(jīng)驗(yàn)指導(dǎo)新任務(wù)的學(xué)習(xí)。AI算法不是從0開(kāi)始構(gòu)建自己的知識(shí)體系，而是在已有的知識(shí)體系之上，快速學(xué)習(xí)新技能。
威視等人設(shè)計(jì)了一種新方法，元學(xué)習(xí)中融合了度量學(xué)習(xí)的方法，用構(gòu)成每個(gè)類的標(biāo)簽樣本的的原型來(lái)表征類，進(jìn)而通過(guò)相似度分類（KNN Classification）進(jìn)行識(shí)別。他們?cè)诙鄠€(gè)數(shù)據(jù)集上做了驗(yàn)證，結(jié)果表明，該方法比基線有不錯(cuò)的提升。
這種新方法被應(yīng)用在阿里云內(nèi)容安全的產(chǎn)品中，阿里安全部提供了一個(gè)已有模型及訓(xùn)練方法，第一線的運(yùn)營(yíng)人員發(fā)現(xiàn)可定義的新風(fēng)險(xiǎn)時(shí)，他們用幾十個(gè)或者上百個(gè)樣本，在頁(yè)面上點(diǎn)鼠標(biāo)，上傳并標(biāo)注樣本，這個(gè)模型就可以進(jìn)行一次學(xué)習(xí)。學(xué)習(xí)之后，模型對(duì)沒(méi)有學(xué)習(xí)過(guò)樣本提出結(jié)論，這時(shí)運(yùn)營(yíng)人員需要標(biāo)注算法的結(jié)果，判斷哪個(gè)做對(duì)了，哪個(gè)做錯(cuò)了。大概重復(fù)兩到三輪，模型基本可用了。
這種方法可以讓AI應(yīng)對(duì)大部分新增的風(fēng)險(xiǎn)，而且降低了對(duì)樣本的依賴性，縮短了響應(yīng)的時(shí)間 。以前，安全人員需要收集信息，打標(biāo)，訓(xùn)練模型進(jìn)行測(cè)試，周期比較長(zhǎng)的?，F(xiàn)在，這些事情都交給了第一線的業(yè)務(wù)人員，他們可以自主進(jìn)行幾輪迭代和部署，模型可能在幾個(gè)小時(shí)內(nèi)就能上線，防范新增的風(fēng)險(xiǎn)。
AI 唐馬儒要想比真的唐馬儒更厲害，還需要發(fā)揮一些想象力。
在阿里安全圖靈實(shí)驗(yàn)室的實(shí)踐中，安全人員發(fā)現(xiàn)，AI 模型擅長(zhǎng)在一些“老司機(jī)心知肚明的情況下”處理視覺(jué)可分性的任務(wù)，比如出現(xiàn)某種明顯標(biāo)志，或者出現(xiàn)了某種動(dòng)作和場(chǎng)景，但在業(yè)務(wù)的審核標(biāo)準(zhǔn)里，很多時(shí)候連人都需要“腦補(bǔ)”，AI 就面臨更艱巨的任務(wù)了，比如，在色情低俗的場(chǎng)景下，照片里并沒(méi)有呈現(xiàn)完整的違規(guī)場(chǎng)景，AI表示無(wú)能為力，但人卻可以想象畫(huà)面之外發(fā)生了什么。
【 滑雪勝地，圖片來(lái)源：百家號(hào) 所有者：Strange咖 】
即使 AI 唐馬儒成了業(yè)務(wù)相當(dāng)熟練的老司機(jī)，他可能也會(huì)忙到吐血，因?yàn)樾嘛L(fēng)險(xiǎn)實(shí)在太多了！
面對(duì)不同風(fēng)險(xiǎn)點(diǎn)，難道要每一種都做出來(lái)一個(gè)模型嗎？威視希望，設(shè)計(jì)多任務(wù)網(wǎng)絡(luò)，模型不僅可以判斷色情低俗風(fēng)險(xiǎn)，同時(shí)可以判斷廣告，還可以找人臉，多任務(wù)合并到一個(gè)網(wǎng)絡(luò)中。對(duì)于計(jì)算成本，現(xiàn)在有一種趨勢(shì)是，業(yè)界開(kāi)始做專門的AI芯片，大幅度提升計(jì)算效率，降低成本。
當(dāng)然，這些僅僅只是一類案例。說(shuō)了這么多，到底什么是“安全AI”？為什么在大家都提AI、AI安全時(shí)，阿里安全要“別出心裁”地來(lái)這么一出，并告訴大家，阿里安全要“ALL IN 安全AI”？
阿里安全研究員陸全稱：“我們阿里安全有這樣一個(gè)場(chǎng)景，把 AI 在安全場(chǎng)合進(jìn)行打磨。其實(shí)我們通過(guò) AI 應(yīng)用在安全去保護(hù)AI，通過(guò)這樣一個(gè)不斷迭代的過(guò)程，把這兩個(gè)東西形成一個(gè)整體。這個(gè)整體叫做‘安全AI’，它可以自我進(jìn)化。”
進(jìn)化的結(jié)果是，他們想培養(yǎng)出一種“人”，“他”是天生就是很好的拳擊手，具備高靈活性，非常強(qiáng)壯，還要有高對(duì)抗性，最后反哺通用的AI，對(duì)整個(gè)AI領(lǐng)域提供幫助，促進(jìn)人工智能的發(fā)展。
雖然結(jié)尾如此有雄心壯志 ，機(jī)智如你，可能想知道一個(gè)問(wèn)題：你們到底有沒(méi)有找到紅燈區(qū)？
A.找什么找，吃貓山王才是正經(jīng)事。
B.晚上一波人在一個(gè)地方偶遇，啊呸，你們?cè)谙胧裁矗?/p>
C.人不如 AI 老司機(jī)，唐馬儒別哭，起來(lái)再戰(zhàn)。
【 圖片來(lái)源：haoqilu 所有者：haoqilu 】
致謝：該文得到了阿里安全圖靈實(shí)驗(yàn)室高級(jí)算法專家華棠、覺(jué)奧以及阿里安全資深技術(shù)專家鐵花的幫助。
本文作者：雷鋒網(wǎng)網(wǎng)絡(luò)安全專欄作者，李勤，微信：qinqin0511
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
