王琦深鞠一躬，臺(tái)下掌聲回蕩。

【王琦】

受訪、演講 | 王琦，花名大牛蛙，GeekPwn 創(chuàng)辦人。

文 | 史中，雷鋒網(wǎng)主筆，希望用簡(jiǎn)單的語(yǔ)言解釋科技的一切。

GeekPwn，這個(gè)中國(guó)最著名的黑客大賽落幕。中國(guó)頂尖的黑客用一場(chǎng)場(chǎng)破解秀填滿了劇場(chǎng)，而劇場(chǎng)坐落在這艘游輪中，游輪飄蕩在南中國(guó)海。

黑客王琦曾經(jīng)一手創(chuàng)辦了微軟中國(guó)應(yīng)急響應(yīng)中心，又拉起了名震江湖的 KEEN Team 安全研究團(tuán)隊(duì)。四年前，他立志要做中國(guó)最酷的黑客大賽，要讓那些曾經(jīng)因?yàn)橘I不起車房而遭受岳母白眼的黑客們找回尊嚴(yán)。為此，他改組了如日中天的 KEEN Team。

在智能硬件炙手可熱的時(shí)候，黑客在 GeekPwn 上一次黑掉數(shù)十枚攝像頭，讓他們隨著口令擺動(dòng)窺探。這些攝像頭的舞蹈如一個(gè)淺顯的寓言，然而卻一語(yǔ)成讖——兩年之后的2016年，黑客控制幾十萬(wàn)攝像頭攻擊了美國(guó)沿海地區(qū)，半壁國(guó)土斷網(wǎng)數(shù)小時(shí)，造成20億美元損失。

被無(wú)視幾乎是先驅(qū)的宿命。更何況，他們只是在硬件廠商眼里的一幫搞“雞鳴狗盜”的黑客。

但這不要緊，你在各種媒體上看到的王琦，永遠(yuǎn)是雙眼放光，嘴唇微張，一手持話筒，一手指向空中，不激動(dòng)也不潦草。他似乎還遠(yuǎn)沒(méi)有氣餒，而就在今天謝幕之前，王琦不急不緩地走上舞臺(tái)，說(shuō)出了也許是這次 2017 GeekPwn 年中賽最精彩的一個(gè)預(yù)言。

AI 將會(huì)成為黑客攻擊的對(duì)象，AI 將會(huì)成為黑客攻擊的武器。

以下是王琦的演講全文，雷鋒網(wǎng)做了不改變?cè)獾木帲?/em>

我們先做這樣一個(gè)測(cè)試（看PPT圖片）。左邊是一只貓，右邊有兩句話。如果你看到這張圖你會(huì)怎么理解？你問(wèn)一個(gè)人還是一個(gè)機(jī)器會(huì)得出不一樣的答案。

小明：我不是很確定，但是我認(rèn)為碗里是一只貓。

小花：乍一看，我以為是一杯卡布奇諾。

右邊這兩句話分別是我們輸入這個(gè)圖片以后，人和人工智能機(jī)器說(shuō)的。你們認(rèn)為小明是機(jī)器人，還是認(rèn)為小花是機(jī)器人？

我公布一下答案，其實(shí)小明是機(jī)器人。因?yàn)樵谶@個(gè)判斷里面，小明沒(méi)有經(jīng)過(guò)圖靈測(cè)試。

為什么要提到這一點(diǎn)呢？我們 GeekPwn（極棒）現(xiàn)在在AI 領(lǐng)域，主要是視覺(jué)這一塊做了一些事情。本來(lái)今天的項(xiàng)目里面有一個(gè)“無(wú)人駕駛汽車攻擊”——如何讓無(wú)人駕駛汽車識(shí)別一個(gè)錯(cuò)誤的東西，不過(guò)很遺憾這個(gè)項(xiàng)目在比賽前兩天選手選擇了退出。

我想跟大家說(shuō)，我們現(xiàn)在提出的 AI 安全挑戰(zhàn)是面臨爭(zhēng)議的。

計(jì)算機(jī)視覺(jué)發(fā)展了這么多年，很難。到現(xiàn)在來(lái)說(shuō)也發(fā)展得并不好。為什么計(jì)算機(jī)視覺(jué)這么難？

▲上圖為一家人躺在沙發(fā)上的圖片

從1956年開(kāi)始，最早人們做計(jì)算機(jī)圖片識(shí)別的時(shí)候，機(jī)器只是懂得0和1，讀像素還是用數(shù)字。比如說(shuō)這張圖，我們看到旁邊是沙發(fā)的邊緣，但是當(dāng)時(shí)對(duì)機(jī)器來(lái)說(shuō)就很難；讓機(jī)器標(biāo)注出來(lái)這是一只狗而不是沙發(fā)靠墊，更難。正常人看到這個(gè)圖片是一家人看電視，但是 AI 理解不到這一點(diǎn)。如果我們提一個(gè)問(wèn)題，計(jì)算機(jī)你看到什么了？你看到前面的小屁孩衣服是什么顏色？它就更難去做了。

現(xiàn)在計(jì)算機(jī)視覺(jué)識(shí)別在標(biāo)注方面不錯(cuò)了，發(fā)展得非常迅速。知道哪個(gè)是狗，哪個(gè)是人了。之所以計(jì)算機(jī)視覺(jué)在 AI 發(fā)展里面扮演這么重要的角色，因?yàn)槿说拇竽X70%的信息都是來(lái)自于視覺(jué)。

▲谷歌貓

這其中必須要提到一點(diǎn)的是谷歌貓的事情。借助“谷歌大腦”，在沒(méi)有任何培訓(xùn)和指令的情況下，就可以利用內(nèi)在算法從海量數(shù)據(jù)中自動(dòng)提取信息，學(xué)會(huì)如何識(shí)別貓。也就是說(shuō)，2012 年谷歌計(jì)算機(jī)已經(jīng)實(shí)現(xiàn)了無(wú)標(biāo)簽的輸入。2012年到2014年這個(gè)時(shí)期內(nèi)，計(jì)算機(jī)視覺(jué)識(shí)別率也一直提升，2012年27%的錯(cuò)誤率，2014年只有3.5%的錯(cuò)誤率，而同樣條件下人的錯(cuò)誤率是4%。也就是說(shuō)現(xiàn)在 AI 識(shí)別圖象的能力基本和人相當(dāng)。   

這其實(shí)就是完全借助了深度學(xué)習(xí)的方式。深度學(xué)習(xí)這是一個(gè)統(tǒng)稱，包括像阿爾法狗，卷積神經(jīng)網(wǎng)絡(luò)都用了深度學(xué)習(xí)其中的一個(gè)模型。

谷歌貓使用了深度學(xué)習(xí)技術(shù)

這是特斯拉最新的自動(dòng)駕駛，它標(biāo)注車、物體都非常地準(zhǔn)確，這是非常令人興奮的應(yīng)用。但是站在黑客的角度，我們想到了一些事情。大家知道在極棒現(xiàn)場(chǎng)，包括我們安全領(lǐng)域都是在黑掉汽車方面做過(guò)一些事情的。

但是，我們黑掉一個(gè) ATM 機(jī)和黑掉一個(gè) PC 沒(méi)有什么區(qū)別；我們黑掉無(wú)人機(jī)和手機(jī)也差別不大。我們能否有更酷的方法？你可以看到這輛車行駛的過(guò)程中旁邊有一個(gè)穿白衣服的人。成熟的系統(tǒng)當(dāng)然認(rèn)為那是一個(gè)人，但是不是我們能夠欺騙它，讓它認(rèn)為是一個(gè)樹(shù)樁或是消防拴？如果有人能這樣黑掉的話，我特別歡迎。2016年的時(shí)候，極棒美國(guó)硅谷專場(chǎng)的時(shí)候有專家在這方面做了一些研究。

我們調(diào)查的時(shí)候發(fā)現(xiàn)，做 AI 的人對(duì)安全的了解不太多，做安全的了解 AI 也不太多。我們?nèi)ツ暾业搅嗽诠雀韫ぷ鞯腎an Goodfellow，他驗(yàn)證了我們的想法，他現(xiàn)在做出的這個(gè)結(jié)果和我們想要的結(jié)果類似。我們發(fā)現(xiàn)其實(shí)人工智能的模型都非常類似：通過(guò)大量的學(xué)習(xí)樣本，深度學(xué)習(xí)作出決策，這是人工智能的學(xué)習(xí)方法。于是我們挖漏洞的過(guò)程就是：

生成大量的樣本，交給軟件，改變數(shù)據(jù)流程，最后導(dǎo)致一個(gè)錯(cuò)誤的決策。

通過(guò)這樣一個(gè)模型，Ian到我們的現(xiàn)場(chǎng)展示了另外一個(gè)東西。他在一個(gè)離線的狀態(tài)下，利用了猜測(cè)機(jī)器學(xué)習(xí)的過(guò)程。

人眼看到的這是一只狗，隨便掌握人工智能的系統(tǒng)都可以把它識(shí)別成一只狗。

但是這個(gè)圖經(jīng)過(guò)修整，就騙過(guò)了很領(lǐng)先的識(shí)別系統(tǒng)，很多系統(tǒng)堅(jiān)持認(rèn)為這是一只鴕鳥(niǎo)。

還有一個(gè)這張?jiān)朦c(diǎn)圖片，識(shí)別系統(tǒng)堅(jiān)持認(rèn)為它是一只熊貓。

除了圖像識(shí)別之外，語(yǔ)音識(shí)別同樣有這樣的威脅。

去年微軟推出了人工智能聊天機(jī)器人。但是，剛推出一天它就開(kāi)始說(shuō)臟話。在它學(xué)習(xí)了半天的時(shí)候，看到很多人跟它說(shuō)臟話，它認(rèn)為這是人跟人之間正常的交流溝通方式。

▲微軟的聊天機(jī)器人 Tay

所以我覺(jué)得，到了人工智能時(shí)代，人人都可能成為黑客?；ヂ?lián)網(wǎng)時(shí)代的代表是搜索引擎，搜索結(jié)構(gòu)被污染還是需要技術(shù)的，但微軟機(jī)器人被污染不需要技術(shù)和代碼，只需要你對(duì)它說(shuō)臟話。

我一直把現(xiàn)在攻破的智能設(shè)備很不客氣定義為偽智能，它只是替代了我們的手和腳，還不能代替思考。弱智能時(shí)代總有一天會(huì)變成強(qiáng)智能、超強(qiáng)智能時(shí)代。那一天來(lái)臨的時(shí)候，是不是要讓它安全的為人類服務(wù)呢？

剛才我說(shuō)了圖象和語(yǔ)音，其實(shí)我還想再舉個(gè)例子。

▲上圖為人打掉機(jī)器狗正在搬運(yùn)的東西， 通過(guò)各種“虐待”來(lái)提高機(jī)器狗的運(yùn)輸可靠性和反應(yīng)能力。

大家知道這個(gè)波士頓動(dòng)力出的機(jī)器狗。波士頓動(dòng)力是不同于圖象和語(yǔ)音的智能，這是一種行為智能。行走的過(guò)程中學(xué)習(xí)生物保持自身平衡。

看看這個(gè)機(jī)器狗是怎么被訓(xùn)練的。用腳踹讓它維持平衡，為難它。大家也許覺(jué)得這個(gè)人很惡心，機(jī)器狗很可憐。但我們從黑客的角度看到了就脊背發(fā)涼。如果這個(gè)機(jī)器人覺(jué)得踹一腳或是給別人一拳是正常的呢？

▲超能查派

有一個(gè)電影《超能查派》，這個(gè)小機(jī)器人剛做出來(lái)就被劫匪搶了，他出來(lái)以后覺(jué)得戴著粗金鏈子拿著這槍搶錢是正常的工作。我希望如果時(shí)代的發(fā)展，從偽智能到弱智能到強(qiáng)智能。真的走到哪一天，我們有義務(wù)讓 AI 為我們安全地服務(wù)。

也許有人認(rèn)為我是杞人憂天，但我認(rèn)為恰恰相反。

AI 的決策錯(cuò)誤現(xiàn)在通常被理解為僅僅是錯(cuò)誤。但是安全領(lǐng)域里的經(jīng)驗(yàn)告訴我們：現(xiàn)在的安全漏洞在很多年前也僅僅是錯(cuò)誤，用黑客思維理解，就會(huì)明白很多錯(cuò)誤其實(shí)就是可以利用的漏洞。

有人認(rèn)為黑客思維對(duì) AI 沒(méi)有實(shí)質(zhì)性幫助，我認(rèn)為恰恰相反。

AI 之父圖靈在二戰(zhàn)的時(shí)候，也就是提出“機(jī)器會(huì)思考嗎”的十年前，也是一名典型的黑客角色。黑客的逆向思考可能會(huì)幫助當(dāng)前 AI 正向模擬神經(jīng)網(wǎng)絡(luò)中遇到的困難。

今年10月24日極棒大賽的時(shí)候，我們會(huì)公布新規(guī)則。有兩個(gè)部分，一個(gè)是PWN  AI，一個(gè)是AI  PWN。左邊是把人工智能干掉，也就是欺騙；右邊是用人工智能干掉一些東西。

2014 年有個(gè)人在美國(guó) Blackhat 上公布一個(gè)技術(shù)，在幾十米外看到一個(gè)人輸入密碼鍵盤，從行為上就可以判斷出他輸?shù)拿艽a是多少。他的論文沒(méi)有用到人工智能的部分，于是我們和人工智能的專家進(jìn)行了溝通，如果輸入一堆密碼，通過(guò)機(jī)器學(xué)習(xí)的方法判斷我輸入的是什么密碼——無(wú)論是單指是雙指輸入——去破壞掉安全，我們也歡迎這樣的黑客。

如果我們利用自己的特長(zhǎng)，能夠未雨綢繆提前做一些事情，幫助 AI 正常的發(fā)展，非常有意義。這一步可能走得有點(diǎn)早，但我覺(jué)得只要走得早，一定有大收獲。

小結(jié)

王琦覺(jué)得，“腦洞大開(kāi)”是黑客大賽的使命。

為此，他已經(jīng)把戰(zhàn)場(chǎng)搬到了在公海飄蕩的游輪之上。

王琦回憶起第一屆 GeekPwn 破解秀，在彼時(shí)用各種姿勢(shì)攻破智能硬件可謂奇思妙想。但他坦誠(chéng)地告訴雷鋒網(wǎng)：

近些年 GeekPwn 上的項(xiàng)目確實(shí)創(chuàng)新不足。中國(guó)黑客在智能硬件上最 Low 的漏洞都可以超越美國(guó)人一大截，但大多都局限在“命題作文”。如果不去提示，很多人就不會(huì)去嘗試新的破解領(lǐng)域。所以，十月的 GeekPwn 大賽我準(zhǔn)備把主場(chǎng)放到美國(guó)，在中國(guó)我也要去主動(dòng)劃定新的研究目標(biāo)。

帶領(lǐng)一幫本身就領(lǐng)先于時(shí)代的黑客們?nèi)L試，未嘗不是一件辛苦的事。但這幾乎是他唯一的使命和選擇。

據(jù)此，AI 可能就是 GeekPwn 的下一個(gè)靶心。

本文作者史中（微信：Fungungun），雷鋒網(wǎng)主筆，希望用簡(jiǎn)單的語(yǔ)言解釋科技的一切。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。