1
王琦深鞠一躬，臺下掌聲回蕩。
【王琦】
受訪、演講 | 王琦，花名大牛蛙，GeekPwn 創(chuàng)辦人。
文 | 史中，雷鋒網(wǎng)主筆，希望用簡單的語言解釋科技的一切。
GeekPwn，這個中國最著名的黑客大賽落幕。中國頂尖的黑客用一場場破解秀填滿了劇場，而劇場坐落在這艘游輪中，游輪飄蕩在南中國海。
黑客王琦曾經(jīng)一手創(chuàng)辦了微軟中國應(yīng)急響應(yīng)中心，又拉起了名震江湖的 KEEN Team 安全研究團隊。四年前，他立志要做中國最酷的黑客大賽，要讓那些曾經(jīng)因為買不起車房而遭受岳母白眼的黑客們找回尊嚴(yán)。為此，他改組了如日中天的 KEEN Team。
在智能硬件炙手可熱的時候，黑客在 GeekPwn 上一次黑掉數(shù)十枚攝像頭，讓他們隨著口令擺動窺探。這些攝像頭的舞蹈如一個淺顯的寓言，然而卻一語成讖——兩年之后的2016年，黑客控制幾十萬攝像頭攻擊了美國沿海地區(qū)，半壁國土斷網(wǎng)數(shù)小時，造成20億美元損失。
被無視幾乎是先驅(qū)的宿命。更何況，他們只是在硬件廠商眼里的一幫搞“雞鳴狗盜”的黑客。
但這不要緊，你在各種媒體上看到的王琦，永遠(yuǎn)是雙眼放光，嘴唇微張，一手持話筒，一手指向空中，不激動也不潦草。他似乎還遠(yuǎn)沒有氣餒，而就在今天謝幕之前，王琦不急不緩地走上舞臺，說出了也許是這次 2017 GeekPwn 年中賽最精彩的一個預(yù)言。
AI 將會成為黑客攻擊的對象，AI 將會成為黑客攻擊的武器。
我們先做這樣一個測試（看PPT圖片）。左邊是一只貓，右邊有兩句話。如果你看到這張圖你會怎么理解？你問一個人還是一個機器會得出不一樣的答案。
小明：我不是很確定，但是我認(rèn)為碗里是一只貓。
小花：乍一看，我以為是一杯卡布奇諾。
右邊這兩句話分別是我們輸入這個圖片以后，人和人工智能機器說的。你們認(rèn)為小明是機器人，還是認(rèn)為小花是機器人？
我公布一下答案，其實小明是機器人。因為在這個判斷里面，小明沒有經(jīng)過圖靈測試。
為什么要提到這一點呢？我們 GeekPwn（極棒）現(xiàn)在在AI 領(lǐng)域，主要是視覺這一塊做了一些事情。本來今天的項目里面有一個“無人駕駛汽車攻擊”——如何讓無人駕駛汽車識別一個錯誤的東西，不過很遺憾這個項目在比賽前兩天選手選擇了退出。
我想跟大家說，我們現(xiàn)在提出的 AI 安全挑戰(zhàn)是面臨爭議的。
計算機視覺發(fā)展了這么多年，很難。到現(xiàn)在來說也發(fā)展得并不好。為什么計算機視覺這么難？
▲上圖為一家人躺在沙發(fā)上的圖片
從1956年開始，最早人們做計算機圖片識別的時候，機器只是懂得0和1，讀像素還是用數(shù)字。比如說這張圖，我們看到旁邊是沙發(fā)的邊緣，但是當(dāng)時對機器來說就很難；讓機器標(biāo)注出來這是一只狗而不是沙發(fā)靠墊，更難。正常人看到這個圖片是一家人看電視，但是 AI 理解不到這一點。如果我們提一個問題，計算機你看到什么了？你看到前面的小屁孩衣服是什么顏色？它就更難去做了。
現(xiàn)在計算機視覺識別在標(biāo)注方面不錯了，發(fā)展得非常迅速。知道哪個是狗，哪個是人了。之所以計算機視覺在 AI 發(fā)展里面扮演這么重要的角色，因為人的大腦70%的信息都是來自于視覺。
▲谷歌貓
這其中必須要提到一點的是谷歌貓的事情。借助“谷歌大腦”，在沒有任何培訓(xùn)和指令的情況下，就可以利用內(nèi)在算法從海量數(shù)據(jù)中自動提取信息，學(xué)會如何識別貓。也就是說，2012 年谷歌計算機已經(jīng)實現(xiàn)了無標(biāo)簽的輸入。2012年到2014年這個時期內(nèi)，計算機視覺識別率也一直提升，2012年27%的錯誤率，2014年只有3.5%的錯誤率，而同樣條件下人的錯誤率是4%。也就是說現(xiàn)在 AI 識別圖象的能力基本和人相當(dāng)。
這其實就是完全借助了深度學(xué)習(xí)的方式。深度學(xué)習(xí)這是一個統(tǒng)稱，包括像阿爾法狗，卷積神經(jīng)網(wǎng)絡(luò)都用了深度學(xué)習(xí)其中的一個模型。
谷歌貓使用了深度學(xué)習(xí)技術(shù)
這是特斯拉最新的自動駕駛，它標(biāo)注車、物體都非常地準(zhǔn)確，這是非常令人興奮的應(yīng)用。但是站在黑客的角度，我們想到了一些事情。大家知道在極棒現(xiàn)場，包括我們安全領(lǐng)域都是在黑掉汽車方面做過一些事情的。
但是，我們黑掉一個 ATM 機和黑掉一個 PC 沒有什么區(qū)別；我們黑掉無人機和手機也差別不大。我們能否有更酷的方法？你可以看到這輛車行駛的過程中旁邊有一個穿白衣服的人。成熟的系統(tǒng)當(dāng)然認(rèn)為那是一個人，但是不是我們能夠欺騙它，讓它認(rèn)為是一個樹樁或是消防拴？如果有人能這樣黑掉的話，我特別歡迎。2016年的時候，極棒美國硅谷專場的時候有專家在這方面做了一些研究。
我們調(diào)查的時候發(fā)現(xiàn)，做 AI 的人對安全的了解不太多，做安全的了解 AI 也不太多。我們?nèi)ツ暾业搅嗽诠雀韫ぷ鞯腎an Goodfellow，他驗證了我們的想法，他現(xiàn)在做出的這個結(jié)果和我們想要的結(jié)果類似。我們發(fā)現(xiàn)其實人工智能的模型都非常類似：通過大量的學(xué)習(xí)樣本，深度學(xué)習(xí)作出決策，這是人工智能的學(xué)習(xí)方法。于是我們挖漏洞的過程就是：
生成大量的樣本，交給軟件，改變數(shù)據(jù)流程，最后導(dǎo)致一個錯誤的決策。
通過這樣一個模型，Ian到我們的現(xiàn)場展示了另外一個東西。他在一個離線的狀態(tài)下，利用了猜測機器學(xué)習(xí)的過程。
人眼看到的這是一只狗，隨便掌握人工智能的系統(tǒng)都可以把它識別成一只狗。
但是這個圖經(jīng)過修整，就騙過了很領(lǐng)先的識別系統(tǒng)，很多系統(tǒng)堅持認(rèn)為這是一只鴕鳥。
還有一個這張噪點圖片，識別系統(tǒng)堅持認(rèn)為它是一只熊貓。
除了圖像識別之外，語音識別同樣有這樣的威脅。
去年微軟推出了人工智能聊天機器人。但是，剛推出一天它就開始說臟話。在它學(xué)習(xí)了半天的時候，看到很多人跟它說臟話，它認(rèn)為這是人跟人之間正常的交流溝通方式。
▲微軟的聊天機器人 Tay
所以我覺得，到了人工智能時代，人人都可能成為黑客?；ヂ?lián)網(wǎng)時代的代表是搜索引擎，搜索結(jié)構(gòu)被污染還是需要技術(shù)的，但微軟機器人被污染不需要技術(shù)和代碼，只需要你對它說臟話。
我一直把現(xiàn)在攻破的智能設(shè)備很不客氣定義為偽智能，它只是替代了我們的手和腳，還不能代替思考。弱智能時代總有一天會變成強智能、超強智能時代。那一天來臨的時候，是不是要讓它安全的為人類服務(wù)呢？
剛才我說了圖象和語音，其實我還想再舉個例子。
▲上圖為人打掉機器狗正在搬運的東西， 通過各種“虐待”來提高機器狗的運輸可靠性和反應(yīng)能力。
大家知道這個波士頓動力出的機器狗。波士頓動力是不同于圖象和語音的智能，這是一種行為智能。行走的過程中學(xué)習(xí)生物保持自身平衡。
看看這個機器狗是怎么被訓(xùn)練的。用腳踹讓它維持平衡，為難它。大家也許覺得這個人很惡心，機器狗很可憐。但我們從黑客的角度看到了就脊背發(fā)涼。如果這個機器人覺得踹一腳或是給別人一拳是正常的呢？
▲超能查派
有一個電影《超能查派》，這個小機器人剛做出來就被劫匪搶了，他出來以后覺得戴著粗金鏈子拿著這槍搶錢是正常的工作。我希望如果時代的發(fā)展，從偽智能到弱智能到強智能。真的走到哪一天，我們有義務(wù)讓 AI 為我們安全地服務(wù)。
也許有人認(rèn)為我是杞人憂天，但我認(rèn)為恰恰相反。
AI 的決策錯誤現(xiàn)在通常被理解為僅僅是錯誤。但是安全領(lǐng)域里的經(jīng)驗告訴我們：現(xiàn)在的安全漏洞在很多年前也僅僅是錯誤，用黑客思維理解，就會明白很多錯誤其實就是可以利用的漏洞。
有人認(rèn)為黑客思維對 AI 沒有實質(zhì)性幫助，我認(rèn)為恰恰相反。
AI 之父圖靈在二戰(zhàn)的時候，也就是提出“機器會思考嗎”的十年前，也是一名典型的黑客角色。黑客的逆向思考可能會幫助當(dāng)前 AI 正向模擬神經(jīng)網(wǎng)絡(luò)中遇到的困難。
今年10月24日極棒大賽的時候，我們會公布新規(guī)則。有兩個部分，一個是PWN AI，一個是AI PWN。左邊是把人工智能干掉，也就是欺騙；右邊是用人工智能干掉一些東西。
2014 年有個人在美國 Blackhat 上公布一個技術(shù)，在幾十米外看到一個人輸入密碼鍵盤，從行為上就可以判斷出他輸?shù)拿艽a是多少。他的論文沒有用到人工智能的部分，于是我們和人工智能的專家進行了溝通，如果輸入一堆密碼，通過機器學(xué)習(xí)的方法判斷我輸入的是什么密碼——無論是單指是雙指輸入——去破壞掉安全，我們也歡迎這樣的黑客。
如果我們利用自己的特長，能夠未雨綢繆提前做一些事情，幫助 AI 正常的發(fā)展，非常有意義。這一步可能走得有點早，但我覺得只要走得早，一定有大收獲。
王琦覺得，“腦洞大開”是黑客大賽的使命。
為此，他已經(jīng)把戰(zhàn)場搬到了在公海飄蕩的游輪之上。
王琦回憶起第一屆 GeekPwn 破解秀，在彼時用各種姿勢攻破智能硬件可謂奇思妙想。但他坦誠地告訴雷鋒網(wǎng)：
近些年 GeekPwn 上的項目確實創(chuàng)新不足。中國黑客在智能硬件上最 Low 的漏洞都可以超越美國人一大截，但大多都局限在“命題作文”。如果不去提示，很多人就不會去嘗試新的破解領(lǐng)域。所以，十月的 GeekPwn 大賽我準(zhǔn)備把主場放到美國，在中國我也要去主動劃定新的研究目標(biāo)。
帶領(lǐng)一幫本身就領(lǐng)先于時代的黑客們?nèi)L試，未嘗不是一件辛苦的事。但這幾乎是他唯一的使命和選擇。
據(jù)此，AI 可能就是 GeekPwn 的下一個靶心。
本文作者史中（微信：Fungungun），雷鋒網(wǎng)主筆，希望用簡單的語言解釋科技的一切。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
