OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

本文作者： camel

編輯：郭奕欣

2018-02-25 10:56

導(dǎo)語：人工智能研究人員在開發(fā)新應(yīng)用程序時(shí)需要考慮安全因素；否則罪犯就會(huì)利用這項(xiàng)技術(shù)

雷鋒網(wǎng) AI 科技評(píng)論按：本周，OpenAI 、牛津大學(xué)、劍橋大學(xué)等14家機(jī)構(gòu)和高校共同發(fā)布了一份《人工智能惡意使用》報(bào)告，該報(bào)告詳細(xì)講述了人工智能技術(shù)潛在的「惡意」用途，以及預(yù)防措施。

所謂有人在的地方就有江湖，人工智能作為一項(xiàng)技術(shù)，就像人類歷史中所有的新技術(shù)一樣具有兩面性，有人拿它為全人類謀福利，也有人拿它做惡意活動(dòng)。近年來，人工智能和機(jī)器學(xué)習(xí)的表現(xiàn)正以前所未有的速度提升，相應(yīng)的技術(shù)要么已經(jīng)被應(yīng)用到日常生活中（例如機(jī)器翻譯、醫(yī)學(xué)影像分析等），要么正投入大量人力、物力進(jìn)行研發(fā)（例如無人駕駛）。但是相比著應(yīng)用的火熱發(fā)展，一直以來人們卻對(duì)人工智能技術(shù)的惡意使用缺乏足夠的關(guān)注。

2017 年 2 月，牛津大學(xué)召開了一次為期兩天的研討會(huì)。在這次研討會(huì)上，來自人工智能、無人機(jī)、網(wǎng)絡(luò)安全、自主武器系統(tǒng)、反恐等各領(lǐng)域的眾多專家匯聚一堂，藉著各自領(lǐng)域的經(jīng)驗(yàn)和知識(shí)，共同探究了伴隨著人工智能的發(fā)展可能帶來的安全問題。

隨后沿著這次研討的思路，眾多學(xué)者又工作了近一年的時(shí)間。雷鋒網(wǎng)注意到，在本周二，來自 OpenAI 、人類未來研究所、牛津大學(xué)、劍橋大學(xué)等機(jī)構(gòu)和高校的共 26 名學(xué)者在 arXiv 上發(fā)表了他們的研究成果報(bào)告《人工智能的惡意使用：預(yù)測(cè)、預(yù)防和緩解》（The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation）。

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

在準(zhǔn)備閱讀 101 頁的報(bào)告內(nèi)容之前，我們不妨先來看下報(bào)告的兩位通訊作者 Miles Brundage 和 Shahar Avin 合寫發(fā)表在 wired 的一篇淺顯的介紹文章《利用AI來犯罪只是時(shí)間問題》（It's only a matter of time before criminals turn AIs against us）。作者認(rèn)為，人工智能研究人員在開發(fā)新應(yīng)用程序時(shí)需要考慮安全因素；如果他們不這樣做，罪犯就會(huì)利用這項(xiàng)技術(shù)來做惡意活動(dòng)。

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

利用AI來犯罪只是時(shí)間問題

有一天你接到一個(gè)陌生電話 - 一聽原來是你女兒打來的，聲音顯得很恐慌而且語無倫次。她在旅行，丟了手機(jī)和錢包，她需要幫助，需要你給她寄些錢。你可能不是一個(gè)容易受騙的人，但這就是她的聲音。

通過合成語音且能多輪對(duì)話的詐騙技術(shù)可能還沒有出現(xiàn)，但是現(xiàn)在全球范圍內(nèi)已經(jīng)有一千多個(gè)家長(zhǎng)收到了他們自己的個(gè)性化電子郵件和語音郵件。犯罪分子利用算法抓取了社交媒體上的視頻和照片，并創(chuàng)建了針對(duì)性很強(qiáng)的定制消息，甚至合成受騙者親人朋友的聲音。這些都是使用人工智能以最低的人力成本完成的。

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

人工智能最近取得了重大進(jìn)展，但不幸的是這也使得上述情景變得越來越合理。正如這篇報(bào)告所指出的人工智能技術(shù)是「雙重用途」，雖然它將以多種方式使社會(huì)受益，但它也將會(huì)被惡意使用。犯罪分子、恐怖分子和流氓國(guó)家將利用這些強(qiáng)大的工具來危害人們的日常生活。因此我們必須要更加系統(tǒng)地去探索如何預(yù)測(cè)、預(yù)防和緩解這些惡意用途的方法。

其實(shí)，人工智能的惡意使用不僅僅是威脅到人們的財(cái)產(chǎn)和隱私——可能更令人擔(dān)憂的是，它會(huì)威脅到人們的生命。無人機(jī)和其他網(wǎng)絡(luò)物理系統(tǒng)（如自動(dòng)駕駛車輛和智能醫(yī)療設(shè)備）的激增為恐怖分子、黑客和罪犯提供了非常誘人的目標(biāo)和工具。可能的情況包括利用自動(dòng)駕駛汽車制造車禍，或?qū)⒈阋说纳虡I(yè)無人機(jī)改造成面部識(shí)別導(dǎo)彈。

另一方面，人工智能也可能會(huì)影響政治安全。最近美國(guó)特別顧問羅伯特·穆勒的起訴書就指稱，俄羅斯有一個(gè)80多人的全職專業(yè)團(tuán)隊(duì)破壞2016年美國(guó)總統(tǒng)選舉。

當(dāng)專業(yè)的網(wǎng)絡(luò)釣魚能發(fā)布廉價(jià)、高度可信的虛假視頻時(shí)會(huì)發(fā)生什么？現(xiàn)在已經(jīng)有工具可以從原始音頻文件中創(chuàng)建假視頻，也有一些工具可以讓我們合成聽起來像某個(gè)人的假音頻。將兩者結(jié)合起來，就可以創(chuàng)建完全虛假的新聞視頻。如果他們能夠使用基于「強(qiáng)化學(xué)習(xí)」和其他 AI 方法的技術(shù)來控制一大批半自主機(jī)器人程序會(huì)發(fā)生什么？如果他們能夠通過廉價(jià)的個(gè)性化宣傳精確地針對(duì)目標(biāo)人群，又會(huì)發(fā)生什么？那么可能一個(gè) 8 人的釣魚團(tuán)隊(duì)充分利用人工智能將能夠發(fā)揮 8000 人的水平。

面對(duì)這些新興的風(fēng)險(xiǎn)，我們并不是無可奈何的，但我們需要承認(rèn)這些風(fēng)險(xiǎn)的嚴(yán)重性并采取相應(yīng)的行動(dòng)。這需要決策者與技術(shù)研究人員密切合作，調(diào)查、預(yù)防和緩解人工智能的潛在惡意用途。

當(dāng)涉及到人工智能的道德影響時(shí)，AI 研究人員和公司已經(jīng)在思考和承擔(dān)相應(yīng)的責(zé)任。已經(jīng)有成千上萬的人簽署了一封要求強(qiáng)健、有益的人工智能的公開信。AI 公司也正在通過人工智能合作伙伴關(guān)系（Partnership on AI）開展合作。此外，也逐漸地出現(xiàn)了一些道德標(biāo)準(zhǔn)，例如 Asilomar AI Principles 和 IEEE Ethically Aligned Design。這種責(zé)任文化在安全方面顯然需要繼續(xù)下去并得以深化，而不僅僅是現(xiàn)在占據(jù)主要篇幅的無意傷害問題（例如安全事故和偏見）。

人工智能研究人員和雇用他們的組織處于塑造新興安全領(lǐng)域的獨(dú)特位置。這需要他們?nèi)ヌ剿饕幌盗薪鉀Q方案，可能這些方案會(huì)讓當(dāng)今的學(xué)術(shù)文化圈感到不舒服，比如推遲某些技術(shù)的出版，以便開發(fā)相應(yīng)的防御措施，這在網(wǎng)絡(luò)安全領(lǐng)域更為常見。

當(dāng)然，我們需要考慮一些更為棘手的問題：什么樣的人工智能研究更容易被惡意利用？需要開發(fā)哪些新技術(shù)來更好地抵御可能的攻擊？哪些機(jī)構(gòu)和機(jī)制可以幫助我們?cè)谧畲笙薅鹊乩萌斯ぶ悄艿暮锰幣c最大限度地降低安全風(fēng)險(xiǎn)之間取得適當(dāng)?shù)钠胶?？也許我們?cè)皆缃鉀Q這些問題，上面的電話欺騙場(chǎng)景就越不可能成為現(xiàn)實(shí)。

報(bào)告內(nèi)容提要

報(bào)告《人工智能的惡意使用：預(yù)測(cè)、預(yù)防和緩解》調(diào)查了惡意使用人工智能技術(shù)可能帶來的安全威脅，并提出了更好的預(yù)測(cè)、預(yù)防和緩解這些威脅的方法。報(bào)告中詳細(xì)分析了 AI 可能在數(shù)字安全、物理安全、政治安全等方面帶來的威脅，隨后還為 AI 研究人員和其他利益相關(guān)者提出了四項(xiàng)高層次的建議。此外，在報(bào)告中還提出了幾個(gè)有發(fā)展前景的領(lǐng)域，以便進(jìn)一步的研究，從而能擴(kuò)大防御的范圍或者使攻擊效率降低/更難執(zhí)行。在報(bào)告的最后，作者還分析了攻擊者和防御者之間的長(zhǎng)期平衡問題，不過并沒有明確地解決這個(gè)問題。

作者在報(bào)告中，不無擔(dān)憂地說：如果沒有制定出足夠的防御措施，我們可能很快就會(huì)看到究竟哪類攻擊會(huì)先出現(xiàn)了。

下面我們將給出這篇報(bào)告的內(nèi)容提要。

AI 安全格局

隨著AI性能變得越來越強(qiáng)大和廣泛，我們預(yù)計(jì)越來越多 AI 系統(tǒng)的使用將會(huì)導(dǎo)致以下安全格局的變化：

擴(kuò)大現(xiàn)有安全威脅。通過可擴(kuò)展地使用AI系統(tǒng)來完成通常需要人力、智力和專業(yè)知識(shí)的任務(wù)，攻擊的成本會(huì)大大的降低。一個(gè)自然的結(jié)果就是擴(kuò)大了能夠進(jìn)行特定攻擊的人群范圍，提升了執(zhí)行這些攻擊的速度，增加了可攻擊的潛在目標(biāo)。
引入新的安全威脅。通過使用 AI 系統(tǒng)，新的安全攻擊可以完成對(duì)人類攻擊者來說不可能完成的任務(wù)。另外，安全維護(hù)人員開發(fā)的 AI 系統(tǒng)漏洞也會(huì)給惡意攻擊者帶來新的可乘之機(jī)。
改變安全威脅的典型特征。我們有理由認(rèn)為伴隨著AI應(yīng)用的快速發(fā)展，安全攻擊將會(huì)高效、有針對(duì)性、難于歸因且難以防守，這將在很大程度上改變傳統(tǒng)網(wǎng)絡(luò)安全的典型特征。

三個(gè)安全領(lǐng)域

報(bào)告中詳細(xì)分析了三個(gè)安全領(lǐng)域（數(shù)字安全、物理安全和政治安全），并通過一些代表性的例子說明了在這些領(lǐng)域中可能發(fā)生的安全威脅變化。

數(shù)字安全。傳統(tǒng)的網(wǎng)絡(luò)攻擊任務(wù)中，攻擊規(guī)模和攻擊效率之間往往不能兩全，使用AI來執(zhí)行這些任務(wù)將很大程度上消除現(xiàn)有的折衷，這將擴(kuò)大與勞動(dòng)密集型網(wǎng)絡(luò)攻擊（如魚叉式網(wǎng)絡(luò)釣魚）相關(guān)的威脅。此外還會(huì)出現(xiàn)利用人類弱點(diǎn)（例如通過使用語音合成進(jìn)行冒充）、現(xiàn)有軟件漏洞（例如通過自動(dòng)黑客攻擊）或 AI 系統(tǒng)的漏洞（例如通過對(duì)抗性樣本和數(shù)據(jù)下毒）等的新型安全攻擊。

（ImageNet 基準(zhǔn)測(cè)試圖像識(shí)別的最新進(jìn)展。圖表（2017年8月25日檢索）來自電子前沿基金會(huì)的 AI Progress Measurement 項(xiàng)目）

（GANs 合成人臉，圖片分別來自 Goodfellow et al. (2014), Radford et al. (2015), Liu and Tuzel (2016), and Karras et al. (2017) 等論文）

物理安全。使用 AI 來自動(dòng)執(zhí)行與無人機(jī)或其他物理系統(tǒng)（例如部署自主武器系統(tǒng)）攻擊有關(guān)的任務(wù)，這將會(huì)擴(kuò)大與這些攻擊相關(guān)的威脅。此外，使用 AI 也可能會(huì)導(dǎo)致出現(xiàn)新型的攻擊，包括破壞網(wǎng)絡(luò)物理系統(tǒng)（例如導(dǎo)致自動(dòng)駕駛車輛崩潰）、遠(yuǎn)程入侵物理系統(tǒng)（例如使用成千上萬的微型無人機(jī)）。
政治安全。使用 AI 來自動(dòng)化監(jiān)測(cè)（例如分析大量收集的數(shù)據(jù)）、說服（例如創(chuàng)建有針對(duì)性的宣傳）、欺騙（例如修改視頻），可能會(huì)擴(kuò)大與侵犯隱私和操縱社交相關(guān)的威脅。此外，新型的攻擊可能利用AI逐漸提升的能力，在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上分析人類的行為、情緒、信仰等，這些將會(huì)對(duì)專制國(guó)家?guī)砗艽蟮耐{，但不可否認(rèn)也將威脅民主國(guó)家（例如能否維持公開辯論的真實(shí)性）。

四項(xiàng)高層次建議

針對(duì)不斷變化的威脅環(huán)境，我們提出了四項(xiàng)高層次的建議：

密切合作。決策者應(yīng)與技術(shù)研究人員密切合作，調(diào)查、預(yù)防和緩解人工智能的潛在惡意用途。
認(rèn)真對(duì)待。人工智能領(lǐng)域的研究人員和工程師應(yīng)認(rèn)真對(duì)待他們工作的雙重用途，在研究和開發(fā)中允許誤用相關(guān)考慮因素能影響研究/開發(fā)的重點(diǎn)和規(guī)范，并在有害應(yīng)用可預(yù)見時(shí)主動(dòng)與相關(guān)行為者接觸。
制定方案。應(yīng)在研究領(lǐng)域用更多成熟的方案來確定最佳實(shí)踐方法來解決雙重用途問題（像解決計(jì)算機(jī)安全一樣）以及哪些地方能夠應(yīng)用 AI。
擴(kuò)大討論范圍。積極尋求擴(kuò)大參與討論這些挑戰(zhàn)的利益相關(guān)者和領(lǐng)域?qū)＜业姆秶?/p>

探索未決問題和潛在干預(yù)措施

除了上面列出的高層次建議之外，我們還建議在四個(gè)優(yōu)先研究領(lǐng)域探索幾個(gè)未決問題和潛在干預(yù)措施：

與網(wǎng)絡(luò)安全社區(qū)共同學(xué)習(xí)。 在網(wǎng)絡(luò)安全和人工智能攻擊的交叉領(lǐng)域，我們強(qiáng)調(diào)需要探索并潛在實(shí)施紅隊(duì)聯(lián)盟（red teaming）、形式化驗(yàn)證、AI 漏洞負(fù)責(zé)任的披露、安全工具和安全硬件。
探索不同的開放模式。隨著 AI 和 ML 的雙重用途性質(zhì)變得越來越明顯，我們強(qiáng)調(diào)有必要圍繞研究的開放性重新設(shè)計(jì)規(guī)范和制度，首要進(jìn)行的包括特別關(guān)注的技術(shù)領(lǐng)域預(yù)印本風(fēng)險(xiǎn)評(píng)估、中心訪問許可模式、有利于安全和保障措施的共享制度以及其他雙重用途技術(shù)的相關(guān)經(jīng)驗(yàn)。

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

（隨著開放內(nèi)容的增加，使用 AI 的技能要求越來越低）

促進(jìn)責(zé)任文化。人工智能研究人員和雇用他們的組織處于一種獨(dú)特的位置，他們將塑造人工智能世界的安全格局。我們強(qiáng)調(diào)教育、道德聲明和標(biāo)準(zhǔn)、框架、規(guī)范和期望的重要性。
發(fā)展技術(shù)和政策解決方案。 除了上述內(nèi)容，我們還調(diào)查了一系列有前景的技術(shù)以及政策干預(yù)措施，這些技術(shù)可以幫助我們建立一個(gè)更安全的 AI 未來。進(jìn)一步的高級(jí)領(lǐng)域的研究包括隱私保護(hù)、AI 公共安全的協(xié)調(diào)使用、AI相關(guān)資源的監(jiān)管以及其他的立法和監(jiān)管響應(yīng)。

提議的干預(yù)措施不僅需要人工智能研究人員和公司關(guān)注和采取行動(dòng)，還需要立法人員、公務(wù)人員、監(jiān)管機(jī)構(gòu)、安全研究人員和教育工作者對(duì)此的關(guān)注以及行動(dòng)。挑戰(zhàn)是艱巨的，風(fēng)險(xiǎn)是高昂的。

文中彩蛋

今天早上，報(bào)告作者 Miles Brundage? 教授發(fā)推文說——

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

Miles Brundage?：就不信有人能發(fā)現(xiàn)《AI惡意使用報(bào)告》中的彩蛋；誰發(fā)現(xiàn)，我就給誰買一杯咖啡，或者發(fā)一個(gè)魚叉釣魚郵件，你自己選擇吧~

Abhishek：有暗示嗎？

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

Miles：有，兩個(gè)。

Brubbo：難道是隱藏了一張對(duì)抗圖像？

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

Miles：猜的好，不過不是。

Rob：你不會(huì)讓我花一星期時(shí)間里重讀這101頁報(bào)告吧？/(ㄒoㄒ)/~~

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

Miles：把報(bào)告再讀一遍也值一杯咖啡。：)

然而聰明、細(xì)心、又具挑戰(zhàn)精神的人從來都不缺。不到六個(gè)小時(shí)，就有人從101頁的報(bào)告中找出了Miles教授說的神神秘秘的彩蛋。

OpenAI等機(jī)構(gòu)發(fā)布《人工智能惡意使用》報(bào)告，利用AI來犯罪只是時(shí)間問題

雷鋒網(wǎng)注：Miles Brundage 和 Shahar Avin 是本報(bào)告的兩個(gè)主要作者，分別來自牛津大學(xué)人類未來研究所和劍橋大學(xué)存在風(fēng)險(xiǎn)研究中心；Murray 為倫敦皇家理工學(xué)院教授，并擔(dān)任 DeepMind 的高級(jí)研究科學(xué)家。P27 和 P28 頁為報(bào)告中針對(duì)物理安全和政治安全假象的兩個(gè)安全威脅案例。