OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

本文作者： camel

編輯：郭奕欣

2018-02-25 10:56

導語：人工智能研究人員在開發(fā)新應用程序時需要考慮安全因素；否則罪犯就會利用這項技術

雷鋒網(wǎng) AI 科技評論按：本周，OpenAI 、牛津大學、劍橋大學等14家機構和高校共同發(fā)布了一份《人工智能惡意使用》報告，該報告詳細講述了人工智能技術潛在的「惡意」用途，以及預防措施。

所謂有人在的地方就有江湖，人工智能作為一項技術，就像人類歷史中所有的新技術一樣具有兩面性，有人拿它為全人類謀福利，也有人拿它做惡意活動。近年來，人工智能和機器學習的表現(xiàn)正以前所未有的速度提升，相應的技術要么已經被應用到日常生活中（例如機器翻譯、醫(yī)學影像分析等），要么正投入大量人力、物力進行研發(fā)（例如無人駕駛）。但是相比著應用的火熱發(fā)展，一直以來人們卻對人工智能技術的惡意使用缺乏足夠的關注。

2017 年 2 月，牛津大學召開了一次為期兩天的研討會。在這次研討會上，來自人工智能、無人機、網(wǎng)絡安全、自主武器系統(tǒng)、反恐等各領域的眾多專家匯聚一堂，藉著各自領域的經驗和知識，共同探究了伴隨著人工智能的發(fā)展可能帶來的安全問題。

隨后沿著這次研討的思路，眾多學者又工作了近一年的時間。雷鋒網(wǎng)注意到，在本周二，來自 OpenAI 、人類未來研究所、牛津大學、劍橋大學等機構和高校的共 26 名學者在 arXiv 上發(fā)表了他們的研究成果報告《人工智能的惡意使用：預測、預防和緩解》（The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation）。

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

在準備閱讀 101 頁的報告內容之前，我們不妨先來看下報告的兩位通訊作者 Miles Brundage 和 Shahar Avin 合寫發(fā)表在 wired 的一篇淺顯的介紹文章《利用AI來犯罪只是時間問題》（It's only a matter of time before criminals turn AIs against us）。作者認為，人工智能研究人員在開發(fā)新應用程序時需要考慮安全因素；如果他們不這樣做，罪犯就會利用這項技術來做惡意活動。

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

利用AI來犯罪只是時間問題

有一天你接到一個陌生電話 - 一聽原來是你女兒打來的，聲音顯得很恐慌而且語無倫次。她在旅行，丟了手機和錢包，她需要幫助，需要你給她寄些錢。你可能不是一個容易受騙的人，但這就是她的聲音。

通過合成語音且能多輪對話的詐騙技術可能還沒有出現(xiàn)，但是現(xiàn)在全球范圍內已經有一千多個家長收到了他們自己的個性化電子郵件和語音郵件。犯罪分子利用算法抓取了社交媒體上的視頻和照片，并創(chuàng)建了針對性很強的定制消息，甚至合成受騙者親人朋友的聲音。這些都是使用人工智能以最低的人力成本完成的。

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

人工智能最近取得了重大進展，但不幸的是這也使得上述情景變得越來越合理。正如這篇報告所指出的人工智能技術是「雙重用途」，雖然它將以多種方式使社會受益，但它也將會被惡意使用。犯罪分子、恐怖分子和流氓國家將利用這些強大的工具來危害人們的日常生活。因此我們必須要更加系統(tǒng)地去探索如何預測、預防和緩解這些惡意用途的方法。

其實，人工智能的惡意使用不僅僅是威脅到人們的財產和隱私——可能更令人擔憂的是，它會威脅到人們的生命。無人機和其他網(wǎng)絡物理系統(tǒng)（如自動駕駛車輛和智能醫(yī)療設備）的激增為恐怖分子、黑客和罪犯提供了非常誘人的目標和工具?？赡艿那闆r包括利用自動駕駛汽車制造車禍，或將便宜的商業(yè)無人機改造成面部識別導彈。

另一方面，人工智能也可能會影響政治安全。最近美國特別顧問羅伯特·穆勒的起訴書就指稱，俄羅斯有一個80多人的全職專業(yè)團隊破壞2016年美國總統(tǒng)選舉。

當專業(yè)的網(wǎng)絡釣魚能發(fā)布廉價、高度可信的虛假視頻時會發(fā)生什么？現(xiàn)在已經有工具可以從原始音頻文件中創(chuàng)建假視頻，也有一些工具可以讓我們合成聽起來像某個人的假音頻。將兩者結合起來，就可以創(chuàng)建完全虛假的新聞視頻。如果他們能夠使用基于「強化學習」和其他 AI 方法的技術來控制一大批半自主機器人程序會發(fā)生什么？如果他們能夠通過廉價的個性化宣傳精確地針對目標人群，又會發(fā)生什么？那么可能一個 8 人的釣魚團隊充分利用人工智能將能夠發(fā)揮 8000 人的水平。

面對這些新興的風險，我們并不是無可奈何的，但我們需要承認這些風險的嚴重性并采取相應的行動。這需要決策者與技術研究人員密切合作，調查、預防和緩解人工智能的潛在惡意用途。

當涉及到人工智能的道德影響時，AI 研究人員和公司已經在思考和承擔相應的責任。已經有成千上萬的人簽署了一封要求強健、有益的人工智能的公開信。AI 公司也正在通過人工智能合作伙伴關系（Partnership on AI）開展合作。此外，也逐漸地出現(xiàn)了一些道德標準，例如 Asilomar AI Principles 和 IEEE Ethically Aligned Design。這種責任文化在安全方面顯然需要繼續(xù)下去并得以深化，而不僅僅是現(xiàn)在占據(jù)主要篇幅的無意傷害問題（例如安全事故和偏見）。

人工智能研究人員和雇用他們的組織處于塑造新興安全領域的獨特位置。這需要他們去探索一系列解決方案，可能這些方案會讓當今的學術文化圈感到不舒服，比如推遲某些技術的出版，以便開發(fā)相應的防御措施，這在網(wǎng)絡安全領域更為常見。

當然，我們需要考慮一些更為棘手的問題：什么樣的人工智能研究更容易被惡意利用？需要開發(fā)哪些新技術來更好地抵御可能的攻擊？哪些機構和機制可以幫助我們在最大限度地利用人工智能的好處與最大限度地降低安全風險之間取得適當?shù)钠胶?？也許我們越早解決這些問題，上面的電話欺騙場景就越不可能成為現(xiàn)實。

報告內容提要

報告《人工智能的惡意使用：預測、預防和緩解》調查了惡意使用人工智能技術可能帶來的安全威脅，并提出了更好的預測、預防和緩解這些威脅的方法。報告中詳細分析了 AI 可能在數(shù)字安全、物理安全、政治安全等方面帶來的威脅，隨后還為 AI 研究人員和其他利益相關者提出了四項高層次的建議。此外，在報告中還提出了幾個有發(fā)展前景的領域，以便進一步的研究，從而能擴大防御的范圍或者使攻擊效率降低/更難執(zhí)行。在報告的最后，作者還分析了攻擊者和防御者之間的長期平衡問題，不過并沒有明確地解決這個問題。

作者在報告中，不無擔憂地說：如果沒有制定出足夠的防御措施，我們可能很快就會看到究竟哪類攻擊會先出現(xiàn)了。

下面我們將給出這篇報告的內容提要。

AI 安全格局

隨著AI性能變得越來越強大和廣泛，我們預計越來越多 AI 系統(tǒng)的使用將會導致以下安全格局的變化：

擴大現(xiàn)有安全威脅。通過可擴展地使用AI系統(tǒng)來完成通常需要人力、智力和專業(yè)知識的任務，攻擊的成本會大大的降低。一個自然的結果就是擴大了能夠進行特定攻擊的人群范圍，提升了執(zhí)行這些攻擊的速度，增加了可攻擊的潛在目標。
引入新的安全威脅。通過使用 AI 系統(tǒng)，新的安全攻擊可以完成對人類攻擊者來說不可能完成的任務。另外，安全維護人員開發(fā)的 AI 系統(tǒng)漏洞也會給惡意攻擊者帶來新的可乘之機。
改變安全威脅的典型特征。我們有理由認為伴隨著AI應用的快速發(fā)展，安全攻擊將會高效、有針對性、難于歸因且難以防守，這將在很大程度上改變傳統(tǒng)網(wǎng)絡安全的典型特征。

三個安全領域

報告中詳細分析了三個安全領域（數(shù)字安全、物理安全和政治安全），并通過一些代表性的例子說明了在這些領域中可能發(fā)生的安全威脅變化。

數(shù)字安全。傳統(tǒng)的網(wǎng)絡攻擊任務中，攻擊規(guī)模和攻擊效率之間往往不能兩全，使用AI來執(zhí)行這些任務將很大程度上消除現(xiàn)有的折衷，這將擴大與勞動密集型網(wǎng)絡攻擊（如魚叉式網(wǎng)絡釣魚）相關的威脅。此外還會出現(xiàn)利用人類弱點（例如通過使用語音合成進行冒充）、現(xiàn)有軟件漏洞（例如通過自動黑客攻擊）或 AI 系統(tǒng)的漏洞（例如通過對抗性樣本和數(shù)據(jù)下毒）等的新型安全攻擊。

（ImageNet 基準測試圖像識別的最新進展。圖表（2017年8月25日檢索）來自電子前沿基金會的 AI Progress Measurement 項目）

（GANs 合成人臉，圖片分別來自 Goodfellow et al. (2014), Radford et al. (2015), Liu and Tuzel (2016), and Karras et al. (2017) 等論文）

物理安全。使用 AI 來自動執(zhí)行與無人機或其他物理系統(tǒng)（例如部署自主武器系統(tǒng)）攻擊有關的任務，這將會擴大與這些攻擊相關的威脅。此外，使用 AI 也可能會導致出現(xiàn)新型的攻擊，包括破壞網(wǎng)絡物理系統(tǒng)（例如導致自動駕駛車輛崩潰）、遠程入侵物理系統(tǒng)（例如使用成千上萬的微型無人機）。
政治安全。使用 AI 來自動化監(jiān)測（例如分析大量收集的數(shù)據(jù)）、說服（例如創(chuàng)建有針對性的宣傳）、欺騙（例如修改視頻），可能會擴大與侵犯隱私和操縱社交相關的威脅。此外，新型的攻擊可能利用AI逐漸提升的能力，在現(xiàn)有數(shù)據(jù)的基礎上分析人類的行為、情緒、信仰等，這些將會對專制國家?guī)砗艽蟮耐{，但不可否認也將威脅民主國家（例如能否維持公開辯論的真實性）。

四項高層次建議

針對不斷變化的威脅環(huán)境，我們提出了四項高層次的建議：

密切合作。決策者應與技術研究人員密切合作，調查、預防和緩解人工智能的潛在惡意用途。
認真對待。人工智能領域的研究人員和工程師應認真對待他們工作的雙重用途，在研究和開發(fā)中允許誤用相關考慮因素能影響研究/開發(fā)的重點和規(guī)范，并在有害應用可預見時主動與相關行為者接觸。
制定方案。應在研究領域用更多成熟的方案來確定最佳實踐方法來解決雙重用途問題（像解決計算機安全一樣）以及哪些地方能夠應用 AI。
擴大討論范圍。積極尋求擴大參與討論這些挑戰(zhàn)的利益相關者和領域專家的范圍。

探索未決問題和潛在干預措施

除了上面列出的高層次建議之外，我們還建議在四個優(yōu)先研究領域探索幾個未決問題和潛在干預措施：

與網(wǎng)絡安全社區(qū)共同學習。 在網(wǎng)絡安全和人工智能攻擊的交叉領域，我們強調需要探索并潛在實施紅隊聯(lián)盟（red teaming）、形式化驗證、AI 漏洞負責任的披露、安全工具和安全硬件。
探索不同的開放模式。隨著 AI 和 ML 的雙重用途性質變得越來越明顯，我們強調有必要圍繞研究的開放性重新設計規(guī)范和制度，首要進行的包括特別關注的技術領域預印本風險評估、中心訪問許可模式、有利于安全和保障措施的共享制度以及其他雙重用途技術的相關經驗。

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

（隨著開放內容的增加，使用 AI 的技能要求越來越低）

促進責任文化。人工智能研究人員和雇用他們的組織處于一種獨特的位置，他們將塑造人工智能世界的安全格局。我們強調教育、道德聲明和標準、框架、規(guī)范和期望的重要性。
發(fā)展技術和政策解決方案。 除了上述內容，我們還調查了一系列有前景的技術以及政策干預措施，這些技術可以幫助我們建立一個更安全的 AI 未來。進一步的高級領域的研究包括隱私保護、AI 公共安全的協(xié)調使用、AI相關資源的監(jiān)管以及其他的立法和監(jiān)管響應。

提議的干預措施不僅需要人工智能研究人員和公司關注和采取行動，還需要立法人員、公務人員、監(jiān)管機構、安全研究人員和教育工作者對此的關注以及行動。挑戰(zhàn)是艱巨的，風險是高昂的。

文中彩蛋

今天早上，報告作者 Miles Brundage? 教授發(fā)推文說——

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

Miles Brundage?：就不信有人能發(fā)現(xiàn)《AI惡意使用報告》中的彩蛋；誰發(fā)現(xiàn)，我就給誰買一杯咖啡，或者發(fā)一個魚叉釣魚郵件，你自己選擇吧~

Abhishek：有暗示嗎？

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

Miles：有，兩個。

Brubbo：難道是隱藏了一張對抗圖像？

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

Miles：猜的好，不過不是。

Rob：你不會讓我花一星期時間里重讀這101頁報告吧？/(ㄒoㄒ)/~~

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

Miles：把報告再讀一遍也值一杯咖啡。：)

然而聰明、細心、又具挑戰(zhàn)精神的人從來都不缺。不到六個小時，就有人從101頁的報告中找出了Miles教授說的神神秘秘的彩蛋。

OpenAI等機構發(fā)布《人工智能惡意使用》報告，利用AI來犯罪只是時間問題

雷鋒網(wǎng)注：Miles Brundage 和 Shahar Avin 是本報告的兩個主要作者，分別來自牛津大學人類未來研究所和劍橋大學存在風險研究中心；Murray 為倫敦皇家理工學院教授，并擔任 DeepMind 的高級研究科學家。P27 和 P28 頁為報告中針對物理安全和政治安全假象的兩個安全威脅案例。