惡意人工智能對人類構(gòu)成嚴(yán)重威脅的可能性已經(jīng)成為了當(dāng)下一個熱點(diǎn)爭論話題。從物理學(xué)家史蒂芬·霍金到科技企業(yè)家伊隆·馬斯克，許多影響力巨大的杰出人物都對人工智能的危險(xiǎn)發(fā)出過警告。

這就是人工智能安全正成為一個重要學(xué)科的原因。計(jì)算機(jī)科學(xué)家開始分析設(shè)計(jì)糟糕的人工智能系統(tǒng)可能帶來的意想不到的后果——有的人工智能系統(tǒng)使用了錯誤的道德框架，有的擁有與人類不同的價(jià)值觀……

但這一領(lǐng)域還存在著一個重要的漏洞，肯塔基州路易斯維爾大學(xué)獨(dú)立研究者 Federico Pistono 和 Roman Yampolskiy 說：“就我們所知，在如何設(shè)計(jì)惡意機(jī)器的方面還沒任何東西發(fā)表?！?/span>

這是一個顯著的問題，因?yàn)樵谟?jì)算機(jī)安全專家在有希望打敗惡意的機(jī)器之前，他們必須先了解它們。

Pistono 和 Yampolskiy 現(xiàn)在決定填補(bǔ)這一空白——至少是部分填補(bǔ)：他們開發(fā)的關(guān)鍵點(diǎn)是在某些特定的環(huán)境中最有可能出現(xiàn)的惡意人工智能。因此，他們預(yù)設(shè)了惡意人工智能系統(tǒng)可能出現(xiàn)的條件。而他們的結(jié)論對某一兩家公司來說不是好新聞。

所以哪些跡象表明有可能會開發(fā)出惡意的人工智能系統(tǒng)？Pistono 和 Yampolskiy 說可能會有一些明顯的跡象。

其中最明顯的一個是人工智能系統(tǒng)開發(fā)過程中監(jiān)督的缺乏。

“如果一個團(tuán)隊(duì)決定開發(fā)一個惡意人工智能，它會阻止一個全局性監(jiān)督委員會的存在，從而增加自己成功的可能性?！?/span>

為了做到這一點(diǎn)，這樣一個團(tuán)隊(duì)會通過散布混亂的信息淡化其工作所帶來的影響和危險(xiǎn)?！安呗允莻鞑ハ嗷ッ艿男畔?，使之在公眾的想象中創(chuàng)造關(guān)于通用人工智能研究的危險(xiǎn)和機(jī)遇的疑問?！?/span>

另一個重要的跡象是人工智能系統(tǒng)背后閉源代碼的存在。Pistono 和 Yampolskiy 說：

“密碼技術(shù)和計(jì)算機(jī)安全的專家都很清楚閉源軟件和算法沒有它們自由且開源的競爭對手那樣安全。非自由軟件和硬件的存在將人類置于了更大的危險(xiǎn)中?！?/span>

事實(shí)上，他們說盡管人工智能也可以使用開源軟件開發(fā)，但這是否更安全仍然是未知的。開源過程可以讓更多人尋找和修復(fù)漏洞，但也將這些軟件的權(quán)限賦予了罪犯、恐怖分子等可能將其用于邪惡目的的人。

目前，這兩種方式開發(fā)的人工智能都存在。其中閉源系統(tǒng)已經(jīng)取得了一些廣為人知的成就。比如，谷歌的人工智能系統(tǒng)最近在古老的圍棋游戲中擊敗了人類。Facebook 也擁有一個有很高知名度的人工智能研究團(tuán)隊(duì)，盡管該團(tuán)隊(duì)公開的成果要少一些。

兩家公司都沒有明確公開其研究的管理方式。比如，谷歌的子公司 DeepMind 聲稱其擁有一個人工智能倫理委員會，但卻一直拒絕披露誰在管理這個機(jī)構(gòu)。Facebook 只是說對人工智能的擔(dān)憂被夸大了。

開源人工智能的發(fā)展沒有那么先進(jìn)；但至少部分在對商業(yè)對手的恐懼的驅(qū)動下，開源人工智能也開始獲得發(fā)展的勢頭。其中最引人注目的是 OpenAI，這是一個創(chuàng)立于 2015 年的非營利性人工智能組織，其目標(biāo)是“以利于人類整體福祉的方式推進(jìn)數(shù)字智能的發(fā)展，而不受到經(jīng)濟(jì)回報(bào)需求的限制?！?/span>

該組織目前已經(jīng)獲得了多達(dá) 10 億美元的資助，其中包括一再警告人工智能的危險(xiǎn)的科技企業(yè)家伊隆·馬斯克。（Musk 也是本文提到的研究的作者之一 Roman Yampolskiy 的資助者之一。）

OpenAI 是否將增加或減少惡意人工智能系統(tǒng)出現(xiàn)的可能性仍尚不明朗。但其目標(biāo)至少是確保一切發(fā)展都處在公眾的視野之中。

人工智能安全上還存在一個短板：用于人工智能系統(tǒng)的網(wǎng)絡(luò)安全應(yīng)用的發(fā)展沒有用于普通軟件的好。計(jì)算機(jī)安全專家早就認(rèn)識到惡意軟件是現(xiàn)代社會的一個顯著威脅。許多重在安全的應(yīng)用——核電站、空中交通管制、生命支持系統(tǒng)等——的設(shè)計(jì)最多不過是避免災(zāi)難而已。這種情況會因惡意軟件（病毒和木馬等）的設(shè)計(jì)者有意尋找和利用這些應(yīng)用的漏洞而加劇。

為了解決這個問題，安全專家已經(jīng)開發(fā)出了一個強(qiáng)有力的生態(tài)系統(tǒng)，以在漏洞被利用之前就將其識別出來并進(jìn)行修復(fù)。他們研究惡意軟件并尋找中和它們的方法。

他們也有一個用于僅在圈內(nèi)傳播這種信息的通信系統(tǒng)，這可以使漏洞在被傳播開之前就迅速得到糾正。

但在人工智能研究方面卻并不存在一個類似的系統(tǒng)。在目前人工智能系統(tǒng)還相對良性時(shí)，這可能并不重要——目前的人工智能關(guān)注的主題大都是自然語言處理、對象識別和駕駛等任務(wù)。但在未來幾年內(nèi)，這種情況可能會迅速改變，總會有人開始主動研發(fā)惡意人工智能。

人類應(yīng)該怎樣應(yīng)對可能給人類帶來可怕后果的惡意人工智能？這是一個很重要的問題，這是一個值得我們現(xiàn)在就開始深入思考的問題。

參考論文：Unethical Research: How to Create a Malevolent Artificial Intelligence

via MIT TechReview

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。