最近，谷歌和OpenAI的博客都宣布了一條由谷歌、OpenAI、伯克利和斯坦福的學(xué)者共同進(jìn)行的研究，其目的旨在為AI提供一個(gè)有效的行為約束，以使其不會(huì)在有意或無意中做出危害人類的事情。

阿西莫夫的定律已成明日黃花

對(duì)AI的擔(dān)心和限制的想法甚至從AI的概念還沒有誕生的時(shí)候就有了，在那個(gè)人們對(duì)計(jì)算機(jī)還懵懵懂懂的時(shí)代，人們就對(duì)那種強(qiáng)大的、有著金屬身軀和超高智商的存在有了一種本能的恐懼。多年來無數(shù)科學(xué)家、作家都警告AI可能毀滅人類。包括霍金也曾表示超越人類的AI可能造成人類的滅亡。人們也曾探索過限制AI隨意發(fā)展的各種可能性。1950年著名科幻作家阿西莫夫的《我，機(jī)器人》出版，在書中阿西莫夫提出了舉世聞名的機(jī)器人三定律（當(dāng)時(shí)還沒有AI這個(gè)概念，這個(gè)概念在1955年才第一次由約翰·麥卡錫提出） ，阿西莫夫的構(gòu)想是：只要把這三項(xiàng)定律寫入機(jī)器人的代碼底層，確保機(jī)器人無論如何都無法違反，就能保證人類不被機(jī)器人所傷害：

第一定律：機(jī)器人不得傷害人類，或坐視人類受到傷害。

第二定律：機(jī)器人必須服從人類的命令，除非與第一定律沖突

第三定律：在不違背第一定律和第二定律的情況下，機(jī)器人必須保護(hù)自己。

乍一看，這三條定律確實(shí)能有效防止機(jī)器人對(duì)人的各種傷害。但是其實(shí)這個(gè)定律存在兩個(gè)問題：

一是描述太過模糊，以至于機(jī)器人可能通過對(duì)其作出各種解讀來不同程度的達(dá)到自己限制或傷害人類的問題。

二是可操作性太差，即使到了現(xiàn)在，我們也沒法制造出一臺(tái)能真正理解這三條定律含義的AI，對(duì)如何將其寫入AI程序的底層更是毫無頭緒。萬一AI在我們找到實(shí)現(xiàn)機(jī)器人三定律的方法之前就具備了毀滅人類的想法和能力了呢？

谷歌和OpenAI聯(lián)合發(fā)布五條AI定律

谷歌日前發(fā)布了一篇論文，為AI劃出了五條行為規(guī)范，目的是防止AI有意或無意做出傷害人類的事。我們姑且可以稱其為AI五定律。在此我們選取一部分翻譯：

盡管AI可能面臨的安全風(fēng)險(xiǎn)已經(jīng)引起了公眾的注意，但是目前大多數(shù)相關(guān)的討論都顯得過于理想化和理論化。我們相信在機(jī)器學(xué)習(xí)領(lǐng)域?qū)⑾嚓P(guān)的研究盡快落地是非常必要的，因此我們開始研究實(shí)際可行的可將AI系統(tǒng)用安全可靠的手段建立起來的方法。

我們列出了我們認(rèn)為在一般情況下對(duì)AI而言非常重要的五個(gè)問題——都是一些比較前衛(wèi)的思考和長期的研究方向。在目前來看它們的意義比較小，但是在未來的系統(tǒng)中它們會(huì)發(fā)揮重要作用。

避免負(fù)面影響：我們?nèi)绾伪苊釧I在試圖達(dá)到目標(biāo)時(shí)對(duì)環(huán)境做出有負(fù)面影響的舉動(dòng)？比如避免掃地機(jī)器人為了更快的打掃地面而徑直推翻（而不是繞過去） 一個(gè)花瓶。

避免對(duì)獎(jiǎng)勵(lì)條件的非法解讀：我們?nèi)绾伪苊釧I通過篡改測(cè)量值等手段在獎(jiǎng)勵(lì)函數(shù)上玩花樣？比如我們不希望這個(gè)掃地機(jī)器人只是找個(gè)東西把臟東西蓋起來讓自己看不見它，就認(rèn)為自己已經(jīng)掃干凈了地面。

可擴(kuò)展的監(jiān)管：我們?nèi)绾斡行ПＷCAI系統(tǒng)對(duì)那些在系統(tǒng)中不方便太過頻繁的評(píng)估的物體做出適當(dāng)?shù)姆磻?yīng)？比如，如果機(jī)器人需要從人那里獲得訓(xùn)練結(jié)果的反饋，那它就需要有有效的利用這條反饋的能力（而不能像普通的訓(xùn)練那樣不停的核對(duì)訓(xùn)練結(jié)果），因?yàn)椴煌５膯栆粋€(gè)人問題是很煩人的。

環(huán)境探索的安全性：我們?nèi)绾斡行У谋ＷCAI系統(tǒng)評(píng)估環(huán)境的時(shí)候不會(huì)造成太過負(fù)面的影響？比如，一個(gè)掃地機(jī)器人可能會(huì)需要進(jìn)行建立拖地策略的實(shí)驗(yàn)來作為以后工作的依據(jù)。但是很顯然它無論怎么實(shí)驗(yàn)無論如何也不應(yīng)該嘗試把濕拖把插進(jìn)插座中。

分配轉(zhuǎn)變的魯棒性：我們?nèi)绾伪ＷCAI系統(tǒng)處在與其訓(xùn)練環(huán)境完全不同的環(huán)境時(shí)認(rèn)知和行為的穩(wěn)定性？比如，啟發(fā)式算法讓機(jī)器在在工廠中學(xué)到的行為可能在一個(gè)辦公室中就會(huì)顯得不那么安全。

它的重要性不言而喻

確實(shí)有很多人在擔(dān)心著AI對(duì)人類的威脅。包括Elon Musk和霍金等。如果要詳細(xì)區(qū)分一下，這種擔(dān)心更多的不是對(duì)AI所擁有的力量的擔(dān)心，而是對(duì)其力量能不能被用在合適的地方的擔(dān)心。AlphaGo的投資人Talllinn在一次采訪中表示：我們需要重新定義 AI 研究的目標(biāo)。不停留于單純的智能開發(fā)上，而是開發(fā)能充分對(duì)接人類價(jià)值觀的超級(jí)智慧。也是這種擔(dān)心的一種表現(xiàn)。不過目前雖然大眾普遍注意到了這種可能性，但相關(guān)的嚴(yán)肅研究的數(shù)量其實(shí)比較少。

但這其中不包括谷歌，谷歌對(duì)AI安全性的重視由來已久，之前谷歌就曾發(fā)布過一篇論文，設(shè)計(jì)了一個(gè)用于緊急停止算法運(yùn)行的開關(guān)，并且確保開關(guān)的效果不會(huì)被算法阻止，這個(gè)開關(guān)屬于事后防范的應(yīng)急措施。雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號(hào)關(guān)注)翻譯過論文的內(nèi)容，點(diǎn)擊查看。而現(xiàn)在谷歌聯(lián)合多家機(jī)構(gòu)一起制定的這套新的規(guī)則的目的則是為了從源頭——設(shè)計(jì)層面防止AI做出有害的事情。

AI安全聯(lián)盟打臉霍金？

OpenAI就是為了預(yù)防人工智能的災(zāi)難性影響和推動(dòng)人工智能為人類發(fā)揮積極作用而建立的組織，可以說同谷歌在這方面的努力一拍即合。這次的合作研究，既是為了集合更多精英的智慧，得出更有用的結(jié)果。也是為了擴(kuò)大這項(xiàng)研究的影響力，對(duì)AI安全方面的研究起到更大的推進(jìn)作用。因?yàn)槎嗉掖蠊竞徒M織所組成的聯(lián)盟無疑更能引起大家的關(guān)注。

雖然阿西莫夫的作品非常有邏輯性和條理，他的很多作品也確實(shí)預(yù)言了科技發(fā)展的趨勢(shì)，但機(jī)器人三定律畢竟仍然只是一個(gè)文學(xué)作品中的附屬產(chǎn)物，在嚴(yán)謹(jǐn)性方面仍有許多欠缺。此次谷歌等團(tuán)隊(duì)提出的這五條限定條件將目前AI開發(fā)中需要注意的事項(xiàng)作了一個(gè)概括性的總結(jié)，與寬泛而缺乏可操作性的機(jī)器人三定律相比顯得更加實(shí)用。論文中提到了更詳細(xì)的實(shí)現(xiàn)方法。AI科技評(píng)論將在明天的推送中給出全文的翻譯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。