圖片來源：inteligencia

編者按：機器智能研究院（MIRI）的研究宗旨是，確保比人類更加智能的機器系統(tǒng)會帶來積極影響，研究領(lǐng)域包括：可靠的代理設(shè)計，如何設(shè)計可靠的AI系統(tǒng)執(zhí)行人類交給它的任務(wù)；價值學(xué)習(xí)，如何設(shè)計學(xué)習(xí)系統(tǒng)，讓系統(tǒng)能夠?qū)W會人類的價值觀；錯誤包容，如何設(shè)計配合人類操作員的系統(tǒng)，能夠包容程序員不可避免的錯誤。

MIRI的研究人員來自全球頂尖大學(xué)及企業(yè)，《人工智能：現(xiàn)代方法》的聯(lián)合作者Stuart Russel教授擔(dān)任其研究顧問。今年8月，Russel教授和谷歌DeepMind CEO Demis Hassabis都將參加雷鋒網(wǎng)在深圳舉辦的人工智能與機器人峰會。

谷歌DeepMind研究科學(xué)家Laurent Orseau和牛津大學(xué)研究副教授、機器智能研究院（MIRI）Stuart Armstrong博士共同發(fā)表了一篇新論文，探討包容錯誤的智能代理設(shè)計。論文《可安全干預(yù)的智能代理》將于本月底在紐約的第32屆“人工智能中的不確定性”大會上呈現(xiàn)。論文摘要如下：

“強化學(xué)習(xí)中的智能代理在與復(fù)雜環(huán)境（例如真實世界）互動時，不可能永遠(yuǎn)都在最佳狀態(tài)上。如果代理在人類的監(jiān)督下進行實時操作，系統(tǒng)會時不時地需要人類來按下暫停鍵，防止代理持續(xù)進行一系列有害的行為——對代理或?qū)Νh(huán)境有害的行為——并由人類來將代理帶往安全的環(huán)境。然而，如果學(xué)習(xí)中的代理期望從原本要執(zhí)行的行為中獲得獎勵，長此以往，它可能會學(xué)會避免此類的人類干預(yù)，例如，代理會讓暫停鍵失效——這是我們不想要的結(jié)果。

這篇論文探索了一種方法，可以確保代理不會學(xué)會如何避免（或?qū)で螅┉h(huán)境或者人類操作員對其進行干預(yù)。我們提供了安全干預(yù)的定義，探索了無監(jiān)管下的學(xué)習(xí)特性，并證明有些代理已經(jīng)可以安全地進行干預(yù)，例如Q-learning，或者可以簡單轉(zhuǎn)變?yōu)榭砂踩深A(yù)的代理，例如Sarsa。我們的結(jié)論是，即便是理想的、不可計算的強化學(xué)習(xí)代理，在總體可計算的（決定論的）環(huán)境中，也可以轉(zhuǎn)變?yōu)榭砂踩深A(yù)的代理?！?/p>

Orseau和Armstrong的論文為解決矯正問題帶來了一個新的視角?？沙C正的代理指的是，能夠識別到自身有缺陷、或者正在開發(fā)中的代理，并能幫助其操作員進行維護、改善或者自我替換，而不是抗拒這些操作。

在強人工智能系統(tǒng)中，矯正主要是為了在系統(tǒng)終極目標(biāo)不正確的時候，避免不安全的收斂工具性政策（例如，保護其當(dāng)前的目標(biāo)系統(tǒng)未來不受修改影響的政策）。這讓我們能夠?qū)嵤┗谠囧e和學(xué)習(xí)的恰當(dāng)方法，來解決AI價值規(guī)范的問題。

干預(yù)是為了讓直覺性的矯正概念形式化。例如，“無關(guān)用途”是過往對另一種矯正的定義：系統(tǒng)不介意程序員修改其終極目標(biāo)，因此能避免強迫程序員進行修改、或避免修改。而“可安全干預(yù)的代理”則試圖定義另一種系統(tǒng)，不介意程序員修改其政策，不會阻止程序員干預(yù)它們的日常行為（也不會強迫程序員去干預(yù)）。

這樣做的目標(biāo)是，讓代理認(rèn)為沒有未來干預(yù)時選擇最優(yōu)的政策。即便代理過去經(jīng)歷過干預(yù)，也會好像未來不會有任何干預(yù)一樣行動。Orseau和Armstrong在論文中讓我們看到，若干類型的代理是可以安全干預(yù)的，或者可以簡單轉(zhuǎn)變?yōu)榭砂踩深A(yù)的代理。

點擊鏈接下載Orseau和Armstrong的論文全文。

VIA MIRI

 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。