雷鋒網(wǎng) AI 科技評(píng)論按：現(xiàn)在的聊天 AI 除了比較出眾的那幾個(gè)——如微軟「小冰」，普遍無(wú)法給人類(lèi)帶來(lái)較好的對(duì)話(huà)體驗(yàn)，其「答非所問(wèn)」的回復(fù)往往讓人啼笑皆非。近日，F(xiàn)acebook 人工智能研究院和斯坦福大學(xué)的研究員們共同開(kāi)發(fā)了一款能通過(guò)從對(duì)話(huà)中提取訓(xùn)練數(shù)據(jù)進(jìn)行自我提高的聊天 AI，通過(guò)實(shí)驗(yàn)測(cè)試，相比于一般聊天 AI ，其對(duì)話(huà)準(zhǔn)確率提高了 31%?？萍济襟w記者 Kyle Wiggers 在 venturebeat 網(wǎng)站上對(duì)這項(xiàng)成果進(jìn)行了報(bào)道，雷鋒網(wǎng) AI 科技評(píng)論編譯如下。

聊天 AI 中很少有不錯(cuò)的健談家。除了擁有 4 千萬(wàn)用戶(hù)和人均 23 次對(duì)話(huà)的微軟「小冰」以及每天服務(wù)近 350 萬(wàn)顧客的智能銷(xiāo)售客服阿里巴巴「店小蜜」，對(duì)于其他大多數(shù)聊天 AI，人類(lèi)的關(guān)注時(shí)長(zhǎng)一般不會(huì)超過(guò) 15 分鐘。但是這并不能影響人類(lèi)對(duì) AI 的使用——實(shí)際上，據(jù) Gartner 預(yù)計(jì)，到 2020 年，這些聊天 AI 將承擔(dān) 85% 的客服交互工作。

幸運(yùn)的是，AI 研究領(lǐng)域的不斷進(jìn)展，為有朝一日實(shí)現(xiàn)高級(jí)得多的聊天 AI 帶來(lái)了很大希望。這周在預(yù)印本網(wǎng)站 Arxiv.org 上發(fā)表的一篇論文（《Learning from Dialogue after Deployment: Feed Yourself, Chatbot!》）中，來(lái)自 Facebook 人工智能研究院和斯坦福大學(xué)的科學(xué)家們描繪了這么一個(gè)聊天 AI——它能夠通過(guò)從對(duì)話(huà)中提取訓(xùn)練數(shù)據(jù)進(jìn)行自我提高。

論文作者解釋道：「當(dāng)對(duì)話(huà)看上去正在順利進(jìn)行時(shí)，用戶(hù)的回復(fù)就會(huì)變成聊天 AI 模擬的新訓(xùn)練樣本。（并且）當(dāng)智能體認(rèn)為自己出現(xiàn)了錯(cuò)誤時(shí)，它會(huì)尋求反饋，并學(xué)著去預(yù)測(cè)反饋，這會(huì)進(jìn)一步提高聊天 AI 的對(duì)話(huà)能力... 這些新的樣本可以提升智能體的對(duì)話(huà)水平。而且這個(gè)過(guò)程只需要使用用戶(hù)的自然回復(fù)，不要求這些回復(fù)有任何的特殊結(jié)構(gòu)，也不需要同時(shí)還伴隨著數(shù)值化的反饋，更不需要額外的人為干預(yù)?！?/p>

研究人員們假設(shè)這種 AI 系統(tǒng)在不進(jìn)行太多人類(lèi)監(jiān)督的情況下，依舊能夠持續(xù)地調(diào)整。那唯一的問(wèn)題是什么？一個(gè)在自身的對(duì)話(huà)上進(jìn)行訓(xùn)練的聊天 AI 存在強(qiáng)化錯(cuò)誤的風(fēng)險(xiǎn)，從而導(dǎo)致產(chǎn)生「荒謬」的對(duì)話(huà)。

研究人員們提出的聊天 AI 與人類(lèi)之間的典型對(duì)話(huà)

圖片來(lái)源：Chatbot

在研究人員們的示例中，這個(gè)解決方案原來(lái)是「滿(mǎn)意度」——也就是說(shuō)，AI 的聊天對(duì)象對(duì)它的回復(fù)的滿(mǎn)意度。他們通過(guò)讓臨時(shí)雇傭人員與 AI 智能體進(jìn)行閑聊，然后在 1~5 的分值區(qū)間中對(duì)智能體的每次回復(fù)的質(zhì)量進(jìn)行打分，來(lái)收集「滿(mǎn)意度」數(shù)據(jù)集，其中智能體的每次回復(fù)，都會(huì)被用來(lái)「教」系統(tǒng)去預(yù)測(cè)：人類(lèi)對(duì)于它們的說(shuō)話(huà)方式是「滿(mǎn)意的」還是「不滿(mǎn)意的」。（為了增加「一個(gè)更干凈的訓(xùn)練集」的類(lèi)別之間的距離，分?jǐn)?shù)為 2 的對(duì)話(huà)上下文會(huì)被舍棄掉。）

在聊天 AI 與人類(lèi)聊天的過(guò)程中，前者會(huì)同時(shí)在兩項(xiàng)任務(wù)中進(jìn)行訓(xùn)練：對(duì)話(huà)任務(wù)（它接下來(lái)要說(shuō)什么）以及反饋任務(wù)（它的回復(fù)的一致性）。對(duì)于每一輪對(duì)話(huà)，它都會(huì)考慮之前的對(duì)話(huà)（用以生成接下來(lái)的回復(fù)），以及大量分值在 0 到 1 范圍內(nèi)的滿(mǎn)意度分?jǐn)?shù)。如果滿(mǎn)意度達(dá)到一個(gè)特定的門(mén)檻，它就會(huì)利用之前的對(duì)話(huà)上下文以及人類(lèi)的回復(fù)來(lái)提取訓(xùn)練集；但是如果分?jǐn)?shù)太低，聊天 AI 就會(huì)提出一個(gè)問(wèn)題來(lái)詢(xún)問(wèn)人類(lèi)的反饋，進(jìn)而使用這一回復(fù)來(lái)為反饋任務(wù)創(chuàng)建一個(gè)新的樣本。

例如，假設(shè)聊天 AI 對(duì)問(wèn)題「法國(guó)這個(gè)時(shí)候的天氣怎么樣？」回復(fù)的是「它很美味」等不相干的回答，一般來(lái)說(shuō)，聊天對(duì)象（人類(lèi)）可能會(huì)接話(huà)：「你到底在說(shuō)什么？」，根據(jù)他們的語(yǔ)氣，這個(gè)聊天 AI 會(huì)推斷出他們對(duì)它的回復(fù)不滿(mǎn)意，進(jìn)而正如它們事先被設(shè)計(jì)好的那樣，去禮貌地提示聊天對(duì)象來(lái)糾正它（「哎呀！我搞糊涂了。我應(yīng)該說(shuō)什么呢？」）。一旦它們得到正確的答案（「也許你應(yīng)該告訴我法國(guó)現(xiàn)在很冷?！梗蜁?huì)從中提取出訓(xùn)練樣本，以防止在未來(lái)犯同樣的錯(cuò)誤。

在他們的研究課題中，這些科學(xué)家為創(chuàng)建在 Transformer（在語(yǔ)言翻譯任務(wù)中表現(xiàn)優(yōu)于最先進(jìn)模型的神經(jīng)架構(gòu)，https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html）上的聊天 AI 喂養(yǎng)了 131,438 個(gè)「人類(lèi)-人類(lèi)」的對(duì)話(huà)樣本，這些樣本源自于 PersonaChat——一個(gè)旨在「與其他人交流... 并且嘗試了解彼此」的由職工人員之間的短對(duì)話(huà)組成的對(duì)外開(kāi)放的數(shù)據(jù)集。在測(cè)試中，他們發(fā)現(xiàn)當(dāng)給定學(xué)習(xí)曲線(xiàn)處于最陡峭部分的小訓(xùn)練集時(shí)，聊天 AI 的準(zhǔn)確率相比基線(xiàn)提高了 31%，同時(shí)表現(xiàn)最好的模型實(shí)現(xiàn)了 46.3% 的準(zhǔn)確率，并在對(duì)話(huà)任務(wù)和反饋任務(wù)上，分別實(shí)現(xiàn)了 68.4% 的準(zhǔn)確率。

至于聊天 AI 預(yù)測(cè)用戶(hù)滿(mǎn)意度的能力，即便在只有 1000 個(gè)訓(xùn)練樣本的情況下，它也「明顯優(yōu)于」之前的方法。

研究人員們寫(xiě)道：「我們展示了，聊天 AI 可以通過(guò)模仿人類(lèi)滿(mǎn)意時(shí)的回復(fù)，或者通過(guò)在他們不滿(mǎn)意時(shí)詢(xún)問(wèn)其反饋，并增加輔助性任務(wù)預(yù)測(cè)反饋，來(lái)提高它們的對(duì)話(huà)能力。并且我們還證明了，對(duì)用戶(hù)滿(mǎn)意度進(jìn)行分類(lèi)是自學(xué)過(guò)程中非常重要的學(xué)習(xí)任務(wù)，這樣的自學(xué)過(guò)程，表現(xiàn)會(huì)明顯優(yōu)于一個(gè)基于模型不確定性的方法?！?/p>

他們表示，論文中所涉及的數(shù)據(jù)集、模型和訓(xùn)練代碼將會(huì)通過(guò) Facebook 的 ParlAI 平臺(tái)對(duì)外開(kāi)放。如果運(yùn)氣好的話(huà)，它們或許能夠幫助實(shí)現(xiàn)真正值得與之交談的下一代聊天 AI。

via：

https://venturebeat.com/2019/01/17/facebook-and-stanford-researchers-design-a-chatbot-that-learns-from-its-mistakes/ 雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。