編者按：人們可以訓(xùn)練人工智能 （AI）和機(jī)器人完成任務(wù)，但整個(gè)過(guò)程在黑箱中運(yùn)作。我們并不知道 AI 和機(jī)器人是如何決策的。一家名為 OptimizingMind 的初創(chuàng)公司想要解決這個(gè)問(wèn)題。這篇文章將講述該公司對(duì)建立透明 AI 決策過(guò)程的愿景和大膽嘗試。本文發(fā)表于 TechRepublic，作者 Hope Reese，原標(biāo)題《 Transparent machine learning: How to create 'clear-box' AI》。由雷鋒網(wǎng)編譯，未經(jīng)許可，不得轉(zhuǎn)載。

AI 領(lǐng)域的下一個(gè)大事件并不是教會(huì) AI 完成某項(xiàng)任務(wù)，而是讓機(jī)器向人們解釋為什么它們做出了某項(xiàng)決策。比方說(shuō)，一個(gè)機(jī)器人決定走一條特定路線(xiàn)去倉(cāng)庫(kù)，又比如，一輛無(wú)人駕駛汽車(chē)決定向左或向右轉(zhuǎn)。我們?cè)趺粗?AI 為什么做出這些決定？

卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)教授 Manuela Veloso 是研究協(xié)作機(jī)器人的專(zhuān)家。他表示，能解釋自身行為的 AI 對(duì)贏(yíng)得大眾對(duì)人工智能的信任至關(guān)重要?！拔覀冃枰|(zhì)疑為什么算法程序會(huì)做出這樣那樣的決定，如果我們不在 AI 動(dòng)機(jī)解釋上花功夫，就無(wú)法信任這個(gè)智能系統(tǒng)?！?/p>

為解決該問(wèn)題， 創(chuàng)業(yè)公司 OptimizingMind 發(fā)明了一項(xiàng)能觀(guān)察智能機(jī)器決策過(guò)程的技術(shù)。

這個(gè)算法的目的是創(chuàng)造 “透明訪(fǎng)問(wèn)”系統(tǒng)，以呈現(xiàn)機(jī)器學(xué)習(xí)是如何做出預(yù)期（expectations）的。OptimizingMind 的負(fù)責(zé)人 Tsvi Achler 說(shuō)：

“該系統(tǒng)以人腦的神經(jīng)模型為基礎(chǔ)，能把任何深度網(wǎng)絡(luò) （deep networks）轉(zhuǎn)化為該系統(tǒng)的模式。它的目的是探索 AI 行為的潛在預(yù)期 （underlying expectations），并且找出 AI 思維模式的哪個(gè)方面對(duì)決策影響最大”。

有著神經(jīng)科學(xué)、醫(yī)藥和計(jì)算機(jī)科學(xué)多重學(xué)科背景的 Achler 認(rèn)為，我們能從人腦如何作出和解釋決策中學(xué)習(xí)到很多（應(yīng)用到 AI 的知識(shí)）。

“我感興趣的是，大腦和計(jì)算機(jī)的共同點(diǎn)在哪里？為什么人腦可以在學(xué)會(huì)任何模型之后把它解釋出來(lái)。如果我說(shuō) ‘章魚(yú)’，你是否能告訴我那是什么？如果我問(wèn)章魚(yú)觸手長(zhǎng)什么樣，你能告訴我嗎？”

人能做到，AI 為什么不行？

他說(shuō)，當(dāng)人類(lèi)觀(guān)察到一個(gè)新模式（或規(guī)律）的時(shí)候，會(huì)立刻學(xué)會(huì)那個(gè)模式。這對(duì) AI 暫時(shí)還不可能。 AI 的學(xué)習(xí)方法被稱(chēng)為批量學(xué)習(xí)。如果你想要對(duì) AI 加入一個(gè)新模式或者新注解，你必須從頭開(kāi)始把所有的新舊模式重新教一遍。

Achler 開(kāi)發(fā)的算法呈現(xiàn)出神經(jīng)科學(xué)里的 “爆裂” 現(xiàn)象。當(dāng)人觀(guān)察到一個(gè)新模式時(shí)，多個(gè)神經(jīng)元被同時(shí)激發(fā)，然后它們沉寂下來(lái)。當(dāng)你向某人展示一個(gè)模式的時(shí)候，下一瞬間會(huì)發(fā)生神經(jīng)興奮，之后逐漸地平靜下來(lái)。在這個(gè)算法里你會(huì)看到同樣的事情。

實(shí)際上，這種研究方式是對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)進(jìn)行了重新思考，Achler 認(rèn)為該過(guò)程就像深度學(xué)習(xí)、感知器、支持向量機(jī)（SVM） 、 卷積神經(jīng)網(wǎng)絡(luò)（CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、反向傳播等研究一樣。研究者們并沒(méi)有打算解決即時(shí)學(xué)習(xí)這一難題。 “這項(xiàng)技術(shù)的目的非常明確，那就是嘗試解釋 AI 是怎樣思考的。沒(méi)有人想過(guò)如何讓系統(tǒng)變得更靈活或是更具可信度，而它的整體目標(biāo)是讓 AI 決策更容易被訪(fǎng)問(wèn)?！?/p>

OptimizingMind 是一種以人腦運(yùn)行方式為基礎(chǔ)的算法，旨在使開(kāi)發(fā)者能“觀(guān)察到系統(tǒng)內(nèi)部，理解它們（AI 系統(tǒng)）在干什么，并且很方便地編輯它們，而無(wú)需從頭開(kāi)始訓(xùn)練”。這能讓機(jī)器學(xué)習(xí)“一步到位”，而神經(jīng)網(wǎng)絡(luò)馬上就能學(xué)會(huì)。舉例來(lái)說(shuō)，人們能告訴 Siri 某一個(gè)詞的定義，然后它會(huì)被存儲(chǔ)起來(lái)。今天神經(jīng)網(wǎng)絡(luò)還達(dá)不到這一點(diǎn)，它們需要用無(wú)數(shù)案例不斷訓(xùn)練學(xué)習(xí)。

所以 “透明訪(fǎng)問(wèn)”系統(tǒng)是什么意思呢？根據(jù)  Achler 的說(shuō)法， 這個(gè)系統(tǒng)提供了一種實(shí)時(shí)觀(guān)察 AI 決策的方法。 它可以訪(fǎng)問(wèn)權(quán)重、特點(diǎn)和節(jié)點(diǎn)，提供能讀取這些信息的靈活性，并且能改寫(xiě)它們。最終，這個(gè)系統(tǒng)能讓我們理解神經(jīng)網(wǎng)絡(luò)是怎么做出一個(gè)決策的。這個(gè)工具能幫助工程師們大幅減少機(jī)器開(kāi)發(fā)的時(shí)間，幫企業(yè)節(jié)省資源。

此外 Achler 還表示，在提供透明度之外，這個(gè)算法還可以被修改。不但預(yù)期（expectations）能被表達(dá)出來(lái)，每個(gè)單獨(dú)預(yù)期還能隨著新信息立刻改變。

今天，大多數(shù)機(jī)器學(xué)習(xí)的方法使用一個(gè)正反饋（feedforward）技術(shù)。風(fēng)險(xiǎn)投資公司 Naiss.io 的聯(lián)合創(chuàng)始人 Ed Fernandez 說(shuō)，正反饋使用優(yōu)化過(guò)的權(quán)重執(zhí)行任務(wù)。在正反饋系統(tǒng)里，獨(dú)特性信息（ uniqueness information）依據(jù)訓(xùn)練中出現(xiàn)的頻率被錄入權(quán)重。這意味著整套訓(xùn)練中的權(quán)重必須經(jīng)過(guò)優(yōu)化。這又意味著 OptimizingMind 可以“根據(jù)正在被識(shí)別的模式執(zhí)行優(yōu)化”，這不是為了權(quán)重而優(yōu)化，而是為了模式識(shí)別去優(yōu)化。

當(dāng)機(jī)器學(xué)習(xí)與商業(yè)更緊密結(jié)合，并成為無(wú)人駕駛和其他極其重要科技的基石，理解機(jī)器學(xué)習(xí)中到底發(fā)生了什么就變得至關(guān)重要。事實(shí)上， DARPA 最近啟動(dòng)了一項(xiàng)對(duì)可解釋 AI （XAI，explainable artificial intelligence） 的投資。

正如 Veloso 教授說(shuō)的：“我們不能假定 AI 系統(tǒng)完美無(wú)缺?！蔽覀儽仨殢?AI 的錯(cuò)誤中學(xué)習(xí)。Veloso 表示，“如果某天發(fā)生了一起 AI 事故，我們必須避免它再次發(fā)生?！?/p>

via techrepublic

推薦閱讀：

神經(jīng)網(wǎng)絡(luò)算法Batch Normalization的分析與展望 | 大牛講堂

人工智能和深度學(xué)習(xí)的下一個(gè)風(fēng)口在哪里？——余凱丨微軟亞洲研究院院友會(huì) （含22頁(yè)P(yáng)PT）

機(jī)器人也有好奇心，還能自己設(shè)定學(xué)習(xí)目標(biāo)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。