編者按：人們可以訓(xùn)練人工智能 （AI）和機(jī)器人完成任務(wù)，但整個過程在黑箱中運(yùn)作。我們并不知道 AI 和機(jī)器人是如何決策的。一家名為 OptimizingMind 的初創(chuàng)公司想要解決這個問題。這篇文章將講述該公司對建立透明 AI 決策過程的愿景和大膽嘗試。本文發(fā)表于 TechRepublic，作者 Hope Reese，原標(biāo)題《 Transparent machine learning: How to create 'clear-box' AI》。由雷鋒網(wǎng)編譯，未經(jīng)許可，不得轉(zhuǎn)載。

AI 領(lǐng)域的下一個大事件并不是教會 AI 完成某項任務(wù)，而是讓機(jī)器向人們解釋為什么它們做出了某項決策。比方說，一個機(jī)器人決定走一條特定路線去倉庫，又比如，一輛無人駕駛汽車決定向左或向右轉(zhuǎn)。我們怎么知道 AI 為什么做出這些決定？

卡內(nèi)基梅隆大學(xué)計算機(jī)科學(xué)教授 Manuela Veloso 是研究協(xié)作機(jī)器人的專家。他表示，能解釋自身行為的 AI 對贏得大眾對人工智能的信任至關(guān)重要。“我們需要質(zhì)疑為什么算法程序會做出這樣那樣的決定，如果我們不在 AI 動機(jī)解釋上花功夫，就無法信任這個智能系統(tǒng)?！?/p>

為解決該問題， 創(chuàng)業(yè)公司 OptimizingMind 發(fā)明了一項能觀察智能機(jī)器決策過程的技術(shù)。

這個算法的目的是創(chuàng)造 “透明訪問”系統(tǒng)，以呈現(xiàn)機(jī)器學(xué)習(xí)是如何做出預(yù)期（expectations）的。OptimizingMind 的負(fù)責(zé)人 Tsvi Achler 說：

“該系統(tǒng)以人腦的神經(jīng)模型為基礎(chǔ)，能把任何深度網(wǎng)絡(luò) （deep networks）轉(zhuǎn)化為該系統(tǒng)的模式。它的目的是探索 AI 行為的潛在預(yù)期 （underlying expectations），并且找出 AI 思維模式的哪個方面對決策影響最大”。

有著神經(jīng)科學(xué)、醫(yī)藥和計算機(jī)科學(xué)多重學(xué)科背景的 Achler 認(rèn)為，我們能從人腦如何作出和解釋決策中學(xué)習(xí)到很多（應(yīng)用到 AI 的知識）。

“我感興趣的是，大腦和計算機(jī)的共同點(diǎn)在哪里？為什么人腦可以在學(xué)會任何模型之后把它解釋出來。如果我說 ‘章魚’，你是否能告訴我那是什么？如果我問章魚觸手長什么樣，你能告訴我嗎？”

人能做到，AI 為什么不行？

他說，當(dāng)人類觀察到一個新模式（或規(guī)律）的時候，會立刻學(xué)會那個模式。這對 AI 暫時還不可能。 AI 的學(xué)習(xí)方法被稱為批量學(xué)習(xí)。如果你想要對 AI 加入一個新模式或者新注解，你必須從頭開始把所有的新舊模式重新教一遍。

Achler 開發(fā)的算法呈現(xiàn)出神經(jīng)科學(xué)里的 “爆裂” 現(xiàn)象。當(dāng)人觀察到一個新模式時，多個神經(jīng)元被同時激發(fā)，然后它們沉寂下來。當(dāng)你向某人展示一個模式的時候，下一瞬間會發(fā)生神經(jīng)興奮，之后逐漸地平靜下來。在這個算法里你會看到同樣的事情。

實際上，這種研究方式是對傳統(tǒng)機(jī)器學(xué)習(xí)進(jìn)行了重新思考，Achler 認(rèn)為該過程就像深度學(xué)習(xí)、感知器、支持向量機(jī)（SVM） 、 卷積神經(jīng)網(wǎng)絡(luò)（CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、反向傳播等研究一樣。研究者們并沒有打算解決即時學(xué)習(xí)這一難題。 “這項技術(shù)的目的非常明確，那就是嘗試解釋 AI 是怎樣思考的。沒有人想過如何讓系統(tǒng)變得更靈活或是更具可信度，而它的整體目標(biāo)是讓 AI 決策更容易被訪問?！?/p>

OptimizingMind 是一種以人腦運(yùn)行方式為基礎(chǔ)的算法，旨在使開發(fā)者能“觀察到系統(tǒng)內(nèi)部，理解它們（AI 系統(tǒng)）在干什么，并且很方便地編輯它們，而無需從頭開始訓(xùn)練”。這能讓機(jī)器學(xué)習(xí)“一步到位”，而神經(jīng)網(wǎng)絡(luò)馬上就能學(xué)會。舉例來說，人們能告訴 Siri 某一個詞的定義，然后它會被存儲起來。今天神經(jīng)網(wǎng)絡(luò)還達(dá)不到這一點(diǎn)，它們需要用無數(shù)案例不斷訓(xùn)練學(xué)習(xí)。

所以 “透明訪問”系統(tǒng)是什么意思呢？根據(jù)  Achler 的說法， 這個系統(tǒng)提供了一種實時觀察 AI 決策的方法。 它可以訪問權(quán)重、特點(diǎn)和節(jié)點(diǎn)，提供能讀取這些信息的靈活性，并且能改寫它們。最終，這個系統(tǒng)能讓我們理解神經(jīng)網(wǎng)絡(luò)是怎么做出一個決策的。這個工具能幫助工程師們大幅減少機(jī)器開發(fā)的時間，幫企業(yè)節(jié)省資源。

此外 Achler 還表示，在提供透明度之外，這個算法還可以被修改。不但預(yù)期（expectations）能被表達(dá)出來，每個單獨(dú)預(yù)期還能隨著新信息立刻改變。

今天，大多數(shù)機(jī)器學(xué)習(xí)的方法使用一個正反饋（feedforward）技術(shù)。風(fēng)險投資公司 Naiss.io 的聯(lián)合創(chuàng)始人 Ed Fernandez 說，正反饋使用優(yōu)化過的權(quán)重執(zhí)行任務(wù)。在正反饋系統(tǒng)里，獨(dú)特性信息（ uniqueness information）依據(jù)訓(xùn)練中出現(xiàn)的頻率被錄入權(quán)重。這意味著整套訓(xùn)練中的權(quán)重必須經(jīng)過優(yōu)化。這又意味著 OptimizingMind 可以“根據(jù)正在被識別的模式執(zhí)行優(yōu)化”，這不是為了權(quán)重而優(yōu)化，而是為了模式識別去優(yōu)化。

當(dāng)機(jī)器學(xué)習(xí)與商業(yè)更緊密結(jié)合，并成為無人駕駛和其他極其重要科技的基石，理解機(jī)器學(xué)習(xí)中到底發(fā)生了什么就變得至關(guān)重要。事實上， DARPA 最近啟動了一項對可解釋 AI （XAI，explainable artificial intelligence） 的投資。

正如 Veloso 教授說的：“我們不能假定 AI 系統(tǒng)完美無缺?！蔽覀儽仨殢?AI 的錯誤中學(xué)習(xí)。Veloso 表示，“如果某天發(fā)生了一起 AI 事故，我們必須避免它再次發(fā)生?！?/p>

via techrepublic

推薦閱讀：

神經(jīng)網(wǎng)絡(luò)算法Batch Normalization的分析與展望 | 大牛講堂

人工智能和深度學(xué)習(xí)的下一個風(fēng)口在哪里？——余凱丨微軟亞洲研究院院友會 （含22頁P(yáng)PT）

機(jī)器人也有好奇心，還能自己設(shè)定學(xué)習(xí)目標(biāo)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。