雷鋒網(wǎng)按：深度神經(jīng)網(wǎng)絡(luò)發(fā)展至今，已經(jīng)使機(jī)器解決了許多超過人類想象的問題。然而這種人工智能算法模型存在一個不可控因子，那就是在神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間，存在著一個隱藏層（“黑箱”），人們無法弄清機(jī)器到底是如何通過輸入的數(shù)據(jù)最終形成決策的。自動駕駛場景中亦然，如果無法找到“黑箱”的邏輯，就無法預(yù)測系統(tǒng)可能出現(xiàn)的問題，這對于極高安全性需求的自動駕駛系統(tǒng)是不被允許的。日前，英偉達(dá)在這個問題上有了一定的突破，他們聲稱已開啟了其自動駕駛深度神經(jīng)網(wǎng)絡(luò)的“黑箱”。本文編譯自IEEE對此的報(bào)道，由于涉及深度學(xué)習(xí)的技術(shù)細(xì)節(jié)，有不準(zhǔn)確之處請專業(yè)讀者指摘。

深度神經(jīng)網(wǎng)絡(luò)，是計(jì)算機(jī)用來理解世界的方式，也是機(jī)器學(xué)習(xí)的經(jīng)典算法模型之一。細(xì)致地說來，這個模型是一個人工的神經(jīng)元網(wǎng)絡(luò)，它接受給定類型的輸入數(shù)據(jù)，然后從中尋找一種規(guī)律性的模式，經(jīng)過多年發(fā)展，目前深度神經(jīng)網(wǎng)絡(luò)（DDN）已經(jīng)被應(yīng)用于語音識別、機(jī)器翻譯、機(jī)器圍棋和自動駕駛汽車等各種場景。

 

*深度神經(jīng)網(wǎng)絡(luò)的抽象模型

深度神經(jīng)網(wǎng)絡(luò)模型在機(jī)器學(xué)習(xí)中發(fā)揮了重要的作用，并往往能產(chǎn)出令人意想不到的結(jié)果，不過之前研究人員一直沒有解決一個問題，那就是在神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間，存在著一個隱藏層（hidden layers），換言之，沒有人真正了解計(jì)算機(jī)在其中是如何工作的。在神經(jīng)網(wǎng)絡(luò)模型中，存在著所謂的“黑箱”。

這也解釋了谷歌AlphaGo為什么無法解釋圍棋比賽是如何勝利的，他們唯一能做的，只是看著他們訓(xùn)練的人工智能不斷成長，從初級階段到打敗世界圍棋大師。

“黑箱”，帶來了神經(jīng)網(wǎng)絡(luò)算法的不確定性，這將可能造成人類無法預(yù)知的故障的發(fā)生。 對于下圍棋的AlphaGo而言，這個問題似乎無傷大雅。但對于面向人類出行的自動駕駛汽車而言，這個問題就無法被忽視了。

對于一輛自動駕駛汽車，工程師必須在其正式運(yùn)行前挖掘到算法中的各種漏洞，預(yù)知可能發(fā)生的問題并解決，最大限度增大系統(tǒng)的安全性冗余。目前來說，有一種方法可以做這樣的排查。那就是通過自動駕駛的算法仿真，將特征逐一輸入給人工智能系統(tǒng)，通過這種方式，排查哪些因素影響了系統(tǒng)決策。不過，英偉達(dá)似乎找到了一種更快捷的方法，這或許能改變深度學(xué)習(xí)網(wǎng)絡(luò)的未來應(yīng)用。

雷鋒網(wǎng)新智駕消息，日前，據(jù)外媒報(bào)道，英偉達(dá)宣稱其已經(jīng)找到了開啟深度神經(jīng)網(wǎng)絡(luò)黑箱的更簡單的方法。此前，英偉達(dá)汽車業(yè)務(wù)負(fù)責(zé)人Danny Shapiro曾在英偉達(dá)官方博客中這樣表示，“雖然深度學(xué)習(xí)技術(shù)在基于我們不完全了解的架構(gòu)進(jìn)行學(xué)習(xí)，但我們?nèi)匀荒軌蛲ㄟ^一些手段來知道系統(tǒng)是如何決策的?！?/p>

據(jù)雷鋒網(wǎng)了解，英偉達(dá)的這種方法是基于深度神經(jīng)網(wǎng)絡(luò)對不同數(shù)據(jù)處理序列輸出結(jié)果的疊加原理。對于一輛自動駕駛汽車而言，比如其前向攝像頭傳感器輸入了一組圖片信息，那么深度神經(jīng)網(wǎng)絡(luò)便會對其進(jìn)行逐層的計(jì)算和學(xué)習(xí)，并輸出結(jié)果。目前，這種結(jié)果可以指示的信息已經(jīng)包括對自動駕駛汽車的轉(zhuǎn)向操作決策，例如車道線保持等。

那么如何具體執(zhí)行“黑箱”的開啟呢？英偉達(dá)是這樣做的。首先，拿到一個已經(jīng)經(jīng)過解析的高層級輸出結(jié)果，該結(jié)果已經(jīng)通過攝像頭采集的圖像數(shù)據(jù)提煉出了關(guān)鍵特征。然后，將這個結(jié)果與低一層級的輸出結(jié)果進(jìn)行疊加，取平均值，再與更低的層級疊加，以此類推，直到疊加到最原始的圖像信息。

這樣一來，得到的最終結(jié)果，是一張有部分高亮特征的原始圖片，這代表了在深度學(xué)習(xí)過程中，到底哪些特征是機(jī)器所關(guān)注的價(jià)值點(diǎn)。通過這種方法可以發(fā)現(xiàn)一個有趣的現(xiàn)象，那就是機(jī)器通過深度神經(jīng)網(wǎng)絡(luò)所關(guān)注的特征點(diǎn)，正是人類駕駛員認(rèn)為需要關(guān)注的——例如車道線標(biāo)識、道路邊緣、停著的車輛、道路的邊線等等。

*疊加后的輸出結(jié)果圖樣例

但由于機(jī)器關(guān)注的特征點(diǎn)不盡相同，為了搞清楚到底哪些決定了機(jī)器的最終決策，研究人員將這些高亮的像素特征點(diǎn)主要分為兩類：第一類是“顯著特征”，即與駕駛決策明確相關(guān)的；第二類是“非顯著特征”，通常是出現(xiàn)在背景中的信息。通過數(shù)字化的研究比對，結(jié)果證明，只有顯著的特征信息與機(jī)器的決策直接相關(guān)。

“如果移動‘顯著特征’，那么輸出的結(jié)果會與我們對圖像整體的改變呈現(xiàn)線性對應(yīng)關(guān)系，”研究人員如是說，“而移動背景中的像素特征則對輸出結(jié)果影響小得多，”

的確，工程師無法深入到一個深度神經(jīng)網(wǎng)絡(luò)中去尋找“bug”，因?yàn)檫@其中不呈現(xiàn)代碼，所以你無法通過代碼調(diào)試。但深度神經(jīng)網(wǎng)絡(luò)卻呈現(xiàn)了特征，現(xiàn)在，英偉達(dá)通過這種路徑，試圖將機(jī)器提取特征的過程可視化，這或許對人們更好地了解深度學(xué)習(xí)機(jī)制有所助力。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。