雷鋒網(wǎng)按：大多數(shù)的軟件故障（Software bug）最多會讓你電腦死機，但絕對不會殺了你。不過，如果把場景換到自動駕駛汽車上，恐怕一旦出錯就是致命的了，畢竟誰也承受不了一輛疾馳的汽車在錯誤的時間做出錯誤的決定。

為了消除人們的擔(dān)心，研究人員專門開發(fā)了尋找軟件故障的方法，它能系統(tǒng)地揪出在線服務(wù)和自動駕駛汽車上深度學(xué)習(xí)算法的錯誤決定。

不過，想揪出 AI 的錯誤，還是得靠 AI。這種名為 DeepXplore 的糾錯方法背后至少有三套神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)算法的基礎(chǔ)架構(gòu)）。投入使用時，它們會相互進行對照檢查。DeepXplore 由哥倫比亞大學(xué)和里海大學(xué)共同研發(fā)，其主要目標(biāo)是解決優(yōu)化問題，即在最大化神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的激活數(shù)量和在不同的神經(jīng)網(wǎng)絡(luò)中觸發(fā)盡可能多的沖突決策中找到最佳平衡。

當(dāng)然，這種方法也有個前提，那就是假設(shè)大多數(shù)神經(jīng)網(wǎng)絡(luò)在通常狀態(tài)下會做出正確選擇。隨后，DeepXplore 會自動對那些懷有異見的神經(jīng)網(wǎng)絡(luò)進行“再教育”，讓它們學(xué)會“隨大流”。

“這是一個完全不同的測試架構(gòu)，它能找到自動駕駛系統(tǒng)和類似神經(jīng)網(wǎng)絡(luò)系統(tǒng)中出現(xiàn)的數(shù)千種錯誤?！崩锖４髮W(xué)計算機科學(xué)助理教授 Yinzhi Cao 解釋道。

據(jù)雷鋒網(wǎng)了解，上月月底在上海舉辦的 SOSP 大會上，Cao 和他的同事就憑借一篇論文技驚四座并拿下大獎。該團隊的獲勝意味著業(yè)內(nèi)對深度學(xué)習(xí)中潛藏的軟件故障越來越關(guān)心，像 DeepXplore 這樣的除錯工具未來將有一番新天地。

一般來說，深度學(xué)習(xí)算法在做特定任務(wù)時是有人幫助的，技術(shù)人員會在海量的訓(xùn)練數(shù)據(jù)中標(biāo)出正確答案幫 AI 進步。這樣的方式讓深度學(xué)習(xí)算法在某些測試數(shù)據(jù)集上準(zhǔn)確率突破了 90%，在執(zhí)行 Facebook 的人臉識別和谷歌翻譯的句型選擇時能派上大用場。當(dāng)然，在這種使用場景下，出點小錯根本無傷大雅。

DeepXplore 找出了英偉達(dá) DAVE-2 自動駕駛軟件的致命錯誤（右）

如果說以上的應(yīng)用場景 AI 準(zhǔn)確率已經(jīng)能讓人滿意的話，在高速上行駛的大卡車恐怕就達(dá)不到要求了，畢竟一個小小的錯誤可能就會釀成大禍。

想讓政府監(jiān)管者為自動駕駛汽車“放行”，就必須向他們證明自動駕駛汽車能達(dá)到非常高的安全水準(zhǔn)，或者說用隨機測試集考驗它時不會輕易被揪出那些會帶來災(zāi)難的“極端情況”。

“我認(rèn)為安全和可靠 AI 的理念與可解釋 AI 如出一轍?！盨uman Jana 說道，他是哥倫比亞大學(xué)的計算機科學(xué)助理教授。“透明、可解釋和穩(wěn)健這三大特點在機器學(xué)習(xí)系統(tǒng)與人類攜手工作或驅(qū)動自動駕駛汽車上路之前，還有許多地方有待提升。”

Jana 和 Cao 所在的團隊有許多研發(fā)者是軟件安全和除錯專家，在他們的世界里，即使是那些準(zhǔn)確率高達(dá) 99% 的軟件也不安全，因為黑客會找到系統(tǒng)故障并趁虛而入。

不過，在當(dāng)下的 AI 行業(yè)中，深度學(xué)習(xí)研究者將錯誤當(dāng)成整個訓(xùn)練過程中非常自然的一部分。因此，這個團隊非常適合擔(dān)起大任，成為 AI 世界中的“Bug 獵人”，幫算法找到一個除錯的綜合方案。

眼下，在為自動駕駛汽車的神經(jīng)網(wǎng)絡(luò)除錯時，會用到一些相當(dāng)沉悶且隨機的方法。其中就包括研究人員手動創(chuàng)造測試圖片并將它們“喂”給神經(jīng)網(wǎng)絡(luò)，直到 AI 做出錯誤的選擇。第二種測試方案名為“敵對測試”，AI 會自動生成一系列測試圖片，通過調(diào)整其中細(xì)節(jié)起到欺騙神經(jīng)網(wǎng)絡(luò)的作用。

DeepXplore 的方法與以上兩種有所不同，它自動創(chuàng)造的圖片會讓三個或更多的神經(jīng)網(wǎng)絡(luò)做出相互矛盾的決定。舉例來說，DeepXplore 會在一張圖片中找到幾盞燈光，其中兩個神經(jīng)網(wǎng)絡(luò)會將它看作汽車，而第三個則會將它看作人臉。

與此同時，在測試中 DeepXplore 還會通過激活神經(jīng)元和不同的神經(jīng)網(wǎng)絡(luò)通路來提高神經(jīng)元的覆蓋率。Cao 表示，這種方法取材于傳統(tǒng)的軟件測試方法——代碼覆蓋率。整個過程能讓神經(jīng)網(wǎng)絡(luò) 100% 的活躍起來，或者說比上面提到的兩種測試方法活躍度提高 30%。

據(jù)雷鋒網(wǎng)了解，為了證明 DeepXplore 的實力，它找了 15 個頂級神經(jīng)網(wǎng)絡(luò)練手。

果然，DeepXplore 直接揪出了數(shù)千個此前從未發(fā)現(xiàn)過的錯誤。測試所用的數(shù)據(jù)集涵蓋了自動駕駛汽車、自動目標(biāo)識別和惡意軟件偽裝普通軟件等復(fù)雜的應(yīng)用場景。

當(dāng)然，現(xiàn)在的 DeepXplore 可不敢保證它已經(jīng)找到了系統(tǒng)中的每一個 Bug，不過在測試大規(guī)模神經(jīng)網(wǎng)絡(luò)上，它已經(jīng)比此前的方案先進多了。

斯坦福大學(xué)也在專心研究 AI 除錯，它的方法和 DeepXplore 完全背道而馳，斯坦福更重視如何讓一小簇的神經(jīng)元不受軟件故障的影響。眼下，兩種方案都處在未完成狀態(tài)，但在深度學(xué)習(xí)算法的除錯上，它們都是關(guān)鍵且潛力巨大的一步。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。