雷鋒網(wǎng)按：大多數(shù)的軟件故障（Software bug）最多會(huì)讓你電腦死機(jī)，但絕對(duì)不會(huì)殺了你。不過，如果把場(chǎng)景換到自動(dòng)駕駛汽車上，恐怕一旦出錯(cuò)就是致命的了，畢竟誰也承受不了一輛疾馳的汽車在錯(cuò)誤的時(shí)間做出錯(cuò)誤的決定。

為了消除人們的擔(dān)心，研究人員專門開發(fā)了尋找軟件故障的方法，它能系統(tǒng)地揪出在線服務(wù)和自動(dòng)駕駛汽車上深度學(xué)習(xí)算法的錯(cuò)誤決定。

不過，想揪出 AI 的錯(cuò)誤，還是得靠 AI。這種名為 DeepXplore 的糾錯(cuò)方法背后至少有三套神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)算法的基礎(chǔ)架構(gòu)）。投入使用時(shí)，它們會(huì)相互進(jìn)行對(duì)照檢查。DeepXplore 由哥倫比亞大學(xué)和里海大學(xué)共同研發(fā)，其主要目標(biāo)是解決優(yōu)化問題，即在最大化神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的激活數(shù)量和在不同的神經(jīng)網(wǎng)絡(luò)中觸發(fā)盡可能多的沖突決策中找到最佳平衡。

當(dāng)然，這種方法也有個(gè)前提，那就是假設(shè)大多數(shù)神經(jīng)網(wǎng)絡(luò)在通常狀態(tài)下會(huì)做出正確選擇。隨后，DeepXplore 會(huì)自動(dòng)對(duì)那些懷有異見的神經(jīng)網(wǎng)絡(luò)進(jìn)行“再教育”，讓它們學(xué)會(huì)“隨大流”。

“這是一個(gè)完全不同的測(cè)試架構(gòu)，它能找到自動(dòng)駕駛系統(tǒng)和類似神經(jīng)網(wǎng)絡(luò)系統(tǒng)中出現(xiàn)的數(shù)千種錯(cuò)誤?！崩锖４髮W(xué)計(jì)算機(jī)科學(xué)助理教授 Yinzhi Cao 解釋道。

據(jù)雷鋒網(wǎng)了解，上月月底在上海舉辦的 SOSP 大會(huì)上，Cao 和他的同事就憑借一篇論文技驚四座并拿下大獎(jiǎng)。該團(tuán)隊(duì)的獲勝意味著業(yè)內(nèi)對(duì)深度學(xué)習(xí)中潛藏的軟件故障越來越關(guān)心，像 DeepXplore 這樣的除錯(cuò)工具未來將有一番新天地。

一般來說，深度學(xué)習(xí)算法在做特定任務(wù)時(shí)是有人幫助的，技術(shù)人員會(huì)在海量的訓(xùn)練數(shù)據(jù)中標(biāo)出正確答案幫 AI 進(jìn)步。這樣的方式讓深度學(xué)習(xí)算法在某些測(cè)試數(shù)據(jù)集上準(zhǔn)確率突破了 90%，在執(zhí)行 Facebook 的人臉識(shí)別和谷歌翻譯的句型選擇時(shí)能派上大用場(chǎng)。當(dāng)然，在這種使用場(chǎng)景下，出點(diǎn)小錯(cuò)根本無傷大雅。

DeepXplore 找出了英偉達(dá) DAVE-2 自動(dòng)駕駛軟件的致命錯(cuò)誤（右）

如果說以上的應(yīng)用場(chǎng)景 AI 準(zhǔn)確率已經(jīng)能讓人滿意的話，在高速上行駛的大卡車恐怕就達(dá)不到要求了，畢竟一個(gè)小小的錯(cuò)誤可能就會(huì)釀成大禍。

想讓政府監(jiān)管者為自動(dòng)駕駛汽車“放行”，就必須向他們證明自動(dòng)駕駛汽車能達(dá)到非常高的安全水準(zhǔn)，或者說用隨機(jī)測(cè)試集考驗(yàn)它時(shí)不會(huì)輕易被揪出那些會(huì)帶來災(zāi)難的“極端情況”。

“我認(rèn)為安全和可靠 AI 的理念與可解釋 AI 如出一轍?！盨uman Jana 說道，他是哥倫比亞大學(xué)的計(jì)算機(jī)科學(xué)助理教授?！?strong>透明、可解釋和穩(wěn)健這三大特點(diǎn)在機(jī)器學(xué)習(xí)系統(tǒng)與人類攜手工作或驅(qū)動(dòng)自動(dòng)駕駛汽車上路之前，還有許多地方有待提升。”

Jana 和 Cao 所在的團(tuán)隊(duì)有許多研發(fā)者是軟件安全和除錯(cuò)專家，在他們的世界里，即使是那些準(zhǔn)確率高達(dá) 99% 的軟件也不安全，因?yàn)楹诳蜁?huì)找到系統(tǒng)故障并趁虛而入。

不過，在當(dāng)下的 AI 行業(yè)中，深度學(xué)習(xí)研究者將錯(cuò)誤當(dāng)成整個(gè)訓(xùn)練過程中非常自然的一部分。因此，這個(gè)團(tuán)隊(duì)非常適合擔(dān)起大任，成為 AI 世界中的“Bug 獵人”，幫算法找到一個(gè)除錯(cuò)的綜合方案。

眼下，在為自動(dòng)駕駛汽車的神經(jīng)網(wǎng)絡(luò)除錯(cuò)時(shí)，會(huì)用到一些相當(dāng)沉悶且隨機(jī)的方法。其中就包括研究人員手動(dòng)創(chuàng)造測(cè)試圖片并將它們“喂”給神經(jīng)網(wǎng)絡(luò)，直到 AI 做出錯(cuò)誤的選擇。第二種測(cè)試方案名為“敵對(duì)測(cè)試”，AI 會(huì)自動(dòng)生成一系列測(cè)試圖片，通過調(diào)整其中細(xì)節(jié)起到欺騙神經(jīng)網(wǎng)絡(luò)的作用。

DeepXplore 的方法與以上兩種有所不同，它自動(dòng)創(chuàng)造的圖片會(huì)讓三個(gè)或更多的神經(jīng)網(wǎng)絡(luò)做出相互矛盾的決定。舉例來說，DeepXplore 會(huì)在一張圖片中找到幾盞燈光，其中兩個(gè)神經(jīng)網(wǎng)絡(luò)會(huì)將它看作汽車，而第三個(gè)則會(huì)將它看作人臉。

與此同時(shí)，在測(cè)試中 DeepXplore 還會(huì)通過激活神經(jīng)元和不同的神經(jīng)網(wǎng)絡(luò)通路來提高神經(jīng)元的覆蓋率。Cao 表示，這種方法取材于傳統(tǒng)的軟件測(cè)試方法——代碼覆蓋率。整個(gè)過程能讓神經(jīng)網(wǎng)絡(luò) 100% 的活躍起來，或者說比上面提到的兩種測(cè)試方法活躍度提高 30%。

據(jù)雷鋒網(wǎng)了解，為了證明 DeepXplore 的實(shí)力，它找了 15 個(gè)頂級(jí)神經(jīng)網(wǎng)絡(luò)練手。

果然，DeepXplore 直接揪出了數(shù)千個(gè)此前從未發(fā)現(xiàn)過的錯(cuò)誤。測(cè)試所用的數(shù)據(jù)集涵蓋了自動(dòng)駕駛汽車、自動(dòng)目標(biāo)識(shí)別和惡意軟件偽裝普通軟件等復(fù)雜的應(yīng)用場(chǎng)景。

當(dāng)然，現(xiàn)在的 DeepXplore 可不敢保證它已經(jīng)找到了系統(tǒng)中的每一個(gè) Bug，不過在測(cè)試大規(guī)模神經(jīng)網(wǎng)絡(luò)上，它已經(jīng)比此前的方案先進(jìn)多了。

斯坦福大學(xué)也在專心研究 AI 除錯(cuò)，它的方法和 DeepXplore 完全背道而馳，斯坦福更重視如何讓一小簇的神經(jīng)元不受軟件故障的影響。眼下，兩種方案都處在未完成狀態(tài)，但在深度學(xué)習(xí)算法的除錯(cuò)上，它們都是關(guān)鍵且潛力巨大的一步。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。