0
| 本文作者： 黃善清 | 2019-03-12 14:07 |
雷鋒網(wǎng) AI 科技評(píng)論按：Facebook AI 昨日推薦了一款能夠比當(dāng)前 state-of-the-art 程序更快識(shí)別應(yīng)用安全水平的最新技術(shù)。過(guò)去我們從計(jì)算機(jī)視覺(jué)、強(qiáng)化學(xué)習(xí)以及語(yǔ)音識(shí)別等領(lǐng)域發(fā)掘了深度學(xué)習(xí)的巨大潛力，然而對(duì)于一些安全性要求較高的應(yīng)用（如自動(dòng)駕駛）來(lái)說(shuō)，在模型得到有效驗(yàn)證以前，并無(wú)法真正受惠。Facebook提供的新方法適用于深度學(xué)習(xí)，能夠?qū)o(wú)法確定輸出結(jié)果的輸入內(nèi)容進(jìn)行有效驗(yàn)證，從而杜絕不當(dāng)決策的產(chǎn)生。雷鋒網(wǎng) AI 科技評(píng)論將該開(kāi)源文章編譯如下。
在具體操作上，我們先利用分段線性（這里使用的是 ReLU ）激活的結(jié)構(gòu)來(lái)構(gòu)建一組可能輸出的 convex overapproximation 。該 overapproximation 可通過(guò)線性編程（LP）求解器獲得，且能讓我們迅速判斷輸出是否所需。為了避免操作趨于保守，我們會(huì)將輸入集重復(fù)劃分為更小的子集以及對(duì)應(yīng)較小的 convex overapproximations ，從而細(xì)化 overapproximation。
對(duì)于這種“劃分-處理”類型的操作程序，輸入集分區(qū)的生成方式選擇將對(duì)驗(yàn)證問(wèn)題的時(shí)間長(zhǎng)短產(chǎn)生重大的影響?，F(xiàn)有的技術(shù)主要通過(guò)遞歸的方式將輸入集劃分為較小的子集，以確認(rèn)一組輸入的安全性。而我們的技術(shù)則使用 LP 的最優(yōu)原和雙變量（在 convex overapproximation 過(guò)程中生成）來(lái)計(jì)算靈敏度的度量（所謂的影子價(jià)格），因此得以估計(jì)新的分區(qū)將如何影響隨后的overapproximations，從而減少分裂的數(shù)量。最后的結(jié)果是，我們擁有一個(gè)能以快速且資源有效方式來(lái)驗(yàn)證深度神經(jīng)網(wǎng)絡(luò)的算法，有效減少了計(jì)算所需的時(shí)間。
通過(guò)更有效的算法將輸入集劃分為更小的子集。 在這種情況下，來(lái)自初始集的輸入不會(huì)產(chǎn)生歸屬危險(xiǎn)集的輸出（由感嘆號(hào)表示）。
總的來(lái)說(shuō)，該結(jié)果為我們當(dāng)下各種機(jī)器學(xué)習(xí)應(yīng)用（包括視覺(jué)與控制）的驗(yàn)證方法改進(jìn)提供了一條全新思路。如何高效、可靠地對(duì)深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)行為進(jìn)行驗(yàn)證，是將這些技術(shù)集成到對(duì)安全要求較高的領(lǐng)域的重要一步。我們的未來(lái)工作將集中在如何將驗(yàn)證能力擴(kuò)展至更常見(jiàn)的神經(jīng)網(wǎng)絡(luò)以及具備任意拓?fù)涞妮斎爰?/p>
論文鏈接：
via https://ai.facebook.com/blog/faster-more-efficient-neural-network-verification/
雷鋒網(wǎng) AI 科技評(píng)論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
