雷鋒網(wǎng) AI 科技評(píng)論按：本篇屬于「頂會(huì)見(jiàn)聞系列」。每年這么多精彩的人工智能/機(jī)器學(xué)習(xí)會(huì)議，沒(méi)去現(xiàn)場(chǎng)的自然可惜，在現(xiàn)場(chǎng)的也容易看花眼。那么事后看看別的研究員的見(jiàn)聞總結(jié)，也許會(huì)有新的收獲呢。

Gautier Marti 在法國(guó)巴黎高等師范學(xué)校獲得應(yīng)用數(shù)學(xué)的碩士學(xué)位，而后在巴黎綜合理工學(xué)院獲得機(jī)器學(xué)習(xí)量化分析的博士學(xué)位。2013 年 3 月至 5 月，Gautier Marti 在中科院自動(dòng)化研究所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室實(shí)習(xí)。在 2014 年至 2017 年任 Hellebore Capital 的機(jī)器學(xué)習(xí)研究科學(xué)家之后，現(xiàn)在他在 AXA IM Chorus 任 NLP 量化分析研究員。機(jī)器學(xué)習(xí)+金融的研究人員對(duì)理論性較強(qiáng)的 ICML 有何感悟呢？雷鋒網(wǎng) AI 科技評(píng)論把他的個(gè)人博客文章全文編譯如下。本篇為上篇，共兩篇。

本屆 ICML 大會(huì)于 2018 年 7 月11 日進(jìn)入了主會(huì)議日程（7月10日的內(nèi)容為教程）。會(huì)議伊始，UC 伯克利大學(xué) Dawn Song 教授應(yīng)邀為大會(huì)做了題為「人工智能與安全：教訓(xùn)、挑戰(zhàn)和未來(lái)研究方向」的主旨報(bào)告。接著，本屆 ICML 會(huì)議的最佳論文獎(jiǎng)?lì)C發(fā)給了「由模糊梯度引起的虛假安全感：繞過(guò)對(duì)抗性樣本的防御」。

大會(huì)報(bào)告

Dawn Song 教授的「人工智能與安全：教訓(xùn)、挑戰(zhàn)和未來(lái)研究方向」的大會(huì)報(bào)告主要有以下幾個(gè)關(guān)鍵的論點(diǎn)：

• 計(jì)算機(jī)安全方面的研究可以幫助 AI 研究的發(fā)展，而 AI 的研究也可以幫助計(jì)算機(jī)安全進(jìn)步（舉例而言，為了檢測(cè)出惡意代碼，人們可以對(duì)代碼的（數(shù)據(jù)流、控制流等）圖進(jìn)行計(jì)算。此時(shí)，我們就可以利用圖嵌入技術(shù)將代碼圖的信息轉(zhuǎn)換到相應(yīng)的表示向量中。最終使用余弦相似度作為度量指標(biāo)將原始代碼與樣本庫(kù)中的代碼進(jìn)行對(duì)比，從而判斷原始代碼是否為惡意代碼）。

• 差分隱私（雷鋒網(wǎng) AI 科技評(píng)論注：原作者在此處沒(méi)有展開(kāi)，我們的一篇往期文章有較細(xì)致的分析）

• 有一些模型（特別是深度神經(jīng)網(wǎng)絡(luò)）可以記住一部分訓(xùn)練集中的信息（從數(shù)據(jù)學(xué)習(xí)的副作用）。而事實(shí)上，人們并不應(yīng)該具備通過(guò)對(duì)模型進(jìn)行查詢從而反推出訓(xùn)練集中的數(shù)據(jù)的能力（不妨想一想信用卡號(hào)或其他的敏感信息）。

• 人工智能、計(jì)算機(jī)安全、區(qū)塊鏈等技術(shù)之間的協(xié)同作用。例如，在設(shè)計(jì)一個(gè)數(shù)據(jù)集市（數(shù)據(jù)來(lái)源）時(shí)，用戶可能由于其信息被泄露而受到損害。然而，我們可以通過(guò)智能合約技術(shù)保證用戶的數(shù)據(jù)將僅僅被用于擬合機(jī)器學(xué)習(xí)模型，而用戶將從中收到報(bào)酬。所有這些對(duì)這些數(shù)據(jù)的隱私安全保護(hù)方法都要?dú)w功于差分隱私技術(shù)。我知道，你在這一段中看到了許多流行的概念，考慮到 Song 教授的一系列工作的記錄，這個(gè)領(lǐng)域可能還有很多值得研究的空間。

• 實(shí)際上，Song 教授目前是一家基于以上的想法創(chuàng)建的公司——「Oasis Labs」的創(chuàng)始人和首席執(zhí)行官。

最佳論文

我從最佳論文「由模糊梯度引起的虛假安全感：繞過(guò)對(duì)抗性樣本的防御」中有以下收獲：

•  一個(gè)對(duì)抗性樣本是一個(gè)以很高的置信度被錯(cuò)誤分類的樣本，它與被正確分類的樣本非常相似（甚至對(duì)于人眼來(lái)說(shuō)，兩張圖像是一摸一樣的。不妨想象一下，當(dāng)我們僅僅對(duì)一個(gè)圖片的幾個(gè)像素點(diǎn)進(jìn)行改變，這時(shí)人眼是無(wú)法區(qū)分的，而機(jī)器學(xué)習(xí)算法則可能被誤導(dǎo)）。

• 這可能讓那些對(duì)自己的機(jī)器學(xué)習(xí)模型的魯棒性十分關(guān)心的人感到懊惱，而且這也帶來(lái)了新的安全威脅：你可以通過(guò)適當(dāng)修改道路交通標(biāo)志來(lái)愚弄一個(gè)無(wú)人駕駛汽車。

• 這樣的對(duì)抗性樣本是相對(duì)來(lái)說(shuō)很容易生成的。

• 研究人員專注于通過(guò)對(duì)他們的梯度進(jìn)行模糊處理來(lái)保護(hù)他們的模型。

• 本文指出，這種防御方式是很弱的，而且他們攻破了目前最先進(jìn)的防御方法。

• 論文的講解人提議對(duì)論文進(jìn)行更多的評(píng)估（重新評(píng)估）：在200 多篇提出了一種防護(hù)策略的論文中，只有30 篇被重新評(píng)估了。

• Schneier 定律：對(duì)于任何人來(lái)說(shuō)（從最小白的業(yè)余愛(ài)好者到最專業(yè)的密碼專家），他們都可以創(chuàng)造一種他們自己無(wú)法突破的算法。

• 在提出防御策略之前，要先學(xué)會(huì)怎么進(jìn)行攻擊。

分會(huì)場(chǎng)討論

在上面提到的全體大會(huì)報(bào)告后，7 月11 日的 ICML 大會(huì)余下的內(nèi)容分為了三個(gè)分會(huì)場(chǎng)，會(huì)場(chǎng)之間的主題高度平行（相關(guān)度較低）。同時(shí)也有晚間的海報(bào)討論。

我參加了以下會(huì)議討論：

表示學(xué)習(xí)（session 1）

不幸的是，遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)的會(huì)場(chǎng)已經(jīng)滿了。在我的工作中，我大多數(shù)時(shí)候都是與無(wú)標(biāo)簽數(shù)據(jù)打交道，因此，我對(duì)無(wú)監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)及半監(jiān)督學(xué)習(xí)十分感興趣。嵌入技術(shù)是目前一個(gè)非?；鸬恼n題，盡管目前人們還不是太清楚嵌入技術(shù)是如何影響下游任務(wù)的（如果嵌入并不是從下游任務(wù)中提取到的），但通過(guò)嵌入技術(shù)確實(shí)能夠得到非常好的學(xué)習(xí)結(jié)果。

高斯過(guò)程+稀疏化和壓縮感知稀疏化的最后一篇論文（下方論文列表第一篇）（session 2A）

高斯過(guò)程是一種用于連續(xù)時(shí)間內(nèi)的隨機(jī)時(shí)間序列的無(wú)參貝葉斯技術(shù)，并且具有很強(qiáng)的應(yīng)用價(jià)值。我曾經(jīng)使用過(guò) GPy2 擬合高斯過(guò)程，并在對(duì)自回歸異步多變量時(shí)間序列建模時(shí)把它作為一種替代方法。

排序?qū)W習(xí)和優(yōu)先級(jí)學(xué)習(xí)（session 2B）

我之所以參加這個(gè)討論，主要是因?yàn)橐环N量化交易的方法可以被看作通過(guò)學(xué)習(xí)根據(jù)某些指標(biāo)對(duì)股票進(jìn)行排名，并最終合并排名和優(yōu)先級(jí)。

網(wǎng)絡(luò)和關(guān)系學(xué)習(xí)（session 3）

我過(guò)去曾經(jīng)在這個(gè)領(lǐng)域開(kāi)展過(guò)廣泛的工作。盡管我并不是對(duì)深度學(xué)習(xí)進(jìn)行研究，但是我曾大量使用古老的統(tǒng)計(jì)方法和曾經(jīng)風(fēng)靡一時(shí)的層次聚類技術(shù)（詳情參見(jiàn)這篇論文：https://arxiv.org/pdf/1703.00485.pdf  ）。對(duì)于我來(lái)說(shuō)，對(duì)這個(gè)話題的討論是最令我激動(dòng)的。

具體而言，我重點(diǎn)關(guān)注了以下論文：

「Online Convolutional Sparse Coding with Sample-Dependent Dictionary（通過(guò)基于樣本的字典進(jìn)行在線卷積稀疏編碼）」：HKers 聲稱他們提出了一種只需保留少量過(guò)濾器的基礎(chǔ)（用于生物醫(yī)學(xué)圖像壓縮/去噪/重構(gòu)），就能夠在隨后通過(guò)線性變換（是一個(gè)學(xué)習(xí)到的基于樣本的權(quán)值矩陣）進(jìn)行大規(guī)模的擴(kuò)展的技術(shù)。

「Canonical Tensor Decomposition for Knowledge Base Completion（用于完善知識(shí)庫(kù)的正則化張量分解技術(shù)）」：這是我以前的一位同學(xué)的工作，他現(xiàn)任職于 Facebook 人工智能研究院。可以在GitHub（https://github.com/facebookresearch/kbc）上查看本文代碼。

「NetGAN: Generating Graphs via Random Walks（NetGAN：通過(guò)隨機(jī)游走生成圖）」：這篇文章的演講非常清楚。GAN（生成對(duì)抗網(wǎng)絡(luò)）可以利用輸入中給定的圖生成與其極為相似的圖，還能微調(diào)成一些擁有相同節(jié)點(diǎn)的圖。對(duì)于我自己在金融的相關(guān)性、金融中程式化的事實(shí)以及隱含嵌入空間方面的研究提供了一些有趣的思路。這篇論文的海報(bào)非常有說(shuō)服力?？梢栽?GitHub 上查看這篇論文的代碼：https://github.com/danielzuegner/netgan

「GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models（GraphRNN：通過(guò)深度自回歸模型生成與真實(shí)情況相近的圖）」：使用圖的序列表示生成模型，然后在上面應(yīng)用RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型?？梢栽贕itHub 上查看本文代碼：https://github.com/JiaxuanYou/graph-generation

「CoVeR: Learning Covariate-Specific Vector Representations with Tensor Decompositions（CoVeR：通過(guò)張量分解學(xué)習(xí)共變量的矢量表示）」：在學(xué)習(xí)嵌入的語(yǔ)料庫(kù)中調(diào)整詞嵌入。

第二天、第三天的內(nèi)容請(qǐng)期待下篇。

via Gautier Mari's Wander，雷鋒網(wǎng) AI 科技評(píng)論編譯

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。