雷鋒網(wǎng)編者按：萬眾矚目的2017年ICLR 于今天在法國召開。該大會(huì)是Yann LeCun 、Yoshua Bengio 等幾位行業(yè)頂級(jí)專家于2013年發(fā)起。別看它歷史不長，影響力卻不小，如今已成為深度學(xué)習(xí)領(lǐng)域一個(gè)至關(guān)重要的學(xué)術(shù)盛事。

據(jù)雷鋒網(wǎng)消息，ICLR論文評選結(jié)果于今日新鮮出爐。經(jīng)過列為評委的火眼金睛，在507份論文中共有15篇論文成功進(jìn)入口頭展示階段，181篇進(jìn)入海報(bào)展示階段。

                              

除了這些被選入ICLR 2017的論文，還有三篇論文成功當(dāng)選為ICLR 2017最佳論文。今天，雷鋒網(wǎng)小編就帶大家領(lǐng)略一下這三篇最佳論文的風(fēng)采。這三篇論文分別是：

• 《用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練隱私數(shù)據(jù)的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

• 《通過遞歸實(shí)現(xiàn)神經(jīng)編程架構(gòu)通用化》（Making Neural Programming Architectures Generalize via Recursion）

• 《泛化——一個(gè)理解深度學(xué)習(xí)需要重新思考的問題》（Understanding deep learning requires rethinking generalization）

1.《用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練隱私數(shù)據(jù)的問題》

（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

該論文由Nicolas Papernot（賓夕法尼亞州立大學(xué)）、Martín Abadi、Kunal Talwar（谷歌大腦）的，úlfar Erlingsson（谷歌）以及Ian Goodfellow（OpenAI）共同完成。

提起Ian Goodfellow，經(jīng)常關(guān)注雷鋒網(wǎng)的同學(xué)一定不會(huì)陌生。Ian Goodfellow是Open AI頂級(jí)人工智能科學(xué)家，因其在生成式對抗網(wǎng)絡(luò)領(lǐng)域的研究成果被尊稱為“GAN之父”。關(guān)于他的GAN研究成果，請看雷鋒網(wǎng)此前報(bào)道《深度丨 Yoshua Bengio 得意門生詳解機(jī)器學(xué)習(xí)生成對抗網(wǎng)絡(luò)》。

• 論文摘要

有些機(jī)器學(xué)習(xí)應(yīng)用訓(xùn)練數(shù)據(jù)時(shí)可能會(huì)涉及到一些敏感數(shù)據(jù)，比如臨床試驗(yàn)患者的醫(yī)療史。這是因?yàn)槟Ｐ涂赡軙?huì)無意間，以不容易被發(fā)現(xiàn)的方式將這些訓(xùn)練數(shù)據(jù)儲(chǔ)存下來。而只要對模型進(jìn)行仔細(xì)分析，這些敏感信息就能被重新提取出來。

為了解決這個(gè)問題，我們在這里為大家展示一種可以減少隱私數(shù)據(jù)泄露的通用方法——該方法以黑箱的方式，把用不相交數(shù)據(jù)集（例如來自不同用戶子集的記錄）訓(xùn)練而成的多個(gè)模型結(jié)合在一起。由于數(shù)據(jù)涉及隱私，所以模型不會(huì)被公開，而是作為學(xué)生模型的教師。學(xué)生需要學(xué)會(huì)的預(yù)測結(jié)果由全部教師的有噪投票（noisy vote）選出，并且學(xué)生不能直接對單個(gè)教師模型、底層數(shù)據(jù)或參數(shù)進(jìn)行訪問。

由于不涉及單個(gè)教師，因此也不會(huì)存在用單個(gè)數(shù)據(jù)集訓(xùn)練學(xué)生的情況。這就在差分隱私（differential privacy）方面確保了學(xué)生模型的隱私性。即使是入侵者可以查詢學(xué)生模型并檢查其內(nèi)部運(yùn)作，學(xué)生模型的隱私性依然有效。

和之前的工作相比，該方法只是加強(qiáng)了如何訓(xùn)練教師的弱假設(shè)：它可以應(yīng)用于任何模型，包括非凸（non-convex）模型DNN。

改善后的隱私分析和半監(jiān)督學(xué)習(xí)技術(shù)使模型在MNIST 和 SVHN 上既有高度的實(shí)用性，又能保護(hù)用戶隱私不被泄露。

簡單來說該方法就是：

1. 用敏感數(shù)據(jù)的不相交子集訓(xùn)練一組教師模型；

2. 用被教師組標(biāo)記過的公共數(shù)據(jù)訓(xùn)練學(xué)生模型。

• 最終評審結(jié)果是這樣評價(jià)的

該論文為差分隱私學(xué)習(xí)提供了一個(gè)通用的教師-學(xué)生模型，讓學(xué)生學(xué)會(huì)預(yù)測一組教師的噪音投票。噪音讓學(xué)生做到差分隱私的同時(shí)，也保證了MNIST和SVHN的精確分類。評選委員會(huì)認(rèn)為該論文撰寫得很優(yōu)秀。

•  決定

采納（口頭展示）

（論文詳情及評價(jià)可查看：https://openreview.net/forum?id=HkwoSDPgg&noteId=HkwoSDPgg）

2.《通過遞歸實(shí)現(xiàn)神經(jīng)編程架構(gòu)通用化》

（Making Neural Programming Architectures Generalize via Recursion）

該論文由Jonathon Cai, Richard Shin, Dawn Song（均來自于加利福尼亞大學(xué)伯克利分校）完成。

• 論文摘要

從經(jīng)驗(yàn)角度來說， 試圖從數(shù)據(jù)中學(xué)習(xí)編程的神經(jīng)網(wǎng)絡(luò)這一方法的通用性較差。而且，當(dāng)輸入的復(fù)雜度超過了一定水平，就很難去推斷這些模型的表現(xiàn)效果。為了解決這個(gè)問題，我們提出用一個(gè)關(guān)鍵的抽象概念——遞歸（recursion）來增強(qiáng)神經(jīng)架構(gòu)。我們在神經(jīng)編程器-解釋器框架（Neural Programmer-Interpreter framework）上實(shí)現(xiàn)遞歸，這個(gè)過程包括四個(gè)任務(wù)：小學(xué)加法（grade-school addition）、冒泡排序（bubble sort）、拓?fù)渑判颍╰opological sort）和快速排序（quicksort）。我們用少量訓(xùn)練數(shù)據(jù)證明了該方法具有較好的可泛化性和可解釋性。遞歸能將問題分割成一個(gè)個(gè)更小的部分，并大大減少每個(gè)神經(jīng)網(wǎng)絡(luò)組件的域，使其易于證明對整個(gè)系統(tǒng)行為的擔(dān)保。我們的經(jīng)驗(yàn)顯示，為了讓神經(jīng)架構(gòu)更牢靠地學(xué)習(xí)程序語義（program semantics），有必要引入這樣的“遞歸”方法。

• 最終評審結(jié)果是這樣評價(jià)的

該論文探討了一個(gè)很有實(shí)際價(jià)值意義的問題。

•  決定

采納（口頭展示）

論文詳情及評價(jià)可查看：https://openreview.net/forum?id=BkbY4psgg&noteId=BkbY4psgg

3.  《泛化——一個(gè)理解深度學(xué)習(xí)需要重新思考的問題》 

（Understanding deep learning requires rethinking generalization）

 

該論文由Chiyuan Zhang（麻省理工學(xué)院），Benjamin Recht（加利福尼亞大學(xué)伯克利分校），Samy Bengio、Moritz Hardt（谷歌大腦）和Oriol Vinyals（谷歌深度學(xué)習(xí)）共同完成。

• 論文摘要

有些成功運(yùn)作的人工神經(jīng)網(wǎng)絡(luò)，盡管體量巨大，但它們在訓(xùn)練和測試性能兩個(gè)階段表現(xiàn)出來的結(jié)果卻只存在微小差異。過去大家認(rèn)為這種微小誤差，要么是由于模型譜系自身的特性，要么是由在訓(xùn)練期間使用的正則化技術(shù)所致。

經(jīng)過大量系統(tǒng)實(shí)驗(yàn)，我們展示了這種傳統(tǒng)觀點(diǎn)是不確切的。具體來說，我們的實(shí)驗(yàn)證明了用隨機(jī)梯度方法訓(xùn)練的、用于圖像分類的最先進(jìn)的卷積網(wǎng)絡(luò)很容易擬合訓(xùn)練數(shù)據(jù)的隨機(jī)標(biāo)記。這種現(xiàn)象本質(zhì)上不受顯式正則化影響，即使用完全非結(jié)構(gòu)化隨機(jī)噪聲來替換真實(shí)圖像也是如此。

我們通過一個(gè)理論結(jié)構(gòu)證實(shí)了實(shí)驗(yàn)結(jié)果。理論結(jié)構(gòu)表明，只要參數(shù)數(shù)量超過實(shí)際中通常存在的數(shù)據(jù)點(diǎn)，簡單兩層深度神經(jīng)網(wǎng)絡(luò)（simple depth two neural networks）就能夠產(chǎn)生完美的有限樣本表達(dá)性。通過與傳統(tǒng)模型的比較解釋了我們的實(shí)驗(yàn)結(jié)果。

• 最終評審結(jié)果是這樣評價(jià)的

作者在論文中闡述了深度神經(jīng)網(wǎng)絡(luò)擬合隨機(jī)標(biāo)簽數(shù)據(jù)的能力，并給出了非常不錯(cuò)的實(shí)驗(yàn)結(jié)果。調(diào)查不僅合理，且有啟發(fā)和激勵(lì)意義。作者提出1. 一個(gè)理論實(shí)例，說明一個(gè)具有足夠規(guī)模參數(shù)的簡單淺層網(wǎng)絡(luò)能夠產(chǎn)生完美的有限樣本表達(dá)性；2.一個(gè)系統(tǒng)且廣泛的實(shí)驗(yàn)評估得以支持研究結(jié)果和論點(diǎn)。實(shí)驗(yàn)評估模型考慮得很周到。

該論文所具有的開創(chuàng)性意義將會(huì)在未來幾年對許多研究起到啟發(fā)作用。

• 決定

采納（口頭展示）

論文詳情及評價(jià)可查看：https://openreview.net/forum?id=Sy8gdB9xx&noteId=Sy8gdB9xx

據(jù)雷鋒網(wǎng)了解，第三篇論文入選2017ICLR也是在國內(nèi)外引起了一番不小的爭論，詳情請看雷鋒網(wǎng)報(bào)道《ICLR 17論文評審再起爭議：LeCun學(xué)生認(rèn)為最佳論文盛名過譽(yù)》。

關(guān)于三篇論文的介紹就到這里。ICLR2017大會(huì)各項(xiàng)議程已在官網(wǎng)放出（點(diǎn)擊這里可查看），相關(guān)新聞?wù)堦P(guān)注雷鋒網(wǎng)最新報(bào)道。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。