雷鋒網(wǎng)編者按：萬眾矚目的2017年ICLR 于今天在法國召開。該大會是Yann LeCun 、Yoshua Bengio 等幾位行業(yè)頂級專家于2013年發(fā)起。別看它歷史不長，影響力卻不小，如今已成為深度學習領域一個至關重要的學術盛事。

據(jù)雷鋒網(wǎng)消息，ICLR論文評選結果于今日新鮮出爐。經(jīng)過列為評委的火眼金睛，在507份論文中共有15篇論文成功進入口頭展示階段，181篇進入海報展示階段。

                              

除了這些被選入ICLR 2017的論文，還有三篇論文成功當選為ICLR 2017最佳論文。今天，雷鋒網(wǎng)小編就帶大家領略一下這三篇最佳論文的風采。這三篇論文分別是：

• 《用半監(jiān)督知識遷移解決深度學習中訓練隱私數(shù)據(jù)的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

• 《通過遞歸實現(xiàn)神經(jīng)編程架構通用化》（Making Neural Programming Architectures Generalize via Recursion）

• 《泛化——一個理解深度學習需要重新思考的問題》（Understanding deep learning requires rethinking generalization）

1.《用半監(jiān)督知識遷移解決深度學習中訓練隱私數(shù)據(jù)的問題》

（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

該論文由Nicolas Papernot（賓夕法尼亞州立大學）、Martín Abadi、Kunal Talwar（谷歌大腦）的，úlfar Erlingsson（谷歌）以及Ian Goodfellow（OpenAI）共同完成。

提起Ian Goodfellow，經(jīng)常關注雷鋒網(wǎng)的同學一定不會陌生。Ian Goodfellow是Open AI頂級人工智能科學家，因其在生成式對抗網(wǎng)絡領域的研究成果被尊稱為“GAN之父”。關于他的GAN研究成果，請看雷鋒網(wǎng)此前報道《深度丨 Yoshua Bengio 得意門生詳解機器學習生成對抗網(wǎng)絡》。

• 論文摘要

有些機器學習應用訓練數(shù)據(jù)時可能會涉及到一些敏感數(shù)據(jù)，比如臨床試驗患者的醫(yī)療史。這是因為模型可能會無意間，以不容易被發(fā)現(xiàn)的方式將這些訓練數(shù)據(jù)儲存下來。而只要對模型進行仔細分析，這些敏感信息就能被重新提取出來。

為了解決這個問題，我們在這里為大家展示一種可以減少隱私數(shù)據(jù)泄露的通用方法——該方法以黑箱的方式，把用不相交數(shù)據(jù)集（例如來自不同用戶子集的記錄）訓練而成的多個模型結合在一起。由于數(shù)據(jù)涉及隱私，所以模型不會被公開，而是作為學生模型的教師。學生需要學會的預測結果由全部教師的有噪投票（noisy vote）選出，并且學生不能直接對單個教師模型、底層數(shù)據(jù)或參數(shù)進行訪問。

由于不涉及單個教師，因此也不會存在用單個數(shù)據(jù)集訓練學生的情況。這就在差分隱私（differential privacy）方面確保了學生模型的隱私性。即使是入侵者可以查詢學生模型并檢查其內部運作，學生模型的隱私性依然有效。

和之前的工作相比，該方法只是加強了如何訓練教師的弱假設：它可以應用于任何模型，包括非凸（non-convex）模型DNN。

改善后的隱私分析和半監(jiān)督學習技術使模型在MNIST 和 SVHN 上既有高度的實用性，又能保護用戶隱私不被泄露。

簡單來說該方法就是：

1. 用敏感數(shù)據(jù)的不相交子集訓練一組教師模型；

2. 用被教師組標記過的公共數(shù)據(jù)訓練學生模型。

• 最終評審結果是這樣評價的

該論文為差分隱私學習提供了一個通用的教師-學生模型，讓學生學會預測一組教師的噪音投票。噪音讓學生做到差分隱私的同時，也保證了MNIST和SVHN的精確分類。評選委員會認為該論文撰寫得很優(yōu)秀。

•  決定

采納（口頭展示）

（論文詳情及評價可查看：https://openreview.net/forum?id=HkwoSDPgg&noteId=HkwoSDPgg）

2.《通過遞歸實現(xiàn)神經(jīng)編程架構通用化》

（Making Neural Programming Architectures Generalize via Recursion）

該論文由Jonathon Cai, Richard Shin, Dawn Song（均來自于加利福尼亞大學伯克利分校）完成。

• 論文摘要

從經(jīng)驗角度來說， 試圖從數(shù)據(jù)中學習編程的神經(jīng)網(wǎng)絡這一方法的通用性較差。而且，當輸入的復雜度超過了一定水平，就很難去推斷這些模型的表現(xiàn)效果。為了解決這個問題，我們提出用一個關鍵的抽象概念——遞歸（recursion）來增強神經(jīng)架構。我們在神經(jīng)編程器-解釋器框架（Neural Programmer-Interpreter framework）上實現(xiàn)遞歸，這個過程包括四個任務：小學加法（grade-school addition）、冒泡排序（bubble sort）、拓撲排序（topological sort）和快速排序（quicksort）。我們用少量訓練數(shù)據(jù)證明了該方法具有較好的可泛化性和可解釋性。遞歸能將問題分割成一個個更小的部分，并大大減少每個神經(jīng)網(wǎng)絡組件的域，使其易于證明對整個系統(tǒng)行為的擔保。我們的經(jīng)驗顯示，為了讓神經(jīng)架構更牢靠地學習程序語義（program semantics），有必要引入這樣的“遞歸”方法。

• 最終評審結果是這樣評價的

該論文探討了一個很有實際價值意義的問題。

•  決定

采納（口頭展示）

論文詳情及評價可查看：https://openreview.net/forum?id=BkbY4psgg&noteId=BkbY4psgg

3.  《泛化——一個理解深度學習需要重新思考的問題》 

（Understanding deep learning requires rethinking generalization）

 

該論文由Chiyuan Zhang（麻省理工學院），Benjamin Recht（加利福尼亞大學伯克利分校），Samy Bengio、Moritz Hardt（谷歌大腦）和Oriol Vinyals（谷歌深度學習）共同完成。

• 論文摘要

有些成功運作的人工神經(jīng)網(wǎng)絡，盡管體量巨大，但它們在訓練和測試性能兩個階段表現(xiàn)出來的結果卻只存在微小差異。過去大家認為這種微小誤差，要么是由于模型譜系自身的特性，要么是由在訓練期間使用的正則化技術所致。

經(jīng)過大量系統(tǒng)實驗，我們展示了這種傳統(tǒng)觀點是不確切的。具體來說，我們的實驗證明了用隨機梯度方法訓練的、用于圖像分類的最先進的卷積網(wǎng)絡很容易擬合訓練數(shù)據(jù)的隨機標記。這種現(xiàn)象本質上不受顯式正則化影響，即使用完全非結構化隨機噪聲來替換真實圖像也是如此。

我們通過一個理論結構證實了實驗結果。理論結構表明，只要參數(shù)數(shù)量超過實際中通常存在的數(shù)據(jù)點，簡單兩層深度神經(jīng)網(wǎng)絡（simple depth two neural networks）就能夠產(chǎn)生完美的有限樣本表達性。通過與傳統(tǒng)模型的比較解釋了我們的實驗結果。

• 最終評審結果是這樣評價的

作者在論文中闡述了深度神經(jīng)網(wǎng)絡擬合隨機標簽數(shù)據(jù)的能力，并給出了非常不錯的實驗結果。調查不僅合理，且有啟發(fā)和激勵意義。作者提出1. 一個理論實例，說明一個具有足夠規(guī)模參數(shù)的簡單淺層網(wǎng)絡能夠產(chǎn)生完美的有限樣本表達性；2.一個系統(tǒng)且廣泛的實驗評估得以支持研究結果和論點。實驗評估模型考慮得很周到。

該論文所具有的開創(chuàng)性意義將會在未來幾年對許多研究起到啟發(fā)作用。

• 決定

采納（口頭展示）

論文詳情及評價可查看：https://openreview.net/forum?id=Sy8gdB9xx&noteId=Sy8gdB9xx

據(jù)雷鋒網(wǎng)了解，第三篇論文入選2017ICLR也是在國內外引起了一番不小的爭論，詳情請看雷鋒網(wǎng)報道《ICLR 17論文評審再起爭議：LeCun學生認為最佳論文盛名過譽》。

關于三篇論文的介紹就到這里。ICLR2017大會各項議程已在官網(wǎng)放出（點擊這里可查看），相關新聞請關注雷鋒網(wǎng)最新報道。

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。