火爆！NIPS 2017注冊(cè)已滿，沒(méi)機(jī)會(huì)去前方參會(huì)怎么辦？

本文作者：沐沐

2017-09-20 18:20

專題：NIPS 2017

導(dǎo)語(yǔ)：NIPS在文章收錄結(jié)果僅僅公布10天之后，官方數(shù)據(jù)顯示注冊(cè)名額已滿！

人工智能關(guān)注度繼續(xù)升溫。繼CVPR 2017會(huì)議在報(bào)名人數(shù)以及論文收錄等方面創(chuàng)下多項(xiàng)“歷史第一”之后，計(jì)算神經(jīng)科學(xué)最好的會(huì)議之一——NIPS（神經(jīng)信息處理系統(tǒng)大會(huì)）在文章收錄結(jié)果僅僅公布10天之后，官方數(shù)據(jù)顯示注冊(cè)名額已滿！

火爆！NIPS 2017注冊(cè)已滿，沒(méi)機(jī)會(huì)去前方參會(huì)怎么辦？

（圖片來(lái)源雷鋒網(wǎng)）

NIPS是由連接學(xué)派（connectionist）神經(jīng)網(wǎng)絡(luò)的學(xué)者于1987年在加拿大創(chuàng)辦，后來(lái)隨著影響力逐步擴(kuò)大，也曾移師美洲、歐洲等地舉辦。早年發(fā)布在NIPS中的論文包羅萬(wàn)象，從單純的工程問(wèn)題到使用計(jì)算機(jī)模型來(lái)理解生物神經(jīng)元系統(tǒng)等各種主題。但現(xiàn)在論文的主題主要以機(jī)器學(xué)習(xí)，人工智能和統(tǒng)計(jì)學(xué)為主。在各種學(xué)術(shù)會(huì)議統(tǒng)計(jì)中，NIPS被認(rèn)為有著很強(qiáng)的影響力和很高的排名。

今年的NIPS將于12月4日-9日在美國(guó)西岸加州南部城市長(zhǎng)灘市（Long Beach）舉辦。在距離正式開(kāi)會(huì)還有將近3個(gè)月的時(shí)候，注冊(cè)人數(shù)已滿足以看出本次會(huì)議的火爆程度。那么對(duì)于廣大還沒(méi)來(lái)得及注冊(cè)或者沒(méi)有機(jī)會(huì)去到前方的同學(xué)們來(lái)說(shuō)，如何才能更進(jìn)一步的了解本次NIPS的論文情況呢？

機(jī)會(huì)來(lái)了！第四期的“GAIR大講堂”我們將再次回到北京清華，本次活動(dòng)主辦方雷鋒網(wǎng)第一時(shí)間邀請(qǐng)到了NIPS 2017入選論文作者去到清華大學(xué)預(yù)講入選論文同時(shí)分享他們投遞論文的心得，相信他們的分享能夠?qū)V大同學(xué)們?nèi)绾伟l(fā)Paper 起到重要幫助！

嘉賓介紹

陸洲北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院大四本科生

火爆！NIPS 2017注冊(cè)已滿，沒(méi)機(jī)會(huì)去前方參會(huì)怎么辦？

陸洲，北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院大四本科生，導(dǎo)師為王立威。NIPS 2017 一作論文一篇。主要關(guān)注機(jī)器學(xué)習(xí)理論，目前研究方向主要為神經(jīng)網(wǎng)絡(luò)的表達(dá)能力和泛化能力。

主題：從寬度來(lái)看神經(jīng)網(wǎng)絡(luò)的表達(dá)能力（The expressive power of neural networks : A view from the width）

分享內(nèi)容：

深度學(xué)習(xí)應(yīng)用火爆，難以掩蓋其理論的缺少。神經(jīng)網(wǎng)絡(luò)對(duì)函數(shù)的表達(dá)能力，便是其理論重要的一部分。本文中，我們從寬度入手，得到了以下關(guān)于神經(jīng)網(wǎng)絡(luò)表達(dá)能力的新結(jié)果：

1、經(jīng)典的一致逼近定理說(shuō)明深度為2，不限制寬度，并使用適當(dāng)激活函數(shù)的神經(jīng)網(wǎng)絡(luò)對(duì)任意緊集上連續(xù)函數(shù)能做到任意精度的一致逼近。這里我們得到了一個(gè)近似對(duì)偶的結(jié)論，設(shè)網(wǎng)絡(luò)輸入維數(shù)為n，則寬度為n+4，不限制深度的全連接relu網(wǎng)絡(luò)對(duì)任意勒貝格可積函數(shù)能做到任意精度的積分意義逼近。
2、我們接著證明了寬度不足n的網(wǎng)絡(luò)，其表達(dá)能力極差，勒貝格可積函數(shù)以概率為1無(wú)法被其逼近，由此得到了一個(gè)關(guān)于寬度的相變。
3、我們證明了存在一些深度為3的淺網(wǎng)絡(luò)，需要深網(wǎng)絡(luò)多項(xiàng)式級(jí)更多的節(jié)點(diǎn)才能逼近，并用實(shí)驗(yàn)說(shuō)明，將這些深網(wǎng)絡(luò)寬度擴(kuò)大常數(shù)倍，就能極高精度逼近淺網(wǎng)絡(luò)。

鄧志杰清華大學(xué)計(jì)算機(jī)系人智所博士生

火爆！NIPS 2017注冊(cè)已滿，沒(méi)機(jī)會(huì)去前方參會(huì)怎么辦？

鄧志杰，清華大學(xué)計(jì)算機(jī)系智能媒體實(shí)驗(yàn)室一年級(jí)博士生，導(dǎo)師為朱軍。主要關(guān)注深度產(chǎn)生式模型，分布式機(jī)器學(xué)習(xí)等方向，現(xiàn)在主要研究生成對(duì)抗網(wǎng)絡(luò)的理論和應(yīng)用。

主題：結(jié)構(gòu)化生成對(duì)抗網(wǎng)絡(luò)（Structured Generative Adversarial Networks）

分享內(nèi)容：

本工作研究基于指定語(yǔ)義或結(jié)構(gòu)信息的條件產(chǎn)生式建?！，F(xiàn)有的模型在搭建條件生成器時(shí)，往往需要大量的標(biāo)注數(shù)據(jù)作為監(jiān)督信號(hào)，而且不能夠準(zhǔn)確地對(duì)生成樣本的語(yǔ)義信息加以控制。因此我們提出結(jié)構(gòu)化生成對(duì)抗網(wǎng)絡(luò)(SGAN) 來(lái)解決半監(jiān)督條件產(chǎn)生式建模這個(gè)問(wèn)題。SGAN 假設(shè)數(shù)據(jù) x 基于兩個(gè)獨(dú)立的隱變量 y 和 z 來(lái)生成: y 編碼了指定的語(yǔ)義信息，z 包含其他的可變因素。SGAN 的訓(xùn)練要解決兩個(gè)對(duì)抗游戲，它們能夠保證模型中各部分收斂到數(shù)據(jù)的真實(shí)聯(lián)合分布p(x, y)和p(x, z)。為了確保 y 和 z 的解耦和，SGAN 搭建了兩個(gè)合作游戲，它們?cè)陔[空間上最小化重建誤差。我們進(jìn)行了大量的實(shí)驗(yàn)來(lái)評(píng)估結(jié)構(gòu)化生成對(duì)抗網(wǎng)絡(luò)。我們的實(shí)驗(yàn)表明 SGAN 能夠?qū)W習(xí)出一個(gè)高度可控的條件生成器，以及數(shù)據(jù)的解耦和的表示。SGAN 在半監(jiān)督分類任務(wù)的多個(gè)數(shù)據(jù)集上都取得了很好的實(shí)驗(yàn)結(jié)果。得益于對(duì) y 和 z 的分開(kāi)建模，SGAN 能夠生成高質(zhì)量并且嚴(yán)格遵循指定語(yǔ)義的樣本。此外，SGAN 還能被擴(kuò)展來(lái)進(jìn)行一些有趣的實(shí)驗(yàn)，包括圖像演化和圖像風(fēng)格遷移。

陳鍵飛清華大學(xué)計(jì)算機(jī)系人智所博士生

火爆！NIPS 2017注冊(cè)已滿，沒(méi)機(jī)會(huì)去前方參會(huì)怎么辦？

陳鍵飛是清華大學(xué)計(jì)算機(jī)系博士四年級(jí)學(xué)生，導(dǎo)師為朱軍副教授。主要從事大規(guī)模機(jī)器學(xué)習(xí)、產(chǎn)生式模型、話題模型的研究。在NIPS、VLDB、ICML等重要國(guó)際會(huì)議和NSR、TVCG等國(guó)際重要期刊發(fā)表學(xué)術(shù)論文10篇，其中第一作者/學(xué)生第一作者4篇。他曾獲2009年全國(guó)青少年信息學(xué)奧林匹克競(jìng)賽（NOI）金牌。

主題：樣本匹配差異及其在深度學(xué)習(xí)中的應(yīng)用（Population Matching Discrepancy and Applications in Deep Learning）

分享內(nèi)容：

兩個(gè)概率分布之間可導(dǎo)的距離估計(jì)是對(duì)很多深度學(xué)習(xí)任務(wù)重要的問(wèn)題。其中一種距離估計(jì)是最大平均差異（MMD）。但是MMD有對(duì)核半徑敏感、梯度弱以及用于訓(xùn)練目標(biāo)時(shí)mini batch過(guò)大等問(wèn)題。
本次分享將圍繞這一問(wèn)題，介紹我們NIPS2017上提出的樣本匹配差異（PMD）。我們提出了PMD作為分布之間距離的估計(jì)，并提出了用PMD作為目標(biāo)函數(shù)時(shí)學(xué)習(xí)分布參數(shù)的算法。PMD定義成兩分布樣本構(gòu)成的二分圖的最小匹配，我們證明了PMD是Wasserstein度量的強(qiáng)一致估計(jì)量。我們把PMD用于了兩個(gè)深度學(xué)習(xí)問(wèn)題，包括領(lǐng)域自適應(yīng)和訓(xùn)練產(chǎn)生式模型。實(shí)驗(yàn)結(jié)果表明PMD克服了上述MMD的不足，并在效果和收斂速度上都超過(guò)了MMD。

汪躍北京交通大學(xué)理學(xué)院博士生

火爆！NIPS 2017注冊(cè)已滿，沒(méi)機(jī)會(huì)去前方參會(huì)怎么辦？

汪躍，北京交通大學(xué)理學(xué)院在讀博士生，專業(yè)是概率論與數(shù)理統(tǒng)計(jì)。2015年汪躍在北京交通大學(xué)信息與計(jì)算科學(xué)專業(yè)本科畢業(yè)，隨后師從馬志明院士，劉玉婷教授讀博士，2016年加入微軟亞洲研究院機(jī)器學(xué)習(xí)組(Machine Learning Group)做實(shí)習(xí)生。

雖然是數(shù)學(xué)專業(yè)，但是汪躍特別喜歡跟應(yīng)用結(jié)合的相關(guān)領(lǐng)域。曾經(jīng)做過(guò)一段時(shí)間與腦科學(xué)有關(guān)的影像遺傳學(xué)方面的工作。最近感興趣的方向主要集中在強(qiáng)化學(xué)習(xí)中的算法理論分析和算法設(shè)計(jì)等方面，以及優(yōu)化算法相關(guān)的方向。

主題：馬爾科夫情形下的GTD 策略評(píng)估算法有限樣本誤差分析（Finite sample analysis of the GTD Policy Evaluation Algorithms in Markov Setting）

分享內(nèi)容：

策略評(píng)估是強(qiáng)化學(xué)習(xí)中一個(gè)重要的組成部分。策略評(píng)估的目標(biāo)是估計(jì)給定策略的價(jià)值函數(shù)（從任一狀態(tài)出發(fā)，依照給定的策略時(shí)，期望意義下未來(lái)的累計(jì)回報(bào)）。一個(gè)好的策略評(píng)估算法可以更準(zhǔn)確的估計(jì)出當(dāng)前策略的價(jià)值函數(shù)，并且有助于找到一個(gè)更好的策略。當(dāng)狀態(tài)空間特別大或者是連續(xù)空間的時(shí)候，線性函數(shù)近似下的GTD策略評(píng)估算法非常常用。考慮到收集數(shù)據(jù)的過(guò)程非常耗費(fèi)時(shí)間和代價(jià)，清楚的理解GTD算法在有限樣本情況下的表現(xiàn)就顯得非常重要。之前的工作將GTD算法與鞍點(diǎn)問(wèn)題建立了聯(lián)系，并且在樣本獨(dú)立同分布和步長(zhǎng)為定值的情況下給出了GTD算法的有限樣本誤差分析。但是，我們都知道，在實(shí)際的強(qiáng)化學(xué)習(xí)問(wèn)題中，數(shù)據(jù)都是由馬氏決策過(guò)程產(chǎn)生的，并不是獨(dú)立同分布的。并且在實(shí)際中，步長(zhǎng)往往也不一定是一個(gè)定值。

因此在我們的工作中，我們首先證明了在數(shù)據(jù)來(lái)自于馬爾科夫鏈的情況下，鞍點(diǎn)問(wèn)題的期望意義下和高概率意義下的有限樣本誤差，進(jìn)而得到了更接近于實(shí)際情形下的GTD的算法的有限樣本誤差分析。從我們的結(jié)果中可以看到，在實(shí)際中的馬爾科夫的情形下，（1）GTD算法確實(shí)依然收斂；（2）收斂的速率依賴于步長(zhǎng)的設(shè)定和馬爾科夫鏈的混合時(shí)間這一屬性；（3）通過(guò)混合時(shí)間的角度解釋了經(jīng)驗(yàn)回放這一技巧的有效性，其有效性可以理解成縮短了馬爾科夫鏈的混合時(shí)間。就我們所知，我們的工作首次給出了GTD算法在馬爾科夫情形下的有限樣本誤差分析。

單小涵中國(guó)科學(xué)院計(jì)算技術(shù)研究所博士生

火爆！NIPS 2017注冊(cè)已滿，沒(méi)機(jī)會(huì)去前方參會(huì)怎么辦？