2
雷鋒網(wǎng) AI 科技評論消息，F(xiàn)acebook人工智能研究中心FAIR負(fù)責(zé)人、深度學(xué)習(xí)三駕馬車之一的Yann LeCun昨天在Facebook上評論轉(zhuǎn)發(fā)了一條動態(tài)。Yann LeCun轉(zhuǎn)發(fā)的這條動態(tài)來自跟他合作的一位紐約大學(xué)在讀博士生Jake Zhao，介紹了一篇已經(jīng)上傳arXiv的論文。論文介紹了一種可以幫助GAN使用離散數(shù)據(jù)的“對抗性正則化的自動編碼器”（ARAE，Adversarially Regularized Autoencoders）。Yann LeCun作為這篇論文的合作作者之一，轉(zhuǎn)發(fā)這條消息并且進(jìn)行了解讀和評價。
根據(jù)論文原文，雷鋒網(wǎng) AI 科技評論整理了這樣一張圖，可以對ARAE要解決的問題做一個大體的認(rèn)識：
如圖是原動態(tài)和Yann LeCun的轉(zhuǎn)發(fā)評論，譯文請見下文
Adversarially Regularized Autoencoders（對抗性正則化的自動編碼器，ARAE）是一種新的方法，它可以把編碼的內(nèi)容信息限制在一個自動編碼器中，并且防止該自動編碼器學(xué)習(xí)到身份函數(shù)。為了達(dá)到這樣的目標(biāo)，以前就有過一些sparse AE（稀疏自動編碼器）、variational AE（變分自動編碼器，在代碼中加入噪聲）、denoising AE（降噪自動編碼器）這樣的嘗試，也有人用差異對比這樣的對比方法和其它基于MCMC（Markov Chain Monte Carlo，隨機(jī)模擬）的方法。這次，我們用一組對抗性的生成器和鑒別器來生成指定熵的樣本，并且我們借助鑒別器讓自動編碼器中編碼的分布跟這對生成器鑒別器的分布相匹配。
經(jīng)過訓(xùn)練以后，這個自動編碼器的生成器和編碼器部分就可以用作一個生成性模型。
ARAE可以有一種厲害的用法，就是可以在對抗性的設(shè)定下生成離散性的結(jié)構(gòu)（比如文本）。由于對抗的過程是發(fā)生在（連續(xù)）編碼上的，而不是輸出上，這就可以緩解對抗性鑒別器直接用在離散輸出上時可能會遇到的問題。
這項研究中有紐約大學(xué)、哈佛大學(xué)、FAIR多方合作，幾個參與者是，紐約大學(xué)數(shù)據(jù)科學(xué)碩士畢業(yè)生、博士在讀Jake Zhao，哈佛大學(xué)校友、博士在讀Yoon Kim，紐約大學(xué)本科生Kelly Zhang，哈佛大學(xué)學(xué)生Sasha Rush，以及我自己。
剛剛發(fā)表了這篇"Adversarially Regularized Autoencoders for Generating Discrete Structures"（用于生成離散結(jié)構(gòu)的對抗性正則化的自動編碼器）論文，感覺非常激動，幾個共同作者Yoon Kim, Kelly Zhang, Sasha Rush和Yann LeCun也都很厲害。
論文地址：https://arxiv.org/abs/1706.04223
代碼地址（有Torch和PyTorch兩個版本）：https://github.com/jakezhaojb/ARAE
對于在離散結(jié)構(gòu)上進(jìn)行對抗性訓(xùn)練，我們提出了一個簡單的解決方案：通過重新構(gòu)建的方式訓(xùn)練一個序列到序列的轉(zhuǎn)換模型，然后讓GAN在連續(xù)編碼空間中工作。同時，從GAN傳回到序列轉(zhuǎn)換模型的梯度也對訓(xùn)練一個有意義的自動序列轉(zhuǎn)換模型起到了很大幫助。通過努力，我們得到了一個圖像GAN網(wǎng)絡(luò)應(yīng)當(dāng)具有的一組理想屬性：生成性，z空間插值，向量計算。我們也基于語言模型生成樣本的質(zhì)量對該方法進(jìn)行了量化評估。
更多人工智能、機(jī)器學(xué)習(xí)方面的學(xué)術(shù)動態(tài)，請繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評論。
相關(guān)文章：
Yoav Goldberg與Yann LeCun論戰(zhàn)背后：arXiv是個好平臺，但和學(xué)術(shù)會議是兩碼事
AI科技評論專訪Yann LeCun: 關(guān)于深度學(xué)習(xí)未來的14個問題
Yann LeCun清華演講：講述深度學(xué)習(xí)與人工智能的未來
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
