雷鋒網(wǎng) AI 科技評論按：全世界的機(jī)器學(xué)習(xí)和人工智能專家們下周就要聚集在加州長灘，在NIPS2017上介紹自己在人工智能和計算神經(jīng)科學(xué)方面的最新研究成果了。對 Facebook 來說，他們這次有10篇論文經(jīng)過評審后被NIPS收錄，他們的研究人員和工程師們也會在一周的多個 workshop、研討會、tutorial 中大力參加討論以及展示自己的成果。

并且，此次 NIPS 期間，F(xiàn)acebook 將首次在 Facebook LIVE 上直播大會內(nèi)容，許多大會 session 都會播出。直播地址在 這里，到時無法親自到場的讀者可以在北京時間12月5日星期二早上7點半（太平洋時間12月4日星期一下午5點半）開始收看直播，到時可以看到的是大會開幕儀式后的特邀演講，由 Google的 Principal Scientist John Platt帶來的「Powering the next 100 years」，講述 Google 如何使用機(jī)器學(xué)習(xí)來解決未來的能源問題。

NIPS 2017 中的 Facebook 論文

「Best of Both Worlds: Transferring Knowledge from Discriminative Learning to a Generative Visual Dialog Model」

• 雙料冠軍：從對抗性學(xué)習(xí)轉(zhuǎn)移知識到生成式視覺對話模型

• 主要內(nèi)容：視覺對話這種任務(wù)，需要 AI 和人類展開關(guān)于視覺內(nèi)容的有意義的談話，AI 的語言也需要是自然流暢的、能夠跟人類對答的。比如假想有位盲人用戶正在使用社交媒體，然后他的朋友上傳了一張照片。如果 AI 能夠為他描述圖中的內(nèi)容就再好不過了，比如 AI 說「約翰剛剛上傳了一張照片，他在夏威夷度假呢」。用戶就可能接著問：「不錯啊，他在沙灘上嗎？」我們也希望 AI 可以自然地應(yīng)答，并且能夠準(zhǔn)確地提供「不，他在山上」這樣的答案?；蛘呤钱?dāng)你和 AI 助理對話的時候，你可能會說「你能在嬰兒房的監(jiān)控里看到我家小孩嗎？」AI 說：「能看到」。你接著問：「他在睡覺還是在玩」，我們也希望得到一個準(zhǔn)確的答案。又或者人類和機(jī)器人組隊，共同完成搜救任務(wù)，機(jī)器人走到危險區(qū)域后，人類問：「你身邊有沒有哪個房間在冒煙？」機(jī)器人回答：「有，有一個房間」，然后人類說：「那就走進(jìn)去找找有沒有人」。

  論文中，F(xiàn)acebook 的研究人員們提出了一種新的訓(xùn)練框架，它可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)序列生成模型，尤其適合用于基于事實的對話生成。這類模型的標(biāo)準(zhǔn)訓(xùn)練范式是最大似然估計（MLE）或者最小化人類回應(yīng)的交叉熵。然而多個不同領(lǐng)域的研究中都發(fā)現(xiàn)，用 MLE 方法訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)對話生成模型（G）會經(jīng)常出現(xiàn)喜歡回答「安全的」、通用化的語句的問題（比如「我不知道」，「我說不上」）。相比之下，對抗性對話模型（D）經(jīng)過訓(xùn)練后可以列出一系列候選的人類回答，在自動度量、豐富性、信息量方面帶來比生成式模型更好的表現(xiàn)。然而，D 這樣的模型在實際應(yīng)用中效果不好，因為無法讓它和人類之間進(jìn)行真正的對話。Facebook 的這項研究希望在這兩個方面都達(dá)到最佳的表現(xiàn)，要像 G 一樣能起到實際的幫助，也要像 D 一樣在幾個方面有優(yōu)秀的表現(xiàn)。他們的方法就是把 D 中的知識遷移到 G 中。

  論文的主要貢獻(xiàn)是提出了一個端到端可訓(xùn)練的生成式視覺對話模型，其中，G 接收來自 D 的梯度，作為G生成的序列樣本的感知損失（不是對抗性損失）。作者們在這個離散分布中應(yīng)用了近期提出的Gumbel-Softmax（GS）近似；具體來說這是帶有一個 GS 采樣器序列的增強后的 RNN 網(wǎng)絡(luò)，并且配合一個直通的梯度估計器，這樣就可以提供端到端訓(xùn)練需要的可微性。作者們同時還提出了一個強大的視頻對話編碼器，還加入了用于編碼回答語句的自我注意力機(jī)制，和一個度量學(xué)習(xí)損失，都幫助 D 更好地在問題的回答中抓到語義上的相似性。整體來說，作者們提出的模型在 VisDial 數(shù)據(jù)集上以2.67%（recall @10）的顯著優(yōu)勢超越了此前的最好成果。項目代碼地址為 https://github.com/jiasenlu/visDial.pytorch 
  

（雷鋒網(wǎng) AI 科技評論注：在之前一篇文章中，F(xiàn)acebook 也更細(xì)致地介紹過自己在視覺對話方面的研究成果，詳情請看 能看圖回答問題的AI離我們還有多遠(yuǎn)？）

ELF: An Extensive, Lightweight and Flexible Research Platform for Real-time Strategy Games

• ELF：一個用于即時戰(zhàn)略游戲的可拓展、輕量、靈活的研究平臺

• ELF是一個可拓展、輕量化設(shè)計、高靈活性的強化學(xué)習(xí)研究平臺，它可以提供并行化的游戲環(huán)境模擬。在ELF的基礎(chǔ)上，作者們實現(xiàn)了一個高度定制化的即時戰(zhàn)略游戲（RTS）引擎，并且包含了數(shù)個游戲環(huán)境。其中一個游戲 Mini-RTS 是一個微縮版本的星際爭霸，其中包含了游戲中的關(guān)鍵變化點，而且在筆記本上就可以達(dá)到165K幀/秒的運行速度，要比其它的平臺快一個數(shù)量級。在實驗部分，作者們只用了一塊 GPU 和數(shù)個 CPU ，就端到端地訓(xùn)練了一個玩 Mini-RTS 的 AI，它能以超過70%的勝率擊敗基于規(guī)則的系統(tǒng)。

• （雷鋒網(wǎng) AI 科技評論按：這篇論文的詳細(xì)解讀見 詳解Facebook田淵棟NIPS2017論文：讓大家都能做得起深度強化學(xué)習(xí)研究的ELF平臺）

Fader Networks: Manipulating Images by Sliding Attributes

• Fader網(wǎng)絡(luò)：調(diào)節(jié)屬性，操控圖像

• 論文簡介：這篇論文中作者們提出了一種新的編碼解碼器架構(gòu)，經(jīng)過訓(xùn)練以后，可以利用對抗性訓(xùn)練直接隱含空間內(nèi)對圖像間主要信息和特殊屬性值進(jìn)行解耦，從而完成圖像的重構(gòu)。這個解耦過程使得我們可以控制其中的屬性，進(jìn)而生成面部照片的多種變化結(jié)果，比如假想一個人年輕時候和年老時候的樣子，同時還能保持足夠的自然度。目前的頂級方法多數(shù)都依靠訓(xùn)練一個像素空間的對抗性網(wǎng)絡(luò)，并在訓(xùn)練時選取不同的屬性值。與這些方法相比，論文中所提的方法用到的訓(xùn)練方法要簡單得多，而且拓展到同時改變多個屬性值的時候也有不錯的表現(xiàn)。

Gradient Episodic Memory for Continual Learning

• 用于連續(xù)學(xué)習(xí)的梯度片段記憶
  

• 論文簡介：機(jī)器學(xué)習(xí)在有一件事上一直做得不好，那就是學(xué)習(xí)新問題的時候如何不忘記之前完成過的任務(wù)。在這篇論文中，作者們提出了一種新的學(xué)習(xí)度量，用于評估模型如何在一系列學(xué)習(xí)任務(wù)中遷移知識。最終，作者們提出了一個新的頂級表現(xiàn)的算法，GEM，梯度片段記憶，它使得學(xué)習(xí)機(jī)器在學(xué)習(xí)新任務(wù)的時候也可以不忘記以往學(xué)到的技能。

Houdini: Fooling Deep Structured Prediction Models

• Houdini：如何騙過深度神經(jīng)網(wǎng)絡(luò)的預(yù)測模型

• 論文簡介：在嘗試評估、提升學(xué)習(xí)機(jī)器的健壯性時，生成對抗性樣本是非常重要的一步。目前為止，多數(shù)的方法都只在分類任務(wù)中起作用，并且無法用來衡量真實遇到的問題中的模型表現(xiàn)。這篇論文中作者們提出了一種新穎靈活的方法，稱作 Houdini，它專門為剛才提到的情境生成對抗性樣本作為模型最終表現(xiàn)的評估手段，不管是還是。作者們成功地把 Houdini 用于了多種不同的應(yīng)用場景中，包括語音識別、位姿估計和語義分割。在所有這些場景中，基于 Houdini 的攻擊都比用于訓(xùn)練模型的傳統(tǒng)代理方法取得了更高的成功率，同時 Houdini 中用到的對抗性擾動也要更容易理解。

One-Sided Unsupervised Domain Mapping

• 單向無監(jiān)督主題映射

• 論文簡介：2017年的重大發(fā)現(xiàn)之一就是對于兩個不同的視覺主題，不給定任何匹配的訓(xùn)練樣本也可以學(xué)到它們之間的模擬。比如，給定一個手提包的照片，這些方法就可以找到匹配的鞋子，即便它們從來沒有見到過這樣的搭配。近期的方法都需要學(xué)習(xí)從一個主題到另一個主題的映射，然后再學(xué)習(xí)反向的映射。在這篇論文中，作者們提出的方法無需完成這樣的整個過程，所以效率就高得多。同時，這種方法得到的映射還要明顯更準(zhǔn)確。

On the Optimization Landscape of Tensor Decompositions

• 張量分解的優(yōu)化狀況的討論

• 這篇論文中，作者們分析了隨機(jī)超完備張量分解問題的優(yōu)化狀況。這類問題在無監(jiān)督學(xué)習(xí)中有許多應(yīng)用，尤其是在學(xué)習(xí)隱含變量模型時。實際應(yīng)用中，在非凸目標(biāo)下可以高效地用梯度上升方法解決這種問題。作者們的理論結(jié)果表明，對于任意的小常數(shù) ?>0，在函數(shù)值 (1+?)-因子 大于函數(shù)自身期望的一系列點中，所有的局部最大值都趨近于全局最大值。

Poincaré Embeddings for Learning Hierarchical Representations

• 用于學(xué)習(xí)層次化表征的 Poincaré 嵌入

• 在文字和計算圖這樣的符號化數(shù)據(jù)的建模過程中，表征學(xué)習(xí)這種方法的價值已經(jīng)變得無比重要。符號化數(shù)據(jù)通常顯示出帶有隱含的層次化結(jié)構(gòu)的特點，比如，所有的海豚都是哺乳動物，所有哺乳動物都是動物，所有動物都是生命，等等。如果能夠捕捉到這種層次化的結(jié)構(gòu)，人工智能的許多核心問題都可以因此獲益，比如對繼承的推理，或者建模復(fù)雜關(guān)系。這篇論文中，作者們提出了一種用于表征學(xué)習(xí)的新方法，它可以同時提取層次化結(jié)構(gòu)和相似性的信息。他們的做法是改變了背后的嵌入空間的幾何結(jié)構(gòu)，并且提出了一種高效的算法來學(xué)習(xí)這些層次化嵌入。作者們的實驗表明，對于帶有隱含層次的數(shù)據(jù)，他們提出的模型在表征容量和泛化能力方面都要顯出高于標(biāo)準(zhǔn)方法。

Unbounded Cache Model for Online Language Modeling with Open Vocabulary

• 用于不限定詞匯的在線語言建模的無邊界緩存模型

• 如果模型的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的分布有所變化，現(xiàn)代的機(jī)器學(xué)習(xí)方法表現(xiàn)出的健壯性通常不好。舉例來說，這種問題就會出現(xiàn)在用 Wikipedia 訓(xùn)練模型，然后用新聞數(shù)據(jù)測試模型的時候。在這篇論文中，作者們提出了一種大規(guī)模、非參數(shù)化的記憶組件，它的作用是幫助模型動態(tài)適配新的數(shù)據(jù)分布。作者們把這種方法用在語言建模中，其中的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)來自兩個不同的主題（比如一個是 Wikipedia，一個是新聞）。

VAIN: Attentional Multi-agent Predictive Modeling

• VAIN：基于注意力的多智能體預(yù)測建模

• 預(yù)測一個大規(guī)模社交系統(tǒng)或者物理系統(tǒng)的行為，都需要對其中的不同個體之間的互動進(jìn)行建模。近期的研究進(jìn)展，比如神經(jīng)網(wǎng)絡(luò)，已經(jīng)通過對每次互動建模的方式大幅度提升了預(yù)測質(zhì)量，然而這種方法同時也有著過于高的計算資源消耗。在這篇論文中，作者們把“計算昂貴”的互動建模模型換成了一個簡單的注意力機(jī)制模型，它有著類似的準(zhǔn)確度，但計算成本要低得多。這種計算方法的時間復(fù)雜度線性增加的特質(zhì)，也使得它可以用在規(guī)模大得多的多智能體行為精確預(yù)測模型中。

論文打包下載：https://pan.baidu.com/s/1eS3w9OY 密碼: kn7v

NIPS 2017上 Facebook的其它活動

Tutorial

• Geometric Deep Learning on Graphs and Manifolds，圖和流形的幾何深度學(xué)習(xí)。Yann LeCun在場；當(dāng)?shù)貢r間12月4日星期一，下午2：30~4：45，Hall A。

Workshop & 研討會 （有 Facebook 成員組織或參加的）

• Black in AI Workshop，AI 領(lǐng)域中的黑人 Workshop

• Deep Learning at Supercomputer Scale Workshop，超級計算機(jī)規(guī)模的深度學(xué)習(xí) Workshop。12月9日星期六早8點到下午5點，F(xiàn)acebook 研究院、DeepMind、Salesforce 研究院、OpenAI、谷歌研究院、百度研究院等多個機(jī)構(gòu)的研究人員將進(jìn)行演講

• Deep Reinforcement Learning Symposium，深度強化學(xué)習(xí)研討會。12月7日星期四下午2點到9點（5點到7點 Poster+零食時間），DeepMind 的 David Silver 將進(jìn)行開場演講介紹 AlphaGo 中的深度強化學(xué)習(xí)，蘋果 AI 總監(jiān) Ruslan Salakhutdinov 也有演講，主題為「神經(jīng)地圖：為深度強化學(xué)習(xí)構(gòu)建記憶」

• Emergent Communication Workshop，新興語言和溝通 Workshop

• Interpretable Machine Learning Symposium，可解釋的機(jī)器學(xué)習(xí)研討會。12月7日星期四，下午2點到9點半（6點到7點 Poster+晚餐時間），地點 Hall C，Yann LeCun 會參加8點半開始的最后一項圓桌討論

• Learning Disentangled Representations: from Perception to Control Workshop，學(xué)習(xí)解耦的表征：從感知到控制 Workshop。12月9日星期六早8：30到晚6：00，計劃邀請 Yoshua Bengio 在下午3：30演講。

• Learning in the Presence of Strategic Behavior Workshop，學(xué)習(xí)策略性行為的出現(xiàn) Workshop

• Machine Learning on the Phone and other Consumer Devices Workshop，手機(jī)以及其它消費級設(shè)備上的機(jī)器學(xué)習(xí) Workshop。12月9日星期六早8點到下午6：30，地點 102 A+B。

• Machine Learning Systems Workshop，機(jī)器學(xué)習(xí)系統(tǒng) Workshop。12月8日星期五早8：45到下午18：15，其中賈揚清會介紹Caffe2，Jeff Dean 在下午2：50演講介紹機(jī)器學(xué)習(xí)系統(tǒng)，也有關(guān)于ONNX和PyTorch的演講。

• Optimization for Machine Learning Workshop，機(jī)器學(xué)習(xí)優(yōu)化 Workshop

• Women in Machine Learning (WiML) workshop，機(jī)器學(xué)習(xí)界的女性 (WiML) workshop

• Workshop on Automated Knowledge Base Construction (AKBC)，自動知識基礎(chǔ)構(gòu)建 Workshop

• Workshop on Conversational AI : Today's Practice and Tomorrow's Potential，對話 AI Workshop：今日的實踐激發(fā)明日的潛力

• Workshop on Visually-Grounded Interaction and Language (ViGIL)，基于視覺內(nèi)容的交互和語言 (ViGIL) Workshop

Facebook 在 NIPS 2017中的論文和相關(guān)活動就介紹到這里。Facebook 的10篇論文打包下載地址為：https://pan.baidu.com/s/1eS3w9OY 密碼: kn7v。雷鋒網(wǎng) AI 科技評論會繼續(xù)跟進(jìn) NIPS 2017進(jìn)行全方位報道，請繼續(xù)關(guān)注哦。

相關(guān)文章：

能看圖回答問題的AI離我們還有多遠(yuǎn)？Facebook向視覺對話進(jìn)發(fā)

詳解Facebook田淵棟NIPS2017論文：讓大家都能做得起深度強化學(xué)習(xí)研究的ELF平臺

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。