雷鋒網(wǎng) AI 科技評(píng)論按：神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS）是人工智能領(lǐng)域最知名的學(xué)術(shù)會(huì)議之一，NeurIPS 2018 已于去年 12 月 3 日至 8 日在加拿大蒙特利爾市舉辦。來自 Zighra.com 的首席數(shù)據(jù)科學(xué)家在參加完此次會(huì)議之后，撰寫了一篇關(guān)于貝葉斯研究的參會(huì)總結(jié)，雷鋒網(wǎng) AI 科技評(píng)論編譯整理如下。

此次會(huì)議支持現(xiàn)場(chǎng)直播，所有講座的視頻內(nèi)容均可以在 NeurIPS 的 Facebook 主頁上找到，除此之外，NeurIPS 主頁上還有一些非常有趣的主題演講，其中最吸引我的是 Micheal Levin 教授講的神經(jīng)系統(tǒng)外的生物電計(jì)算、原始認(rèn)知和綜合形態(tài)學(xué)。其他值得關(guān)注還有，Joelle Pineau 教授演講主題：可重復(fù)，可重用和可強(qiáng)化的強(qiáng)化學(xué)習(xí)，David Spiegelhalter 演講主題：使算法值得信賴，以及 Kunle Olukotun 演講主題：為軟件 2.0 版本設(shè)計(jì)的計(jì)算機(jī)系統(tǒng)。還有一個(gè)非常有趣的研討會(huì)，主要討論機(jī)器學(xué)習(xí)在物理學(xué)領(lǐng)域的分子和材料中的應(yīng)用。

我關(guān)注 NeurIPS2018 主要是為了解貝葉斯推斷的最新研究動(dòng)態(tài)及其在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域中的應(yīng)用。正如預(yù)期的那樣，在為期 6 天的會(huì)議中，貝葉斯研究相關(guān)論文多達(dá) 70 多篇。David Dunson 教授關(guān)于可擴(kuò)展貝葉斯推斷的導(dǎo)讀非常有用。本教程概述了使用貝葉斯統(tǒng)計(jì)方法分析海量數(shù)據(jù)集的最新方法。Dunson 教授討論了擴(kuò)展常用馬爾可夫鏈蒙特卡羅（MCMC）算法的簡(jiǎn)單方法，例如：高速并行（EP）MCMC，近似 MCMC，隨機(jī)近似，混合優(yōu)化和采樣以及模塊化。這些方法在計(jì)算廣告學(xué)，基因組學(xué)和神經(jīng)科學(xué)等領(lǐng)域均有應(yīng)用。

還有兩個(gè)與貝葉斯推斷相關(guān)的研討會(huì)。一個(gè)是貝葉斯深度學(xué)習(xí)，另一個(gè)是非參數(shù)化貝葉斯推斷，目前都是非?；钴S的研究領(lǐng)域。

口頭報(bào)告和展板涵蓋了貝葉斯推斷的幾個(gè)方面，包括理論進(jìn)步和其在機(jī)器學(xué)習(xí)中的應(yīng)用。涵蓋的主題包括貝葉斯深度學(xué)習(xí)，貝葉斯強(qiáng)化學(xué)習(xí)，貝葉斯優(yōu)化，變分推斷，變分自動(dòng)編碼器，馬爾可夫鏈蒙特卡羅（MCMC）方法，表示學(xué)習(xí)或元學(xué)習(xí)，認(rèn)知科學(xué)，差分隱私，近似貝葉斯方法和貝葉斯網(wǎng)絡(luò)。這一系列主題展示了貝葉斯方法在機(jī)器學(xué)習(xí)和人工智能中的重要性。

我將在這里總結(jié)一些我發(fā)現(xiàn)有趣的演講/展板，完整的演講/展板清單可以在 NeurIPS2018 會(huì)議論文頁面找到。

基于貝葉斯優(yōu)化和最優(yōu)傳輸?shù)纳窠?jīng)架構(gòu)搜索

在這項(xiàng)工作中，作者開發(fā)了 NASBOT，這是一種基于高斯過程的貝葉斯優(yōu)化框架，用于神經(jīng)架構(gòu)搜索。作者在神經(jīng)網(wǎng)絡(luò)架構(gòu)的空間中提出了一個(gè)距離度量，可以通過最優(yōu)的傳輸程序進(jìn)行有效計(jì)算。

通過貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)構(gòu)建深度神經(jīng)網(wǎng)絡(luò)

本文作者介紹了深度神經(jīng)網(wǎng)絡(luò)無監(jiān)督結(jié)構(gòu)學(xué)習(xí)的原理。他們提出了深度和層間連接的新解釋，其中輸入分布中的條件獨(dú)立性在網(wǎng)絡(luò)結(jié)構(gòu)中被分層編碼，這樣可以固有地確定網(wǎng)絡(luò)的深度。該方法將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)問題隱射為貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的問題。

深度學(xué)習(xí)的解釋模型——一種非參數(shù)化的貝葉斯方法

在這項(xiàng)工作中，作者提出了一種新的技術(shù)方法，它增加了具有多個(gè)彈性網(wǎng)的貝葉斯非參數(shù)回歸混合模型。使用增強(qiáng)混合模型，可以通過全局近似提取目標(biāo)模型的泛化理解。

貝葉斯對(duì)抗學(xué)習(xí)

深度神經(jīng)網(wǎng)絡(luò)容易受到對(duì)抗性攻擊，標(biāo)準(zhǔn)的防御性方法是將其作為一個(gè)強(qiáng)大的優(yōu)化問題。本文則是最小化了從對(duì)抗數(shù)據(jù)生成分布中生成的最壞情況損失的點(diǎn)估計(jì)。這項(xiàng)工作提出了一種新的強(qiáng)大的訓(xùn)練框架，稱為貝葉斯魯棒學(xué)習(xí)，其中對(duì)對(duì)抗性數(shù)據(jù)生成分布進(jìn)行分配，以解釋對(duì)抗性數(shù)據(jù)生成過程的不確定性。

貝葉斯分布隨機(jī)梯度下降

這項(xiàng)工作討論了一種用于在并行集群上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的高吞吐量算法。該算法在生成模型中使用平攤推理，以計(jì)算群集的特定方式執(zhí)行小批量梯度計(jì)算時(shí)間的聯(lián)合后驗(yàn)預(yù)測(cè)推斷。特別地是，該算法在基于梯度的同步優(yōu)化中，通過選擇一個(gè)最優(yōu)的中斷（cutoff）來緩解算法中的掉隊(duì)問題。

貝葉斯模型不可知元學(xué)習(xí)

在本文中，作者提出了一種新的貝葉斯模型不可知元學(xué)習(xí)方法，用于從小數(shù)據(jù)集中學(xué)習(xí)。該方法將原有的基于梯度的元學(xué)習(xí)與非參數(shù)變分推斷結(jié)合在一個(gè)有原則的概率框架中。

平均美及其環(huán)境調(diào)節(jié)：貝葉斯統(tǒng)計(jì)賬戶

了解人類如何感知高維物體（如面部）的美感是認(rèn)知科學(xué)和 AI / ML 中的一個(gè)重要問題。從心理學(xué)文獻(xiàn)中可知，人類對(duì)面部吸引力的評(píng)估是依賴于環(huán)境的。在本文中，作者假設(shè)，當(dāng)一個(gè)對(duì)象的編碼成本較低時(shí)，特別是當(dāng)其感知的統(tǒng)計(jì)典型性較高時(shí)，人類對(duì)一個(gè)對(duì)象的喜好會(huì)增加，這與 Barlow 的開創(chuàng)性的編碼假設(shè)一致。

來自演示的時(shí)間任務(wù)規(guī)范的貝葉斯推斷

當(dāng)觀察任務(wù)演示時(shí)，人類學(xué)徒能夠先于獲得實(shí)際執(zhí)行該任務(wù)的專業(yè)知識(shí)之前就能知道給定任務(wù)是否正確執(zhí)行。作者提出了貝葉斯指數(shù)推斷，這是一種推斷任務(wù)規(guī)范作為時(shí)間邏輯公式的概率模型。作者將概率編程的方法與獨(dú)立于領(lǐng)域的似然函數(shù)結(jié)合起來，以定義它們的先驗(yàn)，從而支持基于采樣的推斷。

通過鞍點(diǎn)進(jìn)行預(yù)測(cè)近似貝葉斯計(jì)算

當(dāng)似然函數(shù)難以處理時(shí)，近似貝葉斯計(jì)算（ABC）是貝葉斯推理的一種重要方法。在本文中，作者介紹了一種基于優(yōu)化的 ABC 框架，該框架解決了現(xiàn)有方法的不足。利用生成模型進(jìn)行后驗(yàn)和聯(lián)合分布匹配，作者表明，ABC 可以被定義為鞍點(diǎn)問題，其目標(biāo)可以直接用樣本訪問。

多專家強(qiáng)化學(xué)習(xí)：貝葉斯模型組合方法

在本文中，作者將貝葉斯模型與多個(gè)專家相組合，使其學(xué)習(xí)如何在訓(xùn)練過程中信任優(yōu)秀的專家組合。

變分貝葉斯蒙特卡羅

許多在科學(xué)計(jì)算和機(jī)器學(xué)習(xí)中大熱的概率模型是很棘手的，需要求梯度或大量似然估計(jì)。作者在這里介紹了一種新的樣本推斷框架，即變分貝葉斯蒙特卡羅（VBMC）。 VBMC 將變分推斷與基于高斯過程的主動(dòng)采樣貝葉斯積分相結(jié)合，使用后者有效地近似變分目標(biāo)中的難以求得的積分。

深度高斯過程的隨機(jī)梯度哈密頓蒙特卡羅推斷

深度高斯過程（DGP）是高斯過程的分層推廣，其將良好校準(zhǔn)的不確定性估計(jì)與多層模型的高靈敏度相結(jié)合。這些模型面臨的最大挑戰(zhàn)之一是精確推斷是很難處理的。在這項(xiàng)工作中，作者提供了后驗(yàn)的非高斯性質(zhì)的證據(jù)，并且他們應(yīng)用隨機(jī)梯度哈密頓蒙特卡羅方法從后驗(yàn)分布生成樣本。

算法保證：使用貝葉斯優(yōu)化進(jìn)行算法測(cè)試的主動(dòng)方法

在這項(xiàng)工作中，作者引入了算法保證，即測(cè)試機(jī)器學(xué)習(xí)算法是否符合其預(yù)期設(shè)計(jì)目標(biāo)的問題。作者在數(shù)學(xué)上將此任務(wù)表述為昂貴的黑盒函數(shù)的優(yōu)化問題。他們使用基于貝葉斯優(yōu)化的主動(dòng)學(xué)習(xí)方法來解決這個(gè)優(yōu)化問題。

用易處理變分推斷的離散松弛連續(xù)變量

作者探討了貝葉斯變分推斷的一個(gè)新的研究方向，即離散潛變量先驗(yàn)，他們利用 Kronecker 矩陣代數(shù)進(jìn)行對(duì)數(shù)似然（證據(jù)）下界（ELBO）的高效精確計(jì)算。這導(dǎo)致后驗(yàn)樣本由稀疏和低精度量化整數(shù)組成，其允許在硬件受限設(shè)備上快速推斷。

Wasserstein 變分推斷

本文介紹了 Wasserstein 變分推理，一種基于最優(yōu)傳輸理論的近似貝葉斯推理的新形式。Wasserstein 變分推理使用一個(gè)新的分歧，包括 f-散度和 Wasserstein 距離作為特殊情況。該技術(shù)產(chǎn)生非常穩(wěn)定的訓(xùn)練方法，可以與隱式分布和概率程序一起使用。

在變分自動(dòng)編碼器中學(xué)習(xí)潛在子空間

通常很難解釋使用變分自動(dòng)編碼器（VAE）學(xué)習(xí)的潛在空間表示。作者提出了一種基于 VAE 的生成模型，它能夠提取與數(shù)據(jù)中二進(jìn)制標(biāo)簽相關(guān)的特征，并在容易表示的潛在子空間中構(gòu)造它。

用于分子設(shè)計(jì)的約束圖變分自動(dòng)編碼器

在強(qiáng)調(diào)化學(xué)應(yīng)用的同時(shí)，作者探索了學(xué)習(xí)生成符合訓(xùn)練數(shù)據(jù)中觀察到的分布的圖的任務(wù)。他們提出了一種變分自動(dòng)編碼器模型，其中編碼器和解碼器都是圖結(jié)構(gòu)的。他們表明，通過使用潛在空間的大致形狀，該模型可以設(shè)計(jì)在所需特性（局部）中最佳的分子。

我可能在這里省略了在 NeurIPS2018 上提出的關(guān)于貝葉斯推斷的其他幾項(xiàng)重要工作。這在一定程度上是因?yàn)槲业膫€(gè)人選擇，而且我可能也沒有在會(huì)議上提交的數(shù)百篇論文和展板中注意到它們。建議讀者通過 NeurIPS2018 會(huì)議論文搜索其他有趣的論文。

總之，在 NeurIPS2018 上提出的關(guān)于貝葉斯推斷的工作清單顯示了該主題在機(jī)器學(xué)習(xí)和人工智能時(shí)代的相關(guān)性。去年，貝葉斯推斷在后驗(yàn)密度估計(jì)的更好算法方面取得了一些重要進(jìn)展，并在從深度學(xué)習(xí)模型的解釋到新分子設(shè)計(jì)等問題上得到了應(yīng)用。

via：https://medium.com/datadriveninvestor/bayesian-research-in-neurips2018-319cdbca71e9

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。