venturebeat

最近 David Blei 組提交了一篇論文《Deep and Hierarchical Implicit Models》，而此文也在 Reddit 上引起了不少討論，而且呈現(xiàn)驚人的零差評。

為何 Blei 組的動態(tài)會如此快地受到關(guān)注？畢竟發(fā)文的三位個個皆非等閑之輩：

Dustin Tran 是哥倫比亞大學(xué)計算機科學(xué)博士生，師從 David Blei 和 Andrew Gelman。本科與碩士分別在伯克利大學(xué)及哈佛大學(xué)攻讀。Tran 的主要關(guān)注方向包括貝葉斯統(tǒng)計、機器學(xué)習(xí)及深度學(xué)習(xí)。出于對概率模型的濃厚興趣，Tran 搭建了 Edward，一個兼容 TF Slim 和 Keras 的概率編程庫。

二作是普林斯頓大學(xué)的 Rajesh Ranganath，目前與 David Blei 共事。此前曾經(jīng)與百度首席科學(xué)家吳恩達一同在斯坦福 AI 實驗室研發(fā)深度學(xué)習(xí)，并與 Dan Jurafsky 一同在斯坦福 NLP 團隊從事對話與社交動機的監(jiān)測。

而 David Blei 自不必說，他是哥倫比亞大學(xué)的數(shù)據(jù)科學(xué)及計算機科學(xué)教授，主要關(guān)注機器學(xué)習(xí)及貝葉斯統(tǒng)計，研究領(lǐng)域包括主題模型、概率建模及近似貝葉斯推斷。

在論文發(fā)布后，雷鋒網(wǎng)了解到 Dustin Tran 在博客上表示：

帶著私心地評論，我認為這篇論文的想法簡單，但影響卻非常深刻。

舉一個實用的例子，我們只需要將噪聲輸入隱藏層，就能夠?qū)⑷魏蔚臉藴噬窠?jīng)網(wǎng)絡(luò)轉(zhuǎn)換為一個深層的隱含模型。此外，誘導(dǎo)的潛變量呈現(xiàn)驚人的靈活性。沒有比這更簡單的深度生成模型了！

此外 Reddit 上也是好評一片，雷鋒網(wǎng)進行了一些評論的整理：

• @fhuszar 認為，這篇文章將很多內(nèi)容很好地整合在了一起。

  「今年的 ICML 有不少關(guān)于隱式模型變分推斷的論文，但此論文大概是最具綜合性兼實用性的一篇了。此外，論文中的一些例子是在 Edward 上搭建的（你說為啥偏要用 Edward？因為就是 Dustin Tran 一手開發(fā)的呀）。

  我最喜歡的部分是論文通過前向模型的全局參數(shù)進行概率處理和變分推斷，而不是通過在 GAN 或 VAE 中完成 SGD 優(yōu)化?？傮w而言，這使算法呈現(xiàn)一致性，并以相同的方式工作?！?/p>

• @heartastack 表示，看到是用 Edward 搭建的之后，「非常期待拜讀一番?！?/p>

• @abojchevski 也發(fā)來賀電：「很棒的論文，繼續(xù)加油！」

• @ bronzestick 則認為，這篇論文寫得太好了。

然而，在 Reddit 上受到如此好評的這篇大作，是否真的名副其實呢？雷鋒網(wǎng) AI 科技評論聯(lián)系上了在知乎上討論該論文的兩位知友，一位是商湯科技的陳默，另一位是來自中山大學(xué)的鄭華濱。他們并不像 Reddit 用戶一樣全面贊美，而是提出了這篇論文的不少問題。

不過首先，雷鋒網(wǎng) AI 科技評論還得從顯式概率模型（explicit probability model）與隱式概率模型（implicit probability model）開始說起。

在生成模型中，對概率分布一般的建模方式是所謂的顯式概率模型，它能夠?qū)懗鲆粋€顯式的概率密度函數(shù)（density）或似然函數(shù)（likelihood）。

而隱式概率模型又該如何理解呢？我們可以用拋硬幣來舉例。研究者們都知道，硬幣的正反面完全受物理學(xué)定律的控制（比如拋擲的角度和施加于硬幣的壓力），因此，硬幣結(jié)果的隨機性不是因潛在的概率，而會受到很多嘈雜初始參數(shù)的影響。這種模型結(jié)合了物理學(xué)，也能夠更好地捕獲生成過程。此外，該模型是隱式的（模擬器），研究者能夠從生成過程中采樣數(shù)據(jù)，但無法計算密度。

而這篇論文的最大亮點就在于它試圖將層次概率模型和變分后驗分布都建模成隱式概率模型，這是因為隱式概率模型只能從這個概率分布中采樣，但是不要求能夠計算某個樣本的似然函數(shù)，被認為可以更好、更靈活地反映真實世界的物理過程。

然而，由于難以對隱式概率模型構(gòu)建準確、可規(guī)?；呢惾~斯推斷，所以以往的隱式概率模型用得并不多。為了解決這一問題，研究者受到比率估計的啟發(fā)，設(shè)計了一種名為 LFVI（likelihood-free variational inference）的推斷方式，作為該模型的近似求解算法。

研究者也在論文中提到，這項工作具有廣泛的應(yīng)用范圍。具體包括：

1. 分析近似貝葉斯計算（ABC）的經(jīng)典問題，采用傳統(tǒng)方法無法駕馭的大規(guī)模數(shù)據(jù)；

2. 分析貝葉斯 GAN，它能夠讓 GANs 量化不確定性，并提升數(shù)據(jù)的有效性。

3. 分析深層隱含模型的文本與 RNN，能夠推進大范圍的隱式模型，并推進建模設(shè)計。

陳默在知乎上肯定了論文的創(chuàng)新性。在貝葉斯框架上對一個網(wǎng)絡(luò)進行訓(xùn)練，通常手段是將網(wǎng)絡(luò)轉(zhuǎn)化為概率圖模型的對應(yīng)形式，再用貝葉斯的推斷手段進行訓(xùn)練?！付@篇 paper 的思路，是我們不需要做這樣的轉(zhuǎn)化，只需要把給定 network 的每層作為一個 implicit function g，然后我們在每層加一個簡單的 generate 項，整個網(wǎng)絡(luò)就是 probabilistic 的了?！?/p>

鄭華濱在接受 AI 科技評論采訪時也指出，論文采用了隱式建模的方法，認為這更能反映真實世界的情況。他在知乎上指出，「作者利用了一個名為 ratio estimation 的技術(shù)，通過直接對 進行近似求值，進而計算梯度?！?/p>

但是，兩位都認為這篇論文不論是從求解思路還是實用角度上，都有很多需要斟酌的地方。

陳默列出了一些疑問。首先是分解式的推導(dǎo)存在合理性問題：

• 對 marginal distribution，這個分解 是一定不成立的，所以我對 (5) 到 (6) 的合理性有疑問。

• 對于 (7) 的解貌似是近似的 density ratio:，而并不是 expectation:。

其次是近似解的合理性問題。

「論文中 GAN 的 target 近似解了 Bayesian lower bound，我覺得這個近似有點扯，并且太刻意。而恰恰用哪個分布對 log ratio 求期望才是 Bayesian 和 non Bayesian 的分界嶺（對 p 求期望實際上就是 maximium likelihood，對 q 求期望是 Bayesian，而 GAN 是即對 p 求又對 q 求，兩項加起來。實際上當(dāng)樣本無窮大時候，三個 estimator 都收斂到真實分布，可以說互相都是近似，但這個近似根本沒啥意義。）雖然說，以上兩點反正是近似，也不是很有所謂。但這樣隨意的近似對我來說實在是有點無厘頭。」鄭華濱在與陳默討論之時，也贊同了推導(dǎo)過程有問題的觀點。

此外在實用性上，雙方都認為任重道遠。在鄭華濱看來，除了 VAE 等少數(shù)模型之外，目前還很少看貝葉斯深度學(xué)習(xí)這類研究在大數(shù)據(jù)集中奏效，而這篇論文也沒有跳出這一桎梏，比如它的文本 GAN 實驗也是在四則運算序列這種極度特定的數(shù)據(jù)上做的。不過他認為同樣是四則運算序列，這篇論文相對于之前的 Gumbel-Softmax GAN 而言還是有所突破的。

陳默認為對貝葉斯方法持觀望狀態(tài)，認為目前還處于不實用階段，還是得先解決推斷算法的 underestimate 問題。「類似于 mean filed+sampling 的 inference 算法再怎么搞也很難走通，畢竟獨立性 assumption 過強導(dǎo)致的 underestimate 是 fundamental problem，對于深度網(wǎng)絡(luò)尤其嚴重，網(wǎng)絡(luò)越復(fù)雜問題越嚴重，而 sampling 讓近似有效性問題變的更嚴重，而且收斂速度必然很慢?！?/p>

AI 科技評論也將持續(xù)關(guān)注貝葉斯機器學(xué)習(xí)的研究進展，期待有一天能出現(xiàn)實驗結(jié)果更好的推斷算法。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。