venturebeat

最近 David Blei 組提交了一篇論文《Deep and Hierarchical Implicit Models》，而此文也在 Reddit 上引起了不少討論，而且呈現(xiàn)驚人的零差評(píng)。

為何 Blei 組的動(dòng)態(tài)會(huì)如此快地受到關(guān)注？畢竟發(fā)文的三位個(gè)個(gè)皆非等閑之輩：

Dustin Tran 是哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)博士生，師從 David Blei 和 Andrew Gelman。本科與碩士分別在伯克利大學(xué)及哈佛大學(xué)攻讀。Tran 的主要關(guān)注方向包括貝葉斯統(tǒng)計(jì)、機(jī)器學(xué)習(xí)及深度學(xué)習(xí)。出于對(duì)概率模型的濃厚興趣，Tran 搭建了 Edward，一個(gè)兼容 TF Slim 和 Keras 的概率編程庫(kù)。

二作是普林斯頓大學(xué)的 Rajesh Ranganath，目前與 David Blei 共事。此前曾經(jīng)與百度首席科學(xué)家吳恩達(dá)一同在斯坦福 AI 實(shí)驗(yàn)室研發(fā)深度學(xué)習(xí)，并與 Dan Jurafsky 一同在斯坦福 NLP 團(tuán)隊(duì)從事對(duì)話與社交動(dòng)機(jī)的監(jiān)測(cè)。

而 David Blei 自不必說(shuō)，他是哥倫比亞大學(xué)的數(shù)據(jù)科學(xué)及計(jì)算機(jī)科學(xué)教授，主要關(guān)注機(jī)器學(xué)習(xí)及貝葉斯統(tǒng)計(jì)，研究領(lǐng)域包括主題模型、概率建模及近似貝葉斯推斷。

在論文發(fā)布后，雷鋒網(wǎng)了解到 Dustin Tran 在博客上表示：

帶著私心地評(píng)論，我認(rèn)為這篇論文的想法簡(jiǎn)單，但影響卻非常深刻。

舉一個(gè)實(shí)用的例子，我們只需要將噪聲輸入隱藏層，就能夠?qū)⑷魏蔚臉?biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為一個(gè)深層的隱含模型。此外，誘導(dǎo)的潛變量呈現(xiàn)驚人的靈活性。沒(méi)有比這更簡(jiǎn)單的深度生成模型了！

此外 Reddit 上也是好評(píng)一片，雷鋒網(wǎng)進(jìn)行了一些評(píng)論的整理：

• @fhuszar 認(rèn)為，這篇文章將很多內(nèi)容很好地整合在了一起。

  「今年的 ICML 有不少關(guān)于隱式模型變分推斷的論文，但此論文大概是最具綜合性兼實(shí)用性的一篇了。此外，論文中的一些例子是在 Edward 上搭建的（你說(shuō)為啥偏要用 Edward？因?yàn)榫褪?Dustin Tran 一手開發(fā)的呀）。

  我最喜歡的部分是論文通過(guò)前向模型的全局參數(shù)進(jìn)行概率處理和變分推斷，而不是通過(guò)在 GAN 或 VAE 中完成 SGD 優(yōu)化?？傮w而言，這使算法呈現(xiàn)一致性，并以相同的方式工作?！?/p>

• @heartastack 表示，看到是用 Edward 搭建的之后，「非常期待拜讀一番?！?/p>

• @abojchevski 也發(fā)來(lái)賀電：「很棒的論文，繼續(xù)加油！」

• @ bronzestick 則認(rèn)為，這篇論文寫得太好了。

然而，在 Reddit 上受到如此好評(píng)的這篇大作，是否真的名副其實(shí)呢？雷鋒網(wǎng) AI 科技評(píng)論聯(lián)系上了在知乎上討論該論文的兩位知友，一位是商湯科技的陳默，另一位是來(lái)自中山大學(xué)的鄭華濱。他們并不像 Reddit 用戶一樣全面贊美，而是提出了這篇論文的不少問(wèn)題。

不過(guò)首先，雷鋒網(wǎng) AI 科技評(píng)論還得從顯式概率模型（explicit probability model）與隱式概率模型（implicit probability model）開始說(shuō)起。

在生成模型中，對(duì)概率分布一般的建模方式是所謂的顯式概率模型，它能夠?qū)懗鲆粋€(gè)顯式的概率密度函數(shù)（density）或似然函數(shù)（likelihood）。

而隱式概率模型又該如何理解呢？我們可以用拋硬幣來(lái)舉例。研究者們都知道，硬幣的正反面完全受物理學(xué)定律的控制（比如拋擲的角度和施加于硬幣的壓力），因此，硬幣結(jié)果的隨機(jī)性不是因潛在的概率，而會(huì)受到很多嘈雜初始參數(shù)的影響。這種模型結(jié)合了物理學(xué)，也能夠更好地捕獲生成過(guò)程。此外，該模型是隱式的（模擬器），研究者能夠從生成過(guò)程中采樣數(shù)據(jù)，但無(wú)法計(jì)算密度。

而這篇論文的最大亮點(diǎn)就在于它試圖將層次概率模型和變分后驗(yàn)分布都建模成隱式概率模型，這是因?yàn)殡[式概率模型只能從這個(gè)概率分布中采樣，但是不要求能夠計(jì)算某個(gè)樣本的似然函數(shù)，被認(rèn)為可以更好、更靈活地反映真實(shí)世界的物理過(guò)程。

然而，由于難以對(duì)隱式概率模型構(gòu)建準(zhǔn)確、可規(guī)?；呢惾~斯推斷，所以以往的隱式概率模型用得并不多。為了解決這一問(wèn)題，研究者受到比率估計(jì)的啟發(fā)，設(shè)計(jì)了一種名為 LFVI（likelihood-free variational inference）的推斷方式，作為該模型的近似求解算法。

研究者也在論文中提到，這項(xiàng)工作具有廣泛的應(yīng)用范圍。具體包括：

1. 分析近似貝葉斯計(jì)算（ABC）的經(jīng)典問(wèn)題，采用傳統(tǒng)方法無(wú)法駕馭的大規(guī)模數(shù)據(jù)；

2. 分析貝葉斯 GAN，它能夠讓 GANs 量化不確定性，并提升數(shù)據(jù)的有效性。

3. 分析深層隱含模型的文本與 RNN，能夠推進(jìn)大范圍的隱式模型，并推進(jìn)建模設(shè)計(jì)。

陳默在知乎上肯定了論文的創(chuàng)新性。在貝葉斯框架上對(duì)一個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通常手段是將網(wǎng)絡(luò)轉(zhuǎn)化為概率圖模型的對(duì)應(yīng)形式，再用貝葉斯的推斷手段進(jìn)行訓(xùn)練?！付@篇 paper 的思路，是我們不需要做這樣的轉(zhuǎn)化，只需要把給定 network 的每層作為一個(gè) implicit function g，然后我們?cè)诿繉蛹右粋€(gè)簡(jiǎn)單的 generate 項(xiàng)，整個(gè)網(wǎng)絡(luò)就是 probabilistic 的了。」

鄭華濱在接受 AI 科技評(píng)論采訪時(shí)也指出，論文采用了隱式建模的方法，認(rèn)為這更能反映真實(shí)世界的情況。他在知乎上指出，「作者利用了一個(gè)名為 ratio estimation 的技術(shù)，通過(guò)直接對(duì) 進(jìn)行近似求值，進(jìn)而計(jì)算梯度?！?/p>

但是，兩位都認(rèn)為這篇論文不論是從求解思路還是實(shí)用角度上，都有很多需要斟酌的地方。

陳默列出了一些疑問(wèn)。首先是分解式的推導(dǎo)存在合理性問(wèn)題：

• 對(duì) marginal distribution，這個(gè)分解 是一定不成立的，所以我對(duì) (5) 到 (6) 的合理性有疑問(wèn)。

• 對(duì)于 (7) 的解貌似是近似的 density ratio:，而并不是 expectation:。

其次是近似解的合理性問(wèn)題。

「論文中 GAN 的 target 近似解了 Bayesian lower bound，我覺(jué)得這個(gè)近似有點(diǎn)扯，并且太刻意。而恰恰用哪個(gè)分布對(duì) log ratio 求期望才是 Bayesian 和 non Bayesian 的分界嶺（對(duì) p 求期望實(shí)際上就是 maximium likelihood，對(duì) q 求期望是 Bayesian，而 GAN 是即對(duì) p 求又對(duì) q 求，兩項(xiàng)加起來(lái)。實(shí)際上當(dāng)樣本無(wú)窮大時(shí)候，三個(gè) estimator 都收斂到真實(shí)分布，可以說(shuō)互相都是近似，但這個(gè)近似根本沒(méi)啥意義。）雖然說(shuō)，以上兩點(diǎn)反正是近似，也不是很有所謂。但這樣隨意的近似對(duì)我來(lái)說(shuō)實(shí)在是有點(diǎn)無(wú)厘頭?！灌嵢A濱在與陳默討論之時(shí)，也贊同了推導(dǎo)過(guò)程有問(wèn)題的觀點(diǎn)。

此外在實(shí)用性上，雙方都認(rèn)為任重道遠(yuǎn)。在鄭華濱看來(lái)，除了 VAE 等少數(shù)模型之外，目前還很少看貝葉斯深度學(xué)習(xí)這類研究在大數(shù)據(jù)集中奏效，而這篇論文也沒(méi)有跳出這一桎梏，比如它的文本 GAN 實(shí)驗(yàn)也是在四則運(yùn)算序列這種極度特定的數(shù)據(jù)上做的。不過(guò)他認(rèn)為同樣是四則運(yùn)算序列，這篇論文相對(duì)于之前的 Gumbel-Softmax GAN 而言還是有所突破的。

陳默認(rèn)為對(duì)貝葉斯方法持觀望狀態(tài)，認(rèn)為目前還處于不實(shí)用階段，還是得先解決推斷算法的 underestimate 問(wèn)題?！割愃朴?mean filed+sampling 的 inference 算法再怎么搞也很難走通，畢竟獨(dú)立性 assumption 過(guò)強(qiáng)導(dǎo)致的 underestimate 是 fundamental problem，對(duì)于深度網(wǎng)絡(luò)尤其嚴(yán)重，網(wǎng)絡(luò)越復(fù)雜問(wèn)題越嚴(yán)重，而 sampling 讓近似有效性問(wèn)題變的更嚴(yán)重，而且收斂速度必然很慢?！?/p>

AI 科技評(píng)論也將持續(xù)關(guān)注貝葉斯機(jī)器學(xué)習(xí)的研究進(jìn)展，期待有一天能出現(xiàn)實(shí)驗(yàn)結(jié)果更好的推斷算法。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。