0
雷鋒網(wǎng) AI 科技評(píng)論按：如今，說(shuō)到圖像領(lǐng)域的生成式模型，大家往往會(huì)想到對(duì)抗生成網(wǎng)絡(luò)（GAN）和自編碼器（AE）。本文介紹了斯坦福 AI 研究院的研究人員如何從統(tǒng)計(jì)壓縮感知技術(shù)中汲取靈感設(shè)計(jì)出的非確定性自編碼器（該編碼器在自編碼器的潛在空間中對(duì)不確定性進(jìn)行建模），并巧妙地使用變分技術(shù)為其設(shè)計(jì)目標(biāo)函數(shù)，相較于傳統(tǒng)方法，該模型的性能有巨大的提升。斯坦福 AI 研究院將這一成果進(jìn)行了介紹，雷鋒網(wǎng) AI 科技評(píng)論編譯如下。
壓縮感知技術(shù)能夠通過(guò)低維投影有效地采集和恢復(fù)稀疏的高維數(shù)據(jù)信號(hào)。 我們?cè)?AISTATS 2019發(fā)表的一篇論文（https://arxiv.org/pdf/1812.10539）中提出了非確定性自編碼器（UAE），把低維投影作為自編碼器的帶噪聲的潛在表示，并通過(guò)一個(gè)可跟蹤的變分信息最大化目標(biāo)直接對(duì)信號(hào)采樣（即編碼）和逐步恢復(fù)（即解碼）的過(guò)程進(jìn)行學(xué)習(xí)。實(shí)驗(yàn)表明，我們?cè)诟呔S數(shù)據(jù)的統(tǒng)計(jì)壓縮感知任務(wù)中相較于其他方法的性能平均提高了 32% 。
無(wú)監(jiān)督表示學(xué)習(xí)的廣泛目標(biāo)是學(xué)習(xí)對(duì)輸入的數(shù)據(jù)進(jìn)行變換，從而簡(jiǎn)便地捕獲到數(shù)據(jù)分布統(tǒng)計(jì)的根本特性。在之前的工作中，研究人員已經(jīng)從潛變量生成建模、降維和其他角度出發(fā)，提出了大量的學(xué)習(xí)目標(biāo)和算法。在本文中，我們將介紹一個(gè)受壓縮感知啟發(fā)而設(shè)計(jì)出的新的無(wú)監(jiān)督表示學(xué)習(xí)框架。首先，我們將從統(tǒng)計(jì)壓縮感知談起。
能夠高效地采集和精確地恢復(fù)高維數(shù)據(jù)的系統(tǒng)構(gòu)成了壓縮感知的基礎(chǔ)。這些系統(tǒng)得到了廣泛的應(yīng)用。例如，壓縮感知技術(shù)已經(jīng)被成功地用于了包括「設(shè)計(jì)節(jié)能的單像素?cái)z像頭」和「加快核磁共振醫(yī)學(xué)成像掃描時(shí)間」在內(nèi)的廣泛的應(yīng)用領(lǐng)域。
壓縮感知的工作流程由兩部分組成：
采集（acquisition）：一個(gè)從高維信號(hào)
到測(cè)量數(shù)據(jù)
的映射
其中 ? 代表測(cè)量過(guò)程中任意的外部噪聲。當(dāng) m 遠(yuǎn)小于 n 時(shí)，我們稱采集過(guò)程是高效的。
恢復(fù)（recovery）：一個(gè)從測(cè)量數(shù)據(jù) y 到恢復(fù)的數(shù)據(jù)信號(hào)
的映射
。當(dāng)歸一化損失（例如
）很小時(shí)，恢復(fù)的過(guò)程是精確的。
在標(biāo)準(zhǔn)的壓縮感知過(guò)程中，采集映射 f 在 x 中是典型的線性變換（即對(duì)于某個(gè)矩陣 
， f(x)=Wx）。在這樣的情況下，由于我們擁有的變量數(shù)（n）比常量數(shù)（m）多，所以該系統(tǒng)是未確定的。為保證得到唯一的、有意義的恢復(fù)結(jié)果，我們假設(shè)信號(hào)在一個(gè)合適的基上（例如，用于音頻數(shù)據(jù)的傅里葉基、用于圖像數(shù)據(jù)的小波基）是稀疏的。然后，通過(guò)某些類型的隨機(jī)矩陣進(jìn)行信號(hào)采集，并通過(guò)求解 LASSO 優(yōu)化方法進(jìn)行信號(hào)恢復(fù)，這樣便只需使用少量測(cè)量數(shù)據(jù)（大概是數(shù)據(jù)維度的對(duì)數(shù)）就能保證以很高的概率得到唯一的恢復(fù)結(jié)果。
在這項(xiàng)工作中，我們考慮統(tǒng)計(jì)壓縮感知的情況，其中我們可以訪問(wèn)一個(gè)訓(xùn)練數(shù)據(jù)信號(hào) x 的數(shù)據(jù)集 D。我們假設(shè)對(duì)于某些未知的數(shù)據(jù)分布 q_data，有
。
在訓(xùn)練時(shí)：
1. 自然環(huán)境向智能體提供一個(gè)有限的高維信號(hào)數(shù)據(jù)集 D。
2. 智能體通過(guò)優(yōu)化一個(gè)恰當(dāng)?shù)哪繕?biāo)來(lái)學(xué)習(xí)信號(hào)采集和恢復(fù)的映射 f 和 g。
在測(cè)試時(shí)：
1.對(duì)于一個(gè)或多個(gè)測(cè)試信號(hào) 而言，自然環(huán)境向智能體提供壓縮后的測(cè)量數(shù)據(jù)
。
2.智能體恢復(fù)出信號(hào)
，并引入一個(gè)L2 范數(shù)損失
。
為了實(shí)現(xiàn)這個(gè)過(guò)程，智能體的任務(wù)是選取信號(hào)采集和恢復(fù)的映射 f 和 g，從而最小化測(cè)試損失。
實(shí)際上，在僅僅根據(jù)測(cè)量數(shù)據(jù) y 恢復(fù)出信號(hào) x 時(shí)，即使智能體可以選出一個(gè)信號(hào)采集映射 f，仍有兩個(gè)不確定性的來(lái)源。其一是由于隨機(jī)的測(cè)量噪聲 ? 引起的。其次，信號(hào)采集映射 f 通常被參數(shù)化為一個(gè)精度有限的受限映射族
（例如，在標(biāo)準(zhǔn)壓縮感知中的線性映射或更一般化的神經(jīng)網(wǎng)絡(luò)）。假設(shè)測(cè)量數(shù)據(jù) y 的維度比信號(hào) x 的維度要小，即使沒(méi)有噪聲，這樣的限制也會(huì)阻礙我們學(xué)到一個(gè)雙射映射。
在 f 為線性映射的說(shuō)明樣例中，我們確信不可能實(shí)現(xiàn)完全精確的恢復(fù)。那么還有什么高效的方式來(lái)采集數(shù)據(jù)呢？在下圖中，我們考慮了一個(gè)真實(shí)數(shù)據(jù)分布是由兩個(gè)沿正交方向延伸的二維高斯分布的混合分布的簡(jiǎn)單情況。我們從這個(gè)混合分布中采樣出了 100 個(gè)點(diǎn)（黑色的點(diǎn)），并考慮了兩種將這些數(shù)據(jù)點(diǎn)的維數(shù)降低到一維的方法。
第一種方法是使用主成分分析（PCA）將數(shù)據(jù)沿著最能導(dǎo)致數(shù)據(jù)中的變化的方向進(jìn)行投影。對(duì)于上述的二維混合高斯分布的情況，這種方法是通過(guò)洋紅色線上的藍(lán)點(diǎn)表示的。這條洋紅色的線捕獲了數(shù)據(jù)中大部分的變化，但是它將從右下角的高斯分布中采樣得到的數(shù)據(jù)壓縮到了一個(gè)狹窄的區(qū)域中。當(dāng)多個(gè)數(shù)據(jù)點(diǎn)在低維空間被壓縮成重疊的、密集的聚類區(qū)域時(shí)，在恢復(fù)（recovery）過(guò)程中就很難消除低維投影與原始數(shù)據(jù)點(diǎn)之間的關(guān)聯(lián)。
或者，我們可以考慮在綠色的坐標(biāo)軸上投影（紅色的點(diǎn)）。這些投影結(jié)果更加分散，這表明恢復(fù)過(guò)程更加容易（即使與 PCA 相比，這樣做會(huì)增加投影空間的總方差）。接下來(lái)，我們提出了「UAE」框架，它能夠精確地學(xué)習(xí)上面提到的低維投影，使恢復(fù)更加準(zhǔn)確。
從概率意義上說(shuō)，信號(hào) x 和測(cè)量數(shù)據(jù) y 的聯(lián)合分布可以表示為
。例如，如果我們將噪聲建模為中心各向同性高斯分布，那么似然概率
就可以被表示為
。為了學(xué)習(xí)在存在不確定性的情況下最有利于恢復(fù)的參數(shù)
，我們考慮下面的目標(biāo)函數(shù)：
上面的目標(biāo)函數(shù)最大化了從測(cè)量數(shù)據(jù) y 中恢復(fù)出信號(hào) x 的對(duì)數(shù)后驗(yàn)概率，這與上面提到的智能體在測(cè)試時(shí)的目標(biāo)是一致的。
或者，你可以將上述過(guò)程解釋為最大化信號(hào) x 和測(cè)量數(shù)據(jù) y 之間的互信息。為了查看二者之間的聯(lián)系，請(qǐng)注意數(shù)據(jù)熵 H（x） 是一個(gè)常量，它不會(huì)影響優(yōu)化過(guò)程。因此，我們可以將目標(biāo)函數(shù)改寫為：
遺憾的是，在當(dāng)前的情況下，估計(jì)（和優(yōu)化）互信息是十分困難和棘手的。為了克服這個(gè)困難，同時(shí)也能快速地進(jìn)行恢復(fù)，我們建議使用一個(gè)互信息變分下界的平攤變體。
特別地，我們考慮一個(gè)真實(shí)后驗(yàn)概率
的參數(shù)化的變分近似
。在這里，
表示變分參數(shù)。將這個(gè)近似帶入變分分布會(huì)給出如下所示的原始目標(biāo)函數(shù)的變分下界：
上面的表達(dá)式定義了非確定性自編碼器的學(xué)習(xí)目標(biāo)，其中數(shù)據(jù)采集過(guò)程可以被看作對(duì)數(shù)據(jù)信號(hào)進(jìn)行編碼，而恢復(fù)過(guò)程則相當(dāng)于根據(jù)測(cè)量數(shù)據(jù)解碼出數(shù)據(jù)信號(hào)。
實(shí)際上，「UAE」目標(biāo)函數(shù)的期望值是通過(guò)蒙特卡洛方法來(lái)估計(jì)的：數(shù)據(jù)信號(hào) x 是從訓(xùn)練數(shù)據(jù)集 D 中采樣得到的，測(cè)量數(shù)據(jù) y 是從一個(gè)允許重參數(shù)化的假設(shè)的噪聲模型（各向同性的高斯分布）中采樣得到的。根據(jù)對(duì)恢復(fù)過(guò)程的準(zhǔn)確度的度量，我們可以在平攤變分分布
（例如，方差固定為 l2，拉普拉斯算子固定為 l1 的高斯分布）上做出分布假設(shè)，并通過(guò)恢復(fù)映射 
將測(cè)量數(shù)據(jù) y 映射到 
的充分統(tǒng)計(jì)量上。
舉例來(lái)說(shuō)，不妨考慮一個(gè)帶有已知的標(biāo)量方差
的各向同性的高斯噪聲模型
。如果我們令變分分布 也為一個(gè)帶有固定的標(biāo)量方差的各向同性高斯分布，我們將通過(guò)非確定性自編碼器（UAE）得到如下所示的最大化目標(biāo)函數(shù)：
其中 c 為獨(dú)立于 φ 和 θ 的正歸一化常數(shù)。
除了對(duì)統(tǒng)計(jì)壓縮感知的提升，非確定性自編碼器（UAE）為無(wú)監(jiān)督表示學(xué)習(xí)提供了一種替代框架，其中壓縮的測(cè)量值可以被解釋為潛在的表示。下面，我們將討論 UAE 與常用的自編碼器在計(jì)算方法上有何異同。
標(biāo)準(zhǔn)的自編碼器（AE）：當(dāng)潛在空間中沒(méi)有任何的噪聲時(shí)，UAE 的學(xué)習(xí)目標(biāo)函數(shù)就會(huì)退化為 AE 的目標(biāo)函數(shù)。
去躁自編碼器（DAE）：DAE 在觀測(cè)空間中添加噪聲（例如，向數(shù)據(jù)信號(hào)添加噪聲），然而 UAE 則是在潛在空間中對(duì)不確定性建模。
變分自編碼器（VAE）：變分自編碼器將潛在空間正則化，使其遵循一個(gè)先驗(yàn)分布。而在 UAE 中則沒(méi)有顯式的先驗(yàn)，因此在潛在空間上沒(méi)有 KL 散度正則項(xiàng)（而原始論文中沒(méi)有對(duì)此進(jìn)行討論，UAE 的目標(biāo)函數(shù)可以看做 β=0 時(shí)的 β-VAE 的特例）。這樣就避免了使用 VAE 使存在的問(wèn)題：使用強(qiáng)大的解碼器會(huì)忽略潛在的表示。
那么 UAE 是否能像 DAE 和 VAE 那樣，可以進(jìn)行樣本外的泛化呢？答案是肯定的！在恰當(dāng)?shù)募僭O(shè)下，我們說(shuō)明了 UAE 學(xué)到了一個(gè)隱式的數(shù)據(jù)信號(hào)分布的生成模型，它可以被用來(lái)定義一個(gè)馬爾科夫鏈蒙特卡洛（MCMC）采樣。更多細(xì)節(jié)請(qǐng)參閱論文「Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization」（https://arxiv.org/pdf/1812.10539.pdf）中的定理 1 和推論 1。
基于 UAE 的用于 q_data 的馬爾科夫鏈采樣器示意圖。
我們展示出了一些在下面的圖像數(shù)據(jù)集上進(jìn)行統(tǒng)計(jì)壓縮感知的實(shí)驗(yàn)結(jié)果。在這些實(shí)驗(yàn)中，測(cè)量數(shù)據(jù)的個(gè)數(shù) m 會(huì)變化，并且使用了隨機(jī)高斯噪聲。我們與兩種基線進(jìn)行了對(duì)比：
適當(dāng)?shù)南∈栊哉T導(dǎo)基礎(chǔ)上的 LASSO
CS-VAE/DCGAN，這是一種最近提出來(lái)的壓縮感知方法，它通過(guò)搜索預(yù)訓(xùn)練的生成模型（如 VAE 和 GAN）的潛在空間來(lái)尋找潛在向量，從而使恢復(fù)損失最小。
MNIST
測(cè)量數(shù)據(jù)個(gè)數(shù) m 變化時(shí)的測(cè)試的 l2 重建誤差（每張圖像）
測(cè)量值的個(gè)數(shù)為 m=25 時(shí)的重建結(jié)果。
CelebA
測(cè)量數(shù)據(jù)個(gè)數(shù) m 變化時(shí)的測(cè)試的 l2 重建誤差（每張圖像）
測(cè)量值的個(gè)數(shù)為 m=50 時(shí)的重建結(jié)果。
平均而言，我們觀察到，對(duì)于所有的數(shù)據(jù)集和測(cè)量值來(lái)說(shuō)，我們?nèi)〉昧?32% 的提升。關(guān)于在更多的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，以及將 UAE 應(yīng)用到遷移學(xué)習(xí)和監(jiān)督學(xué)習(xí)中的任務(wù)，請(qǐng)參閱我們的論文：
「Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization」Aditya Grover, Stefano Ermon. AISTATS, 2019。
via http://ai.stanford.edu/blog/uncertainty-autoencoders/ 雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
