0
雷鋒網(wǎng)按：本文由圖普科技編譯自《Exemplar CNNs and Information Maximization》，雷鋒網(wǎng)獨(dú)家首發(fā)。
前幾周，我針對(duì)一篇題為《Unsupervised Learning by Predicting Noise》的論文寫(xiě)了自己的解讀和看法。在文章中，我提到了解讀這一方法的另一個(gè)角度——信息最大化，即尋找有限熵?cái)?shù)據(jù)的非線性表征，同時(shí)最大程度地保留輸入的信息。
在那篇文章中，我簡(jiǎn)單地提了一下“Exemplar-CNNs”的方法。這一方法也能被理解為“卷積神經(jīng)網(wǎng)絡(luò)范例”。我是從下面這篇論文中了解到這個(gè)方法的：
《 Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks》Dosovitskiy, Fischer, Springenberg, Riedmiller & Brox (2014)
在此之前我從沒(méi)見(jiàn)過(guò)“范例”與“卷積神經(jīng)網(wǎng)絡(luò)”的組合，所以我認(rèn)為這可能是論文所做的的“首創(chuàng)”。
本文對(duì)“范例卷積神經(jīng)網(wǎng)絡(luò)”的訓(xùn)練方法僅作了簡(jiǎn)單簡(jiǎn)單的概述，所以如果想要獲得更多、更真實(shí)的信息，請(qǐng)閱讀論文原文。
本文簡(jiǎn)要介紹了“變分信息最大化”，并將其運(yùn)用到了“范例卷積神經(jīng)網(wǎng)絡(luò)”的案例中。
我們?cè)诎咐兄皇褂昧艘粋€(gè)數(shù)量適中的訓(xùn)練圖像集，“范例卷積神經(jīng)網(wǎng)絡(luò)”恰恰利用了這一點(diǎn)，把數(shù)據(jù)分布表示為一個(gè)經(jīng)驗(yàn)分布（離散有限可能性的分布）。
假設(shè)我們離散了分布，使之變得不連續(xù)，那么“范例卷積神經(jīng)網(wǎng)絡(luò)”就能夠被推導(dǎo)成為“種子圖像”和其表征之間的互信息的一個(gè)下界。
在前面提到的論文中，Dosovistkiy等人采用的方法其實(shí)很簡(jiǎn)單。從一個(gè)未經(jīng)標(biāo)記的數(shù)據(jù)庫(kù)中取出適量有趣的圖像，把這些圖像稱(chēng)為“種子圖像”或者是“范例”。你需要對(duì)每一個(gè)圖像進(jìn)行各種各樣的轉(zhuǎn)換，你可以更改“種子圖像”的顏色，或者把它旋轉(zhuǎn)至不同的方向。而這些轉(zhuǎn)換后的圖像集合就是一個(gè)“代理圖像集”。下圖就是對(duì)一只鹿的“種子圖像”進(jìn)行各種轉(zhuǎn)換之后得到的圖像集：
每一張范例圖像都需要經(jīng)過(guò)轉(zhuǎn)換，形成一個(gè)“代理圖像集”。所以，你有多少?gòu)垺胺N子圖像”，就會(huì)有多少個(gè)“代理圖像集”。完成以后，你就可以開(kāi)始一個(gè)卷積網(wǎng)絡(luò)的訓(xùn)練了。你需要讓它通過(guò)一張轉(zhuǎn)換后的圖像，推測(cè)其“種子圖像”的各項(xiàng)指數(shù)。所以，如果你有8000個(gè)“種子圖像”，你就需要解決8000個(gè)圖像分類(lèi)的問(wèn)題。那么相應(yīng)地，你的卷積網(wǎng)絡(luò)也就具備了8000維度的分類(lèi)功能。
當(dāng)然了，“種子圖像”數(shù)量越多，網(wǎng)絡(luò)訓(xùn)練的難度就越大，到最后網(wǎng)絡(luò)掌握的分類(lèi)功能的維度也就越高。論文的作者們表示，8000個(gè)“種子圖像”尚在網(wǎng)絡(luò)分類(lèi)功能可處理的范圍之內(nèi)，而且這8000個(gè)圖像的訓(xùn)練就已足夠讓我們達(dá)到比較理想的效果了。
下面我想補(bǔ)充的是——我們?cè)凇胺独矸e神經(jīng)網(wǎng)絡(luò)”中建立的“馬爾科夫鏈”的圖像模型視圖。
“信息最大化”能夠根據(jù)信息測(cè)量變量的不同，采取不同的方式來(lái)進(jìn)行表征學(xué)習(xí)。為了進(jìn)一步了解“范例卷積神經(jīng)網(wǎng)絡(luò)”，我們來(lái)看下圖的“馬爾科夫鏈”：
上圖中的X表示“種子圖像”，Tαx表示轉(zhuǎn)換后的圖像（隨機(jī)抽樣變換參數(shù)α），Z=g(Tαx；Θ)表示采用了隨機(jī)圖像并計(jì)算了其表征的一個(gè)映射。所以，從Tαx到的Z箭頭事實(shí)上是一個(gè)確定性映射。
如果我們把z看作是x的表征，那么實(shí)現(xiàn)“互信息”║[X,Z]的最大化就是有意義的。這個(gè)“互信息”有一個(gè)下界，這個(gè)下界就是標(biāo)準(zhǔn)的“變分下限”。
如果我們的變分集Q涵蓋了真實(shí)情境Px∣z，那么這一下界就是確定的。
“范例卷積神經(jīng)網(wǎng)絡(luò)”的特別之處就在于，它利用了“分布Px實(shí)際上是N觀測(cè)值的一個(gè)經(jīng)驗(yàn)分布”這一事實(shí)。這是當(dāng)我們推導(dǎo)一個(gè)損失函數(shù)時(shí)，通常被我們否定的一種情況，只有在最后才能代替經(jīng)驗(yàn)分布，構(gòu)造一個(gè)無(wú)偏估計(jì)值。這里，我們很大程度上是依靠這樣一個(gè)事實(shí)——我們只有N觀測(cè)值，而且N與數(shù)據(jù)維度D相比較小。用N來(lái)模擬離散分布，比模擬圖像分布要簡(jiǎn)單得多。
如果我們有N的“種子圖像”Xn，那么我們就可以勉強(qiáng)用X來(lái)表示下面的經(jīng)驗(yàn)分布：
假如Z的分布被稍稍地離散了，那么賦予Z的情境也會(huì)被離散，只是離散的比例不同。
因此，在這種情況下，一個(gè)僅根據(jù)不同比例離散分布的變分集合Q就變得非常必要了：
上面公式中，W代表的是q的參數(shù)，πn(Z,W)表示形成了一個(gè)有效的離散概率分布。這樣才會(huì)使得
。如果我們讓離散比例πn(Z,W)靈活地任意變化，變分集合Q就能意識(shí)到其后部?jī)?nèi)容，而我們對(duì)“互信息”的限制就會(huì)比較嚴(yán)格。使用上面對(duì)qΘ的定義，我們可以把下界表達(dá)為：
從x可以得到其表征z，使用其中的原理，我們可以依據(jù)轉(zhuǎn)換參數(shù)α的期望值，寫(xiě)出以下表達(dá)式：
表達(dá)式左邊的部分看上去很像是“范例卷積神經(jīng)網(wǎng)絡(luò)”學(xué)習(xí)的“N式”分類(lèi)問(wèn)題：我們可以把其中的πn看作是“N式”的分類(lèi)器，這個(gè)分類(lèi)器需要一張任意轉(zhuǎn)換過(guò)的圖像，然后估測(cè)出“代理集合”n。上面的方程式事實(shí)上是這個(gè)分類(lèi)器的“損失函數(shù)”。
為獲得真正的“范例卷積神經(jīng)網(wǎng)絡(luò)”方程式，我們需要做的最后一件事是進(jìn)一步限制Q。因此，我們只能讓離散比例π符合以下的邏輯回歸式：
如果我們把這些值重新代入之前得出的方程式，那么我們就會(huì)得到論文中提到的“多項(xiàng)損失函數(shù)”（與論文中的方程式5相對(duì)比）：
因此，我們已經(jīng)證明了“范例卷積神經(jīng)網(wǎng)絡(luò)”進(jìn)行優(yōu)化的目標(biāo)函數(shù)，實(shí)際上是限制“種子圖像”和轉(zhuǎn)換后圖像的表征g(Tαx)間的“互信息”的一個(gè)下界。
“互信息”的下界限制其實(shí)可能并不是那么的嚴(yán)格，因?yàn)棣?z,Θ)僅受限于線性分類(lèi)器。但是如果我們決心嚴(yán)格限制互信息，那么這個(gè)下界是完全可能更加嚴(yán)格的。確實(shí)，如果我們不考慮最后一層g，而是把一些中間的隱藏層視作表征，把上面的一些層視作是q的一部分，那么這個(gè)所謂的下界限制就仍然是有效的，而且中間層的限制就會(huì)更嚴(yán)格。
那些非寬松的界限并不一定就是故障所在，相反，它可能還是一個(gè)特色。僅考慮q的邏輯回歸模型，實(shí)際上是一個(gè)比信息優(yōu)化更嚴(yán)格的目標(biāo)函數(shù)。就像我之前經(jīng)常提到的，“互信息”本身對(duì)表征的可逆再參量化并不敏感，因此它不能夠自己找到已還原了的表征。所以，僅考慮下界的問(wèn)題可能更適用于這個(gè)案例。你不僅需要用z來(lái)保留關(guān)于x的信息，還需要一個(gè)線性可辨性的格式，如果你之后想要把表征用于線性分類(lèi)器的話，那么這個(gè)線性可辨性就是一個(gè)相當(dāng)有用的屬性。
最后，一個(gè)這樣的問(wèn)題出現(xiàn)了——到底什么樣的函數(shù)或映射應(yīng)該被用作表征呢？關(guān)于這個(gè)問(wèn)題，你有三個(gè)選項(xiàng)：
作者是把g(x,Θ)的層用作表征本身的。這在我看來(lái)是有些難以理解的，因?yàn)檫@個(gè)函數(shù)從未經(jīng)過(guò)一個(gè)真實(shí)圖像補(bǔ)丁的訓(xùn)練，它只受過(guò)轉(zhuǎn)換過(guò)的圖像補(bǔ)丁Tαx的訓(xùn)練。我認(rèn)為作者這一做法的原因是，盡管受到種子補(bǔ)丁的訓(xùn)練較少，但是這個(gè)函數(shù)已經(jīng)經(jīng)過(guò)大量轉(zhuǎn)換過(guò)的圖像的訓(xùn)練，所以它是完全有能力成為表征的。作者還提出，最后一層最終將會(huì)被訓(xùn)練得越來(lái)越不容易受轉(zhuǎn)換圖像的影響。
你可以使用一個(gè)隨機(jī)表征g(Tαx,Θ)，但是過(guò)不久這個(gè)表征就會(huì)顯得很累贅，不好處理。因?yàn)槟惚仨毭看味汲闃訖z查α，對(duì)它進(jìn)行評(píng)估，并且整合α上面建立的所有表征。
你可以使用
的方法。如果g是轉(zhuǎn)換圖像的不變量，那么它就能表示成
。實(shí)際上，如果g不是轉(zhuǎn)換圖像的不變量，那
可能更有可能是不變的。
最后，就像我在前面說(shuō)的，你可以把g的中間層當(dāng)作表征，而不是最后一層。你還是可以訓(xùn)練那些中間層，讓他們實(shí)現(xiàn)信息最大化，事實(shí)上那些中間層的界限還更嚴(yán)格一些。其實(shí)作者也是這樣做的：他們集合了各個(gè)層的特征，然后考慮了所有中間層之上的一個(gè)線性SVM。
“范例卷積神經(jīng)網(wǎng)絡(luò)”是“自監(jiān)督學(xué)習(xí)”的一個(gè)絕佳例子。采用一個(gè)未經(jīng)標(biāo)記的數(shù)據(jù)庫(kù)，并在此之上建立一個(gè)代理的監(jiān)督式學(xué)習(xí)任務(wù)來(lái)幫助表征學(xué)習(xí)。像我在本文中說(shuō)的，“范例卷積神經(jīng)網(wǎng)絡(luò)”還能被理解為——尋找一個(gè)信息最大化的表征。
相對(duì)簡(jiǎn)單的用于變分界限的變分分布可能是個(gè)非常有益的東西，而設(shè)立嚴(yán)格的界限可能反而會(huì)讓事情變得更糟。誰(shuí)知道呢？但是在這個(gè)框架內(nèi)建立“范例卷積神經(jīng)網(wǎng)絡(luò)”，確實(shí)讓我們更好地理解了其工作原理。
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
