0
| 本文作者： AI研習(xí)社-譯站 | 2019-07-22 14:50 |
原標(biāo)題 | An Easy Guide to Gauge Equivariant Convolutional Networks
作者 | Michael Kissner
譯者 | AI小山（工程師）、Mr-UC（中國(guó)科學(xué)院大學(xué)）
幾何深度學(xué)習(xí)是個(gè)很令人興奮的新領(lǐng)域，但是它的數(shù)學(xué)運(yùn)算逐漸轉(zhuǎn)移到代數(shù)拓樸和理論物理的范圍。
在Cohen等人的論文《規(guī)范等變卷積網(wǎng)絡(luò)和二十面體CNN》中，這種現(xiàn)象尤其明顯。這篇論文也正是本文要探討的對(duì)象。論文中使用了規(guī)范場(chǎng)理論的用辭，那些喜歡把“量子”和“場(chǎng)”兩個(gè)詞合起來(lái)使用的所有的物理學(xué)當(dāng)中，規(guī)范場(chǎng)理論居于中心地位。論文承諾對(duì)規(guī)范場(chǎng)理論的基礎(chǔ)知識(shí)提供一個(gè)直觀的解讀，其實(shí)，我也不得不承認(rèn)，它做到了，而且它也許是目前我看到的最棒的入門介紹。然而，它終究是個(gè)很難的學(xué)科。
我在這里想做的，是純直觀的解讀，不涉及數(shù)學(xué)。我并不完全依照論文的順序，但是你仍然可以打開(kāi)論文對(duì)照閱讀，而我也盡量標(biāo)出所有重要的術(shù)語(yǔ)。
下面我將假設(shè)你已經(jīng)知道卷積神經(jīng)網(wǎng)絡(luò)（CNN）的工作原理，但是不明白它與流形（manifold）的關(guān)系?，F(xiàn)在，讓我們開(kāi)始吧！
流形是很簡(jiǎn)單的東西。你看到的每一個(gè)二維平面都可以算做流形。球體表面，立方體表面，都是流形。但是它并不嚴(yán)格限定于二維，甚至不局限于能想像到的東西，真是見(jiàn)鬼。曲線是流形，四維時(shí)空是流形。它相當(dāng)普遍，能夠描繪出一個(gè)空間。但是，讓我們只專注于二維表面。最簡(jiǎn)單的表面是平面，就像電腦屏幕。當(dāng)我們用CNN做卷積時(shí)，我們往往都是針對(duì)這些平面圖像來(lái)做的。
假設(shè)，我們想用CNN來(lái)預(yù)測(cè)天氣。對(duì)一個(gè)單獨(dú)的國(guó)家，這很容易：用當(dāng)?shù)氐奶鞖鈹?shù)據(jù)作為輸入，然后keras-keras-咚，你有了一個(gè)訓(xùn)練好的模型。如果我們想對(duì)全球天氣分類呢？你怎樣安置在一張圖片里？也許是：
（來(lái)自 Pixabay 的圖片）
但有一個(gè)問(wèn)題。在現(xiàn)實(shí)中，左邊緣和右邊緣是同一個(gè)地點(diǎn)。而且，整個(gè)上邊緣對(duì)應(yīng)一個(gè)點(diǎn)，下邊緣也是如此。整個(gè)對(duì)應(yīng)關(guān)系都扭曲了。有沒(méi)有試過(guò)攤平一個(gè)乒乓球？是的，確實(shí)沒(méi)弄好。當(dāng)我們嘗試應(yīng)用卷積時(shí)，我們會(huì)得到奇怪的結(jié)果。邊緣會(huì)出現(xiàn)不合常理的情況。它可能會(huì)預(yù)測(cè)圖片的最右側(cè)會(huì)有強(qiáng)東風(fēng)，然而圖片左邊什么也沒(méi)有，即使它們代表相同的地點(diǎn)。CNN根本不知道地球是環(huán)回的。
或者，我們可以對(duì)地球生成多個(gè)重疊的地圖，然后對(duì)它們應(yīng)用CNN。這些地圖的集合也稱作地圖冊(cè)。在確保下一張地圖開(kāi)始于上一張地圖相同的重合點(diǎn)的情況下，把CNN在這些單獨(dú)的地圖上平移，這樣應(yīng)該能讓它認(rèn)識(shí)到地球是圓的。這是幾何深度學(xué)習(xí)的基本思想：直接應(yīng)用深度學(xué)習(xí)于表面或流形上，以保留幾何結(jié)構(gòu)。然而，這有一個(gè)問(wèn)題。一個(gè)大問(wèn)題。
現(xiàn)在，讓我們暫時(shí)忘掉天氣，然后拿出指南針。假設(shè)你在新加坡。面朝北方，經(jīng)過(guò)泰國(guó)，穿越中國(guó)、蒙古直到北極。保持方向不變，一直往前走。你將會(huì)穿越加拿大、美國(guó)，直到你抵到美洲中部的某個(gè)地方。在那里止步，然后開(kāi)始橫向游泳，穿越太平洋，保持方向不變！經(jīng)過(guò)無(wú)數(shù)次奮力擊水，你會(huì)最終回到新加坡。但是等一等。你從沒(méi)改變方向，但是為什么現(xiàn)在卻是面朝南方？
讓我們?cè)僦貜?fù)一次旅程，但這次我們抵達(dá)北極后，朝左橫向移動(dòng)。我們會(huì)到達(dá)尼日利亞附近，然后開(kāi)始向后走，此時(shí)還是不改變方向。等我們回到新加坡，這次我們居然朝向西方？奇怪……不相信我？你自己試一試，帶一個(gè)指南針，然后開(kāi)始游泳……
這個(gè)問(wèn)題是由球面曲度造成的，我們把“不改變方向的移動(dòng)”叫作平移。你也看到了平移非常依賴于球體上的路徑。然而，在二維平面上不受影響。你可以保持方向行走任何一條路徑，回到起點(diǎn)后，方向不變。因此，我們說(shuō)平面是可平行的（回到起點(diǎn)后，你的方向矢量仍舊保持平行），而球面不是。
你會(huì)發(fā)現(xiàn)這對(duì)于我們?cè)谇蛎嫔系腃NN來(lái)說(shuō)是一個(gè)問(wèn)題。當(dāng)我們把CNN在所有地圖上朝四面八方移動(dòng)時(shí)，方向似乎會(huì)改變。我們需要想辦法確保這種怪現(xiàn)象不會(huì)影響到我們的結(jié)果！或者，至少我們應(yīng)該知道如何解決它。
我們必須引入更多的數(shù)學(xué)概念才能找到答案。指南針上的指針可以看作是平面上指向某個(gè)方向的矢量，基本都指向北方。指針轉(zhuǎn)動(dòng)所形成的平面與地球表面相切，我們把它稱作這一地點(diǎn)的地球切線空間。盡管地球是圓的，但切線空間卻是純平的。它就像是一個(gè)本地坐標(biāo)系統(tǒng)，以北和東作為坐標(biāo)矢量。因?yàn)槲覀兛梢栽诘厍蛉我坏攸c(diǎn)掏出指南針，所以每一個(gè)地點(diǎn)都有自己的切線空間。但我們也可以把40°和130°定義為我們的坐標(biāo)矢量。在這種情況下，北以及其它方向都沒(méi)特別之處，可以任意選擇。
現(xiàn)在，讓我們?cè)谇芯€空間中任選一個(gè)方向，并沿此方向朝前走一步。我們確保走最短路徑（曲面上的），然后到達(dá)一個(gè)新點(diǎn)。你也許會(huì)稱之為“前進(jìn)”，但是，讓各位糊涂的是，我們把這個(gè)過(guò)程叫作指數(shù)映射（之所以叫這個(gè)名字，是因?yàn)樗羞@些微小的步伐神奇地相似于指數(shù)函數(shù)的級(jí)數(shù)展開(kāi)……但這現(xiàn)在不重要）。
讓我們?cè)倏纯粗改厢樀闹羔?。指南針為地球上“每個(gè)”地點(diǎn)指定了一個(gè)矢量的現(xiàn)象叫作（切線）矢量場(chǎng)。風(fēng)也可以看作是矢量場(chǎng)，因?yàn)樗鼮槊恳粋€(gè)點(diǎn)指定了一個(gè)方向。我特別把“每個(gè)”加上引號(hào)，是因?yàn)楫?dāng)你站在磁北極或磁南極時(shí)，指南針會(huì)出錯(cuò)。事實(shí)上，在球面的每一個(gè)非零連續(xù)矢量場(chǎng)上，它都會(huì)出錯(cuò)。球體的磁場(chǎng)中必須有極地存在。這種現(xiàn)象叫毛球定理，因?yàn)楦崂砻蚓捅厝划a(chǎn)生漩毛渦的情況很像：
（圖片來(lái)自Wikipedia）
矢量場(chǎng)不需要跟切線空間有相同維度。相反，在每一點(diǎn)，它可以有自己任意維度的矢量空間。這很重要，因?yàn)槲覀円蚕肽茉诘厍虻拿恳粋€(gè)點(diǎn)上指定三維或99維矢量，而不僅僅是二維方向。場(chǎng)中每一個(gè)點(diǎn)上的矢量空間也被稱作纖維叢。
（一個(gè)特殊類型的場(chǎng)叫作標(biāo)量場(chǎng)。它只有一個(gè)維度，溫度就可以看作是這樣的標(biāo)量場(chǎng)）
每個(gè)地方測(cè)量溫度都不一樣。在德國(guó)這里，我們用攝氏度。在美國(guó)用華氏度。這種不同的選擇，叫作規(guī)范。是的，這個(gè)詞是從測(cè)量工具那里派生來(lái)的?，F(xiàn)在，每當(dāng)我看一條來(lái)自美國(guó)的天氣預(yù)報(bào)，我不得不計(jì)算一下華氏度等于多少攝氏度。我們有不同的準(zhǔn)則。這種計(jì)算叫作規(guī)范變換。注意，實(shí)際的溫度沒(méi)有改變，只不過(guò)我們用來(lái)表示的數(shù)值不同，而且變換是簡(jiǎn)單的線性函數(shù)。
如果我們考察矢量場(chǎng)，比如風(fēng)的方向，情況就變得復(fù)雜起來(lái)。極端一點(diǎn)，我們假設(shè)有個(gè)國(guó)家叫規(guī)范國(guó)，它并不在乎南北，而是以星座或受驚刺猬逃跑的方位作為他們方向系統(tǒng)的基礎(chǔ)。這些人描述風(fēng)時(shí)，我們必須做規(guī)范變換才能知道他們?cè)谡f(shuō)哪個(gè)方向?，F(xiàn)在，規(guī)范變換變成了可逆矩陣的乘法（顯然必須是雙向的）。這種矩陣的群，叫作一般線性群，或GL。
對(duì)于理論上平坦的地面，選擇出一個(gè)風(fēng)的規(guī)范，到處都可以適用。但是在球面，我們遇到一些問(wèn)題。我們沒(méi)法定義一個(gè)統(tǒng)一的規(guī)范，而是不得不依賴多個(gè)規(guī)范和地圖。至于為什么必須是這樣，從平行化問(wèn)題和毛球定理中，我們可以獲得一些啟發(fā)。
這自然意味著我們需要多個(gè)風(fēng)向地圖。但是，我們不再允許規(guī)范國(guó)亂來(lái)，規(guī)定至少他們所使用的矢量的大小（風(fēng)速）必須跟我們的一致。我們只允許他們使用不同的方向。由此，每一個(gè)規(guī)范變換都簡(jiǎn)化為了旋轉(zhuǎn)。這些變換也構(gòu)成一個(gè)群，名叫特殊正交群，或SO，它是GL的子群。通過(guò)選擇不同結(jié)構(gòu)的群，我們有效地減少了規(guī)范場(chǎng)理論可能會(huì)有的變換。
我們回到原來(lái)的問(wèn)題，想要在風(fēng)向矢量場(chǎng)上進(jìn)行卷積。這里，風(fēng)代表輸入特征。假設(shè)我們想要找龍卷風(fēng)方向作為輸出。我們可以對(duì)“small patch”執(zhí)行卷積以從風(fēng)向提取這些輸出特征。（注意：我不知道這是否具有氣象意義...輸入向量到輸出向量...這就是我們需要知道的全部）
但“small patch”是一個(gè)非常模糊的描述。在二維平面上，它是直截了當(dāng)?shù)模覀兛梢园岩恍┣騼?nèi)的所有東西都放在補(bǔ)丁的中心周圍。這在某種程度上也適用于完美的球體。但在任意的多個(gè)面？事情變得棘手?？纯催@個(gè)時(shí)髦的流形：
圖像來(lái)自維基百科
它被稱為Klein瓶，我們可以看到，點(diǎn)之間的原始距離是有問(wèn)題的。我們可能永遠(yuǎn)不會(huì)需要Klein瓶進(jìn)行深度學(xué)習(xí)，但我們希望盡可能保持一般性。
我們需要的是一種僅在流形附近包含卷積點(diǎn)的方法。我們確實(shí)有辦法做到這一點(diǎn)?；叵胍幌?，指數(shù)圖在我們的流形上做了微小的步驟來(lái)找到附近的點(diǎn)。所以讓我們用它。從中心開(kāi)始，我們向切線空間允許的每個(gè)方向邁出一步，并將這一點(diǎn)包含在我們的卷積中。
我們現(xiàn)在需要的是一些與卷積相關(guān)的函數(shù)。因此，我們定義了一個(gè)內(nèi)核，為每個(gè)指針?lè)峙湟粋€(gè)矩陣......等待，不，我們用指數(shù)映射的切線空間的每個(gè)方向。這有點(diǎn)奇怪，但是當(dāng)你看到經(jīng)典的2-D卷積時(shí)，它實(shí)際上也是如此。它不是那么明顯，因?yàn)樗陲w機(jī)上。
該矩陣乘以輸入矢量并產(chǎn)生輸出矢量。在這里，作者確定了第一個(gè)問(wèn)題。該矩陣僅針對(duì)中心定義。但是我們將它應(yīng)用于附近點(diǎn)的場(chǎng)矢量，它們有自己奇怪的屬性。在一個(gè)平面上，這不是問(wèn)題，但在我們的領(lǐng)域，它們略有不同，我們不能只應(yīng)用內(nèi)核。
讓我們解決這個(gè)問(wèn)題并將這些點(diǎn)上的向量傳輸回我們small batch的中心。在這里，我們可以應(yīng)用我們的矩陣，而不必?fù)?dān)心奇怪的曲率問(wèn)題。
到目前為止我們定義的卷積似乎是明智的。我們應(yīng)用我們的內(nèi)核來(lái)獲取數(shù)據(jù)并得到一個(gè)很好的結(jié)果：龍卷風(fēng)向東移動(dòng)。但不知何故，與所謂的規(guī)范國(guó)相比，我們?nèi)匀坏玫讲煌慕Y(jié)果？他們預(yù)測(cè)龍卷風(fēng)正在向左移動(dòng)？
啊，是的：我們需要衡量將他們的結(jié)果轉(zhuǎn)化為我們的框架aaa和voila：他們預(yù)測(cè)龍卷風(fēng)會(huì)向西走......還是錯(cuò)的......
發(fā)生了什么？我們忘了讓我們的卷積規(guī)范變得相同。簡(jiǎn)而言之，內(nèi)核的結(jié)果必須依賴于所選擇的規(guī)格并且等效地變換。如果沒(méi)有，我們只會(huì)得到無(wú)法相互關(guān)聯(lián)或相互比較的奇怪結(jié)果。
但是輸出矢量可能是一個(gè)不同的維度，或者與輸入有不同的解釋，我們?nèi)绾螌⑤斎氲囊?guī)范變換與輸出的等變“規(guī)范變換”聯(lián)系起來(lái)？好吧，因?yàn)榻Y(jié)構(gòu)組僅作用于輸入，所以想法是找到作用于輸出向量的同一組的表示。例如，具有旋轉(zhuǎn)組作為其結(jié)構(gòu)組的2-D輸入矢量的變換可以由圍繞單個(gè)軸旋轉(zhuǎn)的3-D輸出矢量表示。當(dāng)2-D矢量旋轉(zhuǎn)時(shí)，3-D輸出也圍繞固定軸旋轉(zhuǎn)。通常，可以存在許多表示，例如在3D中可以存在許多不同的旋轉(zhuǎn)軸。關(guān)鍵是，它做了代表相同動(dòng)作的事情。
有了表示的概念，我們可以使卷積規(guī)范變得相同。我們只需要確保輸入矢量的規(guī)范變換導(dǎo)致輸出矢量的等變變換（即，相同的變換，但在適當(dāng)?shù)谋硎局校?/span>
現(xiàn)在，使用規(guī)范等價(jià)，當(dāng)我們?cè)诓煌牡貓D上執(zhí)行卷積時(shí)，我們?cè)跀?shù)字上得到不同的結(jié)果，但是他們的結(jié)果是一致的。這是我們定義卷積以在整個(gè)范圍內(nèi)有意義的最佳方式。
我們基本上涵蓋了論文的第2部分。作者現(xiàn)在轉(zhuǎn)向二十面體，它與拓?fù)浣Y(jié)構(gòu)非常相似，但更好。它們更好，我們可以比球體更容易離散它們。
就像我們用多個(gè)地圖覆蓋地球時(shí)一樣，讓我們用五個(gè)重疊的地圖覆蓋二十面體（重疊用小的全白三角形表示）：
圖像來(lái)自論文
美麗，地圖甚至大小相同。難怪他們選擇了這種多樣性。我們也可以將其視為圖表。注意，每個(gè)節(jié)點(diǎn)，即每個(gè)交叉點(diǎn)，是具有輸入特征向量的歧管上的點(diǎn)（在上圖中不可見(jiàn)）。每個(gè)小三角形都有3個(gè)角，每個(gè)角都是這些節(jié)點(diǎn)之一。他們是我們感興趣的。
那么，讓我們做卷積！
首先，我們需要看看我們的指數(shù)地圖是什么樣的。好吧，在我們的離散流形上，這很容易。我們只是從節(jié)點(diǎn)開(kāi)始向任何方向邁出一步。方向在上圖中可見(jiàn)為連接節(jié)點(diǎn)的線。因此，大多數(shù)節(jié)點(diǎn)有6個(gè)鄰居，除了在二十面體的角落有5個(gè)鄰居。
接下來(lái)，我們需要一個(gè)內(nèi)核函數(shù)。但我們很懶，不想重新發(fā)明輪子。因此，我們只使用標(biāo)準(zhǔn)2D卷積的3 x 3濾波器。這些3 x 3濾波器具有中心點(diǎn)和8個(gè)鄰居。這比我們需要的還要多。所以，讓我們忽略3 x 3網(wǎng)格中的右上角和左下角鄰居，將它們?cè)O(shè)置為0并假裝它只有6個(gè)鄰居。
剩下的就是讓這個(gè)東西變得規(guī)范。那么，讓我們來(lái)看看我們的二十面體的結(jié)構(gòu)組。我們已經(jīng)注意到，我們只能進(jìn)入6個(gè)不同的方向。如果我們?cè)谶@個(gè)結(jié)構(gòu)上描述風(fēng)，我們將只有6個(gè)不同的參照系，每個(gè)參考系旋轉(zhuǎn)60°。這也可以配制成具有6級(jí)或C6的環(huán)狀基團(tuán)作為其結(jié)構(gòu)基團(tuán)。
最后，我提到我們的地圖是重疊的。因此，如果我們想要在具有重疊的區(qū)域上移動(dòng)卷積濾波器，我們基本上使用來(lái)自不同映射的值。我們?nèi)绾翁幚磉@些值？在我們使用它們之前，我們會(huì)測(cè)量它們到正確的幀。瞧，我們正在對(duì)二十面體進(jìn)行卷積。
在我看來(lái)，本文為幾何深度學(xué)習(xí)領(lǐng)域提供了基本的結(jié)果。在進(jìn)行卷積時(shí)理解規(guī)范等價(jià)的總體思路和重要性是這里的主要內(nèi)容。
我希望我的非數(shù)學(xué)解釋有助于理解論文中提出的想法。如果你發(fā)現(xiàn)這類事情很有趣并想要硬核數(shù)學(xué)，那么一定要看看Nakahara的“幾何，拓?fù)浜臀锢怼薄?/span>
本文編輯：王立魚(yú)
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
點(diǎn)擊【一文帶你讀懂卷積網(wǎng)絡(luò)中的幾何學(xué)】即可訪問(wèn)：
免費(fèi)贈(zèng)送課程啦~「好玩的Python：從數(shù)據(jù)挖掘到深度學(xué)習(xí)」該課程涵蓋了從Python入門到CV、NLP實(shí)踐等內(nèi)容，是非常不錯(cuò)的深度學(xué)習(xí)入門課程，共計(jì)9節(jié)32課時(shí)，總長(zhǎng)度約為13個(gè)小時(shí)。?，F(xiàn)AI研習(xí)社將此課程免費(fèi)開(kāi)放給社區(qū)認(rèn)證用戶，只要您在認(rèn)證時(shí)在備注框里填寫(xiě)「Python」，待認(rèn)證通過(guò)后，即可獲得該課程全部解鎖權(quán)限。心動(dòng)不如行動(dòng)噢~
課程頁(yè)面：https://ai.yanxishe.com/page/domesticCourse/37
認(rèn)證方式：https://ai.yanxishe.com/page/blogDetail/11609
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
