0
原標題 | An Easy Guide to Gauge Equivariant Convolutional Networks
作者 | Michael Kissner
譯者 | AI小山（工程師）、Mr-UC（中國科學院大學）
幾何深度學習是個很令人興奮的新領域，但是它的數學運算逐漸轉移到代數拓樸和理論物理的范圍。
在Cohen等人的論文《規(guī)范等變卷積網絡和二十面體CNN》中，這種現象尤其明顯。這篇論文也正是本文要探討的對象。論文中使用了規(guī)范場理論的用辭，那些喜歡把“量子”和“場”兩個詞合起來使用的所有的物理學當中，規(guī)范場理論居于中心地位。論文承諾對規(guī)范場理論的基礎知識提供一個直觀的解讀，其實，我也不得不承認，它做到了，而且它也許是目前我看到的最棒的入門介紹。然而，它終究是個很難的學科。
我在這里想做的，是純直觀的解讀，不涉及數學。我并不完全依照論文的順序，但是你仍然可以打開論文對照閱讀，而我也盡量標出所有重要的術語。
下面我將假設你已經知道卷積神經網絡（CNN）的工作原理，但是不明白它與流形（manifold）的關系。現在，讓我們開始吧！
流形是很簡單的東西。你看到的每一個二維平面都可以算做流形。球體表面，立方體表面，都是流形。但是它并不嚴格限定于二維，甚至不局限于能想像到的東西，真是見鬼。曲線是流形，四維時空是流形。它相當普遍，能夠描繪出一個空間。但是，讓我們只專注于二維表面。最簡單的表面是平面，就像電腦屏幕。當我們用CNN做卷積時，我們往往都是針對這些平面圖像來做的。
假設，我們想用CNN來預測天氣。對一個單獨的國家，這很容易：用當地的天氣數據作為輸入，然后keras-keras-咚，你有了一個訓練好的模型。如果我們想對全球天氣分類呢？你怎樣安置在一張圖片里？也許是：
（來自 Pixabay 的圖片）
但有一個問題。在現實中，左邊緣和右邊緣是同一個地點。而且，整個上邊緣對應一個點，下邊緣也是如此。整個對應關系都扭曲了。有沒有試過攤平一個乒乓球？是的，確實沒弄好。當我們嘗試應用卷積時，我們會得到奇怪的結果。邊緣會出現不合常理的情況。它可能會預測圖片的最右側會有強東風，然而圖片左邊什么也沒有，即使它們代表相同的地點。CNN根本不知道地球是環(huán)回的。
或者，我們可以對地球生成多個重疊的地圖，然后對它們應用CNN。這些地圖的集合也稱作地圖冊。在確保下一張地圖開始于上一張地圖相同的重合點的情況下，把CNN在這些單獨的地圖上平移，這樣應該能讓它認識到地球是圓的。這是幾何深度學習的基本思想：直接應用深度學習于表面或流形上，以保留幾何結構。然而，這有一個問題。一個大問題。
現在，讓我們暫時忘掉天氣，然后拿出指南針。假設你在新加坡。面朝北方，經過泰國，穿越中國、蒙古直到北極。保持方向不變，一直往前走。你將會穿越加拿大、美國，直到你抵到美洲中部的某個地方。在那里止步，然后開始橫向游泳，穿越太平洋，保持方向不變！經過無數次奮力擊水，你會最終回到新加坡。但是等一等。你從沒改變方向，但是為什么現在卻是面朝南方？
讓我們再重復一次旅程，但這次我們抵達北極后，朝左橫向移動。我們會到達尼日利亞附近，然后開始向后走，此時還是不改變方向。等我們回到新加坡，這次我們居然朝向西方？奇怪……不相信我？你自己試一試，帶一個指南針，然后開始游泳……
這個問題是由球面曲度造成的，我們把“不改變方向的移動”叫作平移。你也看到了平移非常依賴于球體上的路徑。然而，在二維平面上不受影響。你可以保持方向行走任何一條路徑，回到起點后，方向不變。因此，我們說平面是可平行的（回到起點后，你的方向矢量仍舊保持平行），而球面不是。
你會發(fā)現這對于我們在球面上的CNN來說是一個問題。當我們把CNN在所有地圖上朝四面八方移動時，方向似乎會改變。我們需要想辦法確保這種怪現象不會影響到我們的結果！或者，至少我們應該知道如何解決它。
我們必須引入更多的數學概念才能找到答案。指南針上的指針可以看作是平面上指向某個方向的矢量，基本都指向北方。指針轉動所形成的平面與地球表面相切，我們把它稱作這一地點的地球切線空間。盡管地球是圓的，但切線空間卻是純平的。它就像是一個本地坐標系統(tǒng)，以北和東作為坐標矢量。因為我們可以在地球任一地點掏出指南針，所以每一個地點都有自己的切線空間。但我們也可以把40°和130°定義為我們的坐標矢量。在這種情況下，北以及其它方向都沒特別之處，可以任意選擇。
現在，讓我們在切線空間中任選一個方向，并沿此方向朝前走一步。我們確保走最短路徑（曲面上的），然后到達一個新點。你也許會稱之為“前進”，但是，讓各位糊涂的是，我們把這個過程叫作指數映射（之所以叫這個名字，是因為所有這些微小的步伐神奇地相似于指數函數的級數展開……但這現在不重要）。
讓我們再看看指南針的指針。指南針為地球上“每個”地點指定了一個矢量的現象叫作（切線）矢量場。風也可以看作是矢量場，因為它為每一個點指定了一個方向。我特別把“每個”加上引號，是因為當你站在磁北極或磁南極時，指南針會出錯。事實上，在球面的每一個非零連續(xù)矢量場上，它都會出錯。球體的磁場中必須有極地存在。這種現象叫毛球定理，因為跟梳理毛球就必然產生漩毛渦的情況很像：
（圖片來自Wikipedia）
矢量場不需要跟切線空間有相同維度。相反，在每一點，它可以有自己任意維度的矢量空間。這很重要，因為我們也想能在地球的每一個點上指定三維或99維矢量，而不僅僅是二維方向。場中每一個點上的矢量空間也被稱作纖維叢。
（一個特殊類型的場叫作標量場。它只有一個維度，溫度就可以看作是這樣的標量場）
每個地方測量溫度都不一樣。在德國這里，我們用攝氏度。在美國用華氏度。這種不同的選擇，叫作規(guī)范。是的，這個詞是從測量工具那里派生來的?，F在，每當我看一條來自美國的天氣預報，我不得不計算一下華氏度等于多少攝氏度。我們有不同的準則。這種計算叫作規(guī)范變換。注意，實際的溫度沒有改變，只不過我們用來表示的數值不同，而且變換是簡單的線性函數。
如果我們考察矢量場，比如風的方向，情況就變得復雜起來。極端一點，我們假設有個國家叫規(guī)范國，它并不在乎南北，而是以星座或受驚刺猬逃跑的方位作為他們方向系統(tǒng)的基礎。這些人描述風時，我們必須做規(guī)范變換才能知道他們在說哪個方向。現在，規(guī)范變換變成了可逆矩陣的乘法（顯然必須是雙向的）。這種矩陣的群，叫作一般線性群，或GL。
對于理論上平坦的地面，選擇出一個風的規(guī)范，到處都可以適用。但是在球面，我們遇到一些問題。我們沒法定義一個統(tǒng)一的規(guī)范，而是不得不依賴多個規(guī)范和地圖。至于為什么必須是這樣，從平行化問題和毛球定理中，我們可以獲得一些啟發(fā)。
這自然意味著我們需要多個風向地圖。但是，我們不再允許規(guī)范國亂來，規(guī)定至少他們所使用的矢量的大?。L速）必須跟我們的一致。我們只允許他們使用不同的方向。由此，每一個規(guī)范變換都簡化為了旋轉。這些變換也構成一個群，名叫特殊正交群，或SO，它是GL的子群。通過選擇不同結構的群，我們有效地減少了規(guī)范場理論可能會有的變換。
我們回到原來的問題，想要在風向矢量場上進行卷積。這里，風代表輸入特征。假設我們想要找龍卷風方向作為輸出。我們可以對“small patch”執(zhí)行卷積以從風向提取這些輸出特征。（注意：我不知道這是否具有氣象意義...輸入向量到輸出向量...這就是我們需要知道的全部）
但“small patch”是一個非常模糊的描述。在二維平面上，它是直截了當的，我們可以把一些球內的所有東西都放在補丁的中心周圍。這在某種程度上也適用于完美的球體。但在任意的多個面？事情變得棘手?？纯催@個時髦的流形：
圖像來自維基百科
它被稱為Klein瓶，我們可以看到，點之間的原始距離是有問題的。我們可能永遠不會需要Klein瓶進行深度學習，但我們希望盡可能保持一般性。
我們需要的是一種僅在流形附近包含卷積點的方法。我們確實有辦法做到這一點?；叵胍幌?，指數圖在我們的流形上做了微小的步驟來找到附近的點。所以讓我們用它。從中心開始，我們向切線空間允許的每個方向邁出一步，并將這一點包含在我們的卷積中。
我們現在需要的是一些與卷積相關的函數。因此，我們定義了一個內核，為每個指針分配一個矩陣......等待，不，我們用指數映射的切線空間的每個方向。這有點奇怪，但是當你看到經典的2-D卷積時，它實際上也是如此。它不是那么明顯，因為它在飛機上。
該矩陣乘以輸入矢量并產生輸出矢量。在這里，作者確定了第一個問題。該矩陣僅針對中心定義。但是我們將它應用于附近點的場矢量，它們有自己奇怪的屬性。在一個平面上，這不是問題，但在我們的領域，它們略有不同，我們不能只應用內核。
讓我們解決這個問題并將這些點上的向量傳輸回我們small batch的中心。在這里，我們可以應用我們的矩陣，而不必擔心奇怪的曲率問題。
到目前為止我們定義的卷積似乎是明智的。我們應用我們的內核來獲取數據并得到一個很好的結果：龍卷風向東移動。但不知何故，與所謂的規(guī)范國相比，我們仍然得到不同的結果？他們預測龍卷風正在向左移動？
啊，是的：我們需要衡量將他們的結果轉化為我們的框架aaa和voila：他們預測龍卷風會向西走......還是錯的......
發(fā)生了什么？我們忘了讓我們的卷積規(guī)范變得相同。簡而言之，內核的結果必須依賴于所選擇的規(guī)格并且等效地變換。如果沒有，我們只會得到無法相互關聯或相互比較的奇怪結果。
但是輸出矢量可能是一個不同的維度，或者與輸入有不同的解釋，我們如何將輸入的規(guī)范變換與輸出的等變“規(guī)范變換”聯系起來？好吧，因為結構組僅作用于輸入，所以想法是找到作用于輸出向量的同一組的表示。例如，具有旋轉組作為其結構組的2-D輸入矢量的變換可以由圍繞單個軸旋轉的3-D輸出矢量表示。當2-D矢量旋轉時，3-D輸出也圍繞固定軸旋轉。通常，可以存在許多表示，例如在3D中可以存在許多不同的旋轉軸。關鍵是，它做了代表相同動作的事情。
有了表示的概念，我們可以使卷積規(guī)范變得相同。我們只需要確保輸入矢量的規(guī)范變換導致輸出矢量的等變變換（即，相同的變換，但在適當的表示中）。
現在，使用規(guī)范等價，當我們在不同的地圖上執(zhí)行卷積時，我們在數字上得到不同的結果，但是他們的結果是一致的。這是我們定義卷積以在整個范圍內有意義的最佳方式。
我們基本上涵蓋了論文的第2部分。作者現在轉向二十面體，它與拓撲結構非常相似，但更好。它們更好，我們可以比球體更容易離散它們。
就像我們用多個地圖覆蓋地球時一樣，讓我們用五個重疊的地圖覆蓋二十面體（重疊用小的全白三角形表示）：
圖像來自論文
美麗，地圖甚至大小相同。難怪他們選擇了這種多樣性。我們也可以將其視為圖表。注意，每個節(jié)點，即每個交叉點，是具有輸入特征向量的歧管上的點（在上圖中不可見）。每個小三角形都有3個角，每個角都是這些節(jié)點之一。他們是我們感興趣的。
那么，讓我們做卷積！
首先，我們需要看看我們的指數地圖是什么樣的。好吧，在我們的離散流形上，這很容易。我們只是從節(jié)點開始向任何方向邁出一步。方向在上圖中可見為連接節(jié)點的線。因此，大多數節(jié)點有6個鄰居，除了在二十面體的角落有5個鄰居。
接下來，我們需要一個內核函數。但我們很懶，不想重新發(fā)明輪子。因此，我們只使用標準2D卷積的3 x 3濾波器。這些3 x 3濾波器具有中心點和8個鄰居。這比我們需要的還要多。所以，讓我們忽略3 x 3網格中的右上角和左下角鄰居，將它們設置為0并假裝它只有6個鄰居。
剩下的就是讓這個東西變得規(guī)范。那么，讓我們來看看我們的二十面體的結構組。我們已經注意到，我們只能進入6個不同的方向。如果我們在這個結構上描述風，我們將只有6個不同的參照系，每個參考系旋轉60°。這也可以配制成具有6級或C6的環(huán)狀基團作為其結構基團。
最后，我提到我們的地圖是重疊的。因此，如果我們想要在具有重疊的區(qū)域上移動卷積濾波器，我們基本上使用來自不同映射的值。我們如何處理這些值？在我們使用它們之前，我們會測量它們到正確的幀。瞧，我們正在對二十面體進行卷積。
在我看來，本文為幾何深度學習領域提供了基本的結果。在進行卷積時理解規(guī)范等價的總體思路和重要性是這里的主要內容。
我希望我的非數學解釋有助于理解論文中提出的想法。如果你發(fā)現這類事情很有趣并想要硬核數學，那么一定要看看Nakahara的“幾何，拓撲和物理”。
本文編輯：王立魚
想要繼續(xù)查看該篇文章相關鏈接和參考文獻？雷鋒網雷鋒網雷鋒網
點擊【一文帶你讀懂卷積網絡中的幾何學】即可訪問：
免費贈送課程啦~「好玩的Python：從數據挖掘到深度學習」該課程涵蓋了從Python入門到CV、NLP實踐等內容，是非常不錯的深度學習入門課程，共計9節(jié)32課時，總長度約為13個小時?！，FAI研習社將此課程免費開放給社區(qū)認證用戶，只要您在認證時在備注框里填寫「Python」，待認證通過后，即可獲得該課程全部解鎖權限。心動不如行動噢~
課程頁面：https://ai.yanxishe.com/page/domesticCourse/37
認證方式：https://ai.yanxishe.com/page/blogDetail/11609
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
