雷鋒網(wǎng)AI科技評論按：標(biāo)準(zhǔn)化技術(shù)目前已被廣泛應(yīng)用于各種深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，如著名的批量標(biāo)準(zhǔn)化技術(shù) (Batch Normalization, BN) 基本上是訓(xùn)練深度卷積網(wǎng)絡(luò)的標(biāo)準(zhǔn)配置。裝配有 BN 模塊的神經(jīng)網(wǎng)絡(luò)模型通常比原始模型更容易訓(xùn)練，且通常表現(xiàn)出更好的泛化能力。

近期，在雷鋒網(wǎng) GAIR 大講堂上，來自北京航空航天大學(xué)的博士生黃雷同學(xué)將闡述標(biāo)準(zhǔn)化技術(shù)應(yīng)用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)中的主要?jiǎng)訖C(jī)以及介紹一些主流的標(biāo)準(zhǔn)化技術(shù)，除此之外報(bào)告人也將講解其沿著這個(gè)方向發(fā)表在 AAAI 2018 的論文《Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Networks》。視頻回放地址：http://www.mooc.ai/open/course/478。

黃雷，北京航空航天大學(xué)計(jì)算機(jī)學(xué)院博士，曾于 2015 年 10 月至 2016 年 10 月在密歇根大學(xué)安娜堡分校 Vision & Learning 實(shí)驗(yàn)室做關(guān)于深度學(xué)習(xí)模型優(yōu)化方面的研究。主要的研究領(lǐng)域?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)中標(biāo)準(zhǔn)化技術(shù)，半監(jiān)督學(xué)習(xí)，非參主動(dòng)學(xué)習(xí)及相關(guān)方法在計(jì)算機(jī)視覺和多媒體領(lǐng)域中的應(yīng)用。目前已發(fā)表學(xué)術(shù)論文十余篇，包括 CVPR，ICCV 和 AAAI 等。

分享主題：標(biāo)準(zhǔn)化技術(shù)在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

分享提綱：

1. 標(biāo)準(zhǔn)化技術(shù)應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要?jiǎng)訖C(jī)及相關(guān)方法介紹。

a)   標(biāo)準(zhǔn)化技術(shù)加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要?jiǎng)訖C(jī)

b)   主要的標(biāo)準(zhǔn)化方法介紹

2. 正交權(quán)重標(biāo)準(zhǔn)化技術(shù)：在通用的前向神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)正交過濾器組。

a)   在深度神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)正交過濾器組的主要?jiǎng)訖C(jī)

b)   基于重參數(shù)化方法求解多個(gè)依賴的Stiefel流形優(yōu)化問題

c)   實(shí)驗(yàn)結(jié)果介紹

分享內(nèi)容：

本次分享主要包括兩個(gè)方面：一是標(biāo)準(zhǔn)化技術(shù)的介紹，二是我發(fā)表在AAAI上的論文—Orthogonal weight normalization（OWN）。

首先介紹一下為什么要對輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作，對輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作在傳統(tǒng)機(jī)器學(xué)習(xí)或數(shù)據(jù)挖掘中是很常見的，一是因?yàn)闃?biāo)準(zhǔn)化操作通常能夠提高模型的訓(xùn)練效果，這對非參模型非常重要比如KNN、Kernel SVM，二是因?yàn)闃?biāo)準(zhǔn)化可以提高優(yōu)化的效率，使得模型收斂相對較快，這對參數(shù)化模型比較重要。

現(xiàn)在再講一下為什么在深度神經(jīng)網(wǎng)絡(luò)中，對隱藏層的激活值進(jìn)行標(biāo)準(zhǔn)化非常重要，我們以多層感知器為例進(jìn)行講解。

剛才講完了在深度神經(jīng)網(wǎng)絡(luò)中對激活值進(jìn)行標(biāo)準(zhǔn)化的主要?jiǎng)訖C(jī)，接下來介紹一些標(biāo)準(zhǔn)化技術(shù)。第一個(gè)方法就是非常著名的Batch Normalization，我們講一下它的主要?jiǎng)訖C(jī)。

接下來我們來說一下Batch Normalization具體如何做標(biāo)準(zhǔn)化，其實(shí)對于BN來說涉及到好幾個(gè)方面的選擇。第一個(gè)方面是標(biāo)準(zhǔn)化操作是基于整個(gè)訓(xùn)練數(shù)據(jù)集還是基于mini-batch數(shù)據(jù)？第二個(gè)方面是把標(biāo)準(zhǔn)化操作中的量當(dāng)做是待估計(jì)的參數(shù)還是當(dāng)做數(shù)據(jù)的函數(shù)？第三是要不要進(jìn)行完全的白化操作？我接下來分別解釋一下Batch Normalization是怎樣選擇的，以及為什么這樣選擇。

基于之前的想法，Batch Normalization的具體的實(shí)現(xiàn)如下所述。我想特別說明一下為什么把Batch Normalization放在線性單元的后面而不是放在線性單元的前面，這其實(shí)有違于其對數(shù)據(jù)進(jìn)行白化操作的動(dòng)機(jī)。當(dāng)然把BN放在線性單元的前面和后面各有優(yōu)缺點(diǎn)。

接下來介紹一下Batch Normalization兩個(gè)比較好的屬性。一是加速訓(xùn)練，二是有泛化能力。

下面我大致整理了一下Batch Normalization相關(guān)的工作，分為四個(gè)方面。

我主要介紹small batch size problem、Extending standardization to whitening 、Normalize activation Implicitly這三個(gè)方面的工作。首先是small batch size problem，我按時(shí)間順序把相關(guān)工作列出來并簡單地比較一下。

總結(jié)一下這個(gè)方向的工作抽象來說就是設(shè)計(jì)一個(gè)基于輸入數(shù)據(jù)的變換且要保證該變換是可微的，這樣就能夠保證每批量數(shù)據(jù)有穩(wěn)定的分布，從而能夠穩(wěn)定訓(xùn)練。然而，從優(yōu)化的觀點(diǎn)來看，我認(rèn)為還是Batch Normalization做的最好。

接下來我們講一下Extending standardization to whitening這個(gè)方向的工作。一個(gè)操作是把白化變換中的相關(guān)量當(dāng)做是待估計(jì)的參數(shù)，另外一個(gè)是把白化操作的相關(guān)量看做是輸入數(shù)據(jù)的函數(shù)。

第三個(gè)方向是Normalize activation Implicitly。通過對參數(shù)、權(quán)重矩陣進(jìn)行相關(guān)處理來進(jìn)行標(biāo)準(zhǔn)化。這里面的最早的一個(gè)工作是Norm Propagation。

接下來我講一下我發(fā)表在AAAI2018上的論文—正交權(quán)重標(biāo)準(zhǔn)化技術(shù)。之所以引入正交過濾器是因?yàn)樗袃蓚€(gè)很好的屬性，一是能量保留的屬性，二是冗余度低。這兩個(gè)屬性對于穩(wěn)定神經(jīng)網(wǎng)絡(luò)各層的激活值的分布以及規(guī)整化神經(jīng)網(wǎng)絡(luò)來說有很大的好處。這個(gè)方向之前也有一些相關(guān)工作，但是只限定于在RNN的隱藏層到隱藏層的變換中使用。

但我們期望在前向神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)更一般的矩形正交矩陣。之前也存在使用約束懲罰的方法。

因?yàn)槲覀兤谕麑W(xué)習(xí)正交矩陣，那么我們可以把該問題當(dāng)做限制優(yōu)化問題。我把問題定義為Optimization over Multiple Dependent Stiefel Manifolds (OMDSM) 。之所以這么定義有兩個(gè)原因，一是包含多個(gè)嵌入的子流，二是每個(gè)權(quán)重矩陣的損失函數(shù)的誤差曲面相互依賴。

定義完問題之后我們嘗試使用Riemannian方法來求解這個(gè)問題，但實(shí)驗(yàn)結(jié)果并不理想。

受啟發(fā)于重參數(shù)方法以及正交變換是可微的這個(gè)結(jié)論，我們的方法是設(shè)計(jì)一個(gè)代理參數(shù)矩陣，對其進(jìn)行正交變換得到正交化的權(quán)重矩陣，且優(yōu)化是基于代理參數(shù)矩陣。

為了保證穩(wěn)定性，期望使得變換后的矩陣正交權(quán)重矩陣和代理參數(shù)矩陣差異最小。對上圖問題進(jìn)行求解可以得到下圖結(jié)果。

有了前向變換以及一些相關(guān)的結(jié)論，我們也可以進(jìn)行backward propagation使得梯度流通過該正交變換。把這兩個(gè)過程封裝成module，我把它稱為Orthogonal Linear Module (OLM) 。

最后我也對其進(jìn)行了相關(guān)拓展，如考慮如何在卷積上進(jìn)行拓展等。

然后我再簡單介紹一下我做的相關(guān)實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果表明使用我們的的OLM替換原有層后訓(xùn)練的效果提升比較顯著。我的這篇論文說明了兩件事，一是在前向神經(jīng)網(wǎng)絡(luò)里面可以確切的學(xué)習(xí)到正交過濾器，二是這種學(xué)習(xí)到的正交過濾器可以提升深度神經(jīng)網(wǎng)絡(luò)的效果。我覺得將這種方法使用到GAN訓(xùn)練等其他方面也可能得到好的效果。

以上就是雷鋒網(wǎng)對本次分享的全部整理。大家如果感興趣可以觀看視頻回放：http://www.mooc.ai/open/course/478。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。