雷鋒網(wǎng)按：本文為AI研習(xí)社編譯的技術(shù)博客，原標(biāo)題 Learning to perform linear filtering using natural image data，作者為 Josef Taher 。

翻譯 | 張澤坤  王霏         校對 | 余杭      整理 | MY

卷積神經(jīng)網(wǎng)絡(luò)通常從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)有用的特征。第一個卷積層學(xué)習(xí)到的特征往往是視任務(wù)而定的一些訓(xùn)練數(shù)據(jù)的基本元素。例如，在圖像數(shù)據(jù)中，學(xué)習(xí)到的特征可以體現(xiàn)邊緣和斑點。在后續(xù)的網(wǎng)絡(luò)層中，這些學(xué)習(xí)到的特征可以表現(xiàn)更加抽象，更高級的特點。

將學(xué)習(xí)到的特征以及它們隨時間的變化可視化，可以提供一些關(guān)于網(wǎng)絡(luò)如何學(xué)習(xí)的有效信息。實際上，網(wǎng)絡(luò)結(jié)構(gòu)遠(yuǎn)遠(yuǎn)不僅是幾層網(wǎng)絡(luò)那么簡單，大量的卷積核使得直觀解釋和分析學(xué)習(xí)到的特征變得十分困難。

然而，我們可以通過對照實驗證明卷積核的權(quán)重是如何隨著網(wǎng)絡(luò)的學(xué)習(xí)而實時發(fā)展。由于網(wǎng)絡(luò)應(yīng)該學(xué)習(xí)到的特點已經(jīng)被提前知道，即產(chǎn)生數(shù)據(jù)的過程和參數(shù)是被完全定義并且完全在我們的掌控之中，學(xué)習(xí)任務(wù)可以很容易的被確定。我們可以通過構(gòu)建一個非常簡單的單層卷積網(wǎng)絡(luò)并訓(xùn)練它利用多種核進(jìn)行線性濾波來實現(xiàn)上述過程。

在接下來的實驗中，我們在數(shù)據(jù)集上運(yùn)用一種圖像處理和計算機(jī)視覺中常用的傳統(tǒng)邊緣檢測方式——Sobel 邊緣濾波，并訓(xùn)練我們的模型進(jìn)行類似的線性映射。我們也嘗試著利用比 Sobel 濾波器更大一些的核去學(xué)習(xí)一些形式更為普通和任意的濾波器。

這些可以幫我們感受神經(jīng)網(wǎng)絡(luò)中的卷積層如何對輸入數(shù)據(jù)進(jìn)行操作，卷積核的權(quán)重在訓(xùn)練中如何變化以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是如何被視為最小化問題的。

首先，我們必須用線性濾波器去處理圖像數(shù)據(jù) X 來獲取原始圖像濾波后的結(jié)果 Y。線性濾波器操作可以被總結(jié)為如下形式：

對任何一組參數(shù) (卷積核) 或我們所能想到的輸入數(shù)據(jù)，線性濾波器都具有良好定義的操作。

我們現(xiàn)在可以構(gòu)造一個單層，單核的近似線性濾波的卷積神經(jīng)網(wǎng)絡(luò)。在線性濾波器和卷積神經(jīng)網(wǎng)絡(luò)這兩種方式中發(fā)生的計算除了我們要從數(shù)據(jù)中學(xué)習(xí)到的卷積核參數(shù)外是完全一樣的。

我們可以畫出如下的線性濾波器與卷積神經(jīng)網(wǎng)絡(luò)間的聯(lián)系：

學(xué)習(xí)任務(wù)可以被轉(zhuǎn)化為最小化線性濾波器的輸出與卷積神經(jīng)網(wǎng)絡(luò)的輸出的均方誤差的最小化問題：

處理圖像數(shù)據(jù)的線性濾波器的參數(shù)被稱為卷積核。我們的實驗采用稱為 Sobel 算子的 3 x 3 的卷積核來對圖像數(shù)據(jù)進(jìn)行濾波，操作順序為先沿 x 方向再沿 y 方向。Sobel 算子為：

我們使用基于 TensorFlow 的 Keras 框架實現(xiàn)這些實驗。

x 方向上的 Sobel 濾波器

首先，我們需要定義一組輔助函數(shù)來對圖像進(jìn)行預(yù)處理。數(shù)據(jù)集被加載后，圖像被轉(zhuǎn)換成灰度形式，圖像強(qiáng)度范圍被歸一化然后對數(shù)據(jù)集中的每個圖像進(jìn)行線性濾波。

城市和自然景觀類的數(shù)據(jù)來作為訓(xùn)練和測試數(shù)據(jù) - 數(shù)據(jù)集（Oliva, A. & Torralba, A. (2001).Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope）由麻省理工學(xué)院麻省理工學(xué)院計算視覺認(rèn)知實驗室收集整理。

原始的數(shù)據(jù)集包括八個類別的自然景觀的彩色圖像（分辨率： 256 x 256）。我們從中選取街道，城市中心以及高層建筑三個類別進(jìn)行使用。這樣，我們就獲得了充足的固定大小的訓(xùn)練集和測試集（764 個訓(xùn)練集樣本和 192 個測試集樣本），因此訓(xùn)練不會發(fā)生過擬合并且可以在更加合適的硬件和時間框架中完成。選定的三個分類是自然景觀（大量的人類建筑物）中具有明顯邊緣的代表，便于我們比較結(jié)果。

接下來，我們可以可視化的觀察數(shù)據(jù)集中原始圖像、經(jīng)過灰度轉(zhuǎn)換后的圖像以及 Sobel 濾波后的圖像：

原始圖像（左），灰度圖像（中間）以及在 x 方向上進(jìn)行 Sobel 濾波后的圖像（右）。

我們僅對單通道圖像使用線性濾波器。實際上，這意味著模型被訓(xùn)練成將灰度轉(zhuǎn)換后的圖像到 Sobel 過濾后的圖像的映射。

接下來，我們定義一個模型：單層，單核的線性激活的卷積網(wǎng)絡(luò)。例如采用 identity 激活函數(shù)。卷積核的大小設(shè)定為 3 x 3，以便于與 Sobel 濾波器的尺寸兼容。

利用使用 Nesterov 動量的隨機(jī)梯度下降的優(yōu)化器模型進(jìn)行 100 輪的訓(xùn)練。在每一輪中，卷積層的權(quán)重都被保存以便進(jìn)一步的可視化。

在訓(xùn)練結(jié)束后，我們可以畫出訓(xùn)練和驗證的損失值來觀察訓(xùn)練是否過擬合。

訓(xùn)練過程中的訓(xùn)練損失和驗證損失是平穩(wěn)的，模型看上去似乎是收斂的。

每個輪次保存的權(quán)重以數(shù)值矩陣的方式呈現(xiàn)出來，矩陣中的數(shù)值代表了像素的灰度值。聲明了用于進(jìn)行可視化的函數(shù)，并為每個輪次創(chuàng)建了可視化功能。

現(xiàn)在我們可以可視化每一個輪次，能夠為每一個輪次創(chuàng)建一個動圖，觀察權(quán)重是如何下降的。

模型的卷積層權(quán)重被訓(xùn)練后，權(quán)重值收斂到接近 x 方向上的 Sobel 算子。

在模型的學(xué)習(xí)過程中，通過動圖可以清晰的看到卷積核權(quán)重值組建收斂至 x 方向上的 Sobel 濾波器。前 10 到 15 個輪次的收斂很快，這之后，收斂率很快穩(wěn)定下來。如果我們在本次實驗中使用了比線性濾波器更加復(fù)雜的學(xué)習(xí)任務(wù)，我們?nèi)匀荒芸吹筋愃频男袨?。卷積核的值會收斂到最優(yōu)的參數(shù)值從而能夠從數(shù)據(jù)中學(xué)習(xí)到有用的特征。在本次實驗中，有用的特征是由 Sobel 操作器提供的圖像 x 方向上的邊緣信息。我們能夠找到幾乎精準(zhǔn)的，由第一手訓(xùn)練數(shù)據(jù)產(chǎn)生的卷積核參數(shù)，大部分原因是因為我們設(shè)置的問題非常簡單。但是在現(xiàn)實問題中，這是極少可能發(fā)生的，因為訓(xùn)練數(shù)據(jù)不是典型的從輸入到輸出的線性映射。

為了測試模型，我們可以對比模型的預(yù)測結(jié)果與 x 方向上的 Sobel 濾波器。

左邊是模型的輸出，右邊是同一幅圖像上，x 方向的 Sobel 濾波器的結(jié)果。

在圖的上方，我們可以同時觀察到模型的輸出和 x 方向上 Sobel 算子的結(jié)果。通過觀察可以發(fā)現(xiàn)兩幅圖像看上去很相似。事實上，兩幅圖像在像素灰度值上僅能發(fā)現(xiàn)很細(xì)微的差異，因為訓(xùn)練過的卷積核參數(shù)已經(jīng)收斂到接近原始 Sobel 算子的值了。

y 方向上的 Sobel 操作器

同樣的代碼也可以被用到與 y 方向的 Sobel 算子進(jìn)行線性濾波。我們要做的就是改變圖像濾波函數(shù)用 y 方向上的濾波取代 x 方向，再次加載和濾波訓(xùn)練數(shù)據(jù)，同時用新數(shù)據(jù)訓(xùn)練模型。

在下方圖中，我們可以觀察到，Sobel 濾波器現(xiàn)在更加強(qiáng)調(diào)圖像在豎直方向上的圖像灰度邊緣。

原始圖像（左側(cè)），灰度圖像（中間）和 y 方向上的 Sobel 濾波圖像（右側(cè)）

我們能夠再一次的觀察到卷積核的權(quán)重逐步趨向 y 方向的 Sobel 濾波器，隨著網(wǎng)絡(luò)不斷的從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)。這個收斂行為與之前 x 方向的 Sobel 算子非常接近。

模型訓(xùn)練卷積層權(quán)重的過程，權(quán)重值收斂到接近于 y 方向上的 Sobel 算子。

相類似的，下方的圖是在同一測試圖像上模型的輸出結(jié)果和 Sobel 濾波器的版本，有著相同的形狀。從人眼角度，不可能區(qū)分這兩個圖像的差別。

模型的輸出（左邊）和相同圖像 y 方向 Sobel 濾波器的結(jié)果（右邊）

笑臉濾波器

之前學(xué)習(xí)的 Sobel 濾波器非常的簡單，僅需要學(xué)習(xí)非常少量的參數(shù)?，F(xiàn)在我們看一下我們能不能學(xué)習(xí)一個有著更大卷積核的濾波器。

......

想要繼續(xù)閱讀，請移步至我們的AI研習(xí)社社區(qū)：https://club.leiphone.com/page/TextTranslation/710

更多精彩內(nèi)容盡在 AI 研習(xí)社。

不同領(lǐng)域包括計算機(jī)視覺，語音語義，區(qū)塊鏈，自動駕駛，數(shù)據(jù)挖掘，智能控制，編程語言等每日更新。

雷鋒網(wǎng)雷鋒網(wǎng)

雷鋒網(wǎng)雷鋒

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。