從零開始用 Python 構建神經(jīng)網(wǎng)絡

本文作者： AI研習社-譯站

2018-07-02 14:55

導語：為了更加深入的理解深度學習，我們將使用 python 語言從頭搭建一個神經(jīng)網(wǎng)絡，而不是使用像 Tensorflow 那樣的封裝好的框架。

雷鋒網(wǎng) AI 研習社按：本文為雷鋒網(wǎng)字幕組編譯的技術博客，原文章標題為：How to build your own Neural Network from scratch in Python，作者 James Loy
原文鏈接：https://towardsdatascience.com/how-to-build-your-own-neural-network-from-scratch-in-python-68998a08e4f6
翻譯 | 劉彩虹周輝校對 | 于志鵬整理 | 孔令雙

動機：為了更加深入的理解深度學習，我們將使用 python 語言從頭搭建一個神經(jīng)網(wǎng)絡，而不是使用像 Tensorflow 那樣的封裝好的框架。我認為理解神經(jīng)網(wǎng)絡的內(nèi)部工作原理，對數(shù)據(jù)科學家來說至關重要。

這篇文章的內(nèi)容是我的所學，希望也能對你有所幫助。

神經(jīng)網(wǎng)絡是什么？

介紹神經(jīng)網(wǎng)絡的文章大多數(shù)都會將它和大腦進行類比。如果你沒有深入研究過大腦與神經(jīng)網(wǎng)絡的類比，那么將神經(jīng)網(wǎng)絡解釋為一種將給定輸入映射為期望輸出的數(shù)學關系會更容易理解。

神經(jīng)網(wǎng)絡包括以下組成部分

一個輸入層，x
任意數(shù)量的隱藏層
一個輸出層，?
每層之間有一組權值和偏置，W and b
為隱藏層選擇一種激活函數(shù)，σ。在教程中我們使用 Sigmoid 激活函數(shù)

下圖展示了 2 層神經(jīng)網(wǎng)絡的結構（注意：我們在計算網(wǎng)絡層數(shù)時通常排除輸入層）

從零開始用 Python 構建神經(jīng)網(wǎng)絡

2 層神經(jīng)網(wǎng)絡的結構

用 Python 可以很容易的構建神經(jīng)網(wǎng)絡類

class NeuralNetwork:
def __init__(self, x, y):
self.input = x
self.weights1 = np.random.rand(self.input.shape[1],4)
self.weights2 = np.random.rand(4,1)
self.y = y
self.output = np.zeros(y.shape)

訓練神經(jīng)網(wǎng)絡

這個網(wǎng)絡的輸出 ? 為：

從零開始用 Python 構建神經(jīng)網(wǎng)絡

你可能會注意到，在上面的等式中，輸出 ? 是 W 和 b 函數(shù)。

因此 W 和 b 的值影響預測的準確率. 所以根據(jù)輸入數(shù)據(jù)對 W 和 b 調(diào)優(yōu)的過程就被成為訓練神經(jīng)網(wǎng)絡。

每步訓練迭代包含以下兩個部分:

計算預測結果 ?，這一步稱為前向傳播
更新 W 和 b,，這一步成為反向傳播

下面的順序圖展示了這個過程：

從零開始用 Python 構建神經(jīng)網(wǎng)絡

前向傳播

正如我們在上圖中看到的，前向傳播只是簡單的計算。對于一個基本的 2 層網(wǎng)絡來說，它的輸出是這樣的：

從零開始用 Python 構建神經(jīng)網(wǎng)絡

我們在 NeuralNetwork 類中增加一個計算前向傳播的函數(shù)。為了簡單起見我們假設偏置 b 為0：

class NeuralNetwork:
def __init__(self, x, y):
self.input = x
self.weights1 = np.random.rand(self.input.shape[1],4)
self.weights2 = np.random.rand(4,1)
self.y = y
self.output = np.zeros(self.y.shape)

def feedforward(self):
self.layer1 = sigmoid(np.dot(self.input, self.weights1))
self.output = sigmoid(np.dot(self.layer1, self.weights2))

但是我們還需要一個方法來評估預測結果的好壞（即預測值和真實值的誤差）。這就要用到損失函數(shù)。

損失函數(shù)

常用的損失函數(shù)有很多種，根據(jù)模型的需求來選擇。在本教程中，我們使用誤差平方和作為損失函數(shù)。

誤差平方和是求每個預測值和真實值之間的誤差再求和，這個誤差是他們的差值求平方以便我們觀察誤差的絕對值。

訓練的目標是找到一組 W 和 b，使得損失函數(shù)最好小，也即預測值和真實值之間的距離最小。

反向傳播

我們已經(jīng)度量出了預測的誤差（損失），現(xiàn)在需要找到一種方法來傳播誤差，并以此更新權值和偏置。

為了知道如何適當?shù)恼{(diào)整權值和偏置，我們需要知道損失函數(shù)對權值 W 和偏置 b 的導數(shù)。

回想微積分中的概念，函數(shù)的導數(shù)就是函數(shù)的斜率。

從零開始用 Python 構建神經(jīng)網(wǎng)絡

梯度下降法

如果我們已經(jīng)求出了導數(shù)，我們就可以通過增加或減少導數(shù)值來更新權值 W 和偏置 b（參考上圖）。這種方式被稱為梯度下降法。

但是我們不能直接計算損失函數(shù)對權值和偏置的導數(shù)，因為在損失函數(shù)的等式中并沒有顯式的包含他們。因此，我們需要運用鏈式求導發(fā)在來幫助計算導數(shù)。

從零開始用 Python 構建神經(jīng)網(wǎng)絡

鏈式法則用于計算損失函數(shù)對 W 和 b 的導數(shù)。注意，為了簡單起見。我們只展示了假設網(wǎng)絡只有 1 層的偏導數(shù)。

這雖然很簡陋，但是我們依然能得到想要的結果—損失函數(shù)對權值 W 的導數(shù)（斜率），因此我們可以相應的調(diào)整權值。

現(xiàn)在我們將反向傳播算法的函數(shù)添加到 Python 代碼中

class NeuralNetwork:
def __init__(self, x, y):
self.input = x
self.weights1 = np.random.rand(self.input.shape[1],4)
self.weights2 = np.random.rand(4,1)
self.y = y
self.output = np.zeros(self.y.shape)

def feedforward(self):
self.layer1 = sigmoid(np.dot(self.input, self.weights1))
self.output = sigmoid(np.dot(self.layer1, self.weights2))

def backprop(self):
# application of the chain rule to find derivative of the loss function with respect to weights2 and weights1
d_weights2 = np.dot(self.layer1.T, (2*(self.y - self.output) * sigmoid_derivative(self.output)))
d_weights1 = np.dot(self.input.T, (np.dot(2*(self.y - self.output) * sigmoid_derivative(self.output), self.weights2.T) * sigmoid_derivative(self.layer1)))

# update the weights with the derivative (slope) of the loss function
self.weights1 += d_weights1
self.weights2 += d_weights2