1
| 本文作者： AI研習(xí)社-譯站 | 2019-07-09 11:19 |
原標(biāo)題 | From Y=X to Building a Complete Artificial Neural Network
作者 | Ahmed Gad
譯者 | AI小山（工程師）、朱慧94（上海大學(xué)）、Mr-UC（中國科學(xué)院大學(xué)）
本文編輯：王立魚
英語原文：https://heartbeat.fritz.ai/from-y-x-to-building-a-complete-artificial-neural-network-327da18894af
在某些時候，你也許曾問過自己，人工神經(jīng)網(wǎng)絡(luò)的參數(shù)的來源是什么？權(quán)重的目的是什么？如果不用偏差（bias）會怎樣？
在本教程中，我們打算回答那些問題，我們從最簡單的人工神經(jīng)網(wǎng)絡(luò)（ANN）做起，一直到復(fù)雜得多的模型。讓我們從構(gòu)建一個沒有參數(shù)的機(jī)器學(xué)習(xí)模型開始，即Y=X。
然后，我們將逐步增加一些參數(shù)到模型中，直到我們建立了一個單個神經(jīng)元，這個神經(jīng)元被設(shè)計(jì)成接收一個或多個輸入。接著，神經(jīng)元從數(shù)學(xué)公式映射成圖形形式。通過連接多個神經(jīng)元，就能生成一個完整的ANN。讀完本教程后，我希望權(quán)重和偏差的用途就能清楚明白了。
機(jī)器學(xué)習(xí)的基礎(chǔ)部分其實(shí)非常簡單。即使是完全的初學(xué)者也能構(gòu)建一個基本的機(jī)器學(xué)習(xí)模型。所謂的監(jiān)督式機(jī)器學(xué)習(xí)，它的目標(biāo)是找到（即學(xué)習(xí)）一個函數(shù)，能夠在輸入和輸出集合之間完成映射。等到學(xué)習(xí)過程結(jié)束，函數(shù)應(yīng)該能對每一個給定的輸入，返回正確的輸出。根據(jù)下表給出的數(shù)據(jù)，我們來討論如何完成一個最簡單的目標(biāo)。
有4組樣本。每個樣本有一個單一的輸入以及一個單一的輸出。觀察了數(shù)據(jù)之后，我們需要準(zhǔn)備一個函數(shù)來針對每一個給定的輸入返回正確的輸出，并使得誤差最小。觀察數(shù)據(jù)，我們明顯發(fā)現(xiàn)輸出Y跟輸入X完全相同。如果X等于2，Y也等于2。如果X是4，Y也是4。
因此，我們需要的是一個函數(shù)，接收一個單獨(dú)的輸入X并返回一個單獨(dú)的輸出。這個輸出跟輸入相同。毫無疑問，函數(shù)是F(X)=X。為簡單起見，我們用Y代替F(X)。于是，函數(shù)變成Y=X。
找到合適的機(jī)器學(xué)習(xí)模型（即函數(shù)）后，我們需要對它進(jìn)行測試，看看它能不能準(zhǔn)確預(yù)測結(jié)果，是否還存在一定誤差（error）。我們可以用一個簡單的誤差函數(shù)，根據(jù)下面的公式，計(jì)算出正確的輸出與預(yù)測的輸出之間的差的絕對值。它在數(shù)據(jù)樣本中循環(huán)執(zhí)行，對每一個樣本，計(jì)算出正確輸出與預(yù)測輸出之差的絕對值，并最終對所有的差的絕對值求和，存入誤差變量中。求和運(yùn)算中的符號N表示樣本的個數(shù)。
下表給出了計(jì)算的細(xì)節(jié)。根據(jù)這個表格，函數(shù)準(zhǔn)確地預(yù)測了所有的輸出，所以總誤差為0。很棒！但是不要忘這我們做的只是純?nèi)腴T的最簡單的題目。在把題目改得更難一點(diǎn)之前，我要提一個問題。在每一個機(jī)器學(xué)習(xí)模型中，有2個主要環(huán)節(jié)，分別是學(xué)習(xí)（即訓(xùn)練）和測試。我們已經(jīng)看到了最基本的測試環(huán)節(jié)。但是學(xué)習(xí)環(huán)節(jié)在哪里？在前面那個模型里，我們有沒有做學(xué)習(xí)？答案是否定的。
學(xué)習(xí)意味著模型里的一些參數(shù)是在訓(xùn)練環(huán)節(jié)中從數(shù)據(jù)里學(xué)來的。前面那個模型的函數(shù)(Y=X)沒有參數(shù)可學(xué)。函數(shù)只是把輸入X與輸出Y等同起來，沒有中間參數(shù)來平衡兩者的關(guān)系。在這種情況下，就沒有了學(xué)習(xí)環(huán)節(jié)，因?yàn)槟Ｐ褪欠菂?shù)的。“非參數(shù)”意思是說模型不需要從數(shù)據(jù)中學(xué)習(xí)參數(shù)。常見的非參數(shù)機(jī)器學(xué)習(xí)模型是K近鄰算法（K-nearest neighbors， KNN）。
講明白不用學(xué)習(xí)參數(shù)的原因后，我們來對使用的數(shù)據(jù)做一些修改。新數(shù)據(jù)如下表所示。你發(fā)現(xiàn)哪些改動了嗎？其實(shí)很簡單。每一個輸出Y不再與輸入X相等，而變成輸入的兩倍，即2X。我們還是用前面的函數(shù)（Y=X）預(yù)測輸出并計(jì)算總的誤差。
誤差計(jì)算的細(xì)節(jié)在下面一張表格中。在這種情況下，跟前面的例子不一樣，總的誤差不是0，而是14。數(shù)據(jù)中誤差的存在表明模型函數(shù)不能在輸入和輸出之間正確地映射。
為了減少誤差，我們必須修改函數(shù)。問題是，我們改變函數(shù)里的什么東西，能夠減少它的誤差呢？函數(shù)只有兩個變量X和Y。一個代表輸入，另一個代表輸出。這兩個都不能改。最后結(jié)論是，函數(shù)是非參數(shù)的，所以沒有辦法對它進(jìn)行修改以減少誤差。
但是還有希望，如果函數(shù)目前還沒有參數(shù)，為什么不添加一個或多個參數(shù)呢？你可以大膽采用能減少誤差的方法去設(shè)計(jì)機(jī)器學(xué)習(xí)模型。如果你發(fā)現(xiàn)往函數(shù)里增加?xùn)|西能解決問題，立馬就加。
在新數(shù)據(jù)中，輸出Y是輸入X的兩倍。但函數(shù)沒有針對這個做修改，仍然用Y=X。我們修改函數(shù)，使得輸出Y等于2X而不是X?，F(xiàn)在我們得到的函數(shù)是Y=2X。使用這個函數(shù)之后，總的預(yù)測誤差用下表來計(jì)算。總誤差現(xiàn)在又是0了。不錯。
在把2加到函數(shù)里之后，我們的模型變成有參數(shù)的了嗎？不！模型仍然是無參數(shù)的。一個有參數(shù)的模型從數(shù)據(jù)中學(xué)習(xí)到參數(shù)的值。這里，參數(shù)值的計(jì)算與數(shù)據(jù)無關(guān)，所以說模型仍然是無參數(shù)的。剛才的模型用2乘以X，但是數(shù)值2與數(shù)據(jù)無關(guān)。所以，模型仍是無參數(shù)的。
我們把前面的數(shù)據(jù)用下表進(jìn)行修改。
因?yàn)闆]有學(xué)習(xí)環(huán)節(jié)，我們能直接跳到測試環(huán)節(jié)，在這個環(huán)節(jié)里我們用最新的那個函數(shù)（Y=2X）來計(jì)算預(yù)測輸出，然后計(jì)算出預(yù)測的誤差?？偟恼`差用下表進(jìn)行計(jì)算。總的誤差現(xiàn)在不再是0，而是14了。這是怎么回事？
解決這個問題的模型是建立在輸出Y是輸入X的兩倍（2X）基礎(chǔ)之上的?，F(xiàn)在，輸出Y不再等于2X，而3X了。因此，我們可以肯定誤差會增加。為了消除這個誤差，我們不得不改變模型函數(shù)，用3，而不是2。新的函數(shù)是Y=3X。
新的函數(shù)Y=3X會將誤差重新調(diào)整為0值。但適用于處理先前數(shù)據(jù)的Y是X的兩倍即Y=2X，在處理當(dāng)下數(shù)據(jù)時會造成誤差。所以，我們必須以X的3倍去調(diào)整總誤差。在處理先前的數(shù)據(jù)時，我們還必須手動把倍數(shù)變?yōu)?。
看起來當(dāng)每一次數(shù)據(jù)調(diào)整的時候，我們就必須手動調(diào)整模型。對這種煩人的情況，我們有一個解決方法。我們可以避免在函數(shù)當(dāng)中使用常量，而用變量代替。這就是代數(shù)，一個使用變量多于常量的領(lǐng)域。
比起在函數(shù)中使用常量，比如Y=2X中的2或者Y=3X中的3，我們可以在y=wx當(dāng)中使用w這個變量。這個變量的數(shù)值可以基于數(shù)據(jù)計(jì)算而來，因?yàn)檫@個模型涵蓋了由數(shù)據(jù)計(jì)算得來的變量，所以模型可以說是有參數(shù)的。因?yàn)槟Ｐ秃袇?shù)，在變量值可以計(jì)算的基礎(chǔ)上，模型就有了學(xué)習(xí)步驟。這個參數(shù)就是人工神經(jīng)網(wǎng)絡(luò)中的一個神經(jīng)元。接下來就看一下，當(dāng)先前的數(shù)據(jù)符合y=2x這一規(guī)律時，模型是如何為參數(shù)w賦值2的。數(shù)據(jù)在下面已經(jīng)給出。
將參數(shù)初始化為一個通常情況下隨機(jī)選擇的初始值，對于每一個參數(shù)值，總誤差都是可以計(jì)算的。在一些參數(shù)值的基礎(chǔ)上，我們可以決定減少誤差的方向，這有助于參數(shù)值的最佳（最優(yōu)）選擇。
假設(shè)參數(shù)w的初始值設(shè)定為1.5，我們現(xiàn)在的函數(shù)是y=1.5x，我們可以根據(jù)下面的表格在此函數(shù)基礎(chǔ)上計(jì)算出總誤差?？傉`差是8，因?yàn)檫@里存在誤差，我們可以改變參數(shù)w的值。
但是目前我們不知道應(yīng)該向哪一個方向改變參數(shù)w的值。我是說，哪一種方向更好？我們是應(yīng)該增加還是減少這個參數(shù)的值？所以我們可以選擇任何值，無論是比現(xiàn)在的1.5大還是小。
假設(shè)新的w參數(shù)值是0.5，那么新的函數(shù)是y=0.5x，我們可以在此基礎(chǔ)上計(jì)算新的總誤差得到21。比起之前的參數(shù)值1.5和結(jié)果8，總誤差增加了。這就是我們往錯誤方向?yàn)閰?shù)值賦值的暗示。我們可以往數(shù)值更大的方向改變w的參數(shù)值，然后看結(jié)果有沒有改善。
如果新的參數(shù)值是2.5，新函數(shù)是y=2.5x, 在這個函數(shù)的基礎(chǔ)上計(jì)算總誤差，計(jì)算結(jié)果可見以下表格，當(dāng)總誤差為7時，比之前參數(shù)值1.5和0.5兩個案例的結(jié)果更優(yōu)，所以我們應(yīng)該為w賦比1.5更大的值，以減少總誤差。我們可以接著為w增加賦值。
假設(shè)新的參數(shù)值是3，那函數(shù)就是y=3x, 在此基礎(chǔ)上計(jì)算所得的總誤差如以下表格中顯示，為14。誤差比之前更大。
為了對這種情況有更好的觀察，我們可以在下表中總結(jié)先前選擇的參數(shù)w賦值和與之相對應(yīng)的總誤差?？梢钥闯鰷p少誤差的參數(shù)w的值域在1.5-2.5之間。我們可以在此范圍內(nèi)取值2，這個過程會測試持續(xù)更多的值，直到最終總結(jié)出2是可以達(dá)到最小可能誤差的最優(yōu)值。當(dāng)函數(shù)為y=wx,當(dāng) w為2時，總誤差為0。
這是針對于函數(shù)y=2x的數(shù)據(jù)，當(dāng)y=3x時，我們可以重復(fù)以上過程為參數(shù)值為3的函數(shù)找到最優(yōu)值。到目前為止，在人工神經(jīng)網(wǎng)絡(luò)中使用權(quán)重的目的已經(jīng)很清晰了。
我們現(xiàn)在可以討論偏移值了。為此我們需要修飾數(shù)據(jù)，新的數(shù)據(jù)已經(jīng)在下表中給出。
此數(shù)據(jù)與Y = 2X時使用的數(shù)據(jù)相同，但我們?yōu)槊總€Y值增加了1。我們可以測試前一個函數(shù)Y = wX，其中w = 2，并根據(jù)下面的表計(jì)算總誤差?？傉`差為4。
根據(jù)我們之前的討論，4的誤差意味著wis的值不是最好的，我們必須改變它直到達(dá)到誤差為0。但是在某些情況下，僅使用權(quán)重的話將不會達(dá)到0誤差。這個例子是一個證據(jù)。
僅使用權(quán)重w，我們可以達(dá)到0誤差嗎？答案是否定的。在這個例子中只使用權(quán)重，我們可以接近正確的輸出，但仍然會有錯誤。讓我們更詳細(xì)地討論這個問題。
對于第一個樣本，在等式Y(jié) = wX中w的最佳值是什么，它返回一個等于0的誤差？這很簡單。我們有一個包含3個變量的方程，但我們知道2個變量的值，即Y和X.這就省去了一個變量w，可以使用w = Y / X輕松計(jì)算。對于第一個樣本，Y等于5，X等于2，因此w = Y / X = 5/2 = 2.5。因此，正確預(yù)測第一個樣本輸出的w的最佳值是2.5。我們可以對第二個樣本重復(fù)相同的操作。
對于第二個樣本，Y = 7且X = 3。因此，w = Y / X = 7/3 = 2.33。因此，正確預(yù)測第二個樣本輸出的w的最佳值是2.33。該值不同于與第一個樣本一起使用的w的最佳值。根據(jù)第一個和第二個樣本的w的2個值，我們找不到w的單個值來正確預(yù)測它們的輸出。使用w = 2.5將在第二個樣本中產(chǎn)生錯誤，使用w = 2.33將在第一個樣本產(chǎn)生錯誤。
作為結(jié)論，僅使用權(quán)重，我們不能達(dá)到0的誤差。為了解決這種情況，我們必須使用偏差。
通過在w和X之間的乘法結(jié)果中加1值可以得到0的誤差。因此，新函數(shù)是Y = wX + 1，其中w = 2。根據(jù)下表，總誤差現(xiàn)在為0. 很好。
我們?nèi)匀皇褂贸Ａ恐?添加到wX。根據(jù)我們之前的討論，在函數(shù)中使用常量值會使此值依賴于特定問題而非通用。
因此，我們可以使用變量，而不是使用常數(shù)1。因此，新函數(shù)是Y = wX + b。變量（參數(shù)）b表示ANN中的偏差。在解決問題時，我們現(xiàn)在有2個參數(shù)w 和 b來決定它們的最優(yōu)值。這使問題變得更加困難。我們要求優(yōu)化2個參數(shù)w（權(quán)重）和b（偏差），而不是僅僅找到權(quán)重w的最佳值。這需要花費(fèi)比以前更多的時間。
為了找到2個參數(shù)的最優(yōu)值，一個好方法是首先優(yōu)化單個參數(shù)，直到達(dá)到最小可能的誤差。通過更改此參數(shù)確保錯誤不再下降后，我們再開始優(yōu)化下一個參數(shù)。
在優(yōu)化參數(shù)w時將此策略應(yīng)用于前一個示例，我們將注意到即使和w = 2有微小的偏差都會增加誤差。這表示值2是參數(shù)w的最佳值，我們可以開始優(yōu)化下一個參數(shù)b。
此時，我們推導(dǎo)出具有2個參數(shù)的函數(shù)Y = wX + b。第一個是表示權(quán)重的w，第二個是表示偏差的b。該函數(shù)是ANN中接受單個輸入的神經(jīng)元的數(shù)學(xué)表示。輸入為X，權(quán)重等于w。神經(jīng)元的偏差為b。
通過將權(quán)重（w）乘以輸入（X）并將結(jié)果與偏差（b）相加，神經(jīng)元的輸出為Y，其被視為與其連接的其他神經(jīng)元的輸入。神經(jīng)元也可以表示為總結(jié)所有這些信息的圖表，如下圖所示。
在圖中，您可以找到數(shù)學(xué)函數(shù)中的參數(shù)與神經(jīng)元圖之間的映射。只有一個地方需要注意。偏差被視為輸入值為1的權(quán)重。這使得對于正常輸入操縱偏差變得容易。
到目前為止，權(quán)重和偏差的目的現(xiàn)在已經(jīng)很明確，我們也能夠以數(shù)學(xué)和圖形的形式表示神經(jīng)元。但神經(jīng)元目前仍只接受單一輸入。我們?nèi)绾卧试S它支持多個輸入？這也很簡單。只需在等式中添加您需要的任何輸入，并為每個輸入分配權(quán)重。如果有3個輸入，則數(shù)學(xué)形式如下：
關(guān)于圖形形式，只需為每個輸入創(chuàng)建一個新連接，然后將輸入和權(quán)重放在連接上。這在下圖中給出。通過連接這種形式的多個神經(jīng)元，我們可以創(chuàng)建一個完整的人工神經(jīng)網(wǎng)絡(luò)。記住，整個過程的起點(diǎn)僅僅是Y = X而已。
在數(shù)學(xué)形式中，我們注意到重復(fù)了不同的項(xiàng)。這些項(xiàng)對應(yīng)每個輸入乘以其相應(yīng)的權(quán)重。我們可以在求和運(yùn)算符中匯總所有這些乘積。該操作符將返回每個輸入與其相應(yīng)權(quán)重之間的乘積之和。
下面給出了神經(jīng)元的新數(shù)學(xué)形式。注意，求和從0開始，而不是1.這意味著將存在權(quán)重（w）和具有索引為0的輸入（X）。索引為0的權(quán)重將指向偏差b。其輸入將始終指定為+1。
你也可以在求和完成后再加上偏差作為單獨(dú)的一項(xiàng)（如下所示）。在這種情況下，求和從1開始。
本教程提供了一個非常詳細(xì)的解釋，說明如何從一個非常簡單的函數(shù)Y = X開始創(chuàng)建一個完整的人工神經(jīng)網(wǎng)絡(luò)。在整個教程中，我們探討了權(quán)重和偏差的目的。此外，此教程在數(shù)學(xué)形式和神經(jīng)元的圖形形式之間進(jìn)行了一一對應(yīng)。
英語原文：https://heartbeat.fritz.ai/from-y-x-to-building-a-complete-artificial-neural-network-327da18894af
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？
點(diǎn)擊【從Y = X到構(gòu)建完整的人工神經(jīng)網(wǎng)絡(luò)】即可訪問：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
今日博客推薦：神經(jīng)網(wǎng)絡(luò)之謎第一部分：深入挖掘神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)
如今，我們擁有許多諸如Keras、Tensorflow和PyTorch一類高封裝級別的數(shù)據(jù)包，因此，我們不再時常擔(dān)憂記不住加權(quán)矩陣的大小或者激活函數(shù)的導(dǎo)數(shù)是什么。通常我們只需要引用幾個數(shù)據(jù)包以及幾行代碼，我們就可以創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)，即使這個神經(jīng)的結(jié)構(gòu)十分復(fù)雜。可見這樣就節(jié)省了大量時間去尋找代碼中的bug也大大簡化了我們的工作。但是！不可忽略的是，對神經(jīng)網(wǎng)絡(luò)內(nèi)部運(yùn)行原理的理解與認(rèn)知，對模型的挑選和超參數(shù)的調(diào)整和優(yōu)化是大有幫助的。
詳情點(diǎn)擊：https://ai.yanxishe.com/page/TextTranslation/1666
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
