0
| 本文作者： sharpzero | 2017-03-13 18:13 |
雷鋒網(wǎng)AI科技評論按：神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了人工智能最火的領(lǐng)域，是源于大腦結(jié)構(gòu)的計算模型。 屬于信息處理結(jié)構(gòu)，其最重要的屬性是其從數(shù)據(jù)中學(xué)習(xí)的能力。 這些技術(shù)在營銷、工程等諸多領(lǐng)域取得了巨大的成功。
感知機(jī)是一種人工神經(jīng)網(wǎng)絡(luò)，由Frank Rosenblatt于1957年發(fā)明，他也提出了相應(yīng)的感知機(jī)學(xué)習(xí)算法。
神經(jīng)網(wǎng)絡(luò)類型眾多，其中最為重要的是多層感知機(jī)。 多層感知機(jī)中的特征神經(jīng)元模型稱為感知機(jī)。本文將解釋從數(shù)學(xué)概念上理解感知機(jī)模型，雷鋒網(wǎng)編譯。
神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的主要組成部分，感知機(jī)是最常用的模型。 如下圖所示。
上述神經(jīng)元包含下列元素：
輸入（x1 ，...，xn ）。
偏移b和突觸權(quán)重（w1 ，...，wn ）。
組合函數(shù)c（·）。
激活函數(shù)a（·）。
輸出y。
如下圖所示的神經(jīng)元有三個輸入。 它將輸入集合x =（x1 ，x2 ，x3 ）變換為單個輸出y。
上圖中的神經(jīng)元，包含下列元素：
輸入（x1 ，x2 ，x3 ）。
神經(jīng)元參數(shù)，為集合b = -0.5和w =（1.0，-0.75,0.25）。
組合函數(shù)c（·），將輸入與偏移和突觸權(quán)重合并。
激活函數(shù)設(shè)置為雙曲正切tanh（·），通過該組合生成神經(jīng)元輸出。
輸出y。
神經(jīng)元參數(shù)由偏移和一組突觸權(quán)重組成。
偏置b是實(shí)數(shù)。
突觸權(quán)重w =（w1 ，...，wn ）是大小為輸入數(shù)量的向量。
因此，該神經(jīng)元模型中的參數(shù)的總數(shù)是1 + n，其中n是神經(jīng)元中輸入的數(shù)量。
上圖所示的感知機(jī)。 其神經(jīng)元模型包含1個偏移和3個突觸權(quán)重：
偏移為b = -0.5。
突觸權(quán)重向量是w =（1.0，-0.75,0.25）。
該神經(jīng)元參數(shù)數(shù)量為1 + 3 = 4。
組合函數(shù)通過輸入向量x生成組合值或凈輸入c。 感知機(jī)中，組合由偏移加上突觸權(quán)重和輸入的線性組合計算得到，
c = b +Σwi·x i i = 1，...，n。
注意，偏置對激活函數(shù)凈輸入的增減取決于其正負(fù)。 偏移有時被表示為連接到固定為+1的輸入的突觸權(quán)重。
上例中的神經(jīng)元，輸入向量x =（-0.8,0.2，-0.4）的感知機(jī)的組合值為
c = -0.5 +（1.0·-0.8）+（-0.75·0.2）+（0.25·-0.4）
= -1.55
激活函數(shù)通過組合來定義神經(jīng)元的輸出。實(shí)踐當(dāng)中，可以考慮多種適用的激活函數(shù)。 三個最常用的是邏輯，雙曲正切和線性函數(shù)。 在此不考慮不可導(dǎo)出的其他激活函數(shù)，如閾值。
邏輯函數(shù)具有S形形狀。 該激活是單調(diào)的新月形函數(shù)，其在線性和非線性行為之間表現(xiàn)出良好的平衡。 定義為
a = 1 /（1 + exp（-c））
邏輯函數(shù)如下圖所示。
邏輯函數(shù)的取值區(qū)間為（0,1）。 特別適合分類應(yīng)用，因?yàn)檩敵隹梢愿鶕?jù)概率解釋。
雙曲正切也是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中常用的S形函數(shù)。 它非常類似于邏輯函數(shù)。 主要區(qū)別是雙曲正切的取值區(qū)間為（-1,1）。 雙曲正切由
a = tanh（c）
雙曲正切如下圖所示。
超實(shí)體正切函數(shù)非常適用于近似應(yīng)用。
線性激活函數(shù)滿足下列等式
a = c
因此，具有線性激活函數(shù)的神經(jīng)元的輸出等于其組合。 線性激活函數(shù)圖形如下圖所示。
線性激活函數(shù)也非常適用于近似應(yīng)用。
本文給出的例子中，組合值為c = -1.55。 因該函數(shù)為雙曲正切，所以該神經(jīng)元的激活如下：
a = tanh（-1.55）
= -0.91
輸出計算是感知機(jī)中最重要的功能。 對于特定的一組神經(jīng)元輸入信號，通過組合生成輸出信號。 輸出函數(shù)以組合和激活函數(shù)的組成表示。 下圖說明了感知機(jī)中信息是如何傳播的。
因此，神經(jīng)元的輸出最終表述為其輸入的函數(shù)
y = a（b + w·x）
本文中的感知機(jī)， 如果輸入x =（-0.8,0.2，-0.4），輸出y如下
y = tanh（-0.5 +（1.0·-0.8）+（-0.75·0.2）+（0.25·-0.4））
= tanh（-1.55）
= -0.91
顯而易見，輸出函數(shù)合并了組合和激活函數(shù)。
神經(jīng)元是生物神經(jīng)系統(tǒng)中單個神經(jīng)元行為的數(shù)學(xué)模型。
單個神經(jīng)元可以完成一些非常簡單的學(xué)習(xí)任務(wù)，但是許多神經(jīng)元構(gòu)成的網(wǎng)絡(luò)威力巨大。人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是指神經(jīng)元的數(shù)量和它們之間的連接關(guān)系。 下圖顯示了神經(jīng)元的前饋網(wǎng)絡(luò)架構(gòu)。
雖然通過本文讀者能夠了解感知機(jī)的功能，但是存在特征各異并且用途不同的神經(jīng)元模型。如可伸縮神經(jīng)元，主成分神經(jīng)元，非伸縮神經(jīng)元或概率神經(jīng)元。上圖中，可伸縮神經(jīng)元為黃色，非伸縮神經(jīng)元為紅色。
via neuraldesigner，雷鋒網(wǎng)編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
