雷鋒網(wǎng)AI研習社按：在當今AI時代中，CNN和RNN都被廣泛關(guān)注，并且有很多相關(guān)討論，而最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)DNN，它的研究和曝光度卻相對較少。DNN是所有其它神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，所以對它有一定了解是必要的。本文為大家詳細介紹了傳統(tǒng)機器學(xué)習的基本概念和神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，以及如何設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)讓神經(jīng)網(wǎng)絡(luò)表達出樸素貝葉斯和決策樹這兩大傳統(tǒng)算法模型。文章內(nèi)容根據(jù)AI研習社線上分享課整理而成。

我們都知道神經(jīng)網(wǎng)絡(luò)很強，但卻只有很少人去思考它為什么這么強。在近期雷鋒網(wǎng)AI研習社的線上分享會上，資深Python工程師何宇健為我們分享了如何設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)讓神經(jīng)網(wǎng)絡(luò)表達出樸素貝葉斯和決策樹這兩大傳統(tǒng)算法模型。希望這種設(shè)計能讓大家從直觀上感受到神經(jīng)網(wǎng)絡(luò)的強大。

何宇健，《Python與機器學(xué)習實戰(zhàn)》作者，來自北京大學(xué)數(shù)學(xué)系，有多年P(guān)ython開發(fā)經(jīng)驗，在GitHub上擁有并維護著一個純Python編寫的機器學(xué)習算法庫（180個stars，100個forks）。曾在創(chuàng)新工場AI工程院負責研發(fā)適用于結(jié)構(gòu)化數(shù)據(jù)的新型神經(jīng)網(wǎng)絡(luò)。希望這種設(shè)計能讓大家從直觀上感受到神經(jīng)網(wǎng)絡(luò)的強大。

分享內(nèi)容：

• 機器學(xué)習的基本概念與神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

• 樸素貝葉斯、決策樹算法簡介以及它和神經(jīng)網(wǎng)絡(luò)的關(guān)系

• 具體的實現(xiàn)說明，以及可以做出改進與創(chuàng)新

大家好，我是何宇健。在當今的AI時代中，CNN和RNN都被廣泛關(guān)注，并且有很多相關(guān)討論，’而最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)DNN，它的研究和曝光度卻相對比較少。DNN是所有其它神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，所以對它有一定了解是必要的。有些同學(xué)可能對機器學(xué)習相關(guān)概念不熟悉，因此分享的所有內(nèi)容都從最基礎(chǔ)的開始講起。

分享主要內(nèi)容通過設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來讓神經(jīng)網(wǎng)絡(luò)表達出樸素畢葉思和決策樹這兩大傳統(tǒng)算法模型。希望這種設(shè)計能讓大家從直觀上感受到神經(jīng)網(wǎng)絡(luò)的強大。

機器學(xué)習的基本概念及神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

 本次分享涉及的問題都是有監(jiān)督學(xué)習問題。所謂有監(jiān)督學(xué)習，就是對一個模型來說，它的輸入都會對著一個目標。最終目的是模型的輸出和目標盡可能接近。

機器學(xué)習術(shù)語：

特征向量：模型接受的輸入通常稱為特征向量，用字母X代指。

標簽：模型擬合的目標通常稱為標簽，用字母Y代指。

樣本：通常聽到的“樣本”概念是特征向量+標簽的組合，用d=(x,y)代指

數(shù)據(jù)集：就是很多個樣本的集合，通常用D=（d1,d2,...dn）代指。

損失函數(shù)：計算單個樣本上模型的“損失”的函數(shù)。

代價函數(shù)：計算整個數(shù)據(jù)集上模型的“代價”的函數(shù)。

接下里進入神經(jīng)網(wǎng)絡(luò)正題的討論。

神經(jīng)網(wǎng)絡(luò)包含輸入層，隱藏層，輸出層。在說有多少層神經(jīng)網(wǎng)絡(luò)時，我們不會把第一層算入其中，也就是輸入層。

層與層之間的溝通方式

每一層的每個神經(jīng)元都會和下一層中的每個神經(jīng)元連接，這種方式稱為全連接。在數(shù)學(xué)公式中，這種全連接稱為矩陣乘法。線性映射和激活函數(shù)是神經(jīng)網(wǎng)絡(luò)的基本運算單元。

偏置量：打破對稱性

除非數(shù)據(jù)集本身是中心對稱，否則現(xiàn)在的神經(jīng)網(wǎng)絡(luò)就不可能學(xué)到數(shù)據(jù)集背后的規(guī)律?，F(xiàn)在的神經(jīng)網(wǎng)絡(luò)只能學(xué)到中心對稱的規(guī)律。

神經(jīng)網(wǎng)絡(luò)的基本算法

前向傳導(dǎo)算法，它是神經(jīng)網(wǎng)絡(luò)計算模型輸出的過程。就是一步步將當前值往前傳，往前計算。

梯度下降法，神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練的算法。梯度下降中的梯度就是使得函數(shù)值上升最快的方向，我們的目的是最小化損失函數(shù)，如果梯度是使得函數(shù)值上升最快的方向，那么負梯度方向是使得函數(shù)值下降的方向。

 

神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)機器學(xué)習算法的對比

傳統(tǒng)機器學(xué)習貝葉斯

 

樸素貝葉斯思想：出現(xiàn)概率越大的樣本就是越好的樣本。知道思想后， 如何具體進行操作呢，如何估計出樸素貝葉斯公式中涉及到的概率呢？它會用頻率估計概率的方法來把各個概率都估計出來，說的直白點就是數(shù)數(shù)。

事實證明我們確實能通過一個數(shù)據(jù)集把樸素貝葉斯模型生成出來。

下面來看看如何用神經(jīng)網(wǎng)絡(luò)來表達生成出來的樸素貝葉斯模型。樸素貝葉斯里面用到非常多乘法，而線性模型里面全都是加法，此時會想到用到對數(shù)函數(shù)log。

我們證明了樸素貝葉斯是線性模型，而神經(jīng)網(wǎng)路能退化為線性模型，從而意味著神經(jīng)網(wǎng)路能將樸素貝葉斯表達出來。

接下來介紹決策樹和神經(jīng)網(wǎng)路關(guān)系。同樣會證明神經(jīng)網(wǎng)路能將決策樹表達出來。

決策樹很簡單，它會先把特征向量空間劃分為一個一個互不相交的子空間，劃分完之后會給子空間打標簽。做預(yù)測的時候，會根據(jù)輸入的X，看它是屬于哪個子空間，然后將相應(yīng)的標簽輸出給它。

決策樹也有很多問題，但只要給了數(shù)據(jù)集，不出現(xiàn)同一個特征向量對應(yīng)兩種不同標簽的情況，那么決策樹是百分百可以將數(shù)據(jù)集的所有樣本擬合正確。因為他只需要不斷將子空間細分就可以了。

設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以表達出決策樹的算法

設(shè)計的關(guān)鍵思想總結(jié)為以下三點：

• 第一個隱藏層能表達出決策樹的中間節(jié)點所對應(yīng)的超平面。

• 第二個隱藏層能夠表達出各個決策路徑

• 第二個隱藏層和輸出層之間的權(quán)值矩陣能夠表達出各個葉節(jié)點。

我們可以看到，第二個隱藏層和輸出層之間的權(quán)值矩陣確實能夠表達出各個葉節(jié)點。因此也完成了決策樹往神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)化。

具體實現(xiàn)與改進創(chuàng)新

如何進行具體的實現(xiàn)以及改進和創(chuàng)新。事實證明確實可以將傳統(tǒng)算法轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)，但是這種轉(zhuǎn)化是否真正有意義呢？通過改變決策樹對應(yīng)的神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，其實可以得到一些有意思的結(jié)果?？梢躁P(guān)注AI研習社看直播視頻回放。

決策樹轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的例子

右邊的結(jié)果不一定更好，但至少從直觀上看邊界可能更舒服一點。

總結(jié)：

更多詳細內(nèi)容，請點擊：http://www.mooc.ai/open/course/299

雷鋒網(wǎng)提醒：關(guān)注微信公眾號：AI研習社，定期有免費干貨內(nèi)容分享。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。