14
| 本文作者： 金紅 | 2017-05-15 20:47 | 專題：雷峰網(wǎng)公開課 |
人工智能會在未來消滅很多工作，同時也會創(chuàng)造很多工作。它同機械、同計算機一樣，是對人類能力的一次擴展，任何人都應該可以像應用機械一樣應用人工智能，絕不應該是大公司的專利。
而深度學習可以說是目前各項人工智能技術的核心。因擔心工作會被人工智能取代，越來越多的人想要入門深度學習。
然而如Ian Goodfellow所說，市面上很多教程都是大量的算法羅列，并不專注于如何利用這些算法來解決眼前的問題。這些教程很容易讓人們誤認為成為機器學習的專家就是知道所有算法。
事實上深度學習仍在迅速發(fā)展，今天的技術在明天就有可能被淘汰。并且每天都有大量新網(wǎng)絡結(jié)構(gòu)被提出，無法學完所有技術的我們需要找出各類網(wǎng)絡結(jié)構(gòu)的共性，嘗試歸類的理解其背后的設計理念。
本期雷鋒網(wǎng)硬創(chuàng)公開課邀請到《超智能體》一書作者于建國，分享的內(nèi)容就是理解為何“深層”比“淺層”網(wǎng)絡要好，深度學習適用于什么任務，并嘗試找出前饋神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、卷及神經(jīng)網(wǎng)絡、殘差網(wǎng)絡、預訓練、多任務學習、端到端學習、自動編碼器、遷移學習、distillation、dropout、regularization、batch-normalization等技術背后的共享，讓大家感受該如何設計符合自己任務的深層神經(jīng)網(wǎng)絡。以一種不一樣的思路切入深度學習。
本期公開課包含但不限于以下內(nèi)容：
理解什么是學習
深度學習為何高效
神經(jīng)網(wǎng)絡的設計理念
入門所需材料
于建國，會津大學Human Interface實驗室博士在讀，碩士做的是利用深度學習將口型數(shù)據(jù)融于語音識別模型的訓練中，而識別時無需口型數(shù)據(jù)，從而提高識別率的研究。也因為喜歡上了研究而繼續(xù)了博士課程。希望將自己這幾年的思考和自學經(jīng)驗分享給大家。可在知乎上搜索YJango找到分享的內(nèi)容，或者在gitbook上查看其終身連載的關于如何機器學習，如何人腦學習的《超智能體》一書。
（本期公開課完整視頻，共82分鐘）
以下為雷鋒網(wǎng)對嘉賓分享內(nèi)容實錄精編。關注雷鋒網(wǎng)旗下微信公眾號，回復「PPT」可獲取嘉賓完整PPT。
大家好，我是于建國，日本會津大學博士一年生，碩士的研究是基于深度學習結(jié)合口型的語音識別。很高興能和大家在這里分享。其他的不多說，讓我們直接步入正題。
由于人工智能的火熱，越來越多的人擔心自己的工作會被所取代，因而想要入門深度學習，卻發(fā)現(xiàn)它很“黑箱”，這次就是分享一些我個人心得，關于深層神經(jīng)網(wǎng)絡的設計理念。
智能能夠做到的事情太多太多，實在是難以用一句話給出一個讓人信服的定義。
所以讓我們從另一個角度來切入：為什么生命需要智能，智能的作用是什么？
而這個答案卻是唯一的，那就是為了生存下去。
所以現(xiàn)在假設宇宙還沒有產(chǎn)生生命，我們來想象一個生存游戲。
這個生存游戲和右上角的小游戲差不多，也就是躲避危險從而生存下來。需要注意的是，你要清空你大腦當中的所有先驗知識。你并不知道這個游戲怎么玩，所有的規(guī)則都是隨機的，并不是說碰到綠柱子就會死。稍微抽象一下就可以得到左邊的這個模型。ABCD表示不同的環(huán)境，個體在接收到環(huán)境的刺激后會產(chǎn)生靠近或遠離的行為，結(jié)果就是死亡或者存活。這時，環(huán)境就是輸入x，個體是關聯(lián)f（可以叫它function，mapping，我在隨后都把它叫做關聯(lián)），行為是輸出y。
游戲規(guī)則是：
1. 假設環(huán)境B和C都是危險的，靠近就會死亡。也可能是A和D是危險的，這是隨機的。
2. 同時個體的關聯(lián)f都是大自然隨機生成的。
如果你是大自然的造物主，你要怎么在上述條件下，設計出可以一直自我延續(xù)下去的生命？
直接暴力的方式就是：不斷的隨機生成，總有一個個體會滿足條件。比如說這個映射就可以，用01表示B，10表示C，1代表遠離，0代表靠近，當出現(xiàn)B和C時，我們希望個體f會產(chǎn)生1這個數(shù)值。
但這時我們追加另一個規(guī)則，環(huán)境會變。就像這個小游戲，如果規(guī)則變成沒碰到柱子就會死呢？
應該有人玩過“貓里奧”，你會用你以前玩馬里奧的方式去玩，就是各種死。所以當環(huán)境變成A和D是危險的時候，這個個體就會死亡。
所以，即便個體非常幸運的產(chǎn)生了能夠滿足生存的關聯(lián)f，也會在下一次環(huán)境改變之際化為無機物。如果還用隨機生成的方式，生命永遠只能在最初始的階段停留片刻，無法進入下一個階段。
因此生命想要延續(xù)，就需要一種能力，可以適應變化的能力。這也是霍金對于智能的描述：Intelligence is the ability to adapt to change.
于是，大自然利用大量的個體不斷繁殖，并且該繁殖過程并非完美復制，而是會產(chǎn)生變異，變異的個體就有機會適應變化后的環(huán)境而存活下來，無法適應環(huán)境的個體會被篩選掉。篩選下來的個體繼續(xù)大量繁殖，產(chǎn)生差異性，迎接下一次環(huán)境的篩選。篩選后的結(jié)果便是進化。進化出適合當前環(huán)境的關聯(lián)。用這種繁殖、變異、篩選的動態(tài)循環(huán)，就可以形成能相對穩(wěn)定存在的生命。
游戲的關鍵在于，關聯(lián)的更新速度>環(huán)境的變化速度。
所以自然界的很多生物大量繁殖這一行為并不浪費，它增大可供篩選的樣本數(shù)量，防止環(huán)境變化后，個體全部被篩選掉。
這個是關于RNA是生命起源的視頻講解，我不做描述。感興趣的朋友可以下載我的ppt來自己觀看。
這張圖粗略展示了幾個概念之間的關系，大量的智能關聯(lián)是依靠DNA來存儲的，而DNA的復制會產(chǎn)生變異，形成差異性，差異性又反映于個體，變異的個體會被環(huán)境篩選，對種群進行改造，進而對智能關聯(lián)進行篩選。
對以上的內(nèi)容進行梳理，就會得到下面的幾個總結(jié)。
1. 進化的對象不是個體，也不是基因，而是智能關聯(lián)。個體的生死對種群只是起到了一次更新作用。而基因相當于硬盤，存儲在上面的智能關聯(lián)才是核心。進化的過程就是關聯(lián)被不斷篩選的過程。篩選出符合當前環(huán)境的關聯(lián)。
2. 尋找關聯(lián)f的過程也就是學習。自然選擇的動態(tài)過程就是一種以種群為單位的學習方式。
3. 智能是適應變化的能力，智能的核心部分有：
學習，關聯(lián)的尋找，在低等生命中，對應的是自然選擇。
延續(xù)，關聯(lián)的存儲，將學習到的關聯(lián)延續(xù)下去。別的星球可能產(chǎn)生過生命，但是卻沒有既能在該星球穩(wěn)定存在又可以延續(xù)和自我復制的媒介。所以影片《普羅米修斯》中將DNA稱為外星人留在地球上的火種。
最后是決策，關聯(lián)的應用，應用所學到的關聯(lián)產(chǎn)生不同的行為來躲避危險。
DNA上存儲的關聯(lián)就好比是工具的藍圖，而各式各樣的蛋白質(zhì)就是根據(jù)藍圖造出的工具。藍圖是由自然選擇來繪制的。
你會發(fā)現(xiàn)這和你所認識的智能不一樣，似乎過于簡單。因為剛才的描述僅停留在蛋白質(zhì)層面上的低等智能的階段?？窟@種方式存活的生命是病毒，僅有保護性蛋白質(zhì)外殼和DNA或者RNA，可以進行自我復制。但是單個蛋白質(zhì)能夠完成的任務很有限。為了增強適應變化的能力，大量蛋白質(zhì)組合在一起，并行的工作，就到達了細胞層面的智能，同理大量細胞會形成組織，再到器官，系統(tǒng)，個體，團體，國家，越往上其能夠完成的任務就越復雜。
我想用下面這段視頻讓大家感受，近幾年所推崇的互聯(lián)網(wǎng)思維其實始終都存在于你我的體內(nèi)。只是科技讓你我的連接速度提升后才得以凸顯。我們自身就好比一個工廠，內(nèi)部有大量的蛋白質(zhì)在并行的完成各項生理功能。而處在互聯(lián)網(wǎng)時代的我們，和在體內(nèi)的蛋白質(zhì)本質(zhì)上沒有什么區(qū)別。你并不是單個生命。
自然界無法瞬間產(chǎn)生特別復雜的功能，高等智能都是由低等智能迭代生成的。雖然大量的生物，用低等智能就可以很好的生存，但是我們依然想要弄清高級智能的原理將其服務于我們自身，因為我們的環(huán)境更為復雜。
高等智能最具代表性的就是可以思考。但是思考的原理實在難以解讀。
還是用老方法，轉(zhuǎn)而問為什么會進化出意識允許我們思考，它能夠解決什么問題？
因為環(huán)境的變化是隨機的，所以進化并沒有方向，但是卻有增加差異性的趨勢。還記得生存游戲的關鍵嗎？就是關聯(lián)的更新速度要盡可能大于環(huán)境的變化速度。而增加差異性就是增加了更新的幅度。
通過自我復制的方式，能夠產(chǎn)生的差異性還是較弱。所以自然界慢慢的開始形成了有性繁殖，兩個不同的個體進行交配，增加子代的差異性。
但是有性繁殖帶來了一個問題，如果生命不可以移動，那么個體只能與周圍的其他個體進行繁殖，這一區(qū)域就始終都是那幾種智能關聯(lián)，有性繁殖的差異性能力被限制。
所以為了洗牌，大范圍移動成為了必然需求。即便是植物這樣不可移動的生物，也會利用果實讓動物幫助他們傳播種子。
可大范圍移動也帶來了另一個問題，環(huán)境會隨著移動而變化，個體在上一環(huán)境中通過自然學習所學習到的關聯(lián)，在下一個環(huán)境并不適用。比如你將熱帶植物放在沙漠中，環(huán)境的不同會殺死它。
這時需要新的學習方式，如果還用自然選擇的方式顯然不可行。
因為增加了移動，感官等能力，個體的生長周期變長。設想一下，花了好幾個月生下來的小動物，錯走一步掉坑里摔死了。那么幾個回合，這個物種就滅絕了。他們承擔不起自然選擇這種試錯學習方式所帶來的代價。
于是對于大范圍可移動生物而言，他們需要原有智能的基礎上增加了另一項能力：預測。
關聯(lián)f不再是簡單的應激反應，不再是從環(huán)境到行為的關聯(lián)。而是從過去事件到未來事件的關聯(lián)。生物會利用意識在大腦中模擬自己與環(huán)境的關系，通過預測下一步，甚至下幾步會發(fā)生什么，從而進行決策。這就和下棋一樣。
神經(jīng)元細胞內(nèi)部大量的蛋白質(zhì)可以控制電離子的進出，進而有了控制電的能力。它們用不同的頻率來表示不同的狀態(tài)，大腦中的神經(jīng)網(wǎng)絡就有了模擬環(huán)境的狀態(tài)與變化的能力。
可以允許生命以個體為單位學習任意兩個空間的關聯(lián)。不再是自然選擇這種以種群為單位的學習方式。
而決策需要依據(jù)，就需要生命有感知能力，感知周圍的信息。我們以深度學習擅長的畫面識別為例，我們來看看它到底在做什么，同時也來進一步理解“建立兩個空間的關聯(lián)”這一概念。 
這里列出來了四個生物的視覺和人類的視覺的差異。而這就引出了一點知識，人眼看到的并非世界的原貌，而是適合自己生存的一種感知方式。
因為蛇的獵物一般是夜間行動，所以它就進化出了一種可以在夜間也能很好觀察的感知系統(tǒng)。感熱。
任何視覺系統(tǒng)都是將反光與“腦中”所看到的概念進行關聯(lián)。相同的反光，經(jīng)過不同的視覺系統(tǒng)會得到不同的感知。
所以畫面識別實際上并不是識別這個東西本身是什么，而是學找人類的視覺關聯(lián)方式，并再次應用。如果我們不是人類，而是蛇類，那么畫面識別所尋找的f就和現(xiàn)在的不一樣。
當x代表的是畫面，而y代表的是畫面在大腦中的概念時，神經(jīng)網(wǎng)絡所完成的就是畫面識別。當x代表說過的話，而y代表將要說的話，那么神經(jīng)網(wǎng)絡所完成的就是語言模型，當x代表英語，而y代表中文，神經(jīng)網(wǎng)絡所完成的就是機器翻譯。
神經(jīng)網(wǎng)絡的就是從很多輸入到輸出的例子中，尋找解釋這兩個空間的關聯(lián)。就像y=ax+b這個線性方程，給你兩個例子，讓你確定a和b一樣。確定后就可以在以后的活動中利用所建立的關聯(lián)，通過輸入特定的x得到我們想要的y。但自然界的關聯(lián)可不像線性方程那么簡單。
而代表著高等智能的意識允許我們在腦中預先模擬接下來會發(fā)生什么？從而決定下一步的行動。
一個人的一生就是在不斷建立自己所處環(huán)境中各式各樣的預測模型，形成一個世界模型。你可以叫它世界觀。
茶杯墜落會發(fā)生什么，如果有槍聲會怎樣。人站在高處，會預測自己墜落的后果，所以害怕。
隨著環(huán)境的變化，所建立的預測模型需要跟著更新。比如我們現(xiàn)在生存的環(huán)境就和古人不同，有投資項目，未來幾個月的股票、房價、匯率的變化等。
所以你就可以看見，我們作為一個生命體，始終都在適應著這個時刻變化的世界。
智能的內(nèi)容是關聯(lián)，核心在于學習。但卻不僅限于此，它還有圍繞關聯(lián)和學習的其他能力。
智能除了建立關聯(lián)外還有何時搜集數(shù)據(jù)，因為我們是從歷史經(jīng)驗中學習。
還有何時更新已建立的模型，何時使用哪個模型。這些都屬于智能。
比如說，人腦的預測實際上是雙向的，會時時刻刻預測即將發(fā)生的事情，并將實際發(fā)生的事情與自己的預測進行比較。通常這一過程不會得到你的意識的注意。只有那些與自己預測不符合的事件才會得到注意。例如你不會注意你每天都走的樓梯，但是當某個階梯突然高出3厘米時，你卻很容易察覺。這種與自己所建立的模型沖突的事件會更容易被記住并且作為訓練數(shù)據(jù)搜集起來，用于以后的學習，為了讓你更好的預測，更好的生存。所以思考的目的就是在于預測。
而人的一生始終都需要學習，因為世界不斷變化。并不存在小孩子比成人學習能力強這么一說。之所以造成這種現(xiàn)象的原因是人們依賴自己的世界模型。孩子并沒有構(gòu)造出完整世界模型，所以DNA中進化出的本性讓我們小時候充滿好奇心，會什么都好奇，什么都學習。而成人已經(jīng)建立的較為完善的世界模型，需要有一種保護機制，防止被人忽悠。如果你還是像小孩子一樣，什么都學習，什么都更新，那么你就很容易被洗腦。
但成人也會更新已建立的模型。比如說服一個成人，較好的做法是描述一個事件，這時他會不由自主的預測結(jié)果。但當你告訴他，他的預測是錯誤的時候，他就得到了“原來自己已有的模型并不可靠的信號”，關閉抵制學習的保護機制來更新已有模型。
智能始終都是并行執(zhí)行的，唯獨意識不可以同一時間出現(xiàn)在兩個地方，原因之一在于意識必須要在某個時刻決定應用哪個關聯(lián)。我們的四肢有各種各樣的關聯(lián)，有騎車的，有跑步的，意識會起到調(diào)控作用。
我們現(xiàn)在的人工智能還沒有達到意識的層面，僅僅是建立兩個空間的關聯(lián)，所以畫面識別，語音識別都可以完成的很好。但我們會在這個基礎上逐步的邁向意識。
智能的三個核心部分，學習，存儲，應用，在自然界中有自然界的實現(xiàn)方式。
而人工智能就是想要將這種能力在機器上實現(xiàn)。比如我們不靠蛋白質(zhì)，而靠機器來應用關聯(lián)；不靠DNA，而靠電腦來存儲已經(jīng)學到的關聯(lián)；不靠自然選擇，而靠機器學習算法來建立關聯(lián)。大家的目的都是為了做出決策，更好的生存。
那么實現(xiàn)這一目標需要哪些知識？
世界是不斷變化的，會從一個狀態(tài)變化到另一種狀態(tài)。這里牽扯到兩個概念：狀態(tài)與變化。
那么如何準確的描述狀態(tài)和變化？
進化出能感知三維空間的我們習慣在三維空間下描述物體。然而除了長寬高，世界上還有很多決定事物狀態(tài)的因素。如決定股票價錢的因素，決定天氣的因素就不只是三個。
甚至我們生存的世界可能并非三維，僅僅是因為三維的空間感知已經(jīng)足夠讓我們可以很好的生存。我們并沒有進化出更高維度的感知能力。
但這些高維度的狀態(tài)與變化又該如何合理的描述？
線性代數(shù)就是用來描述任意維度空間下狀態(tài)和變化的學科，而線性代數(shù)中的矩陣是存儲狀態(tài)和變化信息的媒介。
通過線性代數(shù)，我們知道了該如何描述事物的狀態(tài)及其變化?？蛇z憾的是，對一個微小的生物而言，很多時候信息是缺失的，我們沒有辦法百分之百確定事物在變化后會到達哪種狀態(tài)。甚至世界的底層都是建立在純隨機下的。因此我們需要概率來在該種情況下幫助我們，預測未來狀態(tài)從而做出合理的決策。
同時既然我們想要在計算機上實現(xiàn)智能，就需要懂得如何將自己的想法在計算機上實現(xiàn)。但你不需要什么都懂，你特別需要明白的是如何在計算機上控制存儲著狀態(tài)與變化的矩陣。
知道了什么是學習后，我們再來看看學習到底難在哪里。
這一部分的理解決定了你對神經(jīng)網(wǎng)絡的設計理念。學習是需要從歷史經(jīng)驗中訓練出一個關聯(lián)f，希望可以用這個關聯(lián)f解決新的問題。就拿高考來說，我們通過做歷年的真題來訓練自己的解題方法f。訓練的方式是不斷的做題，并且對照正確答案。等到高考，當看到新題目x時，希望可以利用自己所訓練的關聯(lián)f，來得到正確答案y。我們真正關心的并不是已經(jīng)做過的歷年真題，而是高考。
學習的難點在于：需要在未見過的任務上表現(xiàn)良好。
我們考慮一個極端的情況。假如說，高考只有4道判斷題，那么只需要記住4道題的對錯，高考就可以拿滿分了。可是實際的情況是，高考所能出的題是無限的。而我們可以訓練的歷年真題卻是有限的。又比如要識別貓的圖片，貓會有各種各樣的形態(tài)、表情、顏色、大小，各式各樣的變體。而我們無法窮舉所有的貓，該如何從有限的圖片樣本中訓練出能較好判斷一張圖片是否是貓的關聯(lián)f。
學習就是需要從有限的例子中找到合理的關聯(lián)f。一個方向也就是訓練更多的數(shù)據(jù)，看到更多的情況。比如有的同學就用題海戰(zhàn)術。這就是這些年大數(shù)據(jù)對人工智能所起到的作用。
然而單靠大數(shù)據(jù)是不足夠的。另一個方向的例子就是那些只做一兩道題就可以抓住問題核心的學霸們，而這個實際上才是深度學習在自然界的任務中超越其他機器學習算法的關鍵。也就是加入先驗知識，調(diào)整假設孔空間。
當然學習是數(shù)據(jù)越多越好，但為了了解為什么光靠大數(shù)據(jù)不夠，我們需要明白三個問題。
第一：維度詛咒。
上面提到學習的第一個方向就是見到更多的例子?？墒钱斁S度越高，其情況就越多，就越無法見到所有的情況。
只考慮離散的簡單任務，1維的時候有10種情況，2維的時候100種，3維的時候有1000種。維度越高，我們越無法見到所有的情況?，F(xiàn)在一個普通的任務就有上百維度，并且是連續(xù)的數(shù)據(jù)。
那么那些沒見過的數(shù)據(jù)該如何預測？傳統(tǒng)的方式依賴于一個假設，那就是數(shù)據(jù)是平滑的，一個數(shù)值和它左右的數(shù)值差不太多。所以當遇到?jīng)]見過的數(shù)據(jù)時，就取左右兩個遇見過的數(shù)據(jù)的平均值，但是在高維情況下，這種做法非常不可靠，因為它不符合這個假設，數(shù)據(jù)并不平滑，而是有激烈的凹凸。
那么想要預測的可靠就需要更多的數(shù)據(jù)，并且是不一樣的樣本數(shù)據(jù)，這在現(xiàn)實中即便是大數(shù)據(jù)也難以實現(xiàn)。玩過爐石傳說的朋友可以想想如果純粹靠買卡牌包，想要將所有卡片都搜集齊全需要投入多少資金？
第二：關聯(lián)f的尋找。
我們是靠歷史數(shù)據(jù)來訓練關聯(lián)f，但是能夠解釋歷史數(shù)據(jù)的關聯(lián)f并非唯一。比如我想要兩個數(shù)字相加等于1，我可以讓其中一個數(shù)字為1，另一個數(shù)字為0；也可以讓其中一個數(shù)字為-299，另一個數(shù)字為300。都能完成任務。這就會造成，我們尋找的關聯(lián)f或許可以完美的解釋訓練數(shù)據(jù)。但是卻無法保證在新的預測中依然完美預測。
比如這兩張圖，左邊學習到的關聯(lián)f可以完美的預測訓練集。但是實際應用在測試集上，紅色的部分卻預測錯了。我們實際是想要一個非常規(guī)整的螺旋形狀。
又比如高考，能夠解題的方法有很多種。有的非常巧妙，但是這些巧妙的解題方式可能只適用于個別題目。其他題目就不再適用。學生可能找到了一個可以解除所有他做過的題的解題方式，但卻無法保證該解題方式在高考時同樣有效。
第三：無免費午餐。
這同時引出了無免費午餐定理。既然關聯(lián)f是無限的，那么尋找關聯(lián)f好比是大海撈針。不同的機器學習算法只是更擅長在某個海域打撈而已。如果重點打撈某個區(qū)域，那么其他的區(qū)域就會被忽略。
所以如果想要打撈的關聯(lián)f可以存在于大海的任何地方，那么深度學習并不會比其他的機器學習算法更優(yōu)秀。這種情況下，任何兩個機器學習算法都是等價的。
這是不是意味著深度學習并不優(yōu)秀呢？并非如此。因為自然界中的很多任務，其關聯(lián)f并非像我之前可以出現(xiàn)在大海當中的任何位置，而是會集中在特定海域，那些符合自然物理現(xiàn)象的特定海域。而深度學習就是擅長打撈該海域的機器學習算法。
深度學習就是我先前所說的學習的第二個方向，加入先驗知識，調(diào)整假設空間。
那如何理解加入先驗知識？比如說你讓你的朋友猜你腦中所想的一個事物，這個難度是相當大的。因為你可以想任何事物。而你的朋友通常會要求你，給他一個范圍。比如食物，也可以進一步把范圍縮小到水果。那么他就不需要在所有的事物當中亂猜，會更容易猜中。
在二戰(zhàn)時德軍的Enigma（依尼格瑪）密碼機，可以生成成千上萬密碼，來傳輸作戰(zhàn)信息。英軍雇用包括人工智能之父圖靈在內(nèi)的數(shù)學家來直接破譯它的加密原理。并不是假設這些數(shù)據(jù)是平滑的。機器學習也應該使用相同的思路，直接去思考數(shù)據(jù)是如何生成的。而我們所面臨的很多任務，是由自然界的密碼生成器所生成的。當時圖靈等人是靠任何原文和密文之間不會相同字母這一特點來破解密碼。
那么自然界的數(shù)據(jù)又有什么特點呢？
這就引入了第一個自然界的先驗知識：并行組合。也就是深度學習中分布式表達distributed representation的思想。假設我們有8個不同的蘋果，用一般的學習方式，我們需要看到8種不同情況才可以完美的學習。但是如果告訴你這些不同的蘋果是由顏色、大小、形狀，這三個因素組合形成呢。假如每個因素有兩種情況，那么我們只需要學習好這六種情況即可。不需要見到8種變體。你會發(fā)現(xiàn)，加入了變體是由不同的因素組合形成的這一個先驗知識后，我們降低了學習所需要的數(shù)據(jù)量。而橢圓其實也有變體，什么樣的形狀是橢圓？我們可以依照同樣的思路繼續(xù)分解下去，進一步降低訓練所需要的數(shù)據(jù)量。
拿人臉識別為例，各種各樣的人臉是由五官組合而成的，而各種各樣的五官，又是由不同的形狀組合而成，各種各樣的形狀又是由像素點所組合而成。我們可以這樣拆分下去來降低訓練數(shù)據(jù)所需要的樣本數(shù)量。
但是這樣的拆分方式是有前提的。我們知道這個世界的事物是通過組合形成的，一個碳原子+兩個氧原子形成二氧化碳，三個氧原子形成臭氧。同時又不是線性組合，所以我們來看神經(jīng)網(wǎng)絡最基本的變化公式，每一層都是將x內(nèi)部的因素進行組合，再加入非線性變換得出一個y，仿照著自然界數(shù)據(jù)的生成規(guī)律。而訓練神經(jīng)網(wǎng)絡就是給大量的x與對應的y，學習其中的W和b。就像線性方程y=ax+b，給你兩個例子，讓你求解a和b一樣。在第一部分中我們也提到了人體也是由這種組合方式形成的，所以神經(jīng)網(wǎng)絡非常適合去做畫面識別，語音識別。
如果在一個完全不同的物理規(guī)律的世界中，事物和我們的人體可能就不是以這種組合的方式形成，那么以這種拆分方式所學習到的關聯(lián)f就無法很好的完成生成數(shù)據(jù)的工作。所得到的預測也不會可靠。
但是到目前為止，所講的僅僅還是淺層神經(jīng)網(wǎng)絡為什么優(yōu)秀的原因。具有一個隱藏層的神經(jīng)網(wǎng)絡只要有足夠的隱藏節(jié)點，就可以擬合任意的訓練數(shù)據(jù)。
但是，為什么深層學習比淺層學習要優(yōu)秀。這其實在橢圓的位置就已經(jīng)可以感受到了，就是將拆分后的因素再次拆分，可以進一步降低訓練所需要的數(shù)據(jù)量。
然而，這里實際上已經(jīng)增加了第二條先驗知識：那就是迭代變換。
我們知道原子會形成分子，而事物是在原子所形成的分子的基礎上，進一步迭代形成的，并非再從原子開始重新生成。飛機是由原子到分子再到各式各樣的零件組合形成的。坦克同樣也利用到了相同的分子層。雖然作為圖片，坦克和飛機是不同的樣本，但是他們都共享著相同的分子層。這意味著當你用深層神經(jīng)網(wǎng)絡時，訓練飛機樣本會間接的對坦克進行了訓練，降低了訓練所需要的數(shù)據(jù)量。 
以右邊的兩個圖為例，每個圖的左邊是神經(jīng)網(wǎng)絡連接圖，而右邊是不同變體之間的關系圖。鏈接在一起的圓圈表示一個節(jié)點可以取的不同數(shù)值，分開的圓圈就是不同的節(jié)點。
如果像上半部分那樣用一個隱藏層的神經(jīng)網(wǎng)絡來學習，那么每個變體只被拆成了服務于它自己的獨立因素，并不會對其他的樣本起到作用。
但如果用深層網(wǎng)絡，像下邊這個圖，就容易在a b c這三個因素的部分形成共享。那么在訓練(3,0)這個樣本的時候，就會對所有共享a b c的其他樣本起到了間接的訓練作用。
再拿編程做比較，我們不會去直接一步到位的編程，而是會分成很多個小模塊。這些小模塊可以在不同的需求下都適用，也就是共享。這樣，就不需要每遇到一個細微變化就重新編寫一次。
目前描述的網(wǎng)絡叫做深層前饋神經(jīng)網(wǎng)絡，feedforward neural network。變換只會一層接著一層進行，不同層之間不會有跳躍，并且組合也是在同一層內(nèi)的因素間進行的。
想象如果一個網(wǎng)絡中的某個節(jié)點可以和其他的任何節(jié)點連接，那么這樣的網(wǎng)絡就沒有任何的側(cè)重。好比在你找人時被告知，他無處不在和他在哪都不在。這就相當于沒有加入先驗知識，沒有縮小尋找關聯(lián)f的海域。
所以前饋神經(jīng)網(wǎng)絡的這種連接方式，很好的縮小了訓練所用的數(shù)據(jù)量。因為這種組合方式比較符合自然界的物理形成規(guī)律。
所以深層學習并不會在所有任務當中都強大，但是在很多自然形成的數(shù)據(jù)當中超越其他機器學習算法。
這時再回過頭來思考生命與環(huán)境的關系，環(huán)境會變得越來越復雜，但是復雜是在原有因素的基礎上增加依照物理規(guī)律形成的各種變體。比如原本只有n個因素，但是每個因素可以有兩種不同的狀態(tài)，那么可以形成的變體就會有2的n次方。
而生物學習就是將這些變體再次拆分成因素，并且從中學到一個關聯(lián)方式，而這個關聯(lián)方式就是知識。
我們目前所講到的深層前饋神經(jīng)網(wǎng)絡引入了自然界中兩個固有的先驗知識：
并行：新狀態(tài)是由若干舊狀態(tài)并行組合形成。
迭代：新狀態(tài)可由已形成的狀態(tài)再次迭代形成。
前饋神經(jīng)網(wǎng)絡可以適用于幾乎所有的任務，但它非常一般性，所提供的先驗知識的針對性很低。
先驗知識不夠針對，那么訓練所需要的數(shù)據(jù)量就會變大，并且過深之后會將那些噪音的形成規(guī)則也學習到模型當中，而這些規(guī)律并不是我們想要的。
而神經(jīng)網(wǎng)絡的其他變體，比如循環(huán)神經(jīng)網(wǎng)絡，卷積神經(jīng)網(wǎng)絡就提供了更多十分具有針對性的先驗知識，可以縮小搜索的海域面積，排除掉那些噪音規(guī)律所帶來的額外干擾。
不同的神經(jīng)網(wǎng)絡變體，就在于你向其中加入了不同的先驗知識。
那我希望用這個影片來讓大家感受，自然界中，并行組合和迭代變換這兩個先驗知識的。
鋪墊了這么多，終于到了核心的部分。知道了深度學習為什么高效后，對于如何設計網(wǎng)絡也有了相應的指導。
首先要明確兩點：
深度學習并非萬能，使用深度學習的前提是你的數(shù)據(jù)可以使用這樣的先驗知識。不然就像是用解英語題的巧妙方式去解數(shù)學題。
其次，深度學習沒有固定形式，不要認為循環(huán)神經(jīng)網(wǎng)絡就是循環(huán)神經(jīng)網(wǎng)絡，卷積神經(jīng)網(wǎng)絡就是卷積神經(jīng)網(wǎng)絡。如果你以這樣的方式去學習神經(jīng)網(wǎng)絡，你這輩子都學習不完。因為網(wǎng)絡的鏈接方式是無限的。你需要抓住至少兩個核心。拆分因素和因素共享。
每層內(nèi)的節(jié)點表示的是因素，這些因素共同描述事物的一種狀態(tài)。這些狀態(tài)可以逐層發(fā)展，發(fā)展后的狀態(tài)又可以進行拆分和合并，來進行下一個狀態(tài)的轉(zhuǎn)變。
你可以把一個方框視為神經(jīng)網(wǎng)絡，并且神經(jīng)網(wǎng)絡可以繼續(xù)與其他神經(jīng)網(wǎng)絡形成更深的神經(jīng)網(wǎng)絡。比如卷積層處理完的輸出可以接著再進行循環(huán)層的處理。
如右圖，第二個階段的因素就是由三個神經(jīng)網(wǎng)絡提供的，不同神經(jīng)網(wǎng)絡的因素之間可以進行相加，也可以合并成更高維度的狀態(tài)。
設計神經(jīng)網(wǎng)絡更像是玩樂高積木，但是玩的規(guī)則在于如何拆分因素，如何使不同的樣本之間形成因素共享。所以在看到很多新的網(wǎng)絡結(jié)構(gòu)時，請務必考慮，他們的結(jié)構(gòu)是如何考慮因素拆分和因素共享的。
雖然大家習慣叫做循環(huán)神經(jīng)網(wǎng)絡，卷積神經(jīng)網(wǎng)絡，但請以“層”去理解它們。層是指從一個狀態(tài)到另一個狀態(tài)的變化。那個變化才是層。
下面就看看循環(huán)層和卷積層是如何利用因素共享這個先驗知識來降低訓練所需數(shù)據(jù)量和排除噪音規(guī)律的干擾的。
另外記住，卷積層并不是只針對畫面識別，循環(huán)層也不是只針對時序信號。關鍵在于時間共享和空間共享。
如果用前饋層處理時序信號，需要將前后所發(fā)生事物狀態(tài)并成一個更大的向量。這樣每一個維度的權(quán)重都需要學習，即使很多維度都是無關緊要的。并且這樣的方式只能處理固定長度的時序信號，長度不足時需要補零。
但如果告訴你，不同的時刻的狀態(tài)都是由相同的規(guī)則進行處理的，那么一個時序序列中，每個時刻的狀態(tài)都可以為權(quán)重的學習提供幫助。比如在前饋層中，三個時刻只能對Wxh進行一次學習；但是在循環(huán)層中，三個時刻能對Wxh和Whh進行三次學習。
不同時刻的狀態(tài)都是由相同規(guī)則進行處理的，就是循環(huán)層加入的一條可以降低訓練數(shù)據(jù)量同時排除噪音規(guī)律干擾的先驗知識。應用這種處理方式的原因是因為世界上很多的數(shù)據(jù)都符合時間共享的規(guī)律。比如你在演奏音樂，每個樂器的物理特性在時間維度上是不變的，并不會這個時刻是笛子的物理特性，而下一時刻變成了二胡的物理特性。
同時需要注意的是，循環(huán)層中有兩個因素流，一個是從輸入流得到的。另一個信息流是從上一個時刻的狀態(tài)得到的，都是時間共享。所以你可以看到循環(huán)層有兩個權(quán)重Whh和Wxh。
用前饋層做時序預測，相當于徒手捏陶瓷，耗時耗力不說，又無法保證各個角度都相同。而用循環(huán)層做時序預測，相當于使用轉(zhuǎn)盤，擺出一個手型后，每個角度都是以這種手型去捏制的。
人們常說循環(huán)神經(jīng)網(wǎng)絡，比前饋神經(jīng)網(wǎng)絡要好的原因在于可以考慮更長的歷史信息。但我曾經(jīng)做過實驗，使用相同長度的歷史信息，將二者進行比較后。循環(huán)神經(jīng)網(wǎng)絡依然比前饋網(wǎng)絡效果要好。一定程度上驗證了共享的作用。
另外雙向循環(huán)神經(jīng)網(wǎng)絡是兩個循環(huán)層的堆疊，而堆疊后有兩種合并方法，一種是相加，一種是合成并更長的向量。我做過的所有實驗中，相加的效果都比合并要好。可能也是因為第二個方向起到了限制作用。只有那些既可以在正向產(chǎn)生此種規(guī)律，又可以在反向產(chǎn)生另一種規(guī)律的關聯(lián)f才會被我們采用。
上述提到的是時間共享，還有空間共享的卷積層。前饋層同樣可以進行畫面識別，但如果用前饋層，那么在這個例子中，就需要學習81個權(quán)重，而如果知道這些權(quán)重在空間下是共享的，那么可能只需要學習9個權(quán)重。
我們眼睛在觀察時并非將整個圖片全部收入眼簾。而是一個區(qū)域，一個區(qū)域掃描。每個區(qū)域掃描的規(guī)則是共享的，你的眼球不會在掃描這個區(qū)域時是人眼，而在掃描下個區(qū)域時卻成了貓的眼睛。
設計神經(jīng)網(wǎng)絡實質(zhì)上就是在對假設空間進行調(diào)整。也就是選擇在哪些片海域?qū)ふ夷愕年P聯(lián)f。
這里我總結(jié)了四條設計原則。
增加共享，降低確定關聯(lián)f所需要的數(shù)據(jù)量。如果你知道它大致在大海的哪個范圍后，就可以使用更少的漁網(wǎng)，更快的打撈上來。
增加懲罰，我們可能會事先知道關聯(lián)f不滿足哪些特點。那么一旦這種特點的關聯(lián)f在訓練中被找到時，我們就對結(jié)果進行懲罰，起到篩選作用。用打魚做比喻的話，那些不符合條件的小魚會被大孔漁網(wǎng)篩選掉。
優(yōu)化起點，我們優(yōu)先從哪片海域先開始尋找，找不到再找其它的海域。
降低變體數(shù)，變體數(shù)量越多，我們就需要見到越多的數(shù)據(jù)。所以我們可以預處理數(shù)據(jù)，將變體數(shù)量在學習之前就降低下去。比如將數(shù)據(jù)減去平均值，除以均差。
神經(jīng)網(wǎng)絡其實并不黑箱，黑箱的是你要學習的任務。就像高考的難點在于你不知道等待你的是什么題目。
神經(jīng)網(wǎng)絡也像是料理，并不是一種方式適用于所有的食材，你要根據(jù)你的食材特點選擇合理的烹飪方式。
接下來我們再來看看應用這些設計原則的各項技術。
遷移學習是利用知識共享這一特點，將一個任務中已經(jīng)學到的關聯(lián)應用到其他任務當中去。比如在畫面識別中，我們用大量的反光x到概念y來學習我們的視覺系統(tǒng)。
畫面識別的前幾層其實就可以想象成是人類的眼球是如何將反光關聯(lián)到視網(wǎng)膜上的，而后幾層可以想象成視網(wǎng)膜上的成像又是如何逐層變成抽象的圖形概念的。
那么將已經(jīng)訓練好的，用于識別動物的神經(jīng)網(wǎng)絡的前幾層這個f1拿出來，在識別植物的神經(jīng)網(wǎng)絡中，額外加兩層再做輕微訓練，同樣適用，畢竟大家都是人眼，這部分的f1很大程度上是共享的。
多任務學習其實和遷移學習使用的是相同的先驗知識。只是利用方式有些許不同。遷移學習是將已學到的知識用在另一個共享著相同知識的其他任務上。
而多任務學習，是在訓練的時候用共享著相同底層知識的其他任務的數(shù)據(jù)來幫助一起訓練?？梢云鸬綌U充訓練數(shù)據(jù)量的作用。
同時尋找到的關聯(lián)f更加優(yōu)秀。因為三個不同的任務對底層的知識同時進行了約束。只有同時滿足三個不同任務的關聯(lián)f才會被采用，這就排除掉那些只符合單個任務的關聯(lián)f。
這是另一條先驗知識，我們知道前饋神經(jīng)網(wǎng)絡是不允許跨層組合的。
但現(xiàn)實中是否有跨層組合的現(xiàn)象？ 比如說我們在判斷一個人的時候，很多時候我們并不是觀察它的全部，或者給你的圖片本身就是殘缺的。這時我們會靠單個五官，外加這個人的著裝，再加他的身形來綜合判斷這個人。這樣，即便圖片本身是殘缺的也可以很好的判斷它是什么。這和前饋神經(jīng)網(wǎng)絡的先驗知識不同，它允許不同層級之間的因素進行組合。
殘差網(wǎng)絡就是擁有這種特點的神經(jīng)網(wǎng)絡。大家喜歡用機器學習的方式去解釋為什么殘差網(wǎng)絡更優(yōu)秀。
這里我只是提供了一個以先驗知識的角度去理解的方式。
需要注意的是每一層并不會像我這里所展示的那樣，會形成明確的五官層，只是有這樣的組合趨勢，實際無法保證神經(jīng)網(wǎng)絡到底學到了什么內(nèi)容。
其本質(zhì)仍然屬于遷移學習，但是將知識以不同的方式遷移。一般的遷移學習是將學到的權(quán)重直接用在新的模型當中，遷移的是權(quán)重。而蒸餾模型所遷移的是標簽。
比如這張圖中，有兩個模型，完成的任務是相同的，但是叫做老師的這個模型擁有更好的特征（輸入），而叫做學生的這個模型由于實際應用的約束，無法使用這樣的特征。
蒸餾模型的做法是先訓練老師模型，用老師模型的預測值作為一種額外的標簽，在訓練學生模型的時候和學生模型自己的標簽一同使用，幫助學生模型尋找到更好的關聯(lián)f。而這種幫助過程只發(fā)生在訓練階段，實際的使用中，只用學生模型。這就好比一個學生在做題的時候，他既有參考答案，又有一個家教的指導。雖然家教無法代替學生去考試。因為有家教的輔導，這個學生會比沒有家教輔導的學生更容易學習。雖然作為叛逆學生的我不喜歡承認這一點。
因為不需要使用老師模型，這種技術也用于壓縮深層神經(jīng)網(wǎng)絡的大小。同時也應用于那些只有訓練時才可以獲得，而實際應用時無法獲得的額外信息。
我的碩士研究，結(jié)合口型的語音識別就是這種特點的任務。我不能在識別的時候在人的嘴里加一個用于測量口型移動的機器?？谛蛿?shù)據(jù)只可以在訓練的時候作為額外信息幫助我訓練出更好的模型。
自動編碼器是利用并行與迭代的這兩個先驗知識，來操控變體的一種技術。
當它用作生成模型時，它就可以仿造自然界的變體生成方式來生成出各種不同的變體。比如我輸入7這個數(shù)字，他就可以利用自然界的變體生成方式來生成各種7的變體。
當它用作特征工程時，實際上就是disentangle the factors of variation不斷的拆分變體的因素，達到減少變體數(shù)量的作用，所以會逐層減少節(jié)點，再以對稱的方式將其變換到原來的輸入，最后取變體數(shù)量最少的中間層作為特征表達。降低變體數(shù)量后，就可以降低學習所需要的數(shù)據(jù)量。
一般我們會在輸入和輸出進行預處理，減去均值和標準差，降低變體數(shù)量。這個思路一樣可以在隱藏層實施。因為輸入和輸出是事物的狀態(tài)，有變體，隱藏層同樣是發(fā)展的中間狀態(tài)，也有變體。
這張圖描述了機器學習歷史。我們逐漸的減少人類知識在學習中的作用，而是讓機器自己去學習知識。
假設我們的輸入x是細胞層面，而輸出的器官層面。如果使用傳統(tǒng)的機器學習方式，我們會盡可能的，人工的去學習如何將細胞層面的輸入x轉(zhuǎn)換到一個線性可分的空間下去，然后再讓機器來學習知識。但這需要一個專家用一生去學習細胞層是如何到達組織層的，并且還難以照顧到潛在細節(jié)。
而端到端的思想就是直接消除人工預處理和后續(xù)處理，盡可能讓模型利用自然界的先驗知識從輸入自己形成到達輸出的規(guī)則，增加模型的整體契合度。
過擬合是指你在學習時，過分擬合訓練集的數(shù)據(jù)了。
拿右圖舉例，中間的是擬合的剛剛好。而左邊的情況是欠擬合，而右邊的情況是過分擬合訓練數(shù)據(jù)了。
神經(jīng)網(wǎng)絡抑制過擬合有以下常用的幾點，而這幾點在人們?nèi)粘W習中同樣適用。拿歷年真題為訓練集，高考為測試集來說。
dropout（遺忘），訓練神經(jīng)網(wǎng)絡是若干個樣本，逐步送到神經(jīng)網(wǎng)絡中訓練。這些樣本當中不可能只包含一種規(guī)律，那些小細節(jié)也能形成規(guī)律。如果連續(xù)送入網(wǎng)絡的幾個樣本都具有相同的細節(jié)規(guī)律，那么就會影響我們真正想要學習的規(guī)律。而使用dropout后，每次學習都會遺忘一些規(guī)律。這樣，即使有幾個擁有相同細節(jié)規(guī)律的樣本很偶然的被連續(xù)的送入網(wǎng)絡中訓練，也會被忘掉。只有所有樣本中都有的大規(guī)律才會被記住。
shuffle（亂序），訓練的樣本不要有固定順序，而要隨機打亂。和dropout的原因是一樣的，防止擁有相同細節(jié)規(guī)律的樣本連續(xù)被送入網(wǎng)絡。比如我們不要一直從abandon，放棄，遺棄開始背英語單詞一樣。
L2 regularization（保持最簡化），解決的方案不要過于復雜。不然只能顧及特例而失去普遍性。 就是老師提倡你在高考使用最普遍的解題方式一樣。
mini-batch（多題一起做），相互比較后得出結(jié)論。比如同時看兩本描述不同的書可以得到更好地理解。
noisy layer（加噪音），題目加入一些干擾項、改變考前環(huán)境、教室、平時狀態(tài)等，增加魯棒性。噪音會對我們的結(jié)果造成影響，改變數(shù)據(jù)的分布。而神經(jīng)網(wǎng)絡是干脆直接將噪音也一起建模在網(wǎng)絡當中，將正常因素和噪音因素形成的組合作為最后的結(jié)果。
機器，計算機，人工智能，這些都是人類自身能力的延伸，這些技術可以應用在任何行業(yè)之中。
曾經(jīng)我們是靠鋤頭耕地，現(xiàn)在靠機器；曾經(jīng)我們靠算盤算賬，現(xiàn)在靠計算機。但是機械也好，計算機也好，所更換的僅僅是工具，不是工作內(nèi)容。我們始終需要耕地，需要算賬。
同樣的人工智能僅僅幫助我們建立關聯(lián)。有了合理的關聯(lián)f，我們就可以根據(jù)特定情況產(chǎn)生相應的行為。 人工智能和機械以及計算機一樣，都是工具，并不會改變我們想要完成的任務。而未來的所有任務都可以依靠這一項新工具來實現(xiàn)。
最后，所有的這些內(nèi)容你在其他的材料基本不會看到。
因為很少有像我這么不務正業(yè)的學生，這也好奇，那也好奇，這摳一點，那摳一點。
這些內(nèi)容都是我個人的思考，相當非主流。但是我將他們寫在了我終身連載的《超智能體》當中。一個關于如何用人腦學習，如何機器學習的書。我希望這些內(nèi)容可以給人們理解生命，理解智能的另一個視角。
同時我也以我自己所理解的方式寫了一些深度學習的教程。這些教程的側(cè)重點不一樣，我希望讀者可以理解其背后的道理，而不是單純的搭建一個神經(jīng)網(wǎng)絡，完成某個特定的任務，在想要使用新任務時卻無從下手。
最后呢，雖然我叫于建國，但是我不是國慶節(jié)出生的，我是非常倔強的白羊座。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
