作者：許鐵-巡洋艦科技,此文改編自O(shè)mri Barak教授的論文

機器學(xué)習(xí)對抗復(fù)雜系統(tǒng)之神經(jīng)科學(xué)篇

機器學(xué)習(xí)和復(fù)雜系統(tǒng)正在諸多領(lǐng)域改變產(chǎn)業(yè)界和學(xué)術(shù)界的傳統(tǒng)方法， 其中一個極好的例子正是給機器學(xué)習(xí)以巨大啟發(fā)的神經(jīng)科學(xué)本身。 我在此用一個鮮活的例子展示這個方法在該領(lǐng)域的神展開。

文章的開頭我想問大家一個問題， 如果你給一只貓建立一個模型， 那么最好的方法是什么？ 這個問題很深刻，大家可以邊讀下文邊尋找答案。

神經(jīng)科學(xué)，是一個高度依賴數(shù)據(jù)的生物學(xué)分支， 因為你要理解大腦本來就是用來計算的裝置，你要研究它就首先研究它的輸入和輸出， 然后把它和動物的相應(yīng)行為聯(lián)系起來。

這個故事的第一部分有關(guān)復(fù)雜系統(tǒng)， 因為神經(jīng)系統(tǒng)本質(zhì)上屬于復(fù)雜網(wǎng)絡(luò)的一種。我們希望通過在電腦上建立一個和大腦神經(jīng)網(wǎng)絡(luò)類似的復(fù)雜網(wǎng)絡(luò)，來理解神經(jīng)細(xì)胞數(shù)據(jù)到行為間的聯(lián)系。 這種努力在8，90年代十分盛行。 比如最早出現(xiàn)的hopefield 網(wǎng)絡(luò)解釋記憶現(xiàn)象等。

我們給出一個典型的例子：

此處科學(xué)家發(fā)現(xiàn)猴子可以經(jīng)過訓(xùn)練對不同頻率的兩個聲音進(jìn)行比較（出錯應(yīng)有懲罰）， 這是一個典型的測量短期記憶能力的實驗，如果猴子需要比較兩個聲音， 就要把第一個聲音的信號放在腦子里，然后和第二個聲音進(jìn)行比對。能夠綜合不同時間的信息進(jìn)行決策可以說對生物生存至關(guān)重要， 而此實驗即為其基礎(chǔ)。

以往神經(jīng)科學(xué)的研究方法可能只是描述這個行為，然后在猴子的腦子里想法放入電極，測量相應(yīng)的神經(jīng)信號是什么。

例如我們可以看到上圖中測量的神經(jīng)元放電信號，這個神經(jīng)元放電的頻率隨著聲音的頻率上升而上升（紅色代表高頻的聲音），因此我們就可以根據(jù)這個臆想一個模型出來。   下圖測量的細(xì)胞則相反。  你能不能根據(jù)這兩個圖設(shè)計個模型解釋猴子的行為呢？ 

還真的行！ 我們看到最簡單的物理模型都可以解釋這個現(xiàn)象。 左圖中我們用山谷里的小球來描述這個模型（算法），這是把整個問題放在極低的維度上方便理解， 整個外界輸入（聲音）可以看成在猴子神經(jīng)系統(tǒng)上的一個外力， 外力可以看做某種推動力讓猴子的神經(jīng)元狀態(tài)發(fā)生定向改變，猶如小球（猴子神經(jīng)系統(tǒng)的狀態(tài)）在一個被外力塑造的山谷里趨向谷底（出現(xiàn)概率最大的狀態(tài)，對應(yīng)物理里能量最低的點），這個谷底的位置就是對第一次信號的記錄（記憶），當(dāng)外力（f1）消失，山谷的地形發(fā)生了變化，但外力并不馬上改變。  當(dāng)?shù)诙盘枺╢2）來到的時候，地形再次發(fā)生改變，此次的信號引起山谷的隆起，導(dǎo)致小球滾向新的谷底（左右各一個）， 而小球最終達(dá)到的位置這次就不僅與這次的外力有關(guān)， 還與之前外力引起的位置高度相關(guān)（綜合歷史信息進(jìn)行決策），這無形中就實現(xiàn)了對兩個信號進(jìn)行比較（此處即最簡單的圖靈機），而且是用一個簡單的物理系統(tǒng)哦。 那么如何利用我們剛說到的兩種神經(jīng)元（和外界信號正比或反比）來實現(xiàn)這個功能回路呢？  請見右圖，我們甚至可以畫出一個電路圖來解釋這個原理。 正號代表正比神經(jīng)元， 負(fù)號代表反比神經(jīng)元，E代表一個隨時間變化的控制信號，S2根據(jù)E改變電路連接，那么你可以設(shè)計一個帶有記憶功能的減法器來實現(xiàn)它。

然而這個方法說到頭是一種類比， 很多真實的神經(jīng)科學(xué)家把這個方法戲稱為toy model， 而對其不屑一顧。 因為你無論說你電腦里的程序行為多么像大腦， 其實與真實都差距萬里， 而且能夠?qū)崿F(xiàn)某種功能的算法也有很多， 你憑什么說大腦就是按你的臆想工作？ 用這種方法的計算神經(jīng)科學(xué)家經(jīng)常糾結(jié)于自己的模型需要多大程度仿真的問題上，就好像有些人說的， 你要給一只貓建立模型， 最好就是找一只貓來。

當(dāng)然有模型還是比沒有模型好很多， 畢竟它給我們點亮了生物世界和數(shù)學(xué)世界的聯(lián)系。使得一個我們可能理解的數(shù)學(xué)體系得以建立在繁瑣摸不到體系的生物體系之上， 讓我們能夠通過改變參數(shù)空間的方法與之玩耍。

然而模型開始發(fā)揮威力的真正時刻是機器學(xué)習(xí)的介入，傳統(tǒng)的復(fù)雜系統(tǒng)方法從此得到革新。為什么呢？

因為通過機器學(xué)習(xí)， 我們有了一個強大精確的從數(shù)據(jù)反推模型的方法 ，而非之前模糊的類比。 機器學(xué)習(xí)的思路和之前的根本不同在于我不在一開始醉心于設(shè)計與真實系統(tǒng)相同的模型， 而是先用與真實模型原理大致相似的標(biāo)準(zhǔn)化模型，去學(xué)習(xí)真實的輸入和輸出。此處的思維即你不在追求畫出一個活靈活現(xiàn)的貓，而是先做一個四不像的東西， 讓他去學(xué)習(xí)和貓一模一樣的行為， 當(dāng)這種行為真實到不可區(qū)分， 那你就認(rèn)為它就是那只貓。

一旦機器學(xué)習(xí)開始介入，模型就被賦予了預(yù)測性，而被賦予預(yù)測性的模型，可以看做在輸入輸出層面與真實系統(tǒng)不可區(qū)分， 從而解決了模型復(fù)雜度不好設(shè)定， 模型難以通過奧卡姆剃刀的缺陷。 機器學(xué)習(xí)的模型比之前的模型更好的點在于多了cross validation的部分， 你用真實數(shù)據(jù)得到的模型，不僅要在已知輸入輸出的情況下做到像真貓一樣， 還要在已知輸入未知輸入的情況下像一只貓， 也就是說它真的要有學(xué)習(xí)能力， 能夠像真貓一樣不僅可以捉到屋里墻角的老鼠，還可以捉到田間地頭的老鼠。

用這個方法， 我們的研究框架發(fā)生了變化。 我們先要尋找一組具體的輸入輸出作為研究起點。比如要研究視覺區(qū)域，你就找到一組貓和狗的照片， 然后輸出需要是正確的分類。然后再進(jìn)行測試。

與復(fù)雜系統(tǒng)模型方法不同的是， 機器學(xué)習(xí)的方法是一個黑箱操作的思路， 我們首先做一個標(biāo)準(zhǔn)化設(shè)備， 然后把大量輸入送到這個標(biāo)準(zhǔn)化設(shè)備里， 然后讓標(biāo)準(zhǔn)化系統(tǒng)改變參數(shù)得到一組我們想要的輸出。標(biāo)準(zhǔn)化黑箱的好處是訓(xùn)練得到參數(shù)的方法已知因為這往往是一個巨難無比的任務(wù)，而與傳統(tǒng)復(fù)雜系統(tǒng)模型只追求定性描述的需求不同。

如果上面的問題用機器學(xué)習(xí)的方法來解決，就變成：

此處的主角是一種標(biāo)準(zhǔn)化的神經(jīng)網(wǎng)絡(luò)RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）， 我們給定在各種情況下的輸入到輸出的映射關(guān)系，然后在有監(jiān)督學(xué)習(xí)的框架下對網(wǎng)絡(luò)進(jìn)行訓(xùn)練-即調(diào)整網(wǎng)絡(luò)連接權(quán)重達(dá)到模擬這個輸入和輸出的過程。 而此時我們不需要設(shè)計，兩種與實驗相符的神經(jīng)元（正比，反比如圖左）就會自發(fā)浮現(xiàn)出來。也就是說， 機器學(xué)習(xí)出來的貓完全具備了貓的所有功能，甚至不用我們過度描摹，就長得也有些像貓了（功能和形態(tài)的對應(yīng)？）。

我們現(xiàn)在有了一只會在各種場合抓老鼠的貓， 但我們畢竟不需要一只機器貓，而是要通過機器貓研究貓的行為，懂得貓是如何通過底層的元件實現(xiàn)功能的，畢竟電子貓比真貓要聽話的多， 也可以任意讓我們解剖，改變參數(shù)。 如何做呢？ 再次回到復(fù)雜系統(tǒng)里的動力學(xué)分析：

此處新增添的箭頭是從高維神經(jīng)網(wǎng)絡(luò)到位低維動力學(xué)系統(tǒng)的。 還記得我們之前說的那個山坡小球的玩具模型嗎？ 它的機理很完美然而可惜的是人家并不信服， 此處我們有了再一次伸張正義的機會， 我們?nèi)〕鑫覀冇?xùn)練好的能夠與真實系統(tǒng)不可區(qū)分的RNN，然后用它進(jìn)行“逆向工程（reverse engineering）” ，從中取出一個低維度系統(tǒng)， 看它的工作機理是不是符合我們的猜想。此處應(yīng)有掌聲，因為這里我們用到了一個多么抽象的方法，用真實數(shù)據(jù)回答了一個幾乎不可能驗證的假設(shè)。

這里其實還有一個隱含的信仰，被訓(xùn)練過的黑箱被認(rèn)為學(xué)習(xí)了生物系統(tǒng)的本質(zhì)。你的RNN做任務(wù)做的再好畢竟和真實還是有區(qū)別的， 但此處我們已經(jīng)達(dá)到了目前可以做到的極限。這里涉及到一個相當(dāng)根本的問題， 就是機器學(xué)習(xí)的核心即在于通過數(shù)據(jù)學(xué)習(xí)得到真實系統(tǒng)的數(shù)學(xué)表征，而這種表征有多大程度接近真實，依然是難以量化和說清的。

通過這種高維RNN到低維動力學(xué)系統(tǒng)的映射，我們就得到了一個解釋整個系統(tǒng)運作的更加簡單的示意圖。通過學(xué)習(xí)， 一個高維混沌系統(tǒng)開始出現(xiàn)定點（fix point），定點含有系統(tǒng)輸入輸出的重要信息。此處是一個簡單的二元分類器，這個分類器工作的原理正是一個動力學(xué)里的鞍點。 對于f1>f2 和 f1<f2 兩種情況，我們得到一個分叉行為（bifurcation）， 一個會趨于一個是回答，一個是趨于一個否回答。某種角度，這也是機器學(xué)習(xí)里連續(xù)到離散的分類問題的一個動力學(xué)解答。 其中的物理含義與最初我們推倒的那個猜想玩具模型是一致的。

此種我們看到了機器學(xué)習(xí)和復(fù)雜系統(tǒng)你中有我我中有你的纏綿關(guān)系。 首先機器學(xué)習(xí)是一種算法，而算法總要有一個物理實現(xiàn)（復(fù)雜系統(tǒng)）。 我們先有數(shù)據(jù)組成的表象世界， 再有算法組成的符號世界， 最后是抽象的真正解釋世界機理的物理世界。這三種之間表象世界通過機器學(xué)習(xí)進(jìn)入符號世界， 而符號世界又才能與物理世界巧妙的相通。 機器學(xué)習(xí)是橋梁， 復(fù)雜系統(tǒng)是靈魂， 而沒有橋梁， 靈魂就是空洞的。

我們可以進(jìn)一步追問機器學(xué)習(xí)方法為什么work，人腦為什么work，此處真正相通的地方到底是什么？注意我們反復(fù)在說的低維到高維，與高維到低維的問題， 現(xiàn)實生活中的問題往往是高維到低維的映射，比如信號（高維）-決策（往往二維）過程， 能夠在高維空間里找到低維嵌入， 往往就代表神經(jīng)網(wǎng)絡(luò)建立了真實世界的模型， 正是因為這些模型，我們具有“舉一反三” 和“泛化”的能力。 更深刻的， 就不是我這篇文章能涉及的了。

歡迎關(guān)注巡洋艦后續(xù)機器學(xué)習(xí)對抗復(fù)雜系統(tǒng)實戰(zhàn)系列。

雷鋒網(wǎng)注：本文由許鐵-巡洋艦科技授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請聯(lián)系原作者微信562763765，并注明作者和出處。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。