一直以來，計算機程序都是個“左耳進(jìn)，右耳出”的“傻小子”，它們很快就會忘掉所做過的任務(wù)。DeepMind 決定改變傳統(tǒng)的學(xué)習(xí)法則，讓程序在學(xué)習(xí)新任務(wù)時也不忘掉舊任務(wù)。在追逐更智能程序的道路上，這是很重要的一步，能漸進(jìn)學(xué)習(xí)的程序才能適應(yīng)更多任務(wù)。

眼下，在解決文本翻譯、圖像分類和圖像生成等任務(wù)時，深度神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)中最成功最有效的方式。不過，只有將數(shù)據(jù)一股腦地塞給它，深度神經(jīng)網(wǎng)絡(luò)才能變得“多才多藝”。

神經(jīng)網(wǎng)絡(luò)輸入時，它會在數(shù)字神經(jīng)元與輸出方案之間建立聯(lián)系，而當(dāng)它學(xué)習(xí)新事物時，神經(jīng)網(wǎng)絡(luò)不得不重新建立新的聯(lián)系，同時有效覆蓋舊的聯(lián)系。這樣的情況被稱之為“災(zāi)難性忘卻”（catastrophic forgetting），業(yè)內(nèi)普遍認(rèn)為這是阻礙神經(jīng)網(wǎng)絡(luò)技術(shù)不斷進(jìn)步的最大絆腳石。

與深度神經(jīng)網(wǎng)絡(luò)相比，人類大腦的工作方式就大不相同。我們可以漸進(jìn)式的學(xué)習(xí)，一次掌握一些技巧，在學(xué)習(xí)新技巧時，此前的經(jīng)驗還能提高我們的學(xué)習(xí)效率。

雷鋒網(wǎng)了解到，DeepMind 在美國國家科學(xué)院院刊（PNAS）上發(fā)表的論文就提出了一個解決“災(zāi)難性忘卻”的有效方式，這一方法的靈感來自神經(jīng)科學(xué)的研究成果，即人類和哺乳動物擁有鞏固先前獲得的技能和記憶的能力。 

神經(jīng)科學(xué)家已經(jīng)能區(qū)分大腦中兩種類型的鞏固方式：系統(tǒng)鞏固（systems consolidation ）與突觸鞏固（synaptic consolidation）。系統(tǒng)鞏固的過程中，人類大腦將快速學(xué)習(xí)部分獲得的記憶轉(zhuǎn)印進(jìn)了緩慢學(xué)習(xí)的部分。這一轉(zhuǎn)印過程有有意識的回憶參與，也有無意識回憶的參與，人類做夢時就能完成這一轉(zhuǎn)印過程。而在突觸鞏固中，如果一種技能在此前的學(xué)習(xí)中非常重要，神經(jīng)元之間連接就不會被覆蓋。DeepMind 的算法就是沾了突觸鞏固的光，成功解決了“災(zāi)難性忘卻”的問題。

神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的連接與大腦非常相似，在學(xué)習(xí)完一個技巧后，DeepMind 會計算出在神經(jīng)網(wǎng)絡(luò)中的哪個連接對已學(xué)到的任務(wù)最為重要。隨后在學(xué)習(xí)新技巧時，這些重要的連接就會被保護(hù)起來不被覆蓋。這樣一來，在計算成本沒有顯著升高的情況下，“左耳進(jìn)，右耳出”的問題就解決了。

如果用數(shù)學(xué)術(shù)語來解釋，可理解為在一個新任務(wù)中把每個連接所附加的保護(hù)比作彈簧，彈簧的強度與其連接的重要性成比例。因此，DeepMind 將這種算法稱之為“彈性權(quán)重鞏固”（Elastic Weight Consolidation，EWC）。

為了測試該算法，DeepMind 讓程序不斷嘗試玩 Atari 游戲。據(jù)雷鋒網(wǎng)了解，單單從得分來學(xué)習(xí)一個游戲是一項具有挑戰(zhàn)性的任務(wù)，但是依次學(xué)習(xí)多個游戲則更加困難，因為每個游戲需要單獨的戰(zhàn)略。如下圖所示，如果沒有 EWC 算法，程序會在游戲停止后快速將之前的事忘得一干二凈（藍(lán)色），這就意味著其實程序什么游戲都沒學(xué)會。不過，如果用上 EWC 算法（棕色和紅色），程序就不那么容易遺忘，且可以逐個學(xué)會多個游戲。 

 

眼下計算機程序還不能適應(yīng)即時學(xué)習(xí)的節(jié)奏，不過 DeepMind 的新算法已經(jīng)攻克了“災(zāi)難性忘卻”這座大山。未來，這項研究結(jié)果可能是計算機程序通往靈活高效學(xué)習(xí)的敲門磚。

同時，這項研究也深化了 DeepMind 對“鞏固”在人類大腦中產(chǎn)生過程的理解。事實上，該算法所基于的神經(jīng)科學(xué)理論都是在非常簡單的例子中得到證實的。通過將該理論應(yīng)用在更現(xiàn)實和復(fù)雜的機器學(xué)習(xí)環(huán)境中，DeepMind 希望進(jìn)一步加強對突觸鞏固在記憶保存中的作用及其機制的研究。

Via. DeepMind.com，雷鋒網(wǎng)編譯

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。