雷鋒網(wǎng)按：本文為英特爾中國研究院最新研究成果，主要介紹了一個名為“動態(tài)外科手術(shù)”算法，有效地解決了處理大型網(wǎng)絡(luò)時重訓(xùn)練時間長，誤剪枝率高的問題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個經(jīng)典網(wǎng)絡(luò)的參數(shù)總量分別壓縮108倍和17.7倍。

英特爾中國研究院于近期提出了一種名為“動態(tài)外科手術(shù)”的神經(jīng)網(wǎng)絡(luò)壓縮算法，獲得了業(yè)內(nèi)的廣泛關(guān)注以及國內(nèi)外專家的高度評價。利用該方法，研究人員可以在保證原始模型性能不降的前提下大幅度壓縮網(wǎng)絡(luò)結(jié)構(gòu)。讓我們帶您一起深入淺出地理解這一算法。

如果您有定期關(guān)注IT、互聯(lián)網(wǎng)新聞的習(xí)慣，想必不會對深度學(xué)習(xí)（deep learning）一詞感到陌生。深度學(xué)習(xí)的概念源于早期的針對人工神經(jīng)網(wǎng)絡(luò)的研究，其理念的核心在于通過深層神經(jīng)網(wǎng)絡(luò)（deep neural networks）完成對樣本數(shù)據(jù)抽象表示的“學(xué)習(xí)”。自2006年深度學(xué)習(xí)的概念被首度提出，如今已經(jīng)極大程度地改變了人工智能乃至整個互聯(lián)網(wǎng)、IT領(lǐng)域的生態(tài)。經(jīng)過十年的發(fā)展，該技術(shù)在包括人臉識別、語音識別、物體檢測和自然語言處理在內(nèi)的多個領(lǐng)域都表現(xiàn)出了頂尖的性能。

主流的深度網(wǎng)絡(luò)之一：深度卷積神經(jīng)網(wǎng)絡(luò)

(圖片來源：A tutorial on deep learning [3])

然而，深度學(xué)習(xí)距離“天下無敵”也還有一定的距離。制約其發(fā)展的主要瓶頸之一是深度網(wǎng)絡(luò)極高的模型復(fù)雜度和消費級電子產(chǎn)品極有限的硬件資源之間的矛盾。事實上，時下許多主流的深度網(wǎng)絡(luò)都包含千萬級甚至是過億的學(xué)習(xí)參數(shù)，而如此海量的參數(shù)給模型的存儲和計算都帶來了相當(dāng)大的壓力。因而，如何對訓(xùn)練好的深度網(wǎng)絡(luò)進(jìn)行壓縮就成了困擾研究人員的一大難題。2015年的論文Learning both weights and connections for efficient neural networks提出了一種網(wǎng)絡(luò)剪枝（network pruning）算法，可以在保持?jǐn)?shù)據(jù)表示能力的前提下，將深度網(wǎng)絡(luò)中的學(xué)習(xí)參數(shù)壓縮10倍以上，在學(xué)界引起了廣泛討論。該論文也被發(fā)表在機(jī)器學(xué)習(xí)領(lǐng)域的頂級國際會議神經(jīng)信息處理系統(tǒng)大會（Conference on Neural Information Processing Systems,以下簡稱“NIPS”），獲得了巨大的影響力。

神經(jīng)網(wǎng)絡(luò)剪枝策略

(圖片來源：Learning both weights and connections for efficient neural networks [1])

今年，英特爾中國研究院認(rèn)知計算實驗室郭怡文、姚安邦和陳玉榮三位研究員在深度學(xué)習(xí)領(lǐng)域取得突破性進(jìn)展。他們所提出的動態(tài)外科手術(shù)（dynamic network surgery）算法，極其有效地解決了處理大型網(wǎng)絡(luò)時重訓(xùn)練時間長，誤剪枝率高的問題。利用該算法，我們可以輕易地將LeNet和AlexNet這兩個經(jīng)典網(wǎng)絡(luò)的參數(shù)總量分別壓縮108倍和17.7倍。

英特爾中國研究院認(rèn)知計算實驗室郭怡文、陳玉榮和姚安邦

該算法采取了剪枝與嫁接相結(jié)合、訓(xùn)練與壓縮相同步的策略完成網(wǎng)絡(luò)壓縮任務(wù)。通過網(wǎng)絡(luò)嫁接操作的引入，避免了錯誤剪枝所造成的性能損失，從而在實際操作中更好地逼近網(wǎng)絡(luò)壓縮的理論極限。

動外科手術(shù)策略

（虛線代表當(dāng)前被切斷的網(wǎng)絡(luò)連接，而綠線代表通過嫁接重新建立的網(wǎng)絡(luò)連接[2]）

目前，該方法已被撰寫成文，并將發(fā)表在本年度的NIPS會議上。作為機(jī)器學(xué)習(xí)領(lǐng)域的頂級會議，NIPS近年來一直保持著極低的論文接收率。而獲準(zhǔn)發(fā)表的論文也都會得到業(yè)內(nèi)人士的極大關(guān)注，從而對機(jī)器學(xué)習(xí)的發(fā)展產(chǎn)生相當(dāng)?shù)耐苿幼饔谩?jù)悉，NIPS本年度收到的稿件總量約為2500篇，而接收率還不到23%。相信英特爾中國研究院的這項工作將會對學(xué)界和工業(yè)界產(chǎn)生巨大的影響。

圖片來源：

[1] Han, Song, et al. "Learning both weights and connections for efficient neural networks." Advances in Neural Information Processing Systems, 2015.

[2] Guo, Yiwen, Yao, Anbang and Chen, Yurong. “Dynamic network surgery for efficient DNNs.” Arixv preprint, arXiv:1608.04493v1, 2016.

[3] Yu, Kai. “A tutorial on deep learning.” China Workshop on Machine Learning and Applications, 2012.

雷鋒網(wǎng)注：本文由深度學(xué)習(xí)日記本er授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請聯(lián)系原作者，并注明作者和出處不得刪減內(nèi)容。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。