雷鋒網(wǎng)按：隨著Facebook 2017年開發(fā)者大會F8的召開，Caffe2框架開源，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)開發(fā)社區(qū)再一次迎來興奮時(shí)刻。在F8大會上，F(xiàn)acebook AML實(shí)驗(yàn)室的 Andrew Tullock和賈揚(yáng)清上臺介紹了Caffe2輕巧、易用和可擴(kuò)展的特性。二人還強(qiáng)調(diào)了“unix 哲學(xué)”（即unframework）的設(shè)計(jì)理念。就像賈揚(yáng)清在知乎上所說的：“framework不重要，重要的是技術(shù)，這也是我一直主張把核心軟件比如說Gloo,NNPAXK,FAISS這些單獨(dú)放出來，不放在框架里面的原因--每個(gè)框架都可以拿這些軟件來優(yōu)化，這才是做community的道理?！?以下為Andrew Tullock和賈揚(yáng)清演講視頻，另附文字版，由雷鋒網(wǎng)編譯。

Andrew Tullock：Caffe2 在移動端的開發(fā)和應(yīng)用

大家好，我的名字是Andrew Tullock，來自Facebook AML實(shí)驗(yàn)室，與我一起演講的還有我的同事賈揚(yáng)清。我主要講一下如何將機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型裝載到移動端上運(yùn)行，包括Caffe2涉及到的一些開源的算法、軟件和工具。揚(yáng)清會談一談這些技術(shù)如何在移動端之外的設(shè)備上擴(kuò)展。

這里是一個(gè)實(shí)時(shí)神經(jīng)風(fēng)格遷移的例子，已經(jīng)在本周很多Keynote場合提到了。

一年半之前，當(dāng)風(fēng)格遷移的技術(shù)剛開始應(yīng)用的時(shí)候，在大型GPU集群上處理一幀的圖像，都要花費(fèi)好幾分鐘的時(shí)間。經(jīng)過我們和其他同仁在算法和軟件上的改進(jìn)，這項(xiàng)技術(shù)如今變成了可以“實(shí)時(shí)進(jìn)行”，并且是在你的手機(jī)上實(shí)現(xiàn)實(shí)時(shí)風(fēng)格轉(zhuǎn)換，這比幾個(gè)月之前進(jìn)步了好幾個(gè)數(shù)量級。

我們有一個(gè)圖像數(shù)據(jù)庫，里面有一些風(fēng)格化的圖像，比如莫奈或畢加索的畫，拿來訓(xùn)練CNN。訓(xùn)練目標(biāo)是，輸出的圖片風(fēng)格轉(zhuǎn)變，但是圖片內(nèi)容不變，模型訓(xùn)練完成后，輸入其它圖像，就會發(fā)生風(fēng)格相似的轉(zhuǎn)變。一開始我們是在Facebook的數(shù)據(jù)中心的GPU上做離線的模型訓(xùn)練，后來就轉(zhuǎn)移到手機(jī)上運(yùn)行，這其中就涉及到iOS和Android系統(tǒng)上高度優(yōu)化且開源的Caffe2框架。

• 為什么Facebook一定要在移動端建造深度學(xué)習(xí)？

Facebook有數(shù)百萬的移動端用戶，但是現(xiàn)在大部分機(jī)器學(xué)習(xí)任務(wù)都只能在云上進(jìn)行。但是，在移動端進(jìn)行機(jī)器學(xué)習(xí)任務(wù)有以下好處：保護(hù)隱私，因?yàn)閿?shù)據(jù)不會離開你的移動端；避免網(wǎng)絡(luò)延遲和帶寬問題；提升用戶體驗(yàn)，比如優(yōu)化feed ranking功能。所以我們開始著手，從底層建造一個(gè)專門為移動端優(yōu)化的機(jī)器學(xué)習(xí)框架。

建造的過程中，有幾個(gè)關(guān)鍵之處。首先一個(gè)關(guān)鍵，就是我們遵循“unix 哲學(xué)”，先建立輕巧的框架核心，之后再盡量完善整個(gè)生態(tài)。這個(gè)框架核心具有很強(qiáng)的擴(kuò)展性，可以在小型的移動設(shè)備和大型GPU集群的服務(wù)器上運(yùn)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型。

另一個(gè)關(guān)鍵之處，是性能。尤其是在運(yùn)算能力不強(qiáng)的設(shè)備上，性能成為瓶頸，這就需要進(jìn)行一些特殊的設(shè)計(jì)來改善。首先，在目標(biāo)平臺上使用最高效的底層函數(shù)庫（primitive），這里面會涉及到在GPU上運(yùn)行的cuDNN、在英特爾CPU上運(yùn)行的MKL DNN等等。

第三個(gè)關(guān)鍵之處，就是優(yōu)化這個(gè)框架核心所占用空間（footprint）。這個(gè)涉及到代碼尺寸（code size）以及模型尺寸，將代碼尺寸最小化是圍繞著極簡框架核心（minimal core）展開的，極簡框架核心是一個(gè)可以加入插件的架構(gòu)。而縮小模型尺寸，涉及到便捷地使用最新模型壓縮技術(shù)。

• 針對CPU的優(yōu)化

Facebook希望在多種類型的設(shè)備上快速運(yùn)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型，但是并沒有一個(gè)通用的模型尺寸適用于所有的設(shè)備的后端。我們基線單元（baseline unit）就是現(xiàn)今大部分手機(jī)使用的ARM CPU，對于一些新型設(shè)備，我們也為GPU甚至是DSP做特定優(yōu)化。ARM CPU是目前手機(jī)上比較常見的進(jìn)行浮點(diǎn)運(yùn)算的芯片，其中的一個(gè)關(guān)鍵點(diǎn)，就是使用 SIMD 單元，所以我們寫了一套定制的 NEON Kernel，這些已經(jīng)在開源的Caffe2go項(xiàng)目里面了，這比現(xiàn)存其它的 NEON Kernel 性能有了大幅提升。

對于卷積而言，我們的一個(gè)團(tuán)隊(duì)成員和一位實(shí)習(xí)生，開發(fā)了NNPack 庫，包含了一系列先進(jìn)的卷積算法（比如針對3x3的卷積的Winograd's minimal filtering算法），并且提供了大幅提升性能的工具。我們以上的這些工作，確實(shí)換來了性能的大幅提升，尤其是對于圖像映射任務(wù)中的大型卷積的效果很好。

• 針對GPU的優(yōu)化

再次強(qiáng)調(diào)，后端需要足夠小的框架核心，因?yàn)槲覀兿氚阉诺饺魏蔚胤?。我們做到了大約只需要幾百KB，就可以裝載這個(gè)框架核心。針對高端的最新iPhone，我們的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)系統(tǒng)對于GPU的數(shù)據(jù)并行性是非常友好的。所以我們寫了一套定制的Metal Kernel，也使用了蘋果的Metal Shader庫，為Caffe2打造一個(gè)定制的GPU后端。這帶來一系列好處，其中一個(gè)就是速度提升，比完全改造之前的速度提升了十倍；相比于已經(jīng)優(yōu)化過的CPU庫，針對不同的問題，可以提升2-5倍速度。同時(shí)能耗也有了本質(zhì)提升，所以我們可以進(jìn)行更多的計(jì)算。

Android系統(tǒng)上的GPU也類似，我們與高通合作開發(fā)了“驍龍神經(jīng)處理引擎”（SNPE），如今高通驍龍SoC芯片為大量的手機(jī)服務(wù)，現(xiàn)在是Caffe2的首要概念（ first class concept），我們可以利用這些CPU和DSP，從本質(zhì)上提升能效和性能。

下圖是一個(gè)性能提升的例子。

當(dāng)我們將模型裝載到數(shù)十億移動客戶端上時(shí)，最小化overhead就變得尤為重要。你可以把這些模型看做是數(shù)百萬、數(shù)千萬的浮點(diǎn)數(shù)字集合，我們使用模型壓縮技巧，在保持原有質(zhì)量的同時(shí)縮小模型尺寸。我們的工具，來自韓松（Song Han）在2016年ICLR的一篇論文，他曾經(jīng)也是我們團(tuán)隊(duì)的一名實(shí)習(xí)生。壓縮的過程分好幾步，首先我們對這些模型進(jìn)行剪枝（pruning），丟掉一些不那么重要權(quán)重。當(dāng)我們進(jìn)行剪枝的時(shí)候，我們可以應(yīng)用一些標(biāo)準(zhǔn)的量化技巧。你可以把這個(gè)過程想象成，在數(shù)十萬的浮點(diǎn)數(shù)字中應(yīng)用了一個(gè)標(biāo)準(zhǔn)的聚類算法技巧，

我們可以把每個(gè)32位的浮點(diǎn)數(shù)字都壓縮到幾個(gè)比特，代表其成本指數(shù)（ cost index）。所以，這個(gè)過程大幅縮小了模型尺寸，之后可以經(jīng)過重新訓(xùn)練，來彌補(bǔ)任何的量化損失，把精確度恢復(fù)過來。這當(dāng)中，我們得到了一套碼本（code book），代表了每一個(gè)權(quán)重的聚類分配。然后，我們可以應(yīng)用標(biāo)準(zhǔn)通用的壓縮算法，我們找到了一個(gè)最好用的“ZSTD算法”，能夠提供異常高水平的壓縮性能。

綜合以上工具，我們可以讓機(jī)器學(xué)習(xí)模型在壓縮5-50倍的情況下，保持同樣的精度。下面，讓我的同事賈揚(yáng)清給大家講講，這個(gè)系統(tǒng)如何應(yīng)用到更廣闊的機(jī)器學(xué)習(xí)生態(tài)里。

賈揚(yáng)清：Caffe2 擴(kuò)展到其它設(shè)備中

我們想要做的，是建造通用的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)庫，既可以擴(kuò)展到數(shù)千種的云端設(shè)備中，也可以縮小至你手掌大小的移動設(shè)備里。

• 作為通用系統(tǒng)的Caffe2

機(jī)器學(xué)習(xí)模型可以在很多設(shè)備上運(yùn)行，包括手機(jī)、服務(wù)器、云端、Raspberry Pi等，它也可以適用于工業(yè)級應(yīng)用，比如自動駕駛。所有的這些應(yīng)用場景特點(diǎn)不一，需求也不一樣，開發(fā)出一套系統(tǒng)來適應(yīng)這些不同的需求，是非常具有挑戰(zhàn)性的。

Andrew在前面提到了“unix 哲學(xué)”，這就是我們一直遵守的原則。我們打造非常輕巧便攜的框架核心，可以適用于各種移動端平臺。這個(gè)核心用來管理各種底層函數(shù)庫，也就是一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)涉及的各個(gè)方面（包括卷積、池化等等）。然后，我們根據(jù)不同的運(yùn)行環(huán)境插入不同的組件，來運(yùn)行這些底層函數(shù)庫。在服務(wù)器端，我們使用Gloo來進(jìn)行大規(guī)模的訓(xùn)練，在移動端用NNPack庫，在其它設(shè)備上使用Metal，等等。

• Caffe2的易用性

當(dāng)然，我們意識到，光靠Facebook的力量，不可能將這個(gè)系統(tǒng)放到所有的設(shè)備中。所以我們要打造的平臺系統(tǒng)，非常注重開發(fā)的易用性，來便捷地運(yùn)行不同特色的代碼。這里有一個(gè)例子，機(jī)器學(xué)習(xí)領(lǐng)域有一個(gè)應(yīng)用叫做 TSNE（高維數(shù)據(jù)可視化工具）的工具，在Caffe2里使用這個(gè)非常簡單，代碼如下，體現(xiàn)出Caffe2的彈性和可定制化。

• 健康生態(tài)需要合作伙伴共同開發(fā)

以上我們提到的功能，已經(jīng)應(yīng)用到了Facebook的很多產(chǎn)品里，例如計(jì)算機(jī)視覺、機(jī)器翻譯、語音識別和預(yù)測。如今移動設(shè)備、PC機(jī)、可穿戴設(shè)備、云端等構(gòu)成了大型生態(tài)，所以非常重要的一點(diǎn)是，整個(gè)行業(yè)伙伴合作起來構(gòu)建一個(gè)聯(lián)盟，創(chuàng)造健康的生態(tài)來持續(xù)推進(jìn)深度學(xué)習(xí)的發(fā)展。

在這里，我們非常高興地向大家展示一個(gè)產(chǎn)業(yè)線合作的成功案例。我想，大家應(yīng)該都知道GPU對如今的機(jī)器學(xué)習(xí)發(fā)展很重要，我們與Nvidia進(jìn)行多方位的合作，比如我們將cuDNN庫整合進(jìn)我們的系統(tǒng)中，打造成了可能是迄今為止最快的一個(gè)計(jì)算機(jī)視覺系統(tǒng)，可以將數(shù)百萬的圖像在幾分鐘內(nèi)處理完。

另外一個(gè)例子，就是與英特爾合作。當(dāng)進(jìn)入部署的環(huán)節(jié)，將一個(gè)深度學(xué)習(xí)系統(tǒng)放到云端，非常重要的一點(diǎn)就是，有高性能的CPU庫。其中有一系列的工作稱為MLP（多層感知），對于預(yù)測工作非常重要，我們與英特爾合作開發(fā)了一個(gè)MKL DNN庫，整合進(jìn)Caffe2當(dāng)中。

前面我們談到，在移動端與高通驍龍合作了SNPE庫，可以運(yùn)行機(jī)器學(xué)習(xí)模型，尤其是CNN，往往能在非常優(yōu)秀的能耗表現(xiàn)下，保持快5倍的速度。使用者不用擔(dān)心具體的硬件，快速上手使用GPU和DSP等新型硬件。當(dāng)然，如今離開云什么也干不了，或許你在用PC機(jī)運(yùn)行機(jī)器學(xué)習(xí)模型的時(shí)候，會感到很困難，所以我們也與亞馬遜及微軟合作，將這些深度學(xué)習(xí)庫部署在云上。你可以使用一個(gè)云端實(shí)例，從而集中于手頭的研究和產(chǎn)品工作，而不需要越過重重關(guān)卡自己去編制一個(gè)庫。

Caffe2已經(jīng)在Facebook內(nèi)部進(jìn)行了很多嚴(yán)格測試，現(xiàn)在能夠跟各位合作伙伴一起共同推進(jìn)Caffe2在深度學(xué)習(xí)里的應(yīng)用，我們感到很激動，也很榮幸。以上談到的工具和庫都已經(jīng)放到網(wǎng)上了，我們將會持續(xù)致力于社區(qū)的工作，讓AI提升人們的生活水平，拉近人們之間的關(guān)系，創(chuàng)造一個(gè)更友善的世界。

注：恒亮和黃鑫對本文亦有貢獻(xiàn)。

更多雷鋒網(wǎng)文章：

專訪FPGA 2017最佳論文得主深鑒科技：深度學(xué)習(xí)的最大瓶頸是帶寬問題而非計(jì)算

對話李志飛：時(shí)隔四年，出門問問為何又殺入語音助手市場？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。