雷鋒網(wǎng)按：“風(fēng)格特效轉(zhuǎn)換”  在Prisma出現(xiàn)之后就已被熟知，這是利用神經(jīng)表征分離再組合圖片的內(nèi)容和風(fēng)格，最后實(shí)現(xiàn)可用來描繪藝術(shù)圖像。但是，就像我們所體會到的，Prisma依舊存在一些問題，比如使用人數(shù)多導(dǎo)致服務(wù)器過載、智能軟件處理的計(jì)算力不足等，雷鋒網(wǎng)編輯曾在發(fā)布《AI修圖藝術(shù)：Prisma背后的奇妙算法 | 深度 》時(shí)就曾請教過一些深度學(xué)習(xí)工程師，為什么沒有應(yīng)用在視頻上？得到的答案是，除了Prisma出現(xiàn)的問題，要保持時(shí)間上的幀率一致也是非常麻煩的，對技術(shù)的要求也就更高。

現(xiàn)在，為了讓你在用手機(jī)拍攝視頻時(shí)，有種手持梵高畫筆的奇妙感受，F(xiàn)acebook首創(chuàng)了一個(gè)全新的深度學(xué)習(xí)移動(dòng)平臺，利用Caffe2go運(yùn)行環(huán)境和風(fēng)格轉(zhuǎn)換算法模型，在手機(jī)上完成對像素特征的實(shí)時(shí)提取、分析和處理。本文來自圖普科技工程師編譯自 Facebook網(wǎng)站《delivering real time ai in the palm of your hand》，解讀“視頻版”Prisma是如何實(shí)現(xiàn)的？雷鋒網(wǎng)獨(dú)家首發(fā)文章。

如今，視頻通話逐漸成為最受歡迎的溝通方式，在此之際，我們希望給所有人提供一種最先進(jìn)的、最具創(chuàng)造性的自我表達(dá)工具。我們最近開展了對Facebook中一個(gè)新的創(chuàng)意特效相機(jī)的測試，這個(gè)創(chuàng)意特效相機(jī)能幫助人們把普普通通的視頻即時(shí)轉(zhuǎn)換成一份精美的視頻藝術(shù)作品。

 這種技術(shù)叫做“風(fēng)格特效轉(zhuǎn)換”。它會從一份圖像中提取出藝術(shù)風(fēng)格和特征，比如梵高畫作的藝術(shù)風(fēng)格，然后把它應(yīng)用到另一份圖像或者視頻中。這項(xiàng)技術(shù)通常來說比較難以實(shí)現(xiàn)，以往需要將數(shù)據(jù)傳送至數(shù)據(jù)中心，以在更高處理能力的服務(wù)器上進(jìn)行處理。但是現(xiàn)在不同了！我們首創(chuàng)了一個(gè)全新的深度學(xué)習(xí)移動(dòng)平臺，它能夠在手機(jī)上完成對像素特征的實(shí)時(shí)提取、分析和處理，最先進(jìn)的技術(shù)現(xiàn)在在你手上就能完成。

 這是一個(gè)成熟的深度學(xué)習(xí)系統(tǒng)，名字叫做“Caffe2Go”，它的框架現(xiàn)在已經(jīng)被植入了我們的移動(dòng)應(yīng)用程序中。通過把處理圖像和視頻的AI模型壓縮100倍，這個(gè)系統(tǒng)能夠在蘋果和安卓系統(tǒng)中高效地運(yùn)行不同種類的神經(jīng)網(wǎng)絡(luò)。從目前的結(jié)果來看，我們已有能力在手機(jī)上完成AI進(jìn)程了，其用時(shí)甚至低于二十分之一秒（實(shí)際上是50毫秒）——一次眨眼的耗時(shí)為每三分之一秒，即300毫秒。

 （圖為Facebook的創(chuàng)意特效相機(jī)拍攝的視頻截圖，完整視頻可點(diǎn)原文查看）

上文提到的風(fēng)格特效轉(zhuǎn)換工具實(shí)際上是兩種技術(shù)的結(jié)合：Caffe2go運(yùn)行環(huán)境和風(fēng)格轉(zhuǎn)換算法模型。因?yàn)槲覀兊腁I團(tuán)隊(duì)是處理算法和大型系統(tǒng)的，所以他們非常有能力開發(fā)對兩種技術(shù)都適用的新模型，讓風(fēng)格轉(zhuǎn)換功能實(shí)現(xiàn)更高速和高質(zhì)量的轉(zhuǎn)換。這兩種技術(shù)的結(jié)合能夠讓你在用手機(jī)拍攝視頻時(shí)，有種手持梵高畫筆的奇妙感受。 

三個(gè)月以前，我們就從其他人從未做過的事情入手，開始了這項(xiàng)工作：把這個(gè)人工智能風(fēng)格轉(zhuǎn)換功能視為一個(gè)具有創(chuàng)造性的工具進(jìn)行傳遞，讓它在人們的所有設(shè)備中實(shí)時(shí)運(yùn)行。一群專研于產(chǎn)品、技術(shù)和科研的優(yōu)秀人才現(xiàn)已加入了這個(gè)項(xiàng)目。Facebook的AI研究小組成員之一Justin Johnson是一篇基礎(chǔ)性研究論文的作者，論文中描述了這項(xiàng)技術(shù)，發(fā)展了這個(gè)領(lǐng)域先前的一些研究成果。我們的“應(yīng)用機(jī)器學(xué)習(xí)”小組一直致力于打造一個(gè)能夠在移動(dòng)設(shè)備上運(yùn)行的AI引擎。這個(gè)“創(chuàng)意相機(jī)”團(tuán)隊(duì)非常了解用戶的需求，在所有人的合作之下，這個(gè)團(tuán)隊(duì)開發(fā)了一個(gè)能夠?qū)崿F(xiàn)在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行高度優(yōu)化后的神經(jīng)網(wǎng)絡(luò)的最佳解決方案。在接下來的內(nèi)容中，我們將會解釋我們是如何思考和開發(fā)這項(xiàng)實(shí)用技術(shù)的。就從Caffe2go開始吧。 

Caffe2go 

•  輕巧又快捷 

人工智能已經(jīng)對計(jì)算機(jī)科學(xué)產(chǎn)生了相當(dāng)大的影響，但是它仍然受到大數(shù)據(jù)處理的局限，因?yàn)檫@個(gè)大數(shù)據(jù)處理中心有時(shí)距離AI設(shè)備使用者十分遙遠(yuǎn)。因此，所有實(shí)時(shí)處理的AI模型仍然要受到延時(shí)的影響，因?yàn)槠湫枰冗B通至數(shù)據(jù)處理中心，之后才能在GPU上運(yùn)行。我們認(rèn)為，讓人們圍著超級計(jì)算機(jī)跑有點(diǎn)不切實(shí)際，所以我們想找到一種方法讓AI 能在當(dāng)今最普遍存在的一種設(shè)備——智能手機(jī)——的CPU上運(yùn)行。

 有了Caffe2go后，不需連接至遠(yuǎn)程服務(wù)器，智能手機(jī)就能實(shí)現(xiàn)識別、表達(dá)以及理解。盡管如此，智能手機(jī)還是有所局限。盡管在最近幾年智能手機(jī)在計(jì)算能力上有了顯著的提高，已經(jīng)能夠在一秒鐘內(nèi)執(zhí)行數(shù)十億的算術(shù)計(jì)算；但是它仍然存在各種各樣的資源局限，比如電量、內(nèi)存以及專為智能軟件設(shè)計(jì)的計(jì)算能力。因此，智能手機(jī)對機(jī)器學(xué)習(xí)系統(tǒng)來說既是機(jī)遇，又是挑戰(zhàn)。 

為了應(yīng)對這個(gè)挑戰(zhàn)，我們的解決方法就是設(shè)計(jì)出一個(gè)特別輕巧的、模塊化的框架。為此，我們運(yùn)用了Unix哲學(xué)，在開源的Caffe2項(xiàng)目之上進(jìn)行建構(gòu)。它保證了用于顯示和連接各種組件的核心框架是足夠輕巧的，而且能夠?qū)崿F(xiàn)多個(gè)模塊的連接，以及包括對移動(dòng)手機(jī)的優(yōu)化設(shè)計(jì)。我們保存了一個(gè)精巧的算法框架，這個(gè)框架能讓工程師把抽象計(jì)算描述為一個(gè)有向無環(huán)圖（DAG），但是這需要保證輸入和輸出圖中節(jié)點(diǎn)是沒有約束的才能執(zhí)行。這就使得我們的工程開發(fā)團(tuán)隊(duì)能在不同的平臺執(zhí)行和優(yōu)化模塊，同時(shí)輕松地實(shí)現(xiàn)模塊的連接。當(dāng)這個(gè)圖像實(shí)際運(yùn)行起來，它會以各種各樣的硬件特性對自身進(jìn)行實(shí)例化，已達(dá)到最高速的運(yùn)行效果。 

因?yàn)樗俣仁怯?jì)算密集型移動(dòng)應(yīng)用程序的核心所在，尤其是圖像和視頻，輕便的框架設(shè)計(jì)讓我們能夠?qū)ψ远x操作符進(jìn)行平臺的優(yōu)化。其中一個(gè)著名的例子就是一個(gè)叫做NNPack的電子圖書館，這是Caffe2在我們手機(jī)的運(yùn)行時(shí)內(nèi)整合而來的。通過利用一個(gè)移動(dòng)CPU功能——NEON，我們能夠極大地提高手機(jī)的計(jì)算速度。在IOS設(shè)備上，我們也已經(jīng)開始著手整理合成計(jì)算加速功能，例如“元語言”。這些都是通過一個(gè)模塊化的設(shè)計(jì)而來的，無需改變整體模型定義。因此，算法和運(yùn)行時(shí)能夠安全地互相支持，不用再擔(dān)心任何潛在的不兼容風(fēng)險(xiǎn)。 

•  “開發(fā)者友善”的設(shè)計(jì) 

Caffe2 同時(shí)也是我們首個(gè)工業(yè)化的深度學(xué)習(xí)平臺，它能使用完全相同的代碼在CPU、GPU、iOS和安卓四個(gè)服務(wù)器平臺上全速運(yùn)行。由于其模塊化的設(shè)計(jì)，這個(gè)框架在允許各平臺使用相同語言的同時(shí)進(jìn)行個(gè)性化需求優(yōu)化。事實(shí)上，這是開發(fā)人員隱藏起來的執(zhí)行細(xì)節(jié)，比如說，這個(gè)框架可以選擇移動(dòng)設(shè)備（IOS和安卓系統(tǒng)）的NNPacak或者GPU服務(wù)器的CUDNN方案。因此，算法開發(fā)人員可以專注于研究算法，而不需要分散精力去研究卷積運(yùn)行（一種線性運(yùn)算）。 

快速的部署設(shè)計(jì)框架對開發(fā)者非常有益。對開發(fā)者而言，手機(jī)運(yùn)行時(shí)的調(diào)試可以說是個(gè)挑戰(zhàn)，因?yàn)槭謾C(jī)的工具鏈組不夠臺式電腦和服務(wù)器的先進(jìn)。我們通過從硬件中提取出神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)的方法來處理這個(gè)問題，用相同的數(shù)值輸出就能在移動(dòng)手機(jī)或者服務(wù)器上執(zhí)行Caffe2go的一個(gè)序列化網(wǎng)絡(luò)了。所以，我們可以把一大部分工作轉(zhuǎn)移至服務(wù)器環(huán)境（模型訓(xùn)練、性能檢測、用戶體驗(yàn)研究），當(dāng)一切都正常運(yùn)作之后，就能擁有一個(gè)一鍵部署功能的移動(dòng)環(huán)境了。

•  風(fēng)格轉(zhuǎn)換模型的訓(xùn)練測試 

“風(fēng)格轉(zhuǎn)換”這個(gè)想法實(shí)際上早就存在了，它最初是由一個(gè)研究團(tuán)隊(duì)在2015年8月發(fā)表的一篇題為《藝術(shù)風(fēng)格的神經(jīng)算法》的開創(chuàng)性論文中。但是，當(dāng)時(shí)這項(xiàng)技術(shù)發(fā)展緩慢，且需要強(qiáng)大的服務(wù)器支撐。在接下來的幾個(gè)月，這個(gè)研究團(tuán)隊(duì)提升和完善了這項(xiàng)技術(shù)，將運(yùn)行速度提高了好幾個(gè)等級，但是它仍然很大程度上依賴服務(wù)器上的計(jì)算能力。 

現(xiàn)在我們已經(jīng)可以在移動(dòng)端快速運(yùn)行人工智能，但為了確保做到高質(zhì)量、高分辨率的實(shí)時(shí)圖像風(fēng)格轉(zhuǎn)換體驗(yàn)，還是需要繼續(xù)進(jìn)行模型的優(yōu)化和完善。 

•  高效模型尺寸的優(yōu)化 

傳統(tǒng)的風(fēng)格轉(zhuǎn)換模型（包括前饋?zhàn)兞浚┎粌H參數(shù)數(shù)值很大，而且轉(zhuǎn)換速度較慢，我們的風(fēng)格轉(zhuǎn)換應(yīng)用程序的設(shè)計(jì)目標(biāo)就是打造一個(gè)全新的、更輕巧、更高效的模型，這個(gè)模型可以在iPhone6s上輸出每秒20幀以上且不掉幀的高質(zhì)量視頻。

 我們采取了三種主要手段來進(jìn)行模型壓縮。

我們優(yōu)化了卷積層（加工操作中最耗時(shí)的部分）的尺寸數(shù)值以及每一層的寬度，同時(shí)調(diào)整了運(yùn)行過程中的空間分辨率。卷基層的數(shù)值和其寬度可以作為單獨(dú)的杠桿來調(diào)整處理時(shí)間，通過多角度調(diào)整正在處理的圖像，或是調(diào)整一個(gè)單獨(dú)處理行為的次數(shù)。針對空間分辨率，我們可以調(diào)整正處于中間處理層的對象的實(shí)際大小。通過使用前期聯(lián)營（縮小正在處理的圖像）和后期反褶積（放大處理后的圖像），系統(tǒng)不再需要處理過多的信息，處理速度也會加快。并且通過使用這種技術(shù)，我們可以在大大降低網(wǎng)絡(luò)廣度和深度的同時(shí)，保持相當(dāng)不錯(cuò)的圖像質(zhì)量。 

•   提高圖像質(zhì)量 

圖像質(zhì)量是很主觀的，很難進(jìn)行準(zhǔn)確的測量，尤其是像風(fēng)格轉(zhuǎn)換這類。因此，我們建立了包括A/B測試的可視化工具，用來訓(xùn)練并確保不同的模型能夠得到最高質(zhì)量的圖像結(jié)果。通過由FBLearner Flow技術(shù)支持的大規(guī)模GPU集群，我們能夠快速地對大范圍的超參數(shù)（如模型建筑、內(nèi)容風(fēng)格大小和降低取樣）進(jìn)行掃描，來找到一個(gè)既能達(dá)到目標(biāo)性能，又能保持和提高圖像質(zhì)量的“訓(xùn)練有素”的前饋風(fēng)格，從而完成以上的檢測。 

當(dāng)然還有很多能提高圖像質(zhì)量的方法，比如說，應(yīng)用單獨(dú)實(shí)例標(biāo)準(zhǔn)化而不是平常使用的成批標(biāo)準(zhǔn)化對很多風(fēng)格特效都有幫助，避免在卷基層補(bǔ)零，或者將不同的預(yù)加工和后加工濾鏡應(yīng)用在風(fēng)格或圖像上都可以減少圖像偽影。但是我們在測試中發(fā)現(xiàn)，這些方法對部分風(fēng)格有效，并不是對任何風(fēng)格都行得通的。 

隨著風(fēng)格轉(zhuǎn)化技術(shù)的速度和圖像質(zhì)量上的不斷優(yōu)化和完善，相信將一個(gè)在Caffe2框架之上運(yùn)行的實(shí)時(shí)圖像處理系統(tǒng)應(yīng)用于移動(dòng)設(shè)備中指日可待。 

接下來還會有什么呢？

 Caffe2go與類似Torch的工具鏈研究是Facebook的機(jī)器學(xué)習(xí)產(chǎn)品的核心，由于它的尺寸、速度和靈活性，caffe2go從Facebook的工具堆中脫穎而出。 

我們非常樂于在業(yè)界社區(qū)中分享我們的軟件和設(shè)計(jì)，這樣我們可以學(xué)到更好地使用多種硬件平臺和算法設(shè)計(jì)的方法，這些對跨平臺機(jī)器學(xué)習(xí)系統(tǒng)來說多非常重要。在接下來的幾個(gè)月里，我們將繼續(xù)關(guān)注這個(gè)人工智能框架的開源部分。

 隨著我們一步步的向前發(fā)展，你可以想象下實(shí)時(shí)運(yùn)行的人工智能設(shè)備是如何為無障礙環(huán)境、教育及其他領(lǐng)域的人塑造一個(gè)更加開放和聯(lián)系緊密的世界。我們手中的智能設(shè)備將進(jìn)一步改變我們對人工智能的認(rèn)知。通過像Caffe2go這么快捷、輕巧的機(jī)器學(xué)習(xí)系統(tǒng)，我們會一直致力于為您提供更多更棒的人工智能和增強(qiáng)現(xiàn)實(shí)的體驗(yàn)，比如讓你在拍攝視頻的時(shí)候有像手持梵高畫筆一樣的奇妙體驗(yàn)。

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。