7 月 7 日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)與香港中文大學(xué)（深圳）承辦的CCF－GAIR 2017全球人工智能與機(jī)器人峰會(huì)在深圳大中華喜來(lái)登酒店如期開幕。奇虎360副總裁、首席科學(xué)家、IEEE Fellow、IAPR Fellow顏水成博士帶來(lái)了主題為《深度學(xué)習(xí)：精度極限VS用戶體驗(yàn)》的演講。這是大會(huì)首日最后一場(chǎng)演講。

作為360 人工智能研究院院長(zhǎng)，顏水成博士曾在新加坡國(guó)立大學(xué)領(lǐng)導(dǎo)機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺實(shí)驗(yàn)室，他的主要研究領(lǐng)域是計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)與多媒體分析，其團(tuán)隊(duì)提出的“Network in Network” 對(duì)深度學(xué)習(xí)產(chǎn)生了很大的推動(dòng)力。

以下內(nèi)容由雷鋒網(wǎng)整理自顏水成教授的報(bào)告，有刪減：

這次我希望對(duì)過(guò)去5年我在學(xué)術(shù)和工業(yè)界對(duì)深度學(xué)習(xí)的一些觀察進(jìn)行簡(jiǎn)單介紹。深度學(xué)習(xí)的研究有兩種不同的目標(biāo)，一個(gè)目標(biāo)是追求精度的極限，另一種是追求產(chǎn)品的體驗(yàn)極限，我將從這兩方面來(lái)進(jìn)行介紹。然后我將圍繞1×1卷積及相關(guān)分析，來(lái)思考如何設(shè)計(jì)更好的網(wǎng)絡(luò)，分別追求精度極限和體驗(yàn)極限。

學(xué)術(shù)界的人工智能\深度學(xué)習(xí)

在學(xué)術(shù)界研究深度學(xué)習(xí)，一般是針對(duì)一個(gè)具體的問題去探索新的算法。我們可以去設(shè)計(jì)更好的模型結(jié)構(gòu)，用更多的模型去融合，另一方面，我們也會(huì)思考用更好的訓(xùn)練平臺(tái)和更多的資源實(shí)現(xiàn)分布式多機(jī)多卡的訓(xùn)練。也會(huì)思考利用海量的數(shù)據(jù)，通過(guò)預(yù)測(cè)學(xué)習(xí)的方式先預(yù)先訓(xùn)練模型，然后利用有標(biāo)注數(shù)據(jù)訓(xùn)練好模型之后，又可以利用baby-learning或增強(qiáng)學(xué)習(xí)等后處理的方式進(jìn)一步增強(qiáng)模型的性能。

工業(yè)界的人工智能\深度學(xué)習(xí)

在工業(yè)界不再只是追求純粹的算法，一定要思考產(chǎn)品和應(yīng)用的場(chǎng)景。人工智能本身不是一個(gè)產(chǎn)品，它必須跟具體的場(chǎng)景相結(jié)合才有它內(nèi)在的價(jià)值。最好的做法是算法和數(shù)據(jù)形成一個(gè)閉環(huán)，先訓(xùn)練出初始的模型，然后再到具體的應(yīng)用場(chǎng)景中去挖掘模型失效的數(shù)據(jù)，用這些數(shù)據(jù)進(jìn)一步提升模型的精度，然后再把模型應(yīng)用到場(chǎng)景中，不斷地迭代，最終達(dá)到最好的體驗(yàn)。另外算法科學(xué)家和產(chǎn)品工程師必須相互協(xié)作，才能讓不完美的算法有機(jī)會(huì)產(chǎn)生完美的用戶體驗(yàn)。

算法科學(xué)家和產(chǎn)品工程師相互合作的例子

有一個(gè)很明顯的例子就是萌臉?biāo)惴?。之前有很多團(tuán)隊(duì)思考通過(guò)人臉分析，把人臉進(jìn)行替換，但是這個(gè)模式?jīng)]有成功，因?yàn)樗惴ú煌昝?，?huì)產(chǎn)生抖動(dòng)等問題。但是如果只是把一個(gè)花環(huán)、帽子或項(xiàng)鏈掛在人的頭上，即使有抖動(dòng)，用戶的體驗(yàn)還是非常不錯(cuò)的。這個(gè)就是工程師和科學(xué)家完美合作的結(jié)果。

在工業(yè)界如果要思考產(chǎn)品，一是要考慮應(yīng)用場(chǎng)景能否滿足高頻剛需，二是要思考技術(shù)是否成熟，三是要思考技術(shù)是否能形成壁壘。如果沒有技術(shù)壁壘，你今天做出一個(gè)產(chǎn)品，不久之后更大的公司可能會(huì)很快做出類似產(chǎn)品，你的生存空間就不存在了。

深度學(xué)習(xí)研發(fā)的目標(biāo)之一：精度極限

把這些觀察放在一起，我們就會(huì)發(fā)現(xiàn)深度學(xué)習(xí)的研發(fā)有兩個(gè)不同的目標(biāo)，第一個(gè)目標(biāo)是學(xué)術(shù)界在驅(qū)動(dòng)，如果用四元分析的方法，即用場(chǎng)景、算法、計(jì)算和數(shù)據(jù)分析的方法來(lái)看，場(chǎng)景和數(shù)據(jù)是固定的，在不考慮計(jì)算資源限制的情況下，去追求算法最優(yōu)能達(dá)到的上限。在這種假設(shè)下很多算法沒法商業(yè)化，因?yàn)闆]有思考在真實(shí)應(yīng)用場(chǎng)景下資源消耗是什么樣的。

深度學(xué)習(xí)研發(fā)的目標(biāo)之二：產(chǎn)品體驗(yàn)

另外一方面是追求產(chǎn)品的體驗(yàn)，這是由業(yè)界在驅(qū)動(dòng)的。同樣用四元分析的方法，這時(shí)候場(chǎng)景和計(jì)算已經(jīng)固定。例如要做陪護(hù)機(jī)器人，其應(yīng)用場(chǎng)景和它能提供的計(jì)算能力是固定的，這時(shí)候唯一的做法就是把算法和數(shù)據(jù)形成閉環(huán)，在迭代中去產(chǎn)生最好的體驗(yàn)。這時(shí)候不僅僅只是算法的設(shè)計(jì)，有很多方面都需要思考，比如說(shuō)數(shù)據(jù)的清洗\標(biāo)注、模型速度、各種微創(chuàng)新等等。

深度學(xué)習(xí)兩種研究目標(biāo)的對(duì)比

第一種研究更多的是用腦，第二種研究更多的是用心，它們倆是相輔相成的。比如說(shuō)在追求精度極限的時(shí)候，一些前沿的成果會(huì)激發(fā)去設(shè)計(jì)一些新穎的產(chǎn)品，同時(shí)，在追求產(chǎn)品體驗(yàn)的時(shí)候，也會(huì)提煉出很多核心的問題，然后送到學(xué)術(shù)界中做深入的研究。這兩種目標(biāo)都非常重要，很多公司這兩種目標(biāo)都在追求，因此建立了自己的AI lab，一方面去瞄準(zhǔn)前沿研究，為未來(lái)打下基礎(chǔ)，另一方面追求產(chǎn)品體驗(yàn)，保證產(chǎn)品能在當(dāng)前的場(chǎng)景落地。

兩種目標(biāo)結(jié)合的實(shí)例

一個(gè)具體的例子是物體的分割。在2016年，大家都覺得分類和檢測(cè)已經(jīng)可以在工業(yè)界中很好地使用，但是從來(lái)沒有人覺得物體分割已經(jīng)到了可以使用的階段。我的研究組以前就做了很多人體分割的工作，任務(wù)是給定一個(gè)圖象，輸出每個(gè)像素具體是什么東西，我們花了兩年的時(shí)間把它的性能從44%提升到了86%。同時(shí)領(lǐng)域內(nèi)有很多分割算法取得了很好的成果，去年年底工業(yè)界開始思考，確實(shí)有很多的應(yīng)用場(chǎng)景可以受益于這種分割的技術(shù)，于是很多人開始思考怎么樣去對(duì)模型進(jìn)行加速，保證在一些限定的場(chǎng)景下的性能能滿足產(chǎn)品化的需求。

從今年開始，比如美圖秀秀和Snapchat把人的頭發(fā)和臉分割出來(lái)，可以產(chǎn)生很好的頭發(fā)美化的效果，360和其他一些公司則提供人體分割的技術(shù)，可以把人實(shí)時(shí)從自拍的視頻里面分割出來(lái)，疊加到動(dòng)態(tài)的場(chǎng)景，產(chǎn)生很多好玩、好看的效果。這是一個(gè)典型的因?yàn)樽非缶葮O限達(dá)到一定程度時(shí)，就激發(fā)了新的產(chǎn)品形態(tài)的創(chuàng)新。

下面我將圍繞1×1卷積來(lái)做一個(gè)深度學(xué)習(xí)研究的漫談。我將仔細(xì)分析1×1卷積是什么、1×1卷積在不同的模型里面能帶來(lái)什么有價(jià)值的分析結(jié)果，以及1×1卷積可以幫助產(chǎn)生哪些更新的模型結(jié)構(gòu)來(lái)進(jìn)一步提升視覺分析的性能。這些工作一部分在追求精度極限，另一部分在追求體驗(yàn)極限。

1×1卷積

最早的1×1卷積是我的學(xué)生LIN Min博士在Network in Network里面提出來(lái)的，當(dāng)時(shí)覺得純粹的內(nèi)積不能很好地模擬人的神經(jīng)元的復(fù)雜工作方式，卷積可以用更復(fù)雜的微型網(wǎng)絡(luò)結(jié)構(gòu)來(lái)替代，當(dāng)這種復(fù)雜的結(jié)構(gòu)是多層感知機(jī)的時(shí)候，對(duì)應(yīng)的后面的操作就是1×1卷積。

當(dāng)1×1卷積跟3×3、5×5卷積疊加在一起，就會(huì)產(chǎn)生更復(fù)雜的抽象過(guò)程。當(dāng)時(shí)的一個(gè)好處就是這個(gè)模型的參數(shù)可以降到傳統(tǒng)模型的十分之一甚至更少，這樣就為我們把深度學(xué)習(xí)往端上遷移提供了可能性，同時(shí)當(dāng)時(shí)這個(gè)模型也在ImageNet 2014比賽的物體檢測(cè)任務(wù)中取得了最好的性能。之后1x1卷積逐步成為各種后續(xù)經(jīng)典深度學(xué)習(xí)模型的標(biāo)準(zhǔn)組件之一，比如說(shuō)GoogleNet, ResNet, ResNext等。

用1×1卷積分析傳統(tǒng)網(wǎng)絡(luò)的內(nèi)在機(jī)理

基于1x1卷積的張量逼近分析可以很好地解釋當(dāng)前各種流行網(wǎng)絡(luò)結(jié)構(gòu)，如GoogleNet、ResNet、 ResNext，里面局部微觀結(jié)構(gòu)的內(nèi)在合理性。

比如要在一個(gè)固定的位置，把一個(gè)256個(gè)feature maps卷積的空間域是3×3的數(shù)據(jù)塊，卷積完以后變成仍然是256個(gè)feature maps。這樣需要的參數(shù)是256×256×3×3這樣一個(gè)四階的Tensor，它的參數(shù)量實(shí)在太大了。

學(xué)術(shù)界的一種研究是把一個(gè)高階的Tensor用一些小size的Tensor，通過(guò)從不同維度做乘積的方式升維到原來(lái)size的Tensor。你可以用一個(gè)Tensor，也可以用多個(gè)Tensor相加的形式來(lái)擬合原來(lái)的Tensor。

具體到我們這個(gè)問題，如下圖，對(duì)應(yīng)的C的部分就等價(jià)于從256個(gè)feature maps降到更少量的feature maps，G相當(dāng)于在更少量的feature maps的基礎(chǔ)上做3×3的卷積，D等價(jià)于把更少量的feature maps升維到更多的feature maps，C和D則對(duì)應(yīng)到1×1卷積。

有了這種理解之后，ResNet的經(jīng)典版本則對(duì)應(yīng)于用一個(gè)low-complexity的Tensor來(lái)擬合，ResNext則對(duì)應(yīng)于用多個(gè)low-complexity的Tensor來(lái)擬合。同時(shí)把多層的卷積Tensors放在一起做low-complexity tensor逼近，我們可以得到一個(gè)cross-layer信息共享的網(wǎng)絡(luò)，可以減少參數(shù)個(gè)數(shù)，從而提升模型推廣性能?；谶@種簡(jiǎn)單的擴(kuò)展，只需要一個(gè)50層的ResNet網(wǎng)絡(luò)的參數(shù)數(shù)目，就能達(dá)到一個(gè)200層的ResNet網(wǎng)絡(luò)所能具備的分類性能。

用1×1卷積分析ResNet和Densely Connected Network

下面我們用1×1卷積來(lái)分析ResNet和Densely Connected Network (DenseNet)。ResNet是在當(dāng)前feature maps的基礎(chǔ)上，做1×1卷積、3×3卷積、再1x1卷積，或者運(yùn)行其它微觀結(jié)構(gòu)，把出來(lái)的結(jié)果跟現(xiàn)有的結(jié)果相加。DenseNet是前面每一層卷積的結(jié)果都要放到后面的層去，跟它拼接起來(lái)。假設(shè)給定的feature map在不同層做1×1卷積的參數(shù)是一樣的，你會(huì)發(fā)現(xiàn)DenseNet和ResNet是等價(jià)的，差別是在于一個(gè)是事后計(jì)算1×1卷積，一個(gè)是事先計(jì)算1×1卷積。

這兩種網(wǎng)絡(luò)的內(nèi)在目標(biāo)完全不一樣。從局部來(lái)看，ResNet更多是希望對(duì)特征進(jìn)行改進(jìn)，DenseNet則更多探索新的特征來(lái)補(bǔ)充已有的特征。一種自然的想法是把這兩種特征的優(yōu)勢(shì)都利用起來(lái)，我們?cè)O(shè)計(jì)了一個(gè)網(wǎng)絡(luò)結(jié)果，通過(guò)微觀結(jié)構(gòu)把這兩種網(wǎng)絡(luò)揉和在一起，最后出來(lái)的特征，一部分去改進(jìn)已有的特征，一部分作為新特征的探索。很有趣的事情是，雖然ResNet是DenseNet的特例，新提出的網(wǎng)絡(luò)結(jié)構(gòu)是一種新的結(jié)構(gòu)，無(wú)法再直接解釋成DenseNet。

這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)我們叫Dual-path Network, 實(shí)現(xiàn)的時(shí)候只需在現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)里加入拼接和分割的操作就可以得到新的模型結(jié)構(gòu)。這種模型結(jié)構(gòu)看似簡(jiǎn)單，效果非常明顯。

在Object Detection任務(wù)上，從ResNet到ResNeXt能升3.7個(gè)點(diǎn)的話，在DPN上可以提升達(dá)到6.1個(gè)點(diǎn)；在Object Segmentation任務(wù)上，從ResNet到ResNeXt能升0.5個(gè)點(diǎn)的話，在DPN上能提升達(dá)到1.7個(gè)點(diǎn)。

當(dāng)前在學(xué)術(shù)界已經(jīng)驗(yàn)證的最好的單模型精度的網(wǎng)絡(luò)的單模型錯(cuò)誤率是4.25%，在DPN上如果我們用131層的網(wǎng)絡(luò)，它的錯(cuò)誤率能降到4.16%，同時(shí)可以保證這個(gè)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試時(shí)間都比前者要快很多。同時(shí)，如果把很多的模型做融合，在ImageNet上的錯(cuò)誤率就可以從最好的2.99%降到2.74%。在ImageNet的Object Localization任務(wù)上效果也非常明顯，只需要用三個(gè)模型的融合，就可以從去年的最好模型（6個(gè)模型）得到的結(jié)果7.58% 降到6.03%。

360的相關(guān)產(chǎn)品

在360，追求精度極限的應(yīng)用主要是放在云端，比如說(shuō)360小水滴里面的人臉認(rèn)證，我們?cè)诒３?%的FAR的情況下，把它的TPR從77%升到98%。雖然只是98%，但在這種監(jiān)控場(chǎng)景下，你可能會(huì)碰到不同光照、姿勢(shì)、尺度的圖象，分類的難度是非常大的，它與在銀行里面用戶配合的場(chǎng)景下做人臉識(shí)別的差別非常大。

另一方面，360有很多智能硬件。智能硬件的特點(diǎn)是在固定應(yīng)用場(chǎng)景和計(jì)算資源受限的情況下，希望把人工智能的技術(shù)應(yīng)用到具體場(chǎng)景里面，這時(shí)候在比較低端的芯片上，讓深度學(xué)習(xí)能夠發(fā)揮最好的效能就變得非常重要。所以我們也一直在思考，有哪些方法可以從算法的角度把計(jì)算的復(fù)雜度降低下來(lái)。我們其中一個(gè)工作是用1×1卷積，希望能實(shí)現(xiàn)更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，但是計(jì)算復(fù)雜度反而會(huì)進(jìn)一步降低。這個(gè)屬于追求用戶體驗(yàn)的例子。

利用1×1卷積實(shí)現(xiàn)：更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、但更低的計(jì)算復(fù)雜度

通過(guò)對(duì)每一個(gè)卷積操作附加一個(gè)1x1卷積操作然后再點(diǎn)乘，雖然模型變復(fù)雜了，但可以大幅減少前向傳播的計(jì)算量。

它的思路非常簡(jiǎn)單。舉個(gè)例子，任何一個(gè)卷積，在ReLU完了之后，很多時(shí)候你會(huì)發(fā)現(xiàn)大概有40%或者更多的位置上它的輸出是0。如果這個(gè)位置輸出是0，它原來(lái)的值是什么就不那么重要了。進(jìn)一步思考，有沒有可能用更少的computational cost把這些為0的位置快速估計(jì)出來(lái)，這樣具體的卷積就不用計(jì)算了。如果我們有40%的位置是0，上面有40%的計(jì)算量就可以忽略，下面因?yàn)槭?×1卷積，它的計(jì)算量只有大概1/9甚至更少，這樣你就用1/9的時(shí)間節(jié)省了40%的計(jì)算量，所以它是非常值得的。另外一方面，從理論上來(lái)說(shuō)，這種網(wǎng)絡(luò)結(jié)構(gòu)可以保障潛在的最好分類性能不會(huì)降低。

我們?cè)诓煌臄?shù)據(jù)庫(kù)、不同的模型上做了測(cè)試，一般情況下都能提升20%到40%的速度，這在追求產(chǎn)品體驗(yàn)極限上非常重要。

例如你希望做一個(gè)普通老百姓愿意接受的后裝ADAS，要做車輛檢測(cè)，或者在手機(jī)APP上，要做實(shí)時(shí)的人體摳像，動(dòng)態(tài)疊加到背景中，這時(shí)候降低能耗是非常重要的。用芯片來(lái)降低能耗成本會(huì)貴一些，從深度學(xué)習(xí)研發(fā)的角度來(lái)說(shuō)，如果能從算法維度上降低它的功耗，價(jià)值將非常大。

最后我用這張圖做一個(gè)簡(jiǎn)單的總結(jié)。深度學(xué)習(xí)的研發(fā)有兩個(gè)非常不一樣的目標(biāo)，一種是追求算法的精度極限，一種是追求產(chǎn)品的體驗(yàn)極限。它們的差別是一個(gè)專注在用腦，一個(gè)是專注在用心，同時(shí)它們也是相輔相成、相互促進(jìn)的。

雷鋒網(wǎng)整理。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。