2020 年 8 月 7 日，第五屆全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR 2020）在深圳正式開幕。

CCF-GAIR 2020 峰會(huì)由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）聯(lián)合承辦，鵬城實(shí)驗(yàn)室、深圳市人工智能與機(jī)器人研究院協(xié)辦。

作為中國最具影響力和前瞻性的前沿科技活動(dòng)之一，CCF-GAIR 大會(huì)已經(jīng)度過了四次精彩而又輝煌的歷程。

在第二天的人工智能前沿專場上，澎思科技首席科學(xué)家、新加坡研究院院長申省梅以“遷移學(xué)習(xí)”為主題發(fā)表了精彩演講。

申省梅從傳統(tǒng)機(jī)器學(xué)習(xí)的痛點(diǎn)、深度學(xué)習(xí)帶來的突破、深度遷移學(xué)習(xí)、遷移學(xué)習(xí)中用到的一些技術(shù)和實(shí)例方面進(jìn)行了分享，并分析了遷移學(xué)習(xí)在視覺智能方向上的應(yīng)用需求。

傳統(tǒng)機(jī)器學(xué)習(xí)的痛點(diǎn)之一是泛化能力差，原因之一是它使用手工特征，靠設(shè)計(jì)者的經(jīng)驗(yàn)得到，并無法掌握數(shù)據(jù)中的非線性變化，每種特征只能對特定的場景或特定的任務(wù)才有效。泛化能力差導(dǎo)致魯棒性差，落地成本高，用戶滿意度差。

另一方面，深度學(xué)習(xí)模型為計(jì)算機(jī)視覺帶來的突破，也是在給定的數(shù)據(jù)集上訓(xùn)練出來的，可以很好地反映給定數(shù)據(jù)的特點(diǎn)。而給定的數(shù)據(jù)集僅僅代表了某一領(lǐng)域。盡管在這些特定數(shù)據(jù)集訓(xùn)練的模型具有很高的準(zhǔn)確性，遠(yuǎn)遠(yuǎn)超過傳統(tǒng)機(jī)器學(xué)習(xí)，但在新的場景下它的性能無法維持，并且在用于新任務(wù)的時(shí)候可能會(huì)導(dǎo)致性能顯著下降。深度學(xué)習(xí)的突破仍然取決于數(shù)據(jù)。

另外，申省梅還指出深度學(xué)習(xí)AI落地痛點(diǎn)：

1、感知環(huán)境及應(yīng)用場景的千變?nèi)f化：天氣、光線、角度、遮擋等因素變化導(dǎo)致成像質(zhì)量不同并且質(zhì)量不佳；訓(xùn)練數(shù)據(jù)與落地場景的不一致導(dǎo)致AI模型性能陡然下降；

2、重新訓(xùn)練模型需要大量的AI專業(yè)人才來完成，周期長成本高見效慢，已經(jīng)成為AI普惠的障礙；

3、AI人才的短缺以及成本昂貴會(huì)阻礙企業(yè)采納人工智能以及它帶來的效益。

通用智能是下一代AI發(fā)展的必然趨勢，申省梅表示，澎思會(huì)在遷移學(xué)習(xí)、無監(jiān)督、自監(jiān)督學(xué)習(xí)、小樣本學(xué)習(xí)、多模態(tài)學(xué)習(xí)這幾個(gè)真正反映AI落地實(shí)際情況的領(lǐng)域里面落地生根。

以下為申省梅的現(xiàn)場演講內(nèi)容，雷鋒網(wǎng)作了不改變原意的編輯及整理：

大家好，我是申省梅，澎思科技首席科學(xué)家，也是新加坡研究院的負(fù)責(zé)人，我今天的主題是“基于遷移學(xué)習(xí)的視覺智能發(fā)展與應(yīng)用”。

我會(huì)從傳統(tǒng)機(jī)器學(xué)習(xí)的痛點(diǎn)、深度學(xué)習(xí)帶來的突破，以及深度遷移學(xué)習(xí)、遷移學(xué)習(xí)中用到的一些技術(shù)和實(shí)例做分享，也會(huì)給大家展望一下遷移學(xué)習(xí)在視覺智能方向上的應(yīng)用需求。

傳統(tǒng)機(jī)器學(xué)習(xí)的痛點(diǎn)：泛化能力差

傳統(tǒng)機(jī)器學(xué)的痛點(diǎn)就是泛化能力差，原因之一是它的特征不是針對數(shù)據(jù)的自適應(yīng)性，它是用一個(gè)手工特征預(yù)先經(jīng)過很多先驗(yàn)知識得到的HOG、LBP、SIFT這樣的特征，再進(jìn)行提取特征的。不像深度學(xué)習(xí)能夠用深度神經(jīng)網(wǎng)絡(luò)自動(dòng)地提取。

由于泛化能力差，在實(shí)際落地的時(shí)候，魯棒性也會(huì)差，導(dǎo)致每次訓(xùn)練好的模型在換場景時(shí)，全部都需要重新搜集數(shù)據(jù)訓(xùn)練，落地的成本非常高，用戶的滿意程度也很差。

在傳統(tǒng)機(jī)器學(xué)習(xí)時(shí)代，也有一個(gè)很好的Benchmark數(shù)據(jù)庫，叫PASCAL VOC。學(xué)術(shù)界、工業(yè)界都在上面訓(xùn)練，測評自己訓(xùn)練的模型。我們在2010年到2012年期間與新加坡國立大學(xué)的顏水成團(tuán)隊(duì)一起打比賽，并且獲得三年的冠軍。這個(gè)比賽包括目標(biāo)的分類、檢測和分割。

當(dāng)時(shí)另外一個(gè)Benchmark的比賽叫VOT Tracking，是一個(gè)視覺跟蹤任務(wù)的國際比賽，2013到2014年我們也獲得這個(gè)比賽的冠軍。這個(gè)性能評價(jià)不僅僅包括跟蹤的精度，還有跟蹤的速度、魯棒性以及實(shí)現(xiàn)的復(fù)雜性。我們的冠軍模型可以在當(dāng)時(shí)的英特爾i5上跑到每秒200幀以上。

深度學(xué)習(xí)帶來的突破：仍取決于數(shù)據(jù)

深度學(xué)習(xí)能夠解決泛化性和魯棒性，并且精度大幅度提升，所以2013年《麻省理工科技評論》把深度學(xué)習(xí)列在十大技術(shù)的突破之一。

我們當(dāng)時(shí)也意識到深度學(xué)習(xí)可以讓機(jī)器學(xué)習(xí)更加逼近人的大腦智能：它不僅是精度從95%升到99%，更是一個(gè)商業(yè)模式的改變。它可以實(shí)現(xiàn)過去很多不能實(shí)現(xiàn)的東西，能夠挖掘出比人類大腦更智能化的東西。最近這幾年，風(fēng)險(xiǎn)投資公司投入了很多，尤其是在深度學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域，我們也看到了越來越多這方面的技術(shù)得到落地。

深度學(xué)習(xí)帶來的突破，我們都不會(huì)忘記最大的貢獻(xiàn)者，ImageNet數(shù)據(jù)庫。由于它的量很大，標(biāo)注干凈，噪聲少，吸引了大量的研究機(jī)構(gòu)在上面進(jìn)行模型訓(xùn)練和比賽。

最早開始的機(jī)器學(xué)習(xí)還只能夠達(dá)到70%多的準(zhǔn)確率，26%的分類誤差。接下來的四五年內(nèi)，準(zhǔn)確率越來越高，很快就超越了人眼判斷的精度。當(dāng)時(shí)大家都認(rèn)為ImageNet是計(jì)算機(jī)視覺年度的奧林匹克大賽。

除了大數(shù)據(jù)很重要以外，算力也非常重要。如果沒有提取大數(shù)據(jù)的超級算力，沒有GPU的算力，沒有這些耕耘在深度學(xué)習(xí)網(wǎng)絡(luò)的開拓者們，大家不會(huì)看到今天的變化。

澎思在各個(gè)行業(yè)耕耘時(shí)發(fā)現(xiàn)，產(chǎn)業(yè)對計(jì)算機(jī)視覺技術(shù)要求、性能要求非常高，我們很快就在不同的需求下開發(fā)出自己的人臉技術(shù)、行人技術(shù)、車輛技術(shù)、人機(jī)非技術(shù)、人群分析、行為識別、圖象增強(qiáng)恢復(fù)技術(shù)，以及聲紋和指紋技術(shù)，還有自主導(dǎo)航、3D重建的技術(shù)。在這之前，通過傳統(tǒng)機(jī)器學(xué)習(xí)，大部分的技術(shù)都能實(shí)現(xiàn)，但是使用深度學(xué)習(xí)后，性能極大提升，澎思也以此將自研的計(jì)算機(jī)視覺技術(shù)應(yīng)用在自家的很多產(chǎn)品和各個(gè)落地業(yè)務(wù)當(dāng)中。

澎思科技在成立短短的兩三年中，15次取得了國際比賽冠軍，也刷新了各種權(quán)威數(shù)據(jù)集的世界紀(jì)錄。去年ICCV的輕量級人臉識別挑戰(zhàn)賽的4個(gè)賽道中，我們在三個(gè)賽道的成績都是名列第一。

澎思AIoT的藍(lán)圖中，深度學(xué)習(xí)算法可以應(yīng)用在智慧樓宇、智慧社區(qū)、智慧園區(qū)、智慧工廠等多個(gè)場景中，中間一層是澎思的算法，不僅僅用在服務(wù)器端，即澎思云端，也應(yīng)用在邊緣端和前端智能設(shè)備。

深度學(xué)習(xí)模型，比如CNN（卷積神經(jīng)網(wǎng)絡(luò)）為計(jì)算機(jī)視覺帶來很大突破，但它也是在給定的數(shù)據(jù)上訓(xùn)練出來的，可以很好地反應(yīng)給定數(shù)據(jù)的特點(diǎn)。

而給定的數(shù)據(jù)集僅僅代表某個(gè)領(lǐng)域、某些場景、某種特定任務(wù)，比如CCTV監(jiān)控下的自然圖像領(lǐng)域、戶外場景、任務(wù)是人臉識別、行人再識別和行為分析。

盡管在這些特定數(shù)據(jù)上訓(xùn)練的模型具有很高的準(zhǔn)確性，遠(yuǎn)遠(yuǎn)超過傳統(tǒng)機(jī)器學(xué)習(xí)，但在新場景下它的性能會(huì)下降。舉個(gè)簡單的例子，比如它的人臉識別是針對亞洲女性，就很難把這個(gè)模型應(yīng)用在男性甚至是白人女，或者是兒童的識別上。

深度學(xué)習(xí)還是完全取決于給定的數(shù)據(jù)。也因此，目前依然存在著AI落地的痛點(diǎn)：

1、感知環(huán)境及應(yīng)用場景的千變?nèi)f化：

相機(jī)在各個(gè)環(huán)境下捕捉到的圖像，隨著天氣、光線、角度、遮擋等因素變化、成像質(zhì)量也不同；

訓(xùn)練數(shù)據(jù)與落地場景的不一致導(dǎo)致AI模型性能陡然下降，比如在路面架著相機(jī)捕捉的行人、車輛和無人機(jī)捕捉的形狀是非常不同的。

2、重新訓(xùn)練模型需要大量的AI專業(yè)人才來完成，成本高、周期長、見效慢，已經(jīng)成為AI普惠的障礙。

3、AI人才的短缺以及成本昂貴會(huì)阻礙企業(yè)采納人工智能以及它帶來的效益。

澎思的使命就是“AI即服務(wù)”，在澎思的AIoT的平臺，通過“AI服務(wù)+AI功能定制終端”的技術(shù)部署，形成一個(gè)閉環(huán)生態(tài)，從而解決這些痛點(diǎn)。

深度遷移學(xué)習(xí)：AI 大規(guī)模落地的希望

遷移學(xué)習(xí)并不是新的概念，在1995年NIPS的研討會(huì)上大家就討論過如何歸納系統(tǒng)的知識，整合并遷移到新的領(lǐng)域，在2016年的NIPS上，吳恩達(dá)教授在他的演講里面也強(qiáng)調(diào)了下一個(gè)深度學(xué)習(xí)重要方向應(yīng)該是遷移學(xué)習(xí)。

這是我們的遷移學(xué)習(xí)平臺，我們專注在某個(gè)任務(wù)上訓(xùn)練出一個(gè)很好的預(yù)訓(xùn)練模型，當(dāng)然數(shù)據(jù)量是一個(gè)很好的條件，我們可以進(jìn)行在線遷移學(xué)習(xí)、在線優(yōu)化，自動(dòng)下載到邊緣端。當(dāng)目標(biāo)域的數(shù)據(jù)出現(xiàn)各種各樣的情況時(shí)，我們會(huì)選擇不同的遷移算法。比如無監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)、小樣本學(xué)習(xí)，以及GAN的遷移，還有多任務(wù)的學(xué)習(xí)，以及原域到目標(biāo)域的映射，到新領(lǐng)域的一些遷移學(xué)習(xí)。

剛才提到一個(gè)很重要的遷移條件，預(yù)訓(xùn)練模型。如果有一個(gè)很好的預(yù)訓(xùn)練模型，任務(wù)就具備了很好的完成條件。ImageNet在計(jì)算機(jī)視覺領(lǐng)域在圖像分類/目標(biāo)檢測/分割中有著無法撼動(dòng)的地位，從李飛飛等人在CVPR2009發(fā)表的論文以來，很多人在ImageNet上訓(xùn)練出越來越好的模型，受惠于各行各業(yè)。比如從2012年開始的AlexNet，后來有VGGNet、GoogleNet、ResNet、DenseNet，ResNeXt，這些模型大家今天都還在用，我們在場景下可以進(jìn)行預(yù)訓(xùn)練的方式，在這個(gè)場景上應(yīng)用后，可以遷移到新的域。

這是一個(gè)應(yīng)用案例，比如在某個(gè)特定的場景下需要高性能無人看管包的檢測，通過預(yù)訓(xùn)練模型（人的檢測、包的檢測），應(yīng)用遷移學(xué)習(xí)的框架，使得在遷移學(xué)習(xí)框架上性能從30%達(dá)到98%以上，加上其他的算法，就可以做到高性能的無人看管包的檢測。

另一個(gè)例子是人臉識別，如果有一個(gè)很好的預(yù)訓(xùn)練模型，但訓(xùn)練數(shù)據(jù)里，只有很少的兒童人臉識別，或者不同膚色人臉的識別、暗光的識別，就可能存在性能下降，所以遷移學(xué)習(xí)可以在特定的情況下達(dá)到源域一樣的性能，并且在源域的場景下，性能不打折扣。

另一個(gè)研究熱點(diǎn)是行人再識別。人臉識別之后，人們想用行人再識別，從圖像和外貌上尋找并鑒別是否是同一個(gè)人，在應(yīng)用上我們叫跨相機(jī)場景下搜尋一個(gè)人。但是不像人臉和指紋，人體是非剛性的，受相機(jī)的角度、光線遮擋、分辨率變化，行人姿態(tài)/遮擋不同影響，它的因素是在變化的，到底人體的哪些特征是專屬一個(gè)特定人的，沒有一個(gè)確定的獨(dú)特性。行人圖像在監(jiān)控下千變?nèi)f化，使得這個(gè)課題在計(jì)算機(jī)領(lǐng)域還是極具挑戰(zhàn)，也是一個(gè)研究的熱點(diǎn)和難點(diǎn)。

2019年7月份，澎思科技在行人再識別三大主流的測試數(shù)據(jù)上得到了業(yè)內(nèi)最好的成績，刷新了世界紀(jì)錄，去年8月份我們又在基于視頻的行人再識別數(shù)據(jù)庫上再次取得了突破性的進(jìn)展，刷新了歷史紀(jì)錄。

這些都是同一個(gè)域、同一類數(shù)據(jù)集取得的成績。當(dāng)跨數(shù)據(jù)集或者跨域時(shí)會(huì)有什么問題？比如說在Duke上訓(xùn)練出的模型，你要運(yùn)用在Market-1501上，直接跨域，得到的數(shù)值是17.5mAP，如果進(jìn)行遷移學(xué)習(xí)，可以提升到54.1以上。今年6月份在一個(gè)ReID的比賽上，澎思科技通過遷移學(xué)習(xí)，在三個(gè)數(shù)據(jù)集上都取得了很好的成績，大幅提升了跨域ReID算法的準(zhǔn)確率。

本次比賽，澎思創(chuàng)新性地將對抗生成網(wǎng)絡(luò)與自監(jiān)督學(xué)習(xí)算法結(jié)合進(jìn)行模型訓(xùn)練，通過遷移學(xué)習(xí)，進(jìn)行高準(zhǔn)確率的跨場景（數(shù)據(jù)庫）行人再識別算法研發(fā)。

對抗生成網(wǎng)絡(luò)在算法中主要有兩個(gè)功能：

一方面，進(jìn)行數(shù)據(jù)庫的域遷移，具體為原域到目標(biāo)域的風(fēng)格遷移；另一方面，進(jìn)行目標(biāo)域數(shù)據(jù)庫的數(shù)據(jù)增強(qiáng)，具體為生成跨攝像頭數(shù)據(jù)并給模型賦予相機(jī)風(fēng)格不變的約束。自監(jiān)督學(xué)習(xí)則是通過聚類的方式給目標(biāo)域數(shù)據(jù)庫打虛擬標(biāo)簽并微調(diào)之前訓(xùn)練好的網(wǎng)絡(luò)。

澎思在今年6月舉辦的CVPR 2020的一個(gè)跨域小樣本挑戰(zhàn)賽上也拿到了很好的成績。

傳統(tǒng)的機(jī)器學(xué)習(xí)和現(xiàn)在的深度學(xué)習(xí)都依賴大量的標(biāo)注數(shù)據(jù)，并在監(jiān)督下訓(xùn)練出表現(xiàn)優(yōu)異以及具備較強(qiáng)泛化能力的模型。最大的痛點(diǎn)是數(shù)據(jù)標(biāo)注費(fèi)時(shí)費(fèi)力，訓(xùn)練數(shù)據(jù)對應(yīng)的場景和實(shí)際應(yīng)用的場景不一致，這成為人工智能落地和廣泛普及的一大障礙。在此背景下，遷移學(xué)習(xí)和小樣本學(xué)習(xí)成為近年來研究的前沿?zé)狳c(diǎn)。

這個(gè)小樣本挑戰(zhàn)賽設(shè)計(jì)的前提是，目標(biāo)域條件是樣本無法標(biāo)注，且只有少量的樣本（5、20或50個(gè)樣本），目標(biāo)域常與原域不同，而且標(biāo)注數(shù)據(jù)非常耗時(shí)費(fèi)力，尤其是一些醫(yī)學(xué)圖像，需要醫(yī)生專家的監(jiān)督下來標(biāo)注。在此情況下，他們設(shè)計(jì)的原域是自然圖像，怎么樣通過遷移學(xué)習(xí)和小樣本學(xué)習(xí)方式，讓它能夠在4個(gè)不同的域上，比如說農(nóng)作物的疾病、衛(wèi)星圖像和皮膚病變，以及胸部X光上達(dá)到很好的性能。

這是我們的成績，可以看到在農(nóng)作物疾病上，在僅有5個(gè)樣本的情況下，遷移達(dá)到了96%的性能，隨著樣本的增加，到20、50個(gè)樣本時(shí)，可以達(dá)到接近99%的精度。隨著跨域越來越大，性能會(huì)下降，當(dāng)樣本越來越多，性能也會(huì)相應(yīng)的提高。平均的情況下，我們比Benchmark的67%多了7%，我們的結(jié)論是73.78%。在這個(gè)比賽中，我們用了一個(gè)框架叫元遷移學(xué)習(xí)+圖網(wǎng)絡(luò)，可以用在各種前端網(wǎng)絡(luò)。

 

多任務(wù)學(xué)習(xí)，在人臉屬性上，先在已有的源數(shù)據(jù)集（多種屬性）訓(xùn)練一個(gè)對人臉屬性有好的表征性的模型，由于在我們要求的目標(biāo)域的任務(wù)上，這個(gè)模型的數(shù)據(jù)沒那么多，但是我們利用了這個(gè)預(yù)訓(xùn)練模型的泛化性，在目標(biāo)域的多個(gè)任務(wù)上進(jìn)行了優(yōu)化，使得它能夠達(dá)到多個(gè)任務(wù)高性能的指標(biāo)。

另外一個(gè)例子是在各種各樣的攝像頭角度下異常行為的檢測，比如說打架，各種各樣角度的打架，不同的表現(xiàn)方式、不同的光線，怎么樣訓(xùn)練出來一個(gè)好的模型，使它能夠在不同的目標(biāo)域上進(jìn)行快速地遷移。

前沿算法研究以實(shí)現(xiàn)AI快速落地

通用智能是下一代AI發(fā)展的必然趨勢，代表智能革命的未來。所以澎思會(huì)在遷移學(xué)習(xí)、無監(jiān)督、自監(jiān)督學(xué)習(xí)、小樣本學(xué)習(xí)、多模態(tài)學(xué)習(xí)這幾個(gè)真正反映AI落地實(shí)際情況的領(lǐng)域中落地生根。

我們的核心算法方向就是基于應(yīng)用場景開發(fā)一站式服務(wù)，從場景的理解到解決方案，利用我們的算法池和工具箱，與前端設(shè)備、數(shù)據(jù)庫來進(jìn)行端側(cè)和上云管理的優(yōu)化，以及云計(jì)算的Cluster，讓我們無論是在云端算法還是邊緣端的算法，都有很好的一站式服務(wù)。

澎思的目標(biāo)是在算法技術(shù)上走在國際計(jì)算機(jī)視覺的前沿，基于AI落地為主的前沿技術(shù)開發(fā)，建設(shè)云端AI在線遷移學(xué)習(xí)平臺，加強(qiáng)端側(cè)AI輕量化的設(shè)計(jì)體系，推動(dòng)以用戶價(jià)值為導(dǎo)向的To B/To C產(chǎn)品創(chuàng)新。

最后展望一下遷移學(xué)習(xí)在視覺智能當(dāng)中的應(yīng)用需求。計(jì)算機(jī)視覺領(lǐng)域的預(yù)訓(xùn)練模型目前還是不夠泛化、不夠魯棒，拿行人再識別做例子，在現(xiàn)有的數(shù)據(jù)上都無法在跨域當(dāng)中提高到可用的性能。在現(xiàn)實(shí)的應(yīng)用場景下，ReID的標(biāo)注也是非常費(fèi)力、耗時(shí)的，希望能夠在無標(biāo)簽、少標(biāo)簽的情況下，遷移學(xué)習(xí)能夠大幅度的提高。另外一個(gè)跨域場景的人的行為檢測，可以看到很多現(xiàn)實(shí)問題還待解決，希望遷移學(xué)習(xí)能夠在接下來AI落地和惠普進(jìn)程中有更多突破。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。