3月23日，由雷鋒網(wǎng) & AI掘金志主辦的「第二屆中國人工智能安防峰會」在杭州召開。

峰會現(xiàn)場，松下（新加坡）研究院原副院長、澎思科技首席科學(xué)家申省梅發(fā)表演講《視頻監(jiān)控場景下無約束人臉識別與圖像增強(qiáng)》。

申省梅表示，動態(tài)視頻監(jiān)控場景下，人臉識別的最大技術(shù)挑戰(zhàn)之一便是無約束人臉識別，如何通過算法實(shí)現(xiàn)復(fù)雜場景下的精準(zhǔn)識別，是安防企業(yè)現(xiàn)階段急需攻克的重要算法難題。

為此，申省梅在演講中，針對復(fù)雜環(huán)境下的細(xì)分人臉識別問題，分別講述了遷移學(xué)習(xí)、異構(gòu)多模型融合、雙代理對抗生成網(wǎng)絡(luò)生成多面部姿態(tài)數(shù)據(jù)和圖像增強(qiáng)（去除運(yùn)動模糊、低光圖像增加、去噪、超分別率、去抖動-去霧-去雨-去雪）等算法方法，是如何實(shí)現(xiàn)高精度無約束人臉識別的。

她說到，“AI在無約束人臉識別以及圖像增強(qiáng)的算法和產(chǎn)品，接下來三年會有更大突破。澎思新加坡研究院將聚焦在安防垂直領(lǐng)域的技術(shù)研發(fā)和前沿科技探索上?！?/p>

截至目前，申省梅團(tuán)隊(duì)的研發(fā)成果已獲得多項(xiàng)國際比賽冠軍并在各種產(chǎn)品中得到廣泛應(yīng)用，包括十余項(xiàng)計(jì)算機(jī)視覺領(lǐng)域國際頂級競賽冠軍和300多項(xiàng)專利。

2019年3月，申省梅宣布加入AI安防公司澎思科技，任首席科學(xué)家、新加坡研究院院長，致力于監(jiān)控與安全、智慧城市、自動駕駛、智能機(jī)器人以及AI工廠自動化等領(lǐng)域的相關(guān)技術(shù)研究。

自成立以來，澎思科技各行業(yè)解決方案已經(jīng)成功落地全國50多個(gè)城市，服務(wù)客戶超過百余個(gè)。在全國多地部署動態(tài)人臉識別點(diǎn)位，累計(jì)抓獲在逃人員近兩千名，并擔(dān)任多項(xiàng)國家級大型活動的安保工作。

以下為申省梅的現(xiàn)場演講內(nèi)容，雷鋒網(wǎng)作了不改變原意的編輯及整理：

各位來賓下午好！ 我是澎思科技的申省梅，感謝雷鋒網(wǎng)給我們提供的平臺，讓我們從不同的角度、不同的公司來分享自己的觀點(diǎn)。今天我想分享的一個(gè)主題是“視頻監(jiān)控場景下無約束人臉識別與圖像增強(qiáng)”。

我是西安電子科技大學(xué)電子工程系碩士畢業(yè)。在那個(gè)年代，我已經(jīng)用模糊系統(tǒng)來搭建人工智能的智能駕駛。當(dāng)時(shí)也做了一個(gè)課題，用人工智能來設(shè)計(jì)算法，在醫(yī)學(xué)心電圖輔助診斷等領(lǐng)域進(jìn)行研究。

1992年我加入新加坡松下研究所，從事音視頻壓縮、圖像處理還有圖像增強(qiáng)等工作。后來我們專注于圖像識別領(lǐng)域的研究工作，因此又做了很多傳統(tǒng)的機(jī)器學(xué)習(xí)。在2009年到2012年期間，3D非?；穑井a(chǎn)品部門要求我們做3D，怎么從2D變3D？我們在短短一年半內(nèi)，從零開始將所有3D技術(shù)提供給了公司的業(yè)務(wù)部門。

剛才很多人講到2012年是人工智能非常重要的節(jié)點(diǎn)，為什么呢？大家看到，用傳統(tǒng)的機(jī)器學(xué)習(xí)方法去提升1%的識別準(zhǔn)確率非常困難。而在那年的ImageNet比賽里，我們卻看到一次性完成10%的提升。

當(dāng)時(shí)這件事對我們研究人有著很大的震撼，所以我們很快用深度學(xué)習(xí)代替機(jī)器學(xué)習(xí)，提升的效果也同樣達(dá)到了10%?；趯η把厮惴萍嫉拿舾行裕覀凂R上帶領(lǐng)團(tuán)隊(duì)進(jìn)入深度學(xué)習(xí)的領(lǐng)域。短短幾年內(nèi)，我們對全部傳統(tǒng)的機(jī)器學(xué)習(xí)進(jìn)行改造，對算法、技術(shù)、產(chǎn)品進(jìn)行更新?lián)Q代，也走在了世界前沿。

你說你的技術(shù)好，怎么叫好呢？其中一種方式，便是參加國際頂級競賽，于是我們參加了十幾項(xiàng)世界級大賽，都拿了冠軍。

今年我加入了一家非常有潛力的AI初創(chuàng)企業(yè)澎思科技，擔(dān)任首席科學(xué)家、新加坡研究院院長，這也是一個(gè)非常好的空間，讓我能夠發(fā)揮更大的作用，在新的平臺上能夠再創(chuàng)佳績。

我們參加多項(xiàng)國際比賽，在人臉識別上拿了兩個(gè)賽事的雙項(xiàng)冠軍。還有目標(biāo)跟蹤、行人檢測、行人再識別，目標(biāo)檢測、圖像分割、圖像分類，交通異常檢測、自動駕駛，智能機(jī)器人，我們都取得了不錯(cuò)的成績。

可能你們會說，為什么跨度這么大。其實(shí)我們團(tuán)隊(duì)不僅僅是搞機(jī)器學(xué)習(xí)的，我們長期積累了很重要的知識，像幾何我們一定要結(jié)合使用。所以我們的技術(shù)是全棧技術(shù)，從機(jī)器識別、深度學(xué)習(xí)到圖像處理，到三維重建、幾何。

High-Energy團(tuán)隊(duì)帶著對最前沿算法和技術(shù)創(chuàng)新的敏感度，以及商業(yè)意識和產(chǎn)品思維，在大公司做了這么多年，一直在追求系統(tǒng)性管理和卓越團(tuán)隊(duì)的建設(shè)。我們建了一個(gè)非常有活力的明星團(tuán)隊(duì)，也為組建這樣的卓越團(tuán)隊(duì)感到自豪。

加入澎思科技，我覺得有一個(gè)很大的空間給我發(fā)揮，我會做得更好。

我們講到安防系統(tǒng)。澎思科技也是立足于軟件、硬件，端到端，我們的人工智能不僅僅用到終端圖像識別，也會用在前端包括拍攝端、圖像處理、SoC，做到全部垂直領(lǐng)域的應(yīng)用開發(fā)。

談到監(jiān)控視頻結(jié)構(gòu)化。我們用到各種各樣的算法，場景一變，算法可能就不一樣了。我覺得不用擔(dān)心，因?yàn)槲覀兊膱F(tuán)隊(duì)就是有全棧技術(shù)的。有人稱我們團(tuán)隊(duì)是算法魔術(shù)師，場景需要什么，我就提供什么。在這個(gè)過程中，人臉識別還是起著非常重要的作用。

剛才講到的系統(tǒng)三大部分，智能傳感-拍攝端、AI圖像增強(qiáng)SoC、AI圖像識別，包括場景、事件、大數(shù)據(jù)的分析終端。我們這樣做，為安防產(chǎn)品的增值，為澎思中期和未來安防產(chǎn)品形成全面和垂直的落地打下基礎(chǔ)。

我想用這個(gè)表來做一個(gè)總結(jié)。

澎思核心算法分為三類：

前沿算法細(xì)分上，第一個(gè)是圖像識別方面，我們可以看到很多的算法。

在人臉檢測方面、對準(zhǔn)、識別到一人一檔、FaceID，以后走到哪里，你的臉就是你的ID；面部屬性檢測包括性別、年齡、人種、美顏、表情、狀態(tài)、性格等；人體檢測包括姿態(tài)、姿勢、穿著、描述、跟蹤、跨境識別/ReID，人的行為檢測包括特定行為判斷和預(yù)測等等。

在安防行業(yè)，很多危險(xiǎn)行為的判斷預(yù)測也很重要。一個(gè)車發(fā)生事故后逃逸，我們只要調(diào)動就近的相機(jī)就很快抓到這輛車，這對智能交通的管理非常重要。還有其他物體的識別追蹤等等，還有語義的理解。

在圖像增強(qiáng)方面，有去噪聲、去模糊、去抖動、超分辨率，抗反光/抗逆光，還有去霧、去雨、去雪等等。在圖像抓拍方面，有新的傳感器的出現(xiàn)，比如AI-on-Sensor、AI圖像質(zhì)量評價(jià)以及AI的在控捕捉等等。

現(xiàn)在我們談一下人臉識別的過去、今天以及面臨的挑戰(zhàn)。

人臉識別不是一個(gè)很新的課題，20多年前人臉識別就已經(jīng)在某些產(chǎn)品里得到應(yīng)用，用的是過去的機(jī)器學(xué)習(xí)。那個(gè)時(shí)候公開的數(shù)據(jù)集基本上都是限制性的人臉，都是近距離或者是光線受到控制的圖像。今天我們看到動態(tài)監(jiān)控相機(jī)下捕捉的人臉，這個(gè)跨度非常大，行人是多姿態(tài)的，并且質(zhì)量沒辦法控制，尤其是光線，會對識別造成很大的影響。

大家注意到，訓(xùn)練數(shù)據(jù)級也變化了，從小數(shù)據(jù)到公開大數(shù)據(jù)、超級大數(shù)據(jù)，過去比賽的測試數(shù)據(jù)都是比對正臉的，即使今天的比賽也如此，一直到最近IJB-C出現(xiàn)多姿態(tài)側(cè)臉的競賽。

但這也不是真正代表安防場景下動態(tài)監(jiān)控視頻下的數(shù)據(jù)。

如果我們談到人臉識別的迭代變化，2012年是一個(gè)分界點(diǎn)。在這之前，算法用的都是傳統(tǒng)的手工特征，過去傳統(tǒng)的機(jī)器學(xué)習(xí)，我們只能用這些。但是即使在正向的人臉識別里，比如LFW，都達(dá)不到90%。

今天的深度學(xué)習(xí)，一個(gè)小模型都可以拿到99%，所以這是兩個(gè)完全不一樣的概念。

2013年到2016年，我們看到特征的變化，以及有LFW數(shù)據(jù)庫的出現(xiàn)，超級大數(shù)據(jù)以及光線不均勻多姿態(tài)的動態(tài)測試集，帶動了新算法出現(xiàn)。我們也希望看到安防動態(tài)監(jiān)視視頻下真正的數(shù)據(jù)集，能夠開放給大家比賽。

當(dāng)然二維、三維人臉特征的識別和提取，以及人臉的防偽，都對將來FaceID這種功能提出要求。

大家知道無約束人臉的識別，面部姿態(tài)變化巨大，有很多遮擋、光線不均勻的情況，表情、像素也不一樣。從很遠(yuǎn)的地方拉近后，失真嚴(yán)重。而且還有靜態(tài)、動態(tài)等情況。

上圖是Nist IJB-A比賽的圖像，不同的角度、不同的光線，遮擋、戴眼鏡，有些字擋住嘴巴，還有不同像素相機(jī)拍攝的圖片。我們2017年3月團(tuán)隊(duì)代表松下參加比賽，拿到冠軍獎項(xiàng)。同年5月，松下也發(fā)表了這個(gè)成果。

這個(gè)挑戰(zhàn)賽也明確顯示了我們的算法在模板比賽下能做出很好的成績。

下圖是算法的總結(jié)，我們用了遷移算法，也用了異構(gòu)多模型的融合，和大家知道的雙代理對抗生成網(wǎng)絡(luò)。當(dāng)然在此當(dāng)中，數(shù)據(jù)怎么樣清理、預(yù)處理，也起著重要的作用。

這是我們比賽的Leaderboard，紅色框里面是我們的成績。

你可以看到傳統(tǒng)的人臉識別算法，以前可能還是第一名、第二名。但是在IJB-A無約束人臉測試集下面，它們的識別率僅僅是20%、50%、60%，這個(gè)變化是非常大的，技術(shù)在不斷發(fā)展，性能在不斷提高，我們拿到了98%。

從這個(gè)圖里也可以看到，越小的error越好。盡管那個(gè)時(shí)候傳統(tǒng)的算法都是名列前茅，比如在身份證上和護(hù)照測試級上，但是要在一個(gè)多姿態(tài)、不同光線的人臉測試集下，傳統(tǒng)算法的性能可能會下降很大。

再談一下大數(shù)據(jù)人臉識別。2017年7月，微軟組織的一個(gè)百萬名人識別大挑戰(zhàn)。7月份公布，我們的成績又拿到雙項(xiàng)冠軍。

在2018年2月份，松下已經(jīng)把這項(xiàng)成果應(yīng)用到產(chǎn)品里，并且在東京召開發(fā)布會。從下圖中可以看到，我們這種跨年齡、跨姿態(tài)以及有遮擋的情況都能檢測出來。而且松下的產(chǎn)品不光是人臉識別算法，在攝像頭、圖像增強(qiáng)方面還可以減低很多傳輸帶寬。也許大家知道，松下的安防產(chǎn)品在日本是第一。

剛才談到測試數(shù)據(jù)集，比如現(xiàn)在的LFW在2012年就出現(xiàn)，現(xiàn)在已經(jīng)飽和了。到今天的MegaFace、微軟以及IJB-A/B/C。所有的數(shù)據(jù)還是一個(gè)特點(diǎn)，都是基于網(wǎng)上收集的數(shù)據(jù)，不是動態(tài)監(jiān)控下采集的數(shù)據(jù)。所以希望有一天很快到來，我們可以測試這樣的數(shù)據(jù)。

剛才講到GAN的應(yīng)用，我分享一下這篇文章。

IJB中的多姿態(tài)識別，問題在于我們訓(xùn)練數(shù)據(jù)集很難拿到很平衡的數(shù)據(jù)。上圖左邊是告訴大家，這個(gè)訓(xùn)練集里面，左右角度的數(shù)據(jù)很多，但是角度偏一些數(shù)據(jù)就減少很大。我們用了這個(gè)GAN，右邊就產(chǎn)生了較多在側(cè)角度的數(shù)據(jù)。

我們也做了性能比較，大家可以看下我們自己做的b1、b2、DA-GAN的結(jié)果。b1是說我們不加任何多余的訓(xùn)練數(shù)據(jù)。b2是我們用之前的訓(xùn)練模型加額外的3D人臉合成訓(xùn)練數(shù)據(jù)。最后一個(gè)是我們用自己的DA-GAN來產(chǎn)生的一些平衡數(shù)據(jù)。我們的GAN相比之下帶來明顯的性能增加。所以我們GAN的工作也在NIPS-IJCAI-AAAI等學(xué)術(shù)會議上發(fā)表，也用GAN來生成不同年齡的人臉。

剛才講到動態(tài)監(jiān)控條件下捕捉的人臉，我們除了在人臉識別性能上提高外，我們也考慮別的方式。比如說在源端著手捕捉到更好的圖像，還有圖像增強(qiáng)的方法，我會在AI圖像增強(qiáng)、SoC方面做一些分享。

第一個(gè)分享的是去除運(yùn)動模糊的問題。大家都知道，左邊的圖像我們常?？床坏郊?xì)節(jié)。大家說都用HDR來恢復(fù)圖像的細(xì)節(jié)，這個(gè)方法是長短曝光多次，合成光線均勻的寬動態(tài)范圍圖像。有個(gè)問題是什么呢？在場景當(dāng)中有運(yùn)動的物體出現(xiàn)，就沒辦法做到所謂的普通HDR圖像，會很模糊。但是下面這張用我們的算法運(yùn)動補(bǔ)賞，可以很清晰地看到圖像的細(xì)節(jié)。我們拿到了最佳的Paper，也用在了公司的產(chǎn)品上面。

第二個(gè)是關(guān)于低光圖像增強(qiáng)方法，可以看到上面有兩組圖像。左邊黑漆漆的，但是用了圖像增強(qiáng)方法，就可以看到細(xì)節(jié)。尤其是對人臉來說，右邊的人臉就可以識別出來。傳統(tǒng)的圖像增強(qiáng)方法都有一些限制，今天人們結(jié)合深度學(xué)習(xí)可以做到更高的保真度。

去噪聲的方法，大家都知道BN3D是很出名的去噪聲方法，但是它總是根據(jù)相機(jī)的強(qiáng)度而做的，很難做好。我們這篇文章也獲得最佳論文，我們用了深度卷積CNN加了LSTM，能夠追蹤到噪聲的相關(guān)性，主觀和客觀質(zhì)量結(jié)構(gòu)表明，這種方法可以獲得很好的圖像質(zhì)量。

下面來談一下超分辨率，超分辨率不是一個(gè)很新的課題，已經(jīng)很多年了，大家都是用過去傳統(tǒng)的方法實(shí)現(xiàn)，也包括一些監(jiān)督的和非監(jiān)督的方法，這些方法很多。

我們要關(guān)心的是什么呢？我們關(guān)心的是你怎么評價(jià)它，你的評價(jià)標(biāo)準(zhǔn)是什么，跟你的應(yīng)用有關(guān)系。我們說，人工智能要跟場景有關(guān)。我們比較重視的是人臉，你對人臉的識別保真度如何，這個(gè)對我們來講是非常重要的。

我舉這個(gè)例子，上圖左邊這個(gè)Low Resolution圖像，是從很遠(yuǎn)的地方拍到的人，你非常想知道這個(gè)人是誰，拉近的時(shí)候就會出現(xiàn)失真。當(dāng)我們用了不同的超分辨率的以后，就會看到有各種各樣的表現(xiàn)。黃色的兩幅圖，對于人眼來說差不多。但是在恢復(fù)人臉I(yè)D的保真度上有很大的不同。我們評價(jià)的準(zhǔn)則是什么？給大家看一下這個(gè)表，最終告訴我們，用深度學(xué)習(xí)給超分辨率帶來的好處是，你輸入的圖象尺寸是12×14pixel，跟你輸入圖像22×24pixel，得到的精確度基本上是接近的。

另外，有人利用臉部屬性，也就是局部區(qū)域來增加恢復(fù)高分辨率面部圖像的真實(shí)度。

去抖動、去霧、去雨、去雪的這些方法，這些對安防產(chǎn)品非常有用。

我講了很多前沿算法。在不同場景下的應(yīng)用，澎思科技專注于計(jì)算機(jī)視覺和物聯(lián)網(wǎng)技術(shù)，提供各種各樣場景下垂直行業(yè)的解決方案。所以我們?nèi)珬５倪w延算法是很好的配合，可以讓公司做得更快更大。

澎思科技的核心實(shí)力在于全自研、全棧計(jì)算機(jī)視覺技術(shù)。不光是學(xué)習(xí)，我們有計(jì)算機(jī)的幾何、三維重建方面的技術(shù)。全系列的軟硬件產(chǎn)品、全場景的解決方案以及全方位的服務(wù)能力。

這是我們軟硬件的產(chǎn)品，包括智慧社區(qū)的管理平臺、智能人像大數(shù)據(jù)的情報(bào)平臺和智慧警務(wù)大數(shù)據(jù)平臺，和各種各樣的硬件終端產(chǎn)品。我們在公安、智慧園區(qū)、智慧社區(qū)、智能制造、智能交通等行業(yè)都有應(yīng)用。從成立以來，澎思科技已經(jīng)成功落地在50多個(gè)城市。

總結(jié)一下，在安防實(shí)戰(zhàn)場景下，動態(tài)視頻監(jiān)視技術(shù)仍然面臨很大的挑戰(zhàn)。接下來三年，AI在無約束人臉識別以及圖象增強(qiáng)的算法和產(chǎn)品，會有更大的突破。

澎思新加坡研究院，專注于垂直領(lǐng)域技術(shù)的研發(fā)以及前沿科技探索儲備，像剛才有人講的算法孵化器，一個(gè)是場景算法，一個(gè)是算法孵化器，使得我們公司能夠很快地拓展業(yè)務(wù)。謝謝大家！

關(guān)于中國人工智能安防峰會

由雷鋒網(wǎng) & AI掘金志主辦的「2019中國人工智能安防峰會」，是業(yè)內(nèi)極具影響力的AI安防論壇，致力于推動中國“AI-安防”落地融合與“學(xué)術(shù)-產(chǎn)業(yè)”的應(yīng)用交叉。

延續(xù)上一屆峰會的高水準(zhǔn)、高人氣，2019中國人工智能安防峰會再度站在算法、工程和產(chǎn)品的最前沿，引導(dǎo)安防行業(yè)認(rèn)知再升級。這是?？?、大華、華為、阿里、騰訊以及多個(gè)AI獨(dú)角獸，因“AI安防”首次同臺，峰會現(xiàn)場也聚集了海內(nèi)外1000多位政企管理層和技術(shù)研究員，共同探討2019年的AI安防智能技術(shù)部署、前沿算法應(yīng)用與商業(yè)戰(zhàn)略布局。

本次峰會共設(shè)置“城市大腦與邊緣計(jì)算”、“全球頂尖算法應(yīng)用”、“前端動態(tài)識別與智能視頻云”、“城市AIoT與邊緣智能引擎”四大議題，出席的15位演講嘉賓分別是：

上午場：阿里巴巴華先勝、?？低暺质懒痢⒋笕A股份殷俊、地平線張永謙、深瞐科技陳瑞軍、商湯科技張果琲、浪潮商用機(jī)器張琪。

下午場：香港科技大學(xué)權(quán)龍、原松下（新加坡）研究院申省梅、華為余虎、觸景無限肖洪波、曠視科技安洋、千視通胡大鵬、騰訊李牧青、中科院自動化所王金橋。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。