3月23日，由雷鋒網 & AI掘金志主辦的「第二屆中國人工智能安防峰會」在杭州召開。

峰會現(xiàn)場，松下（新加坡）研究院原副院長、澎思科技首席科學家申省梅發(fā)表演講《視頻監(jiān)控場景下無約束人臉識別與圖像增強》。

申省梅表示，動態(tài)視頻監(jiān)控場景下，人臉識別的最大技術挑戰(zhàn)之一便是無約束人臉識別，如何通過算法實現(xiàn)復雜場景下的精準識別，是安防企業(yè)現(xiàn)階段急需攻克的重要算法難題。

為此，申省梅在演講中，針對復雜環(huán)境下的細分人臉識別問題，分別講述了遷移學習、異構多模型融合、雙代理對抗生成網絡生成多面部姿態(tài)數(shù)據(jù)和圖像增強（去除運動模糊、低光圖像增加、去噪、超分別率、去抖動-去霧-去雨-去雪）等算法方法，是如何實現(xiàn)高精度無約束人臉識別的。

她說到，“AI在無約束人臉識別以及圖像增強的算法和產品，接下來三年會有更大突破。澎思新加坡研究院將聚焦在安防垂直領域的技術研發(fā)和前沿科技探索上?！?/p>

截至目前，申省梅團隊的研發(fā)成果已獲得多項國際比賽冠軍并在各種產品中得到廣泛應用，包括十余項計算機視覺領域國際頂級競賽冠軍和300多項專利。

2019年3月，申省梅宣布加入AI安防公司澎思科技，任首席科學家、新加坡研究院院長，致力于監(jiān)控與安全、智慧城市、自動駕駛、智能機器人以及AI工廠自動化等領域的相關技術研究。

自成立以來，澎思科技各行業(yè)解決方案已經成功落地全國50多個城市，服務客戶超過百余個。在全國多地部署動態(tài)人臉識別點位，累計抓獲在逃人員近兩千名，并擔任多項國家級大型活動的安保工作。

以下為申省梅的現(xiàn)場演講內容，雷鋒網作了不改變原意的編輯及整理：

各位來賓下午好！ 我是澎思科技的申省梅，感謝雷鋒網給我們提供的平臺，讓我們從不同的角度、不同的公司來分享自己的觀點。今天我想分享的一個主題是“視頻監(jiān)控場景下無約束人臉識別與圖像增強”。

我是西安電子科技大學電子工程系碩士畢業(yè)。在那個年代，我已經用模糊系統(tǒng)來搭建人工智能的智能駕駛。當時也做了一個課題，用人工智能來設計算法，在醫(yī)學心電圖輔助診斷等領域進行研究。

1992年我加入新加坡松下研究所，從事音視頻壓縮、圖像處理還有圖像增強等工作。后來我們專注于圖像識別領域的研究工作，因此又做了很多傳統(tǒng)的機器學習。在2009年到2012年期間，3D非?；?，公司產品部門要求我們做3D，怎么從2D變3D？我們在短短一年半內，從零開始將所有3D技術提供給了公司的業(yè)務部門。

剛才很多人講到2012年是人工智能非常重要的節(jié)點，為什么呢？大家看到，用傳統(tǒng)的機器學習方法去提升1%的識別準確率非常困難。而在那年的ImageNet比賽里，我們卻看到一次性完成10%的提升。

當時這件事對我們研究人有著很大的震撼，所以我們很快用深度學習代替機器學習，提升的效果也同樣達到了10%。基于對前沿算法科技的敏感性，我們馬上帶領團隊進入深度學習的領域。短短幾年內，我們對全部傳統(tǒng)的機器學習進行改造，對算法、技術、產品進行更新?lián)Q代，也走在了世界前沿。

你說你的技術好，怎么叫好呢？其中一種方式，便是參加國際頂級競賽，于是我們參加了十幾項世界級大賽，都拿了冠軍。

今年我加入了一家非常有潛力的AI初創(chuàng)企業(yè)澎思科技，擔任首席科學家、新加坡研究院院長，這也是一個非常好的空間，讓我能夠發(fā)揮更大的作用，在新的平臺上能夠再創(chuàng)佳績。

我們參加多項國際比賽，在人臉識別上拿了兩個賽事的雙項冠軍。還有目標跟蹤、行人檢測、行人再識別，目標檢測、圖像分割、圖像分類，交通異常檢測、自動駕駛，智能機器人，我們都取得了不錯的成績。

可能你們會說，為什么跨度這么大。其實我們團隊不僅僅是搞機器學習的，我們長期積累了很重要的知識，像幾何我們一定要結合使用。所以我們的技術是全棧技術，從機器識別、深度學習到圖像處理，到三維重建、幾何。

High-Energy團隊帶著對最前沿算法和技術創(chuàng)新的敏感度，以及商業(yè)意識和產品思維，在大公司做了這么多年，一直在追求系統(tǒng)性管理和卓越團隊的建設。我們建了一個非常有活力的明星團隊，也為組建這樣的卓越團隊感到自豪。

加入澎思科技，我覺得有一個很大的空間給我發(fā)揮，我會做得更好。

我們講到安防系統(tǒng)。澎思科技也是立足于軟件、硬件，端到端，我們的人工智能不僅僅用到終端圖像識別，也會用在前端包括拍攝端、圖像處理、SoC，做到全部垂直領域的應用開發(fā)。

談到監(jiān)控視頻結構化。我們用到各種各樣的算法，場景一變，算法可能就不一樣了。我覺得不用擔心，因為我們的團隊就是有全棧技術的。有人稱我們團隊是算法魔術師，場景需要什么，我就提供什么。在這個過程中，人臉識別還是起著非常重要的作用。

剛才講到的系統(tǒng)三大部分，智能傳感-拍攝端、AI圖像增強SoC、AI圖像識別，包括場景、事件、大數(shù)據(jù)的分析終端。我們這樣做，為安防產品的增值，為澎思中期和未來安防產品形成全面和垂直的落地打下基礎。

我想用這個表來做一個總結。

澎思核心算法分為三類：

前沿算法細分上，第一個是圖像識別方面，我們可以看到很多的算法。

在人臉檢測方面、對準、識別到一人一檔、FaceID，以后走到哪里，你的臉就是你的ID；面部屬性檢測包括性別、年齡、人種、美顏、表情、狀態(tài)、性格等；人體檢測包括姿態(tài)、姿勢、穿著、描述、跟蹤、跨境識別/ReID，人的行為檢測包括特定行為判斷和預測等等。

在安防行業(yè)，很多危險行為的判斷預測也很重要。一個車發(fā)生事故后逃逸，我們只要調動就近的相機就很快抓到這輛車，這對智能交通的管理非常重要。還有其他物體的識別追蹤等等，還有語義的理解。

在圖像增強方面，有去噪聲、去模糊、去抖動、超分辨率，抗反光/抗逆光，還有去霧、去雨、去雪等等。在圖像抓拍方面，有新的傳感器的出現(xiàn)，比如AI-on-Sensor、AI圖像質量評價以及AI的在控捕捉等等。

現(xiàn)在我們談一下人臉識別的過去、今天以及面臨的挑戰(zhàn)。

人臉識別不是一個很新的課題，20多年前人臉識別就已經在某些產品里得到應用，用的是過去的機器學習。那個時候公開的數(shù)據(jù)集基本上都是限制性的人臉，都是近距離或者是光線受到控制的圖像。今天我們看到動態(tài)監(jiān)控相機下捕捉的人臉，這個跨度非常大，行人是多姿態(tài)的，并且質量沒辦法控制，尤其是光線，會對識別造成很大的影響。

大家注意到，訓練數(shù)據(jù)級也變化了，從小數(shù)據(jù)到公開大數(shù)據(jù)、超級大數(shù)據(jù)，過去比賽的測試數(shù)據(jù)都是比對正臉的，即使今天的比賽也如此，一直到最近IJB-C出現(xiàn)多姿態(tài)側臉的競賽。

但這也不是真正代表安防場景下動態(tài)監(jiān)控視頻下的數(shù)據(jù)。

如果我們談到人臉識別的迭代變化，2012年是一個分界點。在這之前，算法用的都是傳統(tǒng)的手工特征，過去傳統(tǒng)的機器學習，我們只能用這些。但是即使在正向的人臉識別里，比如LFW，都達不到90%。

今天的深度學習，一個小模型都可以拿到99%，所以這是兩個完全不一樣的概念。

2013年到2016年，我們看到特征的變化，以及有LFW數(shù)據(jù)庫的出現(xiàn)，超級大數(shù)據(jù)以及光線不均勻多姿態(tài)的動態(tài)測試集，帶動了新算法出現(xiàn)。我們也希望看到安防動態(tài)監(jiān)視視頻下真正的數(shù)據(jù)集，能夠開放給大家比賽。

當然二維、三維人臉特征的識別和提取，以及人臉的防偽，都對將來FaceID這種功能提出要求。

大家知道無約束人臉的識別，面部姿態(tài)變化巨大，有很多遮擋、光線不均勻的情況，表情、像素也不一樣。從很遠的地方拉近后，失真嚴重。而且還有靜態(tài)、動態(tài)等情況。

上圖是Nist IJB-A比賽的圖像，不同的角度、不同的光線，遮擋、戴眼鏡，有些字擋住嘴巴，還有不同像素相機拍攝的圖片。我們2017年3月團隊代表松下參加比賽，拿到冠軍獎項。同年5月，松下也發(fā)表了這個成果。

這個挑戰(zhàn)賽也明確顯示了我們的算法在模板比賽下能做出很好的成績。

下圖是算法的總結，我們用了遷移算法，也用了異構多模型的融合，和大家知道的雙代理對抗生成網絡。當然在此當中，數(shù)據(jù)怎么樣清理、預處理，也起著重要的作用。

這是我們比賽的Leaderboard，紅色框里面是我們的成績。

你可以看到傳統(tǒng)的人臉識別算法，以前可能還是第一名、第二名。但是在IJB-A無約束人臉測試集下面，它們的識別率僅僅是20%、50%、60%，這個變化是非常大的，技術在不斷發(fā)展，性能在不斷提高，我們拿到了98%。

從這個圖里也可以看到，越小的error越好。盡管那個時候傳統(tǒng)的算法都是名列前茅，比如在身份證上和護照測試級上，但是要在一個多姿態(tài)、不同光線的人臉測試集下，傳統(tǒng)算法的性能可能會下降很大。

再談一下大數(shù)據(jù)人臉識別。2017年7月，微軟組織的一個百萬名人識別大挑戰(zhàn)。7月份公布，我們的成績又拿到雙項冠軍。

在2018年2月份，松下已經把這項成果應用到產品里，并且在東京召開發(fā)布會。從下圖中可以看到，我們這種跨年齡、跨姿態(tài)以及有遮擋的情況都能檢測出來。而且松下的產品不光是人臉識別算法，在攝像頭、圖像增強方面還可以減低很多傳輸帶寬。也許大家知道，松下的安防產品在日本是第一。

剛才談到測試數(shù)據(jù)集，比如現(xiàn)在的LFW在2012年就出現(xiàn)，現(xiàn)在已經飽和了。到今天的MegaFace、微軟以及IJB-A/B/C。所有的數(shù)據(jù)還是一個特點，都是基于網上收集的數(shù)據(jù)，不是動態(tài)監(jiān)控下采集的數(shù)據(jù)。所以希望有一天很快到來，我們可以測試這樣的數(shù)據(jù)。

剛才講到GAN的應用，我分享一下這篇文章。

IJB中的多姿態(tài)識別，問題在于我們訓練數(shù)據(jù)集很難拿到很平衡的數(shù)據(jù)。上圖左邊是告訴大家，這個訓練集里面，左右角度的數(shù)據(jù)很多，但是角度偏一些數(shù)據(jù)就減少很大。我們用了這個GAN，右邊就產生了較多在側角度的數(shù)據(jù)。

我們也做了性能比較，大家可以看下我們自己做的b1、b2、DA-GAN的結果。b1是說我們不加任何多余的訓練數(shù)據(jù)。b2是我們用之前的訓練模型加額外的3D人臉合成訓練數(shù)據(jù)。最后一個是我們用自己的DA-GAN來產生的一些平衡數(shù)據(jù)。我們的GAN相比之下帶來明顯的性能增加。所以我們GAN的工作也在NIPS-IJCAI-AAAI等學術會議上發(fā)表，也用GAN來生成不同年齡的人臉。

剛才講到動態(tài)監(jiān)控條件下捕捉的人臉，我們除了在人臉識別性能上提高外，我們也考慮別的方式。比如說在源端著手捕捉到更好的圖像，還有圖像增強的方法，我會在AI圖像增強、SoC方面做一些分享。

第一個分享的是去除運動模糊的問題。大家都知道，左邊的圖像我們常?？床坏郊毠?jié)。大家說都用HDR來恢復圖像的細節(jié)，這個方法是長短曝光多次，合成光線均勻的寬動態(tài)范圍圖像。有個問題是什么呢？在場景當中有運動的物體出現(xiàn)，就沒辦法做到所謂的普通HDR圖像，會很模糊。但是下面這張用我們的算法運動補賞，可以很清晰地看到圖像的細節(jié)。我們拿到了最佳的Paper，也用在了公司的產品上面。

第二個是關于低光圖像增強方法，可以看到上面有兩組圖像。左邊黑漆漆的，但是用了圖像增強方法，就可以看到細節(jié)。尤其是對人臉來說，右邊的人臉就可以識別出來。傳統(tǒng)的圖像增強方法都有一些限制，今天人們結合深度學習可以做到更高的保真度。

去噪聲的方法，大家都知道BN3D是很出名的去噪聲方法，但是它總是根據(jù)相機的強度而做的，很難做好。我們這篇文章也獲得最佳論文，我們用了深度卷積CNN加了LSTM，能夠追蹤到噪聲的相關性，主觀和客觀質量結構表明，這種方法可以獲得很好的圖像質量。

下面來談一下超分辨率，超分辨率不是一個很新的課題，已經很多年了，大家都是用過去傳統(tǒng)的方法實現(xiàn)，也包括一些監(jiān)督的和非監(jiān)督的方法，這些方法很多。

我們要關心的是什么呢？我們關心的是你怎么評價它，你的評價標準是什么，跟你的應用有關系。我們說，人工智能要跟場景有關。我們比較重視的是人臉，你對人臉的識別保真度如何，這個對我們來講是非常重要的。

我舉這個例子，上圖左邊這個Low Resolution圖像，是從很遠的地方拍到的人，你非常想知道這個人是誰，拉近的時候就會出現(xiàn)失真。當我們用了不同的超分辨率的以后，就會看到有各種各樣的表現(xiàn)。黃色的兩幅圖，對于人眼來說差不多。但是在恢復人臉I(yè)D的保真度上有很大的不同。我們評價的準則是什么？給大家看一下這個表，最終告訴我們，用深度學習給超分辨率帶來的好處是，你輸入的圖象尺寸是12×14pixel，跟你輸入圖像22×24pixel，得到的精確度基本上是接近的。

另外，有人利用臉部屬性，也就是局部區(qū)域來增加恢復高分辨率面部圖像的真實度。

去抖動、去霧、去雨、去雪的這些方法，這些對安防產品非常有用。

我講了很多前沿算法。在不同場景下的應用，澎思科技專注于計算機視覺和物聯(lián)網技術，提供各種各樣場景下垂直行業(yè)的解決方案。所以我們全棧的遷延算法是很好的配合，可以讓公司做得更快更大。

澎思科技的核心實力在于全自研、全棧計算機視覺技術。不光是學習，我們有計算機的幾何、三維重建方面的技術。全系列的軟硬件產品、全場景的解決方案以及全方位的服務能力。

這是我們軟硬件的產品，包括智慧社區(qū)的管理平臺、智能人像大數(shù)據(jù)的情報平臺和智慧警務大數(shù)據(jù)平臺，和各種各樣的硬件終端產品。我們在公安、智慧園區(qū)、智慧社區(qū)、智能制造、智能交通等行業(yè)都有應用。從成立以來，澎思科技已經成功落地在50多個城市。

總結一下，在安防實戰(zhàn)場景下，動態(tài)視頻監(jiān)視技術仍然面臨很大的挑戰(zhàn)。接下來三年，AI在無約束人臉識別以及圖象增強的算法和產品，會有更大的突破。

澎思新加坡研究院，專注于垂直領域技術的研發(fā)以及前沿科技探索儲備，像剛才有人講的算法孵化器，一個是場景算法，一個是算法孵化器，使得我們公司能夠很快地拓展業(yè)務。謝謝大家！

關于中國人工智能安防峰會

由雷鋒網 & AI掘金志主辦的「2019中國人工智能安防峰會」，是業(yè)內極具影響力的AI安防論壇，致力于推動中國“AI-安防”落地融合與“學術-產業(yè)”的應用交叉。

延續(xù)上一屆峰會的高水準、高人氣，2019中國人工智能安防峰會再度站在算法、工程和產品的最前沿，引導安防行業(yè)認知再升級。這是海康、大華、華為、阿里、騰訊以及多個AI獨角獸，因“AI安防”首次同臺，峰會現(xiàn)場也聚集了海內外1000多位政企管理層和技術研究員，共同探討2019年的AI安防智能技術部署、前沿算法應用與商業(yè)戰(zhàn)略布局。

本次峰會共設置“城市大腦與邊緣計算”、“全球頂尖算法應用”、“前端動態(tài)識別與智能視頻云”、“城市AIoT與邊緣智能引擎”四大議題，出席的15位演講嘉賓分別是：

上午場：阿里巴巴華先勝、?？低暺质懒?、大華股份殷俊、地平線張永謙、深瞐科技陳瑞軍、商湯科技張果琲、浪潮商用機器張琪。

下午場：香港科技大學權龍、原松下（新加坡）研究院申省梅、華為余虎、觸景無限肖洪波、曠視科技安洋、千視通胡大鵬、騰訊李牧青、中科院自動化所王金橋。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。