雷鋒網(wǎng) AI 科技評論按：10 月 17 日至 19 日，由 CCF 主辦、蘇州工業(yè)園區(qū)管委會、蘇州大學(xué)承辦的 CNCC 2019 在秋意正濃的蘇州如約而至。今年大會以「智能+引領(lǐng)社會發(fā)展」為主題，選址蘇州金雞湖國際會議中心召開。雷鋒網(wǎng) AI 科技評論將會作為戰(zhàn)略合作媒體進行全程跟蹤報道。

在《CNCC爆款技術(shù)論壇，申省梅、陳熙霖主持，西湖李子青、阿里王剛多視角講解CV賦能智慧城市》一文中，雷鋒網(wǎng) AI 科技評論提到，「計算機視覺技術(shù)賦能智慧城市」技術(shù)論壇盡管在大會第三天舉辦，仍然人滿為患，成為今年 CNCC 的爆款技術(shù)論壇之一。

西湖大學(xué)講席教授、IEEE Fellow 李子青作為該技術(shù)論壇的開場演講嘉賓，帶來了主題為《人臉識別挑戰(zhàn)問題和解決技術(shù)》的演講，他主要從人臉識別當(dāng)前所存在的巨量類別的模式識別問題、人臉防偽問題以及復(fù)雜光照問題三個未來需要重點關(guān)注的挑戰(zhàn)出發(fā)，闡述了應(yīng)對這三個問題的解決方案。

個人簡介：李子青（Stan Z. Li），IEEE Fellow，曾任微軟亞洲研究院Research Lead，中科院自動化所模式識別國家重點實驗室資深研究員。2019年加盟西湖大學(xué)工學(xué)院，開展人工智能創(chuàng)新研究，研究方向包括：機器學(xué)習(xí)/深度學(xué)習(xí)、數(shù)據(jù)科學(xué)、AI+交叉學(xué)科（如計算機視覺、生物醫(yī)學(xué)、材料科學(xué)、環(huán)境科學(xué)、傳感器技術(shù)，等等）。

以下為李子青演講全文，AI 科技評論進行了不改變原意的編輯，感謝李子青教授的修改和確認(rèn)。

計算機視覺是人工智能技術(shù)中應(yīng)用最成功的一個方向，其中人臉識別和視頻分析在落地上又是最成功的。我首次參加的人臉識別會議是 1997 年的第二屆 FG（IEEE International Conference on Automatic Face and Gesture Recognition），這個會議由 Thomas Huang（黃煦濤）發(fā)起，一直存在至今。當(dāng)時我在新加坡南洋理工，是我的學(xué)生把我?guī)狭巳四樧R別的研究之路，而現(xiàn)在我的學(xué)生不做了，而我一做，就是 20 多年。 

過去人臉識別采用非深度學(xué)習(xí)的傳統(tǒng)方法。昨天在 CNCC 的晚宴上，有一個來自 Oulu 大學(xué)的博士畢業(yè)生說起 LBP，當(dāng)時我審了這篇投稿，并大力推薦到了 CVPR。另外我也審到那個著名的 AdaBoost 人臉檢測的投稿并做了推薦，它是第一個能把人臉檢測在 PC 上做到實時的算法。我覺得這種方法非常好，并基于這個算法在 MSRA 開發(fā)了世界上第一個實時的人臉識別系統(tǒng)。那個系統(tǒng)采用的是傳統(tǒng)的人臉識別算法。

2013、2014 年開始，深度學(xué)習(xí)開始在人臉識別得到應(yīng)用，受人工智能技術(shù)的產(chǎn)業(yè)驅(qū)動，人臉識別技術(shù)也取得了突飛猛進的發(fā)展?，F(xiàn)在的人臉識別技術(shù)指標(biāo)比當(dāng)年提高了好幾個數(shù)量級，在中國已經(jīng)廣泛應(yīng)用。雖然如此，現(xiàn)在人臉識別仍然存在一些技術(shù)挑戰(zhàn)問題，這也是我今天要分享的主題。本次分享，我可能無法將所有的挑戰(zhàn)和問題都涵蓋到，而主要講三個無論從算法層面還是應(yīng)用層面都需要進一步解決的挑戰(zhàn)問題：

• 第一，巨量類別的模式識別問題。人臉識別、辨別現(xiàn)在的應(yīng)用可能達到成百萬、千萬級別了，涉及到對這么多數(shù)量的類別的模式識別，必然存在一些問題。例如中國一個省或者一個中等城市，人口就幾百萬甚至幾千萬，其中就涉及到多數(shù)量的類別的模式識別問題，那這該如何解決呢？

• 第二，人臉防偽問題。現(xiàn)在在人臉識別如刷臉支付等場景中常面臨照片攻擊問題，包括支付寶等應(yīng)用當(dāng)年也曾被破解過，因而他們也對此做了很多的努力。

• 第三，復(fù)雜光照問題。2005 年前后我一直在尋求光照問題解決方案，這是由于當(dāng)年基于可見光圖像的識別算法水平比較低，基本上無法達到應(yīng)用要求。我嘗試使用前端近紅外成像光電硬件+算法軟件一體化的方法，比較好地實現(xiàn)了配合和半配合（比如刷臉認(rèn)證、閘機通道的身份識別）條件下的人臉識別技術(shù)要求并實現(xiàn)了產(chǎn)品化。

  
  

一、巨量類別的模式識別：夾角分類器和 Margin

常用的歐式距離分類，可以用一個魔方的小方格塊來描述，把每個人臉特征裝進魔方中的一個小塊中，這樣的分布下，歐式距離基本上無法對這些類別進行有效的分類，更不用說密密麻麻地排列幾萬甚至幾十萬個類別。而從數(shù)據(jù)分析的角度來看，高維空間的數(shù)據(jù)分布跟這種魔方中小方塊的分布是不一樣的。在高維空間的均勻隨機分布，大部分?jǐn)?shù)據(jù)樣本都在魔方的角上，也就是說不同類別的數(shù)據(jù)之間是正交的關(guān)系，并且可以證明隨機樣本間相對歐式距離趨于零。所以在高維空間，在類別數(shù)量非常多的情況下，如果采用歐式距離度量方法，識別性能必然得不到保障。

在高維空間采用樣本間的夾角作為距離度量能夠取得比較好的結(jié)果，所以現(xiàn)在用的方法大都基于 Angular Similarity。

我們把樣本映射到一個高維球面的分布，不同類的樣本是角度可分而距離不可分的。幾十萬個類，每個都在在球面上占據(jù)一小塊，利用夾角進行分類。在深度學(xué)習(xí)以前就已經(jīng)有研究者研究和應(yīng)用 Angular Similarity，而在 2016 年、2017 年，尤其是 2018 年和今年，這種按角度進行分類的人臉識別研究論文發(fā)表比較多，例如今年 CVPR 2019 大概就有六七篇論文就是研究這個問題的。

該方法主要有三個特點：

• 第一個特點是 Angular Loss，即在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時候，采用按角度劃分類的方法。

• 第二個特點是在夾角損失函數(shù)中引入了 Margin，即相鄰兩類的分界面并不是一個簡單的夾角分界面，而是兩個夾角分界面，其間留有一定的裕量，這樣在測試或使用階段才能更好地分類。

• 第三個特點是 Imbalanced Data，比如說在下圖中，一個人最多有幾千張圖，最少的只有三、五張圖，并且大部分的類別數(shù)量都非常少，針對這樣的長尾分布問題，我的學(xué)生提出了一個方法——AdaM-Softmax，即邊際隨著每類的樣本數(shù)量進行自適應(yīng)變化，相關(guān)的論文《AdaptiveFace: Adaptive Margin and Sampling for Face Recognition》也在今年 CVPR2019 上發(fā)表。

  

下面這個圖比較幾種方法的 Angular Loss 方案：Softmax 方法 中的第一類和第二類之間就是一根直線；SphereFace 按角度來分類；CosFace 是球面的，并且各類之間有一個cosine 裕量；ArcFace 則留有夾角裕量，該方法的應(yīng)用效果在論文上看似乎是最好的，比前面幾個好一丁點。ArcFace 開源了代碼，現(xiàn)在很多公司和院校都在使用。

AdaM-Softmax 與前述引入 Margin 裕量方式不同，AdaM-Softmax 中每類都有不同的邊界值，而非采用固定值。實現(xiàn)的方法是引入了一個 Margin 相關(guān)的 Loss，乘以權(quán)重 Symbol 后加入到總體 Loss。這樣訓(xùn)練出來的網(wǎng)絡(luò)，在處理數(shù)據(jù)不平衡條件下，表現(xiàn)更好。

在上圖（右側(cè)）中，縱軸表示類別分別有 20、40、60、80 以及 100 個樣本，橫軸表示相應(yīng)的 Margin。我們可以看出，每類的樣本數(shù)量越 多，它的邊際值就越小，我認(rèn)為這個趨勢是合理的，實際上達到了預(yù)期的效果。

二、人臉防偽問題：深度學(xué)習(xí)方法

人臉防偽的需求主要存在于身份認(rèn)證等場景，舉兩個實際發(fā)生的例子，第一個案例：幾年前有一名中國福建籍的男子化妝成一位老人通過了加拿大的海關(guān)，但是之后有人發(fā)現(xiàn)他臉上皺紋巴巴的，而手卻細(xì)皮嫩的，后來被查出。第二個案例：今年 6 月份的時候，下圖右側(cè)這個人被曝出身份造假，并且與美國政府高官勾搭上了，最后被查出來這張臉是生成的。但是我們用肉眼來看，她的臉非常逼真。與機器人臉識別相關(guān)的采用偽造人臉攻擊成功的案例當(dāng)屬當(dāng)年支付寶被人用照片打印和手機屏幕顯示攻擊破解，其后支付寶做了很多技術(shù)防范措施，現(xiàn)在攻擊比較難了，但目前仍然未能達到預(yù)期的技術(shù)防范強度。

人臉防偽主要有打印、屏幕顯示/視頻重放以及人臉面具三個類別，防偽的方法則是對不同類型提取不同的特征。而傳統(tǒng)方法主要對紋理、三維形狀等提取特征從而區(qū)分真人和假體，其中硅膠是最難 以辨別出來的類別。這是因為本質(zhì)上，我們需要判別的是「人臉」的皮膚是肉體還是假體，然而硅膠材質(zhì)從成像上來看與人臉的皮膚很相近，因此在一般情況下很難區(qū)分出來。

現(xiàn)在基本上采用深度學(xué)習(xí)算法模型解決人臉防偽。2014 年，我們將深度學(xué)習(xí)引入到了人臉防偽中，采用一個簡單粗暴的方法——采用正樣本 和負(fù)樣本訓(xùn)練真假人臉分類器。還有一種方法是利用人機應(yīng)答的方式，看看「人臉」是否能做眨眼、搖頭等動作。此外還有利用三維結(jié)構(gòu)來判斷人臉圖像是平面還是立體。我們在 2011 年提出了多光譜（可見光、近紅外）成像和鑒別的防偽方案，這也是當(dāng)前最普遍采用的方案。

下圖是我們在 CVPR 2019 的人臉防偽競賽上給出的一個 Baseline 方案，將 RGB 、NIR和3D深度圖像信息進行了融合：

• CVPR 2019 人臉防偽競賽相關(guān)內(nèi)容可參考：http://openaccess.thecvf.com/content_CVPRW_2019/html/CFS/Liu_Multi-Modal_Face_Anti-Spoofing_Attack_Detection_Challenge_at_CVPR2019_CVPRW_2019_paper.html
  

另外，多年前我在一個會議上也看到了一個非常有意思的工作，這項工作用到了一位 MIT 的碩士提出來的方法：用可見光對著人臉拍攝，會檢測到人臉皮下的毛細(xì)血管按照心率節(jié)奏在跳動。

我當(dāng)時就想到這個方法可以用到人臉防偽上，但是我嘗試后發(fā)現(xiàn)實際是不可行的——就算你對著一張白紙拍攝，也能檢測到心率節(jié)奏的跳動，這是因為該方法采用的是傅立葉變換，總能檢測到周期性的，比如燈光下的 50Hz，總會有一些微小的東西將幅度最大的頻率分量提取出來。后來看到有一些相關(guān)的論文發(fā)表，我估計實驗結(jié)果應(yīng)該離實用還有段距離，但我覺得這個思路不錯，如果要把它做成實用，只從算法上解決是不夠的，必須在前端光電硬件上有所創(chuàng)新，才能解決其中的關(guān)鍵問題。

三、復(fù)雜光照問題：異質(zhì)人臉識別解決方案

現(xiàn)在的人臉識別算法在受控良好光線環(huán)境中的識別效果已經(jīng)很好了，但在工地、地鐵入口等光線不受控的場景中仍然無法正常使用，包括計算機視覺領(lǐng)域的獨角獸公司提出的算法都還無法解決這個問題，這是因為采集的圖像就已經(jīng)難以恢復(fù)成正常光照被正常識別了。在這種情況下，還需要從前端的光電硬件上想辦法，從圖像獲取階段去解決這個挑戰(zhàn)問題。而采用近紅外主動光源照射成像，是一個解決方案。

采用近紅外成像的方案，就需要解決異質(zhì)圖像人臉識別問題。該方案能夠比較好地解決光照問題，2005年開始就在深圳羅湖海關(guān)得到實際使用了。不過，當(dāng)時相關(guān)單位也給我提出了一個問題：雖然效果不錯，但是存在限制，就是必須要使用近紅外人臉圖像進行注冊，那如果只有身份證照片注冊呢，該怎么解決這個問題？為此我提出了異質(zhì)人臉識別的方法。有兩個方案：

• 第一個思路是將近紅外的圖像轉(zhuǎn)化為可見光的圖像，然后用可見光人臉?biāo)惴ㄗ銎ヅ洌?/p>

• 另一個思路是，從近紅外和可見光兩種不同的圖像中學(xué)習(xí)共同特征。例如在2007年，我們的團隊也提出了一種采用 CCA 提取共同特征的的方法。

• 參考：Dong  Yi，Rong  Liu，RuFeng  Chu，Zhen  Lei，Stan  Z.  Li，  "Face  Matching  Between Near Infrared and Visible Light Images" ICB-2007

• 論文地址：https://link.springer.com/content/pdf/10.1007%2F978-3-540-74549-5_55.pdf

除此之外，提取不同圖像共同特征的方法還有：對兩類圖像的各個局部特征進行處理、濾波，從而提取出一些共同特征；用傳統(tǒng)的方法提取特征后，再用深度網(wǎng)絡(luò)進行不同圖像的特征變化（如下圖）。這種方法很容易實現(xiàn)端到端的訓(xùn)練。

現(xiàn)在最新的方法是采用深度學(xué)習(xí)技術(shù)，通過深度網(wǎng)絡(luò)的非線性映射，提取出可見光、近紅外圖像的人臉隱空間表示，以隱變量的均值來表示每一個人臉的內(nèi)在 ID ，以分布方差表示外部影響如光照、姿態(tài)等。近紅外、可見光人臉的兩個隱空間中隱變量分布之間的差異，可以通過概率和拓?fù)溆成涞姆椒▉韽浹a，最終實現(xiàn)全光照條件下可靠的人臉識別。

雷鋒網(wǎng) AI 科技評論報道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。