計(jì)算機(jī)視覺作為 AI 重要組成分支，通過模擬人類視覺系統(tǒng)賦予機(jī)器“看”和“認(rèn)知”的能力，近年來在許多實(shí)際場景中大規(guī)模得以落地，是數(shù)字化時(shí)代產(chǎn)業(yè)變革的關(guān)鍵技術(shù)。

其中，以人像目標(biāo)為最重要的研究內(nèi)容，在金融認(rèn)證、民生經(jīng)濟(jì)等核心場景中被廣泛應(yīng)用，但受人像內(nèi)在多變因素及外部復(fù)雜環(huán)境的影響，也導(dǎo)致了人像目標(biāo)感知理解模型在精度和效率上面臨著極大的挑戰(zhàn)。

5 月 6 日，2022 年度“吳文俊人工智能科學(xué)技術(shù)獎”頒獎典禮在北京召開，由清華大學(xué)研究員興軍亮，螞蟻集團(tuán)李建樹、趙聞飆等人共同完成的“無約束人像目標(biāo)智能感知與理解”成果獲得“自然科學(xué)獎一等獎”，這意味著我國在解決 AI 視覺領(lǐng)域核心難題上取得了重大創(chuàng)新突破。

該項(xiàng)成果提出了三大重要科學(xué)發(fā)現(xiàn)：

揭示人臉目標(biāo)“不變性特征學(xué)習(xí)”的重要性

發(fā)現(xiàn)多維屬性間普遍存在的互補(bǔ)性關(guān)聯(lián)特征

構(gòu)建“人臉-人體-人群”深度理解框架

其中，基于人臉目標(biāo)“不變性特征學(xué)習(xí)”研究發(fā)現(xiàn)，研究團(tuán)隊(duì)開發(fā)并向行業(yè)開放的“無約束人臉識別平臺”，在實(shí)現(xiàn)把人臉身份識別精度相對提升 74.9% 的同時(shí)，可將誤報(bào)率降低 4 倍。

伴隨著 AIGC、數(shù)字人等概念火爆，生成式圖片、視頻內(nèi)容的出現(xiàn)，也勢必對人像感知理解技術(shù)發(fā)展帶來新的挑戰(zhàn)。在保障用戶隱私安全的前提下，基于人像智能感知與理解技術(shù)保障公共和個(gè)人信息安全，與產(chǎn)業(yè)結(jié)合推動視覺技術(shù)落地，也是以艾海舟教授、興軍亮研究員等為代表的清華大學(xué)計(jì)算機(jī)視覺科研團(tuán)隊(duì)，和螞蟻集團(tuán)安全團(tuán)隊(duì)將持續(xù)探索的方向。

計(jì)算機(jī)視覺的攻防戰(zhàn)

2017 年的一天，在寧波這座南方城市的街頭，出現(xiàn)了令人啼笑皆非的一幕。

交通警察部門在十字路口部署了使用人像感知技術(shù)的智能攝像頭，以檢測和識別亂穿馬路的人，這些人的部分名字和面孔會被模糊地顯示在公共屏幕上。路上的行人驚奇發(fā)現(xiàn)，顯示屏上竟然出現(xiàn)了董明珠的身影，很快，一則關(guān)于“董明珠違規(guī)”的消息隨即傳遍了各大社交媒體。

但沒過多久，寧波警方出來道歉并解釋稱，是由于 AI 識別的誤判導(dǎo)致、并非董明珠本人，董明珠隨后也在微博上回應(yīng)道：“誤拍是小事。平安重要。”雖然鬧了個(gè)烏龍，但所幸沒有造成巨大的影響。

今天，人像智能感知技術(shù)在實(shí)際場景中的應(yīng)用十分廣泛。進(jìn)出機(jī)場、火車站等場所，僅需要面對機(jī)器刷個(gè)臉即可迅速完成安檢程序；異地證件遺失，不用再專門回到歸屬地，線上預(yù)約通過人臉識別驗(yàn)證就能補(bǔ)辦；日常購物或者金融理財(cái)產(chǎn)品交易，都只需要刷臉就能支付......

人像目標(biāo)作為計(jì)算機(jī)視覺領(lǐng)域最為重要的研究內(nèi)容，其智能感知理解理論方法，是推動以人為中心的機(jī)器智能技術(shù)體系構(gòu)建和規(guī)?；瘧?yīng)用的重要驅(qū)動力，在過去幾十年的發(fā)展歷程中共經(jīng)歷了三個(gè)重要的階段。

上個(gè)世紀(jì)四五十年代，人像目標(biāo)研究進(jìn)入實(shí)驗(yàn)室，早期算法有基于幾何特征算法、基于模板匹配算法和子空間算法等多種類型，以主成分分析和性判別分析為典型方法的子空間在人像技術(shù)中得以應(yīng)用。

進(jìn)入 2000 年，人像技術(shù)邁向第二個(gè)發(fā)展階段、步入經(jīng)典方法時(shí)代，Boosting 算法作為集成學(xué)習(xí)算法的主要代表，對人像感知技術(shù)算法提高分類正確率起到了重要作用。興軍亮也是在經(jīng)典方法時(shí)代就開始從事與人臉人體相關(guān)的計(jì)算機(jī)視覺研究。2007 年 9 月，興軍亮進(jìn)入清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系攻讀博士，跟隨艾海舟教授學(xué)習(xí)。

興軍亮

2012 年深度學(xué)習(xí)浪潮開啟，人像感知技術(shù)迎來劃時(shí)代發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的人像目標(biāo)感知算法在識別效果和效率都有了大幅提升。在關(guān)注到這一新趨勢后，興軍亮等項(xiàng)目研究團(tuán)隊(duì)很快參與其中，嘗試用深度學(xué)習(xí)算法將以往人臉檢測、人臉配準(zhǔn)等系列研究問題重做，均取得了不錯(cuò)的效果。

在深度學(xué)習(xí)的推動下，以人像目標(biāo)等為代表的計(jì)算機(jī)視覺技術(shù)開始走向落地，在實(shí)用場景中得以大規(guī)模應(yīng)用。

但 AI 遠(yuǎn)非萬能，人像智能感知技術(shù)受視角、光照、噪聲等外部環(huán)境和性別、年齡、表情、姿態(tài)等內(nèi)在因素的影響，模型在精度和效率等方面都存在一定的挑戰(zhàn)。

而隨著數(shù)字化時(shí)代的到來，在金融風(fēng)控、自動駕駛等對安全性要求非常高的場景中，模型的失之毫厘、甚至?xí)聿钪Ю锏奈ｋU(xiǎn)后果，對人像感知與理解技術(shù)也提出了更高的要求。自 2007 年至今，研究團(tuán)隊(duì)長期致力于對人像感知理解技術(shù)探索，目前也已取得了突出的研究成果。

人像感知的三把斧

5月6日，2022 年度“吳文俊人工智能科學(xué)技術(shù)獎”頒獎，由興軍亮、李建樹、趙聞飆等人完成的“無約束人像目標(biāo)智能感知與理解”成果獲得了“自然科學(xué)獎一等獎”。

受無約束內(nèi)在致變要素和外在誘變因素變化影響，人像目標(biāo)呈現(xiàn)出表觀特征難建模、內(nèi)蘊(yùn)屬性緊耦合等特點(diǎn)，因此導(dǎo)致感知結(jié)果出現(xiàn)關(guān)鍵信息不精確、屬性認(rèn)知不完備、語義理解不充分等問題。

該項(xiàng)成果針對如何實(shí)現(xiàn)精準(zhǔn)感知并深度理解無約束人像目標(biāo)難題，提出了三大重要科學(xué)發(fā)現(xiàn)。

三個(gè)主要科學(xué)發(fā)現(xiàn)點(diǎn)及其相互之間的支撐關(guān)系

＞ 全視角變換空間下人像關(guān)鍵信息感知建模理論方法

人像的表觀和形狀是呈現(xiàn)其豐富語義的基礎(chǔ)，是進(jìn)行人像目標(biāo)智能感知和理解的關(guān)鍵信息。

我們通?？梢詫⑷四?biāo)趨^(qū)域、通過人臉矩形框大小和位置劃定以及人臉關(guān)鍵點(diǎn)網(wǎng)格、通過預(yù)定義關(guān)鍵點(diǎn)位置集合確定，并對上述信息進(jìn)行表示和建模，來獲取人臉目標(biāo)的大小、位置及關(guān)鍵點(diǎn)信息。

在日常生活中獲取人像目標(biāo)感知理解關(guān)鍵信息時(shí)，往往會受到其他因素的影響，分別是內(nèi)在致變因素和外部誘變因素；內(nèi)在致變因素包括人的性別、年齡、表情、姿態(tài)等，外部誘變因素則包括拍攝的視角、距離遠(yuǎn)近、周圍環(huán)境光照、拍攝照片或影像信息的分辨率等等，人臉目標(biāo)在受到單因素或內(nèi)外耦合變化因素的影響，都會導(dǎo)致模型獲取關(guān)鍵信息發(fā)生變化。

舉個(gè)例子，當(dāng)一個(gè)人在戶外陽光下仰頭大笑、與他在昏暗的室內(nèi)燈光里發(fā)呆，兩個(gè)截然不同的環(huán)境和狀態(tài)下所拍攝的照片，所獲取的人像信息也完全不同，這種全視角空間下產(chǎn)生了復(fù)雜多變的視覺呈現(xiàn)，給人像目標(biāo)關(guān)鍵信息感知的建模和分析帶來了極大挑戰(zhàn)。

基于這一問題，該項(xiàng)目研究團(tuán)隊(duì)提出了不變性特征和關(guān)系、對多變目標(biāo)關(guān)鍵信息感知建模分析具有基礎(chǔ)指導(dǎo)性。

將人臉變化分為左右搖擺、上下浮仰、平面內(nèi)旋轉(zhuǎn)三類，在訓(xùn)練數(shù)據(jù)中采集不同視角和數(shù)據(jù)，形成一個(gè)逐級由粗到細(xì)的樹形結(jié)構(gòu)，并把不斷獲取的精準(zhǔn)特征、包括受外在變化和內(nèi)在因素影響的關(guān)鍵信息放置到模型內(nèi)，讓模型得以從龐大的數(shù)據(jù)中學(xué)習(xí)出不變的因素，通過習(xí)得的人像不變性特征，讓模型可以將人臉信息精準(zhǔn)地感知出來。

在不變性特征學(xué)習(xí)的基礎(chǔ)上，該研究還形成了匯聚解耦、分治、逐階、分層等元操作的人像關(guān)鍵信息感知建模理論框架，也就是說，減少了多視角旋轉(zhuǎn)、尺度、姿態(tài)變換對人臉大小和位置等關(guān)鍵信息檢測的影響，從而提高人像目標(biāo)關(guān)鍵信息獲取的精度和效率。

＞ 復(fù)雜要素耦合空間下人像關(guān)聯(lián)屬性多任務(wù)感知方法

解決了如何獲取關(guān)鍵信息的問題，第二步則是如何提高模型的結(jié)果準(zhǔn)確性和效率的問題。

研究團(tuán)隊(duì)提出，通過引入一種模塊化科學(xué)消融實(shí)驗(yàn)分析過程，深度剖析人像多屬性關(guān)系解耦表征與多任務(wù)屬性識別的模型方法，可構(gòu)建一個(gè)高性能的人像多屬性識別深度模型。

假設(shè)訓(xùn)練一個(gè)年齡感知模型，在以往的模型訓(xùn)練中，面對龐雜的多維度人像信息處理，僅模型前期對人像性別信息的判別上，往往就會花耗巨大的精力，影響模型的關(guān)注度，從而一定程度上影響了模型最終的判別效果。

為此，研究團(tuán)隊(duì)通過挖掘人臉表征內(nèi)蘊(yùn)屬性和關(guān)聯(lián)關(guān)系，發(fā)現(xiàn)了不同人像屬性之間存在的三種典型依賴關(guān)系：互補(bǔ)性關(guān)聯(lián)關(guān)系、相關(guān)性協(xié)同關(guān)系、以及因果性推理關(guān)系。

基于這三種典型關(guān)系，研究團(tuán)隊(duì)提出了聯(lián)合多任務(wù)學(xué)習(xí)和對抗不變性學(xué)習(xí)的人像屬性信息感知挖掘方法，在模型中引入對人像信息如年齡、性別等屬性的多任務(wù)、分層學(xué)習(xí)方法。

相較于傳統(tǒng)的感知算法，人像關(guān)聯(lián)屬性多任務(wù)感知方法不僅能有效節(jié)省重復(fù)訓(xùn)練多個(gè)模型的資源和精力，同時(shí)，不同屬性特征間的典型依賴關(guān)系也能有效促進(jìn)模型效果，實(shí)現(xiàn)了高精度可擴(kuò)展的人像屬性知識抽取，為人像目標(biāo)深度理解提供核心算法技術(shù)支撐。

興軍亮告訴 AI 科技評論，“在沒有太多數(shù)據(jù)、缺乏更大算力支撐的情況下，通過多個(gè)屬性的判斷算法，可將模型精度在有限數(shù)據(jù)的基礎(chǔ)上實(shí)現(xiàn)迅速提升?！?/p>

此外，面對姿態(tài)、光照等多變因素給人像智能感知技術(shù)帶來的挑戰(zhàn)，研究團(tuán)隊(duì)還提出了通過對抗學(xué)習(xí)解耦各誘變因素、并驅(qū)動生成歸一化人臉到標(biāo)準(zhǔn)約束空間后再統(tǒng)一識別的新思路，為人像智能感知與理解技術(shù)提供了處理各種誘變因素統(tǒng)一的模型框架，大幅度提高了模型綜合性能和適用范圍。

＞ 關(guān)鍵信息與關(guān)聯(lián)屬性驅(qū)動的人像深度感知理解

而隨著人像智能感知與理解技術(shù)在產(chǎn)業(yè)和工程上的發(fā)展，無約束人像信息數(shù)據(jù)也呈現(xiàn)出大規(guī)模、多場景、多屬性和多交互等特點(diǎn)。

實(shí)際應(yīng)用場景下，如何解決精準(zhǔn)感知關(guān)鍵信息、完備認(rèn)知屬性關(guān)系、動態(tài)跟蹤定位等難題？基于上述兩個(gè)科學(xué)發(fā)現(xiàn)成果，興軍亮、李建樹等人提出了面向“人臉-人體-人群”分析的多層次多場景深度理解模型，其中包括了人臉多屬性融合感知、人體細(xì)粒度深度解析和群體多場景目標(biāo)跟蹤三個(gè)關(guān)鍵技術(shù)。

李建樹

人臉多屬性融合感知基于研究團(tuán)隊(duì)提出的一種超圖學(xué)習(xí)模型，可自動學(xué)習(xí)不同層次屬性組之間的復(fù)雜依賴關(guān)系，并對面部相關(guān)語義進(jìn)行推理。例如在美妝場景中，模型通過對專業(yè)美妝、模特網(wǎng)站上人像妝容數(shù)據(jù)的采集和訓(xùn)練，可以為用戶生成適合他們的妝容推薦。

人體細(xì)粒度深度解析技術(shù)指在對人體姿態(tài)的相關(guān)語義進(jìn)行推理和理解。在日常場景中，人們的交往存在各式各樣的身體語言，人體解析技術(shù)也面臨著密切交互、姿態(tài)各異、嚴(yán)重遮擋等挑戰(zhàn)，研究團(tuán)隊(duì)提出，將因果嵌套式對抗學(xué)習(xí)范式注入多人場景建模與多粒度多層次語義理解，同時(shí)隱式約束解析結(jié)果與人像身體結(jié)構(gòu)的物理空間一致性。

面對不同場景下，單個(gè)或多個(gè)目標(biāo)跟蹤中存在的復(fù)雜表觀變化和交互遮擋難題，研究團(tuán)隊(duì)在群體多場景目標(biāo)跟蹤技術(shù)中，以多周期時(shí)空觀測模型為基礎(chǔ)算法，統(tǒng)一在線、離線不同階段的處理模式，建立了全局、局部關(guān)鍵人像信息的動態(tài)跟蹤機(jī)制，提出了低幀率、劇烈運(yùn)動、復(fù)雜交互、部分遮擋等系列場景下單、多目標(biāo)跟蹤的統(tǒng)一框架，具有高效精準(zhǔn)魯棒等特點(diǎn)。

經(jīng)過十余年的攻堅(jiān)，該研究團(tuán)隊(duì)在“人像智能感知與理解”技術(shù)探索中取得了顯著性的研究進(jìn)展，對計(jì)算機(jī)視覺領(lǐng)域發(fā)展，實(shí)現(xiàn)工業(yè)數(shù)字化、智能化具有重要意義。

學(xué)術(shù)成果的產(chǎn)出是最好的明證。這個(gè)項(xiàng)目已累計(jì)獲得 CVPR、ACM Multimedia 等 5 次重要論文獎；在國內(nèi)外頂級人像感知理解賽事中 10 次奪冠；8 篇代表作論文 Google-Scholar 總引用 3225 次、WOS 他引 650 次；并獲得十余位馬爾獎/傅京孫獎得主、百余位國內(nèi)外院士等知名學(xué)者引用并正面評價(jià)。

相關(guān)算法也在歐姆龍、華為、螞蟻等公司核心產(chǎn)品中得到應(yīng)用，并產(chǎn)生規(guī)模化商業(yè)應(yīng)用。其中，基于該項(xiàng)目核心能力沉淀的螞蟻 e-KYC 可信身份認(rèn)證方案，已在海外服務(wù)超過 1.2 億東南亞用戶。

數(shù)字化時(shí)代感知技術(shù)如何幫助人？

過去幾年里，AI 在各行各業(yè)持續(xù)落地，技術(shù)變革推動數(shù)字化升級，也為產(chǎn)業(yè)發(fā)展帶來新的想象力。

作為數(shù)字化浪潮中積極的參與者，螞蟻集團(tuán)基于人像關(guān)鍵信息檢測定位、人像多任務(wù)屬性關(guān)聯(lián)識別和多層次關(guān)聯(lián)感知模型等相關(guān)技術(shù)研制的螞蟻可信人臉安全檢測與識別系統(tǒng)，已經(jīng)為支付寶超過 10 億的用戶、及其海外電子錢包上億用戶提供了身份認(rèn)證服務(wù)。

其中，螞蟻于 2017 年所研發(fā)的面向智能風(fēng)控的安全科技商業(yè)化產(chǎn)品ZOLOZ（蟻盾），幫助合作伙伴解決數(shù)字化發(fā)展過程中的營銷拓客、平臺交易、產(chǎn)業(yè)協(xié)作等場景下的安全風(fēng)險(xiǎn)問題。

在疫情期間，為了拉動消費(fèi)促進(jìn)經(jīng)濟(jì)復(fù)蘇，東南亞地區(qū)多個(gè)國家曾聯(lián)手本地電子錢包發(fā)放政府津貼、企業(yè)工資、消費(fèi)券，但由于東南亞地區(qū)部分國家并沒有實(shí)行統(tǒng)一的身份證件，證件質(zhì)量良莠不齊、偽造問題頻發(fā)，起初，要識別證件的真實(shí)性成為亟待攻克的難題。

李建樹所在的螞蟻安全天璣實(shí)驗(yàn)室在人像感知與理解技術(shù)的基礎(chǔ)上，重新訓(xùn)練算法，提高ZOLOZ的eKYC 識別真?zhèn)斡脩糇C件真實(shí)性的能力，當(dāng)黑客為牟利使用假冒身份證和照片對用戶身份賬戶進(jìn)行攻擊時(shí)，系統(tǒng)會對黑客的攻擊和對抗進(jìn)行捕捉，并協(xié)同用戶此前交易信息對當(dāng)次交易賦予風(fēng)險(xiǎn)標(biāo)簽，獲得基于圖像的風(fēng)險(xiǎn)緯度累積和結(jié)果。

借助ZOLOZ平臺的 eKYC 功能，用戶只需在手機(jī)上動動手指，在線完成注冊和身份核驗(yàn)，通過資格審核后，就能快速領(lǐng)到補(bǔ)助金。

加上螞蟻其他風(fēng)控系統(tǒng)，從而幫助用戶在更安全可信的環(huán)節(jié)下完成交易，為大規(guī)模無接觸線上開戶提供了安全保障，為發(fā)展不均衡地區(qū)的弱勢群體用戶接入互聯(lián)網(wǎng)服務(wù)、享受互聯(lián)網(wǎng)金融的便利性創(chuàng)造了條件。

目前，eKYC 已同國內(nèi)外近 50 家企業(yè)達(dá)成合作，覆蓋金融、保險(xiǎn)、證券、信貸、電信、公共服務(wù)等領(lǐng)域，包括菲律賓 GCash、馬來西亞 TnGD、印度尼西亞 Dana、泰國 TrueMoney、孟加拉國 bKash、韓國 KakaoPay 等電子錢包, 中國銀行、招商銀行、澳門工商銀行、香港螞蟻銀行、印尼 Mandiri 銀行，菲律賓 Citibank 等銀行企業(yè)， 助力其人臉身份驗(yàn)證平均時(shí)間從幾天降至 3 分鐘以內(nèi)。

人工智能技術(shù)加速了社會智能化升級，伴隨著元宇宙、AIGC、數(shù)字人等概念的火爆，AI 技術(shù)變革在提升生產(chǎn)效率、賦能產(chǎn)業(yè)的同時(shí)，也為社會帶來了新的挑戰(zhàn)。例如使用 AIGC 平臺進(jìn)行人臉偽造，模型在拿到圖片后，如何判斷是真實(shí)圖像亦或是虛擬圖像，是人像智能感知與識別技術(shù)下一步需要解決的難題。

李建樹告訴 AI 科技評論，目前有關(guān)人像深度偽造檢測技術(shù)的研究已在進(jìn)行，通過對 AI 生成圖像中的異常特征進(jìn)行對抗性防御，可以在一定程度上提高模型對真實(shí)圖像和偽造圖片的鑒別能力。同時(shí)，相關(guān)監(jiān)管部門也呼吁圖像偽造能力提供商在偽造合成圖片中增加暗水印或指紋等特殊標(biāo)識，減少深度偽造技術(shù)對社會帶來的危害。

人工智能行業(yè)邁進(jìn)深水期，將 AI 推向與更多場景應(yīng)用的對話中。以數(shù)據(jù)為驅(qū)動，未來，清華大學(xué)和螞蟻集團(tuán)的科研工作者們將繼續(xù)探索人像智能感知理解技術(shù)在數(shù)字化時(shí)代新機(jī)遇、迎接新挑戰(zhàn)，讓 AI 作為產(chǎn)業(yè)發(fā)展的工具和引擎成為真正可能。

（雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。