1
雷鋒網(wǎng)按：本文來自騰訊優(yōu)圖，雷鋒網(wǎng)已獲授權(quán)。主要介紹了人臉識別系統(tǒng)的三大組成部分，并對手機(jī)相機(jī)能自動美顏的原因進(jìn)行了深度剖析。
這是一個“看臉”的時代，一談人臉技術(shù)，大家最為熟知就是人臉識別。該技術(shù)在金融、社保、教育、安防等領(lǐng)域表現(xiàn)活躍，成為AI技術(shù)領(lǐng)域的明星。優(yōu)圖微信公眾號之前也重點介紹過優(yōu)圖人臉識別，本文主要介紹一些背后默默支持人臉識別的技術(shù)。欲了解優(yōu)圖人臉識別技術(shù)可參見《深度學(xué)習(xí)在人臉識別中的應(yīng)用 ——優(yōu)圖祖母模型的“進(jìn)化”》
一般而言，一個完整的人臉識別系統(tǒng)包含三大主要組成部分，即人臉檢測、人臉配準(zhǔn)以及人臉識別。三者流水線操作：人臉檢測在圖像中找到人臉的位置，接著人臉配準(zhǔn)在人臉上找到眼睛、鼻子、嘴巴等面部器官的位置，最后人臉識別抽取特征與既有人臉比對計算相似度，確認(rèn)人臉對應(yīng)的身份。
圖1 人臉識別流程
人臉配準(zhǔn)（Face Alignment）又稱人臉特征點檢測與定位。人臉特征點不同于角點或SIFT特征點等通常意義上的圖像特征點，人臉特征點通常是一組由人工事先定義的點（見圖2）。根據(jù)不同應(yīng)用場景，特征點有不同的數(shù)目，例如5點，68點，82點等。
圖2 人臉特征點檢測與定位中常用的目標(biāo)檢測點
除了在人臉識別系統(tǒng)中起關(guān)鍵作用之外，人臉配準(zhǔn)技術(shù)也在3D人臉建模，人臉動畫，人臉表情分析，人臉美化與虛擬化妝，人臉自拍動效等領(lǐng)域得到了廣泛的應(yīng)用。打個小廣告，優(yōu)圖人臉配準(zhǔn)跟蹤技術(shù)性能卓越，主流手機(jī)單幀處理速度可達(dá)到3ms以內(nèi)，已經(jīng)在“天天p圖-動效自拍”、“手機(jī)QQ-短視頻”、“手機(jī)QQ-視頻聊天”“手機(jī)Qzone-動效相機(jī)”等應(yīng)用場景落地。
圖3 人臉美化與虛擬化妝
和其他人臉技術(shù)類似，光照、頭部姿態(tài)、表情等的變化，以及遮擋都會很大程度影響人臉配準(zhǔn)的精度。但是人臉配準(zhǔn)也具有自身特點，首先特征點描述了人臉的結(jié)構(gòu)（輪廓和五官），人臉結(jié)構(gòu)是完整穩(wěn)定的，五官相對位置固定；其次，頭部姿態(tài)、表情等變化造成的特征點位置變化明顯。傳統(tǒng)人臉配準(zhǔn)研究需要一直嘗試尋找更加精準(zhǔn)的特征描述來表達(dá)這種既確定又變化的點的組合，再根據(jù)描述符選擇適當(dāng)?shù)膬?yōu)化求解方法，從而定位人臉特征點。
最直接被采用的特征描述符是顏色、灰度，利用膚色的不同對人臉各部分進(jìn)行檢測定位。 稍復(fù)雜些可選擇各種紋理特征描述，如基于類Haar紋理特征和Adaboost訓(xùn)練級聯(lián)分類器的人臉配準(zhǔn)。以上特征描述都沒有考慮特征點之間的位置關(guān)系，因此不具備維持合理的人臉結(jié)構(gòu)。主動形狀模型（Active Shape Models, ASM）和主動外觀模型(Active Appearance Model, AAM)可以同時表達(dá)紋理和形狀（shape）兩種特征。
二者的形狀特征都由點分布模型（Point Distribution Model, PDM）來表達(dá)。圖4為600張人臉圖像中人臉特征點的統(tǒng)計分布圖，紅點表示各特征點的均值。ASM的每個特征點的紋理特征是分別表示的，通過計算特征點周圍鄰域紋理信息生成每個特征點對應(yīng)的響應(yīng)圖（Response Map）。圖5中藍(lán)色圈定區(qū)域用于計算響應(yīng)圖，紅點指示實際人臉特征點位置。AAM使用整體人臉來描述紋理特征，通過將人臉特征點位置變換到標(biāo)準(zhǔn)形狀上，得到與形狀無關(guān)的人臉紋理,并基于主元分析方法對形狀無關(guān)的人臉紋理進(jìn)行建模。
從2006年開始，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)逐步在計算機(jī)視覺、語音識別和自然語言處理等多個領(lǐng)域取得了前所未有的成功，同樣也給人臉配準(zhǔn)研究帶來了習(xí)習(xí)春風(fēng)。學(xué)者們無需再挖空心思構(gòu)建各種繁瑣復(fù)雜的人臉描述符了。目前學(xué)術(shù)界工業(yè)界比較認(rèn)可的深度人臉配準(zhǔn)方法有兩類：級聯(lián)卷積網(wǎng)絡(luò)人臉配準(zhǔn)(Cascade CNN) 和多任務(wù)深度人臉配準(zhǔn)。
如圖6所示，Cascade CNN包含三級，每級包含多個卷積網(wǎng)絡(luò)。第一級給出一個初始點位置估計，在此基礎(chǔ)上后兩級精細(xì)調(diào)整特征點位置。多任務(wù)配準(zhǔn)將配準(zhǔn)與其他相關(guān)人臉屬性的訓(xùn)練同時進(jìn)行。與臉部特征點相關(guān)的屬性包含頭部姿態(tài)，表情等，比如笑臉的嘴部很可能是張開的，正面臉特征點則對稱分布。多任務(wù)有助于提升特征點檢測定位精度。然而不同的任務(wù)會有不同的收斂速度和難度，訓(xùn)練難度加大。目前學(xué)界提供了兩種解決方案調(diào)整不同的任務(wù)的訓(xùn)練進(jìn)程：任務(wù)提早終止準(zhǔn)則（task-wise early stopping criterion）和參數(shù)動態(tài)控制機(jī)制。
圖6 Cascade CNN 網(wǎng)絡(luò)模型
學(xué)術(shù)界人臉配準(zhǔn)的研究日新月異，工業(yè)界產(chǎn)品應(yīng)用對技術(shù)的要求也越來越高，且不同應(yīng)用場景對人臉配準(zhǔn)提出了不同的要求。
人臉識別業(yè)務(wù)的核心問題是人臉圖像像素之間高層語義的對齊，即人臉關(guān)鍵特征點的定位。錯誤的特征定位會導(dǎo)致提取的人臉描述特征嚴(yán)重變形，進(jìn)而導(dǎo)致識別性能下降。為了更好地支持人臉識別，我們加大了人臉框的變化的范圍，以減少對人臉檢測框大小的依賴。人臉特征點我們選擇五點，既保證一定的人臉結(jié)構(gòu)描述能力，又減小了配準(zhǔn)誤差對人臉識別的影響。
圖7 人臉識別
美妝需要人臉特征點達(dá)到超高精度定位，例如眼妝中的眼線睫毛，只有定位夠精準(zhǔn)，才能達(dá)到自然貼合的美妝效果。為了提供精度，我們采用了級聯(lián)模型，先粗略定位人臉面部特征，再對五官進(jìn)行精細(xì)化定位。
圖8 智能美妝
人臉自拍動效應(yīng)用處理移動端視頻，對配準(zhǔn)的處理速度要求嚴(yán)格。傳統(tǒng)人臉配準(zhǔn)技術(shù)不具備判定跟蹤是否成功的能力，為避免跟蹤過程中出現(xiàn)跟丟的現(xiàn)象（跟蹤到非人臉區(qū)域），必須依賴耗時較長的人臉檢測，我們的人臉配準(zhǔn)增加了人臉判定功能，減少對人臉檢測的依賴。另外我們采用了瘦長型深度神經(jīng)網(wǎng)絡(luò)，并應(yīng)用SVD分解進(jìn)行模型壓縮和算法加速，算法模型大小控制在1M，主流手機(jī)上的處理時間僅需3ms。模型大小和計算速度均為業(yè)界最高水準(zhǔn)。
視頻1 人臉自拍特效
優(yōu)圖實驗室不斷跟進(jìn)技術(shù)發(fā)展趨勢，更新版本。優(yōu)圖人臉配準(zhǔn)技術(shù)從傳統(tǒng)方法遷移到深度學(xué)習(xí)方法，從最新學(xué)術(shù)研究成果到最佳工程取舍，我們經(jīng)過多輪的迭代更新，做了大量的創(chuàng)新和嘗試。于2013年4月發(fā)布了人臉配準(zhǔn)1.0版本，粗略定位人臉五官，4個月后精準(zhǔn)定位的2.0版本也成功發(fā)布，并應(yīng)用在趣味類產(chǎn)品中。之后的版本3.0精度大幅提高，同時在美妝產(chǎn)品中落地。4.0版本開始應(yīng)用深度學(xué)習(xí)方法，精度得到了進(jìn)一步提高，平均精度超過了人工水平。今年5月我們發(fā)布的最新版本5.0采用深度多任務(wù)學(xué)習(xí)方法，在速度和深度網(wǎng)絡(luò)模型大小都得到了大幅優(yōu)化，主流手機(jī)幀率超過200，模型1M，并自帶人臉判定功能。簡介中提到的人臉自拍動效應(yīng)用就得到了此版本的支持。
未來我們一方面著力提升已落地應(yīng)用的用戶體驗，另一方面也積極探索新的應(yīng)用場景。目前自拍視頻的人臉配準(zhǔn)跟蹤效果仍存在不足。要解決此問題，提升用戶體驗依賴于進(jìn)一步研究如何提升人臉配準(zhǔn)的穩(wěn)定性和精準(zhǔn)度。除本文已提到的應(yīng)用以外，優(yōu)圖人臉配準(zhǔn)技術(shù)還可以應(yīng)用于智能門禁系統(tǒng)、互聯(lián)網(wǎng)金融核身、直播行業(yè)等眾多領(lǐng)域。在新的應(yīng)用領(lǐng)域，研究人臉配準(zhǔn)技術(shù)如何滿足新需求是我們必將面對的另一課題。
雷鋒網(wǎng)注：本文由雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請聯(lián)系原作者，并標(biāo)明出處和作者，不得刪減內(nèi)容。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
