丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能 正文
發(fā)私信給camel
發(fā)送

0

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

本文作者: camel 2018-05-16 17:42
導(dǎo)語(yǔ):一文概述指紋識(shí)別的前生今世!

雷鋒網(wǎng)AI 科技評(píng)論按:2018 年 4 月 14 日-15 日,中國(guó)圖象圖形學(xué)學(xué)會(huì)圍繞「生物特征識(shí)別」這一主題,在中科院自動(dòng)化所舉辦第四期「CSIG 圖像圖形學(xué)科前沿講習(xí)班」。

生物特征識(shí)別(BIOMETRICS)技術(shù),是指通過(guò)計(jì)算機(jī)利用人體所固有的生理特征(指紋、虹膜、面相、DNA等)或行為特征(步態(tài)、擊鍵習(xí)慣等)來(lái)進(jìn)行個(gè)人身份鑒定的技術(shù)。

本期講習(xí)班邀請(qǐng)曠視科技首席科學(xué)家孫劍,中科院自動(dòng)化所研究員孫哲南、王亮、赫然,中科院計(jì)算所研究員山世光、清華大學(xué)副教授馮建江、徐明星,中山大學(xué)教授鄭偉詩(shī)等八位學(xué)者分別就人臉、虹膜、指紋、步態(tài)、音紋等人體特征的研究現(xiàn)狀做了詳細(xì)報(bào)告。雷鋒網(wǎng) AI 科技評(píng)論作為合作媒體針對(duì)會(huì)議進(jìn)行報(bào)道。會(huì)議整體內(nèi)容請(qǐng)參考雷鋒網(wǎng)報(bào)道:

CSIG 圖像圖形學(xué)科前沿講習(xí)班,曠視和中科院帶來(lái)生物特征識(shí)別精彩報(bào)告(一)

CSIG 圖像圖形學(xué)科前沿講習(xí)班,山世光等四位學(xué)者帶來(lái)生物特征識(shí)別精彩報(bào)告(二)

本篇文章為講習(xí)班報(bào)告第四篇,由清華大學(xué)副教授馮建江講解,報(bào)告題目為:指紋識(shí)別現(xiàn)狀與研究進(jìn)展。

建江:清華大學(xué)自動(dòng)化系副教授,博士生導(dǎo)師。研究方向?yàn)閳D像處理與模式識(shí)別。 擔(dān)任國(guó)際學(xué)術(shù)期刊《Image and Vision Computing》編委,國(guó)際生物特征識(shí)別學(xué)術(shù) 會(huì)議(International Conference on Biometrics,2014-2016)領(lǐng)域主席,中國(guó)生物 特征識(shí)別學(xué)術(shù)會(huì)議(2015-2018)程序委員會(huì)主席。獲中國(guó)發(fā)明專(zhuān)利 10 項(xiàng)、美國(guó) 發(fā)明專(zhuān)利 4 項(xiàng),指紋技術(shù)授權(quán)國(guó)內(nèi)外領(lǐng)軍企業(yè)。獲國(guó)際會(huì)議最佳論文獎(jiǎng) 3 次、中 國(guó)電子學(xué)會(huì)科技進(jìn)步一等獎(jiǎng) 1 次、教育部自然科學(xué)二等獎(jiǎng) 2 次、國(guó)家基金委優(yōu)秀 青年基金。


馮建江——

我的報(bào)告題目是《指紋識(shí)別現(xiàn)狀與進(jìn)展》。今天報(bào)告分兩個(gè)部分,首先介紹的是指紋識(shí)別的基本概念和方法,然后主要介紹我們實(shí)驗(yàn)室在指紋識(shí)別方面最新的一些工作進(jìn)展。

一、指紋識(shí)別基礎(chǔ)

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 1. 手指皮膚和身體皮膚

人類(lèi)手指上的皮膚和身體的皮膚有很大不同。其一,手指皮膚有凸紋,沒(méi)有毛發(fā),不會(huì)有油脂,但卻有很多汗孔;其二,指紋具有唯一性和穩(wěn)定性,隨著年齡的增長(zhǎng)指紋上雖然會(huì)起皺,但是圖案基本不變;其三,人手接觸各種物體表面通常會(huì)留下痕跡。這些特性就使得指紋特別適合做身份識(shí)別,也即我們所說(shuō)的「指紋識(shí)別」。

那么什么是指紋識(shí)別呢?技術(shù)性的定義就是:利用傳感器、圖象處理、模式識(shí)別的技術(shù)來(lái)自動(dòng)或者半自動(dòng)的識(shí)別兩個(gè)指紋是否一致。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 2. 指紋識(shí)別技術(shù)流程

從上圖中也可以看出,指紋識(shí)別主要有三個(gè)模塊,分別為圖像采集、特征提取和匹配。首先是傳感器得到圖像,然后從圖像上面提取一些顯著的特征,這些特征比較適合做識(shí)別任務(wù),最后對(duì)指紋進(jìn)行匹配工作。

在最后的匹配過(guò)程中,根據(jù)不同的應(yīng)用大致有三種匹配方式。第一是1對(duì)N匹配,例如將在犯罪現(xiàn)場(chǎng)發(fā)現(xiàn)的指紋與指紋數(shù)據(jù)庫(kù)中的指紋進(jìn)行匹配。第二種應(yīng)用是先進(jìn)行1對(duì)N匹配,再進(jìn)行1對(duì)1匹配,例如現(xiàn)在出入境一般就有這兩個(gè)環(huán)節(jié),一個(gè)是給外國(guó)人發(fā)簽證的時(shí)候?yàn)榱朔乐苟嘀厣矸?,要做一個(gè)1對(duì)N的排查,當(dāng)過(guò)關(guān)的時(shí)候則需要1對(duì)1地確定入境的是當(dāng)事人。第三種應(yīng)用就是1對(duì)1的身份驗(yàn)證,這在現(xiàn)在的手機(jī)上面用的比較多。

下面我們針對(duì)指紋識(shí)別的三個(gè)模塊分別做簡(jiǎn)要介紹。

1、圖像采集

指紋圖像的采集可以分兩種。比較早的就是離線(xiàn)采集(off-line method),例如警方一直采用的油墨采集,以及犯罪現(xiàn)場(chǎng)的指紋采集。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 3. 在手指蘸上油墨,在卡片上面把指紋按上去。上面兩排為滾動(dòng)采集,可以采集盡可能多的信息;下面一排為左右手的平面采集,圖像質(zhì)量稍好。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 4. 犯罪現(xiàn)場(chǎng)的指紋采集。這種采集取決于手指按在什么物體上面,以及當(dāng)時(shí)指紋遺留物的分析(油比較多還是汗比較多),有多種提取方式。首先是通過(guò)藥粉或者打特殊光的方式將指紋顯現(xiàn),然后放一把尺子在旁邊拍照,這可以幫助我們把圖像調(diào)到標(biāo)準(zhǔn)的分辨率。最后用膠帶等方式把提取物證,然后拿到法庭用。  

現(xiàn)在普遍使用的則是在線(xiàn)采集(on-line method)。在線(xiàn)采集的原理比較多。有基于光學(xué)全反射原理的,也有通過(guò)電容傳感器或者超聲波等方式的,也有用相機(jī)直接拍照的。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 5. 基于光學(xué)全反射原理的指紋在線(xiàn)采集技術(shù)。其原理就是當(dāng)平行光通過(guò)三棱鏡照在指紋上時(shí),如果是凸起就不會(huì)發(fā)生反射,而如果是空氣就會(huì)全反射。

但是不管什么樣采集方式,最后得到的圖像大概就是下面這三種。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 6. 從左到右分別為油墨指紋、來(lái)自現(xiàn)場(chǎng)的潛指紋和基于光學(xué)全反射原理的指紋

最左邊是用油墨方式得到的,其實(shí)這個(gè)方式和現(xiàn)在光學(xué)采集的圖像很類(lèi)似,質(zhì)量比較好,黑白分明。中間的圖像質(zhì)量比較糟糕,是犯罪現(xiàn)場(chǎng)遺留指紋,對(duì)于沒(méi)有經(jīng)過(guò)特殊訓(xùn)練的人,很難從中找出特征。

指紋的質(zhì)量決定了識(shí)別的準(zhǔn)確率(當(dāng)然其他生物特征的圖像質(zhì)量也是如此)。有很多原因會(huì)造成圖像質(zhì)量差。從傳感器的角度來(lái)說(shuō),不同種類(lèi)的傳感器在分辨率、信噪比、面積大小等方面差異往往是很大的,這對(duì)采集到的信息的多少有很大影響。此外不同人的手指的皮膚狀況也不一樣,有的人皮膚太干燥或太潮濕,或者因?yàn)殚L(zhǎng)期體力工作劃痕比較多/乳突紋被磨平,這都會(huì)造成采集質(zhì)量較差。另外,當(dāng)按手指時(shí),按的方式和手的姿態(tài)也會(huì)對(duì)圖像質(zhì)量有影響。這些低質(zhì)量指紋對(duì)于指紋識(shí)別算法都是很大的挑戰(zhàn)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 7. 最左側(cè)圖像,手指較為干燥,采集到的圖像乳突紋斷裂,表現(xiàn)為很多不連續(xù)的黑點(diǎn);中間圖像,手指較為潮濕,很多地方一團(tuán)黑,線(xiàn)與線(xiàn)之間難以分開(kāi);最右側(cè)圖像,手上裂紋較多。  

2、特征提取

指紋的特征有比較清晰的定義,早些年沒(méi)有自動(dòng)指紋識(shí)別算法時(shí)指紋鑒定專(zhuān)家就利用這樣的特征來(lái)做識(shí)別。這些特征依據(jù)分辨率大致可以分為三個(gè)層次。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 8. 依據(jù)分辨率,指紋特征可以分為三層。

  • 第一層:脊線(xiàn)方向和頻率。即指紋的方向場(chǎng)和脊線(xiàn)的密集程度。脊線(xiàn)方向場(chǎng)中的奇異點(diǎn)也屬于第一層特征,比如這個(gè)指紋的中央有兩個(gè)奇異點(diǎn)。

  • 第二層:脊線(xiàn)。當(dāng)分辨率提高時(shí),我們可以觀察到脊線(xiàn)以及上面的一些特殊點(diǎn)(端點(diǎn)和分叉點(diǎn)),這也叫做細(xì)節(jié)點(diǎn)。

  • 第三層:脊線(xiàn)的內(nèi)外輪廓。當(dāng)分辨率再高一些可以觀察到脊線(xiàn)并不是線(xiàn),我們可以看到它有自己的外輪廓,中間還有一些白色空洞(即汗孔);不同手指上這些汗孔的位置和形態(tài)也存在差異。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 9. 指紋特征提取一般只提取前兩層特征

現(xiàn)在的指紋識(shí)別系統(tǒng)主要利用的是前兩層特征,因?yàn)榈谌龑犹卣鲗?duì)于采集儀和手指皮膚的狀況要求比較高,太過(guò)敏感。所以下面只介紹第一層和第二層特征的提取。通常的做法是先提取第一層特征,然后在第一層特征的指引下提取第二層特征。

第一層特征提取

在提取指紋的方向場(chǎng)和頻率的時(shí)候,一般會(huì)做這樣的假設(shè),即指紋的局部圖像可以用一個(gè)近似二維的正弦波來(lái)表示。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 10. 將局部指紋圖像顯示為曲面

如圖 10 中右圖所示,把圖像的亮度直接作為曲面的高度,顯示出來(lái)就類(lèi)似一個(gè)正弦波,該正弦波的參數(shù)就表示了指紋局部的方向和頻率。我們通過(guò)傅里葉變換的方式可以很容易地求解出這些參數(shù)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 11. 方向場(chǎng)平滑

通過(guò)這種局域分析方式分析每個(gè)小模塊有一個(gè)問(wèn)題,即在有噪聲的地方會(huì)出錯(cuò)。解決的方法就是做方向場(chǎng)的平滑。具體就如上圖所示,先將向量場(chǎng)分解成向量的正弦和余弦,然后分別對(duì)這兩個(gè)圖像做平滑,最后再將平滑過(guò)的兩個(gè)圖像還原成平滑的方向場(chǎng)。

第二層特征提取

有了方向場(chǎng)和頻率之后,接下來(lái)就是做脊線(xiàn)的提取。但是由于脊線(xiàn)上有相對(duì)比較明亮的汗孔,或者由于干裂等導(dǎo)致的脊線(xiàn)斷裂,或者由于手指潮濕使得相鄰脊線(xiàn)粘連等原因,脊線(xiàn)一般不能夠進(jìn)行直接提取,而需要先做增強(qiáng)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 12. 在 8 個(gè)定向和 3 個(gè)頻率下的 Gabor 濾波器濾波結(jié)果。

針對(duì)一般圖像的增強(qiáng)方法對(duì)于指紋來(lái)說(shuō)效果通常不是很好;在指紋增強(qiáng)中比較有效的方法是「上下文濾波」,一個(gè)典型的方法就是Gabor濾波器。Gabor濾波器本身是一個(gè)復(fù)濾波器,指紋增強(qiáng)只用到它的實(shí)部。從上圖可以看出,經(jīng)過(guò)Gabor濾波之后,指紋圖像上的脊線(xiàn)不再有汗孔,粘連的脊線(xiàn)也會(huì)分開(kāi),斷裂的地方也會(huì)連起來(lái)。由于指紋各處脊線(xiàn)的方向和頻率不同,每個(gè)位置到底該用哪種參數(shù)的Gabor濾波器,是需要按照該位置的方向以及頻率來(lái)挑選的。  

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 13. 二值圖像

然后就可以對(duì)這些增強(qiáng)圖用傳統(tǒng)的閾值化方法得到二值圖像,再對(duì)它做形態(tài)學(xué)處理,可以得到細(xì)化圖;通過(guò)分析細(xì)化圖可以檢測(cè)出來(lái)上面的端點(diǎn)以及分叉點(diǎn),還可以進(jìn)一步推斷出來(lái)這些細(xì)節(jié)點(diǎn)的方向。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 14. 去除偽細(xì)節(jié)點(diǎn)

最后,指紋圖像的質(zhì)量通常不是理想的,所以即便經(jīng)過(guò)前面的增強(qiáng),做了細(xì)化和細(xì)節(jié)點(diǎn)提取,但總還會(huì)出現(xiàn)一些假的細(xì)節(jié)點(diǎn),所以還需要做一步細(xì)節(jié)點(diǎn)的驗(yàn)證,這一步會(huì)識(shí)別出很多典型的偽細(xì)節(jié)點(diǎn),比如圖像邊緣的偽細(xì)節(jié)點(diǎn)、成對(duì)出現(xiàn)的方向相反的偽細(xì)節(jié)點(diǎn)等。通過(guò)這些規(guī)律可以盡量把偽細(xì)節(jié)點(diǎn)去掉。  

3、匹配

大部分指紋匹配算法是基于細(xì)節(jié)點(diǎn)的匹配,所以這個(gè)步驟就是一個(gè)點(diǎn)匹配的問(wèn)題。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 15. 細(xì)節(jié)點(diǎn)匹配

跟一般的點(diǎn)匹配不同的是,指紋細(xì)節(jié)點(diǎn)是帶方向的;細(xì)節(jié)點(diǎn)的類(lèi)型(端點(diǎn)或者分叉點(diǎn))用的比較少,因?yàn)辄c(diǎn)的類(lèi)型不是特別穩(wěn)定。

做細(xì)節(jié)點(diǎn)匹配的時(shí)候,很重要的一個(gè)步驟就是指紋的對(duì)齊。指紋識(shí)別與人臉識(shí)別或虹膜識(shí)別不太一樣,它的姿態(tài)不好確定,所以拿到兩個(gè)圖像之后只能找到一個(gè)相對(duì)的旋轉(zhuǎn)和平移關(guān)系,只是相對(duì)對(duì)齊,而人臉和虹膜可以做絕對(duì)的對(duì)齊。指紋對(duì)齊之后就可以找到對(duì)應(yīng)點(diǎn),然后通常某種方法算出匹配分?jǐn)?shù)。

4、現(xiàn)在指紋識(shí)別有哪些難題?

雖然現(xiàn)在指紋識(shí)別已經(jīng)取得了很多應(yīng)用,但仍然存在一系列有待解決的難題。

  • 首先,對(duì)于低質(zhì)量指紋的識(shí)別率還比較低。雖然現(xiàn)在大部分手機(jī)都帶有指紋識(shí)別功能,但用的時(shí)候體驗(yàn)并不總是很好;此外,公安領(lǐng)域的低質(zhì)量指紋很多,對(duì)它們的識(shí)別率仍然有待進(jìn)一步提高;

  • 其次,大數(shù)據(jù)庫(kù)下識(shí)別率和效率需要提高。假如某個(gè)算法的1對(duì)1錯(cuò)誤匹配率為萬(wàn)分之一的話(huà),那么放到大型的數(shù)據(jù)庫(kù)中做1對(duì)N識(shí)別出錯(cuò)的概率就非常高。數(shù)據(jù)庫(kù)越大,對(duì)于識(shí)別率的要求就越苛刻。

  • 此外,理論極限不清楚。例如在刑偵中,根據(jù)DNA的統(tǒng)計(jì)模型可以非常準(zhǔn)確地計(jì)算出兩個(gè)DNA樣本的隨機(jī)匹配率;但是對(duì)于指紋識(shí)別,目前很難估計(jì)出準(zhǔn)確的隨機(jī)匹配概率,所以在法庭上指紋匹配的證據(jù)還缺少非常完善的統(tǒng)計(jì)理論支持,出錯(cuò)的案例也曾發(fā)生過(guò)。

  • 另外,偽指紋難以檢測(cè)。各種生物特征現(xiàn)在都有偽造,如何檢測(cè)出、且以低成本檢測(cè)出偽造的指紋,還是比較難的問(wèn)題。

  • 最后,指紋模板的安全問(wèn)題。現(xiàn)在生物特征(比如指紋)在很多場(chǎng)合下都扮演著密碼的功能;但是現(xiàn)代計(jì)算機(jī)安全系統(tǒng)對(duì)密碼都進(jìn)行了非可逆變換,這樣即使系統(tǒng)被破解了,也無(wú)法輕易得到原來(lái)的密碼。而目前的生物特征識(shí)別系統(tǒng)沒(méi)有對(duì)生物特征做非可逆加密,所以仍存在著極大的安全問(wèn)題。

二、研究工作

我們研究組主要是做低質(zhì)量指紋的識(shí)別,以及大數(shù)據(jù)庫(kù)下的指紋檢索。下面分四個(gè)方向介紹,分別為手指的姿態(tài)估計(jì)、方向場(chǎng)估計(jì)、扭曲場(chǎng)估計(jì)、指紋稠密配準(zhǔn)。

1、姿態(tài)估計(jì)

為什么要做手指的姿態(tài)估計(jì)?

可能有人會(huì)問(wèn),為什么要做手指的姿態(tài)估計(jì)呢?在人臉識(shí)別/虹膜識(shí)別中,大家是不會(huì)去想這個(gè)問(wèn)題的,因?yàn)楫?dāng)你檢測(cè)完人臉/虹膜,姿態(tài)基本上就確定了。但是指紋不是,例如手機(jī)指紋解鎖功能,希望做到各個(gè)姿態(tài)按手指都可以完成解鎖;犯罪現(xiàn)場(chǎng)的指紋也是各種角度的都有。因此過(guò)去的指紋識(shí)別算法都沒(méi)有做姿態(tài)的約束,而是直接去設(shè)計(jì)容忍各種旋轉(zhuǎn)、偏移的匹配。我們的猜想是,如果我們能夠估計(jì)出比較準(zhǔn)確的手指的姿態(tài),或許就可以提高指紋的識(shí)別率和識(shí)別速度。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 16. 帶有姿態(tài)約束的細(xì)節(jié)點(diǎn)匹配可以大大減少候選細(xì)節(jié)點(diǎn)  

以上圖為例,當(dāng)我們?cè)谧鰞蓚€(gè)指紋的細(xì)節(jié)點(diǎn)匹配時(shí),如果是在完全不知道兩個(gè)指紋姿態(tài)的情況下,只看局部的描述子的相似度來(lái)找對(duì)應(yīng)點(diǎn),那么就會(huì)有許多候選點(diǎn)需要考慮;但如果我們通過(guò)某種方式把指紋的姿態(tài)估計(jì)出來(lái),就可以把候選點(diǎn)減少很多,這對(duì)于后面匹配速度和精度都有極大的幫助。

過(guò)去缺少關(guān)于手指姿態(tài)的研究,主要是因?yàn)槭种傅淖藨B(tài)很難定義。但是我們的假設(shè)是,即使姿態(tài)定義的不是特別精確,應(yīng)該也會(huì)有用?;谶@樣的想法,我們是這樣定義姿態(tài)的:一個(gè)真實(shí)的手指,它的中心大約是幾何上的中心,方向就是從中心指向指尖。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 17. 手指姿態(tài)定義

而實(shí)際上,我們看不到完整的手指,我們能看到的只是一幅不完整的指紋圖像,也就是說(shuō),指紋圖像往往只是手指的局部,所以我們只能盡量去預(yù)測(cè)手指的中心和方向。

滑動(dòng)窗口方法

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 18. 正樣本和負(fù)樣本的定義

當(dāng)有了這個(gè)姿態(tài)定義后,后面的估計(jì)方法其實(shí)就有點(diǎn)像人臉檢測(cè)或物體檢測(cè)了。我們最先嘗試過(guò)用傳統(tǒng)的滑動(dòng)窗口的方法,標(biāo)準(zhǔn)的姿態(tài)就是正樣本,非標(biāo)準(zhǔn)的姿態(tài)是負(fù)樣本,我們可以用每個(gè)位置的方向分布作為特征向量,來(lái)訓(xùn)練這樣的檢測(cè)器。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 19. 滑動(dòng)窗口方法

其實(shí)流程比較常規(guī),類(lèi)似行人檢測(cè)的基本流程,最后得到一些響應(yīng)圖,每個(gè)響應(yīng)圖對(duì)應(yīng)的是某一個(gè)方向指紋出現(xiàn)的概率;我們找到響應(yīng)最強(qiáng)的,就把指紋的位置和方向檢測(cè)出來(lái)了。

深度學(xué)習(xí)方法

前面用的是比較傳統(tǒng)的分類(lèi)器,后來(lái)我們嘗試了深度學(xué)習(xí)的方法。我們嘗試 對(duì)Faster R-CNN 模型做了修改,把不同角度的指紋當(dāng)成不同的類(lèi)去檢測(cè)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 20. 深度學(xué)習(xí)方法

這里面我們需要解決兩個(gè)問(wèn)題。一個(gè)是類(lèi)內(nèi)的合并,也就是把同一個(gè)角度的多重響應(yīng)合并起來(lái);另一個(gè)是類(lèi)間的合并,根據(jù)各個(gè)角度檢測(cè)的結(jié)果差值出一個(gè)角度分辨率比較高的角度。

那么如何評(píng)價(jià)指紋姿態(tài)估計(jì)算法的好壞呢?我們有三種類(lèi)型的評(píng)測(cè)。首先,算法估計(jì)的結(jié)果跟專(zhuān)家憑經(jīng)驗(yàn)標(biāo)注的姿態(tài)是否一致?我們的結(jié)果顯示大約有 95% 以上的指紋位置偏差小于 2.6 毫米,角度偏差小于 5 度;另外我們發(fā)現(xiàn)深度網(wǎng)絡(luò)方法要比傳統(tǒng)分類(lèi)器的性能好一些。第二,對(duì)于同一個(gè)手指按出的兩個(gè)指紋圖像,算法估計(jì)出的姿態(tài)是否一致?我們的實(shí)驗(yàn)結(jié)果顯示,95% 的指紋位置偏差小于 2.4毫米,方向偏差小于 7 度。第三,在檢索中,該算法是否能夠提高速度和精度?通過(guò)與前人方法的實(shí)驗(yàn)對(duì)比,我們發(fā)現(xiàn)通過(guò)估計(jì)姿態(tài)的方法確實(shí)可以大大地降低搜索時(shí)間和錯(cuò)誤率。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 21. 在大庫(kù)檢索中利用估計(jì)的指紋姿態(tài), 無(wú)論在速率還是錯(cuò)誤率上的表現(xiàn)都得到大大地提升。

低質(zhì)量指紋姿態(tài)的估計(jì)

前面的案例處理的都是比較完整的指紋,但犯罪現(xiàn)場(chǎng)的指紋往往沒(méi)有那么理想。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 22. 犯罪現(xiàn)場(chǎng)指紋

對(duì)于這個(gè)問(wèn)題,我們的姿態(tài)預(yù)測(cè)方法可以和人臉姿態(tài)預(yù)測(cè)作類(lèi)比。當(dāng)只有一幅殘缺的人臉圖像時(shí),我們依然能夠大致估計(jì)出人臉的中心和方向;當(dāng)有效圖像面積較大時(shí),我們可以把預(yù)測(cè)累加,得到一個(gè)更可靠的人臉中心預(yù)測(cè)。同樣的道理,我們也可以將很多基于局部指紋圖像的姿態(tài)預(yù)測(cè)結(jié)果加以累加,獲得一個(gè)更可靠的指紋姿態(tài)估計(jì)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 23. 離線(xiàn)學(xué)習(xí)指紋局部塊的概率分布

在這個(gè)算法中,我們首先需要一個(gè)離線(xiàn)的學(xué)習(xí)階段。我們首先有了指紋上很多局部塊分布的概率,對(duì)于這些塊,對(duì)它們做聚類(lèi);對(duì)于每個(gè)類(lèi)中的樣本,我們都知道它們?cè)谥讣y中的位置,從而可以估計(jì)出每個(gè)類(lèi)在指紋圖像中的分布概率。從上面圖可以看到,不同類(lèi)型的方向塊在指紋上出現(xiàn)的概率是不一樣的。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 24. 在線(xiàn)預(yù)測(cè)指紋的手指中心

現(xiàn)在給定一幅新的指紋圖像,便可以用剛才學(xué)習(xí)到的概率圖做預(yù)測(cè)了,我們將根據(jù)各個(gè)局部指紋塊預(yù)測(cè)得到的概率圖疊加起來(lái),最后檢測(cè)到最亮的點(diǎn),就是預(yù)測(cè)出的手指中心。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 25. 在線(xiàn)預(yù)測(cè)手指方向

通過(guò)對(duì)方向場(chǎng)做各種旋轉(zhuǎn),我們可以對(duì)各個(gè)角度的指紋做預(yù)測(cè),最后選擇響應(yīng)最強(qiáng)的作為指紋的方向,上圖中我們用箭頭長(zhǎng)度來(lái)表示強(qiáng)度。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 26. 犯罪現(xiàn)場(chǎng)低質(zhì)量指紋的姿態(tài)預(yù)測(cè)結(jié)果

上圖是對(duì)一些低質(zhì)量現(xiàn)場(chǎng)指紋估計(jì)出來(lái)的指紋中心和角度。我們把結(jié)果拿給指紋專(zhuān)家確認(rèn)過(guò),基本上是合理的。對(duì)非常殘缺的現(xiàn)場(chǎng)指紋來(lái)說(shuō),做到這樣的估計(jì)已經(jīng)不錯(cuò)了,因?yàn)楹茈y給出像素級(jí)精度的預(yù)測(cè)。

2、方向場(chǎng)估計(jì)

在指紋特征提取里面方向場(chǎng)的提取應(yīng)該是最關(guān)鍵的一步,因?yàn)楹竺嫣崛〖咕€(xiàn)和細(xì)節(jié)點(diǎn),對(duì)方向場(chǎng)提取性能的依賴(lài)都特別強(qiáng)。

如前面介紹到,過(guò)去方向場(chǎng)的估計(jì)一般是兩步。第一是局部的方法,通過(guò)分析梯度、傅里葉變換等求出方向場(chǎng);但是局部方法在有噪聲的區(qū)域會(huì)出錯(cuò),所以后面會(huì)接一步,用低通濾波或擬合全局參數(shù)化模型等把方向場(chǎng)規(guī)范化。這些方法對(duì)于質(zhì)量較好的指紋還行,但是對(duì)于質(zhì)量較差的(例如犯罪現(xiàn)場(chǎng)指紋)就比較糟糕了。所以過(guò)去犯罪現(xiàn)場(chǎng)指紋的特征一般都是專(zhuān)家手工標(biāo)注。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖27. 左,梯度分析加全局參數(shù)化模型擬合出的方向場(chǎng);右,專(zhuān)家手工標(biāo)注的方向場(chǎng)??梢钥闯鰯M合結(jié)果和專(zhuān)家標(biāo)注的偏差還是很大的。

專(zhuān)家標(biāo)注的方向場(chǎng)為什么就比較好呢?原因就在于專(zhuān)家有許多關(guān)于指紋的先驗(yàn)知識(shí);通過(guò)這樣的先驗(yàn)知識(shí),專(zhuān)家可以把不正確的方向場(chǎng)排除出去。于是我們就想,我們能否在方向場(chǎng)的估計(jì)中使用先驗(yàn)知識(shí)呢?

方向場(chǎng)字典

我們面臨的問(wèn)題就是,如何表示、學(xué)習(xí)和使用指紋方向場(chǎng)的先驗(yàn)知識(shí)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 28. 指紋的方向場(chǎng)與英文單詞類(lèi)似,也可以建立一個(gè)字典作為先驗(yàn)知識(shí)。

這里我們受到了拼寫(xiě)檢查技術(shù)的啟發(fā)。在英文單詞拼寫(xiě)中,如果把字母隨機(jī)組合,那么合成出的單詞通常是錯(cuò)的;真正合理的單詞在所有可能的排列中只占很少的比例;拼寫(xiě)檢測(cè)器通過(guò)將字母組合與字典(先驗(yàn)知識(shí))進(jìn)行比對(duì),從而來(lái)糾正拼寫(xiě)的錯(cuò)誤。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 29. 類(lèi)似拼寫(xiě)糾錯(cuò),指紋方向場(chǎng)也可以依據(jù)字典來(lái)糾錯(cuò)。

事實(shí)上,指紋的方向場(chǎng)也是如此。如果每個(gè)方向元素隨機(jī)組合,那么大部分組合將與真實(shí)的指紋有很大偏差;真實(shí)指紋的方向場(chǎng)可能只占所有可能的組合結(jié)果中的極小一部分。如果我們構(gòu)建一個(gè)指紋方向場(chǎng)的字典把先驗(yàn)知識(shí)記錄下來(lái),那么就可以依據(jù)字典對(duì)擬合出的方向場(chǎng)進(jìn)行糾錯(cuò)了。

這里還有一個(gè)模糊性問(wèn)題。在自然語(yǔ)言中,我們知道一個(gè)詞拼錯(cuò)了,但是跟它距離接近的詞太多了,我們可能不知道該如何進(jìn)行替換;一個(gè)方法就是根據(jù)上下文來(lái)把這種歧義性消除掉。同樣,方向場(chǎng)的這個(gè)問(wèn)題也可以通過(guò)整體的連續(xù)性來(lái)解決。

方向場(chǎng)字典的定義:對(duì)于指紋圖像,我們將之切分成很多大小相同的區(qū)塊(patch),每個(gè)區(qū)塊包含 N×N 個(gè)方向元素,其中方向元素代表了 m × m 像素區(qū)域中的方向,我們稱(chēng)區(qū)塊為字典中的一個(gè)詞。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 30. 字典中的一個(gè)詞所覆蓋的區(qū)域,詞的大小選為 8×8個(gè)方向元素,每個(gè)方向元素代表了 16×16 個(gè)像素點(diǎn)的方向。

字典的學(xué)習(xí)和使用

我們?cè)O(shè)計(jì)的算法流程如下圖所示。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 31. 字典的學(xué)習(xí)和使用流程圖

首先是離線(xiàn)的學(xué)習(xí)階段,從很多高質(zhì)量的指紋方向場(chǎng)里面學(xué)習(xí)得到字典。當(dāng)輸入一個(gè)質(zhì)量特別糟糕的現(xiàn)場(chǎng)指紋時(shí),先用傳統(tǒng)的方法求出一個(gè)帶噪聲的方向場(chǎng),然后通過(guò)查字典的方式在每個(gè)位置上查到一個(gè)(或一些)侯選元素,然后依據(jù)連續(xù)性原則選出比較一致的元素(可以去除模糊性),最后得到質(zhì)量較好的方向場(chǎng)。

在學(xué)習(xí)字典的時(shí)候,我們用質(zhì)量比較高的指紋,因?yàn)檫@樣的指紋可以用傳統(tǒng)算法把方向場(chǎng)求的比較準(zhǔn)確,這樣就不需要人做太多的標(biāo)注工作。然后在上面掃描窗口,最后做聚類(lèi)就可以得到這個(gè)字典。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 32. 輸入指紋,得到帶噪聲的方向場(chǎng)。

當(dāng)對(duì)輸入的指紋求初始方向場(chǎng)時(shí),我們先做短時(shí)傅里葉變換(即在小窗口做局部傅里葉變換),然后通過(guò)檢測(cè)亮點(diǎn)來(lái)估計(jì)方向。這樣得到的結(jié)果里面噪聲非常強(qiáng)。但是沒(méi)有關(guān)系,我們可以在后面通過(guò)查字典的方式來(lái)解決。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 33. 方向塊的相似度

查字典時(shí),我們需要定義一個(gè)相似度,即 ns/nf = 方向元素差異小于某個(gè)值的元素個(gè)數(shù) / 初始方向塊中元素的個(gè)數(shù),如圖所示。這種定義,即使有些元素的噪聲特別強(qiáng)烈,仍然會(huì)有較高的魯棒性。這里需要提到的一點(diǎn)是,字典中字的尺寸會(huì)對(duì)相似度及其魯棒性有很大的影響。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 34. 能量函數(shù)

在考慮上下文約束的時(shí)候,我們定義一個(gè)能量函數(shù)。能量函數(shù)有兩項(xiàng),第一項(xiàng)反映的是侯選方向場(chǎng)和初始方向場(chǎng)的相似程度,另外一項(xiàng)反映的是相鄰兩個(gè)侯選之間重疊區(qū)的相似程度。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 35. 兼容度

比如這兩個(gè)例子,左邊這個(gè)是重疊區(qū)比較一致,它的兼容度比較高。右邊這個(gè)重疊區(qū)不太一致,兼容度低一些。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 36. 兼容度矩陣

這樣我們對(duì)于相鄰的兩個(gè)區(qū)域可以定義出一個(gè)兼容性矩陣,最后用經(jīng)典的方法做優(yōu)化即可。下圖對(duì)比了三種方向場(chǎng)估計(jì)方法結(jié)合Gabor濾波的結(jié)果。字典法去除噪聲的能力明顯優(yōu)于其他兩種方法。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 37

局部字典——更強(qiáng)的先驗(yàn)知識(shí)

通過(guò)分析我們發(fā)現(xiàn)這個(gè)算法仍然有它的缺點(diǎn)。上面的方法我們叫做全局字典,經(jīng)過(guò)它處理之后每個(gè)局部都是比較真實(shí)的,但是在有些地方仍然會(huì)出現(xiàn)一些不可能出現(xiàn)的方向場(chǎng)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 38. 指紋方向場(chǎng)的局部特性

我們觀察發(fā)現(xiàn)發(fā)現(xiàn)指紋還有一個(gè)更強(qiáng)的先驗(yàn)知識(shí),即指紋方向場(chǎng)跟指尖、指關(guān)節(jié)的分布也有關(guān)系,指關(guān)節(jié)位置大部分脊線(xiàn)是水平的,指尖位置的脊線(xiàn)基本上是一個(gè)弧線(xiàn)。所以如果我們知道手指姿態(tài)的話(huà),就可以利用更強(qiáng)的局部先驗(yàn)知識(shí)了。所以我們構(gòu)造局部化的字典,也即指紋的每個(gè)位置都有自己的方向字典;而不像前面整個(gè)指紋共用一個(gè)字典。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 39. 基于局部字典的方向場(chǎng)估計(jì)流程

指紋識(shí)別系統(tǒng)的流程圖如上所示。與前面的方法相比,多了一步手指姿態(tài)的估計(jì),此外在查找字典時(shí)是查找各自對(duì)應(yīng)位置的字典進(jìn)行校正。這樣從而就避免了在某些位置上出現(xiàn)奇怪的方向場(chǎng)。實(shí)驗(yàn)結(jié)果如下圖所示:

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 40. 全局字典法和局部字典法的對(duì)比

3、扭曲場(chǎng)估計(jì)

為什么要做扭曲場(chǎng)估計(jì)?

由于手指是凸且柔軟的,所以每次按壓力度、角度的不同,都會(huì)使指紋發(fā)生不同的變形。因此指紋的變形是永遠(yuǎn)存在的,給指紋識(shí)別帶來(lái)困難的不是指紋變形本身,而是變形的不一致。

在指紋采集中有一個(gè)標(biāo)準(zhǔn)的按壓方法:手指放平,垂直按壓,適度用力,按壓后不要搓動(dòng)或旋轉(zhuǎn)。這樣可以盡量保持指紋變形一致。我們將按照這種方法得到的指紋稱(chēng)為正常指紋,否則就稱(chēng)為扭曲指紋。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 41. 同一手指的不同扭曲指紋的匹配差異很大。

扭曲指紋變形如果較大的話(huà),對(duì)于識(shí)別是非常困難的,例如上圖一個(gè)手指的三個(gè)圖像,我們做匹配發(fā)現(xiàn),左邊兩個(gè)的匹配分?jǐn)?shù)達(dá)329分,但右邊兩個(gè)的匹配分?jǐn)?shù)只有12。而根據(jù)這個(gè)匹配算法,小于60分的即認(rèn)為是不同的指紋。

之前對(duì)于這個(gè)問(wèn)題的處理有三種方法。一種是修改匹配算法以容忍扭曲。這種做法的缺點(diǎn)就是會(huì)造成不同指紋也變得比較像,此外因?yàn)槿萑痰淖冃闻で?,所以匹配速度也?huì)變慢。第二種是使用壓力傳感器、視頻跟蹤檢測(cè)扭曲。目前這種方法還只是出現(xiàn)在文章中,實(shí)際應(yīng)用中還沒(méi)有發(fā)現(xiàn)。它的缺點(diǎn)是采集復(fù)雜,采集儀成本比較高,無(wú)法檢測(cè)現(xiàn)有指紋數(shù)據(jù)庫(kù)中的扭曲指紋,也不能校正扭曲指紋。第三種是將脊線(xiàn)距離歸一化,這種方法是 IBM 沃森實(shí)驗(yàn)室在 2001 年提出的方案,他們覺(jué)得指紋變形之后線(xiàn)的距離就會(huì)發(fā)生變化,如果歸一化就可以把變形去掉。但這個(gè)方法的缺點(diǎn)是,這個(gè)假設(shè)本身就不對(duì),指紋的脊線(xiàn)并不是均勻分布,所以這樣強(qiáng)行歸一化會(huì)造成新的扭曲。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 42. 類(lèi)似于識(shí)別夸張表情的人臉,先判斷指紋是否扭曲,再對(duì)于扭曲指紋做校正。  

我們的方案是:先通過(guò)分類(lèi),判斷一個(gè)指紋是正常指紋還是扭曲指紋;如果有扭曲的話(huà),就進(jìn)行扭曲校正。做個(gè)類(lèi)比,在人臉識(shí)別中,如果表情是中性,那么就直接做識(shí)別;否則就先進(jìn)行表情中性化,然后再做識(shí)別。我們這種方案的優(yōu)點(diǎn)有很多,首先現(xiàn)有的指紋采集儀不需要做任何改動(dòng),現(xiàn)有數(shù)據(jù)庫(kù)中的扭曲指紋也可以做校正,對(duì)于犯罪現(xiàn)場(chǎng)的指紋同樣可以處理。  

扭曲場(chǎng)分類(lèi)

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 43. 扭曲指紋分類(lèi):正常或扭曲二分法。

上圖是扭曲檢測(cè)的流程。我們將扭曲檢測(cè)看成是一個(gè)二分問(wèn)題(扭曲或正常),因?yàn)殡m然扭曲是一個(gè)連續(xù)過(guò)程,但二分方法更好設(shè)計(jì),性能也相對(duì)較好。分類(lèi)器就是標(biāo)準(zhǔn)的SVM分類(lèi)器,訓(xùn)練數(shù)據(jù)采用正常和扭曲指紋,選取分析的特征是方向場(chǎng)和周期圖。做這一步之前,需要先估計(jì)一下指紋的姿態(tài),否則特征向量是沒(méi)有意義的。

扭曲場(chǎng)校正

接下來(lái)做扭曲的校正,這等價(jià)于估計(jì)扭曲場(chǎng)。扭曲指紋可以視為將一個(gè)未知的扭曲場(chǎng) d 作用于一個(gè)正常指紋(也是未知的)而得到。如果可以估計(jì)某個(gè)扭曲指紋的扭曲場(chǎng) d,就可 以利用 d 的逆函數(shù)對(duì)扭曲指紋進(jìn)行校正。但是由于扭曲場(chǎng)的維度非常高,所以這是一個(gè)很難的回歸問(wèn)題。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 44. 扭曲場(chǎng)的校正

我們的方案是,構(gòu)造一個(gè)參考數(shù)據(jù)庫(kù),這個(gè)數(shù)據(jù)庫(kù)里面記錄了各種類(lèi)型的扭曲場(chǎng),以及對(duì)應(yīng)的方向場(chǎng)和周期圖;新來(lái)的圖像,我們提取出它的方向場(chǎng)和周期圖后,與數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行比較,如果有匹配的參考扭曲指紋,那么我們認(rèn)為這個(gè)新的圖像也有類(lèi)似的變形,然后根據(jù)對(duì)應(yīng)的變形場(chǎng)對(duì)它做校正。

這里很關(guān)鍵的一步就是,參考的扭曲指紋庫(kù)是怎么構(gòu)造。我們的方法是,采集一批各種扭曲的指紋視頻,對(duì)每一段視頻,我們通過(guò)細(xì)節(jié)點(diǎn)追蹤的方法估計(jì)出首尾幀之間的扭曲場(chǎng)。我們采集了十種類(lèi)型的扭曲指紋,例如向上、向下、向左、向右、各種旋轉(zhuǎn)等。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 45. 收集的 10 種扭曲場(chǎng)類(lèi)型

然后利用 PCA 獲得扭曲場(chǎng)的統(tǒng)計(jì)模型。將這些模型的主成分進(jìn)行合成(例如上下與左右的合成)來(lái)系統(tǒng)地合成大量扭曲場(chǎng),用這些合成的扭曲場(chǎng)對(duì)正常指紋做變形,從而得到扭曲指紋,提取出這些合成扭曲指紋的方向場(chǎng)、周期圖,從而構(gòu)造出這樣一個(gè)數(shù)據(jù)庫(kù),這個(gè)數(shù)據(jù)庫(kù)中包含扭曲的方向場(chǎng)和周期圖,以及相應(yīng)的合成扭曲場(chǎng)。

對(duì)于新輸入的扭曲指紋,提取出其方向場(chǎng)和周期圖后,查找數(shù)據(jù)庫(kù)中最近鄰的方向場(chǎng)和周期圖;再根據(jù)對(duì)應(yīng)的扭曲場(chǎng)對(duì)輸入指紋進(jìn)行扭曲較正。下面這是一個(gè)較正較為成功的例子:

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展圖 46. 左邊是數(shù)據(jù)庫(kù)中的指紋,右邊是對(duì)應(yīng)的犯罪現(xiàn)場(chǎng)指紋,面積很小且有扭曲。當(dāng)直接做識(shí)別時(shí),在一個(gè)兩萬(wàn)多人的庫(kù)中排名兩千多名;而經(jīng)過(guò)校正,排名提升到第一名。

4、指紋稠密配準(zhǔn)

對(duì)于指紋識(shí)別,過(guò)去大家只是做細(xì)節(jié)點(diǎn)這個(gè)層次的對(duì)應(yīng)關(guān)系,而沒(méi)有考慮稠密配準(zhǔn)。清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 47. 基于細(xì)節(jié)點(diǎn)的配準(zhǔn)效果比較差。

對(duì)于只根據(jù)細(xì)節(jié)點(diǎn)來(lái)對(duì)準(zhǔn)兩個(gè)指紋(重疊的線(xiàn)用綠色顯示),不管是剛體變換還是薄板樣條(TPS)變換,重疊效果大多并不好。我們希望能夠把指紋上所有區(qū)域的所有脊線(xiàn)都對(duì)得比較好。上圖右側(cè)是我們希望稠密配準(zhǔn)能夠達(dá)到的效果。

常規(guī)的稠密配準(zhǔn)方法是首先建立細(xì)節(jié)點(diǎn)之間的對(duì)應(yīng)關(guān)系,然后將細(xì)節(jié)點(diǎn)所在的脊線(xiàn)建立對(duì)應(yīng)關(guān)系。這種方法的缺點(diǎn)是,由于這是采樣點(diǎn)級(jí)別的對(duì)應(yīng),所以運(yùn)算量非常大,且精度也不是很高。我們想到了一個(gè)新的方法,即借鑒通信領(lǐng)域的相位調(diào)制解調(diào)方法,即通信中用電磁波發(fā)送信息時(shí),將信號(hào)調(diào)制在載波上;到達(dá)接收端再進(jìn)行解調(diào),恢復(fù)信號(hào)。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 48. 通信領(lǐng)域中的相位調(diào)制解調(diào)機(jī)制

指紋圖像在局域上正是一個(gè)二維的正弦波圖像。借鑒相位調(diào)制解調(diào)機(jī)制,我們可以先生成一個(gè)標(biāo)準(zhǔn)的二維正弦波,對(duì)這樣的一個(gè)條紋圖像,對(duì)它做扭曲實(shí)際上就可以等價(jià)為對(duì)它的相位做偏移;這個(gè)偏移不是對(duì)圖像做變形,而是對(duì)每個(gè)點(diǎn)的相位加上一個(gè)值,所以是通過(guò)加法,而不是通過(guò)幾何變形,來(lái)得到扭曲圖像。于是我們可以通過(guò)相位的方式來(lái)得到圖像的變形,反過(guò)來(lái)也可以通過(guò)求解相位的方式來(lái)求解圖像的變形。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 49. 由相位差求解扭曲場(chǎng)

如上圖所示,當(dāng)給出原始圖像和扭曲圖像,分別求解得到其相位場(chǎng)后,對(duì)應(yīng)位置相減便可以得到一個(gè)相位差的圖像,為了去除相位0到2pi的跳變對(duì)相位差圖像做一個(gè)去包裹變換后,就可以直接推算出扭曲場(chǎng)。于是我們可以通過(guò)圖像加減的方法把圖像的扭曲場(chǎng)求出。

這里需要解釋一下,我們把原始指紋圖像(灰度圖像)轉(zhuǎn)成相位的方式,實(shí)際上就是把指紋寫(xiě)成 f (x, y) 的表達(dá)式:

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

表達(dá)式中包括有一個(gè)偏移量(可以看成是亮度),加一個(gè)余弦波,波有它的幅度,還有相位,最后加一個(gè)噪聲項(xiàng)。

相位的提取一般是用復(fù) Gabor 濾波器。這個(gè)濾波器實(shí)際上就是一個(gè)高斯函數(shù)乘以一個(gè)復(fù)指數(shù),復(fù)指數(shù)里面有頻率和方向。當(dāng)我們知道相差之后,就可以按照公式(相差除以頻率,頻率為指紋局部頻率)直接把變形場(chǎng)求解出來(lái),這里只涉及加、減、除的運(yùn)算。

相位的解包裹則依照下述公式:

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

下面這是整個(gè)算法的完整流程:

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 50. 依據(jù)相位解調(diào)原理進(jìn)行指紋稠密配準(zhǔn)的完整流程

給出兩個(gè)圖像,首先我們求解特征(細(xì)節(jié)點(diǎn)、方向場(chǎng)、周期圖、相位圖等)。然后,按照細(xì)節(jié)點(diǎn)匹配的方式先做一個(gè)初始的配準(zhǔn),這個(gè)結(jié)果往往還存在很大的偏差,接下來(lái)就靠相位解調(diào)的方式來(lái)降低偏差。首先是得到兩個(gè)圖像的相位差異,中間可能會(huì)出現(xiàn)跳變,所以要做一次相位解包裹使它變成連續(xù)的相差。將這個(gè)連續(xù)的相差除以周期圖,就可以得到每個(gè)位置的扭曲場(chǎng)。隨后再做一次平滑,去除某些局部噪聲。最后就可以把兩個(gè)指紋的脊線(xiàn)非常準(zhǔn)確的配準(zhǔn)了。下圖展示一個(gè)配準(zhǔn)結(jié)果:

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

圖 51. 四種配準(zhǔn)方法對(duì)于三對(duì)例子的配準(zhǔn)結(jié)果。綠色表示配準(zhǔn)成功的脊線(xiàn)。

可以看出用相位解調(diào)的方法有非常大的改進(jìn)。圖中的數(shù)字,例如(191,0.01),分別指細(xì)節(jié)點(diǎn)匹配分?jǐn)?shù)和圖像相關(guān)系數(shù),這兩個(gè)數(shù)字越高越好,能夠客觀地反映出配準(zhǔn)的性能。

三、總結(jié)

最后總結(jié)一下。傳統(tǒng)的指紋特征提取和匹配方法很難處理低質(zhì)量指紋,尤其是犯罪現(xiàn)場(chǎng)的指紋。我們分析發(fā)現(xiàn)傳統(tǒng)方法的共性缺點(diǎn)是,沒(méi)有充分利用指紋的統(tǒng)計(jì)特性,很多方法完全不是基于統(tǒng)計(jì)學(xué)習(xí)的方法。我們的研究思路,就是要研究指紋的特征和皮膚形變的統(tǒng)計(jì)學(xué)特性,然后在算法設(shè)計(jì)中加以利用,實(shí)驗(yàn)發(fā)現(xiàn)在低質(zhì)量指紋上這對(duì)于性能有非常明顯的提升。


參考資料

[1] A. K. Jain, A. Ross, K. Nandakumar, Introduction to Biometrics, Springer, 2011.

[2] D. Maltoni, D. Maio, A. K. Jain, S. Prabhakar, Handbook of Fingerprint Recognition, Springer Verlag, 2009.

[3] X. Yang, J. Feng, J. Zhou, "Localized Dictionaries Based Orientation Field Estimation for Latent Fingerprints", PAMI 2014.

[4] Y. Su, J. Feng, J. Zhou, “Fingerprint Indexing with Pose Constraint”, Pattern Recognition 2016.

[5] J. Ouyang, J. Feng, J. Lu, Z. Guo, J. Zhou, “Fingerprint Pose Estimation Based on Faster R-CNN”, IJCB 2017.

[6] J. Feng, J. Zhou, A. K. Jain, "Orientation field estimation for latent fingerprint enhancement", PAMI 2013.

[7] X. Si, J. Feng, J. Zhou, Y. Luo, “Detection and Rectification of Distorted Fingerprints”, PAMI 2015.

[8] Z. Cui, J. Feng, S. Li, J. Lu, J. Zhou, “2D Phase Demodulation for Deformable Fingerprint Registration”, TIFS 2018 (under review).

相關(guān)文章:

中科院自動(dòng)化所赫然:大規(guī)模人臉圖像編輯理論、方法及應(yīng)用

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。

清華大學(xué)馮建江:指紋識(shí)別現(xiàn)狀與研究進(jìn)展

分享:
相關(guān)文章
當(dāng)月熱門(mén)文章
最新文章
請(qǐng)?zhí)顚?xiě)申請(qǐng)人資料
姓名
電話(huà)
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶(hù)安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說(shuō)