3
| 本文作者： 老王 | 2017-03-07 22:56 | 專(zhuān)題：雷峰網(wǎng)公開(kāi)課 |
AI 技術(shù)的成熟，使得由人工智能來(lái)自動(dòng)消化海量監(jiān)控視頻數(shù)據(jù)成為可能。目前，人工智能已經(jīng)逐步滲透到安防行業(yè)，最終將會(huì)把以視頻網(wǎng)絡(luò)為核心的安防產(chǎn)業(yè)，重塑為以結(jié)構(gòu)化數(shù)據(jù)為核心，以精確情報(bào)生產(chǎn)為目標(biāo)的智慧物聯(lián)網(wǎng)產(chǎn)業(yè)。
作為智能安防的先行者，格靈深瞳在近 4 年間推出多款應(yīng)用于安防的 AI 產(chǎn)品，包括基于三維計(jì)算機(jī)視覺(jué)技術(shù)的皓目行為分析儀、基于結(jié)構(gòu)化數(shù)據(jù)的威目視圖大數(shù)據(jù)分析平臺(tái)、威目車(chē)輛特征識(shí)別系統(tǒng)、威目人臉識(shí)別系統(tǒng)，以及全新產(chǎn)品深瞳人眼攝像機(jī)。
在這期雷鋒網(wǎng)硬創(chuàng)公開(kāi)課上，格靈深瞳 CEO 趙勇博士基于自己多年的研究和行業(yè)經(jīng)驗(yàn)，深入分享 AI 技術(shù)將怎樣以智能硬件、大數(shù)據(jù)挖掘和物聯(lián)網(wǎng)的形式，深刻地變革整個(gè)安防行業(yè)。
趙勇，格靈深瞳 CEO，布朗大學(xué)計(jì)算機(jī)工程博士。
趙勇博士曾供職于谷歌總部研究院，任資深研究員。他是安卓操作系統(tǒng)中圖像處理架構(gòu)的設(shè)計(jì)者，也是谷歌眼鏡（Google Glass）最早期的核心研發(fā)成員，與此同時(shí)，他還負(fù)責(zé)探索谷歌未來(lái)針對(duì)高性能圖像分析處理的云計(jì)算架構(gòu)設(shè)計(jì)?；貒?guó)后，趙勇博士于 2013 年 4 月創(chuàng)立格靈深瞳。
本次公開(kāi)課包括以下內(nèi)容：
基于人工智能的最先進(jìn)的人臉、人體和車(chē)輛識(shí)別技術(shù)
安防產(chǎn)業(yè)為什么需要智能硬件
基于仿生原理的人眼相機(jī)，是怎樣實(shí)現(xiàn)大場(chǎng)景、遠(yuǎn)距離人臉識(shí)別的
當(dāng)前的人臉識(shí)別技術(shù)，在解決實(shí)際安防問(wèn)題過(guò)程中面臨的挑戰(zhàn)
深層大數(shù)據(jù)挖掘在人工智能物聯(lián)網(wǎng)中的意義
公開(kāi)課視頻：共 95 分鐘。（手機(jī)端無(wú)法顯示視頻的讀者，可點(diǎn)擊超鏈接觀看）
注：本次公開(kāi)課中，趙勇博士展示大量生動(dòng)的案例和視頻，并回答多個(gè)網(wǎng)友精彩問(wèn)題，所以推薦優(yōu)先觀看視頻。
大家好，我是格靈深瞳的創(chuàng)始人趙勇。
很高興在雷鋒網(wǎng)的硬創(chuàng)公開(kāi)課上與大家交流，給大家分享人工智能在安防監(jiān)控中的一些機(jī)會(huì)和經(jīng)驗(yàn)。
安防監(jiān)控行業(yè)大家可能是既熟悉又陌生，如果你不是這個(gè)行業(yè)的從業(yè)者，對(duì)你來(lái)說(shuō)布滿(mǎn)攝像頭的整個(gè)街道便是安防監(jiān)控最重要的一種表現(xiàn)形式。中國(guó)是全世界最大的安防市場(chǎng)，十幾年前國(guó)家就開(kāi)始建設(shè)平安城市體系，這個(gè)體系基本決定了中國(guó)安防行業(yè)的組成和現(xiàn)狀。
從產(chǎn)品角度講，平安城市的建設(shè)會(huì)布置大量攝像頭，這些攝像頭產(chǎn)生大量錄像數(shù)據(jù)。大量錄像機(jī)背后有著龐大的視頻網(wǎng)絡(luò)，而這些影像數(shù)據(jù)需要傳到監(jiān)控中心。在監(jiān)控中心，人們幾乎可以看到任何地方的視頻。
在中國(guó)平安城市建設(shè)里，大多數(shù)攝像頭都已實(shí)現(xiàn)了數(shù)字化和網(wǎng)絡(luò)化。如果想要了解中國(guó)的安防行業(yè)，我覺(jué)得可參考一下全世界規(guī)模最大的安防企業(yè)海康威視官網(wǎng)。我發(fā)現(xiàn)一件特別有意思的事，當(dāng)我打開(kāi)海康威視的官網(wǎng)時(shí)，他們這樣定位自己：
海康威視對(duì)自己的定位是：以視頻為核心的物聯(lián)網(wǎng)解決方案提供商。
以視頻為核心是一句很精確的話。在今天的安防監(jiān)控行業(yè)里，幾乎所有組成都是以視頻為核心：攝像頭是視頻的生產(chǎn)者，錄像機(jī)是視頻的存儲(chǔ)者，網(wǎng)絡(luò)是視頻的傳播者，監(jiān)控中心是視頻呈現(xiàn)的地方。
?？低暤漠a(chǎn)品欄有網(wǎng)絡(luò)攝像機(jī)、模擬攝像機(jī)、數(shù)字?jǐn)z像機(jī)、攝像機(jī)配件，顯示與控制產(chǎn)品、存儲(chǔ)產(chǎn)品、傳輸產(chǎn)品、編解碼產(chǎn)品、完全是以視頻為核心的。
目前國(guó)內(nèi)物聯(lián)網(wǎng)規(guī)模已非常巨大，一位硬盤(pán)公司的朋友告訴我，他們公司生產(chǎn)的硬盤(pán)，每?jī)蓧K就有一塊進(jìn)入了安防行業(yè)。
以北京為例，屬于政府和社會(huì)公共機(jī)構(gòu)的攝像頭總數(shù)超過(guò) 200 萬(wàn)個(gè)，這些攝像頭和我們手機(jī)攝像頭不一樣的地方在于它每分每秒都在保持錄像，它每天就會(huì)產(chǎn)生長(zhǎng)達(dá) 200 多萬(wàn)天的錄像，折合成年就是 5000 多年。
所以我們整個(gè)安防體系，從攝像頭到存儲(chǔ)都是一個(gè)擁有極大數(shù)據(jù)量的網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)的數(shù)據(jù)是由誰(shuí)生產(chǎn)？當(dāng)然是攝像頭生產(chǎn)的。但這些數(shù)據(jù)是由誰(shuí)消費(fèi)呢？大家想想這個(gè)問(wèn)題。
在我們當(dāng)前的安防監(jiān)控視頻網(wǎng)絡(luò)上，唯一的消費(fèi)者就是監(jiān)控中心里的工作人員。簡(jiǎn)單來(lái)說(shuō)就是警方，他們?cè)谄瓢笗r(shí)會(huì)去查看很多錄像，個(gè)數(shù)據(jù)生產(chǎn)的速度遠(yuǎn)超過(guò)數(shù)據(jù)消化的速度，這就導(dǎo)致今天安防監(jiān)控行業(yè)的一個(gè)主要矛盾：我們產(chǎn)生了太多的視頻，可這些視頻卻沒(méi)辦法消化。
《速度與激情 7》里面有一個(gè)場(chǎng)景，這個(gè)場(chǎng)景就是里有個(gè)非常強(qiáng)大且神秘的技術(shù)系統(tǒng)。
這個(gè)系統(tǒng)可從全世界所有的監(jiān)控?cái)z像頭里面自動(dòng)搜索和跟蹤任何目標(biāo)。好萊塢顯然對(duì)視頻安防行業(yè)了解甚少，觀眾也以為今天的 FBI、CIA 以及國(guó)內(nèi)的公安局都已經(jīng)開(kāi)始用這樣的體系，但現(xiàn)實(shí)并不是這樣。
當(dāng)今全世界的安防監(jiān)控體系自動(dòng)化程度離電影描述的場(chǎng)面相差非常遙遠(yuǎn)。
我們現(xiàn)在來(lái)看一下今天的視頻安防網(wǎng)絡(luò)，如?？低曀枋觯核且粋€(gè)以視頻數(shù)據(jù)為核心的網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)產(chǎn)生了大量的視頻數(shù)據(jù)。
那么這些數(shù)據(jù)需要誰(shuí)去消化呢？當(dāng)然需要人去消化，通過(guò)人工分析得到有意義的情報(bào)。
客戶(hù)需要的永遠(yuǎn)是有意義的情報(bào)。無(wú)論它是出于對(duì)安全因素破案，還是因?yàn)楣芾硪蛩叵Ｍ私膺@個(gè)城市里發(fā)生的一些事情，這些均是有意義的情報(bào)。在《速 7》中呈現(xiàn)了幾個(gè)技術(shù)細(xì)節(jié)，如人的檢測(cè)、人臉識(shí)別、車(chē)輛識(shí)別、車(chē)輛跟蹤等等。這些情節(jié)在兩、三年以前，每項(xiàng)功能和精確度并不是很高。但隨著人工智能技術(shù)，尤其是深度學(xué)習(xí)的成熟，現(xiàn)在車(chē)輛識(shí)別、人臉識(shí)別這些基礎(chǔ)模塊的性能、精度已大大提升。
目前以視頻數(shù)據(jù)為核心的安防監(jiān)控體系，其實(shí)給客戶(hù)帶來(lái)了大量的麻煩。因?yàn)槟惝a(chǎn)生了非常多的數(shù)據(jù)，把這些數(shù)據(jù)放在客戶(hù)跟前，然后尋找線索，這好比大海撈針。所以整個(gè)行業(yè)都把希望寄托在智能化上，所謂智能化就是能夠把人工智能引進(jìn)來(lái)，把所有的視頻數(shù)據(jù)除了人以外，引進(jìn)人工智能 Consumer，能自動(dòng)把這些視頻數(shù)據(jù)里面的內(nèi)容和目標(biāo)變成結(jié)構(gòu)化數(shù)據(jù)。
何為結(jié)構(gòu)化數(shù)據(jù)？
結(jié)構(gòu)化數(shù)據(jù)就是數(shù)據(jù)能夠直接表達(dá)目標(biāo)的性狀、屬性以及身份。
這種數(shù)據(jù)可以大規(guī)模去檢索，大規(guī)模地分析、統(tǒng)計(jì)。智能化是希望 AI 能夠變成以視頻數(shù)據(jù)為核心的物聯(lián)網(wǎng)里面，這些數(shù)據(jù)的 Consumer，這時(shí)候 Consumer 的 Output 就是結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)也不能直接拿來(lái)使用，因?yàn)檫@些數(shù)據(jù)一旦實(shí)現(xiàn)了大規(guī)模結(jié)構(gòu)化后，數(shù)據(jù)量仍舊非常龐大。
我們來(lái)想這么一件事，我個(gè)人對(duì)物聯(lián)網(wǎng)的理解就是當(dāng)互聯(lián)網(wǎng)發(fā)展到一定程度，它的網(wǎng)民就不僅僅是人了，有很多設(shè)備也與人一樣屬于互聯(lián)網(wǎng)。這些設(shè)備會(huì)自動(dòng)產(chǎn)生數(shù)據(jù)，有一些設(shè)備會(huì)自動(dòng)消化數(shù)據(jù)。
在安防監(jiān)控網(wǎng)絡(luò)上，數(shù)據(jù)的產(chǎn)生者是攝像頭、錄像機(jī)。數(shù)據(jù)的消化者是人工智能和人。
但是當(dāng)人工智能把這么多的錄像轉(zhuǎn)變成結(jié)構(gòu)化數(shù)據(jù)后，就會(huì)產(chǎn)生一個(gè)新的數(shù)據(jù)海洋：結(jié)構(gòu)化數(shù)據(jù)海洋。如果數(shù)據(jù)沒(méi)有經(jīng)過(guò)很好的挖掘，那它也不是有意義的情報(bào)。
結(jié)構(gòu)化數(shù)據(jù)目前已經(jīng)可以使用非常成熟的手段去挖掘，這個(gè)過(guò)程中會(huì)有一些非常淺度地挖掘、簡(jiǎn)單的篩選：比如黑名單。檢測(cè)到一輛車(chē)時(shí)，車(chē)牌號(hào)碼是一個(gè)嫌疑犯車(chē)牌號(hào)，當(dāng)我檢測(cè)到車(chē)牌號(hào)碼時(shí)，這輛車(chē)就被后臺(tái)預(yù)警。
再比如說(shuō)我要檢測(cè)一個(gè)人：假設(shè)我有一張?zhí)臃傅恼掌?，?dāng)我在某個(gè)地鐵站的攝像頭里看到一個(gè)人長(zhǎng)得像這個(gè)逃犯時(shí)，它可能就變成了一個(gè)有意義的情報(bào)。
在醫(yī)院里也可以有一個(gè)非常淺度的挖掘，如在醫(yī)院會(huì)發(fā)現(xiàn)有些人來(lái)鬧事，它可以把這些人提前放在“醫(yī)鬧庫(kù)”里。當(dāng)這些人來(lái)到醫(yī)院時(shí)，醫(yī)院的保安就能第一時(shí)間得到警告。
事實(shí)上還有很多挖掘是比上述的挖掘復(fù)雜得多，比如醫(yī)院掛號(hào)的地方有很多號(hào)販子，這些人擾亂了醫(yī)院的服務(wù)的秩序，如何把這些號(hào)販子找出來(lái)？怎樣能夠挖掘出號(hào)販子和普通正常病人的差別？這里就要對(duì)號(hào)販子的行為做一些分析，從大量的人臉數(shù)據(jù)和行為數(shù)據(jù)中自動(dòng)把這些特定的人員挑選出來(lái)。
除此之外，還有一件有趣的事，當(dāng)人工智能產(chǎn)生大量的結(jié)構(gòu)化數(shù)據(jù)后，會(huì)有大量空間需要去做針對(duì)應(yīng)用的數(shù)據(jù)挖掘。因?yàn)橐郧霸跊](méi)有結(jié)構(gòu)化數(shù)據(jù)時(shí)期，不同客戶(hù)使用的攝像頭和錄像機(jī)都是標(biāo)準(zhǔn)設(shè)備，他只要看到畫(huà)面就行。它從畫(huà)面里觀察得到的信息如何體現(xiàn)到它的業(yè)務(wù)內(nèi)容，這些事情需要人去做的。
當(dāng)今天這些數(shù)據(jù)變成了結(jié)構(gòu)化數(shù)據(jù)以后，在不同行業(yè)、不同場(chǎng)景要有大量的數(shù)據(jù)挖掘應(yīng)用才能夠有效地把結(jié)構(gòu)化數(shù)據(jù)變成有意義的情報(bào)。
所以我認(rèn)為未來(lái)人工智能在安防監(jiān)控行業(yè)會(huì)有大量應(yīng)用軟件的市場(chǎng)空間，為各個(gè)垂直行業(yè)去做針對(duì)性的數(shù)據(jù)挖掘。
我們給大家簡(jiǎn)單地展示一下圖像識(shí)別技術(shù)在一些不同垂直領(lǐng)域的應(yīng)用成果。
現(xiàn)在下面視頻是利用深度學(xué)習(xí)算法開(kāi)發(fā)的車(chē)輛大數(shù)據(jù)結(jié)構(gòu)化引擎。
從畫(huà)面可以看到每個(gè)交通單元中，無(wú)論是機(jī)動(dòng)車(chē)還是非機(jī)動(dòng)車(chē)都可被檢測(cè)與跟蹤，對(duì)應(yīng)每一個(gè)目標(biāo)的屬性也會(huì)被識(shí)別出來(lái)：可以檢測(cè)出車(chē)牌號(hào)碼、生產(chǎn)商、型號(hào)、年檢標(biāo)的狀態(tài)，甚至具體是哪個(gè)年份的型號(hào)也可以被識(shí)別出來(lái)。
車(chē)輛識(shí)別問(wèn)題在今天看來(lái)已經(jīng)被解決了，車(chē)輛是一種非常特殊的目標(biāo)，因?yàn)樗兄粋€(gè)獨(dú)一無(wú)二的 ID：車(chē)牌號(hào)碼。合法車(chē)牌號(hào)碼具有唯一性，一旦把車(chē)牌號(hào)碼識(shí)別出來(lái)整個(gè)問(wèn)題就比較好解決。
從去年開(kāi)始，車(chē)輛大數(shù)據(jù)產(chǎn)品已被很多廠商推出，未來(lái)也會(huì)越來(lái)越普及。
這里面有一個(gè)重要的機(jī)遇，道路上客戶(hù)的攝像頭分 3 種：電警、卡口、監(jiān)控?cái)z像頭。
所謂電警和卡口，通常是在十字路口或者高速公路的進(jìn)出口上搭了一個(gè)龍門(mén)架，或者有一個(gè)裝了攝像頭的架子。
這些攝像頭使用了很高的分辨率，角度也非常合適，它可以在正面增加識(shí)別的成功率。但是像電井和卡口這樣的攝像頭，它只占整個(gè)道路周邊攝像頭數(shù)量的很小一部分。以北京為例，電警和卡口攝像頭的數(shù)量占道路全部攝像頭數(shù)量的千分之一左右。
還有更多攝像頭是普通的視頻監(jiān)控?cái)z像頭，這些攝像頭數(shù)量很多，分辨率也不是特別高，因?yàn)樗鼈円浿埔曨l。一般在安裝的時(shí)候都是為了監(jiān)控整個(gè)大場(chǎng)景，所以視場(chǎng)角較大，視場(chǎng)角變大的壞處就是針對(duì)每一個(gè)目標(biāo)它所能夠分配的像素?cái)?shù)量會(huì)降低。
這個(gè)時(shí)候，監(jiān)控視頻里看到很多目標(biāo)并不是很清晰：沒(méi)有補(bǔ)光、照明不夠、圖像模糊現(xiàn)象很?chē)?yán)重。如何在這種低質(zhì)量的數(shù)據(jù)、不理想的環(huán)境下仍然把視頻識(shí)別做好？這在某些方面決了定我們能否把道路監(jiān)控大視頻、大數(shù)據(jù)這個(gè)事情做好，這一領(lǐng)域的產(chǎn)品其實(shí)還有很多的改進(jìn)空間。
當(dāng)基礎(chǔ)數(shù)據(jù)被識(shí)別出來(lái)后，基于這些數(shù)據(jù)就可做各種各樣的大數(shù)據(jù)分析。以格靈深瞳為例，我們開(kāi)發(fā)了一個(gè)車(chē)輛大數(shù)據(jù)的平臺(tái)叫威目大數(shù)據(jù)平臺(tái)。
給大家做一個(gè)非常簡(jiǎn)單地演示，我們?cè)诳蛻?hù)的現(xiàn)場(chǎng)選擇了一些攝像頭，之后選擇一個(gè)區(qū)域。然后就可以搜索一些不同品牌的車(chē)，比如奧迪、寶馬等等。在搜索“奧迪”之后，你可以選擇其中任何一輛車(chē)然后看看它出現(xiàn)在了什么地方、什么時(shí)間，隨后可在地圖里做進(jìn)一步搜索。
大家可以想象，當(dāng)我在一個(gè)空間里能夠得到很多搜索結(jié)果時(shí)，這些不同結(jié)果的時(shí)空關(guān)系會(huì)為我們提供一個(gè)軌跡信息。這些軌跡信息會(huì)給我們更強(qiáng)有力的分析手段去分析一些人的行為，這里面有各種各樣的戰(zhàn)法，所謂戰(zhàn)法就是警方客戶(hù)在破案或在分析一些數(shù)據(jù)時(shí)采用的一些不同的手段和流程。
剛才是車(chē)，我們現(xiàn)在來(lái)看一下關(guān)于人的識(shí)別。
這套視覺(jué)系統(tǒng)能夠?qū)Ξ?huà)面里的行人和他的屬性結(jié)構(gòu)化，也就是對(duì)人物的基本屬性做一些判斷：如性別、大致年齡、行李屬性、衣服顏色、衣服類(lèi)型。如果可以看到正面的話，就可以看清他的有沒(méi)有戴口罩和戴眼鏡，有沒(méi)有留胡子等信息。
這些信息其實(shí)跟人臉識(shí)別不太一樣，它是一種短效、對(duì)分辨率要求不高時(shí)得到信息的一種途徑。
當(dāng)我們很多人對(duì)安防監(jiān)控不熟悉的話，就會(huì)覺(jué)得街頭上的安防監(jiān)控?cái)z像頭一定會(huì)把人臉識(shí)別出來(lái)。但事實(shí)上，今天絕大多數(shù)普通的安防監(jiān)控?cái)z像頭根本不可以滿(mǎn)足人臉識(shí)別分辨率的條件。
首先它們的視場(chǎng)角往往設(shè)置的比較廣，第二是他們離人的距離比較遠(yuǎn)。
在這種情況下，雖然可以看清這個(gè)人的外形，但要想看清他的面部，尤其想在面部區(qū)域得到一個(gè)比較高的分辨率，至少是 80×80，或是 100×100，分辨率高是提升人臉識(shí)別效果非常重要的因素。
當(dāng)今街道上這些普通監(jiān)控?cái)z像視頻里面，雖然看不清臉，無(wú)法做人臉識(shí)別，但是我們?nèi)绻軌驈乃砩系玫剿钠渌麑傩?，也是很重要的元素?/span>
舉一個(gè)例子，比如有一個(gè)小孩走失了，目擊證人提供的線索是看到一個(gè)穿著紅顏色衣服的中年婦女抱著這個(gè)孩子。那么我們就可以根據(jù)上述提到的屬性去搜索：中年、女性、紅色衣服、抱著孩子，把這 4 個(gè)特征輸?shù)剿阉飨到y(tǒng)當(dāng)中，即可迅速地找到目標(biāo)。
我們?cè)賮?lái)看下人臉識(shí)別，要想得到一個(gè)比較靠譜的識(shí)別結(jié)果，畫(huà)面的距離如下圖展示的這樣。
在這里，我們聯(lián)通了一個(gè)普通的高清攝像頭。在這個(gè)攝像頭中我們特地選擇了一個(gè)焦距比較長(zhǎng)，為 15 毫米以上的鏡頭放在一個(gè)辦公室的走廊頂端。我們發(fā)現(xiàn)，環(huán)境里差不多有效識(shí)別人臉的寬度最多為三米。當(dāng)然也可以使用一些更長(zhǎng)焦的鏡頭把識(shí)別寬度推到更遠(yuǎn)的地方，或用短鏡頭把識(shí)別寬度放在離相機(jī)比較近的地方。但是無(wú)論你怎么試，它真正有效的識(shí)別寬度也就三米左右。
通常我們得到一張低分辨率的人臉，比如說(shuō) 30×30 以下，那么它在一個(gè)很大的數(shù)據(jù)庫(kù)里去做搜索的效果，肯定非常不理想。通常要求一個(gè)人臉最好是達(dá)到 100×100 個(gè)像素以上時(shí)，它的搜索結(jié)果就會(huì)非常精確，甚至可以在一個(gè)很大，如幾百萬(wàn)、幾千萬(wàn)人的數(shù)據(jù)庫(kù)里做有意義的搜索。
人臉識(shí)別技術(shù)在過(guò)去幾年進(jìn)展非常大。和 3 年前相比，我們?nèi)タ匆粋€(gè)標(biāo)準(zhǔn)測(cè)試集時(shí)，錯(cuò)誤率可能已經(jīng)小了上千倍。我們訓(xùn)練人臉模型時(shí)，尤其要注意光照、角度、表情問(wèn)題，能不能夠去抗干擾。
視頻中大家也可以看到，人員自己去做一個(gè)挑戰(zhàn)，每一位員工在工作期間無(wú)論在辦公室里還是在外面的院子，都能被我們的人臉識(shí)別系統(tǒng)拍到很多照片。
我故意讓他們走到攝像頭跟前來(lái)做鬼臉，看看誰(shuí)可以把臉做如此夸張以至于人臉識(shí)別系統(tǒng)會(huì)產(chǎn)生錯(cuò)誤的識(shí)別。大家可以看到有一些人在做鬼臉，有些人在弄亂自己的發(fā)型。
未來(lái)智能化一定會(huì)在安防監(jiān)控行業(yè)非常普遍且深入的發(fā)生，但它在實(shí)現(xiàn)時(shí)可放在不同的設(shè)備里，有時(shí)候可以把智能放在前端，如攝像頭里，甚至錄像機(jī)里。也可以把一些智能放在后臺(tái)的數(shù)據(jù)中心、服務(wù)器上去運(yùn)算，到底什么樣的分配是一種比較合理的分配。關(guān)于這個(gè)問(wèn)題，我想給大家分析一下。
我覺(jué)得智能放在前端最大的好處是針對(duì)一個(gè)視頻流時(shí)，它所有的運(yùn)算資源都專(zhuān)注于前端。放在前端有一個(gè)好處就是大量數(shù)據(jù)，用不著通過(guò)非常擁擠的網(wǎng)絡(luò)傳到數(shù)據(jù)中心去。
我們要意識(shí)到安防監(jiān)控網(wǎng)絡(luò)上的數(shù)據(jù)都是視頻文件，它的碼流、數(shù)據(jù)量比其他任何形式的文件大很多。
你想象一下，如果你有一個(gè)千兆的以太網(wǎng)，那么這個(gè)千兆的以太網(wǎng)能夠同時(shí)傳多少視頻？
一般來(lái)說(shuō)，一個(gè)高清的視頻碼流都會(huì)到 2 到 4 MB，也就是說(shuō)在一個(gè)千兆以太網(wǎng)上，可能最多放個(gè)一兩百個(gè)視頻就會(huì)把這個(gè)網(wǎng)絡(luò)全部占滿(mǎn)，所以把智能放在前端的好處可以節(jié)省一些帶寬。
把智能放在后臺(tái)的好處有點(diǎn)像云計(jì)算，云計(jì)算的一大優(yōu)點(diǎn)是分享，我在后臺(tái)可以用非常強(qiáng)大的硬件、非常復(fù)雜的軟件把識(shí)別性能做得非常好，因?yàn)槿藗儗?duì)識(shí)別的精度要求永遠(yuǎn)是無(wú)止境的。但這樣會(huì)導(dǎo)致對(duì)識(shí)別算法、硬件要求比較高，如果放在服務(wù)器里可以達(dá)到這個(gè)條件，同時(shí)分享給不同的前端。
其次，如果把這些設(shè)備放到后臺(tái)，那么它的算法升級(jí)、運(yùn)維都會(huì)比較可靠，不像前端攝像頭如果發(fā)生了軟、硬件故障。尤其是硬件的故障，維護(hù)會(huì)非常麻煩。
我個(gè)人是這么看這個(gè)問(wèn)題的，視頻里面的檢測(cè)、跟蹤、去重：檢測(cè)就是對(duì)目標(biāo)的檢測(cè)，跟蹤就是跟蹤這個(gè)目標(biāo)在攝像頭里畫(huà)面中的移動(dòng)，去重就是我把它送去識(shí)別時(shí)，從多次的檢測(cè)中選一個(gè)比較好的視角去檢測(cè)，把很多重復(fù)的檢測(cè)去掉。
這 3 項(xiàng)內(nèi)容特別適合也應(yīng)該放在攝像頭里面去做，為什么呢？因?yàn)檫@些內(nèi)容跟攝像頭畫(huà)面里到底有沒(méi)有目標(biāo)是無(wú)關(guān)的。你如果不檢測(cè)也不知道有沒(méi)有目標(biāo)。
這部分運(yùn)算是隨著視頻流的啟動(dòng)，一直需要開(kāi)動(dòng)，它不存在分享這件事。這樣識(shí)別應(yīng)該放在這個(gè)攝像頭的前端來(lái)做。通過(guò)檢測(cè)、跟蹤、去重后，把識(shí)別的對(duì)象作為照片流通過(guò)網(wǎng)絡(luò)傳到后臺(tái)，這時(shí)候它已經(jīng)是一個(gè)截屏圖像或者是截圖的一小部分，數(shù)據(jù)量很小。而且這個(gè)數(shù)據(jù)量和目標(biāo)的多少，以及場(chǎng)景里面活動(dòng)的激烈程度相關(guān)：當(dāng)人比較多時(shí)數(shù)據(jù)就多一些。當(dāng)夜深人靜人比較少的時(shí)候，它就沒(méi)有數(shù)據(jù)。
這樣一來(lái)，把識(shí)別放在后臺(tái)服務(wù)器來(lái)做，就可保障識(shí)別精度做得更高。比對(duì)就不用說(shuō)了，因?yàn)槟忝孔R(shí)別出一個(gè)物體，就要跟一些客戶(hù)的敏感目標(biāo)庫(kù)做比對(duì)，看他是不是一個(gè)值得關(guān)注的對(duì)象。
近期，我在市場(chǎng)上發(fā)現(xiàn)了這么一個(gè)跡象，早期很多客戶(hù)安裝了智能化產(chǎn)品，它的路數(shù)不是很多。所以很多時(shí)候就是把傳統(tǒng)的 IP Camera 和后臺(tái)的服務(wù)器直接連接起來(lái)，這樣早期的方式是可行的，但是他會(huì)給客戶(hù)的帶寬帶來(lái)很大的負(fù)擔(dān)。
當(dāng)智能化產(chǎn)品進(jìn)行推廣時(shí)，我相信這種方式很難快速進(jìn)行。所以當(dāng)下急需解決的事就是前端智能化。我發(fā)現(xiàn)有一些廠商試圖把識(shí)別和比對(duì)放在攝像頭里去做，我認(rèn)為這是有問(wèn)題的，為什么呢？你在攝像頭里做識(shí)別，識(shí)別產(chǎn)生人臉特征。由于每個(gè)公司各自的算法不同，就要求客戶(hù)后臺(tái)的比對(duì)系統(tǒng)只能對(duì)接這種特征。這樣一來(lái)的話就給客戶(hù)帶來(lái)很大麻煩，假如我今年采購(gòu)這個(gè)廠商的設(shè)備，那我的后臺(tái)也需要依據(jù)這些設(shè)備來(lái)建設(shè)。
到了明年，我想采購(gòu)不同廠商設(shè)備時(shí)，就會(huì)發(fā)現(xiàn)不兼容性。我認(rèn)為圖片是最兼容的、供通行的數(shù)據(jù)，所以得從客戶(hù)的角度看待問(wèn)題，識(shí)別算法和比對(duì)不要放在攝像頭前端，回頭會(huì)給客戶(hù)帶來(lái)很多不靈活的負(fù)擔(dān)。
比對(duì)我覺(jué)得就更不應(yīng)該放在前端，因?yàn)楸葘?duì)需要把客戶(hù)的核心資源對(duì)比庫(kù)放在攝像頭上，在很多公安應(yīng)用里面這些都是核心機(jī)密。你可以想象，如果有黑客攻擊了攝像頭就會(huì)從里面獲取跟黑名單相關(guān)的核心信息。我認(rèn)為核心信息應(yīng)該永遠(yuǎn)待在數(shù)據(jù)中心，待在客戶(hù)最核心的保密網(wǎng)絡(luò)里，而非前端。這就是我對(duì)智能前端和后端分工的看法。
接下來(lái)我想給大家講講人臉識(shí)別的現(xiàn)狀和進(jìn)展。
這里面有一種分裂，怎樣一種分裂呢？
一些人工智能公司宣傳，他們一般都會(huì)把人臉識(shí)別的性能吹得非常懸，說(shuō)錯(cuò)誤率已經(jīng)達(dá)到億分之一的程度等等。雖然這是事實(shí)，的確有時(shí)候我們發(fā)現(xiàn)有一些識(shí)別錯(cuò)誤率已經(jīng)低于億分之一，但這是有前提的，譬如說(shuō)靜態(tài)人臉識(shí)別：如擺拍等。
還有一種場(chǎng)景是門(mén)禁的應(yīng)用，人們?yōu)榱诉^(guò)一個(gè)通道，然后就盯著攝像頭，這時(shí)候成像條件都很好。但是對(duì)安防而言，更多時(shí)候被觀測(cè)的對(duì)象沒(méi)有意識(shí)到自己被觀測(cè)，它的角度也不是很理想，離相機(jī)也比較遠(yuǎn)，光照也比較復(fù)雜。而且整個(gè)目標(biāo)在運(yùn)動(dòng)中碰到照片時(shí)，它的人臉識(shí)別結(jié)果也完全不一樣了。
很多公司認(rèn)為人臉識(shí)別已經(jīng)做得很好，但另一方面，如果大家去調(diào)查一下如果使用了人臉識(shí)別，尤其是使用動(dòng)態(tài)人臉識(shí)別的客戶(hù)，大多數(shù)客戶(hù)都認(rèn)為誤報(bào)率太高，而且高到基本上這個(gè)系統(tǒng)就沒(méi)有辦法使用。
今天趁這個(gè)機(jī)會(huì)，我也想非常坦誠(chéng)地跟大家分享一下這里面的原因。到底是人臉識(shí)別技術(shù)還不夠好，還是大家在撒謊。
做人臉識(shí)別它的優(yōu)點(diǎn)是速度快，一張顯卡每秒鐘可產(chǎn)生幾百?gòu)埬樀奶卣?，完成?shù)千萬(wàn)張臉的比對(duì)，這個(gè)目前已經(jīng)可以做到了。它的成本也低，使得這項(xiàng)技能可以快速?gòu)?fù)制、大規(guī)模地部署，性能很穩(wěn)定且可持續(xù)提升。人工智能的缺點(diǎn)是應(yīng)對(duì)復(fù)雜問(wèn)題應(yīng)對(duì)能力差，除此之外是對(duì)環(huán)境變化的適應(yīng)能力弱。
人類(lèi)的智能跟人工智能相比，幾乎是完全相反的。
人類(lèi)智能的優(yōu)點(diǎn)正好是人工智能的缺點(diǎn)，人類(lèi)對(duì)復(fù)雜問(wèn)題的應(yīng)對(duì)能力和對(duì)環(huán)境變化的適應(yīng)能力很強(qiáng)，但缺點(diǎn)就是速度慢、成本高，比較難快速?gòu)?fù)制、不大可能大規(guī)模地部署、性能也不穩(wěn)定（容易受到精神狀態(tài)的影響）。
我們來(lái)看一下人工智能的不同應(yīng)用，先介紹下 1:1 的人臉驗(yàn)證。
在金融支付領(lǐng)域里面，有些公司開(kāi)發(fā)的軟件幫助客戶(hù)去驗(yàn)證用戶(hù)的身份。這類(lèi)應(yīng)用本質(zhì)上是在回答一個(gè)問(wèn)題?？蛻?hù)的攝像頭拍一張照片，然后將照片傳到后臺(tái)，后臺(tái)知道驗(yàn)證的對(duì)象是誰(shuí)，并且有驗(yàn)證對(duì)象的身份證照片。那么它要回答的問(wèn)題是“這兩個(gè)人是同一個(gè)人嗎？”，答案是“是”或者“否”。所以總共回答這么一個(gè)問(wèn)題。
我們?cè)賮?lái)看一下 1：N 的人臉的識(shí)別，也叫靜態(tài)人臉對(duì)比。
假如客戶(hù)選擇一張照片，然后他擁有 N 個(gè)人的對(duì)比庫(kù)。舉個(gè)例子，比如在某個(gè)省的公安廳，這個(gè)省有 5000 萬(wàn)個(gè)有身份證的公民。這時(shí)候警方看到一個(gè)嫌疑人想調(diào)查這個(gè)人的身份，這個(gè)人是誰(shuí)？
在做這件事情的過(guò)程中，事實(shí)上人臉識(shí)別就要回答很多問(wèn)題。這個(gè)人是張三嗎？這個(gè)人是李四嗎？是王五嗎？然后它要回答 N 個(gè)問(wèn)題，可能還有一個(gè)最困難的問(wèn)題也就是第 N+1 個(gè)問(wèn)題：這個(gè)人可能誰(shuí)都不是。這就叫靜態(tài)人臉比對(duì)。很顯然，與人臉驗(yàn)證相比，靜態(tài)人臉比對(duì)就是更為復(fù)雜的問(wèn)題。因?yàn)樗偣惨卮鸬膯?wèn)題總數(shù)是 N+1 個(gè)，當(dāng)這個(gè) N 比較大的時(shí)候，問(wèn)題回答的難度和出錯(cuò)誤幾率就大大提升。
但靜態(tài)人臉比對(duì)使用的頻率比較低，只有當(dāng)客戶(hù)要做一次搜索時(shí)它才會(huì)使用。它使用的場(chǎng)景允許用戶(hù)參與交互和確認(rèn)。簡(jiǎn)單說(shuō)就像一個(gè)搜索引擎，我在搜索結(jié)果里挑一個(gè)我認(rèn)為對(duì)的，或者是我把搜索結(jié)果呈現(xiàn)的前幾名看上去都很像，分別調(diào)查后能夠快速幫客戶(hù)縮小調(diào)查范圍。
這種產(chǎn)品在過(guò)去一、兩年內(nèi)的推廣也比較快，而且可用性相對(duì)較高。
我們?cè)偻驴磥?lái)看一下 M 比 N 的人臉識(shí)別，通常這個(gè)叫動(dòng)態(tài)認(rèn)識(shí)。
何為動(dòng)態(tài)人臉識(shí)別？就是客戶(hù)安裝的攝像頭每看到一個(gè)人后，就在一個(gè)庫(kù)里去比對(duì)這個(gè)人是誰(shuí)，“M”代表的就是攝像頭，或者網(wǎng)絡(luò)里所有攝像頭抓到的人臉數(shù)目?！癗” 就是對(duì)比庫(kù)中的目標(biāo)數(shù)目，抓到的每一張臉都得“問(wèn)”一遍：這是張三嗎？是李四嗎，那真的是王五嗎？然后對(duì)于這個(gè)人你要問(wèn) N+1 個(gè)問(wèn)題。對(duì)于看到所有 M 個(gè)人，問(wèn)題的總數(shù)也就是 M×N+1 個(gè)。而且動(dòng)態(tài)人臉使用頻率非常高，因?yàn)樗且粋€(gè)全自動(dòng)體系。
以北京地鐵站為例，我聽(tīng)說(shuō)北京 1000 多個(gè)地鐵站里面平均每站都有上百個(gè)攝像頭，如果這里面 100 個(gè)攝像頭每個(gè)地鐵站流通 8 到 10 萬(wàn)人是很常見(jiàn)的，可能在一些比較繁忙的地鐵站有上百萬(wàn)人。
對(duì)于看到的每一個(gè)人都要回答 N+1 個(gè)問(wèn)題，如果這個(gè) N 是一個(gè)很大的庫(kù)，比如是一個(gè)擁有十幾萬(wàn)人的全國(guó)逃犯數(shù)據(jù)庫(kù)，這就是一個(gè)天文數(shù)字。而且在這個(gè)使用場(chǎng)景中，它不存在用戶(hù)交互，客戶(hù)期待你最后產(chǎn)生報(bào)警，而且這個(gè)警報(bào)是值得信賴(lài)的。
我們先來(lái)看一下這個(gè)問(wèn)題：
一臺(tái)動(dòng)態(tài)人臉抓拍機(jī)每天產(chǎn)生以下問(wèn)題：首先假設(shè)每個(gè)相機(jī)每天看見(jiàn) 1 萬(wàn)張臉，在很多公共場(chǎng)所這并不是一個(gè)很夸張的假設(shè)。
我們假設(shè)對(duì)比庫(kù)里有 1 萬(wàn)個(gè)目標(biāo)，這可能對(duì)公安來(lái)說(shuō)也不是一個(gè)大的目標(biāo)庫(kù)。如果基于該假設(shè)的話，這個(gè)相機(jī)每天要回答的問(wèn)題就是一億零一萬(wàn)個(gè)。如果人工智能每回答 100 萬(wàn)個(gè)人臉比對(duì)問(wèn)題就犯一個(gè)錯(cuò)誤，那么每一天在每一臺(tái)相機(jī)上就會(huì)犯 100 個(gè)錯(cuò)誤，也就是產(chǎn)生 100 個(gè)誤報(bào)或者漏報(bào)。
我剛才假設(shè)每回答 100 萬(wàn)個(gè)問(wèn)題才會(huì)犯一個(gè)錯(cuò)誤，其實(shí)也是非?？鋸埖募僭O(shè)，因?yàn)樵趧?dòng)態(tài)人臉識(shí)別里，很多時(shí)候人的面孔角度是不理想的，分辨率也不一定很理想，光線可能也不是很好，還可能有運(yùn)動(dòng)模糊。
這種情況下，如果哪個(gè)公司真的可以達(dá)到百萬(wàn)分之一的錯(cuò)誤率，我相信已經(jīng)非常優(yōu)秀。我們想象一下，如果一個(gè)大客戶(hù)裝了 1000 臺(tái)人臉識(shí)別相機(jī)，坦率來(lái)講 1000 臺(tái)量也不是很大，跟今天城市里已經(jīng)存在的攝像頭數(shù)量相比并不多。
這時(shí)候系統(tǒng)每天要回答 1000 億個(gè)問(wèn)題，如果人工智能回答 100 萬(wàn)個(gè)問(wèn)題就會(huì)犯一個(gè)錯(cuò)誤，那么客戶(hù)每天就會(huì)收到 100 萬(wàn)個(gè)錯(cuò)誤，也就是 100 萬(wàn)個(gè)誤報(bào)或者漏報(bào)。我們想象一下當(dāng)一個(gè)客戶(hù)每天會(huì)收到 100 萬(wàn)個(gè)報(bào)警時(shí)，他會(huì)怎么辦？那它肯定會(huì)崩潰的，因?yàn)檫@個(gè)系統(tǒng)根本不能用。而 1000 臺(tái) 1 萬(wàn)個(gè)庫(kù)的目標(biāo)，每個(gè)攝像頭每天看 1 萬(wàn)個(gè)面孔，這些假設(shè)也根本不是一個(gè)很苛刻的假設(shè)。
我們能夠意識(shí)到人臉識(shí)別盡管在過(guò)去幾年有著巨大進(jìn)展，可以在金融領(lǐng)域做身份驗(yàn)證，但它對(duì)解決公共安全問(wèn)題來(lái)說(shuō)是仍然微不足道的。
這個(gè)事實(shí)說(shuō)明人臉識(shí)別技術(shù)不夠好嗎？我覺(jué)得也不盡然。人臉識(shí)別技術(shù)今天已確定超越人類(lèi)。科學(xué)實(shí)驗(yàn)數(shù)據(jù)稱(chēng)，正常人最多能夠記住 500 張臉，有一些銷(xiāo)售等職業(yè)以及特異功能擁有者記住 5000 張臉也已經(jīng)是極限了。
動(dòng)態(tài)人臉識(shí)別的問(wèn)題假如想象有一天在北京有 100 萬(wàn)個(gè)動(dòng)態(tài)人臉識(shí)別的攝像機(jī)，而北京有 3000 萬(wàn)人口，在這種背景下，它每天產(chǎn)生的問(wèn)題高達(dá)數(shù)以萬(wàn)萬(wàn)計(jì)。在這種情況下，發(fā)生錯(cuò)誤的機(jī)率即使再低，但乘以這么大的基數(shù)也會(huì)產(chǎn)生海量的誤報(bào)。所以這個(gè)問(wèn)題的規(guī)模非常殘酷。
在這種情況下我們?cè)撛趺醋瞿兀?/p>
在此我推薦一種方法，就是海量的原始問(wèn)題進(jìn)來(lái)以后，先由人工智能引擎回答，然后產(chǎn)生人工智能的答案，但這些答案里的多數(shù)答案是錯(cuò)的，這種情況下可以把這些答案交給專(zhuān)業(yè)人員去驗(yàn)證。人類(lèi)驗(yàn)證的好處是當(dāng)一個(gè)答案可以通過(guò)人類(lèi)的驗(yàn)證，結(jié)果對(duì)于客戶(hù)來(lái)說(shuō)這個(gè)情報(bào)至少是值得關(guān)注的。
另外，那些沒(méi)有通過(guò)真人驗(yàn)證的錯(cuò)誤答案，也都是很有意義的答案數(shù)據(jù)。通常它們都是比較接近正確答案的錯(cuò)誤答案，這類(lèi)數(shù)據(jù)對(duì)提高機(jī)器學(xué)習(xí)模型的改善和迭代也是非常有意義的。
如果我們?cè)诋a(chǎn)品里設(shè)計(jì)出這么一個(gè)流程，使得人工智能識(shí)別引擎在精度不斷提高同時(shí)，客戶(hù)也能夠得到比較有意義的情報(bào)。
把大量的人工智能和少量人類(lèi)智能結(jié)合起來(lái)，會(huì)產(chǎn)生一個(gè)較好的互補(bǔ)效應(yīng)。
另外一種手段就是人工智能+大數(shù)據(jù)。
為什么需要大數(shù)據(jù)？剛才我也提到，當(dāng)我們有了底層結(jié)構(gòu)化數(shù)據(jù)再到完成客戶(hù)整個(gè)業(yè)務(wù)體系，本來(lái)就需要很多大數(shù)據(jù)挖掘應(yīng)用，但更重要的一件事情是隨著結(jié)構(gòu)化數(shù)據(jù)規(guī)模上漲，大規(guī)模智能系統(tǒng)產(chǎn)生的誤報(bào)會(huì)顯著上漲，以至于正確的情報(bào)會(huì)淹沒(méi)在海量誤報(bào)中。這件事情必然會(huì)發(fā)生，尤其對(duì)于人臉識(shí)別而言。
我現(xiàn)在覺(jué)得全國(guó)各地的城市已經(jīng)開(kāi)始擁有一定規(guī)模的人臉識(shí)別，但我相信很快所有的客戶(hù)都會(huì)踢到鐵板，誤報(bào)會(huì)大規(guī)模地上升?，F(xiàn)在已經(jīng)看到很多客戶(hù)發(fā)現(xiàn)了這件事，這種情況下有沒(méi)有解？當(dāng)然有，我認(rèn)為解企業(yè)要通過(guò)大規(guī)模的、多模態(tài)數(shù)據(jù)整合來(lái)提升人工智能的精度。
這是什么意思呢？如果我們單看一個(gè)單點(diǎn)人工智能的識(shí)別結(jié)果，它的錯(cuò)誤率并沒(méi)有足夠好，就算可以做到千萬(wàn)只分之一的錯(cuò)誤率，但只要問(wèn)題數(shù)量過(guò)多，誤導(dǎo)還是很多。
但是當(dāng)你使用了更多規(guī)模的數(shù)據(jù)，比如一個(gè)人在運(yùn)動(dòng)時(shí)。他在軌跡路線上是否能夠被反復(fù)識(shí)別，或者說(shuō)軌跡所體現(xiàn)的行為，同時(shí)能夠印證這個(gè)人的可疑性，或者說(shuō)關(guān)于一個(gè)目標(biāo)的多模態(tài)數(shù)據(jù)：他的車(chē)輛、消費(fèi)記錄、手機(jī)信號(hào)、wifi探針、社交關(guān)系，把這些不同模式的數(shù)據(jù)能夠整合起來(lái)。
我再給大家舉個(gè)例子，比如說(shuō)小明和小王是同班同學(xué)、好朋友。我在北京某個(gè)地方看到一個(gè)人長(zhǎng)得像小明，那么結(jié)果可能不一定是小明，可能只是一個(gè)跟小明長(zhǎng)得很像的人。但是我如果在同一個(gè)地方又看到了這個(gè)小王（小明的朋友），那么確認(rèn)這個(gè)人是小明的概率就加大許多。
這只是一個(gè)例子，其實(shí)有大量的規(guī)律、模態(tài)、組合可以把這個(gè)任務(wù)做得更好。所以我覺(jué)得是未來(lái)人工智能產(chǎn)品必須注意的一個(gè)方向，也是我個(gè)人覺(jué)得成功的人工智能公司必須具備的條件：要有很強(qiáng)的大數(shù)據(jù)分析能力。
接下來(lái)我給大家分享一些在安防領(lǐng)域里面落地的前沿且有趣的技術(shù)。
大自然是一個(gè)非常豐富的知識(shí)庫(kù)，我們可以從里面學(xué)到很多知識(shí)。計(jì)算機(jī)視覺(jué)是關(guān)于“視覺(jué)”的，所以我們來(lái)關(guān)注一下人的眼睛以及動(dòng)物的眼睛。
從眼睛模型中我們可以看到它有個(gè)“快門(mén)”，也就是所謂的瞳孔，“鏡頭”是我們眼睛的晶狀體，“傳感器”則是眼球里面的視網(wǎng)膜。
其實(shí)人的眼球跟數(shù)碼相機(jī)本質(zhì)上沒(méi)有特別大的差別，但相機(jī)實(shí)際上已發(fā)明 100 多年，今天我們的相機(jī)無(wú)論是很貴的數(shù)碼單反還是 iPhone 上的相機(jī)，它其實(shí)和 1839 年發(fā)明的第一臺(tái)相機(jī)在成像原理上沒(méi)有本質(zhì)的不同。不過(guò)是通過(guò)小孔成像原理，把真實(shí)的物體通過(guò)倒影呈現(xiàn)在背景的傳感器上。這么多年唯一發(fā)生變化的就是鏡頭變得越來(lái)越好了，傳感器變得越來(lái)越好了。但是在這個(gè)過(guò)程中呢，成像的基本原理還只是一個(gè)投影問(wèn)題。
我們的世界是一個(gè)三維世界，每一個(gè)物體都是三維的，它投影的結(jié)果是在一個(gè)平面上，無(wú)論它是相機(jī)底片平面，還是眼球的球面。最終還是變成了一個(gè)兩維的數(shù)據(jù)，在這個(gè)過(guò)程中三維壓縮到兩維，丟失了什么嗎？丟失的是深度信息，也就是縱深方向距離的信息。
我再給大家舉個(gè)例子，在這張照片里幾輛汽車(chē)放在一起。與此同時(shí)有一輛玩具車(chē)被一個(gè)人拿在手里，如果不是因?yàn)檎掌锏氖种福芏嗳硕颊`以為這就是停車(chē)場(chǎng)上的一輛真車(chē)。你可以看到圖像里物體真實(shí)的大小不代表它的實(shí)際大小。最近這輛紅色的跑車(chē)其實(shí)是很小的，可是遠(yuǎn)處一輛在樹(shù)背后的車(chē)看上去很小，但實(shí)際上真實(shí)車(chē)的尺寸比較大。一個(gè)物體在圖像中的尺寸跟他的真實(shí)尺度不一定有什么關(guān)系，當(dāng)你失去了尺度，就沒(méi)辦法衡量尺寸、距離、速度、加速度。這種情況下，我們?nèi)シ治鑫矬w的行為就有了很大的問(wèn)題。
我們?cè)賮?lái)看一個(gè)自然界的現(xiàn)象，這里顯示了一些動(dòng)物照片，這些動(dòng)物都有共同特點(diǎn)：都有兩個(gè)眼睛。而且兩個(gè)眼睛都有比較大的視場(chǎng)角重疊，大家有沒(méi)有意識(shí)到所有捕食動(dòng)物的眼睛都朝前長(zhǎng)的，所以他們兩個(gè)眼睛的視野重疊比較大，重疊最大的好處是可通過(guò)兩個(gè)眼睛對(duì)圖像的視差的分析，能夠計(jì)算出這個(gè)目標(biāo)的深度，有了深度以后就可以去追捕他。
而所有被捕食的動(dòng)物，比如羊、駱駝、馬的眼睛都長(zhǎng)到了側(cè)面，然后形成了一個(gè) 360 度的全景。它最大的優(yōu)勢(shì)就是可以更有效地去防范周?chē)牟妒痴?，它可一邊吃草，一邊看腦袋后面有沒(méi)有捕食者在靠近。
其實(shí)在計(jì)算機(jī)視覺(jué)領(lǐng)域，就有很多技術(shù)可以利用多視場(chǎng)能夠計(jì)算出來(lái)物體的深度。
格靈深瞳根據(jù)這種原理推出一款名為皓目行為分析儀的產(chǎn)品，皓目行為分析儀用一種結(jié)構(gòu)光的方式生成 Depth Video，然后基于數(shù)據(jù)去分析人的行為。
我給大家看一個(gè)簡(jiǎn)單的展示，在這個(gè)展示里面有很多人在相機(jī)跟前走動(dòng)，他們之間產(chǎn)生了很多遮擋。
但是即使在遮擋發(fā)生的情況下，我們?nèi)匀豢梢院芎玫匕衙恳粋€(gè)人跟蹤下來(lái)，給每個(gè)人腰上套了一個(gè)圈，這個(gè)圈有不同的顏色，畫(huà)面的左下角是一個(gè)俯視的雷達(dá)圖，雷達(dá)圖上方代表相機(jī)，下方代表它視野，然后每一個(gè)點(diǎn)它的顏色和視頻里這個(gè)人腰圈的顏色是對(duì)應(yīng)的，所以你可以看到每一個(gè)人的軌跡。通過(guò)這種方式就可在一個(gè)比較復(fù)雜的場(chǎng)所分析人們軌跡的行為。
比如說(shuō)有沒(méi)有人在追逐、停留很久、徘徊，我們也可以分析人是不是摔倒了，有沒(méi)有劇烈動(dòng)作等等。
如果要分析劇烈動(dòng)作，需要對(duì)他身體的姿態(tài)動(dòng)作做一個(gè)更深入地分析。在這里面我們開(kāi)發(fā)了一套算法，能夠從圖像里把他的關(guān)節(jié)、胳膊、腿的位置計(jì)算出來(lái)。大家可能會(huì)意識(shí)到類(lèi)似的功能在微軟或者 Primesense 等公司的人機(jī)交互產(chǎn)品里面實(shí)現(xiàn)過(guò)。
格靈深瞳則是開(kāi)發(fā)了一套專(zhuān)門(mén)針對(duì)于安防監(jiān)控的識(shí)別算法，不同的地方是它可以在監(jiān)控視角，快速實(shí)現(xiàn)初始化比較好的工作。
此時(shí)有人會(huì)有質(zhì)疑，不是所有的動(dòng)物都有兩只眼睛，昆蟲(chóng)就不是，昆蟲(chóng)的眼睛叫復(fù)眼，有幾千個(gè)鏡頭。
這是怎么回事呢？這組照片上顯示了很多昆蟲(chóng)的眼睛，你一眼看上去的確是看到了復(fù)眼，但即使是復(fù)眼，它們也有個(gè)共同點(diǎn)，第一是它們有一對(duì)復(fù)眼，第二個(gè)是他們的眼睛針對(duì)他們的頭部來(lái)說(shuō)很大。
為什么要長(zhǎng)這么大的眼睛呢？作為相機(jī)來(lái)說(shuō)，它的感光量是很重要的指標(biāo)。如果感光量不夠多、不夠大，很難形成清晰的照片，因?yàn)樾纬烧掌枰庾痈鷤鞲衅靼l(fā)生能量的交換。能量的交換要能夠被測(cè)量下來(lái)才能形成對(duì)顏色、亮度的識(shí)別，這就是為什么好的相機(jī)比如說(shuō)單反相機(jī)它有很大的光圈。
但是昆蟲(chóng)身子的尺寸非常小，在這種情況下為了保障進(jìn)光量，就要盡量大地增加光圈的尺寸，所以這就是昆蟲(chóng)的眼睛為什么這么大。
第二件事情就是為什么昆蟲(chóng)的每個(gè)眼睛變成了復(fù)眼？如果你要給昆蟲(chóng)用傳統(tǒng)的光學(xué)模式設(shè)計(jì)眼睛，你會(huì)面臨什么挑戰(zhàn)？假設(shè)你是蜜蜂，在你的生活中要不斷去尋找鮮花采蜜，有的時(shí)候你要看到幾十里外的目標(biāo)，然后飛過(guò)去?？墒钱?dāng)你在采蜜的時(shí)候站在花瓣上要能夠看到花粉在哪個(gè)花蕊上，然后去收集它。
也就是說(shuō)，你要既可以看到很遠(yuǎn)的物體，又能夠看到很近的物體。在這種情況下，它對(duì)變焦鏡頭的變焦動(dòng)態(tài)范圍要求非常高。普通鏡頭很難做到在這樣一個(gè)范圍內(nèi)去變焦，尤其鏡頭體積還有大量的限制，這就是為何昆蟲(chóng)在自然界中自然進(jìn)化出了這種形態(tài)的眼睛。
今天我們把這種成像模式稱(chēng)作 Plenoptics，簡(jiǎn)單來(lái)說(shuō)就是一個(gè)鏡頭或者傳感器陣列。這種陣列的特點(diǎn)是能夠在一個(gè)平面上去接受更大的光場(chǎng)，然后把光分布，包括它的方向等信息捕捉下來(lái)。廣場(chǎng)是四維的、光學(xué)的 Representation，獲得光場(chǎng)之后可通過(guò)算法把不同的成像方式的結(jié)果全部計(jì)算出來(lái)。今天這種技術(shù)已經(jīng)可用來(lái)做一些有趣的產(chǎn)品。
比如美國(guó)加州有一個(gè)公司，他們有一個(gè)基于光場(chǎng)原理的相機(jī)，你在拍照的時(shí)候可以直接拍。但是你回到家以后，可對(duì)這個(gè)照片做重新聚焦的修改，也就是先拍照片，然后再去定它的焦距。
我們今天會(huì)發(fā)現(xiàn)，如果想要實(shí)現(xiàn)一個(gè)非常大的、動(dòng)態(tài)的變焦范圍，最有效的方式就是來(lái)做光場(chǎng)相機(jī)。而昆蟲(chóng)的復(fù)眼就是非常精確的光場(chǎng)相機(jī)，這是一個(gè)非常奇妙的現(xiàn)象。
接下來(lái)，我們來(lái)看一個(gè)例子，在這個(gè)例子是討論人臉識(shí)別的。
在這個(gè)畫(huà)面的左上方是 2013 年 4 月 15 號(hào)在波士頓發(fā)生的馬拉松暴恐案，事件爆發(fā)以后警方得到了這張照片，很顯然這張照片是從一個(gè)監(jiān)控的攝像頭上拍攝的。在這張照片里，兩個(gè)嫌疑人離鏡頭都不算太遠(yuǎn)，前面這個(gè)人可能離鏡頭有兩、三米，后面那個(gè)人大概五、六米。但我們發(fā)現(xiàn)在這么近距離的情況下兩人的面部是看不清楚的。
后來(lái)美國(guó)警方使用眾包的方法來(lái)尋找線索，把這張照片在電視臺(tái)上滾動(dòng)播出，大概在 36 個(gè)小時(shí)以?xún)?nèi)有很多馬拉松觀眾用自己的相機(jī)拍了很多照片，這些照片里面正巧有幾張拍到了嫌疑犯。在畫(huà)面右上方和左下方就是游客后來(lái)提供給警方的照片。其中左下方這張照片幫了很大的忙，因?yàn)檫@兩張照片是兩個(gè)嫌疑人，肩并肩站在一起并且正面對(duì)著鏡頭。
根據(jù)這張照片兩人成功被舉報(bào)，右下方 3 張照片是這兩個(gè)人的生活照，根據(jù)這個(gè)線索，這兩個(gè)人最終被抓住了。
在這個(gè)過(guò)程中，我們發(fā)現(xiàn)這么一個(gè)現(xiàn)象。今天大多數(shù)人臉識(shí)別還是卡口式的人臉識(shí)別，比如我把這個(gè)東西裝在地鐵的出口，商場(chǎng)入口等等，因?yàn)槿藗儽仨殢倪@些地方經(jīng)過(guò)，你就不得不被相機(jī)看到。但事實(shí)上，假設(shè)你是一個(gè)犯罪分子，如果你看到了一個(gè)相機(jī)離你這么近，那就可能不從這兒過(guò)了，或者你頭會(huì)故意低下來(lái)，讓相機(jī)看不到臉。
其實(shí)人臉識(shí)別的應(yīng)用必須發(fā)生在人完全不配合的場(chǎng)景中，他完全注意不到附近有一個(gè)攝像頭。當(dāng)他不知道附近有攝像頭時(shí)，那他被抓拍的幾率就很高。所以格靈深瞳開(kāi)發(fā)的人眼相機(jī)產(chǎn)品主要是為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們現(xiàn)在識(shí)別的距離可以達(dá)到 50 。我們自己做過(guò)一個(gè)實(shí)驗(yàn)，當(dāng)你站在一個(gè)地方，然后你要想確保你周?chē)?50 米內(nèi)都沒(méi)有一個(gè)攝像頭的話，這是比較難的一件事，因?yàn)榭臻g比較大。
這是辦公室停車(chē)場(chǎng)的一個(gè)案例，當(dāng)格靈深瞳的人眼相機(jī)對(duì)接到了我們的動(dòng)態(tài)人臉識(shí)別引擎上來(lái)，面部就會(huì)被抓取到。
最遠(yuǎn)的可能 50 米，一部分為二三十米，然后他們的面部就和員工照片庫(kù)進(jìn)行實(shí)時(shí)的比對(duì)。
人眼相機(jī)的原理其實(shí)和哺乳動(dòng)物的眼球工作原理非常相似，人用裸眼看這個(gè)世界時(shí)是可以看得比較遠(yuǎn)，我自己在開(kāi)車(chē)時(shí)發(fā)現(xiàn)一個(gè)非常特殊的現(xiàn)象，我大概可以發(fā)現(xiàn)我至少可以看到前方大概 30 米到 50 米的車(chē)牌號(hào)碼?？墒钱?dāng)我安裝了一個(gè)行車(chē)記錄儀時(shí)，我發(fā)現(xiàn)我把視頻調(diào)出來(lái)看，當(dāng)前面的車(chē)離我的距離超過(guò)八米到十米時(shí)，我就看不清這個(gè)畫(huà)面里的車(chē)牌號(hào)碼。
那這意味著什么？人眼的分辨率真比高清攝像頭高很多嗎？其實(shí)并不是的，只是我們的人眼的視網(wǎng)膜里有一個(gè)特殊的區(qū)域，叫黃斑。
黃斑非常小，尺寸有多大呢？如果你把眼球的中心跟黃斑連接起來(lái)，那么這個(gè)椎體的角度只有 2.5 度左右，但在這么小的一個(gè)地方，集中了人眼 75% 的有效像素，剩下 25% 的像素分散在整個(gè) 160 度的視場(chǎng)角上。一個(gè)人的單眼視場(chǎng)角是 160 度，通過(guò)一個(gè)視場(chǎng)角很廣但分辨率不高的一個(gè)注意力檢測(cè)系統(tǒng)和一個(gè)視場(chǎng)角很小但分辨率很高的黃斑系統(tǒng)共同工作，實(shí)現(xiàn)對(duì)世界的觀察。
我們讀書(shū)不斷地掃描每一行文字，我們開(kāi)車(chē)時(shí)眼球的注意力也在不同的目標(biāo)上切換，這就是眼睛工作的原理。人眼還有一個(gè)重要特點(diǎn)，它的光學(xué)系統(tǒng)和它的識(shí)別系統(tǒng)緊密地結(jié)合在一起，并且相互反饋。在一個(gè)瞬間我們的余光注意到一個(gè)物體，如果我們認(rèn)為它重要的話，大腦就會(huì)指揮眼球轉(zhuǎn)動(dòng)，把我們的黃斑會(huì)迅速聚焦在物體上面。
這種反饋使得眼睛非常的靈敏，人眼相機(jī)就是實(shí)現(xiàn)了光學(xué)系統(tǒng)和人的檢測(cè)，以及人臉識(shí)別系統(tǒng)接對(duì)接和反饋。從大自然的角度來(lái)講，我們發(fā)明了一個(gè)工作方式與人類(lèi)眼睛一致的設(shè)備。
這就我今天的分享，謝謝大家。
雷鋒網(wǎng)注：文字部分為趙勇講述的核心內(nèi)容，除此之外，還有多個(gè)問(wèn)答內(nèi)容（問(wèn)答環(huán)節(jié)有 30 分鐘）也非常精彩，可在視頻內(nèi)觀看。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
專(zhuān)題
