3月31日，由雷鋒網(wǎng)主辦的AI盛會(huì) ——「2018中國(guó)人工智能安防峰會(huì)」，在深圳科興科學(xué)園國(guó)際會(huì)議中心落下帷幕。

大會(huì)現(xiàn)場(chǎng)，深瞐科技CTO王建輝發(fā)表了主題演講：《從云到端的視頻結(jié)構(gòu)化》。

王建輝在演講中表示，現(xiàn)有傳統(tǒng)安防監(jiān)控體系往往無(wú)法消化攝像頭不斷產(chǎn)生的海量數(shù)據(jù)，這致使視頻監(jiān)控產(chǎn)品已經(jīng)無(wú)法滿足行業(yè)提出的新需求。

雷鋒網(wǎng)了解到，針對(duì)這一現(xiàn)狀，深瞐科技從視頻結(jié)構(gòu)化系統(tǒng)入手，在視頻里面提取行人、車輛、非機(jī)動(dòng)車特征，并分析車輛的信息和司機(jī)行為。在深圳交警的一次測(cè)試中，深瞐科技取得了大貨車檢出率、車牌檢出率和車牌識(shí)別正確率三項(xiàng)第一，表現(xiàn)搶眼。

談及“AI+安防”的行業(yè)現(xiàn)狀與未來(lái)，王建輝給出三點(diǎn)看法：首先，云端視頻結(jié)構(gòu)化的解碼能力已經(jīng)成為性能瓶頸；其次，邊緣計(jì)算已經(jīng)能夠滿足視頻結(jié)構(gòu)化所需的計(jì)算能力。未來(lái)，視頻結(jié)構(gòu)化運(yùn)算會(huì)慢慢地向前端轉(zhuǎn)化。

以下為王建輝演講實(shí)錄，雷鋒網(wǎng)做了不改變?cè)獾木庉嫞?/strong>

大家好，我是北京深瞐科技有限公司的CTO王建輝，今天演講的主題是“從云到端的視頻結(jié)構(gòu)化”。

首先介紹一下我們公司，我要說這個(gè)瞐字，很多人第一眼都以為我們公司叫“深晶”。瞐由三個(gè)目組成，它代表的是美麗深邃的眼睛，從這個(gè)字也能理解出我們公司主要是做計(jì)算機(jī)視覺相關(guān)的工作，同時(shí)我們希望做守護(hù)世界的第三只眼，主要是在安防產(chǎn)業(yè)發(fā)展。

大家都知道，現(xiàn)在中國(guó)的攝像頭非常多。據(jù)行業(yè)的統(tǒng)計(jì)數(shù)據(jù)是有1.76億攝像頭，未來(lái)三年會(huì)增加到6億多，每秒鐘產(chǎn)品的數(shù)據(jù)量是66TB。這樣大的數(shù)據(jù)量，傳統(tǒng)的基于肉眼的安防監(jiān)控已經(jīng)越來(lái)越不能滿足安防行業(yè)的需求。

傳統(tǒng)的安防設(shè)備產(chǎn)生的是沒有經(jīng)過結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)在主要是進(jìn)行一些威懾、偵查取證的作用，我們?nèi)绾卫眠@些數(shù)據(jù)來(lái)發(fā)現(xiàn)犯罪行為，然后進(jìn)行一些分析？

下圖是深瞐科技現(xiàn)在的視頻結(jié)構(gòu)化系統(tǒng)，它可以在視頻里面提取出行人、車輛、非機(jī)動(dòng)車，同時(shí)會(huì)分析出它非常詳細(xì)的屬性。

我們的視頻結(jié)構(gòu)化系統(tǒng)分為四級(jí)，首先我們會(huì)從加油站、停車場(chǎng)、卡口、道路監(jiān)控設(shè)備里面提取視頻數(shù)據(jù)，然后對(duì)它進(jìn)行一級(jí)結(jié)構(gòu)化。

一級(jí)結(jié)構(gòu)化主要是對(duì)行人、自行車、兩輪摩托車、三輪摩托車、轎車、面包車、卡車、大型客車這8類目標(biāo)的檢測(cè)識(shí)別追蹤：

每一個(gè)目標(biāo)從進(jìn)入視場(chǎng)到出視場(chǎng)，我們會(huì)對(duì)目標(biāo)進(jìn)行擇優(yōu)去重，獲取一張最適合進(jìn)行二級(jí)結(jié)構(gòu)化的圖片，去進(jìn)行二級(jí)結(jié)構(gòu)化。

這是我們針對(duì)車輛的二級(jí)結(jié)構(gòu)化的示意圖：

我們目前支持的車輛品牌型號(hào)，車頭是5500多種，車尾是3500多種，已經(jīng)基本上涵蓋了目前中國(guó)路面上所有行駛的車輛。

同時(shí)，我們的車牌識(shí)別可以支持全屬性識(shí)別，我們還會(huì)識(shí)別駕駛員的違法行為，比如說未系安全帶、開車打電話。同時(shí)我們還會(huì)識(shí)別車輛更特征化的屬性，比如說年檢標(biāo)是怎么排列的，遮陽(yáng)板有沒有放下來(lái)，紙巾盒、天窗、備胎等等屬性我們?nèi)慷家R(shí)別出來(lái)。

針對(duì)人，我們需要提取性別、年齡、發(fā)型和胡須、上衣顏色、褲子顏色、款式等等屬性。

深瞐科技識(shí)別人和車的屬性一共有40多種，現(xiàn)在這套系統(tǒng)的應(yīng)用范圍非常廣：

去年深圳安博會(huì)上，一號(hào)館里展示過視頻結(jié)構(gòu)化技術(shù)的公司共13家，其中7家的后臺(tái)技術(shù)由深瞐提供。

這是我們前段時(shí)間在深圳交警的一個(gè)測(cè)試：

我們需要進(jìn)行大貨車的檢測(cè)以及大貨車車牌識(shí)別，深圳交警關(guān)注的三項(xiàng)技術(shù)指標(biāo)我們?nèi)揩@得了第一，從這個(gè)測(cè)試結(jié)果里面我們大概可以看到，我們現(xiàn)在車輛的檢出率都在97%到99%。這個(gè)測(cè)試集一共是100萬(wàn)張圖片。

以下是一些行業(yè)應(yīng)用的示例：

這是一個(gè)假套牌車的識(shí)別案例：

深瞐與西安交警合作，協(xié)助他們實(shí)時(shí)識(shí)別出路面上5輛出租車用的是同一個(gè)牌照。

我們也針對(duì)駕駛員的違法駕駛行為進(jìn)行預(yù)警和布控，比如說沒有系安全帶、開車打電話等等。同時(shí)在一些?；奋囕v方面也可以進(jìn)行布控和預(yù)警。

針對(duì)車輛的犯罪里面還有一類是同行車輛的挖掘，比如說搶劫案件和同伙作案，它們都會(huì)涉及到車輛的同行，我們會(huì)通過車輛的軌跡重現(xiàn)以及同行車輛的挖掘來(lái)解決問題。

深瞐科技的視頻結(jié)構(gòu)化主要布置在安防行業(yè)的四大類產(chǎn)品中：結(jié)構(gòu)化智能相機(jī)、嵌入式視頻分析器、智能存儲(chǔ)、集中式分析服務(wù)器。

從云端到前端，我們都有相應(yīng)的解決方案。

剛才講到去年安博會(huì)一號(hào)館中的7家大型安防公司在使用深瞐科技基于GPU環(huán)境下的云端解決方案。

那么在云端解決方案里，一張TeslaP4的卡，如果只是針對(duì)結(jié)構(gòu)化的計(jì)算，我們可以對(duì)48路1080P視頻進(jìn)行結(jié)構(gòu)化，如果考慮到1080P視頻的解碼，解碼也非常消耗計(jì)算量。

如果把解碼和結(jié)構(gòu)化全部考慮進(jìn)去，現(xiàn)在一張P4的卡只支持24路1080P 30幀解碼，加上24路的視頻結(jié)構(gòu)化運(yùn)算。這樣可以發(fā)現(xiàn)，我們公司目前在視頻結(jié)構(gòu)化方面，系統(tǒng)性能并不是受限于視頻結(jié)構(gòu)化算法的效率，而是視頻解碼的效率。

為了尋找解碼和計(jì)算能力上的匹配，后來(lái)我們采用了英偉達(dá)的TX2。

TX2具有8路1080P硬解的能力，計(jì)算能力滿足我們公司進(jìn)行8路視頻結(jié)構(gòu)化的運(yùn)算，而且TX2有一個(gè)優(yōu)點(diǎn)是我們?cè)瓉?lái)在GPU上的算法可以非常方便的移植到TX2這個(gè)平臺(tái)上。

另外，深瞐團(tuán)隊(duì)還做了一個(gè)嵌入式的盒子：

這個(gè)采用了海思Hi3559A解決方案的盒子可以接到安防攝像頭的后面，能夠滿足8路視頻編解碼的能力，同時(shí)它的NNIE也能滿足8路視頻結(jié)構(gòu)化的運(yùn)算能力。

我們也做了一些智能前端的解決方案，這套方案基于海思3516和賽靈思7020 FPGA芯片。在Zynq上搭建了一個(gè)神經(jīng)網(wǎng)絡(luò)加速器，可以滿足1080P 30幀每秒一級(jí)結(jié)構(gòu)化的運(yùn)算，檢出率在95%以上，功耗僅為5瓦。

最后，我來(lái)做一總結(jié)，目前在云端視頻結(jié)構(gòu)化里，解碼的性能會(huì)越來(lái)越多地成為性能瓶頸，之前大家都覺得深度學(xué)習(xí)是瓶頸，實(shí)際上經(jīng)過優(yōu)化之后，它的計(jì)算會(huì)非?？臁Ａ硗?，邊緣計(jì)算已經(jīng)能滿足視頻結(jié)構(gòu)化計(jì)算所需要的能力，所以我們覺得將來(lái)視頻結(jié)構(gòu)化運(yùn)算會(huì)慢慢地由云端向前端去轉(zhuǎn)化。雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。