雷鋒網(wǎng) AI 科技評論按：10 月 17 日至 19 日，由 CCF 主辦、蘇州工業(yè)園區(qū)管委會、蘇州大學(xué)承辦的 CNCC 2019在蘇州成功召開。今年大會以「智能+引領(lǐng)社會發(fā)展」為主題，選址蘇州金雞湖國際會議中心召開。雷鋒網(wǎng)AI 科技評論作為戰(zhàn)略合作媒體對會議進(jìn)行了全程跟蹤報道。

在《CNCC爆款技術(shù)論壇，申省梅、陳熙霖主持，西湖李子青、阿里王剛多視角講解CV賦能智慧城市》一文中，雷鋒網(wǎng) AI 科技評論提到，由澎思科技承辦的「計算機(jī)視覺技術(shù)賦能智慧城市」技術(shù)論壇盡管在大會第三天舉辦，仍然人滿為患，成為今年 CNCC 的爆款技術(shù)論壇之一。

澎思科技首席科學(xué)家、新加坡研究院院長申省梅作為該技術(shù)論壇的主席兼演講嘉賓，帶來了主題為《視頻圖像智能化助力智慧安防建設(shè)》的演講，她認(rèn)為當(dāng)前由于巨量攝像頭的存在并不斷生產(chǎn)出海量的監(jiān)控視頻，如果想要更好地利用、存儲和檢索視頻圖像，必須把視頻圖像智能化，將視頻結(jié)構(gòu)化和智能壓縮，只有這樣才能做到事前預(yù)警、事中處置、事后分析。

 

個人簡介：申省梅，澎思科技（PENSEES）首席科學(xué)家、新加坡研究院院長，前松下新加坡研究院副院長。作為計算機(jī)視覺與深度學(xué)習(xí)領(lǐng)域頂級科學(xué)家，領(lǐng)導(dǎo)超40人的算法研究團(tuán)隊，獲得十余項計算機(jī)視覺領(lǐng)域國際頂級競賽冠軍，累計專利300余項，致力于監(jiān)控與安全、智慧城市、自動駕駛、智能機(jī)器人以及AI 工廠自動化解決方案等領(lǐng)域的相關(guān)技術(shù)的開發(fā)部署和落地。曾聯(lián)合新加坡國立大學(xué)LV組參加PASCAL VOC（視覺物體分類）連續(xù)三年獲獎，在美國國家技術(shù)標(biāo)準(zhǔn)局（NIST）主辦的非受限條件下人臉識別競賽IJB-A獲得了人臉驗(yàn)證 （verification）與人臉辨認(rèn)（identification）的雙項冠軍，在微軟百萬名人識別競賽MS-Cele-1M人臉挑戰(zhàn)賽獲雙項冠軍。

 

以下為申省梅演講全文，AI 科技評論進(jìn)行了不改變原意的編輯。

申省梅：

視頻圖像是從攝像頭而來，就像我們的眼睛，我們看到了東西，但如果我們沒有大腦來分析，圖像就等于是沒有意義的東西。

智慧城市包含著方方面面，從最近的落地來看，智慧安防、智慧交通、智慧社區(qū)遠(yuǎn)遠(yuǎn)走在了前面。那視頻圖像智能化能如何助力于智慧安防建設(shè)？

縱觀整個安防行業(yè)的發(fā)展歷程，AI的發(fā)揮空間還有很多。我相信大家也熟悉整個安防行業(yè)的發(fā)展，在座年輕人可能不太清楚，最早監(jiān)控用的都是模擬攝像頭，在中國模擬攝像頭可能都不見了，但在其它國家還在大量地被使用。下一個階段，當(dāng)數(shù)字相機(jī)出現(xiàn)以后，就出現(xiàn)了DVR；接著網(wǎng)絡(luò)監(jiān)控階段出現(xiàn)了，那時候我們就叫NVR+網(wǎng)絡(luò)軟件數(shù)字相機(jī)；今天我們看到的高清攝像頭、以及智能監(jiān)控已經(jīng)出現(xiàn)在各個應(yīng)用場景中了。

 

據(jù)英偉達(dá)預(yù)測，到2020年全世界會有10億個視頻攝像頭在使用，另一個統(tǒng)計說中國現(xiàn)在已經(jīng)有1.76億個攝像頭，3年之后可能會有6億攝像頭，也就是說平均兩個人一個攝像頭。

對大量的視頻，盡管我們有壓縮手段（視頻流），但怎樣存儲、怎樣觀看越來越成為一個難題？假如我們想從大量視頻當(dāng)中快速地偵破一個事件，或檢索一件事都變得非常困難。那是不是可以用人工智能來幫忙解決這個問題，做到事前預(yù)警、事中處置、事后分析呢？

 

數(shù)據(jù)壓縮，事實(shí)上是一種不做內(nèi)容分析的壓縮，包括MPEG1/2、H.264、H.265，甚至現(xiàn)在的H.266，以及中國的壓縮標(biāo)準(zhǔn)AVS2/3。即使有這樣的壓縮，但現(xiàn)在攝像頭的像素越來越高，攝像頭的數(shù)目越來越多，即使有5G的出現(xiàn)，有云端的存儲，我們最后的DVR、NVR（即使是云端的存儲）也都是一種物理的存儲。這不像我們大腦，從來沒有一個人說“我們的大腦放不下東西了，我的記憶力滿了”這樣的話。因此我們就問，什么時候人工智能能做到代替物理的存儲？物理存儲是一個空間，它是有局限性的。目前的一種做法就是視頻圖像智能化。

視頻圖像智能化

 

對視頻圖像智能化我們要做好幾件事，都是基于圖像的分析理解。

第一，視頻圖像的恢復(fù)增強(qiáng)，即在恢復(fù)過程中如何提高圖像質(zhì)量。

第二，視頻圖像的目標(biāo)檢測、跟蹤、識別。這個我們可以做到事前預(yù)警、事中處置。

第三，視頻結(jié)構(gòu)化，它包括人臉屬性、行人屬性、車輛屬性、非機(jī)動車屬性、以及各種物體的屬性，每一個東西都有它的ID（都有它的屬性），這些結(jié)構(gòu)化的信息就會使事后檢索分析變得更為方便。

第四，在智能化的時代，我們除了普通的圖片和視頻壓縮以外，能不能在視頻內(nèi)容理解的基礎(chǔ)上做智能壓縮。目前我們也在做智能壓縮，也在做視頻摘要，這會讓我們進(jìn)一步節(jié)省存儲的空間和傳輸?shù)膸挕?/p>

 

1、視頻圖像恢復(fù)增強(qiáng)

 

剛才講到圖像壓縮會造成圖像模糊，其實(shí)還有很多方面都會造成圖像的質(zhì)量下降，比如設(shè)備用的不正當(dāng)，例如你用了高清的攝像頭，但你的lens用的不匹配，或者我們拍攝的時候，環(huán)境條件（比如燈光或天氣）不太好。李子青老師講過光線對人臉造成非常大的影響，這幾個問題都會讓我們看到視頻圖像恢復(fù)增強(qiáng)是非常重要的一關(guān)。

 

分享一下我們最近的成果，對非常小的臉用的是“深度超分辨率技術(shù)”。傳統(tǒng)的人臉識別在40×40以下就不行了；用上深度學(xué)習(xí)后可能會提高到30×30。

而我們的工作可以做到12×14（這是一個很小的臉），中間的結(jié)果是我們用深度學(xué)習(xí)的超分辨率方法恢復(fù)了他的人臉識別，我們在人臉識別的庫上檢測發(fā)現(xiàn)，用了深度超分辨率以后，我們的人臉識別性能從0.75提高到0.97。

當(dāng)然還有其他各種各樣的模糊問題，我們也都在做，例如運(yùn)動模糊、defocus的模糊等，我們希望將來能夠用單一的模塊覆蓋不同的模糊。

 

其次是背光、低光的處理。這里有兩個圖，右邊這張圖很黑，什么都看不清，當(dāng)我們用低光處理后（如左圖），內(nèi)容就可以看到了。第二張圖是做人臉識別的時候，如果你背后光線非常亮，你站在那邊拍照，常常會出現(xiàn)臉部漆黑一片。我們用了背光處理，背光處理有不同的方法——傳統(tǒng)的、深度學(xué)習(xí)的方法，在不同的硬件上、不同的場景下，我們會選擇不同的算法。

 

圖像增強(qiáng)也包括去抖動，比如刮風(fēng)時抖動引起來的圖像模糊，以及去霧、去云、去雨的處理。

 

2、視頻圖像識目標(biāo)檢測、跟蹤、識別

澎思科技的人臉識別和行人識別、車輛識別，以及非車輛（自行車、摩托車等）的識別都是我們的關(guān)鍵產(chǎn)品，在技術(shù)上面，我們要求是非常高的。

 

這是過去我?guī)ьI(lǐng)的團(tuán)隊取得的成績，關(guān)于人臉識別，取得了NIST獎，以及微軟百萬名人臉識別挑戰(zhàn)賽的冠軍。目標(biāo)跟蹤、行人檢測、行人再識別也分別打破了世界記錄。此外在PASCAL VOC（ImageNet前身），我們當(dāng)時連著3年參加比賽，并且連續(xù)3年拿到冠軍。交通異常檢測、自動駕駛、以及智能機(jī)器人，我們都有參加比賽拿到過冠軍，計算機(jī)視覺其實(shí)面特別廣，它也用在智能機(jī)器人，自動駕駛方面。

 

我們最近在做跨攝像機(jī)的行人再識別ReID。在不同的攝像頭里，有時候有人臉出現(xiàn)、有時候沒有人臉出現(xiàn)，通過ReID的技術(shù)，即使在看不到人臉的情況下，我們?nèi)钥梢酝ㄟ^行人的身體特征去判斷這個人是誰。

這是我們做的一些測試，黃色框中這個人根本連臉都看不到，他出現(xiàn)在不同的角落，但我們通過他身體的特征，會知道這是同一個人，ID是55，另外一個人是ID25。

7、8月份左右，我們在行人再識別三大數(shù)據(jù)集Market1501、DukeMTMC-reID、CUHK03，視頻行人再識別三大數(shù)據(jù)集PRID-2011，iLIDS-VID，MARS，以及行人屬性上都打破了世界記錄。

 

人臉識別，澎思更專注于動態(tài)捕捉下的人臉識別。監(jiān)控相機(jī)沒有辦法約束條件，人臉的姿態(tài)、燈光的變化各種各樣，還有模糊的情況。在這方面，最近澎思的模型在IJB-B和IJB-C下刷新了記錄。我們的客戶也拿我們的模型去跟友商做了比對，可以看出性能遠(yuǎn)遠(yuǎn)超過友商的性能。

李子青老師剛剛提到的ICCV的人臉識別比賽，我們在ICCV LFR挑戰(zhàn)賽的輕量級圖像識別、大型圖像識別和輕量級視頻圖像識別三項競賽中成績第一，一個競賽成績第二。

 

3、視頻結(jié)構(gòu)化

視頻結(jié)構(gòu)化剛才也講到了。當(dāng)你事后想要從視頻中檢索一件事的時候，可以用視頻的屬性來檢索。

 

這是公安的需求。原來公安想要從一天的視頻中找到想要的東西，要用肉眼來看視頻，找一個東西，確定一件事是什么時候發(fā)生的，至少要把整個錄像看完才行；然而將視頻結(jié)構(gòu)化以后，幾秒鐘就可以找到想要的東西。

澎思科技的視頻結(jié)構(gòu)化屬性與目標(biāo)參考了國標(biāo)，比如對行人結(jié)構(gòu)來講，我們支持27大項、128小項，這是屬于業(yè)界第一的。9月份，澎思在行人屬性三個數(shù)據(jù)庫上也刷新了世界記錄。

當(dāng)然，在做的過程中也有很多困難，比如數(shù)據(jù)采集、以及數(shù)據(jù)長尾問題。長尾問題我們用了各種方法來解決，甚至用一些傳統(tǒng)的圖像處理方法，比如雨傘我們可以生成不同顏色的，其中也用了一些很inpainting的技術(shù)，也用了GAN來生產(chǎn)，比如最下面這個人臉的數(shù)據(jù)庫不平衡，這個文章已經(jīng)發(fā)表。

澎思也可以做到實(shí)時結(jié)構(gòu)化預(yù)覽、綜合檢索，以及以圖搜圖，甚至以圖搜視頻。

 

在人臉屬性上，除了性別、年齡以外，澎思的算法還包括有沒有戴口罩、有沒有眼鏡等，共支持其它40多個不同的屬性描述。

結(jié)構(gòu)化也包括人、車一些行為的異常檢測。異常包括交通的異常、打架、搶劫、聚集、事故、抽煙等。2018年我們也在CVPR上的AI  CITY CHALLENGE拿到了冠軍。

 

4、視頻內(nèi)容的智能壓縮、視頻摘要

最后一個內(nèi)容，講一下視頻內(nèi)容的智能壓縮，視頻摘要。魯繼文老師提到深度強(qiáng)化學(xué)習(xí)怎么來幫助我們的例子，在這個問題上，我們知道很難用強(qiáng)化學(xué)習(xí)來做視頻摘要和內(nèi)容壓縮，因?yàn)槟悴恢酪曨l中哪一個行為是最關(guān)鍵、最重要的。

所以，一個策略就是在不同的情況下要有不同的考量，不僅僅是從一幀上去考量，它是在時空域上的一個分析，所以我們采用時空域的特征，并且做到關(guān)鍵內(nèi)容的保留、壓縮和摘要，根據(jù)不同的情況，有的時候可以做到10倍、100倍、甚至1000倍的壓縮。我們在壓縮的過程中屬性同時會被記載下來，當(dāng)將壓縮后的這一段視頻存下來以后，會不斷地將重要的場景和行為存下來，而且對它的屬性都有描述。

視頻圖像智能化，事實(shí)上還取決于圖像質(zhì)量的好壞，而圖像質(zhì)量的好壞又取決于整個軟硬件系統(tǒng)的構(gòu)成。比如說拍攝距離是多少、相機(jī)的像素是多少、鏡頭怎么選擇、傳輸?shù)姆绞绞窃趺礃拥?、視頻圖像壓縮的方式等，這些都會影響到圖像質(zhì)量的好壞。所以我們說完美體現(xiàn)技術(shù)的優(yōu)勢還在于一個很SMART的解決方案，以及系統(tǒng)人員的培訓(xùn)。

在AI產(chǎn)業(yè)圖譜中的技術(shù)層，澎思科技一直走在前面。我們的立場是堅持應(yīng)用驅(qū)動的解決方案，商業(yè)驅(qū)動的算法研究，用最有效的算法和最經(jīng)濟(jì)的軟硬體來解決客戶的剛需。

因此我的結(jié)論就是，視頻圖像的智能化非常重要。現(xiàn)在很多人都在用深度學(xué)習(xí)，如果是視頻圖像數(shù)據(jù)，就一定要進(jìn)行結(jié)構(gòu)化分析，這是一個前提。這個方面包括了很多技術(shù)，如果把這些技術(shù)都用好，我們就可以實(shí)現(xiàn)事前預(yù)警、事中處置、事后檢索分析。我個人更想追求的一個方向是節(jié)省存儲空間、傳輸帶寬、智能化的方式。這個方面我相信接下來大家會往這個方面多考慮，我們會有更好的發(fā)揮空間，謝謝大家。

雷鋒網(wǎng)報道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。