如果將現(xiàn)代化城市比作人的大腦，那么密布在城市各個(gè)角落的攝像頭就是城市的眼睛。

無(wú)時(shí)無(wú)刻不在收集視覺(jué)信息的攝像頭與人類(lèi)的眼睛不同，前者不加篩選地收集海量信息，成本高，能源浪費(fèi)嚴(yán)重，后者則能有效篩選出重要信息，整個(gè)視覺(jué)系統(tǒng)高效運(yùn)轉(zhuǎn)。

高文院士于2017年圖靈大會(huì)上正式提出這一點(diǎn)，認(rèn)為人類(lèi)應(yīng)該借鑒動(dòng)物視覺(jué)演化的模式來(lái)建設(shè)智慧城市，并于當(dāng)年10月份的安博會(huì)上正式提出“數(shù)字視網(wǎng)膜”這一概念。

新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟理事長(zhǎng)高文院士

如今，已是數(shù)字視網(wǎng)膜概念推進(jìn)落地的第三年，數(shù)字視網(wǎng)膜究竟如何效仿人類(lèi)視覺(jué)系統(tǒng)運(yùn)行？又有哪些行業(yè)最先成為數(shù)字視網(wǎng)膜的受益者？

數(shù)字視網(wǎng)膜的三個(gè)技術(shù)核心

數(shù)字視網(wǎng)膜，顧名思義，就是實(shí)現(xiàn)傳統(tǒng)攝像頭乃至視覺(jué)機(jī)器架構(gòu)革新，盡力像人類(lèi)的視覺(jué)系統(tǒng)一樣，更加智能地支持城市大腦，服務(wù)智能安防，城市精細(xì)管理等應(yīng)用。

在2021數(shù)字視網(wǎng)膜應(yīng)用論壇上，鵬城實(shí)驗(yàn)室教授洪曉鵬對(duì)數(shù)字視網(wǎng)膜再次做出解釋?zhuān)岢龀鞘写竽X應(yīng)該向人腦學(xué)習(xí)分工協(xié)調(diào)，可采用仿生物視網(wǎng)膜的視覺(jué)計(jì)算架構(gòu)來(lái)優(yōu)化現(xiàn)存問(wèn)題，讓智能化的端邊側(cè)使系統(tǒng)更靈活，在云側(cè)作為智能主體提供更強(qiáng)大智能資源，并優(yōu)化存儲(chǔ)傳輸使系統(tǒng)更經(jīng)濟(jì)。

傳統(tǒng)攝像頭只是將拍攝的視頻數(shù)據(jù)壓縮后上傳到云端進(jìn)行存儲(chǔ)，再做分析識(shí)別處理。

數(shù)字視網(wǎng)膜則要求在攝像頭端對(duì)視頻拍攝進(jìn)行高質(zhì)量視頻編碼和視覺(jué)特征提取編碼，對(duì)壓縮過(guò)編碼的視頻流進(jìn)行本地存儲(chǔ)同時(shí)按需上傳到云端，而所有的緊湊特征流同步實(shí)時(shí)同步到云端，從而既能夠保證高效的存儲(chǔ)，又能夠便捷地支撐大數(shù)據(jù)查詢(xún)分析，與此同時(shí)支持在端-邊-云之間進(jìn)行面向智能視頻編碼和特征分析的深度學(xué)習(xí)模型自適應(yīng)遷移、壓縮、更新與轉(zhuǎn)換。

簡(jiǎn)而言之，數(shù)字視網(wǎng)膜就是這樣一種包含視頻編碼流、特征編碼流和模型更新流的可伸縮端邊云協(xié)同視覺(jué)計(jì)算架構(gòu)。

2013年，數(shù)字視網(wǎng)膜的提出者高文院士就已經(jīng)對(duì)數(shù)字視網(wǎng)膜有了模糊的概念，他在接受人民網(wǎng)的一次采訪時(shí)表示現(xiàn)代城市中攝像頭存在痛點(diǎn)問(wèn)題，雖然布局規(guī)模廣泛且密集，但遇到重大案件時(shí)，難以發(fā)揮出真正的作用。

直到2017年的安博會(huì)，“數(shù)字視網(wǎng)膜”這一概念才正式誕生。

高文院士認(rèn)為，數(shù)字視網(wǎng)膜包含三個(gè)核心技術(shù)：

• 基于背景模型的場(chǎng)景視頻編碼?，F(xiàn)有監(jiān)控?cái)z像頭采用的視頻編碼技術(shù)標(biāo)準(zhǔn)對(duì)監(jiān)控視頻編碼效率不高，因?yàn)檫@些標(biāo)準(zhǔn)主要是針對(duì)廣播電視視頻制定的。在監(jiān)控場(chǎng)景下，大多數(shù)攝像頭是固定的，背景相對(duì)不變，因而如能夠利用背景預(yù)測(cè)，消除相應(yīng)的冗余信息，那么編碼效率將大大提高。

• 視頻特征的緊湊表達(dá)。視覺(jué)表征是圖像視頻分析處理的基礎(chǔ)，如果在攝像頭端利用人工設(shè)計(jì)特征與深度學(xué)習(xí)特征自適應(yīng)融合技術(shù)提取幀內(nèi)幀間視覺(jué)緊湊表示，然后傳送到云端，就能大大提高搜索效率。他們?cè)鴮?shí)驗(yàn)表明平均每幀僅需100bit，可達(dá)到與未經(jīng)壓縮特征相當(dāng)甚至更高的檢索性能。

• 視頻編碼與特征編碼的聯(lián)合優(yōu)化。上述兩種數(shù)據(jù)信息并不是相互獨(dú)立的，而是相互關(guān)聯(lián)，可互為指導(dǎo)的，因此數(shù)字視網(wǎng)膜在同時(shí)輸出壓縮視頻流和緊湊特征流時(shí)，可以根據(jù)碼流的大小，設(shè)計(jì)聯(lián)合優(yōu)化函數(shù)來(lái)計(jì)算如何分配各自的碼率，從而在保持分析檢索性能的情況下，進(jìn)一步達(dá)到壓縮需求。

此外，數(shù)字視網(wǎng)膜還有三個(gè)特點(diǎn)，分別為高性能、高效率和可伸縮。

智慧安防外，數(shù)字視網(wǎng)膜開(kāi)辟新疆土

理論而言數(shù)字視網(wǎng)膜優(yōu)勢(shì)眾多且有一定的核心技術(shù)作支撐，那么發(fā)展三年，這一概念的實(shí)際應(yīng)用落地情況表現(xiàn)如何？

智慧安防和智慧交通是數(shù)字視網(wǎng)膜應(yīng)用最為廣泛的行業(yè)，如今除了這兩大領(lǐng)域，數(shù)字視網(wǎng)膜也有在其他不太被大眾所熟知的領(lǐng)域發(fā)力，例如智慧安監(jiān)、智慧市場(chǎng)、智慧燈桿和高點(diǎn)大場(chǎng)景等。

據(jù)北大信息技術(shù)高等研究院院長(zhǎng)顧問(wèn)、浙江智慧視頻安防創(chuàng)新中心有限公司董事長(zhǎng)杜軍在此次論壇上的介紹，浙江智慧視頻安防創(chuàng)新中心將數(shù)字視網(wǎng)膜應(yīng)用在安全生產(chǎn)上，目前重慶培丁區(qū)多家試驗(yàn)企業(yè)都已經(jīng)正式上線運(yùn)行了基于數(shù)字視網(wǎng)膜的安全監(jiān)測(cè)系統(tǒng)。檢測(cè)內(nèi)容包括安全帽佩戴監(jiān)測(cè)、人員離崗監(jiān)測(cè)和消防通道監(jiān)測(cè)。

在智慧市場(chǎng)領(lǐng)域，浙江9個(gè)地市區(qū)48家農(nóng)貿(mào)市場(chǎng)已經(jīng)上線運(yùn)行數(shù)字視網(wǎng)膜，包括口罩佩戴監(jiān)測(cè)、人群密度監(jiān)測(cè)、質(zhì)檢員監(jiān)測(cè)等等。這些監(jiān)測(cè)在疫情期間發(fā)揮的作用重大。

“如果不用數(shù)字視網(wǎng)膜，視頻傳輸存儲(chǔ)量會(huì)非常大，數(shù)字視網(wǎng)膜是高效分析的智能系統(tǒng)，這是我們選擇使用數(shù)字視網(wǎng)膜的原因。”杜軍在演講時(shí)說(shuō)道。

北大信息技術(shù)高等研究院院長(zhǎng)顧問(wèn)、浙江智慧視頻安防創(chuàng)新中心有限公司董事長(zhǎng)杜軍

智慧燈桿方面，目前也已經(jīng)在應(yīng)用數(shù)字視網(wǎng)膜解決環(huán)境問(wèn)題。

另外，海信將數(shù)字視網(wǎng)膜技術(shù)應(yīng)用到交通及公安行業(yè)。

海信公共安全事業(yè)部本部總經(jīng)理劉微博士表示，海信網(wǎng)絡(luò)在實(shí)踐形成了突出雙向交互、獨(dú)立智能體的理念，對(duì)于客戶(hù)來(lái)說(shuō)，由被動(dòng)監(jiān)控轉(zhuǎn)變?yōu)橹鲃?dòng)服務(wù)，由事后查看轉(zhuǎn)變?yōu)槭轮刑幹?；?shí)現(xiàn)能看、能聽(tīng)、會(huì)說(shuō)話，及時(shí)發(fā)現(xiàn)、現(xiàn)場(chǎng)即時(shí)反饋應(yīng)用，同時(shí)，創(chuàng)新性配置低功耗藍(lán)牙模塊，可與手機(jī)端數(shù)據(jù)交互，配合實(shí)現(xiàn)身份確認(rèn)、主動(dòng)服務(wù)等。

以高點(diǎn)監(jiān)控方案為例，可以解決視野窄、目標(biāo)跟蹤難等問(wèn)題，實(shí)現(xiàn)道路擁堵、路口排隊(duì)、出口道溢出、異常停車(chē)4類(lèi)事件預(yù)警。

在交通事故檢測(cè)與處警中，視網(wǎng)膜應(yīng)用適用于城市交通、高速公路兩大類(lèi)交通場(chǎng)景，覆蓋日間全時(shí)段及晴、陰、雨、雪、霧5類(lèi)天氣情況；以及包括車(chē)車(chē)事故、單車(chē)肇事、機(jī)非事故、機(jī)動(dòng)車(chē)行人事故、高速事故5類(lèi)事故檢測(cè)，預(yù)警準(zhǔn)確率達(dá)90%以上。

此外，基于數(shù)字視網(wǎng)膜，搭配對(duì)應(yīng)的檢測(cè)算法，還能對(duì)如吸煙、打電話、煙火偵測(cè)、人員離崗等多種異常行為經(jīng)常檢測(cè)，實(shí)時(shí)有效報(bào)警并加以勸阻制止。

數(shù)字視網(wǎng)膜推進(jìn)的這3年里，已經(jīng)突破智慧安防和智慧交通的行業(yè)限制，在其他更加細(xì)分小眾的領(lǐng)域陸續(xù)落地，為城市中更多的“眼睛”更新升級(jí)。

高文院士表示，數(shù)字視網(wǎng)膜的推進(jìn)已有3年時(shí)間，目前理論框架已較為清晰，但在應(yīng)用中，仍需完善和演進(jìn)。目前，數(shù)字視網(wǎng)膜已開(kāi)始導(dǎo)入云端，在人、車(chē)、物的檢測(cè)應(yīng)用中，擁有更豐富的場(chǎng)景訓(xùn)練，有助于增強(qiáng)平臺(tái)系統(tǒng)的實(shí)戰(zhàn)能力，未來(lái)，多模態(tài)版本將會(huì)覆蓋視頻、聲音等感知數(shù)據(jù)，同時(shí)也將提升數(shù)據(jù)感知的密集度。

高文院士同時(shí)表示，數(shù)字視網(wǎng)膜創(chuàng)新應(yīng)用仍處于初始階段，需行業(yè)同仁加強(qiáng)合作、加大創(chuàng)新力度，共同推進(jìn)數(shù)字視網(wǎng)膜向更高層次演進(jìn)，以更高起點(diǎn)實(shí)現(xiàn)技術(shù)落地，提升行業(yè)賦能價(jià)值。（雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))）

相關(guān)文章：

數(shù)字視網(wǎng)膜演化簡(jiǎn)史

數(shù)字視網(wǎng)膜、自定義計(jì)算···山東的這個(gè)燒腦AI大會(huì)“漲姿勢(shì)”

中國(guó)工程院院士高文：數(shù)字視網(wǎng)膜消除智能交通痛點(diǎn) | 世界人工智能融合發(fā)展大會(huì)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。