0
如果將現(xiàn)代化城市比作人的大腦，那么密布在城市各個角落的攝像頭就是城市的眼睛。
無時無刻不在收集視覺信息的攝像頭與人類的眼睛不同，前者不加篩選地收集海量信息，成本高，能源浪費嚴重，后者則能有效篩選出重要信息，整個視覺系統(tǒng)高效運轉。
高文院士于2017年圖靈大會上正式提出這一點，認為人類應該借鑒動物視覺演化的模式來建設智慧城市，并于當年10月份的安博會上正式提出“數(shù)字視網(wǎng)膜”這一概念。
新一代人工智能產(chǎn)業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟理事長高文院士
如今，已是數(shù)字視網(wǎng)膜概念推進落地的第三年，數(shù)字視網(wǎng)膜究竟如何效仿人類視覺系統(tǒng)運行？又有哪些行業(yè)最先成為數(shù)字視網(wǎng)膜的受益者？
數(shù)字視網(wǎng)膜的三個技術核心
數(shù)字視網(wǎng)膜，顧名思義，就是實現(xiàn)傳統(tǒng)攝像頭乃至視覺機器架構革新，盡力像人類的視覺系統(tǒng)一樣，更加智能地支持城市大腦，服務智能安防，城市精細管理等應用。
在2021數(shù)字視網(wǎng)膜應用論壇上，鵬城實驗室教授洪曉鵬對數(shù)字視網(wǎng)膜再次做出解釋，他提出城市大腦應該向人腦學習分工協(xié)調，可采用仿生物視網(wǎng)膜的視覺計算架構來優(yōu)化現(xiàn)存問題，讓智能化的端邊側使系統(tǒng)更靈活，在云側作為智能主體提供更強大智能資源，并優(yōu)化存儲傳輸使系統(tǒng)更經(jīng)濟。
傳統(tǒng)攝像頭只是將拍攝的視頻數(shù)據(jù)壓縮后上傳到云端進行存儲，再做分析識別處理。
數(shù)字視網(wǎng)膜則要求在攝像頭端對視頻拍攝進行高質量視頻編碼和視覺特征提取編碼，對壓縮過編碼的視頻流進行本地存儲同時按需上傳到云端，而所有的緊湊特征流同步實時同步到云端，從而既能夠保證高效的存儲，又能夠便捷地支撐大數(shù)據(jù)查詢分析，與此同時支持在端-邊-云之間進行面向智能視頻編碼和特征分析的深度學習模型自適應遷移、壓縮、更新與轉換。
簡而言之，數(shù)字視網(wǎng)膜就是這樣一種包含視頻編碼流、特征編碼流和模型更新流的可伸縮端邊云協(xié)同視覺計算架構。
2013年，數(shù)字視網(wǎng)膜的提出者高文院士就已經(jīng)對數(shù)字視網(wǎng)膜有了模糊的概念，他在接受人民網(wǎng)的一次采訪時表示現(xiàn)代城市中攝像頭存在痛點問題，雖然布局規(guī)模廣泛且密集，但遇到重大案件時，難以發(fā)揮出真正的作用。
直到2017年的安博會，“數(shù)字視網(wǎng)膜”這一概念才正式誕生。
高文院士認為，數(shù)字視網(wǎng)膜包含三個核心技術：
基于背景模型的場景視頻編碼?，F(xiàn)有監(jiān)控攝像頭采用的視頻編碼技術標準對監(jiān)控視頻編碼效率不高，因為這些標準主要是針對廣播電視視頻制定的。在監(jiān)控場景下，大多數(shù)攝像頭是固定的，背景相對不變，因而如能夠利用背景預測，消除相應的冗余信息，那么編碼效率將大大提高。
視頻特征的緊湊表達。視覺表征是圖像視頻分析處理的基礎，如果在攝像頭端利用人工設計特征與深度學習特征自適應融合技術提取幀內幀間視覺緊湊表示，然后傳送到云端，就能大大提高搜索效率。他們曾實驗表明平均每幀僅需100bit，可達到與未經(jīng)壓縮特征相當甚至更高的檢索性能。
視頻編碼與特征編碼的聯(lián)合優(yōu)化。上述兩種數(shù)據(jù)信息并不是相互獨立的，而是相互關聯(lián)，可互為指導的，因此數(shù)字視網(wǎng)膜在同時輸出壓縮視頻流和緊湊特征流時，可以根據(jù)碼流的大小，設計聯(lián)合優(yōu)化函數(shù)來計算如何分配各自的碼率，從而在保持分析檢索性能的情況下，進一步達到壓縮需求。
此外，數(shù)字視網(wǎng)膜還有三個特點，分別為高性能、高效率和可伸縮。
智慧安防外，數(shù)字視網(wǎng)膜開辟新疆土
理論而言數(shù)字視網(wǎng)膜優(yōu)勢眾多且有一定的核心技術作支撐，那么發(fā)展三年，這一概念的實際應用落地情況表現(xiàn)如何？
智慧安防和智慧交通是數(shù)字視網(wǎng)膜應用最為廣泛的行業(yè)，如今除了這兩大領域，數(shù)字視網(wǎng)膜也有在其他不太被大眾所熟知的領域發(fā)力，例如智慧安監(jiān)、智慧市場、智慧燈桿和高點大場景等。
據(jù)北大信息技術高等研究院院長顧問、浙江智慧視頻安防創(chuàng)新中心有限公司董事長杜軍在此次論壇上的介紹，浙江智慧視頻安防創(chuàng)新中心將數(shù)字視網(wǎng)膜應用在安全生產(chǎn)上，目前重慶培丁區(qū)多家試驗企業(yè)都已經(jīng)正式上線運行了基于數(shù)字視網(wǎng)膜的安全監(jiān)測系統(tǒng)。檢測內容包括安全帽佩戴監(jiān)測、人員離崗監(jiān)測和消防通道監(jiān)測。
在智慧市場領域，浙江9個地市區(qū)48家農(nóng)貿(mào)市場已經(jīng)上線運行數(shù)字視網(wǎng)膜，包括口罩佩戴監(jiān)測、人群密度監(jiān)測、質檢員監(jiān)測等等。這些監(jiān)測在疫情期間發(fā)揮的作用重大。
“如果不用數(shù)字視網(wǎng)膜，視頻傳輸存儲量會非常大，數(shù)字視網(wǎng)膜是高效分析的智能系統(tǒng)，這是我們選擇使用數(shù)字視網(wǎng)膜的原因?！倍跑娫谘葜v時說道。
北大信息技術高等研究院院長顧問、浙江智慧視頻安防創(chuàng)新中心有限公司董事長杜軍
智慧燈桿方面，目前也已經(jīng)在應用數(shù)字視網(wǎng)膜解決環(huán)境問題。
另外，海信將數(shù)字視網(wǎng)膜技術應用到交通及公安行業(yè)。
海信公共安全事業(yè)部本部總經(jīng)理劉微博士表示，海信網(wǎng)絡在實踐形成了突出雙向交互、獨立智能體的理念，對于客戶來說，由被動監(jiān)控轉變?yōu)橹鲃臃眨墒潞蟛榭崔D變?yōu)槭轮刑幹?；實現(xiàn)能看、能聽、會說話，及時發(fā)現(xiàn)、現(xiàn)場即時反饋應用，同時，創(chuàng)新性配置低功耗藍牙模塊，可與手機端數(shù)據(jù)交互，配合實現(xiàn)身份確認、主動服務等。
以高點監(jiān)控方案為例，可以解決視野窄、目標跟蹤難等問題，實現(xiàn)道路擁堵、路口排隊、出口道溢出、異常停車4類事件預警。
在交通事故檢測與處警中，視網(wǎng)膜應用適用于城市交通、高速公路兩大類交通場景，覆蓋日間全時段及晴、陰、雨、雪、霧5類天氣情況；以及包括車車事故、單車肇事、機非事故、機動車行人事故、高速事故5類事故檢測，預警準確率達90%以上。
此外，基于數(shù)字視網(wǎng)膜，搭配對應的檢測算法，還能對如吸煙、打電話、煙火偵測、人員離崗等多種異常行為經(jīng)常檢測，實時有效報警并加以勸阻制止。
數(shù)字視網(wǎng)膜推進的這3年里，已經(jīng)突破智慧安防和智慧交通的行業(yè)限制，在其他更加細分小眾的領域陸續(xù)落地，為城市中更多的“眼睛”更新升級。
高文院士表示，數(shù)字視網(wǎng)膜的推進已有3年時間，目前理論框架已較為清晰，但在應用中，仍需完善和演進。目前，數(shù)字視網(wǎng)膜已開始導入云端，在人、車、物的檢測應用中，擁有更豐富的場景訓練，有助于增強平臺系統(tǒng)的實戰(zhàn)能力，未來，多模態(tài)版本將會覆蓋視頻、聲音等感知數(shù)據(jù)，同時也將提升數(shù)據(jù)感知的密集度。
高文院士同時表示，數(shù)字視網(wǎng)膜創(chuàng)新應用仍處于初始階段，需行業(yè)同仁加強合作、加大創(chuàng)新力度，共同推進數(shù)字視網(wǎng)膜向更高層次演進，以更高起點實現(xiàn)技術落地，提升行業(yè)賦能價值。（雷峰網(wǎng)(公眾號：雷峰網(wǎng))）
相關文章：
數(shù)字視網(wǎng)膜、自定義計算···山東的這個燒腦AI大會“漲姿勢”
中國工程院院士高文：數(shù)字視網(wǎng)膜消除智能交通痛點 | 世界人工智能融合發(fā)展大會
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
