0
本文作者: 張棟 | 2020-09-15 14:52 |
2020年9月5日,由雷鋒網(wǎng)& AI掘金志主辦的「第三屆中國人工智能安防峰會」在杭州正式召開。
本屆峰會以「洗牌結束,格局重構」為主題,會上代表未來新十年的15家企業(yè),為現(xiàn)場1000余位聽眾和線上幾十萬觀眾,分享迎接安防新十年的經(jīng)營理念與技術應用方法論。
峰會之上,西部數(shù)據(jù)智慧視頻產(chǎn)品首席技術官孫煜帶來了題為「AI安防與存儲的變革」的精彩演講。
孫煜提到,人工智能在監(jiān)控行業(yè)的應用四個主要要素:芯片、軟件、存儲和廠商。
芯片不斷提升算力,并降低成本,軟件提供高效實用的算法,海量數(shù)據(jù)需要被存儲才能被利用,廠商集成以上要素并落地。這個生態(tài)中,各方要素一起合作才能使得AI真正落地。
AI應用,使得視頻監(jiān)控的存儲架構從以前的端和邊,變?yōu)楝F(xiàn)在的端、邊、云,連接方式云化,其中,存儲器需要更高順序讀寫性能、更大的存儲容量、更高地隨機讀寫性能、更快地響應時間。
西部數(shù)據(jù)通過提供視頻監(jiān)控行業(yè)從終端到核心的存儲產(chǎn)品組合,協(xié)助視頻監(jiān)控行業(yè)的AI落地。
孫煜演示了西部數(shù)據(jù)專門為整個視頻監(jiān)控行業(yè)打造的從端、邊、云的各個產(chǎn)品組合,以及專門隨時檢測硬盤監(jiān)控狀態(tài)的軟件WDDA,Western Digital 設備分析 (WDDA) 是 Western Digital 的監(jiān)控優(yōu)化存儲產(chǎn)品系列支持的全新設備分析功能。WDDA使管理員能前瞻式地管理存儲設備并保持性能優(yōu)化,防止意外故障。
孫煜強調AI進入后傳統(tǒng)監(jiān)控盤力不從心,系統(tǒng)廠商通過合并通道單碼流,順序地寫入,大大減少了硬盤的飛行時間和次數(shù),把飛行機會轉移到數(shù)據(jù)庫訪問,提升存儲系統(tǒng)的性能。
西部數(shù)據(jù)認為提高數(shù)據(jù)利用率的關鍵,是告別簡單粗放模式,進行精細化的分層存儲策略,他們還建立起一套四層存儲架構體系:熱存儲、溫存儲、冷存儲、極冷存儲,分而治之,極大地提高數(shù)據(jù)利用效率。
西部數(shù)據(jù)智慧視頻產(chǎn)品首席技術官孫煜
以下為孫煜現(xiàn)場演講全文,雷鋒網(wǎng)作了不改變原意的整理與編輯:
孫煜:大家好,今天在這個會場之上,我想談一個比較特別的話題:AI和存儲廠商之間究竟是什么樣的關系?
西部數(shù)據(jù)一直以來主要銷售存儲器件,表面來看與AI之間的關聯(lián)并不密切,今天通過這個演講我希望能夠解答這個問題。
首先,我來介紹一下西部數(shù)據(jù),它是一家全球化公司,已經(jīng)有30多年的歷史,目前在全球擁有不同國籍的員工大概68000多名。
在這么多員工的努力之下,我們全球的有效專利有14000多個。雄厚的技術積累之上,我們搭建了非常廣泛的存儲產(chǎn)品線。
與其他存儲公司顯著不同的是,西部數(shù)據(jù)是世界上唯一一家既有NAND晶圓廠,又有硬盤原廠的廠商,且其中的各類技術、控制器都是自產(chǎn)自用的。
簡單介紹完西部數(shù)據(jù)公司,接下來我想和大家聊聊,由人工智能推動的視頻監(jiān)控架構的變遷以及存儲器的應對問題。
我會從技術和產(chǎn)品兩個角度分別去闡述一下。
(圖示)這是IHS發(fā)布的一份第三方報告,數(shù)據(jù)顯示:
縱觀視頻監(jiān)控行業(yè)發(fā)展,從前端攝像頭到后端NVR、DVR,人工智能滲透率非常驚人,預計到2023年可以達到70%左右的滲透率。
那么,究竟是何原因導致AI在這個行業(yè)可以走得如此順利?原因并不復雜,AI在視頻監(jiān)控行業(yè)落地應用,的確可以解決很多固有難題。
過去,傳統(tǒng)安防行業(yè)的視頻查找、分析基本需要依靠人力肉眼查別。
AI應用之后,前端攝像頭擁有了一些算力,可以實現(xiàn)對人、車、物的充分結構化,通過云端大數(shù)據(jù)融合計算,可以很快得到預期結果。
以上海為例,視頻監(jiān)控擁有AI加持后,2019年入室盜竊的破案率提升了30%以上。
大家應該都知道,AI與傳統(tǒng)產(chǎn)業(yè)的融合應用,主要考驗四大核心要素:芯片、軟件、存儲和廠商。
先談芯片,算力要不斷提升、成本要不斷下降,正如??道羁偹f,如果芯片算力提升了,但成本還是居高不下,AI最終還是很難落地。
再談軟件,你必須研發(fā)出更為高效、準確的算法,能夠實際應用于落地場景之中。
接下來是數(shù)據(jù),前面幾位演講同仁一直在提到各類各樣的數(shù)據(jù),數(shù)據(jù)最終需要承載空間,而這個空間就是存儲,這就需要我們能夠生產(chǎn)出非常適合AI應用場景的存儲器件,這一塊我后面會具體談。
最后就是廠商,傳統(tǒng)安防市場就需要像??怠⒋笕A這樣的廠商,要將所有的零部件集成起來,去做落地,去走完最后一公里。
所以,AI的應用其實是一個生態(tài),它考驗的是產(chǎn)業(yè)上下游的綜合力量。
說回到存儲,為什么存儲與AI之間有著非常緊密的聯(lián)系?
我們來看這張PPT,上面一層講得是傳統(tǒng)視頻的工作流程,相對比較簡單,攝像頭獲取視頻碼流之后,直接將字符寫在存儲器件之上。
對于這類存儲設備,我們設計的存儲固件基本偏向于順序化的讀寫,相對比較簡單。
眼下進入了AI時代,攝像頭會自動抓拍大量的圖片、視頻,形成數(shù)據(jù)流之后,以超大文件的形式錄入到硬盤之中。
久而久之,硬盤中就會存有大量的圖片、視頻數(shù)據(jù)。如果想要對其進行查找、分析是非常不方便的,必須對其進行結構化,也就是對每一張圖片、每一幀碼流就行標注。
正如智能手機一樣,里面會存有很多圖片、視頻,以往找到一張圖片是非常不易的,現(xiàn)在手機會自動根據(jù)圖片里面的內容進行分類,包括時間、地點、人物等,然后通過一個關系型數(shù)據(jù)庫將這些圖片進行管理,方便調用。
表面看起來容易的工作其實是非常不易的,對于這個數(shù)據(jù)庫內容的寫入和讀取,它的行為不是固有順序的,而是完全隨機的,隨機的讀寫對于任何存儲器來說都有比較高的要求,特別對于硬盤來說,磁頭就要不停地飛來飛去,效率也會比較低。
同時,AI還有一個很重要的特性就是碼流會更大,也就意味著工作負載會變大。
另外,AI應用還有一個特點,用戶體驗將會變得非常關鍵,用戶希望輸入一張圖片、一段視頻就可以很快得到反饋,這對存儲廠商的技術要求指數(shù)提升。
這些因素都會導致傳統(tǒng)硬盤很難適配AI的工作場景。
總結來說,想要做出適用于AI時代的存儲器,需要滿足兩點要求:1、需要適配更高的讀寫性能;2、需要更大的存儲空間。
值得一提的是,即便如此,你并不能因為AI的要求變高了,相應的存儲器成本也就提高了,你需要繼續(xù)保持成本優(yōu)勢,這樣才能使得AI能夠真正落地。
基于這些思考,最后我再介紹一下,西部數(shù)據(jù)如何與廠商們一起,共同協(xié)助視頻監(jiān)控行業(yè)的AI落地。
(圖示)這是西部數(shù)據(jù)專門為整個視頻監(jiān)控行業(yè)打造的從端到邊到云的各側高性價比AI存儲產(chǎn)品。
這其中有很多存儲器件是我們與廠商共同研發(fā)的,也就是說,某一些器件可能只適配于某一個廠商。
在端側,我們有更高性能的嵌入式存儲eMMC;在邊側,我們有普通監(jiān)控盤以及AI監(jiān)控盤;在云端,我們還有20TB的全球最高容量的疊瓦式硬盤。
需要指出的是,對于視頻監(jiān)控行業(yè),我們還特別研發(fā)了WDDA套件,它是專門針對硬盤健康狀態(tài)實時監(jiān)測的軟件。
AI應用之后,數(shù)據(jù)價值變得更高,通過這個軟件,你可以實時、準確知道硬盤的工作狀態(tài)、健康狀態(tài),以便隨時告知給用戶。
西部數(shù)據(jù)作為一個底層存儲供應商,我們在這個行業(yè)其實做了很多努力。
簡單介紹一下,目前普通硬盤在每一個時刻只能有一個磁頭在工作,寫入方式普遍都是多碼流、多通道。比如你有四個攝像頭就是四個通道,這四個通道是寫在磁盤的四個不同的地方,且按照固有順序進行的,這在應對傳統(tǒng)視頻應用場景非常不錯。
AI應用之后,外設了一個大容量數(shù)據(jù)庫,數(shù)據(jù)庫本身就是高頻的隨機訪問、隨機讀寫,如果你的碼流再高一點、通道再多一點,普通的傳統(tǒng)監(jiān)控盤就會顯得力不從心,對于廠商來說,怎么去優(yōu)化呢?
系統(tǒng)廠商則會通過合并通道單碼流,順序地寫入,大大減少了硬盤的飛行時間和次數(shù),把飛行機會轉移到數(shù)據(jù)庫訪問,提升存儲系統(tǒng)的性能。
最后,我再講一下端、邊、云的真實例子。
在端側,這是我們?yōu)橐粋€客戶做得智能門禁系統(tǒng),以往攝像頭中很少用到嵌入式存儲設備,都是用一個很小的SPF去做。
AI進入之后,它必須實現(xiàn)快速的識別、辨認,就需要更高容量的存儲設備,一個比較物美價廉的產(chǎn)品就是eMMC。
它此前在手機上被廣泛采納,且用戶體驗非常優(yōu)秀。
這是另外一個例子,AI還有一個特點,就是通過4G或5G直接端到云,在某些架構下是沒有邊側的。
這種攝像頭因為產(chǎn)生的數(shù)據(jù)量過大,不能將里面的數(shù)據(jù)全部傳到云端,只能將有價值的數(shù)據(jù)通過AI萃取出來后再放到云端。
這時候你若選用一個普通的小容量mircoSD卡就不太合適,因為小容量以及普通的商業(yè)級的mircoSD卡壽命一般都很短。
針對這一塊,我們已經(jīng)研發(fā)出一款3-5年的高壽命microSD卡,它還能監(jiān)測自身的健康狀態(tài),用戶可以通過APP等方式查看,便于統(tǒng)一更換。
再講一下NVR、DVR,當AI剛剛應用的時候,為了得到更高的性能,用戶會選用性能比較好的AI盤或者企業(yè)盤,但價格也非常貴。
為了更好地讓AI落地,系統(tǒng)廠商怎么做呢?將數(shù)據(jù)進行分層存儲。
西部數(shù)據(jù)認為提高數(shù)據(jù)利用率的關鍵,是告別簡單粗放模式,進行精細化的分層存儲策略。
為此,我們還建立起一套四層存儲架構體系:熱存儲、溫存儲、冷存儲、極冷存儲,分而治之,極大地提高數(shù)據(jù)利用效率。
以上是我的分享,主要是偏產(chǎn)品、偏技術一些,希望能夠給大家?guī)硪恍┬碌恼J知,謝謝大家!雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。