上周，雷鋒網(wǎng)AI掘金志邀請(qǐng)到了觸景無(wú)限副總裁趙寒偉做客雷鋒網(wǎng)公開課，以“「邊緣計(jì)算」在地鐵等城市級(jí)場(chǎng)景下的實(shí)戰(zhàn)復(fù)盤”為題進(jìn)行了干貨分享。

后續(xù)將有更多課程上線，添加微信號(hào) suekee777 報(bào)名聽(tīng)課。

近幾年，邊緣計(jì)算市場(chǎng)規(guī)模持續(xù)增長(zhǎng)，并迅速在安防、智慧城市、自動(dòng)駕駛等領(lǐng)域被應(yīng)用，邊緣端的處理、分析和存儲(chǔ)能力成為考驗(yàn)AI公司的關(guān)鍵。

趙寒偉認(rèn)為，物聯(lián)網(wǎng)和云發(fā)展多年，平臺(tái)建設(shè)和打通完成度已經(jīng)非常高，但智慧城市遲遲沒(méi)有真正到來(lái)，是因?yàn)榛A(chǔ)的感知沒(méi)有實(shí)現(xiàn)，智慧城市細(xì)分領(lǐng)域多，感知涉及每個(gè)層面，而芯片算力和邊緣計(jì)算決定了感知能力，也唯有在前端智能分析，與后端配合，才能將城市物聯(lián)網(wǎng)數(shù)據(jù)完整利用，打造感知城市。

觸景無(wú)限一直專注于利用人工智能技術(shù)，在邊緣端進(jìn)行計(jì)算實(shí)現(xiàn)邊緣智能感知的領(lǐng)域，十年時(shí)間在各個(gè)細(xì)分領(lǐng)域積累了大量實(shí)際案例，趙寒偉結(jié)合觸景無(wú)限在地鐵場(chǎng)景的應(yīng)用，解讀邊緣計(jì)算端在實(shí)際場(chǎng)景應(yīng)用中遇到的問(wèn)題及獨(dú)特的解決方案。

以下為趙寒偉分享內(nèi)容節(jié)選，雷鋒網(wǎng)AI掘金志做了不改變?cè)獾木庉嫛?/strong>

 觸景無(wú)限與邊緣計(jì)算

邊緣計(jì)算原理與章魚相似，章魚40%神經(jīng)元在大腦，60%神經(jīng)元在觸手，八只觸手可以感知接觸的信息，甚至可以做簡(jiǎn)單的思考。觸手做了一部分大腦的工作，降低了大腦處理的工作量。邊緣計(jì)算就是分布式計(jì)算，在靠近傳感器的前端做一部分計(jì)算，計(jì)算結(jié)果直接反饋到前端和大腦。

現(xiàn)在大部分的架構(gòu)是云邊結(jié)合的方式，所以在邊緣端要具備快速處理的能力。比如，聲音傳感器聽(tīng)到聲音后把攝像頭轉(zhuǎn)向聲音來(lái)源的角度，實(shí)際上是在邊緣端處理后的快速響應(yīng)，如果把聲音指令傳到中心的云端，云端經(jīng)過(guò)計(jì)算再把指令傳到前端，此時(shí)可能聲音的景象已經(jīng)變化，所以快速在前端的反應(yīng)是邊緣計(jì)算的優(yōu)勢(shì)。

另外，目前很多場(chǎng)景無(wú)法保障網(wǎng)絡(luò)的實(shí)時(shí)連通性和實(shí)時(shí)速度，最典型的自動(dòng)駕駛，雖然有云端大腦，但汽車在行進(jìn)中很難完全保障信號(hào)，所以車?yán)锒加邢鄳?yīng)的邊緣計(jì)算設(shè)備去處理感知前端遇到的問(wèn)題。

云端AI和嵌入式AI，并不是對(duì)立的技術(shù)，二者相結(jié)合才能滿足大部分的需求。

在云端有豐富計(jì)算資源、加速快、可以支撐非常復(fù)雜的模型和算法，同時(shí)必須保障實(shí)時(shí)聯(lián)網(wǎng)環(huán)境；在邊緣端，基本都是嵌入式，算力有限，模型不能太復(fù)雜和龐大，要經(jīng)過(guò)優(yōu)化和壓縮，適用場(chǎng)景豐富。云端和邊緣端是相結(jié)合運(yùn)作的。

觸景無(wú)限在邊緣計(jì)算端有十年經(jīng)驗(yàn)積累。

首先，在感知算法、智能識(shí)別算法的積累，算法不僅僅包括視頻結(jié)構(gòu)化，聲音處理，各種傳感器處理，還有模型壓縮和模型優(yōu)化。

舉個(gè)例子讓大家理解一下算法壓縮與優(yōu)化，最近與我們合作的一個(gè)AI國(guó)企最多能把算法壓縮到50M，繼續(xù)壓縮識(shí)別效率會(huì)下降，我們?cè)谶吘壎藞?zhí)行的算法可壓縮到幾百K，不到1M，并且高度壓縮下識(shí)別效率沒(méi)有降低。這是我們?cè)谶吘壦惴ㄩL(zhǎng)期積累的一個(gè)體現(xiàn)。

除了了解具體芯片的應(yīng)用場(chǎng)景特點(diǎn)，我們還具有算法和芯片高度融合與底層優(yōu)化，充分挖掘芯片算力的能力。比如，Intel Movidius 2450芯片有200G算力，我們通過(guò)在芯片算法底層注入?yún)R編語(yǔ)言，改變它的數(shù)據(jù)準(zhǔn)備、運(yùn)算等，在實(shí)測(cè)中可以和市面上1T算力的芯片相當(dāng)，這項(xiàng)能力的技術(shù)含量其實(shí)非常高。

我們把邊緣計(jì)算技術(shù)和經(jīng)驗(yàn)積累注入到公司五大系列產(chǎn)品。

邊緣計(jì)算單元，實(shí)際就是邊緣計(jì)算的設(shè)備，首先它可以接物聯(lián)網(wǎng)設(shè)備，其次它在邊緣端可以把接入的物聯(lián)網(wǎng)設(shè)備信號(hào)進(jìn)行相應(yīng)的處理，然后轉(zhuǎn)換成能感知的東西，也可以做一些前端控制，這些數(shù)據(jù)通過(guò)安全加密的一種方式，傳輸?shù)皆贫耍@是邊緣計(jì)算單元的功能。

這次疫情我們快速推出了瞬視體溫篩檢系列，利用紅外成像與可見(jiàn)光成像進(jìn)行疊加運(yùn)算，實(shí)現(xiàn)快速篩檢體溫，最高級(jí)的產(chǎn)品我們用的是640*480的紅外感知的芯片，1分鐘通過(guò)測(cè)溫人數(shù)可以達(dá)到780人，在整個(gè)測(cè)溫市場(chǎng)，性能是非常高的。

盾悟系列主要是面向存量市場(chǎng)，比如高清攝像機(jī)不具備智能功能，加了這個(gè)盒子后普通的攝像機(jī)就具有人臉識(shí)別，人體、車輛的抓拍功能。

角蜂鳥是我們與英特爾合作，基于人工智能的開發(fā)套件，主要是人工智能研發(fā)公司和教育培訓(xùn)機(jī)構(gòu)，給學(xué)生上人工智能實(shí)訓(xùn)課，通過(guò)USB插上電腦，20行代碼搞定人臉識(shí)別，這個(gè)可以檢測(cè)出20種實(shí)物模型，可以做快速的人工智能開發(fā)，當(dāng)然也可以開發(fā)模型，把里面的模型替換掉增加新的算法。我們與2000多家公司和教育機(jī)構(gòu)在合作。

瞬視系列是與攝像機(jī)廠商合作，面向市場(chǎng)提供智能攝像機(jī)，在攝像機(jī)里加一個(gè)邊緣計(jì)算的組件，有算法模型、芯片，讓相機(jī)變成智能相機(jī)，一個(gè)主要的場(chǎng)景是作為電子警察，在路口能檢測(cè)出14-18種違章行為，包括了行為分析、車輛檢測(cè)、人員檢測(cè)等。

感知城市的理解

物聯(lián)網(wǎng)和云發(fā)展多年，各個(gè)平臺(tái)的建設(shè)和打通都已經(jīng)完成得差不多了，為什么智慧城市依然沒(méi)有到來(lái)，因?yàn)榛A(chǔ)的感知還沒(méi)實(shí)現(xiàn)。

感知技術(shù)的發(fā)展其實(shí)與物聯(lián)網(wǎng)技術(shù)，邊緣感知技術(shù)，云計(jì)算技術(shù)相關(guān)，物聯(lián)網(wǎng)和云計(jì)算在十幾年前就出現(xiàn)了，但感知沒(méi)有得到快速推進(jìn)，主要是芯片算力不夠，拖了智慧城市的后腿。

智慧城市建設(shè)過(guò)程中離不開智能感知，包括水、能源、交通、綠地、金融等都離不開傳感技術(shù)，有了傳感器就要做智能識(shí)別，識(shí)別后需要智能控制，所以在整個(gè)體系里，感知是非常重要的一個(gè)環(huán)節(jié)。 

近年隨著芯片算力提高，邊緣計(jì)算成為非常重要的話題。2018年麻省理工科技評(píng)論把感知城市列入全球十大突破性技術(shù)。

近兩年城市數(shù)字化成為我們國(guó)家戰(zhàn)略，數(shù)字化經(jīng)濟(jì)中把一個(gè)城市數(shù)字化，需要傳感器把城市3D模型里各個(gè)數(shù)據(jù)上傳，才能形成一個(gè)真正的數(shù)字城市，很多數(shù)據(jù)是難以理解，所以就需要在芯片邊緣端計(jì)算，實(shí)現(xiàn)傳到中心端的東西，已經(jīng)是能夠讀懂的東西。

項(xiàng)目案例分享

今天分享的案例是地鐵人臉進(jìn)站。

之前城市地鐵的通行方案基本上是兩個(gè)，刷卡和二維碼。卡易丟失，忘帶，損壞，并且退換卡麻煩；二維碼給大家提供了便捷，但高峰的時(shí)候網(wǎng)絡(luò)擁堵，二維碼打不開，造成人員擁堵，非常影響出行效率。

這是目前地鐵通行方案存在的問(wèn)題，很多探討刷臉進(jìn)地鐵的方案，其實(shí)需要考慮的就幾個(gè)問(wèn)題。

通行速度能不能保障？會(huì)不會(huì)有誤識(shí)別？刷錯(cuò)扣款賬戶？使用人數(shù)多會(huì)不會(huì)影響處理能力？資金投入是否很大？

通行速度要保證在200毫秒左右?，F(xiàn)在暫時(shí)無(wú)法實(shí)現(xiàn)“從抓拍到人，人到閘機(jī)自動(dòng)開”。因?yàn)槟壳笆峭ㄟ^(guò)在閘機(jī)上裝一個(gè)小屏幕的讀頭方式?；旧鲜前肱浜鲜?，乘客要稍微頓一下來(lái)提升通行速度。

誤識(shí)別是人臉技術(shù)范疇，目前的技術(shù)很難達(dá)到100%，這是難點(diǎn)。能達(dá)到99%的識(shí)別率，就已經(jīng)不錯(cuò)了。國(guó)家公安部的標(biāo)準(zhǔn)是95%以上，但95%對(duì)地鐵是無(wú)法忍受的。一個(gè)中等城市地鐵一天的人流量大概在300萬(wàn)，300萬(wàn)人有95%的誤識(shí)別率意味著多少人？所以要采用一些輔助性的手段來(lái)彌補(bǔ)人臉系數(shù)的先天短板。

人數(shù)多的問(wèn)題，考慮用預(yù)篩選和分級(jí)名單的方式，地鐵行業(yè)叫縮庫(kù)。比如，整個(gè)城市有1000萬(wàn)人注冊(cè)了人臉，但實(shí)際進(jìn)站的人連1萬(wàn)都不夠，一天總數(shù)可能20萬(wàn)，這時(shí)候需要對(duì)進(jìn)入地鐵站的人進(jìn)行篩選。

像北京這樣的城市，人臉庫(kù)注冊(cè)會(huì)達(dá)到上千萬(wàn)，到上千萬(wàn)的人臉庫(kù)里搜一個(gè)人的照片，至少10分鐘不一定能搜出來(lái)，地鐵公司也很有可能不愿意投入。所以我們要通過(guò)貼合實(shí)際的手段解決技術(shù)存在的問(wèn)題。

這個(gè)方案有四個(gè)目標(biāo)，一是構(gòu)建地鐵刷臉支付體系，提高管控能力；在此基礎(chǔ)上提升乘客出行體驗(yàn)，比如直接刷臉進(jìn)站解決東西多不方便拿手機(jī)等問(wèn)題；另外也提高了公共安全能力。然后沉淀大數(shù)據(jù)，把脫敏的數(shù)據(jù)進(jìn)行數(shù)據(jù)管理和客戶行為分析，獲取數(shù)據(jù)更多的價(jià)值。當(dāng)然這些信息都是保密的。

這個(gè)項(xiàng)目有三個(gè)技術(shù)關(guān)鍵點(diǎn)。

 第一，人臉選優(yōu)技術(shù)。對(duì)鏡頭抓拍到的人臉進(jìn)行跟蹤，攝像頭對(duì)暗光人臉區(qū)域補(bǔ)光，對(duì)比效果不好的側(cè)臉進(jìn)行篩除，在整個(gè)過(guò)程中挑選最佳鏡頭。

第二，人臉預(yù)篩。地鐵在人流量高峰期，一個(gè)鏡頭可能有上百人，如果他們走到閘機(jī)面前再在千萬(wàn)人的人臉庫(kù)檢索，依然需要等。從地鐵通道到閘機(jī)一般至少有幾十秒間隔，其實(shí)可以提前將云端人臉檢索出來(lái)，將檢索結(jié)果放到閘機(jī)上，當(dāng)乘客走到閘機(jī)前時(shí)，快速識(shí)別通過(guò)。

第三是本地庫(kù)智能篩選。根據(jù)大數(shù)據(jù)分析技術(shù)構(gòu)建本地?？蛶?kù)，比如某人每天從A站進(jìn)B站出，就可以在相應(yīng)站點(diǎn)緩存這些信息；還可以建VIP庫(kù)。

整個(gè)方案是怎樣實(shí)現(xiàn)的？

乘客端下載手機(jī)APP，注冊(cè)后云端系統(tǒng)收集了人臉等信息；然后綁定支付信息，連接計(jì)費(fèi)系統(tǒng)，同時(shí)云端把數(shù)據(jù)同步到地鐵人臉庫(kù)，預(yù)篩系統(tǒng)從乘客進(jìn)站開始持續(xù)抓拍，在人臉庫(kù)中選取最佳人臉進(jìn)行兩級(jí)預(yù)篩，然后將篩選信息快速下載到閘機(jī)端，這個(gè)過(guò)程最多持續(xù)2分鐘。

閘機(jī)快速比對(duì)后開門，所有進(jìn)站的人信息放到進(jìn)站人臉庫(kù)，出站時(shí)同樣在站內(nèi)做預(yù)篩，到所有進(jìn)站人員庫(kù)里做比對(duì)，比對(duì)后在閘機(jī)開始識(shí)別，此時(shí)乘客進(jìn)出記錄已經(jīng)發(fā)送到計(jì)費(fèi)系統(tǒng)，連接的電子錢包自動(dòng)扣費(fèi)。這是整體的方案構(gòu)成。

這個(gè)方案給地鐵方帶來(lái)了先進(jìn)的AI人臉識(shí)別技術(shù)，從中美貿(mào)易戰(zhàn)看，國(guó)家已經(jīng)把人工智能和大數(shù)據(jù)等技術(shù)作為國(guó)家戰(zhàn)略技術(shù)，所以不是用不用這些技術(shù)的問(wèn)題，而是我們要通過(guò)這些技術(shù)的升級(jí)帶動(dòng)整個(gè)行業(yè)和產(chǎn)業(yè)鏈的發(fā)展。

刷臉進(jìn)站實(shí)現(xiàn)了乘客實(shí)名制，這里面一個(gè)重要角色就是銀行，銀行拿到人臉信息后，在其人臉庫(kù)做實(shí)名比對(duì)，提供大數(shù)據(jù)的人員畫像。大量人臉抓拍后，依據(jù)人臉的圖像，大概分析出性別、年齡段等屬性，有了這些信息，對(duì)于銀行和地鐵運(yùn)營(yíng)公司來(lái)講，基于這些脫敏后的數(shù)據(jù)做統(tǒng)計(jì)分析、決策分析；另外也提高了整個(gè)的安保能力，一些危急情況，比如抓犯罪分子，都可以到信息庫(kù)調(diào)相應(yīng)的數(shù)據(jù)，看到這個(gè)人的行動(dòng)軌跡，進(jìn)出站點(diǎn)和時(shí)間?？梢哉f(shuō)，我們基本實(shí)現(xiàn)了方案的目標(biāo)。

例如針對(duì)某中型城市有128個(gè)地鐵站，地鐵每天平均人流量大概幾萬(wàn)人，高峰時(shí)段大概300萬(wàn)人，我們的解決方案，每個(gè)站有4個(gè)站口，每個(gè)站口兩路抓拍攝像機(jī)，8個(gè)視頻結(jié)構(gòu)化的終端，還有一臺(tái)視頻識(shí)別服務(wù)器，直接在站端識(shí)別。我們最終測(cè)試出每分鐘53個(gè)人的通行速度，這個(gè)速度比刷卡和二維碼快很多。

這就是觸景無(wú)限在這10年時(shí)間沉淀出來(lái)的技術(shù)能力，算法與芯片的緊密結(jié)合，深挖芯片計(jì)算潛力，同芯片同模型性能表現(xiàn)遠(yuǎn)遠(yuǎn)超出業(yè)內(nèi)標(biāo)準(zhǔn)水平，產(chǎn)品更具競(jìng)爭(zhēng)力。

公司其他方案簡(jiǎn)介

我們公司基于產(chǎn)品在其他的領(lǐng)域也打造了一些解決方案。

第一個(gè)是園區(qū)，智能樓宇主要是用人臉識(shí)別技術(shù)做出入控制，做無(wú)感門禁。裝一個(gè)攝像頭，攝像頭后有一個(gè)邊緣計(jì)算設(shè)備，這個(gè)設(shè)備直接連到門上，人進(jìn)門不需要配合。如果是被授權(quán)的人，門直接開，完全無(wú)感。如果沒(méi)有授權(quán)，或者這個(gè)人后邊跟著一個(gè)沒(méi)有被授權(quán)的人，會(huì)有防尾隨警報(bào)。

還可以做區(qū)域管控。比如一些區(qū)域只允許A、B、C進(jìn)，其他人就無(wú)法進(jìn)入；以前裝玻璃圍墻和門，沒(méi)鑰匙或指紋就進(jìn)不去，現(xiàn)在直接在電腦端攝像頭上畫一個(gè)虛的曲線，在實(shí)景里頭畫一個(gè)虛的方框就可以了，只要沒(méi)有權(quán)限的人出現(xiàn)在指定區(qū)域就警報(bào)。

監(jiān)獄的區(qū)域管控是非常重要的，我們也有案例。包括無(wú)感門禁，某個(gè)區(qū)域出現(xiàn)了非授權(quán)的人，他就會(huì)變成紅色，可以根據(jù)攝像頭來(lái)畫人員在區(qū)域內(nèi)精確的行動(dòng)軌跡。

迎賓案例是銀行為VIP客戶設(shè)置的，只要VIP客戶出現(xiàn)，就會(huì)展示一個(gè)迎賓界面。普通客戶是統(tǒng)計(jì)他的年齡、性別做數(shù)據(jù)統(tǒng)計(jì)。

智慧園區(qū)里的智慧燈桿，我們和其他公司做的不同，比如其他公司在燈桿上加一個(gè)攝像頭，后端會(huì)有一個(gè)視頻云，在這個(gè)視頻云里做分析；如果加了一個(gè)聲音控制，后端會(huì)有一個(gè)音頻云，基本上是前端掛了幾個(gè)設(shè)備，后邊就有幾朵云，最后用一個(gè)大的系統(tǒng)，一個(gè)大的展示界面。

我們是在燈桿端把所有傳感器信息直接接入到設(shè)備，傳到后臺(tái)就一個(gè)云，在前端就已經(jīng)做過(guò)一些處理了，后邊是基于智慧燈桿的可視化平臺(tái)，因?yàn)槎际腔谝曨l的，在視頻上可以做增強(qiáng)內(nèi)容，給出車輛報(bào)警、環(huán)境報(bào)警、人員報(bào)警等。

交通違章抓拍的系統(tǒng)主要用瞬視系列，每個(gè)相機(jī)覆蓋3-4個(gè)車道，里面裝AI加速芯片和我們的算法，可以檢測(cè)至少14種違章行為。機(jī)動(dòng)車不禮讓行人是通過(guò)行為識(shí)別判斷路人是否有過(guò)人行道的意識(shí)，以此判斷機(jī)動(dòng)車是否禮讓，其中涉及很多邊緣算法。

司法高戒備場(chǎng)所，包括監(jiān)獄、看守所、戒毒所等，主要用人臉技術(shù)點(diǎn)名，監(jiān)獄等場(chǎng)景點(diǎn)名非常頻繁，每天點(diǎn)名的工作量非常大，基本上隔一個(gè)小時(shí)要點(diǎn)一次名。人工操作的話非常耗時(shí)，人臉技術(shù)點(diǎn)名十幾秒鐘就能做完；還有24小時(shí)值班造成的干警疲勞狀態(tài)，我們提供疲勞狀態(tài)監(jiān)測(cè)、軌跡分析、區(qū)域檢測(cè)，區(qū)域不能有人、不能沒(méi)人或者不能出現(xiàn)太多人等都可以檢測(cè)到。

還有今年剛剛推出來(lái)的防疫體溫篩查系統(tǒng)，是針對(duì)大人流量和超大人流量情況下的自動(dòng)篩檢系統(tǒng)。前端是體溫檢測(cè)相機(jī)和黑體，黑體用來(lái)標(biāo)定，因?yàn)榧t外本身感溫，它隨著環(huán)境溫度的變化浮動(dòng)大，所以測(cè)溫場(chǎng)景下，要有一個(gè)恒溫的設(shè)備標(biāo)定一個(gè)標(biāo)準(zhǔn)值，就是黑體。比如標(biāo)正這個(gè)地方37度，人經(jīng)過(guò)后測(cè)溫就非常準(zhǔn)了。基本上要想測(cè)得準(zhǔn)，就一定要有黑體。

關(guān)于邊緣計(jì)算的這些方案和場(chǎng)景，我們現(xiàn)在也在做更多的探索，我們的目標(biāo)是，讓城市具備感知能力，讓城市擁有生命。雷鋒網(wǎng)

全場(chǎng)回顧視頻即將上線，敬請(qǐng)期待

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。