丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
智慧安防 正文
發(fā)私信給劉偉
發(fā)送

0

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

本文作者: 劉偉 2019-11-21 09:30
導(dǎo)語(yǔ):10月27日,由雷鋒網(wǎng) & AI掘金志主辦的「全球AI芯片·城市智能峰會(huì)」,在深圳大中華喜來(lái)登酒店盛大召開(kāi)。延續(xù)雷鋒網(wǎng)大會(huì)一貫的高水準(zhǔn)、高人氣,「全球A

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

10月27日,由雷鋒網(wǎng) & AI掘金志主辦的「全球AI芯片·城市智能峰會(huì)」,在深圳大中華喜來(lái)登酒店盛大召開(kāi)。

延續(xù)雷鋒網(wǎng)大會(huì)一貫的高水準(zhǔn)、高人氣,「全球AI芯片·城市智能峰會(huì)」以“城市視覺(jué)計(jì)算再進(jìn)化”為主題,全面聚焦城市視覺(jué)與城市算力領(lǐng)域,是業(yè)內(nèi)首個(gè)圍繞“算法+算力”展開(kāi)的大型智能城市論壇。

峰會(huì)邀請(qǐng)到了極具代表性的14位業(yè)內(nèi)知名專(zhuān)家,世界頂尖人工智能科學(xué)家、芯片創(chuàng)業(yè)大牛、產(chǎn)業(yè)巨頭首席技術(shù)高管、明星投資人齊聚,為行業(yè)資深從業(yè)者們分享前瞻的技術(shù)研究與商業(yè)模式方法論。

其中,蘇州科達(dá)首席科學(xué)家、前博通圖像事業(yè)部資深科學(xué)家章勇作為下午場(chǎng)的第五位演講嘉賓登臺(tái),圍繞《AI超微光技術(shù)與邊緣算力選擇》這一主題發(fā)表了精彩演講。

章勇表示,目前深度學(xué)習(xí)技術(shù)主要應(yīng)用于模式匹配和圖像識(shí)別,例如人臉識(shí)別、車(chē)輛特征提取、視頻結(jié)構(gòu)化等。而科達(dá)則將這種深度學(xué)習(xí)技術(shù)應(yīng)用到前端傳感器圖像增強(qiáng)處理技術(shù)領(lǐng)域,直接對(duì)前端圖像傳感器輸出的裸數(shù)據(jù)進(jìn)行圖像恢復(fù),最大化還原低照度環(huán)境下的實(shí)際圖像效果。

這種處理技術(shù)的好處是,它突破了傳統(tǒng)攝像機(jī)中ISP技術(shù)的局限性。目前ISP由數(shù)十個(gè)圖像處理模塊組成,數(shù)百個(gè)參數(shù)需要人工根據(jù)經(jīng)驗(yàn)進(jìn)行調(diào)整,不僅費(fèi)時(shí)費(fèi)力,而且由于傳統(tǒng)算法的局限性,難以在低照高噪聲的情況下顯示出圖像中有用的信息。而AI超微光技術(shù)對(duì)傳感器數(shù)據(jù)直接進(jìn)行處理,運(yùn)用神經(jīng)網(wǎng)絡(luò)完成輸入圖像到輸出圖像端到端的非線性映射。不僅如此,相對(duì)于增強(qiáng)補(bǔ)光,以及多目多光譜設(shè)計(jì)的硬件解決方案,獨(dú)創(chuàng)的深度學(xué)習(xí)圖像增強(qiáng)算法,可在大幅減少卡口對(duì)補(bǔ)光燈的依賴(lài)的條件下,提升圖像亮度,且充分還原物體顏色與紋理等細(xì)節(jié)信息。

另一方面,這項(xiàng)技術(shù)也對(duì)邊緣側(cè)芯片的算力提出了巨大挑戰(zhàn)。面對(duì)市場(chǎng)上琳瑯滿目的芯片,科達(dá)結(jié)合超微光技術(shù)的場(chǎng)景特點(diǎn),提出了六項(xiàng)邊緣算力芯片的篩選標(biāo)準(zhǔn)————模型運(yùn)行評(píng)分、工具鏈有效性、靈活性、成本、非AI功能、TOPS/W。

依托于精簡(jiǎn)優(yōu)化的算法和所選擇的邊緣算力,蘇州科達(dá)創(chuàng)新性地完成了AI超微光在邊緣側(cè)的實(shí)現(xiàn)任務(wù),已經(jīng)形成了產(chǎn)品系列并申請(qǐng)了多項(xiàng)專(zhuān)利。

以下是章勇的全部演講內(nèi)容,雷鋒網(wǎng)做了不改變?cè)獾恼砼c編輯:

很榮幸有機(jī)會(huì)跟大家分享我們的新技術(shù)——AI超微光技術(shù)。

我今天的演講要從摩爾定律開(kāi)始講起。摩爾定律說(shuō)的是,集成電路上可容納的元器件數(shù)目每隔18-24個(gè)月就會(huì)增加一倍。其實(shí)AI界也有一個(gè)摩爾定律,是由IBM和UIUC的兩位學(xué)者提出的,說(shuō)的是Xiv.org上的人工智能相關(guān)論文數(shù)量每隔18-24個(gè)月會(huì)增加一倍。今年6月份我去美國(guó)參加CVPR,在會(huì)場(chǎng)看到了CVPR論文的統(tǒng)計(jì),發(fā)現(xiàn)它確實(shí)符合這個(gè)規(guī)律,2019的CVPR論文數(shù)呈現(xiàn)了倍增的趨勢(shì)。

最近我們時(shí)常聽(tīng)到一些關(guān)于AI的悲觀論調(diào),認(rèn)為現(xiàn)在的AI是偽AI。但從學(xué)術(shù)界的趨勢(shì)來(lái)看,我們有理由堅(jiān)信AI將在不遠(yuǎn)的將來(lái)迎來(lái)持續(xù)爆發(fā)。

在人工智能落地的諸多領(lǐng)域中,視頻監(jiān)控?zé)o疑是最成功的。視頻監(jiān)控的發(fā)展經(jīng)歷了四個(gè)階段,從2005年以前的模擬視頻監(jiān)控時(shí)代,經(jīng)過(guò)網(wǎng)絡(luò)數(shù)字監(jiān)控時(shí)代和高清數(shù)字監(jiān)控時(shí)代,最終在2015年步入了人工智能的新紀(jì)元。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

過(guò)去五六年,蘇州科達(dá)每次參加安博會(huì)的主題都和AI緊密相關(guān),今年我們的主題是“AI實(shí)戰(zhàn)派”。這也從側(cè)面說(shuō)明AI已經(jīng)在視頻監(jiān)控領(lǐng)域生根發(fā)芽了。

那么,AI可以為視頻監(jiān)控做些什么呢?概括來(lái)說(shuō),它可以用先進(jìn)的深度學(xué)習(xí)算法——比如檢測(cè)、分類(lèi)、回歸、跟蹤算法,衍生出對(duì)應(yīng)的視頻監(jiān)控應(yīng)用,比如人員屬性、車(chē)輛屬性、視頻結(jié)構(gòu)化等。人員屬性包括人臉識(shí)別、人像檢測(cè)、年齡識(shí)別、性別識(shí)別等;車(chē)輛屬性包括司乘人臉、車(chē)窗檢測(cè)、掛件檢測(cè)等等;視頻結(jié)構(gòu)化則可以把人、車(chē)、道路的關(guān)系用語(yǔ)義的方式描述出來(lái)。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇


剛才說(shuō)到的這些應(yīng)用,基本都屬于圖像理解和圖像分析的范疇,是計(jì)算機(jī)視覺(jué)里的高層視覺(jué)和中層視覺(jué)任務(wù),其主要目的是對(duì)圖像進(jìn)行分析,提取里面的語(yǔ)義。相比之下,低層視覺(jué)任務(wù)過(guò)去在視頻監(jiān)控領(lǐng)域的應(yīng)用并不多。這次安博會(huì),蘇州科達(dá)帶來(lái)的主要技術(shù)突破——AI超微光技術(shù),本質(zhì)上就是一項(xiàng)用AI加持的低層圖像處理技術(shù)。具體來(lái)說(shuō),它是一項(xiàng)基于深度學(xué)習(xí)算法,在邊緣側(cè)實(shí)現(xiàn)低照度圖像增強(qiáng)的技術(shù)。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

為什么我們把低照微光作為AI的主要應(yīng)用場(chǎng)景呢?因?yàn)榈驼瘴⒐馐且曨l監(jiān)控領(lǐng)域的一大痛點(diǎn)。攝像機(jī)的成像原理與人眼類(lèi)似。人眼成像要先有光源照射在目標(biāo)物體上,光線被反射進(jìn)入人眼視網(wǎng)膜成像。監(jiān)控?cái)z像機(jī)也是同樣的道理,反射光進(jìn)入鏡頭后由圖像傳感器進(jìn)行光電轉(zhuǎn)化,經(jīng)過(guò)ISP處理,最終將圖像展現(xiàn)在我們面前。不難發(fā)現(xiàn),照度是成像的關(guān)鍵。我們常說(shuō)伸手不見(jiàn)五指,太黑了人眼看不清,其實(shí)太黑了攝像頭也拍不出來(lái)。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

視頻監(jiān)控有一個(gè)特點(diǎn),光天化日之下發(fā)生違法犯罪事件的概率非常小,大部分有用的視頻監(jiān)控信息都是在光線不好的時(shí)間段采集的。因此低照成像技術(shù)的應(yīng)用場(chǎng)景非常廣泛,包括平安城市、雪亮工程、酒店、住宅小區(qū)等等。幾乎所有視頻監(jiān)控?cái)z像機(jī)都會(huì)注明它的低照度指標(biāo),這說(shuō)明低照度是視頻監(jiān)控?cái)z像機(jī)的基本特性。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

攝像機(jī)成像的過(guò)程中有許多噪聲如影隨形,包括熱噪聲、電流噪聲、空間噪聲等等。如果圖像信號(hào)很弱,噪聲很強(qiáng)——也就是信噪比很低,圖像就會(huì)完全淹沒(méi)在噪聲里。比如下面這頁(yè)ppt中的圖片,左邊的圖片還能看清是一個(gè)小伙子,右邊的圖片就完全看不清了,毫無(wú)價(jià)值。所以監(jiān)控的重點(diǎn)不是拍到而是拍清,要給人家有用的信息,能分析出里面的具體內(nèi)容。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

那么,我們?cè)鮼?lái)解決低照監(jiān)控的問(wèn)題呢?最簡(jiǎn)單的辦法,既然光線不足,那我強(qiáng)化補(bǔ)光就是了。但這樣一來(lái)也造成了很?chē)?yán)重的光污染,對(duì)此相信大家都深有體會(huì),比如晚上開(kāi)車(chē)回家的時(shí)候被爆閃燈晃得睜不開(kāi)眼。除了用戶體驗(yàn)差,這種做法也很浪費(fèi)資源,會(huì)增加系統(tǒng)的開(kāi)銷(xiāo),因?yàn)槊總€(gè)攝像機(jī)旁邊都要裝一個(gè)燈,非常可怕。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

第二種做法是堆疊攝像機(jī)硬件。幾年前有一個(gè)技術(shù)特別熱門(mén),叫做超星光技術(shù),它的做法是采用超大光圈和高靈敏度的傳感器。這項(xiàng)技術(shù)的缺陷在于,超大光圈會(huì)影響拍攝的景深。在攝影領(lǐng)域,超大光圈可以產(chǎn)生一些特殊的藝術(shù)效果,但對(duì)視頻監(jiān)控來(lái)說(shuō)它卻是負(fù)面效果。此外,高靈敏度傳感器原來(lái)是用在軍事領(lǐng)域的,將它遷移過(guò)來(lái)無(wú)疑會(huì)大幅推高設(shè)備的成本。

這個(gè)做法下還有一個(gè)分支,叫做黑光技術(shù),是前兩年大家非常追捧的新技術(shù)。它采用的是多目融合的技術(shù),通過(guò)兩個(gè)鏡頭分光,或者一個(gè)鏡頭里有兩個(gè)傳感器,對(duì)可見(jiàn)光和紅外光進(jìn)行多光譜融合。這也帶來(lái)了三點(diǎn)問(wèn)題:一是成本增加;二是兩條光路融合,必然會(huì)導(dǎo)致分辨率下降;三是它無(wú)法拍攝紅外反光比較強(qiáng)烈的物體,也無(wú)法穿透紅外透光率低的玻璃。最后一點(diǎn)問(wèn)題非常嚴(yán)重,因?yàn)楝F(xiàn)在絕大多數(shù)人為了隔熱都會(huì)在車(chē)窗上貼膜,它的作用實(shí)際上就是防紅外穿透。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

第三種做法是通過(guò)復(fù)雜的ISP提高圖像質(zhì)量。傳統(tǒng)方法是提高ISP數(shù)字增益,提高圖像亮度,但數(shù)字增益不區(qū)分圖像信號(hào)和噪聲,把噪聲也加大了,所以基本沒(méi)什么用。還有一種方法是放慢快門(mén)速度,但這樣一來(lái)就沒(méi)辦法捕捉高速運(yùn)動(dòng)的物體了,而現(xiàn)實(shí)中我們需要捕捉的又往往是高速運(yùn)動(dòng)的車(chē)輛和人,所以這個(gè)方法也行不通。還有就是各種各樣的降噪算法,比如空間和時(shí)域的降噪。這些算法本身挺好,但遇到低照的情況,由于信噪比太低,它在過(guò)濾噪聲的同時(shí)也會(huì)把圖像信號(hào)過(guò)濾掉,結(jié)果就是圖像非常模糊。

正是因?yàn)榇嬖谶@樣或那樣的痛點(diǎn),我們開(kāi)始思考能不能把AI用到低照監(jiān)控當(dāng)中來(lái)。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

攝像機(jī)ISP是一個(gè)從輸入圖像到輸出圖像的非線性映射,我把它描述成f(x),也就是一個(gè)二維的函數(shù)。我們知道,深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)非線性函數(shù)有很好的逼近能力:首先,它的網(wǎng)絡(luò)非常深非常復(fù)雜;其次它的每個(gè)神經(jīng)元里都有若干個(gè)加權(quán)函數(shù),同時(shí)精密函數(shù)也是非線性的。所以我們采用了這樣一個(gè)方法,即對(duì)低照度場(chǎng)景進(jìn)行有監(jiān)督的深度學(xué)習(xí)訓(xùn)練,讓神經(jīng)網(wǎng)絡(luò)在傳感器輸出的數(shù)據(jù)中自動(dòng)尋找并增強(qiáng)圖像中的有用信息。這個(gè)想法非常好,我們嘗試后也發(fā)現(xiàn),它在算法模擬上是可以成功的。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

整個(gè)處理流程大致是這樣的:前面輸入的過(guò)程不變,光線經(jīng)過(guò)普通的鏡頭和傳感器完成光電轉(zhuǎn)換后,用深度神經(jīng)網(wǎng)絡(luò)代替原來(lái)的ISP,把bayer圖像輸入到這個(gè)深度神經(jīng)網(wǎng)絡(luò)后,輸入的就是人眼想看到的ISP圖像。這種做法還帶來(lái)了一個(gè)附加的好處,因?yàn)楝F(xiàn)在ISP已經(jīng)進(jìn)入了完全不可知的領(lǐng)域,它里面有數(shù)百個(gè)模塊,每個(gè)模塊又有非常多的參數(shù)要調(diào)整,完全是ISP工程師靠經(jīng)驗(yàn)堆疊起來(lái)的,所以ISP工程師非常值錢(qián),而我們的方案可以省略對(duì)ISP參數(shù)的調(diào)整。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

這個(gè)想法雖然很好,但在邊緣端實(shí)現(xiàn)起來(lái)還是會(huì)對(duì)算力提出非常大的挑戰(zhàn)。一般的圖像分析和理解任務(wù),首先要對(duì)圖像進(jìn)行裁剪和縮小,縮小到24×24或者300×300像素。也就是說(shuō)輸入神經(jīng)網(wǎng)絡(luò)的都是經(jīng)過(guò)大幅度縮小的圖片,輸出的則是提取出來(lái)經(jīng)過(guò)編碼的特征。

在AI超微光任務(wù)中,需要對(duì)逐個(gè)像素進(jìn)行操作,而且圖片通常是1080P、4K甚至1200W像素的,同時(shí)我們還要對(duì)每個(gè)顏色通道進(jìn)行處理,輸出的數(shù)據(jù)是輸入的三倍。因此,AI超微光任務(wù)對(duì)算力和存儲(chǔ)都提出了非常高的要求。此外,這個(gè)過(guò)程是在邊緣端實(shí)現(xiàn)的,還面臨著成本和功耗上的限制,所以選擇一顆合適的邊緣側(cè)算力芯片至關(guān)重要。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

面對(duì)市場(chǎng)上琳瑯滿目的芯片,我們不禁陷入了困惑,到底該怎么選擇呢?有幾個(gè)參考指標(biāo):

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

第一個(gè)指標(biāo)是TOPS。從2015年開(kāi)始,邊緣側(cè)芯片的TOPS有了突飛猛進(jìn)的發(fā)展,今年已經(jīng)看到有16T-20T算力的邊緣側(cè)芯片出來(lái)了。但是大家并沒(méi)有明確說(shuō)明TOPS是怎么計(jì)算出來(lái)的,大部分企業(yè)的計(jì)算方法都是“乘加器個(gè)數(shù) x 工作頻率 x 2”。這個(gè)算法太簡(jiǎn)單粗暴了,缺少對(duì)能耗的評(píng)價(jià)。如果這么計(jì)算,豈不是把兩個(gè)芯片簡(jiǎn)單疊加在一起,算力就翻倍了?

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

第二個(gè)指標(biāo)是TOPS/W。下面這頁(yè)ppt中是MIT一位學(xué)者統(tǒng)計(jì)出來(lái)的圖表,橫軸代表功耗,縱軸代表TOPS值。AI超微光的任務(wù)對(duì)于芯片有幾個(gè)要求:首先它的位寬必須大于或等于8bit,因?yàn)槲覀円幚淼氖菆D像;其次,它的功耗要小于10W,因?yàn)樾枰渴鹪谶吘墏?cè);最后,TOPS/W值要大于一。上個(gè)禮拜我在美國(guó)參加Facebook的研討會(huì),他們也在做相關(guān)的事情,他們追求的是TOPS/W值大于或等于5。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

TOPS/W顯然也不是一個(gè)特別完美的指標(biāo),因?yàn)槔锩孢€涉及到利用率的問(wèn)題。下面這頁(yè)ppt列出了一些常用深度神經(jīng)網(wǎng)絡(luò)需要的算力值,我們可以看到,基本都在幾十G左右。那么為什么我們卻動(dòng)輒需要幾個(gè)T的算力呢?原因前面的嘉賓介紹過(guò),因?yàn)樯窠?jīng)網(wǎng)絡(luò)非常復(fù)雜,而不管基于SIMD/SIMT架構(gòu)還是數(shù)據(jù)流架構(gòu)的芯片,采用的都是非常規(guī)整的體系架構(gòu),這種架構(gòu)里的映射顯然有很多水分。因此,我們要看OPS的利用率,而不是峰值的OPS。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

第三個(gè)指標(biāo)是存儲(chǔ)帶寬。提到存儲(chǔ)帶寬就要用到屋檐模型(Roofline模型)。我們吧存儲(chǔ)帶寬的值用下面這頁(yè)ppt中的公式來(lái)表示。公式下面這張圖片很有意義,藍(lán)線右邊是計(jì)算受限,藍(lán)線左邊是訪存受限,如果我們想避免訪存受限,就要不斷抬升屋檐。

右邊的圖片中有三個(gè)芯片,綠色的是訪存受限,中間紅色的稍微好一些,但仍然沒(méi)有完全跨越到計(jì)算受限,最上面黃色的則完全進(jìn)入到了計(jì)算受限,可以達(dá)到理論上的OPS峰值。通過(guò)Roofline模型,可以確定一個(gè)計(jì)算量與訪存量確定的算法模型,在一個(gè)算力和帶寬已知的計(jì)算平臺(tái)上,所能達(dá)到的理論性能上限。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

另外一種方式是在實(shí)際硬件上或是硬件仿真器上運(yùn)行各種常見(jiàn)的AI模型,進(jìn)行評(píng)估,這是目前各大公司正在采用的方法之一。這樣的評(píng)估工具有很多,比如MLPerf,有facebook等好幾家公司背書(shū)。中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟也發(fā)布了一個(gè)Benchmarking的工具。AI MATRIX是阿里巴巴內(nèi)部開(kāi)源的工具,ML Mark則是專(zhuān)門(mén)給嵌入式系統(tǒng)做的工具。目前國(guó)內(nèi)用的比較多的是AI-Benchmark,它里面囊括了11個(gè)任務(wù),包括圖像分類(lèi)、圖像檢測(cè)、游戲動(dòng)畫(huà)、圖像去波谷等。我們可以在上面跑各種AI模型然后打分。

這里舉兩個(gè)例子,一個(gè)是斯坦福的DAWNBench(右側(cè)上圖),一個(gè)是ML Perf(右側(cè)下圖),里面展示了所用的模型、對(duì)應(yīng)的硬件,以及使用了哪一種算法框架。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

另外,我們還要考慮算力工具鏈的性能和易用性。要看工具鏈能否對(duì)接各種不同的AI算法框架(Caffe,TF,pytorch等等),并轉(zhuǎn)化各種框架模型;以及它是否具備性能仿真器,能否給予算法人員準(zhǔn)確的調(diào)試反饋,能否進(jìn)行良好的網(wǎng)絡(luò)量化優(yōu)化。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

還有算力的靈活性:一是算力能否應(yīng)對(duì)非常規(guī)的網(wǎng)絡(luò),二是算力能否擴(kuò)展支持的層種類(lèi),三是算力能否兼容將來(lái)可能出現(xiàn)的新網(wǎng)絡(luò)。因?yàn)榫W(wǎng)絡(luò)的變化非???,算法人員經(jīng)常能想出許多新奇的點(diǎn)子,這些點(diǎn)子在軟件仿真的時(shí)候非常好用,但一跑到真正的芯片上就會(huì)出現(xiàn)各種各樣的問(wèn)題。

最后是邊緣算力芯片中集成的非AI功能。主要關(guān)注幾個(gè)點(diǎn):一、它是否具有應(yīng)用處理器核(AP)- SoC芯片;二、它是否包含其它非深度學(xué)習(xí)的圖像處理模塊;三、它是否包含視頻處理與編解碼模塊;四、它

是否有豐富的嵌入式接口用于數(shù)據(jù)傳輸和控制,比如PCIE,USB,MIPI ,Ethernet,SPI …因?yàn)槲覀兪怯迷谶吘墏?cè)的。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

總的來(lái)說(shuō),我們針對(duì)邊緣算力的選擇提出了六項(xiàng)指標(biāo)——模型運(yùn)行評(píng)分、工具鏈有效性、靈活性、成本、非AI功能、TOPS/W。最后看哪款芯片的指標(biāo)參數(shù)在雷達(dá)圖中覆蓋的面積大,就用它來(lái)完成AI超微光的任務(wù)。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

當(dāng)然,我們也花了幾個(gè)月的時(shí)間對(duì)網(wǎng)絡(luò)進(jìn)行了精簡(jiǎn)和優(yōu)化,同時(shí)對(duì)嵌入式的編程進(jìn)行了細(xì)致入微的優(yōu)化。我們提交了有關(guān)增強(qiáng)算法以及邊緣側(cè)實(shí)現(xiàn)的數(shù)項(xiàng)專(zhuān)利。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

最后給大家展示一下AI超微光的效果。

大家看下面這頁(yè)ppt,左邊圖片中的燈光參數(shù)非常亮,右邊則換成了比較弱的補(bǔ)光,兩張圖片都是在卡口場(chǎng)景。但是我們看拍出來(lái)的圖片,左邊圖片是看不見(jiàn)車(chē)?yán)锏娜说模驗(yàn)橛蟹劳改?,右邊則可以清楚地看到人臉并進(jìn)行人臉識(shí)別。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

下面這頁(yè)ppt是夜景,左圖的燈非常亮,右圖的燈實(shí)際比路燈還暗。我們可以看一下夜間抓拍的效果,左圖中的行人基本已經(jīng)看不見(jiàn)了,而右圖中的行人經(jīng)過(guò)超微光技術(shù)增強(qiáng)后清晰可見(jiàn)。因此超微光技術(shù)在夜間的應(yīng)用有著非常重要的價(jià)值。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

最后來(lái)看看人員卡口場(chǎng)景。下面ppt中左邊這一組是傳統(tǒng)人員卡口和超微光技術(shù)的對(duì)比。小區(qū)如果有非常亮的補(bǔ)光燈,是一件令人頭疼的事情。我們可以看到,傳統(tǒng)人員卡口的卡噪點(diǎn)多、圖像暗,基本看不清楚,右邊用了超微光技術(shù)后就清晰多了。

右邊這一組是黑光技術(shù)與超微光技術(shù)的對(duì)比,兩張圖的明暗程度完全不一樣。右邊用了超微光技術(shù),不需要很強(qiáng)的補(bǔ)光就可以把人臉恢復(fù)的非常清晰。

蘇州科達(dá)首席科學(xué)家章勇:AI超微光技術(shù)與邊緣算力選擇

我的分享就到這里,希望大家有時(shí)間到我們展臺(tái)來(lái)看看AI超微光這款新品。   謝謝大家!

問(wèn)答環(huán)節(jié):

主持人:您剛才講到超清光、超微光和黑光技術(shù),根據(jù)我個(gè)人的理解,這些更多是依靠硬件手段來(lái)實(shí)現(xiàn)的。之前何愷明在CVPR提出的暗通道先驗(yàn)算法主要是通過(guò)純軟件來(lái)去噪、增強(qiáng)圖像質(zhì)量。未來(lái)可不可以只用像暗通道這樣的算法、不依賴(lài)硬件就能夠?qū)崿F(xiàn)超威光的效果?

章勇:這是我們追求的目標(biāo)。剛才你也提到了暗通道算法,其實(shí)我們現(xiàn)在的算法,實(shí)際上是暗通道算法的進(jìn)階版。我們現(xiàn)在完全用了深度學(xué)習(xí)算法對(duì)每個(gè)像素進(jìn)行處理,將來(lái)希望不需要再通過(guò)單純的硬件堆疊,去提升攝像機(jī)本身的性能,而是通過(guò)內(nèi)部的軟件處理,特別是AI技術(shù),能夠把最終的圖像完美呈現(xiàn)給大家。我們可以看到這個(gè)趨勢(shì)越來(lái)越明顯,很多手機(jī)廠家,包括蘋(píng)果、華為也開(kāi)始在手機(jī)側(cè)對(duì)圖像采用這個(gè)處理方法,而不是單純的進(jìn)行硬件堆疊。

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。

分享:
相關(guān)文章
最新文章
請(qǐng)?zhí)顚?xiě)申請(qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說(shuō)