傳統(tǒng)攝像頭正朝著更高幀率、更大分辨率的方向發(fā)展，多傳感器融合也被行業(yè)定義為自動駕駛實(shí)現(xiàn)的必經(jīng)之路，這帶來的是越來越大的數(shù)據(jù)量。多數(shù)軟件芯片公司還在尋找如何快速準(zhǔn)確處理大量數(shù)據(jù)的最佳方式，而芯侖科技卻將精力放在機(jī)器視覺的數(shù)據(jù)之源——前端攝像頭。

11月28日，芯侖科技創(chuàng)始人兼首席科學(xué)家陳守順教授出席合肥高新區(qū)舉辦2018全球物聯(lián)網(wǎng)創(chuàng)新峰會，進(jìn)行了關(guān)于《顛覆性的物聯(lián)網(wǎng)感知方案——動態(tài)視覺傳感器》的主題演講。

打破常規(guī)的 CMOS 圖像傳感器和圖像處理算法，從博士時代開始探究動態(tài)視覺傳感器的陳守順，將這項(xiàng)技術(shù)應(yīng)用到自動駕駛創(chuàng)業(yè)中。2012年，陳守順做出第一款動態(tài)視覺傳感器芯片；2015年，其帶領(lǐng)團(tuán)隊(duì)在新加坡成立Hillhouse Technology；兩年后的夏天，團(tuán)隊(duì)回國，公司重新命名為上海芯侖光電科技有限公司。當(dāng)初的視覺傳感器芯片經(jīng)過多輪產(chǎn)品迭代，目前已經(jīng)演進(jìn)至第五代CeleX-V（100萬像素，車規(guī)級）。

動態(tài)視覺傳感器路徑上的供應(yīng)商為數(shù)不多，芯侖與瑞士的Inilabs、法國的Prophesee、三星（licensed IP）屬于同一隊(duì)列。專注汽車行業(yè)的法國咨詢公司YOLE曾將動態(tài)視覺傳感器定義為L4和L5級別的自動駕駛必不可少的傳感器之一。

CeleX?動態(tài)視覺傳感器

傳統(tǒng)攝像頭提供某一時刻的平面圖象，工作方式大致經(jīng)過重置電荷累計(jì)、曝光、輸出三個階段。電荷量根據(jù)輸入光的強(qiáng)度發(fā)生變化，其將捕捉到的光學(xué)信息（包括采集點(diǎn)的灰度和顏色）轉(zhuǎn)化成數(shù)字信號，實(shí)現(xiàn)場景的還原。陳守順提到傳統(tǒng)傳感器在數(shù)據(jù)獲取方面依舊存在以下問題：

• 不連續(xù)的數(shù)據(jù)獲?。簜鹘y(tǒng)傳感器并非連續(xù)曝光，采集存在間隔，攝像頭僅在曝光階段觀察世界，不曝光時是不看東西的，這造成對物體的追蹤存在盲區(qū)，丟失了大量物體運(yùn)動信息，為后端圖像處理算法帶來問題；

• 無運(yùn)動的區(qū)域持續(xù)輸出無效的冗余數(shù)據(jù)；

• 快速運(yùn)動場景下存在圖像模糊；

• 計(jì)算資源浪費(fèi)。

芯侖采用動態(tài)視覺傳感器（DVS）解決上述問題?；谛滦偷姆律鷦討B(tài)圖像傳感器芯片技術(shù)，芯侖研發(fā)出CeleX?動態(tài)視覺傳感器。陳守順提到，CeleX傳感器的每個像素都能連續(xù)的單獨(dú)監(jiān)測光強(qiáng)的波動，并在達(dá)到閾值時激發(fā)事件從而被讀出。

雷鋒網(wǎng)新智駕了解到，面對快速運(yùn)動的像素點(diǎn)，常規(guī)傳感器存在固定幀率、曝光概念，無法準(zhǔn)確捕捉完美的運(yùn)動點(diǎn)。如上圖所示，常規(guī)傳感器拍攝到的多為一段小條，且存在間斷。不同于傳統(tǒng)CMOS圖像傳感器，動態(tài)視覺傳感器沒有曝光、幀率概念，沒有閑置時間，CeleX動態(tài)視覺傳感器為連續(xù)三維的點(diǎn)云，在X、Y、T空間內(nèi)對物體運(yùn)動軌跡進(jìn)行連續(xù)標(biāo)注，包含像素點(diǎn)運(yùn)動位置、時間信息，且時間坐標(biāo)可以精確到納秒級。

陳守順將動態(tài)視覺傳感器喻為“敵不動、我不動”，其每一個像素點(diǎn)可進(jìn)行獨(dú)立的運(yùn)算，在且僅在像素點(diǎn)發(fā)生光強(qiáng)變化時進(jìn)行數(shù)據(jù)輸出，產(chǎn)生較低的數(shù)據(jù)率。即對于機(jī)器視覺而言，物體沒有變化時不產(chǎn)生數(shù)據(jù)流傳輸，傳感器僅對有效的像素點(diǎn)進(jìn)行記錄，從而剔除冗余數(shù)據(jù)。

由于像素點(diǎn)單獨(dú)獲取數(shù)據(jù)，并以對數(shù)方式進(jìn)行光電信號的轉(zhuǎn)換，不再受傳統(tǒng)的成像參數(shù)（曝光時間、白平衡等）影響，CeleX在高動態(tài)范圍方面表現(xiàn)更好。在特殊場景如隧道出入瞬間，傳感器不受光照劇烈變化影響，可以做到場景及運(yùn)動物體全部清晰，這對自動駕駛的意義很大。

鑒于動態(tài)視覺傳感器中，芯片的輸出數(shù)據(jù)不受幀率影響，運(yùn)動頻繁的點(diǎn)讀出次數(shù)會相應(yīng)增多，因此可以完整記錄下打壁球等物體運(yùn)動的過程。

CeleX傳感器對數(shù)據(jù)進(jìn)行高速采集，相當(dāng)于每秒幾十萬幀，像素點(diǎn)的時間分辨率為5納秒，動態(tài)范圍超過120dB。同時具備兼容性，CeleX也能提供傳統(tǒng)圖像傳感器的全副畫面，可以兼容使用基于全幅圖像的算法，并能在傳感器芯片上進(jìn)行光流運(yùn)算，提供全分辨率運(yùn)動矢量信息。

CeleX片上光流模式

陳守順著重提到一點(diǎn)，CeleX動態(tài)視覺傳感器輸出類似于激光點(diǎn)云，包含三種輸出碼流方式：

圖片模式：和傳統(tǒng)圖像傳感器一致的全幅圖像，兼容傳統(tǒng)圖像處理算法和硬件；

動態(tài)模式：通過對自然光強(qiáng)變化的判定輸出仿生的動態(tài)特征脈沖信號（X、Y、A、T）；

光流模式：芯侖獨(dú)有的密集光流模式，無需降維，從芯片上得到光流向量場信息，直接輸出全分辨率運(yùn)動矢量信息（方向和速度），無需后期算法處理。

這也正是芯侖同其它家動態(tài)視覺技術(shù)方案解決商的一大不同之處。動態(tài)視覺傳感路徑上共有四家公司：瑞士的Inilabs、法國的Prophesee、三星（licensed IP）及芯侖科技。芯侖最大的優(yōu)勢在于具備三種輸出數(shù)據(jù)格式：動態(tài)模式、圖像模式及光流模式。Inilabs、Prophesee僅具備前兩種輸出模式。

雷鋒網(wǎng)新智駕了解到，通過傳統(tǒng)傳感器計(jì)算光流非常消耗資源，而CeleX全幅密集光流模式能在芯片采樣層級上就能實(shí)現(xiàn)。CeleX通過靈活利用三種數(shù)據(jù)流對算法進(jìn)行優(yōu)化，其算法復(fù)雜程度在很多場景下能降級上千倍。

車內(nèi)駕駛員監(jiān)控和駕駛輔助系統(tǒng)（ADAS）

芯侖將自己定義為機(jī)器視覺系統(tǒng)解決方案提供商，CeleX作為一種平臺化技術(shù)，根據(jù)不同的應(yīng)用場景和市場需求，芯侖提供芯片、技術(shù)授權(quán)或終端解決方案。面向車載領(lǐng)域，CeleX應(yīng)用到車內(nèi)駕駛員監(jiān)控（DMS）和駕駛輔助系統(tǒng)（ADAS）兩大場景。

芯侖選擇從后市場切入，基于動態(tài)視覺芯片實(shí)現(xiàn)駕駛員監(jiān)控，進(jìn)行眼睛眨動及面部肌肉的變化情況識別，同樣輸出三種碼流。芯侖目前同物流車隊(duì)合作進(jìn)行駕駛員監(jiān)控產(chǎn)品測試。

芯侖ADAS產(chǎn)品車外ADAS相關(guān)，陳守順提到，跟傳統(tǒng)的攝像頭技術(shù)路徑相比，其傳感器從感知到芯片組信號處理輸出，再到控制指令輸出環(huán)節(jié)速度節(jié)省幾百毫秒。對于一臺時速120公里/小時的行駛車輛而言，CeleX方案將節(jié)省5米制動距離。

雷鋒網(wǎng)新智駕了解到，專注汽車行業(yè)的法國咨詢公司YOLE將動態(tài)視覺傳感器定義為L4和L5級別的自動駕駛必不可少的傳感器之一。自動駕駛量產(chǎn)前夜，在ADAS 市場掀起小風(fēng)浪的動態(tài)視覺傳感器又能否助力更高級別自動駕駛呢？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。