20世紀(jì)80年代后期，超大規(guī)模集成電路（VLSI）發(fā)明者之一、美國加州理工大學(xué)院的Carver Mead教授首次提出了神經(jīng)擬態(tài)的概念，設(shè)想用CMOS模擬電路的方式去模仿生物視網(wǎng)膜，搭建具有生物計(jì)算特性的系統(tǒng)，并與學(xué)生展開了這方面的研究。

后來這項(xiàng)技術(shù)從美國傳播到歐洲，在全球范圍內(nèi)蔓延開來，世界各地的科學(xué)家和企業(yè)家們的研究都指向同一個(gè)問題：如何才能讓基于CMOS模擬電路所做出的視網(wǎng)膜更接近于人眼？

來自奧地利的Christoph Posch就是關(guān)注神經(jīng)擬態(tài)技術(shù)的學(xué)者之一，自2000年左就開始從事神經(jīng)擬態(tài)相關(guān)的工作，并和Luca Verre共同創(chuàng)辦了一家研發(fā)神經(jīng)擬態(tài)視覺芯片的公司Prophesee，在神經(jīng)擬態(tài)視覺芯片技術(shù)領(lǐng)域位居全球前列。

不久前，雷峰網(wǎng)與Luca進(jìn)行了一次交流，Luca談到了神經(jīng)擬態(tài)視覺芯片技術(shù)的最新進(jìn)展：人工視網(wǎng)膜領(lǐng)域已經(jīng)有成功案例，目前正在手機(jī)等消費(fèi)電子方面尋找更加廣闊的發(fā)展空間。

為視障人士而生的事件相機(jī)

與人體的神經(jīng)反射一樣，電路中的神經(jīng)擬態(tài)主要分為兩個(gè)部分，接受信號的傳感器和感受信號的神經(jīng)中樞，因此衍生出類人眼和類腦等神經(jīng)擬態(tài)芯片。模擬人眼的工作，主要是事件相機(jī)承擔(dān)。

與傳統(tǒng)的視覺傳感器有所不同，事件相機(jī)是一種受生物啟發(fā)而誕生的新型視覺傳感器，有時(shí)也被稱之為動態(tài)視覺傳感器。在生物視覺中，一部分視覺細(xì)胞會對動態(tài)的事物敏感，仿照人眼的這一特點(diǎn)，就誕生了用于敏感捕捉運(yùn)動物體的事件相機(jī)。

事件相機(jī)的核心在于，其中每一個(gè)像素處都有一個(gè)獨(dú)立的光源，當(dāng)該像素處的亮度變化超過設(shè)定閾值時(shí)，就會生成和輸出脈沖數(shù)據(jù)，因此可以完成一些基于幀的傳統(tǒng)相機(jī)沒法完成的任務(wù)，例如高速運(yùn)動、高動態(tài)范圍建圖等等，具有高動態(tài)范圍和低時(shí)延等優(yōu)點(diǎn)。

在神經(jīng)擬態(tài)視覺技術(shù)方面擁有二十多年研究經(jīng)驗(yàn)的Christoph，看到了事件相機(jī)的潛力，認(rèn)為是時(shí)候創(chuàng)辦一家公司，將這項(xiàng)技術(shù)從實(shí)驗(yàn)室?guī)У绞袌觥?/p>

Prophesee CEO Luca告訴雷峰網(wǎng)(公眾號：雷峰網(wǎng))，大概八年前，Luca在巴黎攻讀MBA，想在事業(yè)上尋求一些新突破，正是在這個(gè)時(shí)間段結(jié)識了Christoph，在聽完其對神經(jīng)擬態(tài)視覺技術(shù)的介紹和分析后，受到很大啟發(fā)，清楚地知道這項(xiàng)技術(shù)將為市場帶來巨大價(jià)值，于是毫不猶豫地決定同Christoph一起創(chuàng)業(yè)，幾天后，Prophesee就這樣誕生了。

最初，Christoph和Luca都認(rèn)為，這項(xiàng)技術(shù)的本質(zhì)在于開發(fā)一個(gè)模擬人眼的人工模型，因此可以用來模擬人眼視網(wǎng)膜的工作原理，幫助視網(wǎng)膜功能受損的盲人恢復(fù)視力，因此決定將這項(xiàng)技術(shù)應(yīng)用于醫(yī)療領(lǐng)域。

“某種程度上，這也是我們決定創(chuàng)立這家公司的靈感來源之一?！盠uca說道。

因此在Prophesee成立初期，發(fā)布的第一代產(chǎn)品主要用于幫助視障人士和盲人恢復(fù)視力。Luca表示，Prophesee的第一代產(chǎn)品主要用于生物電子公司Pixium Vision和生物制藥公司GenSight的應(yīng)用，已經(jīng)取得不錯(cuò)的實(shí)驗(yàn)成果。 “現(xiàn)在這兩家公司正在想辦法盡可能減少手術(shù)的復(fù)雜性，希望盡快把這項(xiàng)技術(shù)應(yīng)用到更多患者身上?！盠uca解釋道。

Prophesee作為神經(jīng)擬態(tài)視覺技術(shù)方面全球領(lǐng)先的公司，證實(shí)了事件相機(jī)在模擬人眼方面的潛力，為了進(jìn)一步推動神經(jīng)擬態(tài)技術(shù)的發(fā)展，Prophesee決定一邊持續(xù)保持對醫(yī)學(xué)應(yīng)用的關(guān)注，一邊將業(yè)務(wù)重心更多地轉(zhuǎn)向手機(jī)端和電子領(lǐng)域，以及工業(yè)領(lǐng)域。

從人眼到手機(jī)，化身改善影像的利器

事實(shí)上，比起在模擬人眼上取得的進(jìn)展，神經(jīng)擬態(tài)視覺技術(shù)在工業(yè)和消費(fèi)電子領(lǐng)域發(fā)展更快，在CMOS痛點(diǎn)難解的狀況下，以及智能手機(jī)同質(zhì)化嚴(yán)重的情況下，逐漸演變成手機(jī)廠商未來角逐賽中的一部分。

追溯圖像傳感器的發(fā)展歷程，最初以高像素、高制造難度的CCD器件為主流，后來逐漸被功耗和成本更低的CMOS取代。

但CMOS也有自己的問題，由于主要通過對光電流進(jìn)行時(shí)間上的技術(shù)實(shí)現(xiàn)曝光，從曝光到數(shù)模轉(zhuǎn)化再到數(shù)據(jù)的傳輸耗時(shí)長，功耗高，影響圖像的幀率，幀與幀之間間隔時(shí)間長造成信息缺失，從而增加了機(jī)器對圖像的判斷。

同時(shí)，CMOS圖像傳感器輸出8-12bit信息，數(shù)據(jù)傳輸量大、能耗高、讀取慢、存儲空間需求、大處理圖像能耗高。

在CMOS圖像傳感器的發(fā)展歷程中，也有不少廠商嘗試解決這些痛點(diǎn)問題，但基于其通過快門控制所有像素在同一時(shí)間內(nèi)進(jìn)行積分曝光的工作原理，其幀率、數(shù)據(jù)量和動態(tài)范圍三個(gè)參數(shù)難以平衡。

例如，在高動態(tài)范圍的拍攝中，常常使用多重曝光算法，即融合多個(gè)不同曝光時(shí)間的幀圖像而成高動態(tài)范圍的圖像，必然導(dǎo)致幀率下降，更多的數(shù)據(jù)運(yùn)算和更大的系統(tǒng)延時(shí)，在要求短響應(yīng)時(shí)間和捕捉快速變化的場景中無法適用。

“我們平時(shí)用手機(jī)拍攝運(yùn)動的物體時(shí)，尤其是在光線不足的情況下，會發(fā)現(xiàn)拍攝對象的邊緣不太清晰，這是因?yàn)槟壳笆謾C(jī)攝像頭會在固定的時(shí)間節(jié)點(diǎn)獲取信息，當(dāng)我們按下相機(jī)快門，傳感器開始進(jìn)光，快門關(guān)閉。這段曝光時(shí)間內(nèi)，如果拍攝對象發(fā)生移動，拍出來的照片就會模糊?！盠uca說這是傳統(tǒng)攝像頭普遍存在的問題。

擁有動態(tài)捕捉能力的事件相機(jī)能夠更好地解決這些問題，因此近幾年，索尼和三星都紛紛入局事件相機(jī)，搶在CMOS革命前夜做好布局，改善手機(jī)影像能力。

Prophesee作為為數(shù)不多的事件相機(jī)初創(chuàng)公司，同時(shí)也是索尼的合作伙伴，鑒于在醫(yī)學(xué)應(yīng)用領(lǐng)域的經(jīng)驗(yàn)，也已經(jīng)在智能手機(jī)領(lǐng)域取得新進(jìn)展，推出照片去模糊功能并已經(jīng)和高通展開合作。

Luca向雷峰網(wǎng)展示了采用Prophesee事件相機(jī)芯片之后所拍攝照片與傳統(tǒng)攝像頭的項(xiàng)目對比，能夠觀察到前者所拍攝出的正在運(yùn)動中的球拍和球都更加清晰。

“我們也有在和一些手機(jī)大廠進(jìn)行合作，目標(biāo)是在2024年實(shí)現(xiàn)量產(chǎn)。”Luca說道。

AR、VR和智能駕駛應(yīng)用落地緊跟其后

除了在手機(jī)攝像頭領(lǐng)域的應(yīng)用落地，事件相機(jī)也可以在一些火熱賽道上發(fā)揮作用。

Luca告訴雷峰網(wǎng)，AR、VR和智能駕駛，都是事件相機(jī)的目標(biāo)市場。

在AR、VR領(lǐng)域，事件相機(jī)有望解決眼球追蹤的難題，幫助用戶降低使用AR、VR設(shè)備時(shí)的眩暈感。一年前，Meta在WACV會議上發(fā)布了一項(xiàng)有關(guān)解決眼動難題的應(yīng)用研究，就是基于Prophesee事件相機(jī)來檢測場景中的變化。

“眼睛移動的速度非?？欤孕枰浅８咚俚臄z像頭跟蹤眼睛的移動，但傳統(tǒng)攝像頭基于幀，快速追逐眼動需要非常高的幀率進(jìn)行拍攝，這會產(chǎn)生非常多數(shù)據(jù)，增加能耗和數(shù)據(jù)處理時(shí)間。但事件相機(jī)能夠針對信息的變化，只追蹤移動物本身，在保持低功耗低延遲的情況下實(shí)現(xiàn)高速追蹤?！盠uca解釋道。

在智能駕駛方面，Luca表示，Prophesee目前的應(yīng)用研究主要集中在兩個(gè)方面，一是監(jiān)控駕駛員在座艙內(nèi)的行為，在司機(jī)開車時(shí)對其注意力進(jìn)行監(jiān)控，例如通過監(jiān)測眨眼的速度和頻率，判斷司機(jī)是否有出現(xiàn)注意力下降的情況；

二是在輔助駕駛方面，可以幫助檢測汽車前方的障礙物，尤其是在低光或者強(qiáng)光的環(huán)境下通過更高的動態(tài)范圍提供更準(zhǔn)確的障礙物探測，提高行車的安全性。

目前，Prophesee也已經(jīng)和博世、英特爾以及雷諾日產(chǎn)進(jìn)行合作，展開更多在汽車領(lǐng)域的實(shí)驗(yàn)。

如此先進(jìn)的神經(jīng)擬態(tài)視覺技術(shù)，工藝成本是否會比CMOS更貴，Luca則表示，Prophesee的傳感器同樣基于傳統(tǒng)的CMOS技術(shù)制造，在工藝成本方面相當(dāng)，不過作為一項(xiàng)全新的技術(shù)，還需要進(jìn)一步擴(kuò)大研發(fā)投入，同時(shí)市場需求擴(kuò)大，才能真正實(shí)現(xiàn)降本增效。

相關(guān)文章：

?神經(jīng)擬態(tài)計(jì)算的“一小步”， AI發(fā)展的“一大步”

英特爾1億個(gè)神經(jīng)元的全球最強(qiáng)神經(jīng)擬態(tài)系統(tǒng)，何時(shí)改變世界？

神經(jīng)擬態(tài)計(jì)算如何為機(jī)器賦予靈魂？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。