邁向智能化時代的進(jìn)程中，不僅需要AI技術(shù)，還需要與AI匹配的一系列計算、感知、連接等技術(shù)。其中，3D感知尤為關(guān)鍵?？v觀當(dāng)下最受關(guān)注的幾大領(lǐng)域，智能機(jī)器人、自動駕駛汽車、XR（包含VR、AR、MR），還有今年最火的元宇宙，都需要3D感知。

然而，在很長一段時間，3D機(jī)器視覺主要應(yīng)用于智慧城市的監(jiān)控當(dāng)中，沒能在更多領(lǐng)域應(yīng)用。原因有很多，包括成本、技術(shù)的成熟度、使用3D視覺芯片的門檻等。

銀牛微電子聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官白逸告訴雷峰網(wǎng)：“激光雷達(dá)、紅外輔助等方式獲取的2D信息有限，難以進(jìn)行進(jìn)一步的計算、判斷、控制等功能。要從2D轉(zhuǎn)向3D，實(shí)現(xiàn)獲取信息質(zhì)量和數(shù)量的飛躍，需要跨越巨大的技術(shù)鴻溝。只有擁有了成熟的3D機(jī)器視覺產(chǎn)品，這些市場才有可能快速規(guī)模應(yīng)用3D機(jī)器視覺?！?/strong>

全球唯一一款集成3D深度感知+SLAM（實(shí)時定位與建圖）+AI功能的單芯片，在中國市場的推廣應(yīng)用，將加速3D機(jī)器視覺的爆發(fā)。 

3D機(jī)器視覺為什么難普及？

著名心理學(xué)家赤瑞特拉（Treicher）曾經(jīng)驗證過一組數(shù)據(jù)，人類獲取的信息83%來自視覺，11%來自聽覺。顯然，要實(shí)現(xiàn)機(jī)器智能，邁向智能化時代，視覺信息非常關(guān)鍵，特別是3D視覺。

比如今年最火的元宇宙，要將現(xiàn)實(shí)世界在虛擬世界實(shí)現(xiàn)映射，需要與3D視覺密切相關(guān)的XR。VR在2015年迎來了投資熱潮，隨后的2016年，被稱為“VR元年”。

當(dāng)時VR設(shè)備的眩暈感以及內(nèi)容不夠豐富等原因，讓2016年沒能成為“VR元年”。直到2021年，Meta售出了1000萬臺VR頭盔Oculus Quest 2，被業(yè)界認(rèn)為XR又迎來了新的爆發(fā)期。

自動駕駛汽車和智能機(jī)器人也是典型需要3D視覺的領(lǐng)域，但也各自面臨挑戰(zhàn)。自動駕駛汽車領(lǐng)域，采用純2D視覺方案，無論是攝像頭還是激光雷達(dá)，需要海量數(shù)據(jù)，成本挑戰(zhàn)巨大。機(jī)器人中所需的3D視覺技術(shù)，也因為技術(shù)和開發(fā)難度限制難以大量應(yīng)用。

擁有3D視覺領(lǐng)域豐富經(jīng)驗的銀牛微電子聯(lián)合創(chuàng)始人兼副總裁何火高指出，“3D視覺不只是單純和芯片或算法的問題，還涉及到相關(guān)的光學(xué)、結(jié)構(gòu)、散熱等問題，加上芯片、算法構(gòu)成的復(fù)雜技術(shù)系統(tǒng)，使3D視覺的芯片和解決方案有非常高的技術(shù)門檻，需要投入更多時間、技術(shù)、人才。”

“一個好的技術(shù)和一個成功的產(chǎn)品最終能否推動整個生態(tài)去發(fā)展，中間有巨大的鴻溝，這個鴻溝可能90%是軟件的工作量。”白逸進(jìn)一步表示，“只有提供完整的系統(tǒng)級解決方案，才能滿足市場需求。我們也相信雙目3D視覺會把整個人工智能機(jī)器視覺的成本降低?！?/p>

技術(shù)的高門檻，也讓這一領(lǐng)域只有少數(shù)擁有極強(qiáng)技術(shù)和產(chǎn)品實(shí)力的公司，這阻礙了3D視覺技術(shù)的快速普及。一個很好的例子就是蘋果以3.6億美元收購了以色列3D芯片公司PrimeSense，并申請了專利，在iPhone上實(shí)現(xiàn)了3D人臉識別Face ID功能，其它廠商由于沒有類似的技術(shù)和產(chǎn)品供應(yīng)商，很難在手機(jī)上實(shí)現(xiàn)如同蘋果的3D識別功能。

在XR、自動駕駛汽車和智能機(jī)器人領(lǐng)域，市場上迎來了一款融合多種功能的3D視覺感知AI芯片，可能帶動3D視覺在這些領(lǐng)域的爆發(fā)。

全球獨(dú)一無二的3D感知AI芯片

2012年，3D芯片的開創(chuàng)者，前PrimeSense CTO Dor Zepeniuk和有38年半導(dǎo)體設(shè)計經(jīng)驗的連續(xù)成功創(chuàng)業(yè)者Shlomo Gadot在以色列創(chuàng)立了Inuitive，并吸引了一群經(jīng)驗豐富的人才，他們的專業(yè)領(lǐng)域涵蓋八大學(xué)科，人均有20年以上的經(jīng)驗。

這群有理想，有超前設(shè)計理念的創(chuàng)業(yè)者，并不滿足于推出一款只是超越市場上已有的3D芯片，他們想再次突破，挑戰(zhàn)難度更大的異構(gòu)3D視覺芯片。最終，Inuitive在2019年推出了全球唯一一款能在單芯片中同時實(shí)現(xiàn)3D深度感知、高精度姿態(tài)跟蹤、SLAM實(shí)時定位建圖引擎與AI算力于一體的異構(gòu)芯片NU4000。 

想要在單顆芯片上同時集成這些功能難度很大，因為要同時集成計算機(jī)視覺、人工智能、光學(xué)、系統(tǒng)架構(gòu)、嵌入式系統(tǒng)軟件、邊緣計算及芯片設(shè)計等眾多技術(shù)。擁有Inuitive獨(dú)有3D感知技術(shù)，加上SLAM，以及異步時間扭曲技術(shù)（如果視頻幀率不足能夠產(chǎn)生中間幀，減少畫面抖動，減少眩暈感，可以實(shí)現(xiàn)從動作到畫面反應(yīng)延遲小于1毫秒），融合AI的NU4000一經(jīng)推出，就獲得了市場的認(rèn)可。

銀牛微電子在2020年11月成功收購了已經(jīng)量產(chǎn)全球獨(dú)一無二的3D感知AI芯片的Inuitive。銀牛微電子董事長兼CEO曲冠誠說：“這可能是有史以來速度最快的國際并購，我們用4.5個工作日就達(dá)成了并購。這離不開我們雙方并購前構(gòu)建的良好基礎(chǔ)，以及我過去的經(jīng)驗，再加上各方的支持，最終才如此迅速達(dá)成收購?！?/p>

達(dá)成并購不是最大的挑戰(zhàn)，更大的難度來自于并購后的融合。白逸說，“收購?fù)瓿芍?，我們有一系列措施維護(hù)和穩(wěn)定以色列原團(tuán)隊的核心管理層和研發(fā)團(tuán)隊，因為他們是整個公司寶貴的財富。目前，員工流失率極低，核心員工沒有流失。中國和以色列團(tuán)隊正在積極融合，重點(diǎn)關(guān)注雙目立體3D感知，共同規(guī)劃產(chǎn)品路線圖和開發(fā)產(chǎn)品?！?/p>

其中有一個重要舉措，銀牛微電子絕對控股Inuitive，但曲冠誠并沒有收購創(chuàng)始團(tuán)隊的股份，通過與創(chuàng)始團(tuán)隊保持合作的關(guān)系，能夠更好的共同推動3D機(jī)器視覺在中國以及全球的規(guī)模應(yīng)用。

雷峰網(wǎng)注意到，雖然Inuitive的團(tuán)隊有各個領(lǐng)域豐富的經(jīng)驗，但核心專利數(shù)只有25項。曲冠誠解釋，“Inuitive只申請了最核心的專利，因為他們申請的都是美國發(fā)明專利，不僅申請流程復(fù)雜，維護(hù)費(fèi)用也很貴，大量申請專利的主要是產(chǎn)品公司，Inuitive是研發(fā)型創(chuàng)業(yè)公司。接下來，我們將會在國內(nèi)申請數(shù)百個專利。”

未來兩年，銀牛微電子的3D感知AI芯片的工藝會從12nm向7nm甚至5nm演進(jìn)，中國團(tuán)隊也會不斷參與到產(chǎn)品的研發(fā)中，實(shí)現(xiàn)更好融合。

“今年的一個重要任務(wù)就是把基于NU4000芯片的3D模組在中國實(shí)現(xiàn)量產(chǎn)?！卑滓萁榻B，“NU4000已經(jīng)有很多參考設(shè)計，但量產(chǎn)的第一個模組產(chǎn)品是最新發(fā)布的C158，特為中國客戶設(shè)計調(diào)優(yōu)，主要目標(biāo)市場是智能機(jī)器人，也可以應(yīng)用于XR / 3D交互、3D掃描、高端無人機(jī)等領(lǐng)域?！?/p>

曲冠誠強(qiáng)調(diào)，中國客戶有不同的設(shè)計和更多樣化的需求，銀牛微電子要做好本地產(chǎn)業(yè)供應(yīng)鏈的管理，更好適合本土化需求，客戶的響應(yīng)時間會在24小時之內(nèi)。

“未來幾年，可以看到3D機(jī)器視覺在三個領(lǐng)域大量落地，包括低速輔助駕駛、智能機(jī)器人和AR/VR?！鼻谡\說。 

智能機(jī)器人3D視覺將率先爆發(fā)

“再好的技術(shù)，成本太高或沒有市場著力點(diǎn)，也無法落地?！?strong>曲冠誠進(jìn)一步表示，“之所以在中國市場先推出機(jī)器人模組，一方面是因為疫情，市場對服務(wù)機(jī)器人的需求呈現(xiàn)爆發(fā)性增長。另一方面，市場行業(yè)龍頭的戰(zhàn)略調(diào)整，也給了我們很大的機(jī)會?！?/strong>

《中國機(jī)器人產(chǎn)業(yè)發(fā)展報告(2021年)》數(shù)據(jù)顯示，2021年，全球機(jī)器人市場規(guī)模預(yù)計將達(dá)到335.8億美元，其中，2021年中國服務(wù)機(jī)器人市場規(guī)模將達(dá)到302.6億元，高于全球服務(wù)機(jī)器人市場增速；到2023年，隨著視覺引導(dǎo)機(jī)器人、陪伴服務(wù)機(jī)器人等新興場景和產(chǎn)品的快速發(fā)展，中國服務(wù)機(jī)器人市場規(guī)模有望突破600億元。

白逸解釋，“我們推出的C158模組可以理解為是通用芯片加上專用模組，它適合智能機(jī)器人領(lǐng)域的絕大部分客戶需求，其它領(lǐng)域的客戶需要專用的模組。由于我們NU4000芯片的通用性，基于通用芯片模組的迭代周期只需要幾個月，比芯片迭代周期短很多。因此，我們通過不斷迭代模組不僅能更好滿足同一市場的需求，也能拓展新市場?！?/p>

雷峰網(wǎng)(公眾號：雷峰網(wǎng))了解到，銀牛微電子明年至少會拓展120-150人的軟件團(tuán)隊支撐不斷增長的客戶需求。整個公司軟件團(tuán)隊的人數(shù)可能會是硬件團(tuán)隊人數(shù)的2倍或更多。

至于銀牛微電子是否會直接出售芯片，白逸表示，這是一個商業(yè)考量問題。

“未來的兩三年，3D機(jī)器視覺還處于起步階段，生態(tài)的成熟度和解決方案的成熟度都決定了客戶很難直接使用這么復(fù)雜的芯片。3D視覺模組實(shí)際上可以降低客戶的使用門檻和成本，加速3D機(jī)器視覺的落地。隨著3D機(jī)器視覺的發(fā)展，未來也可能直接出售芯片。”

具體的性能，C158深度分辨率可達(dá)1280 x 800 @60fps，感知距離在6米以內(nèi)時，精度誤差僅為1%，能以0.5w實(shí)現(xiàn)5-6 TOPS算力，內(nèi)置的通用型Arm內(nèi)核，支持系統(tǒng)獨(dú)立性，使系統(tǒng)可以同時兼顧協(xié)處理器和主控系統(tǒng)。同時，C158搭載豐富接口和系統(tǒng)支持，使其無論是模組或外設(shè)皆可實(shí)現(xiàn)USB即插即用的效果。

值得一提的是，得益于基于高集成度的NU4000芯片，C158模組的尺寸為125mm x 40mm x 27mm，支持120fps的2路攝像頭以及6自由度坐標(biāo)的重定位，能實(shí)現(xiàn)實(shí)時高精度姿態(tài)跟蹤。

寫在最后 

任何一種新技術(shù)的成熟和大規(guī)模應(yīng)用，都需要各種因素的共同作用。技術(shù)的成熟度以及成本是兩個關(guān)鍵，過去，3D機(jī)器視覺產(chǎn)品由于產(chǎn)品集成度不夠高，使用難度大，大規(guī)模應(yīng)用面臨巨大挑戰(zhàn)。

隨著銀牛微電子基于獨(dú)一無二的集成實(shí)現(xiàn)3D深度感知、高精度姿態(tài)跟蹤、SLAM實(shí)時定位建圖引擎與AI算力芯片的模組推向中國市場，國內(nèi)的智能機(jī)器人公司和機(jī)構(gòu)新增了一個選擇，如果這一產(chǎn)品被市場廣泛接受，將會推動3D機(jī)器視覺在智能機(jī)器人領(lǐng)域的快速應(yīng)用。

在可以預(yù)見的3-5年，3D機(jī)器視覺也將在低速輔助駕駛、VR/AR等領(lǐng)域大規(guī)模應(yīng)用，與其它計算、感知和連接技術(shù)一起，推動3D機(jī)器視覺的爆發(fā)，邁向更加智能的時代。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。