0
去年十月,蘋果推出了配有LiDAR(激光雷達(dá))的iPhone 12 Pro,首次將dToF技術(shù)用到手機(jī)設(shè)備中,通過激光觸及物體后反射回來所用的時(shí)間繪制出使用者所處空間的深度圖,同時(shí)在也能讓AR效果更加逼真,打通真實(shí)與虛擬的交接,置身于室內(nèi)就能感受逼真的雨林。
這不是ToF技術(shù)與移動(dòng)設(shè)備的第一次結(jié)合,蘋果在去年3月份發(fā)布的iPad Pro中就已經(jīng)用到ToF技術(shù),國內(nèi)也有不少手機(jī)廠商讓ToF上手機(jī),為此還有著名的小米榮耀ToF之爭。
需要注意的是,雖然同為ToF,但國內(nèi)幾乎所有的旗艦手機(jī)采用的是iToF,還未用上iPhone 12 Pro所采用的dToF技術(shù)。
不過,在今年的MWC大會(huì)的最后一天,高性能傳感器解決方案供應(yīng)商艾邁斯半導(dǎo)體與ArcSoft合作,發(fā)布了針對移動(dòng)設(shè)備后置3D dToF傳感的整套解決方案,有望在2021年底讓安卓手機(jī)后置也裝上dToF傳感器。
dToF帶來更加沉浸式AR體驗(yàn)
一般而言, 3D成像傳感技術(shù)可以分為雙目測距、結(jié)構(gòu)光和ToF三類,三類技術(shù)因各自的特點(diǎn)適用于不同的場景。
雙目測距模仿人眼,將兩個(gè)2D的傳感器組合在一起,利用相似三角形原理計(jì)算出被攝物體到相機(jī)的距離,原理簡單但在實(shí)際使用中面臨著計(jì)算量大的問題,其測量精度會(huì)隨著測量距離的增加而下降,因此適用于中近距離的場景。
雙目測距計(jì)算量大的問題可以采用算法加ASIC芯片的方法解決,但會(huì)增加額外的硬件成本,因此就有了升級優(yōu)化的主動(dòng)雙目視覺技術(shù)——結(jié)構(gòu)光方案。
結(jié)構(gòu)光方案是將已知的結(jié)構(gòu)化圖案投影到被觀測的物體上,再根據(jù)投影結(jié)構(gòu)化圖案的幾何形狀和拍攝距離發(fā)生形變,紅外攝像頭觀測到圖像與原始圖案的形變時(shí),就能得到圖案像素的視差計(jì)算深度。
此前iPhone X的前置攝像頭就采用了結(jié)構(gòu)光技術(shù),通過紅外光將大約3萬個(gè)點(diǎn)陣投射到物體上,用數(shù)量龐大的點(diǎn)陣得到深度信息,精度高但同樣是有效距離有限,有時(shí)也面臨深度突變數(shù)據(jù)缺失的情況,因此更適合手機(jī)前攝的刷臉支付。
如果說雙目和結(jié)構(gòu)光適用于距離較近的場景,那么ToF方案則適用于中遠(yuǎn)距離的場景。
艾邁斯半導(dǎo)體3D產(chǎn)品線高級市場經(jīng)理Sarah Cheng表示:“dToF的精度取決于其TDC采樣的時(shí)間,相比于雙目和結(jié)構(gòu)光方案,在精度上不會(huì)隨著距離的增長而顯著降低,所以ToF技術(shù)在不同距離的誤差相對雙目技術(shù)和結(jié)構(gòu)光技術(shù)更加穩(wěn)定,在遠(yuǎn)距離也有更好的精度。”
這意味著在三種3D傳感技術(shù)中,dToF技術(shù)最適合用在手機(jī)后置。
后置3D用例
不過,ToF技術(shù)也分為iToF和dToF。其中iToF通過發(fā)射特定頻率的調(diào)制光,檢測反射調(diào)制光與發(fā)射調(diào)制光之間的相位差,進(jìn)而測量飛行距離。dToF則是直接向測量物體發(fā)射一個(gè)光脈沖,然后測量反射光脈沖與發(fā)射光脈沖之間的時(shí)間間隔,獲得飛行時(shí)間,進(jìn)而得知待測物體的深度。哪一種技術(shù)更加貼近未來智能手機(jī)的發(fā)展?
艾邁斯半導(dǎo)體高級副總裁陳平路認(rèn)為,所有人工智能的演進(jìn)都有離不開數(shù)據(jù)的采集與傳輸,都離不開傳感器,5G、AR/VR都是大方向。也就是說,作為體量最大的智能設(shè)備之一,未來的智能手機(jī)需要支持更加沉浸的AR/VR技術(shù)。
dToF與iToF特性對比
Sarah Cheng表示,支持更加沉浸手機(jī)AR體驗(yàn)的3D技術(shù)需要滿足三點(diǎn):
首先需要高質(zhì)量的深度圖。在有用的距離和環(huán)境光范圍內(nèi)提供高精度、低噪聲、高可信度的深度信息是沉浸式AR的基礎(chǔ)。
其次低功耗運(yùn)行對手機(jī)應(yīng)用尤為重要,在保證連續(xù)操作的同時(shí)需要確保正常的電池運(yùn)行時(shí)間。
再次需要穩(wěn)定的幀屏以便3D攝像頭與其他相機(jī)的圖像融合,同時(shí)減少空間重建的時(shí)間。
Sarah Cheng另外指出,為減少或避免重建過高的時(shí)間和功耗,日常所用到的分辨率并不需要特別高,而低分辨率的弱勢也可以通過幀累積的方式進(jìn)行補(bǔ)償。
比較iToF和dToF,iToF在實(shí)際應(yīng)用中面臨諸多挑戰(zhàn),例如復(fù)雜多變的真實(shí)環(huán)境帶來大量的干擾與噪聲、復(fù)雜環(huán)境中的漫反射甚至鏡面反射帶來的多徑干擾嚴(yán)重影響3D重建的效果、以及iToF的遠(yuǎn)距離與高精度采用泛光反射的原理下成為一對難以調(diào)和的矛盾。
反觀dToF,無論是精度距離還是功耗和抗干擾能力,都明顯優(yōu)于iToF,另外在其并不占優(yōu)勢的分辨率上,并不是實(shí)現(xiàn)更加沉浸式AR的關(guān)鍵。
因此,在目前已有的幾種3D視覺技術(shù)中,dToF更能帶來沉浸式的手機(jī)AR體驗(yàn)。
艾邁斯半導(dǎo)體打響安卓陣營dToF第一槍
既然dToF是更好的選擇,為何大多數(shù)安卓手機(jī)還停留在iToF上甚至棄用ToF技術(shù)?
Sarah Cheng認(rèn)為,ToF本身的成本壓力以及原本的iToF帶給用戶有限的效益,降低了市場對ToF技術(shù)的接受度,因此才有不少手機(jī)廠商商用ToF之后又棄用。
Sarah Cheng還指出,dToF的技術(shù)成熟面臨著一系列的挑戰(zhàn),它需要在芯片設(shè)計(jì)、系統(tǒng)設(shè)計(jì)、制造工藝等方面全面突破,才能正在實(shí)現(xiàn)技術(shù)承諾的優(yōu)勢,并實(shí)現(xiàn)在消費(fèi)場景的普及,也正因如此,至今仍然沒有安卓手機(jī)廠商可以在其手機(jī)平臺(tái)上搭載3D dToF技術(shù)。
艾邁斯半導(dǎo)體大中華區(qū)應(yīng)用總監(jiān)徐冰認(rèn)為,大多數(shù)安卓手機(jī)不選用dToF的另一個(gè)重要原因是dToF的門檻高,可供手機(jī)廠商選擇的方案少,因此不如不用。
不過,這一現(xiàn)狀正在悄然發(fā)生變化。
在今年MWC大會(huì)的最后一天,艾邁斯半導(dǎo)體憑借其獨(dú)有的在各個(gè)構(gòu)件模塊的差異化技術(shù),從光學(xué)器件到VCSEL再到自主封裝、人眼安全,以及其自主系統(tǒng)設(shè)計(jì)和算法,推出了自主研發(fā)的完整的3D dToF解決方案。
艾邁斯半導(dǎo)體官方表示,這套方案為手機(jī)廠商掃除其面臨的一系列技術(shù)挑戰(zhàn),可以在最短的時(shí)間內(nèi)推出最優(yōu)秀的3D技術(shù)手機(jī),手機(jī)制造商在開發(fā)新的移動(dòng)應(yīng)用的同時(shí),也可以提供更優(yōu)化的AR用戶體驗(yàn)。
艾邁斯半導(dǎo)體dToF解決方案圖案投影
根據(jù)艾邁斯半導(dǎo)體的介紹,其dToF解決方案差異化優(yōu)勢明顯,主要體現(xiàn)在三方面:
在所有光強(qiáng)條件下(強(qiáng)光,弱光,室內(nèi),室外,較復(fù)雜的環(huán)境光等),在恒定分辨率下可實(shí)現(xiàn)較大的距離檢測范圍和較高的(不變的)距離檢測精度;
高環(huán)境光抗擾性,其峰值功率高出市面上已有的3D ToF解決方案20多倍,在強(qiáng)光下也有能保持高精度和高性能;
針對移動(dòng)設(shè)備優(yōu)化最低平均功耗。
在發(fā)布會(huì)上,艾邁斯半導(dǎo)體展示了其dToF應(yīng)用系統(tǒng)搭載虹軟中間件和軟件算法的樣品,從視頻中能夠看到,這套應(yīng)用系統(tǒng)在3D渲染時(shí)速度比iToF更快且覆蓋范圍更廣,遇到墻面時(shí)網(wǎng)格深度信息的精度更高,在細(xì)節(jié)處理方面誤差小。
ams dToF解決方案比iToF渲染范圍更廣
Sarah Cheng 表示:“艾邁斯半導(dǎo)體作為市面上現(xiàn)有的唯一的dToF全套系統(tǒng)供應(yīng)商,其完整的3D dToF技術(shù)堆??梢宰畲笙薅鹊亟档褪謾C(jī)廠商集成的復(fù)雜度和工作量,同時(shí)達(dá)到系統(tǒng)最優(yōu)化。同時(shí)跟系統(tǒng)在靈敏度、功耗、功率和分辨率上都優(yōu)于市面上同類技術(shù)?!?/strong>
艾邁斯半導(dǎo)體dToF解決方案3D渲染效果
安卓手機(jī)有望在2021年底裝上dToF
艾邁斯半導(dǎo)體在發(fā)布會(huì)上表示,在產(chǎn)品逐漸走向量產(chǎn)化的同時(shí),艾邁斯半導(dǎo)體也正在與成熟生態(tài)系統(tǒng)廠商協(xié)作,包括與基于高通平臺(tái)的安卓開發(fā)商以及國內(nèi)知名商虹軟科技合作,提供最佳AR體驗(yàn)的dToF解決方案,計(jì)劃于2021年底開始投產(chǎn),數(shù)量接近百萬級別。
而隨著dToF解決方案的投產(chǎn),VCSEL效率或者SPAD效率的提高,dToF的價(jià)格將逐漸向iToF靠近,這就意味安卓手機(jī)有望在2021年底用上dToF,從攝像頭方面追趕iPhone,提升其在遠(yuǎn)距離、精度以及低功耗方面的實(shí)力。
不過,dToF技術(shù)在安卓手機(jī)上的大規(guī)模應(yīng)用仍需一段時(shí)間的市場檢驗(yàn),也許安卓手機(jī)傳感器先追趕上iPhone,又或者是iPhone再次先一步在dToF技術(shù)上取得創(chuàng)新。
文中圖片源自艾邁斯半導(dǎo)體官方
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。