不久前，在京東“天工計劃 2.0 年度盛典”上，作為產(chǎn)業(yè)聯(lián)盟合作伙伴，uSens凌感科技帶去了他們針對移動端設(shè)備推出的 AR 解決方案——基于單目 RGB 攝像頭，并結(jié)合 IMU 的 AR 解決方案。

今年 6 月，蘋果在 WWDC 大會上推出 ARKit 開發(fā)平臺，毫無疑問成為 2017 年 AR/VR 圈的頭號大事件，緊跟著 8 月份，谷歌推出功能類似的 ARCore 平臺，兩家大廠出手，這也促使后半年市場上出現(xiàn)了不少用手機“掃一掃”的 AR 功能和應(yīng)用。

不過，ARKit 主要針對 iOS 系統(tǒng)用戶，ARCore 目前還只支持 Pixel 和 Pixel XL，以及三星 Galaxy S8，能完全支持兩者的還只是高端設(shè)備。

 uSens 推出 AR 移動端方案，正是因為看到了 Android 中低端設(shè)備的需求。

ARCore 官網(wǎng)宣傳效果圖

雷鋒網(wǎng)曾發(fā)文《大神揭秘：蘋果 ARKit 為什么碾壓對手？》，大神 Matt Miesnieks 表示，蘋果 ARKit 的一大厲害之處是，只通過手機的單目攝像頭，結(jié)合 IMU，在智能手機上實現(xiàn) SLAM 技術(shù)。谷歌早先也有 Tango，采用相似的技術(shù)原理。從本質(zhì)上看，uSens 此次發(fā)布的技術(shù)方案跟上述兩家大廠是一致的。

2016 年 8 月，uSens 發(fā)布了手勢識別模組 Fingo，基于兩個紅外攝像頭，可對雙手實現(xiàn) 26 自由度追蹤，以及基于 marker 的位置追蹤。當時一共發(fā)布了三個版本，除了基礎(chǔ)版，Color Fingo 采用兩個 RGB 攝像頭，還增加了 Inside-Out 追蹤，以及 AR、VR 場景切換，更高版本的 Power Fingo 集成了四個攝像頭（2 紅外+ 2 RGB），并加入單獨的處理單元。

對現(xiàn)在推出的移動端 AR 方案，uSens 早先有一定的技術(shù)積累。今年 7 月份時，他們發(fā)布了一段視頻，展示了在三星 S7 上的 SLAM 效果，但該視頻還只是在虛擬背景下的效果。另外，我們也看到，VR 頭顯的 Inside-Out 方案，配備的也是雙目攝像頭方案。

盡管對于 SLAM 技術(shù)，AR 和 VR 有相似之處，但從雙目到單目，從專門的模組到支持移動設(shè)備，這中間還是有很多不同。尤其是 VR 和 AR 對 SLAM 實現(xiàn)效果的要求不一樣，uSens 技術(shù)副總裁、中國研發(fā)中心主任馬賡宇解釋道，

“VR 應(yīng)用對精度要求很高，如果頭部不動的話，識別結(jié)果有 1 毫米的抖動，就會感覺三維物體的晃動。同時，VR 設(shè)備對延遲要求很高，從圖像采集到處理完成，要控制在 20ms 以內(nèi)。所以，必須用專門的攝像頭硬件，以保證整個流程在 20ms 內(nèi)完成。

而 AR 應(yīng)用精度的要求不那么高，只要圖像和虛擬物體是一起顯示，而且圖像處估計的位置準確，5 毫米的誤差也是可以接受的；對延遲的要求也不大，即使圖像傳輸有 100ms 的延遲，顯示時圖像和虛擬物體顯示一致就行。硬件上，AR 不能要求太高的硬件，手機的攝像頭采集和傳輸?shù)难舆t比較大，主要是采集的延遲大，大約要 30ms，手機的 IMU 速率和傳感器都比 VR 設(shè)備要差?！?/p>

Fingo 模組現(xiàn)在能實現(xiàn)雙手識別

從原先的 Fingo 模塊到移動端方案，他們增減了一些模塊，“如原來針對 VR 設(shè)備，我們設(shè)計的是雙目攝像頭，全局快門，手機只有單目，我們把雙目匹配的模塊去掉了，添加了一些針對手機卷簾快門的處理模塊”。

與 ARKit 和 ARCore 可支持的功能相比，uSens 的 AR 方案主要包括 SLAM、手勢識別和人臉跟蹤。

對移動端使用的配置要求包括以下三點：

• IMU，至少具備 accelerator、gyroscope 頻率要求在 100HZ 以上。

• Android5.0 以上系統(tǒng)版本,需要支持 Camera2 的相關(guān)接口

• Camera 和 IMU 的 timestamp 需要同步 

馬賡宇用一款成本價 500 塊的手機，向雷鋒網(wǎng)演示了他們的 AR 方案。跟 ARKit 應(yīng)用類似，開啟應(yīng)用后，程序會先檢測一個平面，之后我們可將虛擬物體疊加在真實的桌面上。

成本價 500 塊手機上的 AR 效果

他透露，剛開始他們用三星 S8 測試，AR 功能會占到一半的 CPU，后來經(jīng)過優(yōu)化“S8 只占到 3%-4% 的 CPU。在成本 500 塊的手機上，大概占 15% 的 CPU”。

在《大神解讀：谷歌 ARCore 就是低配版 Tango，它比蘋果 ARKit 好在哪？》一文中，Matt 大神談到手機傳感器的標定問題，“智能機的 IMU 在工廠中只在單一溫度下進行標定。這意味著 IMU 硬件在某一指定的溫度下，誤差被調(diào)節(jié)到最低。但當手機發(fā)熱的時候，IMU 就不會那樣準確?！?/p>

為了適配中低端移動設(shè)備，uSens 也在做對手機標定的事情，詳細了解手機 IMU 的噪聲，進行算法定制。目前，他們正在給展訊 11 月發(fā)布的 SC9853 芯片適配，后者一直主打中低端手機市場，此前展訊前 CEＯ 李力游曾公開表示 2016 年的出貨量達到 6 億 7000 萬套，大概占全球的 27%，聯(lián)發(fā)科占 28%，高通占 32%。

uSens 的工作人員向雷鋒網(wǎng)透露，他們?yōu)檎褂嵾m配包括 9853 在內(nèi)的多款芯片，明年出貨量預(yù)計上億萬臺，而對于像華為、小米這些擁有自研芯片的手機廠商，他們也在接觸，但是否合作還未最終決定。

馬賡宇也坦言，對于中低端機，像光照這些效果會弱化，手勢識別和人臉跟蹤會做些取舍，精度上會稍遜于谷歌 ARCore，但能適配更多的中低端機型。

目前，阿里、騰訊、百度等都推出了 AR 可開放平臺，但馬賡宇表示，打造生態(tài)這些大廠比較有優(yōu)勢，而他們的優(yōu)勢是技術(shù)。他們確定了三個主要的商業(yè)模式：一是與手機廠商合作，提供算法，前裝內(nèi)置，適配硬件廠商 Camera 及系統(tǒng)；二是 APP 應(yīng)用，與不同領(lǐng)域應(yīng)用 APP根據(jù)場景需求進行適配；三是定制合作，根據(jù)客戶需求靈活定制方案，聯(lián)合開發(fā)。

在即將過去的 2017 年，手勢識別方面，uSens 通過深度學(xué)習(xí)實現(xiàn)了雙手識別，尤其是當雙手重疊在一起時，如何識別出左右手分別是哪五個手指，同時跟一些 AR/VR 頭顯廠商達成合作如臺灣 AR 頭顯廠商 LEAPSY、Pico 小鳥看看、HTC，明年有望出現(xiàn)一些內(nèi)置手勢識別功能的產(chǎn)品。移動端 SLAM 方面，他們已經(jīng)開始跟手機廠商合作，相信明年我們會在手機上使用到更多帶有 AR 功能的應(yīng)用，更多的用戶也有望吸引更多的 AR 開發(fā)者。

對于即將到來的 2018 年，uSens 有可能在 2018 年第一季度前完成 Pre-B 輪融資，技術(shù)落地，場景化和商業(yè)化將是他們的重點。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。