自從蘋果推出 ARKit 之后，不少開發(fā)者已經(jīng)玩瘋了。繼 ARkit+HTC Vive 玩《Tilt Brush》的視頻引來(lái)眾人圍觀后，又有一家內(nèi)容團(tuán)隊(duì)把 ARKit 玩出了新高度。

據(jù)雷鋒網(wǎng)了解，這家團(tuán)隊(duì)名叫 Nexus Studios，他們將 ARKit 開發(fā)的 demo，與紙盒眼鏡 Cardboard 結(jié)合，在戶外展示了所能實(shí)現(xiàn)的效果。

從視頻中，我們能看到，戴上 Cardboard 之后，你眼前的內(nèi)容一會(huì)兒切換成 AR，真實(shí)環(huán)境與虛擬的內(nèi)容一同顯示，一會(huì)兒切換成 VR，完全進(jìn)入虛擬的世界中，相當(dāng)有意思。

Nexus Studio 稱“在 iPhone 7 上實(shí)現(xiàn) AR 效果，以及達(dá)到每秒 60 幀 VR 畫面 Inside-out 追蹤，是完全有可能的?！钡€是有一些小問題，“不能快速地移動(dòng)頭部，只要你在內(nèi)容呈現(xiàn)的‘畫廊范圍內(nèi)’走動(dòng)，定位追蹤的效果還不錯(cuò)?！?/p>

Nexus Studios 的互動(dòng)藝術(shù)部門負(fù)責(zé)人 Luke Ritchie 向外媒表示，他們測(cè)試了 10 分鐘，他透露到"說(shuō)實(shí)話，追蹤確實(shí)很棒。如果快速轉(zhuǎn)動(dòng)頭部，畫面會(huì)不穩(wěn)定?？焖僖苿?dòng)和稍長(zhǎng)的延時(shí)會(huì)讓人感到有些不舒服。我們不建議現(xiàn)在就拿給消費(fèi)者使用。"

樹旁邊是虛擬的畫

在這個(gè)測(cè)試視頻中，有兩點(diǎn)比較有意思，一是這個(gè) demo 在戶外測(cè)試，并且有一定空間范圍的移動(dòng)，其中蘋果手機(jī)怎樣實(shí)現(xiàn)定位追蹤的？另外， VR、AR 是如何隨意切換的？

雷鋒網(wǎng)請(qǐng)教了 Usens 技術(shù)副總裁馬賡宇，他給出了很詳細(xì)的回答：

ARKit 的 SLAM 技術(shù)，是基于單目相機(jī)和 IMU 傳感器融合的。通過對(duì)攝像頭圖像中的特征點(diǎn)識(shí)別和跟蹤，可以重建出場(chǎng)景的 3D 模型。但是單目相機(jī)無(wú)法得到尺度信息。因此需要用 IMU 中的陀螺儀和加速度信息進(jìn)行融合，得到場(chǎng)景的真實(shí)尺度信息。

AR 和 VR 中用到估算的 SLAM 空間定位技術(shù)都是一樣的，只是顯示的內(nèi)容不一樣。SLAM 會(huì)識(shí)別出雙眼在世界坐標(biāo)系下的位置。AR 應(yīng)用中是把一個(gè)虛擬物體顯示在一個(gè)世界坐標(biāo)系中的某個(gè)位置，同時(shí)顯示真實(shí)場(chǎng)景的內(nèi)容。VR 應(yīng)用就是只顯示虛擬物體，不顯示真實(shí)場(chǎng)景。

因?yàn)?ARKit 是針對(duì) AR 場(chǎng)景開發(fā)的，所以對(duì)快速旋轉(zhuǎn)跟蹤的并不好。文中也說(shuō)了，只是對(duì)類似看畫廊的那種平移移動(dòng)效果比較好。

簡(jiǎn)單來(lái)說(shuō)，基于蘋果手機(jī)上單目相機(jī)和 IMU 傳感器融合的 SLAM 技術(shù)，定位是一樣的，只不過根據(jù)內(nèi)容開發(fā)的不同，而產(chǎn)生了 AR、VR 切換的效果。仔細(xì)看視頻，你會(huì)發(fā)現(xiàn)，他們?cè)谡鎸?shí)的樹上設(shè)置了點(diǎn)云。

馬賡宇也解釋道，

咱們手機(jī)上的攝像頭，是可以直接看到外部環(huán)境的。AR 無(wú)非就是在這個(gè)畫面上疊加了虛擬的物體。而 VR 就是把 VR 的內(nèi)容，放到你的屏幕上了，比如你看電影的時(shí)候或玩游戲的時(shí)候，就看不到外部環(huán)境了。

VR時(shí)候的畫面，在“畫廊的范圍內(nèi)”移動(dòng)

另外，基于現(xiàn)有的包括單目、雙目和深度相機(jī)等三種視覺定位追蹤方案，馬賡宇表示它們的不同之處在于：

單目使用的信息最少，如果跟蹤丟失的話，需要相對(duì)較長(zhǎng)的時(shí)間進(jìn)行初始化。而且估計(jì)尺度需要較高的 IMU精度。成本最低。

雙目可以通過單幀圖像得到場(chǎng)景的真實(shí)尺度，初始化比較簡(jiǎn)單。但是由于基線長(zhǎng)度限制，對(duì)太遠(yuǎn)的場(chǎng)景初始化不好。而且成本相對(duì)較低。

深度相機(jī)要處理的數(shù)據(jù)量比較大，計(jì)算比較復(fù)雜。而且深度相機(jī)成本比較高

雷鋒網(wǎng)又想到了當(dāng)年搭載深度相機(jī)的 Tango 手機(jī)，盡管推出的時(shí)間很早，但并沒得到開發(fā)者熱烈的反響，究其根本原因還是與硬件的普及度有關(guān)。馬賡宇說(shuō)，“Tango 硬件不普及，必須要特殊的硬件才能用，所以一般開發(fā)者也不會(huì)在 Tango上開發(fā)應(yīng)用，導(dǎo)致消費(fèi)者沒有購(gòu)買的動(dòng)力。”

事實(shí)上，除了國(guó)外開發(fā)者玩的嗨，國(guó)內(nèi)也有開發(fā)者正在進(jìn)行 ARKit 的內(nèi)容開發(fā)。雷鋒網(wǎng)聯(lián)系到武漢火游網(wǎng)絡(luò)的 CEO 童洋，他跟 Luke Ritchie 的看法一致，現(xiàn)在 ARKit 還不成熟。他們現(xiàn)在使用 iPhone 7、iPhone 6 & 6s 進(jìn)行 Demo 測(cè)試，還處于只是“能用”的階段，可能需要等待 iPhone 8 的上市，在硬件和軟件上能更好地支持 ARKit。

再來(lái)說(shuō)說(shuō)文章一開始提到的 VRKit 和 HTC Vive，有可能是通過單目+IMU 的定位方式，并配合 Lighthouse 空間定位系統(tǒng)，實(shí)現(xiàn)了我們所看到的效果。

最后，iPhone 8 如果上市了，你會(huì)不會(huì)為了好玩的 AR 換手機(jī)？筆芯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。