自從蘋果推出 ARKit 之后，不少開發(fā)者已經(jīng)玩瘋了。繼 ARkit+HTC Vive 玩《Tilt Brush》的視頻引來眾人圍觀后，又有一家內(nèi)容團(tuán)隊把 ARKit 玩出了新高度。

據(jù)雷鋒網(wǎng)了解，這家團(tuán)隊名叫 Nexus Studios，他們將 ARKit 開發(fā)的 demo，與紙盒眼鏡 Cardboard 結(jié)合，在戶外展示了所能實現(xiàn)的效果。

從視頻中，我們能看到，戴上 Cardboard 之后，你眼前的內(nèi)容一會兒切換成 AR，真實環(huán)境與虛擬的內(nèi)容一同顯示，一會兒切換成 VR，完全進(jìn)入虛擬的世界中，相當(dāng)有意思。

Nexus Studio 稱“在 iPhone 7 上實現(xiàn) AR 效果，以及達(dá)到每秒 60 幀 VR 畫面 Inside-out 追蹤，是完全有可能的?！钡€是有一些小問題，“不能快速地移動頭部，只要你在內(nèi)容呈現(xiàn)的‘畫廊范圍內(nèi)’走動，定位追蹤的效果還不錯?！?/p>

Nexus Studios 的互動藝術(shù)部門負(fù)責(zé)人 Luke Ritchie 向外媒表示，他們測試了 10 分鐘，他透露到"說實話，追蹤確實很棒。如果快速轉(zhuǎn)動頭部，畫面會不穩(wěn)定?？焖僖苿雍蜕蚤L的延時會讓人感到有些不舒服。我們不建議現(xiàn)在就拿給消費者使用。"

樹旁邊是虛擬的畫

在這個測試視頻中，有兩點比較有意思，一是這個 demo 在戶外測試，并且有一定空間范圍的移動，其中蘋果手機怎樣實現(xiàn)定位追蹤的？另外， VR、AR 是如何隨意切換的？

雷鋒網(wǎng)請教了 Usens 技術(shù)副總裁馬賡宇，他給出了很詳細(xì)的回答：

ARKit 的 SLAM 技術(shù)，是基于單目相機和 IMU 傳感器融合的。通過對攝像頭圖像中的特征點識別和跟蹤，可以重建出場景的 3D 模型。但是單目相機無法得到尺度信息。因此需要用 IMU 中的陀螺儀和加速度信息進(jìn)行融合，得到場景的真實尺度信息。

AR 和 VR 中用到估算的 SLAM 空間定位技術(shù)都是一樣的，只是顯示的內(nèi)容不一樣。SLAM 會識別出雙眼在世界坐標(biāo)系下的位置。AR 應(yīng)用中是把一個虛擬物體顯示在一個世界坐標(biāo)系中的某個位置，同時顯示真實場景的內(nèi)容。VR 應(yīng)用就是只顯示虛擬物體，不顯示真實場景。

因為 ARKit 是針對 AR 場景開發(fā)的，所以對快速旋轉(zhuǎn)跟蹤的并不好。文中也說了，只是對類似看畫廊的那種平移移動效果比較好。

簡單來說，基于蘋果手機上單目相機和 IMU 傳感器融合的 SLAM 技術(shù)，定位是一樣的，只不過根據(jù)內(nèi)容開發(fā)的不同，而產(chǎn)生了 AR、VR 切換的效果。仔細(xì)看視頻，你會發(fā)現(xiàn)，他們在真實的樹上設(shè)置了點云。

馬賡宇也解釋道，

咱們手機上的攝像頭，是可以直接看到外部環(huán)境的。AR 無非就是在這個畫面上疊加了虛擬的物體。而 VR 就是把 VR 的內(nèi)容，放到你的屏幕上了，比如你看電影的時候或玩游戲的時候，就看不到外部環(huán)境了。

VR時候的畫面，在“畫廊的范圍內(nèi)”移動

另外，基于現(xiàn)有的包括單目、雙目和深度相機等三種視覺定位追蹤方案，馬賡宇表示它們的不同之處在于：

單目使用的信息最少，如果跟蹤丟失的話，需要相對較長的時間進(jìn)行初始化。而且估計尺度需要較高的 IMU精度。成本最低。

雙目可以通過單幀圖像得到場景的真實尺度，初始化比較簡單。但是由于基線長度限制，對太遠(yuǎn)的場景初始化不好。而且成本相對較低。

深度相機要處理的數(shù)據(jù)量比較大，計算比較復(fù)雜。而且深度相機成本比較高

雷鋒網(wǎng)又想到了當(dāng)年搭載深度相機的 Tango 手機，盡管推出的時間很早，但并沒得到開發(fā)者熱烈的反響，究其根本原因還是與硬件的普及度有關(guān)。馬賡宇說，“Tango 硬件不普及，必須要特殊的硬件才能用，所以一般開發(fā)者也不會在 Tango上開發(fā)應(yīng)用，導(dǎo)致消費者沒有購買的動力。”

事實上，除了國外開發(fā)者玩的嗨，國內(nèi)也有開發(fā)者正在進(jìn)行 ARKit 的內(nèi)容開發(fā)。雷鋒網(wǎng)聯(lián)系到武漢火游網(wǎng)絡(luò)的 CEO 童洋，他跟 Luke Ritchie 的看法一致，現(xiàn)在 ARKit 還不成熟。他們現(xiàn)在使用 iPhone 7、iPhone 6 & 6s 進(jìn)行 Demo 測試，還處于只是“能用”的階段，可能需要等待 iPhone 8 的上市，在硬件和軟件上能更好地支持 ARKit。

再來說說文章一開始提到的 VRKit 和 HTC Vive，有可能是通過單目+IMU 的定位方式，并配合 Lighthouse 空間定位系統(tǒng)，實現(xiàn)了我們所看到的效果。

最后，iPhone 8 如果上市了，你會不會為了好玩的 AR 換手機？筆芯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。