雷鋒網(wǎng)按：昨晚的 WWDC 想必讓不少 AR/VR 從業(yè)者再次興奮起來，蘋果終于出手了。不僅宣布與 Valve 合作，還公布了首臺 VR Ready 的全新 iMac Pro，更厲害的是針對 iOS 11 推出 ARKit，有了 iPhone 對 AR 的支持，相信很快 AR 會成為大家的日常。那么 ARKit 對開發(fā)者意味著什么？又對整個業(yè)界意味著什么？本文作者阿里巴巴天貓互動技術(shù)專家蔣佳憶在知乎上對 ARKit 做了詳細(xì)的解析，雷鋒網(wǎng)得到授權(quán)轉(zhuǎn)載。

（看到這一幕我就知道今天晚上穩(wěn)了?。?/p>

首先說明我是強(qiáng)利益相關(guān)者，原國內(nèi)某AR創(chuàng)業(yè)公司算法工程師，現(xiàn)國內(nèi)某互聯(lián)網(wǎng)公司AR算法研發(fā)...以下點(diǎn)評主要面向AR同行，有些技術(shù)詞匯我也不多做解釋了，不明白的同學(xué)還請百度。

坦白說，看到蘋果發(fā)布ARkit并不意外，畢竟蘋果是除了微軟以外在AR布局最完整的公司之一，很多優(yōu)秀的AR技術(shù)公司都被蘋果收購雪藏，早在去年參加Project Tango的Hackathon的時候我已經(jīng)預(yù)言過蘋果一定會有動作。但是有兩點(diǎn)是我沒想到的，一個是蘋果發(fā)布的時間這么快，另一個是居然沒有依賴于任何硬件的升級。

從截圖可以看到發(fā)布會使用的是一臺iPad，

而且比較肯定是單目攝像頭，考慮到蘋果的工程能力，ARkit的應(yīng)該可以支持大部分蘋果的設(shè)備（以我個人經(jīng)驗至少可以到5S及同水準(zhǔn)iPad），這個也符合發(fā)布會上蘋果說的世界上最大的AR平臺的定位。

那么回頭來點(diǎn)評一下ARkit，我們看看它到底帶來了什么功能：

第一，快速穩(wěn)定的運(yùn)動定位，這個是最基本的AR功能，從演示中可以發(fā)現(xiàn)整個定位非常穩(wěn)定且準(zhǔn)確，說明精度很不錯，桌面的特征并不算豐富，說明魯棒性很好，最后渲染的Demo模型很復(fù)雜，但是感覺很流暢，說明實時性和算法能耗都深度優(yōu)化過。從發(fā)布會的整個演示來看，ARkit的水準(zhǔn)應(yīng)該是業(yè)內(nèi)頂級的。

第二，平面和邊界的估計，平面估計在單目SLAM上并不稀奇，只是從演示中很難判斷是基于三維點(diǎn)云擬合還是IMU數(shù)據(jù)，初始化的方式看起來更像是基于IMU的。邊界估計這個之前不常見，演示中唯一可以看出來的是那個虛擬小人掉到桌子外（當(dāng)時過于震驚而沒有截屏），說明ARkit可能不是像snapchat那樣簡單的VIO類算法，（從放出來的文檔看就是VIO...）點(diǎn)云構(gòu)建的部分是有一定輸出的。

第三，光照估計，這個不好說，單目做光照估計的需求很可能和算法本身的架構(gòu)有關(guān)（直接法？），以什么形式輸出不看到接口很難判斷，大部分的AR應(yīng)用是不需要這類數(shù)據(jù)的，除非是要基于實際光照做高還原的真實渲染。

第四，尺度估計，這個就非常厲害了，做單目SLAM的同學(xué)都有了解，單目是無法解決尺度問題的，雖然視頻里沒有展示，但是如果真的解決了尺度問題，說明蘋果在IMU和視覺融合方面做了非常先進(jìn)的工作，而且工程化的非常好，很期待這個功能的實際體驗。

第五，對各個開發(fā)平臺或引擎的支持，這點(diǎn)說明蘋果做AR絕對是“蓄謀已久”的，并且野心很大，不給其他對手留余地，一上來就要建立一個完整且廣泛的AR內(nèi)容開發(fā)生態(tài)。

總體來說，ARkit基本實現(xiàn)了單目+IMU的SLAM算法可以提供的大部分功能，并且質(zhì)量很高，我相信蘋果是嚴(yán)格檢查過機(jī)型覆蓋率，實時性和能耗的，那么毫無疑問，憑借廣泛的硬件覆蓋率，iOS會成為最有活力的AR內(nèi)容發(fā)布平臺，PMGO的體驗肯定有質(zhì)的飛躍，一大波真-AR游戲應(yīng)用將會到來。

再來，分析一下目前ARkit有何不足：

第一個不足是三維重建的能力，無論從文字解釋還是Demo演示來看，目前的ARkit僅僅支持平面的“重建”，這里姑且先算做重建，因為是否支持垂直面，任意角度的平面，甚至多個平面目前都還不確定（從目前發(fā)出來的文檔看只支持水平面，說明平面的擬合可能是依賴于IMU的，僅用部分點(diǎn)云判斷深度信息）。就算ARkit包含完整的平面重建能力，對于AR應(yīng)用來說依然還是不足夠的。

增強(qiáng)現(xiàn)實最基礎(chǔ)的要求是對現(xiàn)實世界的理解，比如幾何體的重建，這方面缺失帶來的問題就是無法和真實世界的物體發(fā)生合理的物理碰撞，比如演示中看到一個虛擬小人掉下桌子，我們是看不到這個小人掉落到地面的效果的。另外就是虛實遮擋，假設(shè)桌面上有一個水杯，那么如果無法重建水杯的Mesh，我們就看不到水杯遮擋住虛擬模型的效果，而會看到虛擬模型“疊加”在水杯之上，這個會比較影響整個AR的體驗。當(dāng)然我相信以蘋果的實力，想做重建并不是沒有辦法可想。

這里我有兩個猜測，一個可能是三維重建的流程，交互和接口蘋果還在優(yōu)化中，目前AR基本的功能接口已經(jīng)足夠發(fā)布了，蘋果想慢慢來。另一個可能是蘋果想依托于硬件來解決三維重建的問題，眾所周知單目做實時三維重建是非常有難度的，而基于雙目或深度攝像頭則可以相對簡單的解決這個問題，順便蘋果還可以展現(xiàn)9月份即將發(fā)布的iPhone8的“特殊”，兩全其美。

第二個不足，就是識別的能力，目前AR最火爆的應(yīng)用場景其實不是游戲而是線下營銷，而線下AR營銷非常依托于識別算法和定位算法的對接。蘋果可以在移動端單目設(shè)備上做出這樣成熟的SLAM算法，單純的識別和定位應(yīng)該都不是問題，難點(diǎn)可能在于定位算法如何跟識別算法對接，如果依賴于端上的識別算法，那么按照現(xiàn)有的蘋果更新審核機(jī)制，AR內(nèi)容的更新會非常麻煩，蘋果可能需要提供專門的編輯器；但是如果基于云端識別，則蘋果的用戶群體過于龐大，到時候云識別的QPS會很驚人，是否蘋果還沒有準(zhǔn)備好接受這樣的考驗？

此外，服務(wù)于AR的單目SLAM可以說是目前業(yè)界沒有很好解決的一個課題，所以蘋果在這方面做出了很大的推進(jìn)。而如果我們限定于二維圖像的識別和跟蹤，則有非常多成熟的SDK可以使用，就連Hololens也可以兼容使用Vuforia，也許蘋果并不準(zhǔn)備自己承擔(dān)這和識別算法對接的需求。

最后，說一下ARkit對整個AR行業(yè)的影響，這里按照行業(yè)玩家的角色分開來講。

首先是最下游的硬件玩家，為首的就是AR眼鏡廠商，比如微軟，Meta，ODG等等。

這類玩家受到的波及應(yīng)該不大，因為AR眼鏡本身就不是服務(wù)于當(dāng)下的C端客戶，大部分都給B端客戶定制使用了，而且短期內(nèi)不會有很大的出貨量。相反，這其實對AR眼鏡廠商是好事情，因為手機(jī)體驗AR是有各種缺陷的，比如無法解放雙手，但是手機(jī)上玩AR是可以快速教育用戶的，當(dāng)用戶習(xí)慣于AR，并且想要更高質(zhì)量的體驗的時候，AR眼鏡就可以考慮轉(zhuǎn)型服務(wù)于C端，蘋果其實是在加速整個AR行業(yè)的發(fā)展。不過我相信蘋果既然此時布局AR，肯定不會放棄眼鏡，未來希望蘋果也可以重新定義“AR眼鏡”。

這里有點(diǎn)尷尬的硬件玩家是Google，旗下的Project Tango發(fā)布已經(jīng)一年，目前市面僅有聯(lián)想的Phab 2 pro和即將發(fā)布的華碩的ZenFone搭載了Tango的技術(shù)，然而由于整個安卓系A(chǔ)R內(nèi)容的匱乏，導(dǎo)致Tango手機(jī)出貨量非常少，此時ARkit發(fā)布一瞬間幾乎覆蓋整個iOS，那么Google是要推出單目的AR SDK覆蓋全部安卓來應(yīng)對還是強(qiáng)推Tango讓安卓手機(jī)硬件升級就是一個非常值得考慮的問題，這里大膽猜測Google是否會開源出來Tango目前整套Msckf的算法？畢竟之前已經(jīng)開源了一套基于激光的SLAM算法，很期待Google的動作。

還有就是AR硬件模組玩家，比如Intel的RealSense，或者Occpital Bridge這類，本身要依賴于其他硬件終端才可以使用，雖然整體AR的能力是高于iPhone手機(jī)的，但是如何體現(xiàn)出自己獨(dú)特的價值就變成了一個不得不面對的問題，本來自己是唯一的選擇，現(xiàn)在突然變成“增值服務(wù)”，未來的路又渺茫起來。

另外值得一提的是所謂的AR眼鏡盒子或MR眼鏡盒子，即帶有簡易光學(xué)設(shè)備或僅僅可以讓手機(jī)露出后置攝像頭的，需插入手機(jī)才可以玩的類似VR盒子的東西...這類設(shè)備成本不高，但是可以借助具備AR能力的手機(jī)讓用戶快速體驗到類似AR眼鏡的體驗，這類盒子可能會有銷量的帶動，但是長遠(yuǎn)發(fā)展可以參考目前VR盒子現(xiàn)狀～

再來，我們說說SDK玩家，即AR算法玩家。業(yè)內(nèi)都知道的是由于AR需求的快速發(fā)展，最近一年幾乎所有SDK公司都在基于單目做SLAM算法的研發(fā)，不論國內(nèi)國外，大家由于競爭關(guān)系在大量的重復(fù)造輪子，然而除了Vuforia以外，并沒有哪家拿出來可以服眾的單目SLAM算法SDK，或多或少的，各家都有自己存在的問題。

此時，蘋果拿出來ARkit，按照發(fā)布會Demo來看，效果超過所有其他玩家，何況這還是iOS原生算法，這意味著所有APP不需要集成任何SDK就可以具備目前市面上最好的AR能力，可以說對大部分SDK都是比較致命的打擊，默默心疼一分鐘...當(dāng)然，SDK玩家也并不是完全沒空間，如我上文所說，ARkit并不是完美無瑕并且功能齊全的，單目SLAM是沒辦法做了，但是在這個基礎(chǔ)上擴(kuò)展功能還是可能的，所以此時的SDK公司應(yīng)該仔細(xì)思考自己如何定位，找到自己的價值和ARkit共存。

然后，我們說一下上游的AR軟件的玩家，為首的是Snapchat、Facebook這類社交軟件，這兩家都剛剛發(fā)布了AR相關(guān)的產(chǎn)品和編輯器，同時這兩家都依托于自家研發(fā)的AR算法，可以說兩家在算法上本來是很領(lǐng)先的?？上В珹Rkit一發(fā)布，一夜回到解放前，不僅沒有和彼此拉開差距，反而身后跟過來一大批小玩家，類似FaceU，B612這樣的軟件，在人臉的內(nèi)容運(yùn)營上本來就很優(yōu)秀，此時突然白白得到了AR大殺器，更是可以奮起直追。所以AR應(yīng)用的廝殺接下來可能會很精彩，非常期待！

上游玩家還有就是游戲行業(yè)，之前因為工作原因接觸過不少游戲公司，可以說游戲公司對AR是有興趣而不敢投入，一方面技術(shù)不夠成熟，接入SDK的學(xué)習(xí)成本和風(fēng)險都比較高，效果還不一定好，二是游戲行業(yè)目前發(fā)展勢頭很好，PMGO后期下滑也比較厲害，游戲公司動力不足?，F(xiàn)在ARkit發(fā)布以后，一下有一個原生靠譜的AR能力，此時游戲公司不一定還能淡定的觀望，畢竟某易的XX師在AR上下了大力氣，現(xiàn)在有了新能力肯定不會放過，哪怕跟風(fēng)，其他公司也會嘗試在游戲里加入部分AR的元素，比較看好AR在游戲的發(fā)展，尤其卡牌游戲。

大概的分析就到這里，總體來說由于iOS巨大的用戶群體，ARkit的發(fā)布對整個AR行業(yè)是有很大的推進(jìn)作用的，每一個和AR相關(guān)的玩家可能都需要重新審視一下自己的位置，如何在明確知道iOS具備AR能力的情況下找到自己的定位，純算法或者硬件是否還要堅持？如何細(xì)分？如果做軟件或AR服務(wù)，那么怎么最大化的利用ARkit？

作為AR從業(yè)者，我真心感謝并且欣賞蘋果對于AR的看好和大力投入，希望AR可以越來越成熟，發(fā)展的越來越好。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。