4
| 本文作者： 劉芳平 | 2016-12-06 20:50 |
騰訊AR研究員劉驍
12月6日，SIGGRAPH Asia 2016正在澳門舉行，今年有相當(dāng)一部分內(nèi)容都與VR/AR有關(guān)。今天，在騰訊優(yōu)圖實(shí)驗室、清華大學(xué)-騰訊聯(lián)合實(shí)驗室以及騰訊AI Lab聯(lián)合舉行的一場分享會議中，來自騰訊的劉驍首次介紹了騰訊“QAR開放平臺”，一個增強(qiáng)現(xiàn)實(shí)平臺。
在騰訊從事AR研究超過3年的劉驍告訴雷鋒網(wǎng)，該平臺目前還沒有對外推出，預(yù)計會在明年隨其它產(chǎn)品一并發(fā)布。
以下內(nèi)容整理自劉驍?shù)腒eynote演講。
近些年AR領(lǐng)域越來越火，特別是在廣告和游戲等領(lǐng)域。當(dāng)前的AR可以分為兩種：一種是移動AR，另一種是頭戴顯示器。由于它們使用的傳感器不同，通常其追蹤技術(shù)也不同。
對于希望開發(fā)AR應(yīng)用的開發(fā)者來說，目前比較流行的AR SDK有Vuforia、ARToolkit、Metaio和Wikitude。而app開發(fā)者遇到的問題是：
1、一些強(qiáng)大的API對入門開發(fā)者來說太難了；
2、對輕量級App來說過重；
3、模型渲染需要額外工作；
4、建立識別服務(wù)需要額外的工作；
5、一些前沿的功能沒有包括進(jìn)來：SLAM，室外臉部AR等等。
QAR=Quick+AR，其目標(biāo)是構(gòu)建易用、輕型、一站式、多特性并且免費(fèi)的AR SDK，開發(fā)者只需要3行代碼就能為自己的App加入騰訊的AR模塊功能。
對“Quick”的定義：
易用：容易使用，代碼少；
輕型：輕量；
一站式：包含識別服務(wù)、模型存儲；
多特性：包含2D/3D Markers、SLAM、Face AR、Handy AR等功能；
免費(fèi)。
現(xiàn)場視頻演示了四個Demo，分別是：The Smurfs 2和NARUTO的3D動畫Demo，The Avengers AR預(yù)告片Demo，以及和真實(shí)3D模型合影的AR相機(jī)Demo。
首先，我們建立了一個AR網(wǎng)絡(luò)服務(wù)器，用于圖像隊列和模型管理（Image Queue and Model Management）。用戶與AR數(shù)據(jù)庫的交互分兩步，首先是上傳Marker圖像到服務(wù)器，然后服務(wù)器會對其進(jìn)行識別，并將AR模型調(diào)整后與之匹配，然后進(jìn)行顯示。整個過程非常迅速，且支持多用戶和巨大用戶規(guī)模，每個用戶有自己的數(shù)據(jù)庫。
圖像和目標(biāo)檢索方面，我們使用了CDVS（Compact Descriptors for Visual Search）算法。
探測追蹤是AR技術(shù)里的核心，在探測方面，我們使用了ORB探測器，基于一般采用詞集（bags of words）方法的搜索，針對二維圖像使用Homography，三維圖像則是PnP+RANSAC。這使得我們在移動平臺上支持低于1000個目標(biāo)的檢索。
下面這張圖是我們追蹤方案的技術(shù)實(shí)現(xiàn)過程，我們使用基于SLAM的追蹤技術(shù)，因為希望同時支持目標(biāo)和場景追蹤，所以我們也要做Mapping。
在模型渲染方面我們使用了基于Open GL ES的輕量級引擎，Android只需66kb，iOS為140kb。同時擁有很高的渲染速度，在低端的Android手機(jī)上小于1.5ms。
對于建筑、辦公場所等地，我們有不需要Marker點(diǎn)的SLAM追蹤技術(shù)。同時，我們采用了Kalman過濾器將IMU和相機(jī)的數(shù)據(jù)融合到一起，提供快速和穩(wěn)定的追蹤。
QAR還沒有對外發(fā)布，但騰訊內(nèi)部已經(jīng)有一些應(yīng)用對這個平臺非常感興趣了，下面就分享一些應(yīng)用場景。
QAR應(yīng)用：
1、微信電影票；
2、RTX+Tencent Explorer；
3、QQ手機(jī)瀏覽器；
4、KM
5、微信公開課；
6、微信掃一掃；
7、手機(jī)管家；
8、應(yīng)用寶。
以微信電影票為例，用戶可以在App里打開攝像頭對準(zhǔn)海報，比如熱門電影《天將雄師》，之后3D的成龍就會跳出來，用戶可以和他合影交分享到朋友圈。
目前我們正與內(nèi)部許多應(yīng)用一起探索AR的應(yīng)用場景，正在合作的項目包括：RTX+Tencent Explorer、微信、QQ瀏覽器、手機(jī)管家和應(yīng)用寶。
除了已有的目標(biāo)追蹤功能，未來我們還將在QAR SDK中加入另外三項功能：Face AR、Handy AR和Scene AR。
除了針對App開發(fā)者，我們還將為網(wǎng)頁開發(fā)者推出H5開放平臺。再往后，我們希望對各種頭戴顯示器進(jìn)行支持，包括HoloLens、Meta等。
開發(fā)者若想了解QAR，可以訪問www.aropen.com。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
