12 月 3 日，蘋(píng)果大中華區(qū)董事總經(jīng)理葛越在烏鎮(zhèn)世界互聯(lián)網(wǎng)大會(huì)上發(fā)表演講，再次推介了蘋(píng)果努力打造的 AR 體驗(yàn)，并以天天 P 圖為例介紹了 AR 的好玩之處。“騰訊打造的這款天天P圖的 APP 正是結(jié)合了這一系列的軟硬技術(shù)讓大家都能體驗(yàn)到川劇變臉的樂(lè)趣?！彼f(shuō)。

今年 9 月，iPhone X 驚艷登場(chǎng)，除了震撼的全面屏，同樣引人注目還有 FaceID 和 AR 功能，蘋(píng)果在現(xiàn)場(chǎng)演示了人臉解鎖，還有好玩的 Animoji。

實(shí)際上，天天 P 圖早在發(fā)布會(huì)前就有了和蘋(píng)果的合作，當(dāng)時(shí)，天天 P 圖團(tuán)隊(duì)成員受邀遠(yuǎn)赴美國(guó)蘋(píng)果總部，歷經(jīng) 3 周緊張研發(fā)，雙方在發(fā)布會(huì)前合作開(kāi)發(fā)了川劇變臉的體驗(yàn)，利用蘋(píng)果提供的接口，將 iPhoneX 新特性與 P 圖產(chǎn)品特色相結(jié)合，實(shí)現(xiàn)了驚艷有趣的效果，并在蘋(píng)果發(fā)布會(huì)體驗(yàn)區(qū)現(xiàn)場(chǎng)吸引了大批國(guó)內(nèi)外媒體體驗(yàn)。

天天 P 圖由此成為國(guó)內(nèi)首家實(shí)現(xiàn) 3D AR 自拍功能的應(yīng)用。

那么，為什么蘋(píng)果和騰訊都力推 3D AR 呢，它到底有什么優(yōu)勢(shì)？這種出色的 AR 體驗(yàn)又是如何打造出來(lái)的呢？

天天 P 圖在微信朋友圈推的炫酷廣告

3D AR 自拍到底有什么不同？

要說(shuō) P 圖美顏，早在 iPhone X 之前就有眾多 App 在玩相關(guān)的功能了，所以，與 iPhone X 結(jié)合的所謂 3D AR 到底給自拍帶來(lái)了什么呢？

先來(lái)看一下官方的介紹，iPhone X 版的天天 P 圖主要有以下功能特色：

1）3D 人臉檢測(cè)精準(zhǔn) ：識(shí)別點(diǎn)增加的原因，相較于現(xiàn)在版本最好是正臉面對(duì)鏡頭才能識(shí)別，如今的 X 版本校對(duì)更加精準(zhǔn)，側(cè)臉、偏頭或是在光線不佳的情況下，都能準(zhǔn)確識(shí)別到人臉的輪廓。

2）微表情識(shí)別 ：由于識(shí)別點(diǎn)的增加，相較于當(dāng)前版本在拍攝時(shí)因?yàn)橐恍┪⒈砬樾?dòng)作（眨眼，張嘴，點(diǎn)頭）從而導(dǎo)致拍攝特效消失，在 X 版本里面，得到了改善，不僅可以識(shí)別到這些微表情的變化，產(chǎn)生的特效也不會(huì)突然失效，而是會(huì)相應(yīng)呈現(xiàn)效果。

3）光照渲染：相較于當(dāng)前版本，X 版本拍攝出來(lái)的照片和視頻會(huì)更加立體。加強(qiáng)景深效果，光照情況更加貼合實(shí)際拍攝。

技術(shù)上的術(shù)語(yǔ)不太容易讓人感知，實(shí)際體現(xiàn)出來(lái)是什么效果呢？雷鋒網(wǎng)在此前的文章中就有描述。

上面的視頻中，在 iPhone X 的屏幕上可以看到，用戶(hù)的臉戴上了虛擬的臉譜。和普通自拍的萌寵 AR 效果簡(jiǎn)單地把一些元素添加到用戶(hù)頭像上不同，iPhone X 上臉譜和人臉實(shí)現(xiàn)了立體的融合，而且貼合很好，追蹤也相當(dāng)迅速，以至于用戶(hù)眨眼的瞬間臉譜都可以實(shí)時(shí)地進(jìn)行反應(yīng)，見(jiàn)視頻中第 2 秒開(kāi)始處。

除此之外，鏡頭晃動(dòng)和突然的遮擋對(duì)于對(duì)于追蹤的影響非常小，用戶(hù)用手一揮，臉譜換了一張，但仍然移穩(wěn)穩(wěn)地停留在用戶(hù)臉上，沒(méi)有錯(cuò)位，這是目前手機(jī)上 AR 自拍效果所根本不能比的。

3D AR 自拍是怎么實(shí)現(xiàn)的？

前文提到，天天 P 圖的 3D AR 自拍功能是和蘋(píng)果 iPhone X 合作實(shí)現(xiàn)的，因而這里分兩塊來(lái)講述。

蘋(píng)果方面，AR 自拍的核心在于 iPhone X 的“劉?！辈糠?，?在這個(gè)被很多人詬病的小“劉?！鄙?，蘋(píng)果塞進(jìn)了 8 顆傳感器，除了麥克風(fēng)、揚(yáng)聲器、前置攝像頭、環(huán)境光傳感器、距離感應(yīng)器等我們熟知的部分，還集成了紅外鏡頭、泛光感應(yīng)元件、點(diǎn)陣投影器。

蘋(píng)果將整個(gè)系統(tǒng)稱(chēng)之為原深感攝像頭系統(tǒng)（TrueDepth Camera System），而整個(gè)系統(tǒng)除了能用于 Face ID 人臉驗(yàn)證，也可以擴(kuò)展自拍功能，實(shí)現(xiàn)動(dòng)畫(huà)表情發(fā)布，和 AR 效果疊加。

具體而言，上述的感應(yīng)器會(huì)投射人眼看不見(jiàn)的光，并讀取用戶(hù)的臉部 3D 幾何結(jié)構(gòu)圖，而這一切都是實(shí)時(shí)發(fā)生的。蘋(píng)果甚至為此開(kāi)發(fā)了一個(gè)神經(jīng)引擎（Neural Engine），可即時(shí)處理人臉識(shí)別數(shù)據(jù)。蘋(píng)果高級(jí)副總裁 Phil Schiller 在發(fā)布會(huì)上解釋稱(chēng)，“我們用神經(jīng)網(wǎng)絡(luò)處理圖像和點(diǎn)陣模式，來(lái)建立人臉數(shù)學(xué)模型?！?/p>

天天 P 圖這邊，團(tuán)隊(duì)向雷鋒網(wǎng)介紹，他們?cè)陂_(kāi)發(fā)過(guò)程中用到了 iPhone X 獨(dú)有的 ARKit Face Tracking（臉部追蹤）相關(guān)接口。

ARKit 里僅對(duì)人臉部分進(jìn)行 3D 建模，實(shí)現(xiàn)類(lèi)似臉譜的功能會(huì)比較方便。另外 SDK 提供了表情追蹤的接口，可以用來(lái)實(shí)現(xiàn)表情序列或者驅(qū)動(dòng)其它 3D 模型。

有了 3D 人臉信息，我們甚至可以給臉部直接虛擬打光，添加眼鏡帽子等動(dòng)態(tài)道具，都是非常好玩的體驗(yàn)，而且不止前置攝像頭，我們后置攝像頭這里也有豐富的玩法，歡迎大家去下載天天P圖打開(kāi)自拍相機(jī)體驗(yàn)。

團(tuán)隊(duì)還對(duì)雷鋒網(wǎng)表示，目前 ARKit 人臉 3D 只能用在 iPhone X 上。未來(lái)應(yīng)該會(huì)擴(kuò)展到其它硬件，但需要前置攝像頭帶深度信息。天天 P 圖目前只支持單人識(shí)別，這里有待 Apple API 擴(kuò)展。

不過(guò)，天天 P 圖除了支持 ARKit 的人臉 3D，還接入了騰訊優(yōu)圖 3D 人臉識(shí)別，對(duì)除了 iPhone X 以外的機(jī)型也能進(jìn)行人臉 3D 模型渲染。

對(duì)于其它想利用蘋(píng)果接口打造 AR 體驗(yàn)的開(kāi)發(fā)者，團(tuán)隊(duì)建議將 ARKit 和 sceneKit 結(jié)合起來(lái)會(huì)比較容易實(shí)現(xiàn)一些。

小結(jié)

AR 被認(rèn)為是科技發(fā)展的下一個(gè)大潮流，不僅被蘋(píng)果看好，Google、微軟、Facebook 等巨頭也都在押注。例如，蘋(píng)果 ARKit 推出不久后，Google 就推出了 ARCore，微軟也一直在推自家的 MR 平臺(tái)，包括 HoloLens 眼鏡。

但巨頭的 AR 宏圖偉業(yè)，實(shí)則和廣大開(kāi)發(fā)者的成功是息息相關(guān)的，如果沒(méi)有優(yōu)秀的開(kāi)發(fā)者推出廣受歡迎的 AR 應(yīng)用，那么 AR 的未來(lái)也就不存在了。

這樣的爆款應(yīng)用，天天 P 圖可以算一個(gè)，在推出 iPhone X 版后，這款應(yīng)用受到 APP Store 官方廣告推薦，為 iPhone X 適配應(yīng)用。

另外，最近天天 P 圖不僅不僅霸屏東南亞各國(guó)的社交網(wǎng)絡(luò)，還登頂泰國(guó) App Store 總榜第一。Instagram 上 pitu 標(biāo)簽 90%是泰國(guó)人。而且不僅年輕人愛(ài)玩， 許多叔叔阿姨輩的也加入了“變臉”玩法。

由此看來(lái)， AR 的未來(lái)真的是越來(lái)越近了。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。