2
本文作者: 木子 | 2017-12-06 18:37 |
12 月 3 日,蘋果大中華區(qū)董事總經理葛越在烏鎮(zhèn)世界互聯網大會上發(fā)表演講,再次推介了蘋果努力打造的 AR 體驗,并以天天 P 圖為例介紹了 AR 的好玩之處?!膀v訊打造的這款天天P圖的 APP 正是結合了這一系列的軟硬技術讓大家都能體驗到川劇變臉的樂趣?!彼f。
今年 9 月,iPhone X 驚艷登場,除了震撼的全面屏,同樣引人注目還有 FaceID 和 AR 功能,蘋果在現場演示了人臉解鎖,還有好玩的 Animoji。
實際上,天天 P 圖早在發(fā)布會前就有了和蘋果的合作,當時,天天 P 圖團隊成員受邀遠赴美國蘋果總部,歷經 3 周緊張研發(fā),雙方在發(fā)布會前合作開發(fā)了川劇變臉的體驗,利用蘋果提供的接口,將 iPhoneX 新特性與 P 圖產品特色相結合,實現了驚艷有趣的效果,并在蘋果發(fā)布會體驗區(qū)現場吸引了大批國內外媒體體驗。
天天 P 圖由此成為國內首家實現 3D AR 自拍功能的應用。
那么,為什么蘋果和騰訊都力推 3D AR 呢,它到底有什么優(yōu)勢?這種出色的 AR 體驗又是如何打造出來的呢?
天天 P 圖在微信朋友圈推的炫酷廣告
要說 P 圖美顏,早在 iPhone X 之前就有眾多 App 在玩相關的功能了,所以,與 iPhone X 結合的所謂 3D AR 到底給自拍帶來了什么呢?
先來看一下官方的介紹,iPhone X 版的天天 P 圖主要有以下功能特色:
1)3D 人臉檢測精準 :識別點增加的原因,相較于現在版本最好是正臉面對鏡頭才能識別,如今的 X 版本校對更加精準,側臉、偏頭或是在光線不佳的情況下,都能準確識別到人臉的輪廓。
2)微表情識別 :由于識別點的增加,相較于當前版本在拍攝時因為一些微表情小動作(眨眼,張嘴,點頭)從而導致拍攝特效消失,在 X 版本里面,得到了改善,不僅可以識別到這些微表情的變化,產生的特效也不會突然失效,而是會相應呈現效果。
3)光照渲染:相較于當前版本,X 版本拍攝出來的照片和視頻會更加立體。加強景深效果,光照情況更加貼合實際拍攝。
技術上的術語不太容易讓人感知,實際體現出來是什么效果呢?雷鋒網在此前的文章中就有描述。
上面的視頻中,在 iPhone X 的屏幕上可以看到,用戶的臉戴上了虛擬的臉譜。和普通自拍的萌寵 AR 效果簡單地把一些元素添加到用戶頭像上不同,iPhone X 上臉譜和人臉實現了立體的融合,而且貼合很好,追蹤也相當迅速,以至于用戶眨眼的瞬間臉譜都可以實時地進行反應,見視頻中第 2 秒開始處。
除此之外,鏡頭晃動和突然的遮擋對于對于追蹤的影響非常小,用戶用手一揮,臉譜換了一張,但仍然移穩(wěn)穩(wěn)地停留在用戶臉上,沒有錯位,這是目前手機上 AR 自拍效果所根本不能比的。
前文提到,天天 P 圖的 3D AR 自拍功能是和蘋果 iPhone X 合作實現的,因而這里分兩塊來講述。
蘋果方面,AR 自拍的核心在于 iPhone X 的“劉海”部分,?在這個被很多人詬病的小“劉?!鄙希O果塞進了 8 顆傳感器,除了麥克風、揚聲器、前置攝像頭、環(huán)境光傳感器、距離感應器等我們熟知的部分,還集成了紅外鏡頭、泛光感應元件、點陣投影器。
蘋果將整個系統稱之為原深感攝像頭系統(TrueDepth Camera System),而整個系統除了能用于 Face ID 人臉驗證,也可以擴展自拍功能,實現動畫表情發(fā)布,和 AR 效果疊加。
具體而言,上述的感應器會投射人眼看不見的光,并讀取用戶的臉部 3D 幾何結構圖,而這一切都是實時發(fā)生的。蘋果甚至為此開發(fā)了一個神經引擎(Neural Engine),可即時處理人臉識別數據。蘋果高級副總裁 Phil Schiller 在發(fā)布會上解釋稱,“我們用神經網絡處理圖像和點陣模式,來建立人臉數學模型。”
天天 P 圖這邊,團隊向雷鋒網介紹,他們在開發(fā)過程中用到了 iPhone X 獨有的 ARKit Face Tracking(臉部追蹤)相關接口。
ARKit 里僅對人臉部分進行 3D 建模,實現類似臉譜的功能會比較方便。另外 SDK 提供了表情追蹤的接口,可以用來實現表情序列或者驅動其它 3D 模型。
有了 3D 人臉信息,我們甚至可以給臉部直接虛擬打光,添加眼鏡帽子等動態(tài)道具,都是非常好玩的體驗,而且不止前置攝像頭,我們后置攝像頭這里也有豐富的玩法,歡迎大家去下載天天P圖打開自拍相機體驗。
團隊還對雷鋒網表示,目前 ARKit 人臉 3D 只能用在 iPhone X 上。未來應該會擴展到其它硬件,但需要前置攝像頭帶深度信息。天天 P 圖目前只支持單人識別,這里有待 Apple API 擴展。
不過,天天 P 圖除了支持 ARKit 的人臉 3D,還接入了騰訊優(yōu)圖 3D 人臉識別,對除了 iPhone X 以外的機型也能進行人臉 3D 模型渲染。
對于其它想利用蘋果接口打造 AR 體驗的開發(fā)者,團隊建議將 ARKit 和 sceneKit 結合起來會比較容易實現一些。
AR 被認為是科技發(fā)展的下一個大潮流,不僅被蘋果看好,Google、微軟、Facebook 等巨頭也都在押注。例如,蘋果 ARKit 推出不久后,Google 就推出了 ARCore,微軟也一直在推自家的 MR 平臺,包括 HoloLens 眼鏡。
但巨頭的 AR 宏圖偉業(yè),實則和廣大開發(fā)者的成功是息息相關的,如果沒有優(yōu)秀的開發(fā)者推出廣受歡迎的 AR 應用,那么 AR 的未來也就不存在了。
這樣的爆款應用,天天 P 圖可以算一個,在推出 iPhone X 版后,這款應用受到 APP Store 官方廣告推薦,為 iPhone X 適配應用。
另外,最近天天 P 圖不僅不僅霸屏東南亞各國的社交網絡,還登頂泰國 App Store 總榜第一。Instagram 上 pitu 標簽 90%是泰國人。而且不僅年輕人愛玩, 許多叔叔阿姨輩的也加入了“變臉”玩法。
由此看來, AR 的未來真的是越來越近了。
雷峰網原創(chuàng)文章,未經授權禁止轉載。詳情見轉載須知。