雷鋒網(wǎng)消息，7 月 4 號(hào)，微軟官方發(fā)布消息，測(cè)試版的 SwiftKey（雷鋒網(wǎng)按：2016 年，SwiftKey 被微軟收購(gòu)）中加入了新功能 Puppets，這個(gè)新功能提供了熊貓、恐龍、貓頭鷹等多個(gè)動(dòng)物的 3D 形象，還能夠通過(guò) AI 技術(shù)來(lái)實(shí)時(shí)反映用戶的表情和頭部動(dòng)態(tài)。

盡管 3D 表情近幾年開始席卷全球，但值得一提的是，人們關(guān)于創(chuàng)建 3D 動(dòng)態(tài)形象的想法，早在十幾年前就已經(jīng)生根發(fā)芽了。

從好萊塢大片中得到的靈感

2005 年左右，運(yùn)動(dòng)追蹤技術(shù)還遠(yuǎn)未達(dá)到成熟階段，即便是在 2009 年上映的《阿凡達(dá)》，也需要演員提前在臉上標(biāo)記特定的小點(diǎn)，穿上帶有特制小球的衣服，幫助光學(xué)系統(tǒng)追蹤人臉和身體的動(dòng)作變化，最終精準(zhǔn)地捕捉到人物角色的表情和動(dòng)作。

雷鋒網(wǎng)注：上圖為《阿凡達(dá)》劇照

Faceshift 公司（雷鋒網(wǎng)注：Faceshift 是一家人臉追蹤技術(shù)公司，2015 年被蘋果公司收購(gòu)）的聯(lián)合創(chuàng)始人之一 Mark Pauly 表示：

為演員的臉部標(biāo)點(diǎn)是一個(gè)很不錯(cuò)的想法，因?yàn)檫@樣可以幫助簡(jiǎn)化運(yùn)動(dòng)追蹤的計(jì)算量。但這需要大量的設(shè)備，還需要花費(fèi)大量的時(shí)間成本。

Mark Pauly 和其他研究者開始尋求新的方法——開始探索如何使用深度感應(yīng)相機(jī)和算法來(lái)取代傳統(tǒng)的方法，使面部表情追蹤變得更簡(jiǎn)單。而他們的最終目標(biāo)是制作出可以實(shí)時(shí)模仿人類表情的動(dòng)態(tài)數(shù)字形象。

由于人臉總是持續(xù)變化，因此，為了讓機(jī)器可以準(zhǔn)確識(shí)別出面部運(yùn)動(dòng)，必須讓它識(shí)別出在不同環(huán)境或狀態(tài)下的人臉，比如變幻的光線，頭部的旋轉(zhuǎn)角度，人臉的膚色等。接下來(lái)就是不斷地訓(xùn)練算法來(lái)處理這些面部數(shù)據(jù)信息，然后建立大量的 3D 模型，形成模擬形象。

人臉追蹤技術(shù)從電影走向手機(jī)

在 2013 年開始，蘋果就陸續(xù)收購(gòu)了 3D 傳感器制造商 PrimeSense、圖像識(shí)別公司  Perceptio、增強(qiáng)現(xiàn)實(shí)公司 Metaio 和 人臉追蹤技術(shù)公司 Faceshift。從現(xiàn)在看來(lái)，這波瘋狂收購(gòu)的背后，很大一部分原因是蘋果在為推出 iPhone X 做準(zhǔn)備。

2017 年 9 月，蘋果推出了 iPhone X，從外形上來(lái)看，除了經(jīng)典 Home 鍵的消失，屏幕頂部還出現(xiàn)了一塊“劉海”區(qū)域。

在這塊神秘的黑色劉海之下，內(nèi)置了麥克風(fēng)、揚(yáng)聲器、前置攝像頭，以及包括環(huán)境光傳感器、距離感應(yīng)器、紅外鏡頭、泛光感應(yīng)元件、點(diǎn)陣投影器在內(nèi)的 5 種感應(yīng)器。這 5 種感應(yīng)器組成了原深感攝像頭系統(tǒng)（True Depth Camera  System），它可以捕捉并分析用戶的面部 3D 結(jié)構(gòu)特征，類似 3D 建模一樣，然后再通過(guò)蘋果神經(jīng)引擎（A11 Bionic Neural Engine）即時(shí)處理識(shí)別數(shù)據(jù)。

基于原深感攝像頭和神經(jīng)網(wǎng)絡(luò)的支持，3D 版的 Emoji——Animoji 就這樣應(yīng)運(yùn)而生了；用戶可以在使用 iMessage 時(shí)開啟 Animoji 錄制一段不超過(guò) 10 秒的小視頻，而 3D 動(dòng)畫形象會(huì)同步用戶的表情，而且這個(gè)功能還支持錄音。

雖然，Animoji 只是作為 iMessage 的一個(gè)功能出現(xiàn)，但從 3D 動(dòng)畫表情創(chuàng)新的層面上來(lái)說(shuō)，Animoji 可以算得上是開山之作，它讓好萊塢大片中的 3D 人臉追蹤技術(shù)走向了手機(jī)。

在蘋果開始采用 3D 結(jié)構(gòu)光技術(shù)來(lái)支持人臉識(shí)別和 Animoji 之后，三星、華為、小米等手機(jī)廠商也在不斷努力之后，實(shí)現(xiàn)了這一技術(shù)，并打造了屬于自己的“Animoji”，甚至逐漸擺脫了對(duì)原深感攝像頭的依賴。

基于深度神經(jīng)系統(tǒng)的 Puppets

與蘋果 Animoji 不同的是，微軟 3D 動(dòng)畫表情 Puppets 的載體不在于系統(tǒng)內(nèi)的短信（iMessage），而是在于第三方軟件 SwiftKey；這款個(gè)性化輸入法基于先進(jìn)流利的預(yù)言推理引擎，能夠進(jìn)行十分快速的輸入操作——微軟預(yù)計(jì)，SwiftKey 每周可以節(jié)約總計(jì) 2000 萬(wàn)個(gè)小時(shí)的打字時(shí)間。

除此之外，Puppets 最大的不同在于，蘋果 Animoji，以及其他許多 3D 動(dòng)態(tài)表情都需要原深感攝像頭的支持，從而掃描人臉的 3D 結(jié)構(gòu)圖來(lái)建模，而 Puppets 僅用普通攝像頭也能塑造出實(shí)時(shí) 3D 動(dòng)態(tài)表情。這是因?yàn)?Puppets 的運(yùn)作原理基于一個(gè)由志愿者提供圖片和視頻集成的龐大數(shù)據(jù)庫(kù)，微軟通過(guò)這個(gè)數(shù)據(jù)庫(kù)來(lái)訓(xùn)練自己的深度神經(jīng)網(wǎng)絡(luò)，從而識(shí)別用戶的表情，比如微笑和眨眼，直接進(jìn)行模仿。

用戶可以通過(guò) Puppets 錄制長(zhǎng)達(dá) 30 秒的視頻，視頻會(huì)實(shí)時(shí)轉(zhuǎn)化為 3D 動(dòng)態(tài)形象，這些小視頻還可以分享到社交媒體或其他平臺(tái)上。

微軟產(chǎn)品經(jīng)理 Deepak Paramanand 表示：

我們希望 SwiftKey 用戶在與家人朋友溝通時(shí)，除了預(yù)先設(shè)置的 GIF 動(dòng)圖之外，還能有更多的選擇，因此我們創(chuàng)建了 Puppets。人們希望快速打字，SwiftKey 能夠滿足這一點(diǎn)；人們也希望以有趣的方式來(lái)表達(dá)自己，這一點(diǎn) SwiftKey 現(xiàn)在也能做到了。

雷鋒網(wǎng)小結(jié)

從應(yīng)用在 3D 電影中的人臉追蹤技術(shù)，到蘋果開先河的 3D 動(dòng)畫表情 Animoji，再到微軟的 Puppets，這些技術(shù)和產(chǎn)品或許有其不足之處，但至少可以清楚地看到它們?cè)陔S著迭代而成長(zhǎng)。

值得一提的是，目前推出的 Puppets 還只是測(cè)試版，而且僅限于 Android 手機(jī)；更多關(guān)于 Puppets 的動(dòng)態(tài)，雷鋒網(wǎng)將會(huì)繼續(xù)關(guān)注。

相關(guān)文章：

蘋果 Animoji 表情背后：面部識(shí)別技術(shù)如何一步步進(jìn)化的？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。