0
Animoji
雷鋒網(wǎng)發(fā)現(xiàn),幾年前,蘋果公司進行了一波瘋狂收購,3-D 傳感器制造商 PrimeSense、圖像識別公司 Perceptio、增強現(xiàn)實公司 Metaio 和 運動捕捉技術(shù)公司 Faceshift 被蘋果統(tǒng)統(tǒng)收入麾下。
通過購買其他公司的技術(shù)來提升自己并不是蘋果的常規(guī)操作。那時,大家都不理解蘋果這么做意圖何在,直到上個月的蘋果發(fā)布會,我們才明白它幾年來的瘋狂收購和研究的意義是什么——蘋果是在構(gòu)建 iPhone X。
而這款跨時代的機型中最重要的新功能可能就是人臉解鎖和定制表情(Animoji)以及其背后的人臉追蹤技術(shù)。蘋果認(rèn)為 iPhone X 代表了移動設(shè)備技術(shù)的未來,目前從很多方面來看,事實確實如此。雷鋒網(wǎng)覺得,如果去追溯面對消費者的重大科技進步,你會發(fā)現(xiàn)大多數(shù)技術(shù)突破都是在無聊的大學(xué)實驗室里產(chǎn)生的。而在Animoji 的例子中,技術(shù)研究是從十年前一些歐洲頂級科技類高校里開始的。
《阿凡達(dá)》工作照
2005 年左右,運動捕捉技術(shù)仍處在實驗室階段。用《阿凡達(dá)》舉例,要想制作人物角色細(xì)微的表情和動作,需要演員穿上帶有小球的衣服,并在面部涂上標(biāo)記點。這些小點作為標(biāo)記,幫助光學(xué)系統(tǒng)追蹤面部和身體的動作變化,最終模擬出電影的動態(tài)效果?!皹?biāo)記點非常有用,因為它們簡化了運動追蹤的計算?!盕aceshift 的聯(lián)合創(chuàng)始人 Mark Pauly 解釋道(Pauly 還是瑞士洛桑 EPFL 大學(xué)計算圖形和幾何實驗室的主管)。
標(biāo)記點技術(shù)十分有用,但是需要使用大量設(shè)備——一個工作站、運動捕捉套件、演員還需要全身穿著標(biāo)記點。Pauly 實驗室的博士生 Hao Li(目前是 USC 的視覺圖像實驗室主管)說:“無論你想制作什么,這種技術(shù)所要花費的時間和成本都太高了。我們想要把它變得簡單一些。”
所以,Pauly、Li 和其他一些研究者們(包括 Thibaut Weise,、Brian Amberg 和 Sofien Bouaziz,他們目前都就職于蘋果),開始探索如何使用深度感應(yīng)相機的長鏡頭來代替點標(biāo)記和運動捕捉套件,完成面部表情追蹤。他們的目標(biāo)是制作可以實時捕捉人類表情的動態(tài)數(shù)字頭像。
但是這里的問題在于:人臉跟蹤算法是出了名的復(fù)雜。Li 把人臉稱為“圖形運算中的圣杯”,因為人臉運算實在太難。不同于靜態(tài)物體,人臉總是持續(xù)變化,因此沒有一個普遍的運算法則可以通用。
為了讓機器可以識別出面部運動,必須讓它看懂形式各異的人臉?!八惴ū仨殞ψ兓玫墓饩€、頭部的旋轉(zhuǎn)、人種和年齡方面同的形態(tài)標(biāo)準(zhǔn)等保持其穩(wěn)定性?!睂9テ嚭徒鹑陬I(lǐng)域的面部追蹤軟件公司 Visage Technologies 的市場主管 Dino Paic 解釋道。
在 2005 年前,3-D 深度感應(yīng)相機的發(fā)展已經(jīng)足以捕捉面部動作。但是更大的挑戰(zhàn)在于教會計算機如何理解捕獲到的數(shù)據(jù)。Li 說:“這里的問題是,即使你可以看到所有點的數(shù)據(jù),但這對于計算機來說,毫無意義?!?/p>
為了解決這一問題,Li 和他的團隊將人臉當(dāng)作幾何圖形來求解。他們使用大量面部表情來不斷訓(xùn)練算法,創(chuàng)建大量可以被描述出的數(shù)字 3-D 模型,進而描繪出不同人種、不同環(huán)境下的人臉模型。利用這些計算好的模型,算法就可以更容易地自動匹配面部 3-D 標(biāo)記點,實現(xiàn)實時捕捉面部表情,創(chuàng)建模擬頭像。
Pinscreen 此前惡搞川普的圖片
目前,視覺特效公司大都在產(chǎn)品制作中使用原有技術(shù),但是這個主流將會被新技術(shù)所取代,相信過不了多久,像蘋果的 Animoji 和 英特爾的“Pocket Avatars”(可以將你的臉植入進各種圖像中)這種使用面部識別軟件的應(yīng)用將會越來越多。
Li 說,面部模仿的 emoji 表情還只是一個開始。他現(xiàn)在正在運作一個專注于圖形擬真計算的創(chuàng)業(yè)公司——Pinscreen,他們最近正在研究一個基于單源照片的超現(xiàn)實 3-D 頭像的算法。
去年秋天的總統(tǒng)大選后,Pinscreen 放出了一系列“跳舞的川普”GIF 圖,展示了它目前的技術(shù)能力。這組 GIF 還不是最為復(fù)雜的——川普的臉還有一些 CGI (電腦三維動畫)產(chǎn)品遺留的模糊感。但是他們已經(jīng)為未來的發(fā)展奠定了基石。我們相信,未來任何人都可以創(chuàng)建出一個現(xiàn)實感的頭像,通過頭像說話和動作。Pinscreen 的技術(shù)仍在測試中,但它的發(fā)展?jié)摿赡芗攘钊思?,又隱隱有些擔(dān)憂。
擔(dān)憂的是:隨著這種技術(shù)的發(fā)展和不斷應(yīng)用,現(xiàn)在還能分清現(xiàn)實和虛擬的區(qū)別的我們,不久以后,可能越來越難以區(qū)分真假了。
via wired.com雷鋒網(wǎng)編譯
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。