0
本文作者: 老王 | 2016-07-27 18:02 |
近日,一家名叫Veeso的公司,研發(fā)出一套能夠追蹤玩家面部表情的社交VR頭顯,官方稱是全球首款能夠捕捉面部表情并實(shí)時(shí)轉(zhuǎn)換成為數(shù)字人物的VR設(shè)備,目前在KickStarter上眾籌。
實(shí)時(shí)轉(zhuǎn)換效果如下:
現(xiàn)階段的VR社交,已經(jīng)完成對(duì)社交對(duì)象的方向、位置、基本姿態(tài)、頭部的跟蹤,但這只滿足了最基本的需求:與對(duì)方交流,看見對(duì)方身體。目前Altspace VR、High Fidelity 和 vTime已研發(fā)出VR社交頭顯,三者為玩家提供一個(gè)虛擬化身(Avatar )代表虛擬世界中的自己,但形象建模太過“粗糙”,甚至不能反映用戶的動(dòng)作和表情,而且里面所構(gòu)建的 VR 社交環(huán)境也是基于傳統(tǒng)社交應(yīng)用的交互方式。
為了讓VR社交更有趣些,Altspace VR開始在里面植入各種功能和小游戲,比如網(wǎng)頁瀏覽、藝術(shù)畫廊、桌游賭場(chǎng)等。
但是,VR 社交的核心是人與人之間的交往,而非游戲和環(huán)境。
人類在現(xiàn)實(shí)環(huán)境中的社交,并不只有言語上的對(duì)話,還需根據(jù)表情來得知對(duì)方的真實(shí)想法和感受。數(shù)據(jù)統(tǒng)計(jì),人類在社交中的信息傳達(dá)只有30%是通過語言實(shí)現(xiàn)的,剩余70%則是通過表情和肢體動(dòng)作實(shí)現(xiàn)。因此,表情捕捉在VR社交中就顯得尤為重要。創(chuàng)造出與真實(shí)表情完全同步的虛擬場(chǎng)景,玩家便可以通過表情變化來提高社交對(duì)象的社交感受。
1.常見的面部捕捉技術(shù)
常見的面部表情捕捉技術(shù)可將真實(shí)的面部表情以動(dòng)畫的方式呈現(xiàn)在自定義的虛擬化身上,讓其化身角色變得栩栩如生,打造更沉浸的虛擬現(xiàn)實(shí)體驗(yàn),這在好萊塢電影特效制作中應(yīng)用比較廣泛。蘋果去年收購的Faceshift就是一家面部表情動(dòng)作捕捉公司,該產(chǎn)品通過捕捉演員的面部運(yùn)動(dòng),將其復(fù)制在動(dòng)畫影視以及游戲中的虛擬角色中。
但這類識(shí)別技術(shù)存在兩個(gè)問題,第一是用戶需要在臉部貼上mark點(diǎn),mark點(diǎn)是電路板設(shè)計(jì)中PCB應(yīng)用于自動(dòng)貼片機(jī)上的位置識(shí)別點(diǎn),通過高速攝像機(jī)捕捉人臉上的mark點(diǎn)來反算面部動(dòng)作。放置mark點(diǎn)的過程繁瑣復(fù)雜,僅適用于專業(yè)表演而不適合普通玩家。
第二個(gè)問題是, 上述識(shí)別技術(shù)不具備實(shí)時(shí)性,還需要進(jìn)行后期MAYA、3D MAX合成。
2.Veeso的面部捕捉特點(diǎn)
而Veeso的特點(diǎn)是,用戶無需在臉上畫mark點(diǎn),而且可進(jìn)行及時(shí)捕捉,直接實(shí)時(shí)同步在虛擬數(shù)字人物中。Veeso的VR頭顯原型機(jī)中設(shè)有兩個(gè)攝像頭,一個(gè)隱藏在頭顯中,用于記錄玩家的眼球和眉毛運(yùn)動(dòng);另一個(gè)從頭顯正下方伸出來,記錄用戶的嘴部和下巴的運(yùn)動(dòng)。兩個(gè)攝像頭同時(shí)記錄眼球、眉毛、嘴部和下顎的動(dòng)作,將面部表情映射到虛擬化身臉上。
由于追蹤臉部表情并在虛擬畫面中重現(xiàn)是同步的,所以其技術(shù)實(shí)現(xiàn)難度較大,主要在于:追蹤與重現(xiàn)(映射到虛擬化身)的延遲、設(shè)備數(shù)據(jù)處理能力、追蹤傳感器的敏感精度、社交網(wǎng)絡(luò)的帶寬等等。而且面部追蹤涉及到的學(xué)科范圍較廣,包括CV、電子、機(jī)械學(xué)、心理感知、機(jī)器學(xué)習(xí)、面部動(dòng)畫、傳感器等技術(shù)。實(shí)時(shí)面部捕捉的運(yùn)行過程大致如下,人的表情先被傳感器追蹤到,經(jīng)數(shù)據(jù)處理后,通過高速寬帶網(wǎng)絡(luò)傳輸至社交對(duì)象的VR設(shè)備中并被在其虛擬環(huán)境中重現(xiàn)。
其實(shí),已經(jīng)有多個(gè)團(tuán)隊(duì)在嘗試VR面部捕捉技術(shù)。南加州大學(xué)助理教授黎顥正在與Oculus合作研究虛擬現(xiàn)實(shí)頭顯的面部跟蹤功能,該設(shè)備初始原型和研究論文《頭戴顯示設(shè)備的面部表情捕捉》(Facial Performance Sensing Head-Mounted Display)”在2015年的SIGGRAPH(圖形學(xué)及互交技術(shù)特殊愛好者集團(tuán))首次被公開。
他們?cè)诤献餮芯恐邪l(fā)現(xiàn),由于VR玩家的頭部被HMD擋住一部分,這會(huì)為VR實(shí)現(xiàn)面部表追蹤造成很大的麻煩。于是,研究者們嘗試將傳感器嵌入在泡沫板里(下圖黃色標(biāo)記部分),通過感應(yīng)面部肌肉的抽動(dòng)來捕捉玩家臉上部的表情,而前面伸出的攝像頭用來追蹤用戶的下巴和嘴的動(dòng)作。
黎顥表示這個(gè)原型證明在虛擬現(xiàn)實(shí)頭顯下使用應(yīng)變傳感器并結(jié)合機(jī)器學(xué)習(xí)算法是有可能推斷面部表情的,但這樣的設(shè)備離實(shí)現(xiàn)實(shí)現(xiàn)面部表情完美追蹤與重現(xiàn)還有一定的距離。
Veeso與上述原型實(shí)現(xiàn)嘴部和下巴追蹤的方式相似,均在產(chǎn)品前面加上一個(gè)伸出來的支架和攝像頭。而有人曾嘗試利用Lip Sync通過聲音計(jì)算出虛擬角色的口型,讓玩家的嘴部形狀與所說的話匹配。通過聲音來匹配嘴部運(yùn)動(dòng)的方式雖在最基本的對(duì)話場(chǎng)景中管用,但如果玩家想悄無聲息地做個(gè)鬼臉就捉襟見肘了。
國外一項(xiàng)技術(shù)根據(jù)虛擬場(chǎng)景內(nèi)發(fā)生的事件來進(jìn)行表情重現(xiàn),當(dāng)玩家在虛擬場(chǎng)景中遇到突發(fā)事件時(shí),根據(jù)事件內(nèi)容來推測(cè)用戶的興趣焦點(diǎn),最終生成生眼部動(dòng)作。通俗講,就是根據(jù)具體場(chǎng)景來推測(cè)玩家的眼部表情。另外一種新型技術(shù)則是先用攝像頭抓取臉的下半部份,然后利用深度學(xué)習(xí)分析下半部分臉部表情從而還原出完整臉部。這兩項(xiàng)技術(shù)雖不能被當(dāng)做主流捕捉技術(shù),但可為主流解決方案起到潤色作用,依據(jù)推測(cè)型算法讓捕捉和重現(xiàn)更加精準(zhǔn)。
官方稱,Veeso頭顯能適配所有iOS和安卓設(shè)備,不僅支持現(xiàn)在市面上的 VR 內(nèi)容,還有幾款自主研發(fā)的游戲可供玩家選擇。目前從Kickstarter上發(fā)布的 Demo 視頻來看,頭顯的面部追蹤系統(tǒng)和 VR 場(chǎng)景中的表情演示還不夠準(zhǔn)確,還有很多技術(shù)問題需要解決。因此所謂的“全球首款內(nèi)置面部追蹤技術(shù)的VR設(shè)備”這個(gè)稱號(hào)也并不能代表它具有多大的顛覆性。
目前該項(xiàng)目的搶先體驗(yàn)價(jià)為70美元,開發(fā)者能夠以80美元購買設(shè)備和開發(fā)套件。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。