0
| 本文作者： 小哲打豆豆 | 2017-03-14 17:33 |
雷鋒網(wǎng)按：許多人都喜歡制作將用戶拍攝進去的VR游戲視頻，稱之為MR視頻，但戴著頭顯拍攝意味著人臉被擋住了，針對這個問題，谷歌想出了一個辦法。本文編譯自Google Blog。
虛擬現(xiàn)實（VR）帶給我們身臨其境的絕妙體驗，讓我們能親眼感受虛虛實實的新奇環(huán)境。但是與現(xiàn)實的分享相比，VR頭顯不能完整顯示其他參與者的影像，因此難以將這種體驗分享給其他人。
這道溝壑可以通過一種叫做混合現(xiàn)實（Mixed Reality， MR）的技術(shù)來彌補。這項技術(shù)作為一種媒介轉(zhuǎn)化方法，把VR用戶所見的虛擬世界轉(zhuǎn)化為二維的影像，如此便可以讓其他人清楚的看到VR使用者的體驗。雖然混合現(xiàn)實技術(shù)讓體驗的分享變得可行，但頭顯設(shè)備卻依然遮擋著用戶的面部表情和眼神，成為了虛擬現(xiàn)實提供深度參與感體驗和全視野的絆腳石。
谷歌機器感知（Google Machine Perception）團隊的研究者們已經(jīng)和Daydream Labs 以及YouTube Spaces一起，共同尋找如何能在制造出一種虛擬的“透視”效果，從而移除頭顯，讓我們能看到其他人臉部的解決方案。
雷鋒網(wǎng)注：VR用戶在綠幕前與虛擬環(huán)境相融合，并制造出混合現(xiàn)實的效果：傳統(tǒng)混合現(xiàn)實的面部是被遮擋的，而我們的結(jié)果可以顯示面部。注意頭顯上有一處標記幫助位置識別。
我們的技術(shù)融合了3D視覺，機器學習以及圖形技術(shù)。
我們技術(shù)的核心思想是使用用戶的臉部3D模型作為被遮擋的臉的代理模型。這個代理模型被用來合成混和現(xiàn)實中的臉。首先，我們使用稱為“注視點決定的動態(tài)表情（gaze-dependent dynamic appearance）”的技術(shù)，來捕捉本人臉部的3D模型。初始的校準需要用戶坐在一個彩色深度攝像機以及一個顯示器前，用眼睛盯住屏幕上的標記。通常只需要不到一分鐘，就可以用這種一次性的校準方法得到用戶臉部的3D模型，然后放在數(shù)據(jù)庫中學習。這個數(shù)據(jù)庫將不同注視點和眨眼動作對應到各種表情圖片。這個注視點數(shù)據(jù)庫（以注視點作為索引的面部紋理模型）讓我們能動態(tài)的根據(jù)注視點的不同而生成不同的面部表情，進而合成出自然而生動的臉。
雷鋒網(wǎng)注：左圖中，用戶的面部在她盯著屏幕上標記的時候被攝像頭記錄下來。右圖中我們展示了重建的3D面部模型的動態(tài)特性：通過移動或點擊鼠標，我們能模擬注視點移動和眨眼效果。
制作一段混合現(xiàn)實視頻需要特制的設(shè)備——一臺校準過，和頭顯時間同步的外置攝像機。攝像機拍攝一段VR用戶在綠幕前的視頻，然后剪下用戶的影像合成到虛擬世界中，最終生成混合現(xiàn)實的視頻。其中非常重要的一步就是要準確的估計攝像機和頭顯坐標系統(tǒng)的校準值。這些校準技術(shù)通常需要大量的手動調(diào)節(jié)，并需要很多步驟才能完成。我們在頭顯前加了一個標記，使用3D圖像追蹤簡化了上述的過程，使我們通過VR設(shè)備就可以自動地優(yōu)化校準值。
至于頭顯的移除，我們需要把3D的面部模型和攝像機影像中可見的部分面部對齊，并完美的縫合在一起。一種可行的縫合方法是將面部模型直接放在頭顯后邊。前邊提到的使用到VR頭顯定位的校準技術(shù)，能夠提供足夠的信息來決定如何放置模型，讓我們能夠把虛擬的臉渲染在影像里。
對齊之后，最后一步就是通過恰當?shù)?D面部模型渲染，使它和原視頻完美融合。使用一臺經(jīng)過SMI改裝，能夠?qū)崿F(xiàn)眼球追蹤技術(shù)的HTC Vive頭顯，結(jié)合我們的動態(tài)注視點數(shù)據(jù)庫，我們能夠重現(xiàn)用戶的注視點。這些眼球追蹤器得到的圖片并不足以直接重建被遮擋的面部區(qū)域，但是足夠提供很精細的的注視點信息。我們可以使用追蹤器得到的注視點實時數(shù)據(jù)，精確生成出用戶的表情和眼睛的眨動。在運行時，在預處理階段得到的注視點數(shù)據(jù)庫會告訴我們最符合所查詢注視點的面部照片，同樣也會留意臉部美化的問題，比如顳骨是不是平滑。
此外，考慮到注視點數(shù)據(jù)收集和實際運行時的光線的變化，我們還進行了色彩矯正，并添加了羽化效果，這樣一來合成加入的部分就和其余的面部更相稱了。
正如“恐怖谷（uncanny valley）理論” 提到的，人類對臉部的人工處理是有高度敏感性的，即使是合成中微小的不足也會引起你的留意，讓你覺得不自然。為了減少這方面的影響，我們并沒有完全移除頭顯，而是選擇了一種“潛水面具效果”的方式，把色彩校正過的面部圖像和半透明的頭顯合成在一起。提醒觀看者頭顯的存在能幫我們避免“恐怖谷”效應，也能讓對齊和調(diào)色算法的小錯誤不那么顯眼。
有了可以看到用戶面部表情和真實注視點的半透明頭顯，這段視頻就可以和虛擬世界融合起來，制作出最終的混合現(xiàn)實視頻了。
我們運用了我們的頭顯消除技術(shù)來優(yōu)化混合現(xiàn)實，使得媒介不光能展示VR使用者如何和虛擬環(huán)境互動，同時還能生動形象的展示他們的面部表情。下邊是一個我們技術(shù)應用的例子，一位藝術(shù)家在虛擬環(huán)境中使用谷歌畫刷（Google Tilt Brush ）：
雷鋒網(wǎng)注：在混合現(xiàn)實的展示下，一位藝術(shù)家正在用谷歌畫筆進行3D藝術(shù)創(chuàng)作。上邊的圖是傳統(tǒng)的混合現(xiàn)實，頭顯遮擋了面部。下邊是我們的結(jié)果，整個的面部和眼睛都自然生動的展現(xiàn)了出來。
我們展示了這項技術(shù)的潛力，它的應用卻不僅僅只在混合現(xiàn)實中。頭顯移除技術(shù)還將優(yōu)化虛擬現(xiàn)實有關(guān)的通訊和社交的各種應用，例如VR會議，多人VR游戲，以及和朋友家人的旅游探險。從被頭顯遮擋什么也看不到，到生動真實的面部圖像，能看到VR世界中同伴們的臉注定是VR領(lǐng)域一個重大的變革，而我們也很高興能親歷這樣的變革。
via Google
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
