雷鋒網(wǎng)按：許多人都喜歡制作將用戶拍攝進(jìn)去的VR游戲視頻，稱之為MR視頻，但戴著頭顯拍攝意味著人臉被擋住了，針對這個問題，谷歌想出了一個辦法。本文編譯自Google Blog。

虛擬現(xiàn)實(shí)（VR）帶給我們身臨其境的絕妙體驗(yàn)，讓我們能親眼感受虛虛實(shí)實(shí)的新奇環(huán)境。但是與現(xiàn)實(shí)的分享相比，VR頭顯不能完整顯示其他參與者的影像，因此難以將這種體驗(yàn)分享給其他人。

這道溝壑可以通過一種叫做混合現(xiàn)實(shí)（Mixed Reality， MR）的技術(shù)來彌補(bǔ)。這項(xiàng)技術(shù)作為一種媒介轉(zhuǎn)化方法，把VR用戶所見的虛擬世界轉(zhuǎn)化為二維的影像，如此便可以讓其他人清楚的看到VR使用者的體驗(yàn)。雖然混合現(xiàn)實(shí)技術(shù)讓體驗(yàn)的分享變得可行，但頭顯設(shè)備卻依然遮擋著用戶的面部表情和眼神，成為了虛擬現(xiàn)實(shí)提供深度參與感體驗(yàn)和全視野的絆腳石。

谷歌機(jī)器感知（Google Machine Perception）團(tuán)隊(duì)的研究者們已經(jīng)和Daydream Labs 以及YouTube Spaces一起，共同尋找如何能在制造出一種虛擬的“透視”效果，從而移除頭顯，讓我們能看到其他人臉部的解決方案。

雷鋒網(wǎng)注：VR用戶在綠幕前與虛擬環(huán)境相融合，并制造出混合現(xiàn)實(shí)的效果：傳統(tǒng)混合現(xiàn)實(shí)的面部是被遮擋的，而我們的結(jié)果可以顯示面部。注意頭顯上有一處標(biāo)記幫助位置識別。

我們的技術(shù)融合了3D視覺，機(jī)器學(xué)習(xí)以及圖形技術(shù)。

動態(tài)臉部模型捕捉

我們技術(shù)的核心思想是使用用戶的臉部3D模型作為被遮擋的臉的代理模型。這個代理模型被用來合成混和現(xiàn)實(shí)中的臉。首先，我們使用稱為“注視點(diǎn)決定的動態(tài)表情（gaze-dependent dynamic appearance）”的技術(shù)，來捕捉本人臉部的3D模型。初始的校準(zhǔn)需要用戶坐在一個彩色深度攝像機(jī)以及一個顯示器前，用眼睛盯住屏幕上的標(biāo)記。通常只需要不到一分鐘，就可以用這種一次性的校準(zhǔn)方法得到用戶臉部的3D模型，然后放在數(shù)據(jù)庫中學(xué)習(xí)。這個數(shù)據(jù)庫將不同注視點(diǎn)和眨眼動作對應(yīng)到各種表情圖片。這個注視點(diǎn)數(shù)據(jù)庫（以注視點(diǎn)作為索引的面部紋理模型）讓我們能動態(tài)的根據(jù)注視點(diǎn)的不同而生成不同的面部表情，進(jìn)而合成出自然而生動的臉。

雷鋒網(wǎng)注：左圖中，用戶的面部在她盯著屏幕上標(biāo)記的時候被攝像頭記錄下來。右圖中我們展示了重建的3D面部模型的動態(tài)特性：通過移動或點(diǎn)擊鼠標(biāo)，我們能模擬注視點(diǎn)移動和眨眼效果。

校準(zhǔn)和對齊

制作一段混合現(xiàn)實(shí)視頻需要特制的設(shè)備——一臺校準(zhǔn)過，和頭顯時間同步的外置攝像機(jī)。攝像機(jī)拍攝一段VR用戶在綠幕前的視頻，然后剪下用戶的影像合成到虛擬世界中，最終生成混合現(xiàn)實(shí)的視頻。其中非常重要的一步就是要準(zhǔn)確的估計攝像機(jī)和頭顯坐標(biāo)系統(tǒng)的校準(zhǔn)值。這些校準(zhǔn)技術(shù)通常需要大量的手動調(diào)節(jié)，并需要很多步驟才能完成。我們在頭顯前加了一個標(biāo)記，使用3D圖像追蹤簡化了上述的過程，使我們通過VR設(shè)備就可以自動地優(yōu)化校準(zhǔn)值。

至于頭顯的移除，我們需要把3D的面部模型和攝像機(jī)影像中可見的部分面部對齊，并完美的縫合在一起。一種可行的縫合方法是將面部模型直接放在頭顯后邊。前邊提到的使用到VR頭顯定位的校準(zhǔn)技術(shù)，能夠提供足夠的信息來決定如何放置模型，讓我們能夠把虛擬的臉渲染在影像里。

合成與渲染

對齊之后，最后一步就是通過恰當(dāng)?shù)?D面部模型渲染，使它和原視頻完美融合。使用一臺經(jīng)過SMI改裝，能夠?qū)崿F(xiàn)眼球追蹤技術(shù)的HTC Vive頭顯，結(jié)合我們的動態(tài)注視點(diǎn)數(shù)據(jù)庫，我們能夠重現(xiàn)用戶的注視點(diǎn)。這些眼球追蹤器得到的圖片并不足以直接重建被遮擋的面部區(qū)域，但是足夠提供很精細(xì)的的注視點(diǎn)信息。我們可以使用追蹤器得到的注視點(diǎn)實(shí)時數(shù)據(jù)，精確生成出用戶的表情和眼睛的眨動。在運(yùn)行時，在預(yù)處理階段得到的注視點(diǎn)數(shù)據(jù)庫會告訴我們最符合所查詢注視點(diǎn)的面部照片，同樣也會留意臉部美化的問題，比如顳骨是不是平滑。

此外，考慮到注視點(diǎn)數(shù)據(jù)收集和實(shí)際運(yùn)行時的光線的變化，我們還進(jìn)行了色彩矯正，并添加了羽化效果，這樣一來合成加入的部分就和其余的面部更相稱了。

正如“恐怖谷（uncanny valley）理論” 提到的，人類對臉部的人工處理是有高度敏感性的，即使是合成中微小的不足也會引起你的留意，讓你覺得不自然。為了減少這方面的影響，我們并沒有完全移除頭顯，而是選擇了一種“潛水面具效果”的方式，把色彩校正過的面部圖像和半透明的頭顯合成在一起。提醒觀看者頭顯的存在能幫我們避免“恐怖谷”效應(yīng)，也能讓對齊和調(diào)色算法的小錯誤不那么顯眼。

有了可以看到用戶面部表情和真實(shí)注視點(diǎn)的半透明頭顯，這段視頻就可以和虛擬世界融合起來，制作出最終的混合現(xiàn)實(shí)視頻了。

結(jié)果與展望

我們運(yùn)用了我們的頭顯消除技術(shù)來優(yōu)化混合現(xiàn)實(shí)，使得媒介不光能展示VR使用者如何和虛擬環(huán)境互動，同時還能生動形象的展示他們的面部表情。下邊是一個我們技術(shù)應(yīng)用的例子，一位藝術(shù)家在虛擬環(huán)境中使用谷歌畫刷（Google Tilt Brush ）：

雷鋒網(wǎng)注：在混合現(xiàn)實(shí)的展示下，一位藝術(shù)家正在用谷歌畫筆進(jìn)行3D藝術(shù)創(chuàng)作。上邊的圖是傳統(tǒng)的混合現(xiàn)實(shí)，頭顯遮擋了面部。下邊是我們的結(jié)果，整個的面部和眼睛都自然生動的展現(xiàn)了出來。

我們展示了這項(xiàng)技術(shù)的潛力，它的應(yīng)用卻不僅僅只在混合現(xiàn)實(shí)中。頭顯移除技術(shù)還將優(yōu)化虛擬現(xiàn)實(shí)有關(guān)的通訊和社交的各種應(yīng)用，例如VR會議，多人VR游戲，以及和朋友家人的旅游探險。從被頭顯遮擋什么也看不到，到生動真實(shí)的面部圖像，能看到VR世界中同伴們的臉注定是VR領(lǐng)域一個重大的變革，而我們也很高興能親歷這樣的變革。

via Google

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。