SIGGRAPH Asia 大會已經(jīng)進(jìn)行到第二天，包括 VR、計(jì)算機(jī)視覺處理等多個(gè)領(lǐng)域的展覽也于今天正式開幕。如果說昨天還只是前菜的話，那么今天主菜就要新鮮出爐了。

來自谷歌 DayDream 團(tuán)隊(duì)的 Paul Debevec 1996 年在 UC 伯克利大學(xué)取得博士學(xué)位，在動畫制作及計(jì)算機(jī)圖像領(lǐng)域有著豐富經(jīng)驗(yàn)，可以稱得上是電影節(jié)的技術(shù)泰斗，他在今年六月加盟谷歌 DayDream 團(tuán)隊(duì)。

今天早上，Debevec 做了名為《如何把高擬真的虛擬人物應(yīng)用于電影、游戲及 VR》的主題演講。

從當(dāng)年玩著 64 KB 的電腦到高中攝影社助理，Debevec 對計(jì)算機(jī)圖像產(chǎn)生了很濃的興趣。

1996 年在 UC 伯克利大學(xué)取得計(jì)算機(jī)科學(xué)博士學(xué)位后，他著手采用高分辨率計(jì)算機(jī)生成虛擬圖像，并于 1997 年首次在他自己導(dǎo)演的電影短片《The Campanile Movie》中展示，而《黑客帝國》中馳名的「子彈時(shí)間」（bullet time）也是基于這種技術(shù)改進(jìn)而成。

我們在影院中也已經(jīng)能看到不少基于 CG 技術(shù)的科幻動作形象：《侏羅紀(jì)公園》的恐龍、《阿凡達(dá)》的 XX、《火星救援》里穿著宇航服的馬特達(dá)蒙，甚至是《速度與激情 7》里「死而復(fù)生」的保羅，都是計(jì)算機(jī)的杰作……隨著技術(shù)的進(jìn)步，人物的數(shù)字化已經(jīng)成為了電影制作的一種必然趨勢。但是，由于光照會在人臉上形成陰影，如果簡單粗暴地將實(shí)地拍攝好的人臉「照搬」到電影場景中，逼真程度就會大打折扣。

Debevec 在會上介紹了他在 2000 年設(shè)計(jì)研發(fā)的一種方法——基于圖像的光照技術(shù)（Image－Based Lighting），簡單說來，就是采用真實(shí)光源來測量 CG 對象的一種方式。一開始 Debevec 的方法是用單個(gè)攝像機(jī)反復(fù)多次環(huán)繞拍攝人臉，再利用拍攝所獲得的數(shù)據(jù)，利用構(gòu)建好的反射函數(shù)生成三維圖像。這個(gè)圖像在算法作用下，可以應(yīng)用于任何的場景，人臉也能夠反映出目標(biāo)場景下的陰影變化情況。不過后來增加到多個(gè)攝像頭環(huán)繞同時(shí)拍攝，這樣效果更能接近真實(shí)情況。

為了營造更好的燈光效果及建模精度，Debevec 首先對多光譜照明進(jìn)行了改進(jìn)（Multispectral Lighting Reproduction）。一開始他采用的是一款含有 18 個(gè) LED 燈（8 紅、5 綠、5 藍(lán)）的 MR 燈，但后來改用了只含有六個(gè) LED 燈，但含有更多原始顏色的光源，為的是更好地在自然環(huán)境下覆蓋幾乎所有可能想象的顏色。經(jīng)過幾次改良后，最終變成了現(xiàn)在下圖的樣子。

除了從設(shè)備上下功夫外，軟件的要求也同樣不能落下。實(shí)際上，動態(tài)化的人物面部表情捕捉比起靜態(tài)的人物而言更加困難。其中最為典型的一個(gè)例子便是 2008 年的「數(shù)字化的 Emily」（Digital Emily），Debevec 采用上述所說的技術(shù)，讓演員 Emily O'Brien 在一個(gè)布滿 165 個(gè) LED 燈和攝像機(jī)的大圓球內(nèi)拍攝了一組動態(tài)的面部表情照片。

第一行表示的是四個(gè)球面光照在不同級別亮度下，Emily 所拍攝的照片；

第二行表示的是加上高光之后的臉部變化。

每個(gè)照明方向都會拍攝下數(shù)以百計(jì)的表情圖片，研究者們根據(jù)這些數(shù)據(jù)模擬出了一個(gè)數(shù)字化的 Emily?？纯闯晒?，是不是非常逼真呢？

根據(jù)同樣的原理，《阿凡達(dá)》中的女主、迪士尼《奇幻森林》里的人熊共舞，也是用這樣的技術(shù)實(shí)現(xiàn)的。

在《烏龍?zhí)毓ぁ罚–entral Intelligence）中，只需要拍攝下道恩強(qiáng)森所有的面部表情，就能把他俊朗的臉安在高中時(shí)代胖胖憨厚，一身肥肉的 Bob Stone 身上了。

Debevec 還提到，奧巴馬也同樣在美國白宮用這類技術(shù)拍攝了自己的多角度，并憑此制造出了他的半身像。

此外，這項(xiàng)技術(shù)還能把虛擬人物帶到教室中去，讓學(xué)生向二戰(zhàn)幸存者進(jìn)行提問和互動。

諸如此類的應(yīng)用不計(jì)其數(shù)，那么它的真正意義又在哪里呢？在演講的最后，Debevec 解開了我們心中的謎題：

• 對于演員來說，技術(shù)實(shí)際上并不會讓演技變得無關(guān)緊要，相反它會是一種錦上添花的事物，能讓演員挑戰(zhàn)更多的角色，此外，游戲和虛擬現(xiàn)實(shí)行業(yè)通過這種技術(shù)，能夠推動自動化技術(shù)的誕生。

• 而對于像好萊塢這樣的內(nèi)容制作方而言，原本需要大量人力勞力去完成的實(shí)景拍攝，現(xiàn)在可以直接坐在電腦前完成。

• 對于圖形學(xué)研究者來說，目前利用多攝像頭拍攝來制造虛擬化人物的方式還很昂貴，并且依然對技術(shù)的要求有著不少要求，Debevec 希望相關(guān)的研究人員能夠降低成本，讓這項(xiàng)技術(shù)成為普適性更強(qiáng)的東西。

• 而最后一點(diǎn)則是技術(shù)對于真相的意義。此前為了測試學(xué)生的數(shù)字化技術(shù)水平，老師會讓學(xué)生們將處理過的照片放上網(wǎng)絡(luò)，看看是否能蒙騙過網(wǎng)民的眼睛。這當(dāng)然只是一種戲謔的玩法，但人們?nèi)绾文茉谡婕匐y辨的信息中去偽存真，技術(shù)又應(yīng)該承擔(dān)怎樣的角色呢？

「我們在座的每個(gè)人都應(yīng)該時(shí)刻提醒自己，自己正在創(chuàng)造的工具是有多么強(qiáng)大。技術(shù)能夠用來教化、用來啟迪、用來娛樂，但它也同樣可以被用來欺騙、用來壓制、用來篡改真相。我們所能做的，是把親手設(shè)計(jì)的產(chǎn)品首度應(yīng)用在符合自己價(jià)值觀的地方，并且不遺余力地幫助公眾理解和接受。」

雷鋒網(wǎng)小編在會后與 Debevec 進(jìn)行了簡短的交流。

雷鋒網(wǎng)：您在今年 6 月加入了谷歌團(tuán)隊(duì)，繼 DayDream 之后，現(xiàn)在主要負(fù)責(zé)的是哪方面的內(nèi)容，是否會和您的老本行有聯(lián)系？

Debevec： 我還是很期待能做些和制作電影有關(guān)系的工作的，不過現(xiàn)在主要還是集中于開發(fā)新產(chǎn)品，比如和相機(jī)有關(guān)的一些內(nèi)容。

雷鋒網(wǎng)：您在演講中主要介紹的是基于圖像的光照技術(shù)，而 SIGGRAPH 的本次會議覆蓋了很多虛擬現(xiàn)實(shí)的技術(shù)，那么您認(rèn)為這兩者可以實(shí)現(xiàn)怎樣的結(jié)合？

Debevec ：我認(rèn)為基于圖像的光照技術(shù)更多地會應(yīng)用于 AR 領(lǐng)域。如果你想以一種更清晰的方式看到面前的某個(gè)事物，這類技術(shù)會是 AR 所需要的。又或者，你可以采用光照技術(shù)進(jìn)行遠(yuǎn)程溝通，就像我在演講中提到的二戰(zhàn)訪談一樣。目前有不少廠商正在研究全息影像這樣的技術(shù)，它們必然需要一個(gè)好的光照技術(shù)以強(qiáng)化真實(shí)感。

雷鋒網(wǎng)：您可以算得上是計(jì)算機(jī)圖像在電影領(lǐng)域應(yīng)用的泰斗，那么您認(rèn)為 VR 視頻的市場是怎樣的？

Debevec：目前有不少廠商做出了這樣的嘗試，希望從硬件上為 VR 視頻提供內(nèi)容，如 Facebook 的 Surround 360 全景相機(jī)。 但是，除非你有 VR 頭盔，否則很難將它拍攝下來的內(nèi)容呈現(xiàn)給觀眾。不過，也有像 Google Cardboard 這樣的簡單硬件，想讓用戶用更少的價(jià)錢，比如 10 美元，就能更近地接觸 VR 相關(guān)的內(nèi)容。而就像我所在的 Google DayDream 頭顯團(tuán)隊(duì)，也正在努力讓用戶以一種可接受的方式購買 VR 產(chǎn)品。雖然目前的步伐邁得很小，但我覺得這是一個(gè)好的開始，畢竟 3D 效果比一張平面圖片而言，已經(jīng)算得上是一個(gè)質(zhì)的飛躍了。

相關(guān)文章：

朋克學(xué)術(shù)大牛上演“換頭術(shù)”，原來深度學(xué)習(xí)還能這樣玩?。ǜ秸撐南螺d）｜SIGGRAPH ASIA 2016

能跟人類對話還不夠，機(jī)器人還得會用表情、手勢表達(dá)情緒｜SIGGRAPH ASIA 2016

重磅！獨(dú)家解密騰訊AR開放平臺“QAR”！｜ SIGGRAPH Asia 2016

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。