Frank Vitz

一直以來，VR 對畫面質(zhì)量有著較高的要求，而能決定畫面質(zhì)量的除了開發(fā)者使用的開發(fā)工具，更需要依靠高性能的顯卡。在近日的 Unreal Open Day 開發(fā)者活動上，雷鋒網(wǎng)見到了 AMD 的沉浸式技術(shù)總監(jiān) Frank Vitz，他談到了如何發(fā)揮顯卡的潛能，在開發(fā)過程中幫助開發(fā)者打造更好的內(nèi)容。雷鋒網(wǎng)認(rèn)為這對開發(fā)者來說也方便了不少。

以下雷鋒網(wǎng)對其演講內(nèi)容做了整理：

沉浸式技術(shù)讓實(shí)際世界與數(shù)字世界或者模擬世界之間的界限變得模糊了，現(xiàn)在人們已經(jīng)沉浸在了新的環(huán)境當(dāng)中，這包括虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)、遠(yuǎn)程監(jiān)控、HDR以及觸覺界面等等，這些都是能夠?yàn)槲覀兘裉焖捎玫募夹g(shù)。你們知道虛擬現(xiàn)實(shí)產(chǎn)業(yè)已經(jīng)成為了所有這些領(lǐng)域的催化劑，而且它還會變得越來越大，沒有人知道它會變得多大，但是我們有一個非常有意思的預(yù)測，會有巨量的發(fā)展。

我們不能只告訴人們，這樣的巨浪就要來了，我們要告訴他們巨浪來了以后，怎樣學(xué)會沖浪，應(yīng)該怎么樣應(yīng)付自如。我們想做的就是讓他處在巨浪中間，告訴他們自己應(yīng)該如何駕馭巨浪。首先我們要把人們放在巨浪當(dāng)中，這就是我做的類比，我喜歡沖浪，而且我也喜歡在這個行業(yè)當(dāng)中所產(chǎn)生的巨大的影響。

在AMD，我是一個相對比較新的人，但是我在這方面是非常積極的，做多媒體已經(jīng)做了很多年了。我們現(xiàn)在做的 ITG，這是一個工作流程，對這些方面人們的關(guān)注是越來越多。我們大概有三十名工程師組成的團(tuán)隊(duì)，我們的工作是解決一些問題。

我們的使命是非常簡單的，用一句話來說，我們要知道可以這么做，然后知道如何解決這背后的復(fù)雜問題，知道如何快速的以節(jié)省成本的方式，來做 ITG 的規(guī)劃，每年它的生成速度最快，每年我們?yōu)殚_發(fā)人員更好接觸這樣的能力。

我們要解決這些挑戰(zhàn)，現(xiàn)在處在一個非常戰(zhàn)略性的位置，我們要開發(fā)新的工具，要讓他們有新的特征。我們有一個開源倉庫叫做GPU，現(xiàn)在GPUopen.com，因?yàn)橛行┤艘呀?jīng)知道了這是一個開放倉庫，我們還需要一些產(chǎn)品系列來生產(chǎn)出來，如同我們造船一樣，這里面既應(yīng)硬件也有軟件。

我是做視覺效果，這是數(shù)字效果的早期階段，里邊還涉及到如何從事工作，我們還有一些非常強(qiáng)有益的工具，最后我們有計(jì)算機(jī)方面的加速。我想做的就是把我們在電影當(dāng)中學(xué)到的東西，放在游戲行業(yè)當(dāng)中，這是我很長時間以來一直說的，從電影到游戲。

現(xiàn)在像虛幻引擎，為我們提供了一個框架，在這個框架內(nèi)，你可以解決電影互動的問題，我們通過VR可以實(shí)現(xiàn)，所以在我的腦子里，實(shí)時引擎現(xiàn)在是關(guān)鍵。因?yàn)樗麄兲峁┝艘粋€框架和一個工具，讓人們能夠有沉浸式的體驗(yàn)，我認(rèn)為這是它最有潛力的方法。我認(rèn)為在座的人中，大多數(shù)能夠把給你們這些工具，把我們的硬件融入到你們的游戲當(dāng)中，我們怎么做到的呢？我們是設(shè)計(jì)并且創(chuàng)造新的特征，我們還使用GPU，把它放在ADK、SDK、API來實(shí)現(xiàn)，我們還有一個GPUopen源，這是非?？岬臇|西。

不只是想讓你使用AMD的產(chǎn)品，我們是讓你能夠有很多的解決方案，而無論你說的問題是什么，我們的戰(zhàn)略就是有這樣軟件的特征，他們能夠在所有的GPU上運(yùn)行，所以如果你走了GPUopen.com，可以看到有一個庫，里面有更多AMD的事例，使用的數(shù)據(jù)等等。

我們有一個叫做 LiquidVR，里面設(shè)置了不同功能特征。從兩年前到現(xiàn)在，我們都一直使用一個GPU，這是不成問題的，而多顯卡可以降低延遲，提高渲染的效率，我們可以左眼和右眼同時進(jìn)行渲染，這樣兩個眼同時進(jìn)行的，并且可以傳遞到屏幕之上，這樣是比我們甚至是高端的顯卡，刺激性的渲染還要快。就是說我們先左眼加上右眼，才能到屏幕上，所以我們多顯卡情況下，即使是兩個低端的顯卡也是比高端的顯卡快的，而我們低延遲就是關(guān)鍵。

另外一個功能是向前的渲染，這個不是一般的AMD的硬件。向前的渲染，也很多人說，是一個新的好東西，但實(shí)際上不是一個新的東西，我們只是說，做了一種不一樣的渲染，因?yàn)榭紤]到照明和不同的印。有的時候回頭看一步就開拓天空了。其實(shí)向前的渲染對于VR來說非常適用的，因?yàn)樗⒉皇窍裎覀冎颁秩疽粯樱羞@么多的細(xì)節(jié)，這樣的話，其他的功能更好適用VR了。它也是有非常棒的團(tuán)隊(duì)，做得非常不錯。而我們做的，只是說優(yōu)化了一下，讓它在AMD的性能更好。我們也可以向大家保證，這樣的技術(shù)在AMD上運(yùn)行得非常好。

我們注意到音頻也是VR不可或缺的一部分，簡單的立體聲不行的，必須要讓聲音來自于正確的角度，讓它聽起來好像是我們在走到房間的不同角度，聲音反射也不一樣。如果我們做這樣的建模，要了解每個關(guān)卡的聲學(xué)設(shè)置特別難，我們可以用同樣幾何的形狀，用于渲染視覺的形狀，渲染我們的音頻，這個就是我們的產(chǎn)品。

這是一個插件，這個插件可以良好的渲染世界之中的材質(zhì)，還有不同的幾何形狀，能夠非常好的實(shí)現(xiàn)現(xiàn)實(shí)世界的聲學(xué)特征。我們知道一個聲音從聲源過來的時候，從耳朵中聽到的，不光是一個聲音，還聽到了衍射、慢反射、反射，我們所用的這個技術(shù)叫做“卷積”，我們也知道這個顯卡，可以處理32個不同的路徑，同時進(jìn)行處理，所以只要你有一個比較好的耳機(jī)，聽起來會非常棒。

而且我們大腦可以區(qū)分哪些是真的，哪些是假的，所以我們才可以做到這一點(diǎn)。我也是一個音頻的鐵粉，我們的True Audio  Next就是支持音頻的插件，而且我們做了一個非常簡單的VR建模，作為一個樣品。當(dāng)然不是一個非常復(fù)雜的代碼，但是我們把它作為一個插件，這樣的話不管用什么音頻的系統(tǒng)都會覺得很有用的。

下面一個叫做高級的媒體框架，或者叫AMF，它也是作為AMD執(zhí)行的，它所做的事情能夠提供顯卡加速的解碼和編碼。我們可以在AMD的硬件之上，用專用的硬件進(jìn)行，而且不會影響到其他的系統(tǒng)。比如說打開兩個視窗，一個放4K的視頻，與此同時，我們實(shí)時運(yùn)行這樣的游戲不會受到影響，這一點(diǎn)也是VR當(dāng)中越來越重要的。

比如我們有360視頻，可能是預(yù)渲染的，加上實(shí)時渲染的前面的一些實(shí)時渲染，這樣就能夠有跨操作性了，就是在不同API，不同的顯卡上都可以有，DX9，DX11、DX12都可以。因?yàn)槲覀兛梢越獯a，來做推特的連播放，同時我們又玩游戲也不影響我們的幀率，這是有意思的一點(diǎn)，而且我們可以提供一些其他的組件，比如多媒體的應(yīng)用，比如說是色塊的轉(zhuǎn)化，或者是拓展，還有包括計(jì)算等等。

這個是我們的方塊圖，我們看是怎么起作用的，可以編碼、解碼，而且可以提供我們顯卡的功能，這個對于我們的程序員來說非常的好，因?yàn)槿绻軌蛟谟谟螒蛑袌?zhí)行這個，實(shí)現(xiàn)這個，或者我們?nèi)ナ褂盟脑?，它能夠代替我們的默認(rèn)虛幻引擎的編碼，我們會運(yùn)行更快。

TressFX也是非常好的功能，是實(shí)時毛皮的模擬，我們有這樣的設(shè)置，很快做一些毛皮的動態(tài)出來，我們能夠提供這樣的插件，可以用maya，然后在我們的素材上生成這個毛發(fā)，然后再對模擬進(jìn)行渲染。我們提供所有的源代碼，還有一點(diǎn)比較有趣，我們的計(jì)算對于毛皮的計(jì)算是本地化的計(jì)算，非常的復(fù)雜，有物理引擎，包括毛皮怎么動什么的，它不需要非常精確的32位精度就可以做到了，所以我們覺得可以用tress FX，F(xiàn)P16的架構(gòu)就可以進(jìn)行計(jì)算了。就在下一個顯卡的產(chǎn)品就可以內(nèi)設(shè)這一點(diǎn)，我們基本上可以把整個處理量乘以二，現(xiàn)在還在開發(fā)當(dāng)中，但是進(jìn)展也是非常迅速，正想辦法集到新的引擎里。還有多視窗的渲染，也是在我們VR下面的，可以左眼、右眼渲染上進(jìn)行優(yōu)化，減少重復(fù)，這也是復(fù)雜的說法，其實(shí)簡單點(diǎn)說，我們只是有一個顯卡，也可以去優(yōu)化我們左眼、右眼數(shù)據(jù)的調(diào)用或者載入，可以同時去做，不管一個顯卡，還是說多顯卡的效率提升都是可以做到的。

我們這種高保真的渲染挑戰(zhàn)，在VR是在哪里呢？實(shí)際上，它不是唯一的一個我們想要高保真的地方，在我們的企業(yè)級的應(yīng)用上，有時候，即使是最好的向前渲染，或者說是掃描的算法都沒有辦法得到相片級的表現(xiàn)，比如用游戲引擎渲染我們的過場動畫什么的，我們也希望有非常好的渲染得到高的圖象質(zhì)量。那現(xiàn)在確實(shí)是有一些選項(xiàng)了，可擴(kuò)展的光線追蹤可以加速我們的顯卡，而且它使用的是行業(yè)標(biāo)準(zhǔn)，這樣的話能夠更好的運(yùn)用我們多顯卡，而且運(yùn)用我們的CPU，更好分配我們的渲染任務(wù)，放在所有機(jī)器人的處理器上，它是免費(fèi)的。

關(guān)鍵是我們游戲引擎的光線追蹤，我們游戲中很多的花的資源，有時候很復(fù)雜，有時候還是重復(fù)的，有時候像意大利面一樣，非常的混亂，這樣的一些代碼，但是我們可以把它真正的轉(zhuǎn)為所謂的像基于現(xiàn)實(shí)的這種光線追蹤和這樣的陰影生成，關(guān)鍵是我們要生成標(biāo)準(zhǔn)的素材庫，我們可以用標(biāo)準(zhǔn)的游戲陰影器，還有光線追蹤器，這樣我們就有非常一致性的表現(xiàn)。

我們最近剛剛把我們ProRender集成到產(chǎn)品之中，這樣能夠真正抖出我們的模型，導(dǎo)入到虛幻之中，而且是無縫導(dǎo)入，這個對于一些人很重要，有的時候需要從建筑師這里，或者是從汽車行業(yè)這樣的模型之中把它導(dǎo)入出來，導(dǎo)入到我們的其他應(yīng)用之中，這個就是我們?nèi)蛇@樣的光線追蹤的設(shè)置了，這就是我們虛幻的未來。

當(dāng)然像我之前所說的，我給大家看到的所有這些，在AMD的硬件上運(yùn)行非常良好，我們也一直在優(yōu)化，而且他們也能在其他的顯卡中運(yùn)行，而且我們的硬件上還有一些功能是其他的硬件不能做的，其中有一個就是我們SSG功能，這也算是一個圖形卡，就在我們卡上，有M.2這樣的設(shè)置，也就是說可以直接在這邊收集1TB的數(shù)據(jù)。這是一個非?？斓挠布?，他們可以播放這種8K無壓縮的視頻，也就是說，一秒有180多幀，關(guān)鍵我們除以四的話，有四的4K流。在VR游戲的直播之中，背景放一些別的，這就是非常強(qiáng)大的功能，這是AMD的硬件特點(diǎn)，它可以更好的促進(jìn)我們的游戲開發(fā)或者說我們的游戲其他應(yīng)用。像我之前所說的，在大的數(shù)據(jù)集上，它處理得非常好，而且加上我們的AMD解碼、編碼確實(shí)是一個非常棒，非常好的工具。

我們認(rèn)為未來在于matiGPU，像CPU里面，這是能量非常大的。在matiGPU你的引擎里面，你要有比較小的顯卡，有比較大的能量，而且花的錢也比較少，這比你買一個大卡要劃算得多。還有VEGA已經(jīng)來了，我們有一系列特征可以給原始的性能進(jìn)行優(yōu)化，我們管它叫快速的，包裝好的東西，這是我們前面所提的，它指的是我們能夠得到指令，2×16的指令，而且有32個鍵。

但是不管怎么說，VEGA和Ryzen結(jié)合起來才是一個真正的能量屋，去年的時候，我們看到VEGA、Ryzen體系是4K上運(yùn)行，這里面規(guī)定了一個基準(zhǔn)的流量，我們把所有的VR特征放在一起，我們放在VR上，我們今天和你們分享的這些東西，我們都是也和Ryzen和VEGA放在一起，我們認(rèn)為這對于開發(fā)VR內(nèi)容來說，是一個非常強(qiáng)有力的工具。

所以總結(jié)一下，今天我們所講的內(nèi)容，在AMD上建立了高品質(zhì)的硬件，可以有非常好的計(jì)算能力和圖形能力我們已經(jīng)開發(fā)了軟件，讓你們能夠進(jìn)入使用這個強(qiáng)有力的工具并發(fā)揮作用，我們提供了一個開放式的，免費(fèi)的進(jìn)入模式。我的目標(biāo)是為我們的虛幻開發(fā)人員提供，他們來你所從事的工具需要的各種各樣的工具，這是我們現(xiàn)在工作，正在做的事情，而希望你們的工作也和虛幻能有一些聯(lián)系，非常感謝。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。