0
雷鋒網(wǎng)按：本文作者為 NVIADIA AR & VR 研究小組的科學家 Morgan McGuire，在本文中，他詳細介紹了電影、游戲的圖像渲染，與現(xiàn)在 VR 圖像渲染的不同之處，以及 VR 在圖像渲染方面臨的挑戰(zhàn)。同時，他還講述了英偉達如何通過 GPU 和相關軟件，來解決這些問題的。這是文章的第二部分，雷鋒網(wǎng)編譯如下。
作者介紹：Morgan McGuire 博士是 NVIADIA AR & VR 研究小組的科學家。他在 Activision 和 THQ的系列游戲 Skylanders、Call of Duty、Marvel Ultimate Alliance 和 Titan Quest 制作中都有所貢獻。Morgan 還是 Graphics Codex 和 Computer Graphics：Principles & Practice 的共同作者。同時，他也在滑鐵盧大學和威廉姆斯學院擔任教職。
我們從人類感知的極限中推導出未 VR 的規(guī)范。衡量這些的方法有很多種，但若要做出完美的顯示，你需要大約相當于 200 個更新速度在 240Hz 的 HDTV。這約等于每秒 100,000 萬像素的圖像吞吐量。
回憶一下，現(xiàn)今 VR 的圖像吞吐量大約在 450 萬像素每秒。這意味著未來的 VR 需要將性能提升 200 倍。但是由于高動態(tài)范圍、可變焦點和現(xiàn)有電影標準對視覺質量和光線的要求，更加現(xiàn)實的性能需求是達到 10,000 倍的提升。并且我們只要 1ms 的延遲。
理論上，我們可以通過提高算力來實現(xiàn)這個目標，但是這樣的蠻力并不高效也不經(jīng)濟，蠻力不會讓 VR 的使用廣泛化。那么，我們可以用什么技術來實現(xiàn)這一目標呢？
焦點渲染（ Foveated Rendering）
我們提升性能的第一個方法是焦點渲染——降低用戶的周邊視覺中的圖像質量，提升中心視角中的圖像質量，它利用了人類視覺感知的自然特性，在未感知的部分舍棄質量，從而提升整體的 VR 性能。
因為眼睛本身只有在你視野聚焦的地方才有很高的分辨率，所以在視野中央?yún)^(qū)域以外，VR 系統(tǒng)可以不被察覺地舍棄周邊像素的分辨率，從而提高整體性能。不過，它不能在低分辨率上渲染。上面的圖像是縮小比例展示的寬視野 2D 圖像。如果你在 VR 中注視時鐘，那么左邊的公告牌就在你的中心視野外圍。如果只放棄頂部圖像中的分辨率，就會立刻產(chǎn)生塊狀圖形和視覺對比度的變化。你的眼睛會察覺到這些變化，你會覺得眼角部分的圖像發(fā)生了改動或者感到模糊。我們的目標是計算生成低分辨率圖像所需的精確優(yōu)化量，并使外圍低分辨率的模糊圖像能夠與人類視覺精準匹配，讓用戶的 VR 視野如同真實視野一樣完美。
光場（Light Fields）
為了加速 VR 渲染逼真的 VR 圖像，我們正在考慮三角形網(wǎng)格外的渲染圖元。在與麥吉爾大學（McGill University）和斯坦福大學的合作中，我們使用光場來加速照明計算。不同于現(xiàn)有的僅展示物體表面光照情況的 2D 光線地圖，光場面對的是一個 4D 的數(shù)據(jù)結構，可以存儲空間中所有光線可能的方向和角度。
光場可以產(chǎn)出場景中所有表面的反射和陰影，甚至是動態(tài)角色。這也為統(tǒng)一光線跟蹤質量和環(huán)境探測器及光照地圖的性能打好下一步基礎。
實時光線跟蹤（Real-time Ray Tracing）
那么真正運行時的光線跟蹤是怎么的呢？NVIDIA Volta GPU 是目前世界上最快的光線追蹤處理器，而 NVIDIA Pascal GPU 系列是消費級中最快的。Pascal 的速度約為 10 億次/秒，這個速度完全可以取代現(xiàn)有VR 的主光柵器或陰影地圖。那么如果用這個技術來解鎖管線的話，光線追蹤可以為未來的 VR 帶來什么呢？
答案是：光線追蹤可以幫助 VR 做很多事情。在進行光線追蹤時，你根本無需使用陰影地圖，從而直接消除一個延遲障礙。光線追蹤本身就可以分別渲染紅色，綠色和藍色，并直接渲染鏡頭中的桶形失真圖像。所以，它無需再對鏡頭畸變進行處理，也因此減少了相應的延遲。
事實上，當進行光線追蹤時，渲染像素離散幀的延遲可以被完全消除，因此，這里實際上已經(jīng)沒有了典型意義上的“幀速率”的概念。我們可以將 GPU 生成的每個像素直接發(fā)送到顯示器中，這種方法被稱為“波束競速（beam Racing）”，同時這也消除了顯示同步性。這樣一來，圖形系統(tǒng)中的高延遲障礙將降為零。
由于沒有像在光柵化中的平面投影，光線追蹤技術也解決了 VR 的視場問題。柵格化取決于 3D 到 2D 圖像中保留的直線（例如三角形的邊緣）。但 VR 則需要一個更寬的視場，它需要一個魚眼投影，將 3D 圖像彎曲到 2D 顯示屏中。光柵器會將 3D 圖像分解成多個平面來進行仿真。而如果使用光線追蹤技術，你可以直接將一個完整的 360 度視野的圖像直接渲染到球形屏幕上。光線追蹤本身也支持混合的圖元：三角形，光場，點，三維像素，甚至是文本，從而在內(nèi)容優(yōu)化方面提供更大的靈活性。現(xiàn)在，我們正在研究如何讓所有的這些渲染速度比傳統(tǒng) VR 更快。
光線追蹤除了可以減少 VR 渲染的延遲和增加吞吐量之外，它的另一個特征就是可以提升圖像質量?；仡櫛疚拈_始所提到的，電影渲染的圖像質量取決于“路徑追蹤”的圖像算法，它其實是光線追蹤的一種擴展。如果我們把它轉換為基于光線投射的渲染器，VR 圖像的質量將會上升到一個新的水平。
實時路徑追蹤（Real-time Path Tracing）
雖然我們現(xiàn)在已經(jīng)可以進行實時光線追蹤，但路徑的實時追蹤仍然是一個很大的挑戰(zhàn)。因為路徑追蹤的計算密度大約是光線追蹤的 10,000 倍。這就是為什么電影的每一幀都需要花費幾分鐘而不是幾毫秒來生成。
在路徑追蹤下，系統(tǒng)首先追蹤來自攝像頭的光線，以尋找可見的物體表面。然后再向太陽方向投射另一道光線，檢查該表面是否在陰影中。但是，場景中的光線不僅僅是直接來自太陽的。有些光線是間接的，比如從地面或其他表面反射的光。因此，路徑追蹤器后續(xù)會遞歸式地隨機投射，對間接照明進行采樣。同時，在這個點上，還需要一個陰影光線投射，以及它自身的隨機間接光線投射……這個過程將一直持續(xù)到追蹤器在每條單一路徑上都追蹤到約 10 條光線。
但是，如果一個像素只有一條或兩條路徑，由于隨機采樣過程，圖像的噪點會很多。它看起來就像這樣：
電影圖像解決這個問題的方法是追蹤每個像素上的數(shù)千個路徑。每條路徑上十條光線，一共有成千上萬條路徑，這就是為什么路徑追蹤比單獨的光線追蹤的成本高 10,000 倍的原因。
為了提升 VR 路徑追蹤圖像的質量，我們需要一種方法，對每個像素只采樣幾條路徑，同時避免隨機采樣的噪聲。多虧了創(chuàng)新的焦點渲染技術，我們認為這個目標很快就能實現(xiàn)。焦點渲染只需要對圖像中心的路徑進行詳細分析，并且無需追蹤更多的光線，便可以進行圖像去噪，即將粒狀圖像直接轉換為清晰的圖像。
今年我們與麥吉爾大學，蒙特利爾大學，達特茅斯學院，威廉姆斯學院，斯坦福大學和卡爾斯魯厄理工學院合作發(fā)表了三篇研究論文，都是在解決去噪問題。這些方法可以將一個布滿噪點的實時路徑跟蹤圖像轉化為清晰的圖像，如下圖所示：
只用幾毫秒的計算，也沒有額外的光線，其中的兩種方法都使用了 GPU 的圖像處理能力來實現(xiàn)。一個使用了 NVIDIA GPU 一種新的人工智能處理能力。我們對神經(jīng)網(wǎng)絡進行了數(shù)天的去噪訓練，現(xiàn)在它可以自動在數(shù)十毫秒內(nèi)進行圖像去噪處理。我們正在增加這種技術的復雜性，并且不斷訓練網(wǎng)絡來降低成本。這個方法令人興奮，因為它是我們近期發(fā)現(xiàn)的幾種新方法之一——以一種意想不到的方式，利用人工智能來提高計算機圖形質量，并創(chuàng)作出新的 3D 動畫內(nèi)容，為VR世界的普及做出貢獻。
現(xiàn)在的 VR 頭顯中的顯示器是相對簡單的輸出設備。顯示器本身幾乎不做任何處理工作，只是顯示輸出的數(shù)據(jù)。盡管這樣的顯示器對電視、監(jiān)控和智能手機來說已經(jīng)夠用了，但在改善 VR 體驗方面，顯示器本身仍然有巨大的提升潛力：顯示器可以更加智能，不僅顯示內(nèi)容，同時顯示用戶的狀態(tài)，我們正在探索幾種頭顯顯示器的計算處理方法，試圖將VR的極限再向前推進一些。
解決視覺輻輳調節(jié)沖突問題（Vergence-Accommodation Disconnect）
VR 顯示面臨的第一個挑戰(zhàn)就是焦點問題，即所謂的視覺輻輳調節(jié)沖突。目前市面上所有的 VR 或 AR 設備都將用戶的視覺焦點強制在 1.5 米遠的位置，這會有兩個缺陷：
1、當你在 VR 中注視遠處或者近處的物體時，你兩只眼睛的視覺輻輳與視覺焦點會產(chǎn)生不匹配的情況。這樣的不匹配會令用戶感到不舒適，這也是現(xiàn)今 VR 產(chǎn)品的一大痛處。
2、當你在使用 AR 時，你會用真實的深度看向現(xiàn)實世界。而虛擬的圖像則需要匹配到你的視覺焦點，否則它們就會變得模糊不清。比如駕駛過程中，正在注視 20 米遠的你并不能看清距離你 1.5 米的 AR 地圖指示。
我們創(chuàng)造了一個計算型光場顯示器原型，通過多角度的光線展示，可以讓你在任何深度進行聚焦。這個顯示器是對以往技術的一次重要突破，因為計算過程是直接在顯示器中進行的。我們不是向顯示器中傳輸單純的圖像，我們正在向其中發(fā)送復雜的數(shù)據(jù)，而顯示器則負責將數(shù)據(jù)直接轉化為你眼前的圖像。上圖中那些看起來有點像昆蟲眼中的世界的小網(wǎng)格，必須進行專門的渲染才能傳輸進顯示器，這需要結合了自定義光學，即通過一個微透鏡陣列，才能以正確的方式呈現(xiàn)出一個自然的世界。
第一個光場顯示器的研發(fā)是從 2013 年開始的。而下周，在 ACM AIGGRAPH Asia 2018 大會上，我們將展示一種新的全息顯示器，它利用激光和密集的計算在光的干擾波面上創(chuàng)造光場。本文篇幅有限，很難展示其復雜的工作機制，但它的基本原理是一樣的，可以產(chǎn)出質量更高的圖像。
我們堅信這種顯示器內(nèi)計算是未來的一種關鍵技術。但光場并不是我們使用計算方法解決焦點問題的唯一途徑。我們還創(chuàng)造了其他兩種可變焦點（或變焦光學）的形式。
下圖的顯示器原型利用激光將圖像投射到一個漫射全息圖上。當你直視全息圖時，它會從一個曲面玻璃上反射過來，這樣看上去就像是在遠處注視它。
我們通過一個小馬達來移動全息圖或太陽鏡反射器，從而控制圖像的距離。這樣我們就可以將虛擬物體的距離和用戶現(xiàn)實世界的視距匹配起來，用戶在使用 VR 時就可以自然而完美地聚焦。
這種方法要求在顯示器中進行兩種計算：一是要追蹤用戶的眼動狀態(tài)，二是要計算正確的光學變化來渲染預扭曲的動態(tài)圖像。和我們的大多數(shù)原型機一樣，這個研究版本比最終產(chǎn)品的體積大得多。因為我們要用大型組件來進行研究構建。但實際使用的優(yōu)化版顯示器會更像是墨鏡的樣子。
下面是另一個變焦原型機，這是我們與北卡羅來納大學、馬克斯普朗克研究（the Max Planck Institute）所和薩爾蘭大學（Saarland University）的研究者們合作發(fā)明的。這是一個靈活的透鏡薄膜。我們根據(jù)用戶焦點的變化，使用計算機控制的氣動裝置來改變透鏡的焦距，使得圖像始終處在正確的位置。
我們有多種方法解決 VR 延遲的問題。其中一個是與威廉姆斯學院合作的成果，它充分利用了我們分布廣泛的 GPU 技術。為了在渲染時減少延遲，我們希望將 GPU 移動離顯示器越近越好。利用 Tegra 移動 GPU，我們甚至可以將 GPU 放置在用戶身上。但是移動 GPU 的處理能力不如臺式 GPU，而我們又想提升現(xiàn)有游戲 VR 的圖像質量，所以我們用無線連接為 Tegra 組配一個獨立的 GeForce GPU，甚至如果要求更高的話，可以配一個云端 Tesla GPU。
這樣，一個功能強大的 GPU 就可以計算出光照信息，接著傳輸給你身上的 Tegra，渲染出最后的圖像。這種方法的好處在于，既減少了延遲，又降低了算力要求，同時還提高了實際圖像的質量。
降低延遲基準
當然，你無法讓延遲低于幀速率。如果顯示器的更新速度是 90 fps，那么延遲在最差的情況下也不會低于 11ms，因為這正好是顯示器等待兩幀之間的時長。所以我們到底能將顯示器的速度提升到多快呢？
我們和北卡羅來納大學的科學家合作構建一個每秒運行 1.6 萬個二進制幀的顯示器。下圖是一個數(shù)字示波器的圖表，顯示了這種顯示器對于頭部轉動時的情況。當你轉頭時，屏幕更新的延遲會導致暈動癥。
在上圖中，橫坐標是時間線；頂部的綠線震動代表戴著顯示器的用戶正在轉動頭部；黃線表示顯示器的更新，它的起伏代表顯示器中新圖像僅用 0.08ms 就能完成更新。這大約是現(xiàn)有市面上最差的消費級 VR 速度的 500 倍。
渲染器無法達到 16,000 fps 的速度，所以這種顯示器需要借助時間扭曲（Time Warping）最新圖形的方法來匹配當前頭部的位置。我們讓它直接在頭顯中運行，可以加速時間扭曲的處理過程。下圖展示了我們定制頭顯中處理器原型：
不同于扭曲 2D 圖像的常規(guī)時間扭曲，或是更先進的深度 2D 圖像扭曲的空間扭曲（Space Warp），我們的方法可以應用于全 3D 數(shù)據(jù)集中。上圖的最右邊展示了在一個實際的 3D 場景進行扭曲的例子，在這個系統(tǒng)中，當你在場景中隨意走動時，顯示器可以自動保持更新，甚至暫時與渲染器斷開連接時也能持續(xù)更新。這使得我們能夠以一個較低的速度運行渲染器，從而節(jié)省電力或提高圖像質量，同時，即使在無線連接緩慢的網(wǎng)絡時，也能生成低延遲的圖形。
在第一部分，我們闡述了現(xiàn)今VR頭顯的渲染管線：
綜合上述所有的技術，我們不僅可以描繪出單個的創(chuàng)新產(chǎn)品，更重要的是可以勾勒出一個 VR 系統(tǒng)的全新圖景。這個圖景幾乎消除了所有的同步障礙，它將計算擴展到云端，并直接傳到頭戴式顯示器上。延遲時間縮短了 50-100 倍，同時圖像具有電影級的質量。分辨率提高了 100 倍，當然只是你視覺焦點內(nèi)的圖形像素。另外，你也可以自然地聚焦在不同深度上。
我們正在加速將二進制圖像在顯示屏上的顯示，以期讓用戶體驗虛實不分的感受。該系統(tǒng)有著適合的聚焦調節(jié)，一個寬闊的視場，輕便的重量和很低的延遲，可以成為一種舒適而時尚的日常產(chǎn)品。
通過在計算型顯示器，變焦光學，焦點渲染，圖形去噪，光場，二進制幀等領域的突破，NVIDIA Research 正在為一個新的虛擬體驗系統(tǒng)進行創(chuàng)新。隨著系統(tǒng)變得更加舒適，便宜，性價比提高，這將成為每個人都可以使用的新的計算界面。
我鼓勵每個人都去體驗如今市場上的現(xiàn)代 VR 系統(tǒng)。我更也鼓勵你加入我們，共同期待未來 AR/VR/MR的普及，期待通過這些技術掀起的 VR 革命。
via roadtovr.com雷鋒網(wǎng)編譯
相關文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
