0
前些天，英偉達發(fā)布全新GPU架構——Turing（圖靈），被黃仁勛視為十二年來英偉達GPU的最大飛躍，無疑是計算機圖形領域的游戲改變者。
圖靈架構最大核心亮點在于即時光線追蹤（Real Time Ray Tracing）,能夠計算光線反射、折射、散射等路線，渲染出逼真的畫面，可為游戲開發(fā)者提供電影級畫質的實時渲染，也就是讓游戲看起來更像電影。據(jù)悉，這些新GPU依靠自身的一個特殊部分來快速呈現(xiàn)高分辨率圖形，完成圖像的大部分成像工作后，使用人工智能技術來猜測未完成的像素。
雷鋒網了解到，除了即時光線追蹤外，英偉達的GPU還支持多種AI圖像處理能力，可謂是開了掛。
在上周舉辦的計算機圖形學年度會議SIGGRAPH 2018上，英偉達發(fā)布了全新的圖靈架構，隨后展示了一系列用于Photoshop和Premiere的插件。這些插件都利用了其最新的圖靈GPU架構和Quadro RTX系列顯卡支持的機器學習功能，能夠使Photoshop和Premiere上的一些常用功能運行更順暢，更少手動調整。
早在2017年，Adobe在AI圖像處理上就有很多的案例。通過機器學習技術訓練計算機識別和操縱數(shù)據(jù)，能夠使得圖像處理工具對圖像內容有更準確的理解和猜測，實現(xiàn)很多P圖高手都難以完成的效果。
雷鋒網曾報道，2018年3月，在Adobe Summit 2018上，Adobe和英偉達宣布雙方將基于 Nvidia GPU 對 Adobe Sensei 人工智能系統(tǒng)和機器學習框架進行優(yōu)化。簡單地說，就是將 Adobe Sensei 建立在 Nvidia GPU 的硬件基礎之上。
實際上，雙方的合作已經持續(xù)了十多年，不過此前的合作都是在創(chuàng)意和數(shù)字體驗方面， Adobe 的圖片、視頻等依賴于 GPU 來運作圖形相關應用；不過這次合作的核心是 Adobe 在 2016 年 9 月發(fā)布的 Sensei 人工智能系統(tǒng)。
合作確立半年之后，英偉達發(fā)布全新圖靈架構之際，也展示了雙方合作的成果。
雷鋒網編輯在英偉達于SIGGRAPH大會的展臺上也看到了這些插件的演示。
第一個插件是Super Rez。
Super Rez的主要功能是為圖像添加更逼真的細節(jié)。如圖所示，狼群站立在山腰上,其毛發(fā)細節(jié)逼真，樹葉紋理清楚，放大后也很清晰，分辨率能達到4K至8K。這個功能對于大幅高清圖像很適用，例如大幅面海報。從現(xiàn)場演示來看，這項功能大概需要10分鐘。
第二個插件是Inpaint。
這個插件用AI增強了Photoshop的內容感知填充。英偉達演示的案例是，在陡峭的懸崖上繪制成群結隊的企鵝，企鵝腳下的巖石看起來如真的巖石一樣粗糙，看起來并不像用傳統(tǒng)的畫筆從附近區(qū)域復制過來的。
據(jù)雷鋒網了解，Inpaint這個技術由英偉達Guilin Liu領導的團隊開發(fā)，運用了最先進的深度學習方法，可以編輯重建損壞的圖像，同時也可以通過移除部分圖像并重新填充來編輯圖像。
“我們的模型可以穩(wěn)健地處理任何形狀、大小、位置距離的圖像破洞。以前的深度學習方法主要關注位于圖像中心周圍的矩形區(qū)域，并且通常依賴昂貴的后期處理”。
（使用Inpaint去除多余的一棵樹)
為了準備用于訓練的神經網絡，該團隊首先生成了55,116個隨機條紋和任意形狀和大小的圖像破洞用于訓練。該團隊使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度學習框架，該團隊通過將生成的圖像破洞的蒙版應用于ImageNet，Places2和CelebA-HQ數(shù)據(jù)集中的圖像來訓練他們的神經網絡。在訓練階段，將破洞或缺失部分引入上述數(shù)據(jù)集的完整訓練圖像中，以使網絡能夠學習重建丟失的像素。
目前，英偉達演示的Inpaint運行于6300美元的Quadro RTX 6000顯卡上，但是其效果實現(xiàn)所花費的時間依然不短。或許因為如此，英偉達表示它沒有計劃發(fā)布這些插件，只是展示新顯卡和Nvidia的NGX SDK的可能性。
相比于價格高昂的Quadro系列，英偉達于8月21日發(fā)布的幾款針對游戲玩家的Geforce RTX顯卡價格則要親民很多。
英偉達與Adobe合作的這幾款插件看起來都很日常，而英偉達與MIT合作的一項視頻生成技術看起來則尤為炫酷。
不知道是否有人看過韓劇《W兩個世界》，在這部大火的浪漫韓劇中，男主人公是從一本漫畫里走出來的，女主人公也能在二次元和三次元之間隨意穿梭。
英偉達新的技術向我們展示了“腦洞大開”的韓劇也是有實現(xiàn)的可能，用線條畫一個帥哥，然后一鍵轉換，他的真實的眉眼就出來了，就這么神奇。
效果如下：給出一個由簡單線條組成的素描草圖就能生成細節(jié)豐富的人臉，臉型、鼻子眼睛嘴巴等五官、發(fā)型等都和草圖的輪廓一致，最厲害的是生成的人物還能流暢地動起來。
目前，我們能看到的圖像處理技術能做到的主要是背景分割、人臉區(qū)域分割，用來對頭發(fā)發(fā)型、發(fā)色、面部五官進行調整。而像這樣根據(jù)草圖直接生成一個嶄新的人臉，不免讓人訝異。
除了人物，英偉達和MIT的這項技術也可以用于實景。可以合成長達30秒的2K分辨率街景視頻。
右邊是一幅動態(tài)語義地圖，左邊則是和真實世界一樣的視頻。可以看到，兩邊的場景的布局完全一樣，所以這并不是找了一個相似的視頻出來，而是依葫蘆畫瓢全新生成的。
由于是計算機生成的，你可以對視頻中的元素進行修改，例如，將道路兩側全部變成樹木，或者全部變成建筑。
據(jù)雷鋒網了解，此項目由英偉達和MIT組成的團隊開發(fā)，包括英偉達的Ting-Chun Wang、劉明宇（Ming-Yu Liu），以及來自MIT的朱俊彥（Jun-Yan Zhu）等。
以上幾位研究員合著了一篇名為“Video-to-Video Synthesis”的論文，論文摘要現(xiàn)實，該論文研究視頻到視頻的合成問題，目標是學習從輸入源視頻（例如，一系列的語義分割掩碼）到輸出照片級視頻的映射眼熟，輸出視頻能精確地描繪原視頻內容。論文提出了一種新型的生成對抗網絡框架下的視頻到視頻合成方法。通過精心設計生成器和判別器架構，結合空間-時間對抗目標函數(shù)，在多種輸入視頻格式下生成了高分辨率、時間連貫的照片級視頻，其中多種形式的輸入包括分割掩碼、草圖和姿態(tài)圖。
視頻合成的demo很炫酷，可以想象，以后影視制作中的一些部分完全可以不用實景拍攝，畫個簡筆畫然后合成真實視頻就可以了。但是，很顯然，這個視頻到視頻的合成的技術比前面介紹的Adobe里用到的AI圖像處理技術還要難實現(xiàn)，目前還停留在實驗室階段。
圖靈架構的實時光線追蹤無疑是最讓人驚嘆的，其能計算光線反射、折射、散射，渲染出逼真的畫面，對游戲、影視的畫面效果會帶來很大的提升。
此外，圖靈架構還有更多的特性：
Tensor Core可加速深度神經網絡訓練和推理；
圖靈流式多處理器（Turing Streaming Multiprocessor）架構擁有4608個CUDA core，可提供高達16 teraflops的計算性能，并行運算每秒16萬億次整數(shù)運算，以加速模擬真實世界的物理模擬；
先進的可編程著色技術可提高復雜視效和圖形密集型工作體驗；
首次采用超快速的三星16Gb GDDR6內存，支持更復雜的設計、海量建筑數(shù)據(jù)集、8K電影內容等;
NVIDIA NVLink可通過高速鏈路聯(lián)通兩個GPU，將內存容量擴展至96 GB，并可通過高達100GB / s的數(shù)據(jù)傳輸提供更高性能；
增強型技術可提高VR應用性能，包括可變速率著色（Variable Rate Shading）、多視角渲染（Multi-View Rendering）和VRWorks Audio。
計算機圖形領域一直追逐更清晰的圖像顯示、更逼真的渲染、更快的處理速度是，GPU的性能提升在不斷實現(xiàn)這些目標。如今，AI與圖像處理的結合給我們帶來更多的可能性，這也是不少公司都在布局的方向。
在今年的WWDC上，蘋果重點介紹了其Metal和ML兩大技術。2014年蘋果推出Metal，能利用GPU獲得更高的圖形計算能力，使得一些操作游戲如《堡壘之夜》在iPhone上運行。通過對eGPU的支持，Metal使得蘋果的設備能夠獲得更逼真的3D渲染效果，還能幫助Unity實現(xiàn)實時的光線渲染效果。
此外，Metal的另一大特色在于，其能支持機器學習，加速訓練神經網絡這樣的計算密集型任務。因此基于Metal開發(fā)的機器學習工具Core ML也能利用GPU，在效率上得到很大提升。
GPU和AI技術的提升，無疑也將對VR的發(fā)展起到推動的作用，雷鋒網編輯期待著更多炫酷的AI圖像處理技術的誕生。
相關文章：
英偉達發(fā)布3款RTX 20系列游戲顯卡，性能提升6倍讓游戲更像電影
英偉達放出12年來最大招：全新圖靈架構登場，全球首批即時光線追蹤GPU同步亮相
P圖現(xiàn)在都這么狠了嗎？英偉達新算法，輕松幫你P掉前男友
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
