雷鋒網按：本文根據童欣博士在微軟亞洲研究院院友會成立儀式上所做報告《網絡圖形，從交互到智能》編輯整理而來，在未改變原意的基礎上略有刪減。

童欣，微軟亞洲研究院首席研究員，研究主管。童欣博士1996年畢業(yè)于浙江大學獲碩士學位，1999年畢業(yè)于清華大學獲博士學位并于同年加入微軟亞洲研究院。童欣博士的研究方向為真實感繪制、表觀建模、紋理合成以及人體動畫捕捉。童欣博士曾任Computer Graphics Forum編委，SIGGRAPH Asia 2008、2009，SIGGRAPH Asia 2011，SIGGRAPH 2012， SIGGRAPH Asia 2013論文Committee成員，Pacific Graphics 2013論文主席。

事情要從15年前說起，2001年的時候，Harry（沈向洋）和百寧（郭百寧）決定要成立一個新的圖形組，那么就需要有一個很酷的組名，于是他們決定叫做“互聯網圖形組”。

名字起得很好，問題也馬上來了：基本上每個見到我們的人都問什么是Internet  Graphics？

為了回答這個問題，在2001年的時候我們集中全組的力量做了第一個項目，Game  Download & Play。

這項目我們想把游戲圖形的數據、幾何、紋理做一些壓縮，那么通過互聯網下載的時候，大家就不用等那么長的下載時間了，很快把一部分數據下載到本地之后，大家就可以開始玩游戲了。

這項目可以說非常成功。這之后我們順利地開始做SIGGRAPH……

轉眼到了2010年，百寧把接力棒交給我，讓我慢慢開始負責整個圖形組，那么我要怎樣激勵大家、我們組里應該有什么樣的愿景。

我也開始思考這些問題，重新在問自己到底什么是互聯網圖形？

如果我們看看周圍，可以看到很多成功的例子。

Internet與文字結合時效果很好：出現了網絡文學、微博、Wikpedia等。

Internet與圖片結合時效果也很好：出現了Instagram、美圖秀秀、500px等。

Internet與視頻結合時效果也很好：出現了Youtube、愛奇藝、網絡直播、網紅等。

回頭再看看Graphics，卻好像什么都沒發(fā)生，就這樣過了十年，那么到底出了什么問題呢？

有傳言說，如果你站在風口，就算你是一頭豬也能飛起來?？墒俏疫@么瘦的一個人，站了這么久，怎么還沒飛起來，這到底出了什么問題？

我做了一些粗淺的研究，認真想了一想。我發(fā)現，飛起來這件事，不是什么都可以，要滿足兩個條件：

第一、要Everyone

內容最好是每一個人都能產生、都能創(chuàng)造，那么有了網絡大家就可以互相交流，你的內容就會有海量增長。

第二、要Everywhere

隨著移動平臺的發(fā)展，如果你這個內容的產生和消費能互聯到每一個平臺上，讓大家在任何地方都能生產消費，這時候你就真的飛起來了。

那么我們看看圖形學到底是個什么狀況？

答案很悲慘：在Everyone方面，三維內容的生產，對普通用戶而言還是非常難的任務。

最左邊大家可以看到傳統(tǒng)的造型動畫軟件，界面很復雜，即使是藝術家也需要好幾年的學習才能做好一個模型。另一方面，雖然我們有一些設備幫助大家來做三維內容的捕捉，比如三維掃描儀、光穹、動捕等等，但這些設備都非常昂貴，每個要幾百萬，還需要專門的場地和專業(yè)的操作，普通用戶享受不到。

現狀：

我們再看看Everywhere，發(fā)展了這么多年，所有三維圖形的內容都是通過一個二維的屏幕來傳遞給大家的——某種意義上來講，我們的內容和2D的視頻就沒有太大的區(qū)別。

我們的交互就不用提了，我們還得通過鼠標、鍵盤或者gamepad進行交互，這些交互跟我們在真實三維世界中所做的交互是非常不同的。

由于這些限制，大家就會發(fā)現：

到現在為止，圖形的生產和消費基本和互聯網無關，基本的方式還是少數的藝術家，他們組織在一起，經過艱苦的奮斗，做了一些游戲、電影，然后把東西通過市場分發(fā)給成千上萬的消費者進行消費。一切還是停留在傳統(tǒng)的模式。

愿景：

基于這樣的想法，我們就提出了我們互聯網圖形組的愿景：

我們希望做一些圖形學的工具和系統(tǒng)，能幫助每個人很方便地產生、觀看和分享一些三維內容。同時，我們希望能在自然世界和虛擬世界間提供更自然的界面和交互的方式。

另外我們還想在可視的和不可視的抽象信息之間提供一些自然的界面，把抽象的信息變成可視的展現出來。

過去五年我們?yōu)榱诉@一愿景做了很多不同方面的研究，慢慢意識到也許基于智能或者數據的方法是個很好的解決方案。

原因有下面幾個：

第一，我們已經有了一些昂貴的設備，這些設備幫助我們捕捉了大量高質量的數據。

第二，我們也有了比較便宜的設備，這些設備可以為我們的系統(tǒng)提供一個初始的輸入，不用從零開始了。

第三，一些關于機器學習方面的技術進展可以讓我們把這些技術用到圖形學的問題里。

那么也許一個比較好的解決方案是通過低價普及的設備，比如普通相機和深度相機，加上智能的算法，再有些時候需要一些簡單的用戶輸入，來方便地產生三維的內容。

關于智能算法，我們希望它能做兩件事：

一是希望能夠利用到所有三維數據的本征特性，用這些幫助我們產生內容。

二是可以用機器學習來進行端到端的學習，在輸入和輸出之間直接建立一些聯系。

下面我用我們組研究的一個研究課題三維物體的數字化來進一步說明舉例。

三維物體數字化的目標是希望將一個真實世界的三維物體，完美地傳遞掃描進一個虛擬世界。

為做到這一點，我們不僅僅要捕捉三維物體的幾何形狀，還要重現它的材質信息。注意，有了幾何信息雖然可以知道物體形狀，卻不知道這個物體是什么，只有有了物體材質表面反射屬性以后，我們才能在三維世界中真正栩栩如生地體現出來，大家就會的清楚知道這是真實世界的一個啤酒瓶，上面有一個紙標簽，標簽上有燙金字……

我想我不需要再說明這樣一個工具對VR/AR內容的產生、或者對虛擬購物等應用是多么重要。

現在我們回想現有的解決方案是什么？

基本上我們可以發(fā)現這流水線還是非常長的。

首先用設備掃描三維幾何形狀，但是掃描得到的這些幾何形狀在大部分情況下非常糟糕，需要大量人工交互工作來去除噪聲、平滑三維模型。

材質捕捉就更麻煩了，我們需要把物體挪到專用的捕捉室，放在專用的設備上，捕捉物體在各種光照、各種視點下的外觀，有了這些才能采集出真正的物體形狀和材質。

大家可以發(fā)現這樣一個基本的任務還是有很多障礙，首先去噪方面需要很多手工交互工作，其次材質捕捉設備很昂貴，另外這個流水線很長，需要分開的步驟去先捕捉幾何，再用另外的設備捕捉材質。

那么我們看看我們用一些智能的算法能幫我們做什么事情：

第一個要介紹給大家的是我們去年研發(fā)出來的一個數據驅動的模型去噪算法。

這里要做的是希望有個自動的算法，幫我們除去掃描模型上的噪音，同時保留模型上面所有的幾何細節(jié)，并且算法對不同設備掃描出來的模型都能很好的處理。我們的算法通過收集帶噪聲的掃描模型和對應的基本沒有噪聲的高質量模型，先去學習訓練這些幾何之間的對應關系?；谶@個對應關系，我們就可以將一個帶有噪聲的掃描模型直接對應生成它的沒有噪聲的模型，從而實現去噪的效果。這是我們組的劉洋研究員帶領實習生完成的工作。

• 我們這個算法在訓練好了以后，用戶在用的時候是全自動的。

• 我們的算法在我們所有的測試模型上去噪效果都超過了所有目前已有的模型去噪算法。

• 我們的算法還比所有已知算法都要快。

我們很快會把我們的算法源代碼和數據公布在網上，希望其他研究人員都可以在基礎上繼續(xù)研究，同時很多用戶也可以直接使用我們的算法。

下面我們來看一些實驗結果。左邊是輸入一個掃描模型，有很多的噪聲，右邊是Ground  Truth，右邊第二個是我們算法得到的結果。

這是另一個例子，掃描模型的噪音非常大，以前的算法只能除掉一些噪音，或者會抹去很多模型上的集合細節(jié)。我們的算法可以比較好地去掉模型上的噪聲，同時比較好地保留它的幾何細節(jié)。

我們再看看材質捕捉方面，剛才我們說材質捕捉設備很昂貴，捕捉過程很麻煩。

有什么更好的做法來做呢？

我們在兩年前做了世界上第一個不需要任何特殊設備和光照，只從自然未知光照下拍攝的物體視頻出發(fā)進行材質捕捉的算法。

這是我們團隊的董悅研究員帶領實習生完成的工作。輸入就是大家看到的左邊的視頻序列，右邊是輸出的材質捕捉的結果，最后我們把它放在一個新的光照下，物體可以栩栩如生地再現出來。

這個算法的關鍵是我們要從視頻中同時估計物體的光照和材質屬性。我們發(fā)現自然環(huán)境中的光照和材質本身具有不同的屬性，可以用這些屬性很巧妙地從觀察的數據最終把二者分分離開來。

這里顯示了我們算法所恢復的物體的材質效果，不論是啤酒瓶上印刷的標簽，還是光滑的瓷器，還是帶有鐵銹的金屬，我們的算法都能自動地從一些視頻序列中把高質量的材質重構出來。

有了這些工作，上面的流水線變得簡單自動了很多，但還是要經過兩步。

有沒有可能一步就把所有事情搞定？

去年我們在這方面做了一些研究，做了世界上第一個從視頻中同時恢復物體的幾何形狀和表面材質的算法。

這個方法只是用了視頻而不再需要任何的深度相機捕捉的數據。

同樣，我們的算法不需要知道光照信息。左邊是我們算法輸入的視頻，右邊是捕捉的物體和材質在新的光照環(huán)境下繪制的結果。

這是我們捕捉到的幾何和材質和真實照片的對比，你可以看到所有的幾何細節(jié)、表面反光和材質屬性都被很好的重建出來了。在不同的光照下看，所有物體都像真實物體一樣得到真實再現。

基于這一結果，我們把做的結果放到HoloLens，并和我們周圍的真實光照結合在一起，可以生成非常真實的效果。

剛才我們以物體的數字化為例說明了如何采用智能的算法幫助我們簡化建模過程，方便普通用戶捕捉三維內容。

總結：

在過去幾年中我們在智能算法方面做了很多努力，我們逐漸認識到，智能算法也許是能夠實現普通用戶產生三維內容的一個最終解決方案。

最后，我也想分享一下我在這個過程中所得到的經驗或者教訓：我總結為三個D。

第一、Open-minded

我們要積極地學習借鑒其他領域的方法算法，比如現在我們也在學習和深度學習相關的東西。

第二、Concentrated

第一條就像吸星大法，把別人的東西都吸過來了。但還不夠，還要易筋經，把東西化成自己的，要知道自己拿到這個工具是要解決自己的問題的，聚焦于自己的問題，把那些東西為你所用。

第三、End-to-End

我們并不想發(fā)了一篇論文然后研究就結束了，論文更多的是一個交流表達的手段，關鍵是把問題真正給解決掉，最后給用戶提供一個真正的端到端的解決方案。

展望未來，可以說我們才剛剛起步，前面還有很長的路要走。

這也許是個壞消息，但對我來說這其實也是好消息。因為這意味著前面還有很多不確定性、很多挑戰(zhàn)。作為一個研究人員來說，這些困難、挑戰(zhàn)也正是我們最終的樂趣所在，雖千萬人，吾往矣。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。