0
| 本文作者： 我在思考中 | 2022-05-30 10:11 |
編譯｜王玥
這幾年我的研究主要關(guān)注視覺外觀和理解，從微米分辨率到世界級(jí)。在我開始演講之前，我先給大家展示一個(gè)很有趣的例子，這部電影里主角和世界互動(dòng)的視覺界面很有意思。
大家能夠看到，當(dāng)這個(gè)人在現(xiàn)實(shí)世界中行走時(shí)，他的視覺界面上出現(xiàn)了一系列文字。主角是一個(gè)汽車迷，所以視覺界面向他展示了這輛車的豐富信息：
僅僅需要一張照片，視覺界面就能告訴你這輛車的全部信息。我們需要計(jì)算機(jī)視覺和視覺理解領(lǐng)域的研究來推動(dòng)這種技術(shù)的實(shí)現(xiàn)。
主角繼續(xù)走，當(dāng)走近這些模特時(shí)，你會(huì)發(fā)現(xiàn)她們并不是真人，盡管她們看起來十分逼真。想要達(dá)到這樣的技術(shù)，我們就需要研究逼真外觀（Realistic Appearance）。
然后主角走到一個(gè)購物櫥窗面前，他看到了櫥窗里的所有商品。這次他的視覺界面向他展示了里面商品的所有信息，甚至?xí)M一個(gè)佩戴該商品的效果，不需要真正觸碰，主角就可以體驗(yàn)到商品。
想要達(dá)到我給大家展示的這段視頻的效果，我們需要一種叫做“逆圖形（inverse graphics）”的技術(shù)，才能把商品的所有屬性數(shù)字化，從而與之互動(dòng)。
我展示這些例子是為了向大家展示我們正在開發(fā)的各種技術(shù)，大家想必已經(jīng)聽過很多關(guān)于增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)的內(nèi)容，我剛才提到的都是現(xiàn)在推動(dòng)增強(qiáng)現(xiàn)實(shí)發(fā)展的技術(shù)。今天我將重點(diǎn)講解其中的視覺技術(shù)。
一個(gè)模型看起來非常真實(shí)，以至于你無法區(qū)分其到底是真的還是假的，這就是計(jì)算機(jī)圖形學(xué)領(lǐng)域中的逼真外觀；這個(gè)領(lǐng)域還有另一個(gè)方向，就是拍下一個(gè)物體的照片，我們?nèi)绾稳ダ斫膺@張照片上物體的所有屬性；接著我們可以在此基礎(chǔ)上繼續(xù)發(fā)展，從而理解這個(gè)世界的屬性。
這就是我今天要講的三大內(nèi)容：
基于物理的視覺外觀模型（Physics-Based Visual Appearance Models）
逆圖形（Inverse Graphics）
世界尺度的視覺發(fā)現(xiàn)（World-Scale Visual Discovery）
讓我們先從基于物理的圖形講起。
首先我想介紹一個(gè)著名的測試：康奈爾盒子（Cornell box）測試，其旨在通過將渲染場景與同一場景的實(shí)際照片進(jìn)行比較來確定渲染軟件的準(zhǔn)確性。我給大家展示的兩張圖，一張是人為渲染的，另一張是真的——其實(shí)左邊是真實(shí)的場景，右邊是虛擬的圖片。
多年來人們致力于創(chuàng)造出這個(gè)測試檢測不出來真假的圖片。不過真實(shí)的世界并不像康奈爾盒子里面的圖片那么簡單，真實(shí)的世界里有許多種材料，比如這張圖里展示的織物、皮膚、樹葉、食物，等等。人們不斷地與這個(gè)世界互動(dòng)，判斷自己所看到的是否真實(shí)。當(dāng)我們想要模擬出下方左圖這個(gè)模特的逼真視覺效果時(shí)，如何表現(xiàn)這些復(fù)雜的材料便是一個(gè)很大的挑戰(zhàn)，這也是我研究了多年的問題。
所以我要講講如何正確地捕捉織物和布料的外觀。首先讓我們先提出一個(gè)問題，看看這兩幅圖，作為人類，你馬上就能認(rèn)出來左邊是天鵝絨，而右邊是一種閃閃發(fā)光的絲綢一樣的材料，為什么你能立刻辨認(rèn)出呢？是什么讓天鵝絨看起來像天鵝絨，是什么讓絲綢看起來不同于天鵝絨，而是看起來像絲綢？
答案是：結(jié)構(gòu)。
兩種布料不僅僅是表面不同，其本質(zhì)是因?yàn)樗鼈兘Y(jié)構(gòu)不同，視覺效果才不同。如果我們掌握了這個(gè)結(jié)構(gòu)，我們就抓住了它們視覺的本質(zhì)。
所以我們在最初的項(xiàng)目中所做的是：觀察這些材料的微型CT掃描。
在天鵝絨的微型CT掃描中，我們能看到天鵝絨是一種毛茸茸的材料。
而絲綢的結(jié)構(gòu)則截然不同，絲綢是非常緊密地交織在一起的，經(jīng)紗和緯紗形成了特定的圖案，正是因?yàn)榻z綢的結(jié)構(gòu)如此緊密，才為絲綢帶來了那種閃亮的效果。
講到這里，我們會(huì)發(fā)現(xiàn)，只要把握住了材料的微型結(jié)構(gòu)，基本就把握住了材料的外觀模型，即便材料很復(fù)雜，仍然萬變不離其宗。
一旦我們掌握了結(jié)構(gòu)，就能掌握顯示出光學(xué)特性的信息，比如顏色等。這些信息足夠讓我們掌握一個(gè)完整的模型，讓我們能夠還原出這種材料的逼真視覺效果。
如圖，通過掌握兩種面料的結(jié)構(gòu)特性，我們成功還原出了天鵝絨和絲綢兩種材料的視覺效果。
我們就實(shí)際推廣這些模型進(jìn)行了大量研究，思考這種模型可以得到什么現(xiàn)實(shí)應(yīng)用。現(xiàn)在我們認(rèn)為這種工具讓工業(yè)設(shè)計(jì)師、紡織品設(shè)計(jì)師等進(jìn)行數(shù)字原型制作時(shí)更加得心應(yīng)手，賦予設(shè)計(jì)師們模擬真實(shí)機(jī)織織物外觀的能力。
在工業(yè)織機(jī)中，線軸上使用真實(shí)的紗線，加入編織圖案后，工業(yè)織機(jī)將生產(chǎn)出如下方右圖所示的織物，而我們想要?jiǎng)?chuàng)建的現(xiàn)代視覺圖靈測試本質(zhì)上是一個(gè)完全數(shù)字化的管線，使用 CT 掃描和照片等組合可以達(dá)到與工業(yè)織機(jī)相同的效果。
這種虛擬卻逼真的視覺效果可以讓設(shè)計(jì)師在不需要實(shí)際制造織物的情況下就做出重要的決定。
我們實(shí)際上創(chuàng)建了低維模型和更直觀的表示材料結(jié)構(gòu)的22個(gè)參數(shù)，設(shè)計(jì)師如果能使用上這種工具，將會(huì)獲得更大的力量。
而這22個(gè)參數(shù)則會(huì)引向我將要說的第二個(gè)話題，逆圖形。
我們遇到的第二個(gè)問題則是，有了這些模型以后，如何去適應(yīng)這些模型呢？這也是計(jì)算機(jī)圖形研究的一個(gè)重要話題。
我們首先從光與物體表面的關(guān)系說起。
當(dāng)光遇到金屬的表面，光會(huì)被反射出去。而其它材料，比如皮膚、食物、織物等，當(dāng)光遇到它們的表面，光會(huì)進(jìn)入表面并與物體產(chǎn)生一定互動(dòng)，我們稱之為次表面散射（Subsurface scattering）。
如上圖所示，判斷壽司是否可口的方式是判斷其外表的光澤與新鮮度。因此想要模擬某種物體的視覺效果，就需要了解光射到這種物體表面發(fā)生了什么。
圖注：端到端的管線
在理想情況下，我們有某種已經(jīng)學(xué)習(xí)到的表征，在拍下照片后，我們能夠辨認(rèn)出照片上的物體都具有什么材料屬性，具有什么材料參數(shù)，也能得知三項(xiàng)有關(guān)不同散射的參數(shù)：光在介質(zhì)中傳播了多遠(yuǎn)，散開了多少，散射時(shí)物質(zhì)的反照率是多少等等。
而我們現(xiàn)在擁有很不錯(cuò)的基于物理的渲染器，可以模擬光射到物體表面的整個(gè)物理過程，我認(rèn)為我們已經(jīng)有創(chuàng)建這種管道的能力了。
如果把基于物理的渲染器和習(xí)得表征結(jié)合起來，得到這個(gè)端到端的管道，再將輸出圖像和輸入圖像進(jìn)行匹配并使得損失最小化，如此一來我們就能得到材料屬性（即上圖最中間的material π）。
要有效地做到這一點(diǎn)，我們需要將學(xué)習(xí)和物理有效結(jié)合起來，把世界上的物理渲染過程顛倒過來，努力得到逆參數(shù)。
但是，對(duì)于形狀和材料的恢復(fù)是很困難的，以上流程要求渲染引擎R是可微分的，最近的很多研究都在研究這個(gè)問題。
想要就能像電影里的場景一樣復(fù)原一個(gè)商品的視覺效果，我們需要有一個(gè)可微分的渲染管線，即是說我們需要能夠微分關(guān)于想要恢復(fù)的屬性的損失。以下是一個(gè)恢復(fù)材料和幾何形狀的例子，我們可以用鏈?zhǔn)椒ㄔ诒砻孢吘壣线M(jìn)行簡單取樣，從而獲取我們需要的信息。
然后我們就能得出如下圖的一個(gè)復(fù)原物體視覺效果的流程。首先我們可以用手機(jī)對(duì)想要復(fù)原的物體拍攝一系列圖片，然后對(duì)圖片進(jìn)行初始化，并對(duì)材料和形狀進(jìn)行優(yōu)化，再通過可微分渲染進(jìn)行再次優(yōu)化，最終該物體就可以呈現(xiàn)逼真的模擬效果，可以運(yùn)用在增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)等應(yīng)用中。
在視覺模擬當(dāng)中，次表面散射是一個(gè)非常重要的現(xiàn)象，下圖是一張多位藝術(shù)家的作品，叫做Cubes（方塊）。這些其實(shí)是用98種食物做成的邊長為2.5cm的方塊。98種食物的每一種表面都不盡相同，十分復(fù)雜，這激起了我們的探索興趣。
由于食物的表面非常復(fù)雜，所以在復(fù)原材料的屬性時(shí)必須要考慮到次表面散射，這方面的具體內(nèi)容將會(huì)在我們稍后發(fā)布的論文中呈現(xiàn)，我們已經(jīng)開發(fā)了一種全微分渲染管道。我們利用這種管道恢復(fù)的是以次表面散射為核心的材料屬性。最后我們復(fù)原了這兩種水果不同的材料和形狀，成功呈現(xiàn)了奇異果和火龍果方塊的視覺效果。
圖注：復(fù)原奇異果和火龍果方塊的流程
在以上研究中，我們運(yùn)用了學(xué)習(xí)和物理相結(jié)合的方式，并總結(jié)出了以下3點(diǎn)重要性。
理解視覺現(xiàn)象；
在復(fù)原物體的視覺效果前，先對(duì)其呈現(xiàn)的視覺效果進(jìn)行預(yù)判；
用戶控制。
還記得電影里主角走在街上，他看著櫥窗里的商品，然后視覺界面就告訴他他所看到物體的一切信息的場景嗎？
這就是細(xì)粒度對(duì)象識(shí)別（Fine-grained object recognition），是計(jì)算機(jī)視覺中的一個(gè)很大的研究領(lǐng)域，細(xì)粒度對(duì)象識(shí)別在在產(chǎn)品識(shí)別方面、房地產(chǎn)業(yè)等許多行業(yè)都得到了應(yīng)用。
圖注：細(xì)粒度對(duì)象識(shí)別提供的精準(zhǔn)信息
譬如這張圖上，細(xì)粒度對(duì)象識(shí)別可以說出這個(gè)人提著一個(gè)x，這個(gè)x不是指一個(gè)手提包（這個(gè)大部分人都可以說得出），這里x指的是一個(gè)特定品牌的手提包，這種精度的知識(shí)是大部分普通人都說不出的。
本質(zhì)上說，我們可以通過視覺識(shí)別提供專家級(jí)別的信息，甚至不止一個(gè)領(lǐng)域的專家級(jí)別信息，我認(rèn)為這方面的研究非常激動(dòng)人心。
這張圖上是一個(gè)篝火爐，也許有些人還不能僅僅通過視覺就判定這個(gè)物體的用途，而細(xì)粒度對(duì)象識(shí)別不僅可以告訴我們這是一個(gè)篝火爐，而且還能提供這個(gè)藝術(shù)品的名稱、何處可以購買以及設(shè)計(jì)藝術(shù)家的信息。
圖注：宜家APP
我們在宜家的增強(qiáng)現(xiàn)實(shí)APP中推出了這個(gè)使用方法。我們將視覺識(shí)別和虛擬渲染在增強(qiáng)現(xiàn)實(shí)的APP中綜合到了一起，從此我們過去關(guān)于視覺界面的設(shè)想開始逐步變成了現(xiàn)實(shí)。
圖注：Meta的購物AI GrokNet的界面
上圖的研究實(shí)際上是Meta的購物AI「GrokNet」的一部分。GrokNet的口號(hào)是讓每一張圖像都可以引領(lǐng)人們購物（shoppable），而我和我的研究小組的目標(biāo)則是，讓每一張圖像都能被理解（understandable）。
我以上所說的都是一些較為基礎(chǔ)的研究，而我們現(xiàn)在所做的是以前所未有的規(guī)模去收集視覺信息，包括照片、視頻甚至于衛(wèi)星圖像。這些年我們的衛(wèi)星數(shù)量大幅度增長，現(xiàn)在大約有1500個(gè)衛(wèi)星，這些衛(wèi)星每天上傳100 tb的數(shù)據(jù)，如果我們能做到理解衛(wèi)星圖像，那么我們就可以理解整個(gè)世界的發(fā)展方向，并且得知世界里在發(fā)生什么事情，這是一個(gè)非常激動(dòng)人心的研究方向。
圖注：我們能夠做到從世界尺度去理解圖片嗎？
如果我們能夠做到從世界層面去理解圖片，屆時(shí)我們就能回答圖片上的這些問題：我們應(yīng)該如何生活？我們穿什么？吃什么？我們的行為是如何隨時(shí)間變化的？隨著時(shí)間的推移，地球又是如何變化的?
于是我們開始與人類學(xué)家和社會(huì)學(xué)家共同研究這個(gè)問題，他們對(duì)于這些問題非常著迷，只是缺少一個(gè)有力的工具去進(jìn)行研究。與我們合作的其中一位人類學(xué)家對(duì)于“世界各地的服裝是如何變化的”這個(gè)問題非常感興趣，而我們發(fā)現(xiàn)這個(gè)問題其實(shí)與許多方面都有著聯(lián)系。
為什么地球上不同地域的人穿著不一樣？我們認(rèn)為有以下幾個(gè)原因：
天氣是一個(gè)很重要的原因，我們在夏天和加州的人穿著不一樣，因?yàn)榇颂幍奶鞖獗燃又菀獩隹欤?/span>
參加派對(duì)或者參加體育賽事，各類活動(dòng)或場合也需要人們穿著特定的服裝；
文化差異會(huì)使得世界各地衣著不同；
潮流趨勢也是一個(gè)影響的因素。
所以我們開始研究這個(gè)問題，并開始分析一組大約800萬張來自世界各地的人們的圖片。我們發(fā)明了一個(gè)簡單的識(shí)別算法，用來識(shí)別人們穿了什么衣服，其中包括12個(gè)屬性。
而我們從這個(gè)研究里發(fā)現(xiàn)了什么呢？
從我們的分析中可以看出一定的規(guī)律，比如右上角的人們穿著有一種偏綠的趨勢，而左下角的人們傾向于穿紅色衣服。
通過對(duì)大數(shù)據(jù)的分析，我們發(fā)現(xiàn)有一些數(shù)據(jù)符合我們的預(yù)設(shè)，如天氣確實(shí)影響人們的穿著，人們在冬天選擇穿厚衣服，在夏天穿著涼爽，這符合邏輯；可是在某些方面卻出現(xiàn)了一些奇怪的數(shù)據(jù)現(xiàn)象，如下圖所示，在芝加哥的數(shù)年內(nèi)，有幾個(gè)時(shí)間點(diǎn)是人們選擇穿著綠色的高峰。
這幾個(gè)時(shí)間點(diǎn)都是每年的三月份，經(jīng)過調(diào)查，原來這幾個(gè)時(shí)間點(diǎn)是芝加哥的圣帕特里克節(jié)：
這是當(dāng)?shù)匾粋€(gè)很重要的節(jié)日，在這天芝加哥的人們會(huì)選擇穿著綠色。如果不是當(dāng)?shù)厝耍芸赡懿恢烙羞@個(gè)文化活動(dòng)。
圖注：世界各地重視的文化活動(dòng)，人們會(huì)為這些活動(dòng)穿著不同顏色的衣物
通過識(shí)別大數(shù)據(jù)中人們的衣著變化，我們就能夠了解當(dāng)?shù)氐奈幕?政治活動(dòng)，從而去了解世界各地不同的地域文化。以上，就是我們從世界的角度去理解圖片信息的意義。
原視頻鏈接：https://www.youtube.com/watch?v=kaQSc4iFaxc
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
