0
| 本文作者： 李詩(shī) | 2017-10-25 16:51 |
（Magic Leap AR大象）
雷鋒網(wǎng)按：近日，AR創(chuàng)業(yè)公司Magic Leap又融資5億美元的消息讓業(yè)界不少人感到震驚。這家一直沒(méi)有產(chǎn)品的神秘的公司一度被認(rèn)為是騙子，但是其究竟是憑什么打動(dòng)谷歌、阿里、淡馬錫這些投資者？上?？萍即髮W(xué)曹煊博士曾發(fā)文指出，Magic Leap的核心價(jià)值其實(shí)在光場(chǎng)顯示技術(shù)。話題正熱，我們不妨來(lái)看，光場(chǎng)技術(shù)究竟能為AR/VR帶來(lái)什么？
VR的主要特色是身臨其境，可以讓我們足不出戶就領(lǐng)略世界各地的奇妙景觀，可以潛入深海近距離觀看鯊魚，可以漫步在沙漠的風(fēng)暴中心，可以穿著觀賞極寒之地的極光。
然而，在入秋的北京，雷鋒網(wǎng)編輯最想看的不過(guò)是某個(gè)寺廟前滿樹金黃的古老銀杏。捧一本書，坐在樹下，就可以感受秋天的季候和植物之間的光影變化。
從各個(gè)不同的角度，去感受光的變化，影的變化。這是目前VR還不能做到的。
目前VR內(nèi)容制作主要有相機(jī)采集和計(jì)算機(jī)模擬生成兩種方法：相機(jī)采集的方法主要采用傳統(tǒng)2D相機(jī)構(gòu)成陣列進(jìn)行環(huán)拍，例如Surround 360、Jump等360度全景相機(jī)；這種方式無(wú)法提供人眼需要的雙目視差、移動(dòng)視差和動(dòng)態(tài)對(duì)焦。計(jì)算機(jī)模擬生成3D內(nèi)容，雖然具有雙目視差、移動(dòng)視差和動(dòng)態(tài)對(duì)焦，但卻缺少如同真實(shí)世界中的準(zhǔn)確幾何信息和光影效果。只有同時(shí)達(dá)到了兩方面的視覺效果，才能實(shí)現(xiàn)人眼無(wú)法分辨的自然而真實(shí)的視覺體驗(yàn)。
而光場(chǎng)技術(shù)就是其中的核心，也成為了國(guó)際上競(jìng)相角逐的技術(shù)制高點(diǎn)。
9月27日，在北航召開的“三維顯示技術(shù)與產(chǎn)業(yè)發(fā)展高峰論壇”上，上海科技大學(xué)虛擬現(xiàn)實(shí)與視覺計(jì)算中心（VRVC)曹煊博士分享了他和虞晶怡教授正在從事的“虛擬現(xiàn)實(shí)與光場(chǎng)采集技術(shù)”。
曹煊在為什么要做光場(chǎng)、如何采集光場(chǎng)以及光場(chǎng)技術(shù)的未來(lái)發(fā)展等方面做出了詳細(xì)介紹。
首先，他回答的問(wèn)題是：為什么我們要做光場(chǎng)？“做光場(chǎng)最主要的原因就是我們?nèi)说难劬?duì)于視覺非常的挑剔。我們?nèi)搜劭慈S世界有心理上的暗示， 比如近大遠(yuǎn)小，遮擋、陰影、光照、經(jīng)驗(yàn)先驗(yàn)知識(shí)等等這樣一些心理方面。但是這不是主要的，更為主要的是生理上的深度信息，包括：雙目視差、雙目匯聚、移動(dòng)視差和聚焦模糊。人就是依靠這四個(gè)方面（雙目視差、雙目匯聚、移動(dòng)視差和聚焦模糊）來(lái)感知到三維環(huán)境?！?/strong>
目前的3D電影實(shí)際上只做到了雙目視差。通過(guò)為兩眼提供不同的圖像，來(lái)塑造立體感。與3D電影相比，VR增加了移動(dòng)視差。曹煊舉例說(shuō)，看3D電影的時(shí)候，坐在左側(cè)的觀眾和坐在右側(cè)的觀眾，戴上3D眼睛看到的3D內(nèi)容是一樣的，實(shí)際上這是不正確的。因?yàn)槿绻f(shuō)這是一個(gè)三維的物體的話，那么右側(cè)的觀眾應(yīng)該看到我的右臉，而左側(cè)的觀眾看到我的左臉。但實(shí)際上你去電影院看電影的時(shí)候，無(wú)論你坐在左側(cè)還是右側(cè)，你看到的都是男主角的正臉，而不會(huì)因?yàn)槟阕讲煌奈恢?，移?dòng)到不同的位置，而看到不同的圖像。
VR有了雙目視差和移動(dòng)視差，但是還缺少聚焦模糊。我們?nèi)搜墼诳碫R的時(shí)候，因?yàn)橛须p目視差，左眼和右眼能看到不一樣的圖像產(chǎn)生三維視覺。但是VR的頭顯里面永遠(yuǎn)都是靜態(tài)的、固定距離的一層屏幕在那兒顯示，我的眼睛的睫狀肌不能跟隨三維物體來(lái)回地前后聚焦，這會(huì)導(dǎo)致人眼在一定程度上失焦，使得雙眼十分疲勞。同時(shí)，眼鏡聚焦的位置和我看到三維物體的位置又產(chǎn)生了沖突，大腦就會(huì)反應(yīng)不過(guò)來(lái)，它不知道你到底告訴它看近處還是看遠(yuǎn)處，這也會(huì)加重VR眩暈癥。
而解決辦法就是讓VR眼鏡能夠同時(shí)顯示不同距離上的多層圖像，當(dāng)層數(shù)足夠多的時(shí)候，當(dāng)你的離散程度達(dá)到一定的密集程度以后，你就可以在很高的程度上去逼近這樣連續(xù)的聚焦空間。如果我們的VR眼鏡能夠?qū)崿F(xiàn)這樣顯示的效果的話，那么我們VR就基本上達(dá)到近似完美的顯示技術(shù)。
但是這個(gè)問(wèn)題并不簡(jiǎn)單。最核心的一個(gè)技術(shù)途徑就是Magic Leap所號(hào)稱的——光場(chǎng)技術(shù)。光場(chǎng)技術(shù)簡(jiǎn)單來(lái)說(shuō)，就是一個(gè)物體的表面所發(fā)出的各向異性的光線?！?/strong>大家今天能夠看到我在這里做報(bào)告，并不是因?yàn)榇蠹颐搅宋?，大家聞到了我，而是因?yàn)榇蠹铱吹轿冶砻嫒我庖粋€(gè)點(diǎn)在各個(gè)方向上所發(fā)出不同的光線，我們叫各向異性的光線?！备飨虍愋怨饩€的結(jié)合就是光場(chǎng)。
要實(shí)現(xiàn)這樣一個(gè)光場(chǎng)并不是那么簡(jiǎn)單。因?yàn)槟慵纫@示，同時(shí)你還需要采集。Magic Leap做的事情是把這樣一個(gè)高維度的光場(chǎng)信息顯示出來(lái)，通過(guò)戴眼鏡或者甚至不戴眼鏡的技術(shù)途徑把光場(chǎng)的信息全部都顯示出來(lái)。而上?？萍即髮W(xué)虛擬現(xiàn)實(shí)與視覺計(jì)算中心（VRVC）要做的是在能夠顯示之前首先能把這樣光場(chǎng)的信息采集下來(lái)。因?yàn)槿绻徊杉聛?lái)的話，裸眼三維或者是光場(chǎng)顯示，實(shí)際上是巧婦難為無(wú)米之炊。
在解釋清楚為什么光場(chǎng)技術(shù)是VR的核心技術(shù)，以及為什么要做光場(chǎng)采集后，接下來(lái)，曹煊介紹了光場(chǎng)采集的三個(gè)方向的技術(shù)平臺(tái)。
第一方面，用相機(jī)陣列去模擬昆蟲的復(fù)眼，從而實(shí)現(xiàn)動(dòng)態(tài)聚焦的效果。比如通過(guò)一個(gè)正面相機(jī)可以聚焦在后面這個(gè)同學(xué)身上，也可以聚焦在中間的同學(xué)身上，也可以聚焦在近處的同學(xué)的臉上。這就是正面相機(jī)構(gòu)成的復(fù)眼所實(shí)現(xiàn)的光場(chǎng)動(dòng)態(tài)聚焦的功能。
第二套設(shè)備，是具有雙目視差的全景相機(jī)。傳統(tǒng)的全景相機(jī)，就等效為一個(gè)人用單個(gè)眼睛環(huán)繞360度的環(huán)境去看一周。但是把雙目視差引入到了全景相機(jī)里面，人既能看到360度的圖像，左眼和右眼也可以看到不一樣的圖像。這樣，在看360度圖像的同時(shí)，能夠感知到同一個(gè)角度上物體遠(yuǎn)近位置的不同。
這個(gè)全景相機(jī)的平臺(tái)還加入了語(yǔ)義感知。也就是智能拼接，在拼接360度的內(nèi)容時(shí)，首先會(huì)把這個(gè)物象中的語(yǔ)義，也就是說(shuō)這個(gè)物體是什么東西，比如說(shuō)這是一個(gè)房子，這是一條河流，這是一棵樹。這個(gè)語(yǔ)義感知出來(lái)的時(shí)候，在拼縫的時(shí)候就可以把有語(yǔ)義的主體繞開，能夠避免這樣一個(gè)主體被破壞。把這樣一個(gè)全景相機(jī)和云端結(jié)合起來(lái)，從而形成了一整套這樣采集、處理、顯示完整的處理鏈路。
第三套設(shè)備，一個(gè)全方位的光場(chǎng)采集設(shè)備。實(shí)現(xiàn)了水平360度，垂直近似于360度，總共720度的光場(chǎng)的幾乎無(wú)死角的采集。用這樣的設(shè)備，能實(shí)現(xiàn)幾乎是瞬間采集。就像單反拍照一樣，一拍就能生成3D模型在建模的同時(shí)，除了利用傳統(tǒng)的一些計(jì)算機(jī)視覺、計(jì)算機(jī)圖像學(xué)的一些技術(shù)以外，還把人工智能的技術(shù)加進(jìn)去了。因?yàn)闆](méi)有辦法用一個(gè)統(tǒng)一的數(shù)學(xué)模型能夠把人眼成像的機(jī)理，能夠清晰、完整、準(zhǔn)確的建模建出來(lái)。那么我們采用了這樣一個(gè)深度學(xué)習(xí)的方法，我們通過(guò)機(jī)器學(xué)習(xí)來(lái)模擬人眼的視覺感知能力。
此外，有了模型之后還需要與深度學(xué)習(xí)相結(jié)合。在有了模型之后，要讓模型看起來(lái)真實(shí)，需要使得這個(gè)模型表面的點(diǎn)向各個(gè)方向發(fā)出的異性光，都要和真實(shí)的物體足夠的接近、足夠的逼真。人或者物品在三維環(huán)境當(dāng)中與光線有了交互的關(guān)系，那么看上去就足夠的逼真了。
用深度學(xué)習(xí)的辦法，把模型和采集到各向異性的光線的圖片同時(shí)放到網(wǎng)絡(luò)里面去，從而讓網(wǎng)絡(luò)或者是機(jī)器學(xué)習(xí)的辦法來(lái)決定每一個(gè)像素的每一個(gè)方向應(yīng)該發(fā)出什么樣的光線，才能夠使我們的眼睛看上去足夠的逼真，滿足我們挑剔的人眼。
上面這張圖片有一個(gè)桌面，上面有一個(gè)臺(tái)燈，有花，有一個(gè)唐三彩的馬。這些物體都非常的逼真，但是實(shí)際上這個(gè)唐三彩的馬在這個(gè)桌面上并不存在的，而是建完模型以后，用手機(jī)AR疊加上去的。整個(gè)馬表面上的反光、高光的反射，還有它的這個(gè)陰影，還有互相遮擋的關(guān)系，都是可以用深度學(xué)習(xí)的辦法，把它準(zhǔn)確的算出來(lái)的。在一定程度上，可以說(shuō)欺騙了大家挑剔的眼睛。
介紹完目前取得的進(jìn)展后，曹煊也對(duì)光場(chǎng)技術(shù)的未來(lái)進(jìn)行了展望。
首先，他認(rèn)為可以把光場(chǎng)應(yīng)用到智能視覺里面去。在未來(lái)，光場(chǎng)會(huì)取代我們2D圖片變成一種全新的視覺輸入語(yǔ)言?，F(xiàn)在光場(chǎng)數(shù)據(jù)量很大，隨著5G網(wǎng)絡(luò)出現(xiàn)以及數(shù)據(jù)壓縮技術(shù)進(jìn)一步改進(jìn)，還有量子計(jì)算機(jī)出現(xiàn)，光場(chǎng)技術(shù)就可以有廣泛運(yùn)用。例如，大家過(guò)安檢的時(shí)候，可以用光場(chǎng)相機(jī)去識(shí)別人臉。傳統(tǒng)相機(jī)會(huì)失焦，但是光場(chǎng)相機(jī)可以捕捉每一個(gè)人的臉，即使有人被遮擋。
其次，光場(chǎng)技術(shù)所要實(shí)現(xiàn)的目標(biāo)是模糊虛擬和現(xiàn)實(shí)的邊界。如果虛擬物體足夠真實(shí)，那你也就無(wú)法區(qū)分。依靠這樣的一個(gè)光場(chǎng)技術(shù)，那么你就可以在家里逛商場(chǎng)，逛美國(guó)的第五大道購(gòu)物天堂。那么你可以去感受到這樣一個(gè)逼真的LV包包的材質(zhì)，它的反光，它的所有各個(gè)方面。我們期望建立這樣一個(gè)高自動(dòng)化、低干預(yù)度流水線的光場(chǎng)建模的平臺(tái)。那么所有的物品經(jīng)過(guò)這樣流水線的處理，那么我們所有的這樣現(xiàn)實(shí)生活中的物品都被我們用數(shù)字化的手段克隆到了我們?nèi)S世界當(dāng)中去。
(Magic Leap鏡片）
光場(chǎng)技術(shù)是支持VR/AR更逼近現(xiàn)實(shí)，模糊虛擬與現(xiàn)實(shí)分界的技術(shù)。Magic Leap的核心技術(shù)主要有三方面：(SLAM、CG、Light Filed)，光場(chǎng)技術(shù)更是其核心技術(shù)，這或許是其能總?cè)谫Y14億美元，估值60億的原因。在發(fā)表于中國(guó)電子報(bào)的文章《Magic Leap光場(chǎng)技術(shù)：是技術(shù)之躍，更是魔法之躍》這篇文章里，曹煊曾指出：Magic Leap 并沒(méi)有宣稱能實(shí)現(xiàn)裸眼3D，還是要靠鏡片實(shí)現(xiàn)。Magic Leap稱之為硅光電技術(shù)(Silicon Photonics)，極有可能是Silicon Waveguides技術(shù)，光學(xué)頂級(jí)期刊OE上有大量文章研究過(guò)該技術(shù)。以色列Lumus以及微軟HoloLens采用的是光波導(dǎo)技術(shù)(Light Waveguides)，可以使顯示器件更輕更薄，但只能為單眼投射單幅圖像。而Magic Leap卻稱其采用的技術(shù)不僅能輕薄化，還能為單眼提供多幅不同聚焦的圖片，從而實(shí)現(xiàn)光場(chǎng)顯示。
Magic Leap光場(chǎng)顯示技術(shù)還面臨著光場(chǎng)數(shù)據(jù)量太大、光場(chǎng)計(jì)算量大、小型化便捷性等多個(gè)商業(yè)化難題。曹煊認(rèn)為：“光場(chǎng)顯示更依賴于特殊的顯示器件(硬件)，而光場(chǎng)采集更依賴于算法(軟件)。Magic Leap演示的所有Demo中，無(wú)論是機(jī)器人、太陽(yáng)系、辦公室的郵件等都是計(jì)算機(jī)渲染的光場(chǎng)，而沒(méi)有采集真實(shí)場(chǎng)景的光場(chǎng)，可見Magic Leap現(xiàn)在還無(wú)暇顧及光場(chǎng)采集技術(shù)，亦或等待與其他光場(chǎng)采集技術(shù)團(tuán)隊(duì)合作。”
據(jù)雷鋒網(wǎng)了解，曹煊所在的上海科技大學(xué)虛擬現(xiàn)實(shí)與視覺計(jì)算中心（VRVC）由虞晶怡教授領(lǐng)導(dǎo)組建，該實(shí)驗(yàn)室致力于光場(chǎng)虛擬現(xiàn)實(shí)平臺(tái)的研究和應(yīng)用，以實(shí)現(xiàn)人眼無(wú)法分辨的虛擬現(xiàn)實(shí)為目標(biāo)，從光場(chǎng)的捕獲、壓縮、處理、渲染和顯示等方面開展基礎(chǔ)理論研究與核心技術(shù)攻關(guān)，探索從微觀尺度到宏觀尺度的光場(chǎng)虛擬現(xiàn)實(shí)技術(shù)，將率先實(shí)現(xiàn)達(dá)到人眼分辨率的動(dòng)態(tài)真實(shí)場(chǎng)景的360度3D全景實(shí)時(shí)采集、處理和遠(yuǎn)程重現(xiàn)技術(shù)，提供跨尺度、跨學(xué)科的通用光場(chǎng)技術(shù)平臺(tái)。如果說(shuō)Magic Leap的核心是光場(chǎng)的顯示輸出，VRVC專注的則是光場(chǎng)的采集輸入。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
