0
| 本文作者： 余快 | 2022-01-04 20:27 |
2021年12月11日，由雷峰網(wǎng)(公眾號：雷峰網(wǎng)) & AI 掘金志主辦的第四屆中國人工智能安防峰會，在深圳正式召開。
本屆峰會以「數(shù)字城市的時代突圍」為主題，會上代表城市AIoT的14家標(biāo)桿企業(yè)，為現(xiàn)場和線上觀眾，分享迎接數(shù)字城市的經(jīng)營理念與技術(shù)應(yīng)用方法論。
作為上午場的開場嘉賓，虞晶怡從深度學(xué)習(xí)的角度，從建模、渲染以及隱私保護三個方面分享了對未來城市元宇宙的理解。
虞晶怡提到，他所研究的計算機視覺領(lǐng)域一個非常重要的任務(wù)，就是完成物理世界向數(shù)字世界的映射。為了完成這個映射，產(chǎn)生了非常多的概念，比如最早的數(shù)字孿生，到現(xiàn)在的元宇宙。但無論是什么概念，歸根到底需要解決幾個核心問題：
三維建模如何完成？圖像分析如何完成？隱私保護如何完成？
虞晶怡教授從四個方面出發(fā)闡述了對以上問題的理解：
計算成像、三維重建、智能融合、隱私保護。
2D計算成像。過去幾年，編碼成像取得了很大的進步。在圖像質(zhì)量方面，利用編碼成像可以在高速和離焦的情況下獲得更好的圖像。
虞晶怡指出，做智慧城市離不開三維重建。計算機視覺界已經(jīng)做了很多年，其中最為出色的解決方案來自谷歌的“一日建模”。具體有三個步驟：通過針對大量圖像進行位置猜測，再通過特征提取獲取精確的相機位置，再對圖像特征進行匹配和三維確認(rèn)，最后得到模型，這個方式在大規(guī)模城市重建中非常常用。
基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的最新方法，即2D+3D融合。因為很多智慧城市模型并不精確，將城市進行三維重建后，把二維的貼圖與三維模型融合，可以得到多視角視頻。
最后，虞晶怡教授著重分享了隱私保護，他認(rèn)為重建做得無論多好，最重要的是保護隱私。
以下是虞晶怡演講全文，雷峰網(wǎng)AI掘金志作了不改變原意的整理與編輯：
今天給大家分享一個我認(rèn)為非常有意思的話題，主題叫《The future of MetaCity：Modeling，Rendering，and Privacy Protection》，講講我眼里的元城市，我會從深度學(xué)習(xí)的角度分享如何建模、如何渲染，以及最重要的如何保護個人隱私。
大家討論的智慧城市是什么？這是一件很有意思的事情。我記得很多年前王堅博士跟我有個討論，他想要知道智慧城市的一個功能，比如“你能不能告訴我現(xiàn)在馬路上有多少輛車在開？”
這個問題聽上去好像很簡單，其實很復(fù)雜，雖然我們已經(jīng)有大量攝像頭，但每個攝像頭只能看到城市中很小一部分的車輛，如何統(tǒng)計出它們分別在什么位置，如何計算出有多少車輛是非常大的挑戰(zhàn)。
我研究的領(lǐng)域是計算機視覺，其中一個非常重要的任務(wù)是完成從物理世界向數(shù)字世界的映射。完成了這個映射，大家就可以玩各種概念。而從最早的數(shù)字孿生到現(xiàn)在的元宇宙，歸根到底，需要解決幾個核心問題：
三維建模怎么完成？圖像分析怎么完成？隱私保護怎么完成？
今天的演講主要分為四個部分：計算成像、三維重建、基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的最新方法、隱私保護。
第一部分，所謂的2D高清圖像，就是傳統(tǒng)的計算成像。過去二十年我一直在做計算成像，設(shè)計了各種各樣的相機系統(tǒng)。
相機系統(tǒng)本身很復(fù)雜，有很多組成部分，比如相機的鏡頭、快門、閃光燈、光圈以及各相機陣列。得益于計算成像，在獲取圖像之后可以通過各種計算方法對圖像進行進一步的分析，基于此，我們已經(jīng)可以做很有意思的事情了。
2018年上海第一屆進博會，我們展示了一個技術(shù)，叫“億萬像素的上海”，照片可以進行實時無窮盡地推進。
可能大家都去過上海，但絕大部分的人沒有去過東方明珠的塔尖（因為去的話就會被就地拘留）。這幅圖片是140億像素的上海，我可以隨時隨地做實時渲染，也可以推進到東方明珠的塔尖，你甚至可以看到塔尖上有幾根天線。
這個系統(tǒng)是如何完成的？通過光場相機系統(tǒng)，用很多相機拍攝后進行拼接，再進行渲染。我們不希望這個渲染是在集群上進行的，因為云端渲染非常昂貴，而是在手機等便攜終端上，比如剛才的示范樣片就是在小米電腦上進行實時渲染。
我們當(dāng)時利用了計算成像的算法技術(shù)，其實就是把圖像進行分級的分割和存儲，最后在存儲之后，就能夠非常快地索引到每一個部分的模塊，這個文章發(fā)在TVCG上。
這項技術(shù)最近有很多進展，過去一年，有很多基于深度學(xué)習(xí)的方法，能把整個圖像壓縮在一個網(wǎng)絡(luò)之中。
計算成像另一個優(yōu)勢是，不但能做超高清的成像，還能做超高速的成像。
十年前我做了一項工作，叫“超高速下的編碼快門成像”（Coded Shutter Imaging：Ultra-High Speed），我拍攝了高速運動的車輛，試圖通過圖像的逆問題把圖像恢復(fù)出來，比如高清恢復(fù)車牌。
傳統(tǒng)的快門在高速運動下為什么做不了？
在傳統(tǒng)快門高拍攝的過程中，整個快門就是關(guān)和開，如果把這個問題映射到傅里葉域，首先面臨的是圖像卷積的問題，它等于是用模糊的（也就是低頻的）卷積核卷積了一張清晰的圖像，整個圖像的高頻成分會被損壞，更糟糕的是逆卷積非常難，因為這是基本的數(shù)學(xué)問題。
Sinc function有一個弊端，首先它的高頻部分會發(fā)生非常猛烈的振蕩。其次，它會多次切入零點，如此，這個乘積就無法做除法，因為到處都是0點，那怎么求解這個問題？十年前我們就開始想如何解決這個問題。
第一種方式是快門隨機地開/關(guān)，圖像同樣會被模糊掉。但為什么這個隨機的開/關(guān)能使得“去模糊”的方法做得更好？因為隨機開/關(guān)，等價于每次開的時候是sinc 函數(shù)，但因為它的位置不一樣，等于把不同的sinc 函數(shù)在里面疊加，其結(jié)果就是這個頻譜非常好看，因為同時在這個位置出現(xiàn)0的可能性非常低，我的目標(biāo)是在頻域里不希望出現(xiàn)0點，出現(xiàn)0點沒辦法除。有了這個頻譜之后，用編碼成像的方法對圖像進行恢復(fù)，結(jié)果恢復(fù)得很好。
舉個例子，這是一幅編碼成像的圖片，是我的同事在MIT拍攝的。大家可以猜一下這輛紅色小轎車是什么型號？是哪個廠出的？絕大部分的人會猜測它是奧迪，也有人說是TOYOTA，但其實這個車通過編碼成像，恢復(fù)出來的是大眾的車牌。在過去這些年，編碼成像得到了長足發(fā)展，在高速成像、散焦成像上都能通過編碼成像得到更好的圖像，過去幾年很多高質(zhì)量的圖像都是通過編碼成像技術(shù)獲得。
做智慧城市避不開三維城市重建，這在計算機視覺界已經(jīng)研究了很多年，其實最為出色的解決方案是來自谷歌的“一日建羅馬”。大家都說“羅馬不是一日建成的”，所以他們在羅馬這樣的城市級別做了大規(guī)模重建。他們的想法是拍攝大量城市的圖像，把這些城市的圖像通過相機位置的標(biāo)定和三維重建的方法進行三維重現(xiàn)。
具體展開，分為幾個步驟：
先是針對大量圖像進行位置猜測，有很多方式，對城市級別來說，可以用GPS信號等數(shù)據(jù)做粗略定位，再通過特征提取獲取精確的相機位置，然后再對圖像特征進行匹配和三維關(guān)聯(lián)確認(rèn)，最后得到稀疏的3D點云信息。
對于大規(guī)模的城市這個方法非常常用。大家最熟悉的是傾斜攝影，大規(guī)模的城市尺度都是利用無人機拍攝然后進行計算，這個方法本身有幾個比較嚴(yán)重的問題，最主要的問題是非常昂貴。
凡是做過大規(guī)模城市尺度重建的都知道，在集群上運算的時間長達半天，其實半天時間已經(jīng)非常少見，絕大部分都需要運算幾天幾夜，而且，運算完后得到的點云依然很差。這是因為點云本身依靠特征來提取，特征本身是稀疏的，所以得到的點云本身是稀疏的三維點云。
如果這樣給政府做城市級別的重建，會非常辛苦，你需要找一個非常大的藝術(shù)團隊幫你修復(fù)，因為所有的點云都需要把噪音抹掉，把點云修正成幾何形狀，這是所有做過智慧城市的人都感同身受的。
隨著技術(shù)的發(fā)展，這兩步分別都將得到很大的進展。第一個是三維點云的獲取，傳統(tǒng)三維點云的獲取是依靠傾斜攝影和圖像，現(xiàn)在可以通過視覺定位、掃描和點云的LiDAR進行補償。
因為LiDAR系統(tǒng)本身無法做三維空間的定位，你可以把LiDAR系統(tǒng)和視覺相機混合，靠視覺相機進行三維定位。
舉個例子，我的學(xué)生在上科大創(chuàng)辦的岱悟智能，讓用戶頭上頂著LiDAR和RGB相機，RGB相機做定位，LiDAR獲取場景里三維稀疏的點云信息，通過不斷行走就可以把整個場景呈現(xiàn)出來。
我們上次做了一個嘗試，把這個設(shè)備裝在小車上，15分鐘就可以完成一平方公里的地下車庫掃描流程，效率非常高。
給大家演示一下我們當(dāng)時完成的上?？萍即髮W(xué)地下車庫的數(shù)字孿生，人徒步完成還是比較吃力（但對碼工來說走一個半小時還是蠻減肥的）大概15-20分鐘就可以完全完成數(shù)據(jù)的采集。三維點云的采集不再需要復(fù)雜的計算機視覺系統(tǒng)，而是用比較簡單的LiDAR+視覺定位的方式來解決，這將成為未來的大趨勢。
同理，這個系統(tǒng)也可以裝在無人機上，過程非?？臁Ｎ覀冏隽艘粋€嘗試，在上科大一平方公里的范圍內(nèi)進行邊飛邊實時產(chǎn)生點云，結(jié)果很酷。
幾年前我看過一個電影《普羅米修斯》，就是拿三維小球，在三維空間進行掃描，隧道場景很快就出現(xiàn)了，也就是說這個夢想已經(jīng)成真了，可以非常快地做外部場景的掃描。
有什么用？掃描之后你可以做很有意思的事情。
比如對工地進行監(jiān)控，看工地是否每日按照圖紙的規(guī)劃進行建設(shè)，隨著多次的掃描，不但可以獲取非常高清的工地三維數(shù)字孿生模型，還可以把無人機拍到的視頻信息融合。其實也就是把圖片和三維幾何的模型融合，切入到模型時，瞬間可以切換到高清圖片，可以看到每一個圖片的高清細(xì)節(jié)，效果非?？犰?，而且確實有用，上海很多社區(qū)都開始使用這個技術(shù)進行二緯和三維的融合了。
這對智慧城市有什么用？
第一，很多智慧城市的模型并不精確，是CG模型，通過我們的技術(shù)可以進行點云數(shù)據(jù)+視頻/圖像融合。
第二，很重要的點，能解決當(dāng)時王堅博士的問題：在三維空間里判斷有多少輛車。
2018年、2019年我們在徐家匯商圈做了一個很有意思的事情。當(dāng)時我們用上述方式，把整個徐家匯的商圈進行了三維重建。重建之后，把路燈、樓頂視角的視頻融合在一起，現(xiàn)在各位看到的是多個視角融合的視頻。
如果我把一個區(qū)域內(nèi)所有的視頻融合在三維空間，我就可以告訴你現(xiàn)在路上有多少輛車在跑，有多少人在行走，這對智慧城市來說解決了非常重要的一個問題。有了這套系統(tǒng)，可以做非常多很酷的應(yīng)用，比如可以做碳排放的檢測，因為我知道有多少輛車，耗能是多少。
傳統(tǒng)的三維重建，幾何是幾何、圖片是圖片，幾何和圖像是分離的。下面我想講最為有意思的一部分，《Neural Modeling and Rendering》，用神經(jīng)網(wǎng)絡(luò)的辦法把幾何和圖像融合在一起。
這是來自英偉達非常酷的一個demo，是為了游戲而做的。在這個demo里所有的幾何都是定死的，但我可以隨意地做風(fēng)格遷徙，比如我希望它是沙漠，它就可以是沙漠，我希望樹是真實的，就可以做真實的樹。左下角是非常粗略的模型，但是有語義分割。根據(jù)語義分割和三維場景的粗略幾何，可以變換分割成右上角這樣看上去非常真實的三維圖像。
換言之，我可以通過學(xué)習(xí)的方法，把粗略的幾何恢復(fù)成非常好的三維的模型，從而大幅度降低人工成本。
過去十年里，我最為欣賞的一個項目來自加州大學(xué)伯克利分校，他們把幾何和外觀融合在一起。
在傳統(tǒng)的方式中，要用點云或mesh來表示幾何，然后再用貼圖的方法構(gòu)建外觀，如果點云或貼圖的質(zhì)量不好，合成效果就很差。
前面講了，我需要從多視角拍攝圖片重建幾何，那我不如把所有的圖片都輸入到一個神經(jīng)網(wǎng)絡(luò)NeRF中，訓(xùn)練完之后可以渲染任意視角下的任意圖片，這樣可以實現(xiàn)無需幾何先驗的幾何重建。
怎樣實現(xiàn)這件事？用神經(jīng)網(wǎng)絡(luò)完成光線-顏色-深度的映射，每一根光線可以用X、Y、Z，也就是光線的原點以及方向來表述，通過網(wǎng)絡(luò)可以告訴你沿著這個光線應(yīng)該看到什么樣的RGB顏色，此外網(wǎng)絡(luò)還會預(yù)測一個sigma參數(shù)，它代表的是X、Y、Z處的物質(zhì)密度，如果密度很高說明存在物體，密度很低說明是真空的。
如此一來我就可以做很有意思的東西，也就是說，我們訓(xùn)練網(wǎng)絡(luò)的時候，可以把幾何和紋理的概念拋棄，我擁有的就是神經(jīng)網(wǎng)絡(luò)，只需完成利用這個神經(jīng)網(wǎng)絡(luò)從光線到顏色到深度的預(yù)測，幾何和紋理就自然地生成了，這是我過去看到的非?？岬墓ぷ?。過去幾年大家逐漸意識到，原來用NeRF框架，不但能做元宇宙物體的生成，也能做元城市級別的生成。
以上介紹的主要是別人的工作，先說一篇《NeRF in the Wild》的工作，跟前面的工作的思路是一致的：也即是輸入很多圖片，同時這些圖片包含了位置和圖像性質(zhì)，以及一個很有意思的概念——瞬態(tài)。瞬態(tài)是什么意思呢？比如我在三維空間拍攝了很多圖片，因拍攝的視角不同，有的地方有遮擋，比如樓前面有樹的遮擋，也有行走的人的遮擋。但因為我拍了很多圖片，而且是在不同視角拍的，所以會產(chǎn)生很多不同的視角，唯一不變的就是靜態(tài)幾何，一直在變的是瞬態(tài)。然后我們可以將瞬態(tài)和靜態(tài)幾何一起重建，最后還可以把瞬態(tài)和靜態(tài)幾何進行分離。同樣，用NeRF框架，所有一系列的工作，都可以通過一個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練而完成。
我們看一下它的結(jié)果，非?？?。因為圖片是白天和黑夜不同時刻拍攝的，但我能夠在不同時刻展現(xiàn)出前景和后景的渲染，沒有幾何，用NeRF框架、神經(jīng)網(wǎng)絡(luò)表征這么大尺度的場景。
我們再看一些更復(fù)雜的場景，比如它可以在布拉格的街區(qū)用網(wǎng)絡(luò)成像來做。
這是羅馬的噴泉。雖然點云用傳統(tǒng)的三維重建會很差，但沒關(guān)系，用NeRF框架可以產(chǎn)生非常好的三維結(jié)構(gòu)。這個方法不僅能重建外部幾何，也可以在重建內(nèi)部幾何，比如在一個建筑的內(nèi)部拍攝大量圖片，然后用神經(jīng)網(wǎng)絡(luò)的框架進行重建。
這是在印度做的，通過多視角的圖片，其實沒有真正顯示重建幾何，而是隱式地表示三維重建的效果，它是全自動的，不需要人去修，所以大家看到這個結(jié)果應(yīng)該覺得非常驚艷，如果用artist去修是非常大的工作量。
去年有一篇很有意思的論文《Urban Radiance Field》。想法類似，輸入很多圖片，但跟前面論文不一樣的是，它還結(jié)合了LiDAR的點云信號。
前者的幾何依然需要NeRF訓(xùn)練，但NeRF的訓(xùn)練非常慢，所以他們索性就用LiDAR產(chǎn)生的點云信號作為輸入，輸出是完整、高清的三維重建，同時還有一個高清的視角渲染，這非?？?，從多視角圖片的傾斜攝影技術(shù)往點云融合。
但我當(dāng)時研究還差了一步，用NeRF的框架做渲染，現(xiàn)在大家可以看到神經(jīng)網(wǎng)絡(luò)的這個強大功能。
這是一部分渲染的結(jié)果，可以看到上面的點云和光斑變化。這是圣保羅的場景，可以在里面走來走去，產(chǎn)生相當(dāng)不錯的渲染效果。
最為重要的是，這里不需要artist去修，否則人力成本太高了，不可能完成元城市（MetaCity）的重建。不同的國家和不同的城市都能使用這個方法，相當(dāng)大規(guī)模的幾何重建渲染，全是依靠NeRF的框架實現(xiàn)，所以我覺得它的效果還是非常酷的。
給大家介紹了基于神經(jīng)網(wǎng)絡(luò)三維重建的工作，很多是別人的工作，也有一部分是我們的工作。
最后我想講，重建做得無論多好，最重要的是保護隱私。
給大家講一個我的故事。2010年，十年前我和林海濱教授做了一個項目，內(nèi)容是如何在安防系統(tǒng)下進行隱私保護?，F(xiàn)在看來這個工作還是非常有意思的，因為2010年并沒有想到安防會發(fā)展到如此高的地步，隱私保護當(dāng)時也沒有受到重視。
前面提到，可以通過圖片快門的控制，把曝光變得模糊。我們在想，能不能故意把圖片進行模糊？模糊了圖片就可以保護隱私了。
聽起來很容易，但問題來了，模糊完了圖片，怎么保證捕捉重要的信息？比如我需要知道這個人的行為，但不希望泄露這個人的身份。
當(dāng)時我們提出一個非?？岬母拍睢０岩粋€視頻用兩種不同的模式進行模糊，我們把這兩種模式稱為互素的，這里借鑒了數(shù)學(xué)中的素數(shù)概念。
這樣做有什么好處？如果只是給低權(quán)限的人看，只需要給他看模糊線條輪廓，它可以用任何現(xiàn)有的算法，對監(jiān)控視頻進行去模糊，結(jié)果看不到臉，但能看到人的行為。但對于高權(quán)限的人來說，我可以給到兩個已經(jīng)模糊后線條輪廓，通過互素性質(zhì)對圖像進行去模糊，從而產(chǎn)生非常高清的監(jiān)控視頻，我們的論文發(fā)在PAMI上，當(dāng)時這個想法還是非常酷的。
這個結(jié)果很有意思，左上角是一個模糊的圖像，你可以通過最好的方法進行去模糊。右上角和左下角的去模糊方法可以恢復(fù)人在行走的信息，但無法恢復(fù)出人臉的細(xì)節(jié)。而在右下角，如果是高權(quán)限人群，可以同時拿到兩個blur stream，利用互素的性質(zhì)對整個圖像進行解碼。非常重要的一點是，不需要知道這些圖像用什么kernel進行模糊的，就可以對其進行解碼。
另外，我們希望通過多閃光燈的方法進行保護?？赡艽蠹視X得很奇怪，為什么多閃光燈能進行隱私保護？
通過閃光燈，可以產(chǎn)生影子。閃光燈如果在左邊，影子就會在右邊。如果閃光燈在右邊，影子會在左邊。隨著閃光燈位置的變化，影子也會產(chǎn)生變化。根據(jù)影子的變化，我可以分析這些影子是如何變化的，從而獲取到一個非常有意思的圖像。雖然我沒辦法精確知道它的深度是什么，但可以提取出它的深度邊界。
為什么這件事對隱私保護很重要？這是一款老舊的車，通過多閃光燈的方法，可以非常準(zhǔn)確地把邊界提取出來。其中一些細(xì)節(jié)，比如看左上角的圖，我知道這個車生銹了，但左下角的圖看不出生銹，這是很具體的生銹的紋理，跟深度不相關(guān)的信息，會被我們輕易抹去。
如果我的安防是由多個閃光燈組成的，就可以把多個重要的身份信息隱藏，比如海報上的字，比如衣服上的花紋，都可以被抹掉，從而起到隱私保護的作用。
再比如人臉上有很多特征，像左圖里的痣，是非常明顯的身份標(biāo)志，但痣本身是一個紋理，通過閃光燈的方法，可以把痣去掉，通過邊界對圖像進行模糊，刻意去掉這個信息。
2010年的時候，美國對隱私保護不夠重視，當(dāng)時我們兩人寫了一個非常激動人心的項目，但被否定了。我記得非常清楚，其中有一個回復(fù)的意見說：隱私保護是已經(jīng)解決的問題，你們?yōu)槭裁催€要再寫一個隱私保護的提案。可見大家在做研究的時候，必須先有先知，要意識到這個事情對整個社會的影響。
總結(jié)一下。我給大家介紹的最新的MetaCity的工作，包括2D成像、3D重現(xiàn)的技術(shù)、用神經(jīng)網(wǎng)絡(luò)的建模和渲染方法對整個智慧城市進行建模，它的最大功效，不需要人工參與，就可以對渲染起到增強和去噪作為。隱私保護是重要組成部分，前面講到兩種隱私保護的方法，我今天特別介紹了用神經(jīng)網(wǎng)絡(luò)，本身它就具有隱私保護的作用，因為傳統(tǒng)方式需要傳幾何、圖片，但幾何和圖片全都被編碼在神經(jīng)網(wǎng)絡(luò)中，這個神經(jīng)網(wǎng)絡(luò)本身又能起到隱私保護的作用，又能有效地渲染圖片。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
