0
| 本文作者： 余快 | 2022-01-04 20:27 |
2021年12月11日，由雷峰網(wǎng)(公眾號：雷峰網(wǎng)) & AI 掘金志主辦的第四屆中國人工智能安防峰會，在深圳正式召開。
本屆峰會以「數(shù)字城市的時(shí)代突圍」為主題，會上代表城市AIoT的14家標(biāo)桿企業(yè)，為現(xiàn)場和線上觀眾，分享迎接數(shù)字城市的經(jīng)營理念與技術(shù)應(yīng)用方法論。
作為上午場的開場嘉賓，虞晶怡從深度學(xué)習(xí)的角度，從建模、渲染以及隱私保護(hù)三個(gè)方面分享了對未來城市元宇宙的理解。
虞晶怡提到，他所研究的計(jì)算機(jī)視覺領(lǐng)域一個(gè)非常重要的任務(wù)，就是完成物理世界向數(shù)字世界的映射。為了完成這個(gè)映射，產(chǎn)生了非常多的概念，比如最早的數(shù)字孿生，到現(xiàn)在的元宇宙。但無論是什么概念，歸根到底需要解決幾個(gè)核心問題：
三維建模如何完成？圖像分析如何完成？隱私保護(hù)如何完成？
虞晶怡教授從四個(gè)方面出發(fā)闡述了對以上問題的理解：
計(jì)算成像、三維重建、智能融合、隱私保護(hù)。
2D計(jì)算成像。過去幾年，編碼成像取得了很大的進(jìn)步。在圖像質(zhì)量方面，利用編碼成像可以在高速和離焦的情況下獲得更好的圖像。
虞晶怡指出，做智慧城市離不開三維重建。計(jì)算機(jī)視覺界已經(jīng)做了很多年，其中最為出色的解決方案來自谷歌的“一日建?！?。具體有三個(gè)步驟：通過針對大量圖像進(jìn)行位置猜測，再通過特征提取獲取精確的相機(jī)位置，再對圖像特征進(jìn)行匹配和三維確認(rèn)，最后得到模型，這個(gè)方式在大規(guī)模城市重建中非常常用。
基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的最新方法，即2D+3D融合。因?yàn)楹芏嘀腔鄢鞘心Ｐ筒⒉痪_，將城市進(jìn)行三維重建后，把二維的貼圖與三維模型融合，可以得到多視角視頻。
最后，虞晶怡教授著重分享了隱私保護(hù)，他認(rèn)為重建做得無論多好，最重要的是保護(hù)隱私。
以下是虞晶怡演講全文，雷峰網(wǎng)AI掘金志作了不改變原意的整理與編輯：
今天給大家分享一個(gè)我認(rèn)為非常有意思的話題，主題叫《The future of MetaCity：Modeling，Rendering，and Privacy Protection》，講講我眼里的元城市，我會從深度學(xué)習(xí)的角度分享如何建模、如何渲染，以及最重要的如何保護(hù)個(gè)人隱私。
大家討論的智慧城市是什么？這是一件很有意思的事情。我記得很多年前王堅(jiān)博士跟我有個(gè)討論，他想要知道智慧城市的一個(gè)功能，比如“你能不能告訴我現(xiàn)在馬路上有多少輛車在開？”
這個(gè)問題聽上去好像很簡單，其實(shí)很復(fù)雜，雖然我們已經(jīng)有大量攝像頭，但每個(gè)攝像頭只能看到城市中很小一部分的車輛，如何統(tǒng)計(jì)出它們分別在什么位置，如何計(jì)算出有多少車輛是非常大的挑戰(zhàn)。
我研究的領(lǐng)域是計(jì)算機(jī)視覺，其中一個(gè)非常重要的任務(wù)是完成從物理世界向數(shù)字世界的映射。完成了這個(gè)映射，大家就可以玩各種概念。而從最早的數(shù)字孿生到現(xiàn)在的元宇宙，歸根到底，需要解決幾個(gè)核心問題：
三維建模怎么完成？圖像分析怎么完成？隱私保護(hù)怎么完成？
今天的演講主要分為四個(gè)部分：計(jì)算成像、三維重建、基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的最新方法、隱私保護(hù)。
第一部分，所謂的2D高清圖像，就是傳統(tǒng)的計(jì)算成像。過去二十年我一直在做計(jì)算成像，設(shè)計(jì)了各種各樣的相機(jī)系統(tǒng)。
相機(jī)系統(tǒng)本身很復(fù)雜，有很多組成部分，比如相機(jī)的鏡頭、快門、閃光燈、光圈以及各相機(jī)陣列。得益于計(jì)算成像，在獲取圖像之后可以通過各種計(jì)算方法對圖像進(jìn)行進(jìn)一步的分析，基于此，我們已經(jīng)可以做很有意思的事情了。
2018年上海第一屆進(jìn)博會，我們展示了一個(gè)技術(shù)，叫“億萬像素的上海”，照片可以進(jìn)行實(shí)時(shí)無窮盡地推進(jìn)。
可能大家都去過上海，但絕大部分的人沒有去過東方明珠的塔尖（因?yàn)槿サ脑捑蜁痪偷鼐辛簦?。這幅圖片是140億像素的上海，我可以隨時(shí)隨地做實(shí)時(shí)渲染，也可以推進(jìn)到東方明珠的塔尖，你甚至可以看到塔尖上有幾根天線。
這個(gè)系統(tǒng)是如何完成的？通過光場相機(jī)系統(tǒng)，用很多相機(jī)拍攝后進(jìn)行拼接，再進(jìn)行渲染。我們不希望這個(gè)渲染是在集群上進(jìn)行的，因?yàn)樵贫虽秩痉浅０嘿F，而是在手機(jī)等便攜終端上，比如剛才的示范樣片就是在小米電腦上進(jìn)行實(shí)時(shí)渲染。
我們當(dāng)時(shí)利用了計(jì)算成像的算法技術(shù)，其實(shí)就是把圖像進(jìn)行分級的分割和存儲，最后在存儲之后，就能夠非常快地索引到每一個(gè)部分的模塊，這個(gè)文章發(fā)在TVCG上。
這項(xiàng)技術(shù)最近有很多進(jìn)展，過去一年，有很多基于深度學(xué)習(xí)的方法，能把整個(gè)圖像壓縮在一個(gè)網(wǎng)絡(luò)之中。
計(jì)算成像另一個(gè)優(yōu)勢是，不但能做超高清的成像，還能做超高速的成像。
十年前我做了一項(xiàng)工作，叫“超高速下的編碼快門成像”（Coded Shutter Imaging：Ultra-High Speed），我拍攝了高速運(yùn)動(dòng)的車輛，試圖通過圖像的逆問題把圖像恢復(fù)出來，比如高清恢復(fù)車牌。
傳統(tǒng)的快門在高速運(yùn)動(dòng)下為什么做不了？
在傳統(tǒng)快門高拍攝的過程中，整個(gè)快門就是關(guān)和開，如果把這個(gè)問題映射到傅里葉域，首先面臨的是圖像卷積的問題，它等于是用模糊的（也就是低頻的）卷積核卷積了一張清晰的圖像，整個(gè)圖像的高頻成分會被損壞，更糟糕的是逆卷積非常難，因?yàn)檫@是基本的數(shù)學(xué)問題。
Sinc function有一個(gè)弊端，首先它的高頻部分會發(fā)生非常猛烈的振蕩。其次，它會多次切入零點(diǎn)，如此，這個(gè)乘積就無法做除法，因?yàn)榈教幎际?點(diǎn)，那怎么求解這個(gè)問題？十年前我們就開始想如何解決這個(gè)問題。
第一種方式是快門隨機(jī)地開/關(guān)，圖像同樣會被模糊掉。但為什么這個(gè)隨機(jī)的開/關(guān)能使得“去模糊”的方法做得更好？因?yàn)殡S機(jī)開/關(guān)，等價(jià)于每次開的時(shí)候是sinc 函數(shù)，但因?yàn)樗奈恢貌灰粯樱扔诎巡煌膕inc 函數(shù)在里面疊加，其結(jié)果就是這個(gè)頻譜非常好看，因?yàn)橥瑫r(shí)在這個(gè)位置出現(xiàn)0的可能性非常低，我的目標(biāo)是在頻域里不希望出現(xiàn)0點(diǎn)，出現(xiàn)0點(diǎn)沒辦法除。有了這個(gè)頻譜之后，用編碼成像的方法對圖像進(jìn)行恢復(fù)，結(jié)果恢復(fù)得很好。
舉個(gè)例子，這是一幅編碼成像的圖片，是我的同事在MIT拍攝的。大家可以猜一下這輛紅色小轎車是什么型號？是哪個(gè)廠出的？絕大部分的人會猜測它是奧迪，也有人說是TOYOTA，但其實(shí)這個(gè)車通過編碼成像，恢復(fù)出來的是大眾的車牌。在過去這些年，編碼成像得到了長足發(fā)展，在高速成像、散焦成像上都能通過編碼成像得到更好的圖像，過去幾年很多高質(zhì)量的圖像都是通過編碼成像技術(shù)獲得。
做智慧城市避不開三維城市重建，這在計(jì)算機(jī)視覺界已經(jīng)研究了很多年，其實(shí)最為出色的解決方案是來自谷歌的“一日建羅馬”。大家都說“羅馬不是一日建成的”，所以他們在羅馬這樣的城市級別做了大規(guī)模重建。他們的想法是拍攝大量城市的圖像，把這些城市的圖像通過相機(jī)位置的標(biāo)定和三維重建的方法進(jìn)行三維重現(xiàn)。
具體展開，分為幾個(gè)步驟：
先是針對大量圖像進(jìn)行位置猜測，有很多方式，對城市級別來說，可以用GPS信號等數(shù)據(jù)做粗略定位，再通過特征提取獲取精確的相機(jī)位置，然后再對圖像特征進(jìn)行匹配和三維關(guān)聯(lián)確認(rèn)，最后得到稀疏的3D點(diǎn)云信息。
對于大規(guī)模的城市這個(gè)方法非常常用。大家最熟悉的是傾斜攝影，大規(guī)模的城市尺度都是利用無人機(jī)拍攝然后進(jìn)行計(jì)算，這個(gè)方法本身有幾個(gè)比較嚴(yán)重的問題，最主要的問題是非常昂貴。
凡是做過大規(guī)模城市尺度重建的都知道，在集群上運(yùn)算的時(shí)間長達(dá)半天，其實(shí)半天時(shí)間已經(jīng)非常少見，絕大部分都需要運(yùn)算幾天幾夜，而且，運(yùn)算完后得到的點(diǎn)云依然很差。這是因?yàn)辄c(diǎn)云本身依靠特征來提取，特征本身是稀疏的，所以得到的點(diǎn)云本身是稀疏的三維點(diǎn)云。
如果這樣給政府做城市級別的重建，會非常辛苦，你需要找一個(gè)非常大的藝術(shù)團(tuán)隊(duì)幫你修復(fù)，因?yàn)樗械狞c(diǎn)云都需要把噪音抹掉，把點(diǎn)云修正成幾何形狀，這是所有做過智慧城市的人都感同身受的。
隨著技術(shù)的發(fā)展，這兩步分別都將得到很大的進(jìn)展。第一個(gè)是三維點(diǎn)云的獲取，傳統(tǒng)三維點(diǎn)云的獲取是依靠傾斜攝影和圖像，現(xiàn)在可以通過視覺定位、掃描和點(diǎn)云的LiDAR進(jìn)行補(bǔ)償。
因?yàn)長iDAR系統(tǒng)本身無法做三維空間的定位，你可以把LiDAR系統(tǒng)和視覺相機(jī)混合，靠視覺相機(jī)進(jìn)行三維定位。
舉個(gè)例子，我的學(xué)生在上科大創(chuàng)辦的岱悟智能，讓用戶頭上頂著LiDAR和RGB相機(jī)，RGB相機(jī)做定位，LiDAR獲取場景里三維稀疏的點(diǎn)云信息，通過不斷行走就可以把整個(gè)場景呈現(xiàn)出來。
我們上次做了一個(gè)嘗試，把這個(gè)設(shè)備裝在小車上，15分鐘就可以完成一平方公里的地下車庫掃描流程，效率非常高。
給大家演示一下我們當(dāng)時(shí)完成的上?？萍即髮W(xué)地下車庫的數(shù)字孿生，人徒步完成還是比較吃力（但對碼工來說走一個(gè)半小時(shí)還是蠻減肥的）大概15-20分鐘就可以完全完成數(shù)據(jù)的采集。三維點(diǎn)云的采集不再需要復(fù)雜的計(jì)算機(jī)視覺系統(tǒng)，而是用比較簡單的LiDAR+視覺定位的方式來解決，這將成為未來的大趨勢。
同理，這個(gè)系統(tǒng)也可以裝在無人機(jī)上，過程非常快。我們做了一個(gè)嘗試，在上科大一平方公里的范圍內(nèi)進(jìn)行邊飛邊實(shí)時(shí)產(chǎn)生點(diǎn)云，結(jié)果很酷。
幾年前我看過一個(gè)電影《普羅米修斯》，就是拿三維小球，在三維空間進(jìn)行掃描，隧道場景很快就出現(xiàn)了，也就是說這個(gè)夢想已經(jīng)成真了，可以非?？斓刈鐾獠繄鼍暗膾呙琛?nbsp;
有什么用？掃描之后你可以做很有意思的事情。
比如對工地進(jìn)行監(jiān)控，看工地是否每日按照圖紙的規(guī)劃進(jìn)行建設(shè)，隨著多次的掃描，不但可以獲取非常高清的工地三維數(shù)字孿生模型，還可以把無人機(jī)拍到的視頻信息融合。其實(shí)也就是把圖片和三維幾何的模型融合，切入到模型時(shí)，瞬間可以切換到高清圖片，可以看到每一個(gè)圖片的高清細(xì)節(jié)，效果非常酷炫，而且確實(shí)有用，上海很多社區(qū)都開始使用這個(gè)技術(shù)進(jìn)行二緯和三維的融合了。
這對智慧城市有什么用？
第一，很多智慧城市的模型并不精確，是CG模型，通過我們的技術(shù)可以進(jìn)行點(diǎn)云數(shù)據(jù)+視頻/圖像融合。
第二，很重要的點(diǎn)，能解決當(dāng)時(shí)王堅(jiān)博士的問題：在三維空間里判斷有多少輛車。
2018年、2019年我們在徐家匯商圈做了一個(gè)很有意思的事情。當(dāng)時(shí)我們用上述方式，把整個(gè)徐家匯的商圈進(jìn)行了三維重建。重建之后，把路燈、樓頂視角的視頻融合在一起，現(xiàn)在各位看到的是多個(gè)視角融合的視頻。
如果我把一個(gè)區(qū)域內(nèi)所有的視頻融合在三維空間，我就可以告訴你現(xiàn)在路上有多少輛車在跑，有多少人在行走，這對智慧城市來說解決了非常重要的一個(gè)問題。有了這套系統(tǒng)，可以做非常多很酷的應(yīng)用，比如可以做碳排放的檢測，因?yàn)槲抑烙卸嗌佥v車，耗能是多少。
傳統(tǒng)的三維重建，幾何是幾何、圖片是圖片，幾何和圖像是分離的。下面我想講最為有意思的一部分，《Neural Modeling and Rendering》，用神經(jīng)網(wǎng)絡(luò)的辦法把幾何和圖像融合在一起。
這是來自英偉達(dá)非?？岬囊粋€(gè)demo，是為了游戲而做的。在這個(gè)demo里所有的幾何都是定死的，但我可以隨意地做風(fēng)格遷徙，比如我希望它是沙漠，它就可以是沙漠，我希望樹是真實(shí)的，就可以做真實(shí)的樹。左下角是非常粗略的模型，但是有語義分割。根據(jù)語義分割和三維場景的粗略幾何，可以變換分割成右上角這樣看上去非常真實(shí)的三維圖像。
換言之，我可以通過學(xué)習(xí)的方法，把粗略的幾何恢復(fù)成非常好的三維的模型，從而大幅度降低人工成本。
過去十年里，我最為欣賞的一個(gè)項(xiàng)目來自加州大學(xué)伯克利分校，他們把幾何和外觀融合在一起。
在傳統(tǒng)的方式中，要用點(diǎn)云或mesh來表示幾何，然后再用貼圖的方法構(gòu)建外觀，如果點(diǎn)云或貼圖的質(zhì)量不好，合成效果就很差。
前面講了，我需要從多視角拍攝圖片重建幾何，那我不如把所有的圖片都輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)NeRF中，訓(xùn)練完之后可以渲染任意視角下的任意圖片，這樣可以實(shí)現(xiàn)無需幾何先驗(yàn)的幾何重建。
怎樣實(shí)現(xiàn)這件事？用神經(jīng)網(wǎng)絡(luò)完成光線-顏色-深度的映射，每一根光線可以用X、Y、Z，也就是光線的原點(diǎn)以及方向來表述，通過網(wǎng)絡(luò)可以告訴你沿著這個(gè)光線應(yīng)該看到什么樣的RGB顏色，此外網(wǎng)絡(luò)還會預(yù)測一個(gè)sigma參數(shù)，它代表的是X、Y、Z處的物質(zhì)密度，如果密度很高說明存在物體，密度很低說明是真空的。
如此一來我就可以做很有意思的東西，也就是說，我們訓(xùn)練網(wǎng)絡(luò)的時(shí)候，可以把幾何和紋理的概念拋棄，我擁有的就是神經(jīng)網(wǎng)絡(luò)，只需完成利用這個(gè)神經(jīng)網(wǎng)絡(luò)從光線到顏色到深度的預(yù)測，幾何和紋理就自然地生成了，這是我過去看到的非?？岬墓ぷ?。過去幾年大家逐漸意識到，原來用NeRF框架，不但能做元宇宙物體的生成，也能做元城市級別的生成。
以上介紹的主要是別人的工作，先說一篇《NeRF in the Wild》的工作，跟前面的工作的思路是一致的：也即是輸入很多圖片，同時(shí)這些圖片包含了位置和圖像性質(zhì)，以及一個(gè)很有意思的概念——瞬態(tài)。瞬態(tài)是什么意思呢？比如我在三維空間拍攝了很多圖片，因拍攝的視角不同，有的地方有遮擋，比如樓前面有樹的遮擋，也有行走的人的遮擋。但因?yàn)槲遗牧撕芏鄨D片，而且是在不同視角拍的，所以會產(chǎn)生很多不同的視角，唯一不變的就是靜態(tài)幾何，一直在變的是瞬態(tài)。然后我們可以將瞬態(tài)和靜態(tài)幾何一起重建，最后還可以把瞬態(tài)和靜態(tài)幾何進(jìn)行分離。同樣，用NeRF框架，所有一系列的工作，都可以通過一個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練而完成。
我們看一下它的結(jié)果，非常酷。因?yàn)閳D片是白天和黑夜不同時(shí)刻拍攝的，但我能夠在不同時(shí)刻展現(xiàn)出前景和后景的渲染，沒有幾何，用NeRF框架、神經(jīng)網(wǎng)絡(luò)表征這么大尺度的場景。
我們再看一些更復(fù)雜的場景，比如它可以在布拉格的街區(qū)用網(wǎng)絡(luò)成像來做。
這是羅馬的噴泉。雖然點(diǎn)云用傳統(tǒng)的三維重建會很差，但沒關(guān)系，用NeRF框架可以產(chǎn)生非常好的三維結(jié)構(gòu)。這個(gè)方法不僅能重建外部幾何，也可以在重建內(nèi)部幾何，比如在一個(gè)建筑的內(nèi)部拍攝大量圖片，然后用神經(jīng)網(wǎng)絡(luò)的框架進(jìn)行重建。
這是在印度做的，通過多視角的圖片，其實(shí)沒有真正顯示重建幾何，而是隱式地表示三維重建的效果，它是全自動(dòng)的，不需要人去修，所以大家看到這個(gè)結(jié)果應(yīng)該覺得非常驚艷，如果用artist去修是非常大的工作量。
去年有一篇很有意思的論文《Urban Radiance Field》。想法類似，輸入很多圖片，但跟前面論文不一樣的是，它還結(jié)合了LiDAR的點(diǎn)云信號。
前者的幾何依然需要NeRF訓(xùn)練，但NeRF的訓(xùn)練非常慢，所以他們索性就用LiDAR產(chǎn)生的點(diǎn)云信號作為輸入，輸出是完整、高清的三維重建，同時(shí)還有一個(gè)高清的視角渲染，這非?？?，從多視角圖片的傾斜攝影技術(shù)往點(diǎn)云融合。
但我當(dāng)時(shí)研究還差了一步，用NeRF的框架做渲染，現(xiàn)在大家可以看到神經(jīng)網(wǎng)絡(luò)的這個(gè)強(qiáng)大功能。
這是一部分渲染的結(jié)果，可以看到上面的點(diǎn)云和光斑變化。這是圣保羅的場景，可以在里面走來走去，產(chǎn)生相當(dāng)不錯(cuò)的渲染效果。
最為重要的是，這里不需要artist去修，否則人力成本太高了，不可能完成元城市（MetaCity）的重建。不同的國家和不同的城市都能使用這個(gè)方法，相當(dāng)大規(guī)模的幾何重建渲染，全是依靠NeRF的框架實(shí)現(xiàn)，所以我覺得它的效果還是非常酷的。
給大家介紹了基于神經(jīng)網(wǎng)絡(luò)三維重建的工作，很多是別人的工作，也有一部分是我們的工作。
最后我想講，重建做得無論多好，最重要的是保護(hù)隱私。
給大家講一個(gè)我的故事。2010年，十年前我和林海濱教授做了一個(gè)項(xiàng)目，內(nèi)容是如何在安防系統(tǒng)下進(jìn)行隱私保護(hù)?，F(xiàn)在看來這個(gè)工作還是非常有意思的，因?yàn)?010年并沒有想到安防會發(fā)展到如此高的地步，隱私保護(hù)當(dāng)時(shí)也沒有受到重視。
前面提到，可以通過圖片快門的控制，把曝光變得模糊。我們在想，能不能故意把圖片進(jìn)行模糊？模糊了圖片就可以保護(hù)隱私了。
聽起來很容易，但問題來了，模糊完了圖片，怎么保證捕捉重要的信息？比如我需要知道這個(gè)人的行為，但不希望泄露這個(gè)人的身份。
當(dāng)時(shí)我們提出一個(gè)非常酷的概念。把一個(gè)視頻用兩種不同的模式進(jìn)行模糊，我們把這兩種模式稱為互素的，這里借鑒了數(shù)學(xué)中的素?cái)?shù)概念。
這樣做有什么好處？如果只是給低權(quán)限的人看，只需要給他看模糊線條輪廓，它可以用任何現(xiàn)有的算法，對監(jiān)控視頻進(jìn)行去模糊，結(jié)果看不到臉，但能看到人的行為。但對于高權(quán)限的人來說，我可以給到兩個(gè)已經(jīng)模糊后線條輪廓，通過互素性質(zhì)對圖像進(jìn)行去模糊，從而產(chǎn)生非常高清的監(jiān)控視頻，我們的論文發(fā)在PAMI上，當(dāng)時(shí)這個(gè)想法還是非?？岬?。
這個(gè)結(jié)果很有意思，左上角是一個(gè)模糊的圖像，你可以通過最好的方法進(jìn)行去模糊。右上角和左下角的去模糊方法可以恢復(fù)人在行走的信息，但無法恢復(fù)出人臉的細(xì)節(jié)。而在右下角，如果是高權(quán)限人群，可以同時(shí)拿到兩個(gè)blur stream，利用互素的性質(zhì)對整個(gè)圖像進(jìn)行解碼。非常重要的一點(diǎn)是，不需要知道這些圖像用什么kernel進(jìn)行模糊的，就可以對其進(jìn)行解碼。
另外，我們希望通過多閃光燈的方法進(jìn)行保護(hù)?？赡艽蠹視X得很奇怪，為什么多閃光燈能進(jìn)行隱私保護(hù)？
通過閃光燈，可以產(chǎn)生影子。閃光燈如果在左邊，影子就會在右邊。如果閃光燈在右邊，影子會在左邊。隨著閃光燈位置的變化，影子也會產(chǎn)生變化。根據(jù)影子的變化，我可以分析這些影子是如何變化的，從而獲取到一個(gè)非常有意思的圖像。雖然我沒辦法精確知道它的深度是什么，但可以提取出它的深度邊界。
為什么這件事對隱私保護(hù)很重要？這是一款老舊的車，通過多閃光燈的方法，可以非常準(zhǔn)確地把邊界提取出來。其中一些細(xì)節(jié)，比如看左上角的圖，我知道這個(gè)車生銹了，但左下角的圖看不出生銹，這是很具體的生銹的紋理，跟深度不相關(guān)的信息，會被我們輕易抹去。
如果我的安防是由多個(gè)閃光燈組成的，就可以把多個(gè)重要的身份信息隱藏，比如海報(bào)上的字，比如衣服上的花紋，都可以被抹掉，從而起到隱私保護(hù)的作用。
再比如人臉上有很多特征，像左圖里的痣，是非常明顯的身份標(biāo)志，但痣本身是一個(gè)紋理，通過閃光燈的方法，可以把痣去掉，通過邊界對圖像進(jìn)行模糊，刻意去掉這個(gè)信息。
2010年的時(shí)候，美國對隱私保護(hù)不夠重視，當(dāng)時(shí)我們兩人寫了一個(gè)非常激動(dòng)人心的項(xiàng)目，但被否定了。我記得非常清楚，其中有一個(gè)回復(fù)的意見說：隱私保護(hù)是已經(jīng)解決的問題，你們?yōu)槭裁催€要再寫一個(gè)隱私保護(hù)的提案?？梢姶蠹以谧鲅芯康臅r(shí)候，必須先有先知，要意識到這個(gè)事情對整個(gè)社會的影響。
總結(jié)一下。我給大家介紹的最新的MetaCity的工作，包括2D成像、3D重現(xiàn)的技術(shù)、用神經(jīng)網(wǎng)絡(luò)的建模和渲染方法對整個(gè)智慧城市進(jìn)行建模，它的最大功效，不需要人工參與，就可以對渲染起到增強(qiáng)和去噪作為。隱私保護(hù)是重要組成部分，前面講到兩種隱私保護(hù)的方法，我今天特別介紹了用神經(jīng)網(wǎng)絡(luò)，本身它就具有隱私保護(hù)的作用，因?yàn)閭鹘y(tǒng)方式需要傳幾何、圖片，但幾何和圖片全都被編碼在神經(jīng)網(wǎng)絡(luò)中，這個(gè)神經(jīng)網(wǎng)絡(luò)本身又能起到隱私保護(hù)的作用，又能有效地渲染圖片。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
