1、遠(yuǎn)大視野

2005 年，韓曉光上大學(xué)的那一年，中國(guó)的圖形學(xué)歷史剛經(jīng)歷了一個(gè)高光時(shí)刻：

那一年，以沈向洋、郭百寧等人為首的微軟亞洲研究院（MSRA）研究團(tuán)隊(duì)在世界圖形學(xué)頂級(jí)會(huì)議 SIGGRAPH 上發(fā)表 9 篇論文，占當(dāng)年 SIGGRAPH 全球論文接收總量（98篇）的十分之一。

這也構(gòu)成了一代微軟人的記憶與自豪。

韓曉光不是微軟人，后來也未曾在微軟實(shí)習(xí)或工作過，但當(dāng)他在 2009 年到浙江大學(xué)讀研究生時(shí)，集中在浙大的上一代微軟人對(duì) SIGGRAPH 的崇拜與追求還是深深地感染了他：

他記得，當(dāng)時(shí)剛開學(xué)沒多久，導(dǎo)師劉利剛就跟他們一眾新生說：“我們的目標(biāo)就是發(fā) SIGGRAPH，因?yàn)?SIGGRAPH 是圖形學(xué)領(lǐng)域的頂會(huì)。”

劉利剛是浙大自己培養(yǎng)的圖形學(xué)博士，博士畢業(yè)后就去了 MSRA，在 MSRA 呆了三年（2002-2004），指導(dǎo)老師是童欣和沈向洋。MSRA 的研究氛圍與工作經(jīng)歷，讓劉利剛知道：在 SIGGRAPH 上發(fā)文是一件很重要、而且很光榮的事情。

所以，韓曉光很早就知道 SIGGRAPH 的存在，也逐漸樹立了與劉利剛一樣的認(rèn)知。

事實(shí)上，即使是現(xiàn)在，中國(guó)的許多高校也沒有將 SIGGRAPH 作為指導(dǎo)圖形學(xué)研究的目標(biāo)，因?yàn)?SIGGRAPH 的中稿難度實(shí)在是太高了：每年 SIGGRAPH 的全球論文接收總量不過百來篇，中國(guó)所有研究者加起來的中稿數(shù)量也不過數(shù)十篇。

但韓曉光從碩士開始就樹立了這樣一個(gè)目標(biāo)：研究圖形學(xué)就是要發(fā) SIGGRAPH。

當(dāng)時(shí)韓曉光所在的浙大，周圍的圈子里，除了劉利剛，還有許多從 MSRA 回來的人，比如周昆、任重，他們?nèi)缃穸际菆D形學(xué)領(lǐng)域的知名學(xué)者。

熟悉圖形學(xué)的人都知道，浙大與 MSRA 是中國(guó)圖形學(xué)研究最出名的兩個(gè)機(jī)構(gòu)，而兩者早期在圖形學(xué)的人才培養(yǎng)與相互輸送上又有著深厚淵源。

圖注：MSRA 早期，沈向洋與郭百寧等人交流

李開復(fù)在 1998 年回國(guó)創(chuàng)立微軟中國(guó)研究院（也就是后來的 MSRA），浙大本碩畢業(yè)生、1999 年從清華博士畢業(yè)的童欣（如今人稱“童姥”）就加入其中，與沈向洋、郭百寧、劉文印、徐迎慶等人是最早一批計(jì)算機(jī)圖像研究者，目標(biāo)就是發(fā) SIGGRAPH。童欣之后，浙大畢業(yè)的許多圖形學(xué)碩博生也先后去了微軟亞研，如劉利剛、周昆、任重等等。

他們這批人在 MSRA 時(shí)都感受過“四萬人大會(huì)” SIGGRAPH 的魅力，知道自己的工作如果能夠發(fā)在這樣一個(gè)權(quán)威的國(guó)際頂會(huì)上是多么了不起的事。相應(yīng)地，由沈向洋這樣有 SIGGRAPH 發(fā)文經(jīng)驗(yàn)的老手帶領(lǐng)，他們也都學(xué)習(xí)到許多沖刺 SIGGRAPH 的技巧。

2010 年前后，圖形學(xué)的研究比重在 MSRA 逐漸下降，許多人陸陸續(xù)續(xù)離開，又回到了浙大。除了周昆、任重這些浙大走出來的學(xué)子，還有侯啟明等清北畢業(yè)生。年青的血液回流，浙大的圖形學(xué)研究也更上一層樓，每年在 SIGGRAPH 上發(fā)不少文章。

韓曉光在浙大讀的是數(shù)學(xué)系，兩年制。這兩年里，他的一個(gè)感受是：身邊有許多認(rèn)識(shí)的人陸陸續(xù)續(xù)都發(fā)了 SIGGRAPH，好像“中一篇 SIGGRAPH 是一件很容易的事情”。

那時(shí)韓曉光沒有發(fā)論文的科研壓力，但在浙大的這個(gè)小圈子里，受導(dǎo)師劉利剛與周圍人的影響，他對(duì)圖形學(xué)的科研興趣與 SIGGRAPH 的向往開始形成。

劉利剛在科研之余也會(huì)跟他們講一些在 MSRA 做科研的趣事，比如偶遇沈向洋的難度：

那時(shí)，沈向洋總是忙科研忙得不見人影。誰要能在電梯里“逮”到他，就要在出電梯前的短短一兩分鐘內(nèi)將自己的研究介紹給他。這非?？简?yàn)大家的表達(dá)能力，久而久之，大家就把這件事戲稱為“電梯效應(yīng)”。

這件事也給韓曉光留下了深刻的印象，使他自然而然地覺得：一個(gè)真正優(yōu)秀的科學(xué)家，應(yīng)該是求知若渴，用盡日常的每分每秒去研究與思考的。

并不是每個(gè)人在剛進(jìn)入一個(gè)領(lǐng)域時(shí)就有機(jī)會(huì)知道這個(gè)領(lǐng)域最牛的一群人都在研究什么、怎么研究，以及自己日后要往哪個(gè)方向努力，才能成為該領(lǐng)域的佼佼者。而歸功于劉利剛的引領(lǐng)，韓曉光在 22 歲的時(shí)候就已經(jīng)以 SIGGRAPH 為目標(biāo)。

這直接塑造了他的思考方式。所以，從浙大開始，韓曉光就喜歡閱讀圖形學(xué)方面的研究論文，尤其是 SIGGRAPH 這樣的頂會(huì)論文。

現(xiàn)任香港中文大學(xué)（深圳）理工學(xué)院助理教授、第十一屆吳文俊人工智能優(yōu)秀青年獎(jiǎng)獲得者韓曉光的圖形學(xué)之旅，就是這樣開始的。

圖注：學(xué)生時(shí)代的韓曉光

2、虔誠(chéng)、前進(jìn)

剛接觸圖形學(xué)時(shí)，韓曉光還是一個(gè)心中有夢(mèng)、眼里有光的少年，十分自信、得意。

那時(shí)，他并不知道圖形學(xué)的難度，視 SIGGRAPH 為囊中之物，給自己定了一個(gè)目標(biāo)：每年都發(fā)一篇 SIGGRAPH。

但很快，這個(gè)“狂妄”的想法就被教育了。

韓曉光真正開始投 SIGGRAPH，是 2011 年到香港城市大學(xué)擔(dān)任研究助理之后。

在浙大那會(huì)，韓曉光參與過一個(gè)工作，是用圖形學(xué)對(duì)人體的身高體重進(jìn)行全局一致的整形重塑，最終文章發(fā)表在圖形學(xué)頂刊 ACM Transactions on Graphics（TOG）上。

論文：Parametric Reshaping of Human Bodies in Images

這個(gè)工作是浙大與香港城市大學(xué)合作的一個(gè)項(xiàng)目。韓曉光由此認(rèn)識(shí)了在香港城大任教的傅紅波教授。

臨近碩士畢業(yè)時(shí)，由于英語成績(jī)不佳，直接申請(qǐng)讀博有難度，所以韓曉光就聯(lián)系了傅紅波，希望先去他的組里當(dāng)研究助理，然后找讀博的機(jī)會(huì)。

當(dāng)研究助理的第一年，韓曉光就開始計(jì)劃投 SIGGRAPH。但沒想到，計(jì)劃是計(jì)劃，現(xiàn)實(shí)是現(xiàn)實(shí)，韓曉光追逐 SIGGRAPH 的過程遠(yuǎn)遠(yuǎn)比他想得還要煎熬。

第一年，傅紅波給了他一個(gè)課題。他斗志滿滿，一拿到題目，他想的就是奔著 SIGGRAPH 去。研究進(jìn)展地很順利，也取得了一些不錯(cuò)的實(shí)驗(yàn)結(jié)果，于是他就抱著“應(yīng)該能中”的心情投了出去。

結(jié)果出來，雖然總體評(píng)分還不錯(cuò)，但其中一個(gè)審稿人給出了“拒稿”意見。之后，他接連改了好幾次投出去，最后才中了一個(gè)排名不算特別好的期刊。

韓曉光第一次感受到：好像 SIGGRAPH 還挺難的。

第二年，他又做了一個(gè)新的項(xiàng)目，但實(shí)驗(yàn)結(jié)果還沒有第一年好，連自己的標(biāo)準(zhǔn)都達(dá)不到。最后，他干脆連 SIGGRAPH 也沒有投。

這讓他有點(diǎn)泄氣。為了投 SIGGRAPH，他連續(xù)幾個(gè)月都吃睡在實(shí)驗(yàn)室，經(jīng)常熬夜、看論文、趕論文，而結(jié)果卻不如意。

當(dāng)時(shí)他有傲氣，心里總想：“我一定要中一篇 SIGGRAPH。幾乎成了一種執(zhí)念?！?/p>

韓曉光事后告訴雷峰網(wǎng)，從小到大，他都是一個(gè)比較佛系的人，知道讀書的重要性就會(huì)去努力讀書，但成績(jī)?nèi)绾危潜M人事、聽天命。他唯一堅(jiān)持過的事情，就是發(fā)表 SIGGRAPH。

而且，這種執(zhí)著一直貫穿到 2013 年他去香港大學(xué)讀博的四年。

到港大讀博后，韓曉光繼續(xù)死磕圖形學(xué)、死磕 SIGGRAPH。

他的導(dǎo)師是當(dāng)時(shí)剛剛從美國(guó) UIUC 結(jié)束教職回港任教的俞益洲。

俞益洲也是浙大培養(yǎng)的圖形學(xué)畢業(yè)生，曾師從中國(guó)第一個(gè)在 SIGGRAPH （1988年）上發(fā)表論文的圖形學(xué)先驅(qū)彭群生，后來因在幾何建模和基于圖像的建模方面貢獻(xiàn)突出當(dāng)選了 2019 年度的 IEEE Fellow。

博士第一年，俞益洲就給了韓曉光一個(gè)頗有難度的課題——人體三維重建。

盡管當(dāng)時(shí)的想法只是做簡(jiǎn)單的重建，基于少量圖像，結(jié)合交互技術(shù)生成一個(gè)三維人體模型，但在那個(gè)時(shí)候，相關(guān)技術(shù)還遠(yuǎn)遠(yuǎn)沒有成熟。所以盡管俞益洲的研究眼光很前瞻，但對(duì)當(dāng)時(shí)的韓曉光來說難度卻著實(shí)不小。

韓曉光花了一年多時(shí)間去探索，最后發(fā)現(xiàn)課題還是太難，沒有取得好的實(shí)驗(yàn)結(jié)果，投 SIGGRAPH 沒成功，又轉(zhuǎn)去投 CVPR。這是韓曉光第一次投 CVPR，天性樂觀的他再一次想“應(yīng)該能中”，結(jié)果跟第一次投 SIGGRAPH 一樣，也遭到了“拒稿”。

那時(shí)候，他開始真正地從心底里對(duì) SIGGRAPH、CVPR 這樣的頂會(huì)產(chǎn)生敬畏之心，知道原來要發(fā)一篇 SIGGRAPH 不是那么簡(jiǎn)單的，“要做一個(gè)很頂級(jí)的工作，真的要花特別多努力才行”，而且“必須做得非常完美”。

博士第二年與第三年，韓曉光換了研究課題，但自己的課題還是沒有中 SIGGRAPH，倒是他參與的實(shí)驗(yàn)室其他成員的工作先后發(fā)表在了 SIGGRAPH 2015 和 2016 上，一篇第二作者，一篇共同一作。但韓曉光覺得不能算是自己的代表作。

一直到 2017 年，也就是韓曉光讀博的最后一年，他才在 SIGGRAPGH 發(fā)表了一篇一作論文、也是他博士生涯最重要的一個(gè)工作：DeepSketch2Face。

2015 年，肖建雄、湯曉鷗等人合作將深度學(xué)習(xí)用于三維視覺研究，“3D ShapeNets: A Deep Representation for Volumetric Shapes”一文在 CVPR 引起廣泛關(guān)注，也吸引了一直想做三維重建的俞益洲。他當(dāng)即向團(tuán)隊(duì)提出要開始研究深度學(xué)習(xí)。

他將人臉三維重建的課題派給韓曉光，希望他能基于深度學(xué)習(xí)對(duì)人臉進(jìn)行三維草圖重建。韓曉光從 2016 年開始獨(dú)自探索，花了將近一年的時(shí)間，結(jié)合深度學(xué)習(xí)、視覺圖像理解、圖形學(xué)中的人臉建模、幾何變形與交互等多個(gè)學(xué)科的知識(shí)，竟然成功地取得了不錯(cuò)的結(jié)果。

論文：DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling

使用 DeepSketch2Face 這個(gè)系統(tǒng)，用戶可以在幾分鐘內(nèi)就獲得表情各異的 3D 人臉或漫畫模型，游戲或動(dòng)畫建模師們也可以輕松創(chuàng)建高保真人臉模型，進(jìn)而為虛擬角色賦予靈動(dòng)形象。這個(gè)工作發(fā)表在 SIGGRAPH 2017，受到許多人的肯定。韓曉光第一次被邀請(qǐng)到了各個(gè)場(chǎng)合做演講分享。

歷時(shí)多年、成功發(fā)表 SIGGRAPH 一作，韓曉光的內(nèi)心有興奮、有自豪，但更多的，是一種已經(jīng)被磨練過的虔誠(chéng)與謙卑。

在這幾年里，SIGGRAPH 就像圖形學(xué)的一座圣碑，指導(dǎo)韓曉光前進(jìn)，也教會(huì)了他科研的本質(zhì)：歷經(jīng)挫折仍要不改初心，遭遇低谷也要抬頭向前。但最重要的，是這過程中攀登所看到的風(fēng)景。

這是沒有元宇宙時(shí)的圖形學(xué)成長(zhǎng)人生。

3、從追隨者到建設(shè)者

在韓曉光讀研究生、到他加入港中深的多年里，圖形學(xué)的就業(yè)方向其實(shí)一直狹窄，集中在追求酷炫特效的影視與游戲行業(yè)。加上國(guó)內(nèi)科幻電影發(fā)展不振，游戲行業(yè)政策也不明朗，所以圖形學(xué)在國(guó)內(nèi)一直是一個(gè)“小圈子”。

2018 年韓曉光到港中深任職時(shí)，整個(gè)學(xué)校就只有他這一個(gè)研究圖形學(xué)的老師。

現(xiàn)在港中深一共有兩位研究?jī)?nèi)容與圖形學(xué)相關(guān)的老師，一位是韓曉光，另一位則是 2021 年新加入的孫啟霖。不過，孫啟霖的工作也不是傳統(tǒng)的圖形學(xué)，而是圖形學(xué)中用于三維圖像采集的計(jì)算成像設(shè)備。

這期間，韓曉光也見證或親歷了圖形學(xué)的發(fā)展變化：

一方面是元宇宙概念的興起，給圖形學(xué)帶來了新的想象力，涌入圖形學(xué)領(lǐng)域的科研資金也在增多，圈子在擴(kuò)大。

韓曉光記得，當(dāng)時(shí)他剛開始從事教職時(shí)，因?yàn)槿ψ有?，招生與找錢都是一件很困難的事情。后來，也是多虧他以前的導(dǎo)師劉利剛（后來去了中科大任教）與時(shí)任港中深校長(zhǎng)講座教授的崔曙光介紹，才解決了招生和科研經(jīng)費(fèi)的難題。

元宇宙大火后，圖形學(xué)技術(shù)開始受到許多企業(yè)的關(guān)注。在去年，就有幾家國(guó)內(nèi)的企業(yè)找到了韓曉光，希望與他合作。

韓曉光在 SIGGRAPH 2017 上發(fā)表的工作 DeepSketch2Face 屬于深度學(xué)習(xí)在計(jì)算機(jī)圖形學(xué)中的一次大膽嘗試。在這個(gè)方向上，他也是入門最早的青年學(xué)者之一。目前，他在港中深建立的實(shí)驗(yàn)室 GAP，就將三維視覺作為實(shí)驗(yàn)室一個(gè)重點(diǎn)研究的方向。

“GAP”的全稱是“Generation and Analysis of Pixels, Points and Polygons”，其中，pixels 指的是“像素”，points 是“點(diǎn)云”，polygons是“多邊形網(wǎng)格”，這三塊是圖形學(xué)和視覺領(lǐng)域需要重點(diǎn)處理的對(duì)象，而生成與分析/理解是兩大任務(wù)。這樣加起來，就構(gòu)成了“GAP”一名。

GAP Lab 主頁：https://gaplab.cuhk.edu.cn/

三維視覺一塊也涉及到計(jì)算機(jī)視覺的知識(shí)，韓曉光在任教后也不斷學(xué)習(xí)這一塊的內(nèi)容，并將其與圖形學(xué)相結(jié)合，也取得了不錯(cuò)的成績(jī)。例如，他在單視角三維重建方面的研究就曾兩次入圍 CVPR 的最佳論文提名。

單視角三維重建是從大量的二維圖像中恢復(fù)物體（如人體、人臉、場(chǎng)景等）的三維結(jié)構(gòu)，在計(jì)算機(jī)上實(shí)現(xiàn)對(duì)客觀世界的虛擬現(xiàn)實(shí)表達(dá)。

為了解決從單視角圖像中重建完整三維物體的視覺難題，韓曉光與童欣等人曾合作設(shè)計(jì)了一種基于骨架表達(dá)的新型三維幾何深度學(xué)習(xí)算法，能夠漂亮地實(shí)現(xiàn)對(duì)拓?fù)鋸?fù)雜的物體形狀重建。

這項(xiàng)成果（“A Skeleton-bridged Deep Learning Approach for Generating Meshes of Complex Topologies from Single RGB Images”）令會(huì)議審稿人眼前一亮，均給出了“Strong Accept”（強(qiáng)烈接收）的意見，入圍了 CVPR 2019 最佳論文提名。

除了復(fù)雜形狀的物體，更大空間的場(chǎng)景重建也是一個(gè)重要任務(wù)。韓曉光提出的從單張圖像完整重建室內(nèi)場(chǎng)景的方法，結(jié)合場(chǎng)景理解和三維網(wǎng)格重建兩種任務(wù)，能夠自動(dòng)生成房間布局、攝像機(jī)姿態(tài)、物體包圍盒和三維網(wǎng)格，并完全恢復(fù)室內(nèi)物體的幾何信息。

這篇論文（“Total3DUnderstanding: Joint Layout, Object Pose and Mesh Reconstruction for Indoor Scenes from a Single Image”）也同樣得到了審稿人的一致好評(píng)，入圍了 CVPR 2020 最佳論文提名。

近兩年，韓曉光最自豪的一項(xiàng)工作是與團(tuán)隊(duì)發(fā)表了一個(gè)包含 2078 個(gè)高清晰度三維服裝點(diǎn)云模型的數(shù)據(jù)集 Deep Fashion 3D，是全球目前最大的真實(shí)三維服裝數(shù)據(jù)集，獲得了中國(guó)計(jì)算機(jī)圖形學(xué)大會(huì)（Chinagraph）2020 年度的“圖形開源數(shù)據(jù)集獎(jiǎng)”。

今年，他們又有一項(xiàng)服裝三維重建的工作（Registering Explicit to Implicit: Towards High-Fidelity Garment mesh Reconstruction from Single Images）發(fā)表在了 CVPR 2022。

對(duì)服裝進(jìn)行三維重建的難點(diǎn)在于衣服的褶皺細(xì)節(jié)，韓曉光提出的新型單幅圖像三維服裝重建方法，將顯式網(wǎng)格與隱式形狀的表示方法相結(jié)合，能夠很好地重建出不同的服裝類型以及豐富的幾何細(xì)節(jié)，看起來也更逼真：

近兩年，許多研究工作也表明，圖形學(xué)與視覺的相互借鑒能夠帶來許多新的想法。

韓曉光從 2016 年研究 DeepSketch2Face 時(shí)開始接觸深度學(xué)習(xí)與計(jì)算機(jī)視覺，逐漸對(duì)兩個(gè)領(lǐng)域的共性與差異有更深的了解。他在基于深度學(xué)習(xí)的三維重建一塊的工作，也體現(xiàn)了將兩者融合的思考，是國(guó)內(nèi)甚至全球較早研究這一方向的學(xué)者之一。

這時(shí)候的韓曉光，實(shí)際上已從圖形學(xué)的追隨者，變?yōu)閳D形學(xué)的建設(shè)者。但相比起當(dāng)初的肆意輕狂，如今的韓曉光卻更謙卑、努力。他的學(xué)生常有這樣的感受：前一天晚上他們才討論工作到凌晨一點(diǎn)，第二天早上七點(diǎn)鐘就又接到了他的消息。

關(guān)于如何當(dāng)一名學(xué)者，韓曉光也是受到圖形學(xué)前輩的影響：

2018 年那會(huì)，他剛當(dāng)大學(xué)老師，到深圳大學(xué)參加一個(gè)圖形學(xué)的會(huì)議。那時(shí)童欣也是參會(huì)者之一，他們坐同一輛大巴，韓曉光就坐在童欣旁邊。

他問童欣：“童姥，您研究圖形學(xué)幾十年，為什么還這么認(rèn)真地聽報(bào)告呢？”

但童欣回答他：“其實(shí)我還有很多知識(shí)不懂，還要跟在座的講者多學(xué)習(xí)。”

童欣的謙卑與好學(xué)，給韓曉光的心中留下了很深的印象。他事后告訴雷峰網(wǎng)：“像童姥這樣研究圖形學(xué)研究了幾十年的學(xué)者都這么謙虛，都還在不斷學(xué)習(xí)，我才剛?cè)腴T沒幾年，有什么理由懈怠呢？”

4、元宇宙的熱與冷

韓曉光對(duì)圖形學(xué)的敬畏與虔誠(chéng)，也延續(xù)到了他對(duì)元宇宙熱潮的思考上。

這兩年，幾乎所有計(jì)算機(jī)的從業(yè)者都在關(guān)注元宇宙，F(xiàn)acebook 更是直接改名為 Meta。許多原本將 AI 作為招牌的企業(yè)，也紛紛往元宇宙上靠邊，與之相關(guān)的圖形學(xué)技術(shù)也受到了極大的追捧。

此前韓曉光一直在學(xué)術(shù)圈活動(dòng)，但近年來，他也感受到了工業(yè)界對(duì)元宇宙、甚至圖形學(xué)的關(guān)注。

目前，韓曉光的 GAP 團(tuán)隊(duì)也在與企業(yè)界合作，研究如何用圖形學(xué)、視覺等知識(shí)來做虛擬人或虛擬場(chǎng)景。

元宇宙的一個(gè)基礎(chǔ)理念，就是要將現(xiàn)實(shí)的物理世界數(shù)字化，將人、物體、場(chǎng)景等等在虛擬世界中盡可能真實(shí)地還原，當(dāng)下正火的虛擬人與虛擬場(chǎng)景正是構(gòu)建元宇宙不可缺少的部分。

本質(zhì)上來說，圖形學(xué)技術(shù)就是“造假”，能輔助生成虛擬世界中的內(nèi)容，如前面韓曉光用圖形學(xué)生成數(shù)字化的場(chǎng)景（房間、桌子、椅子），而且真實(shí)度更高。

這一點(diǎn)在游戲中可以作證：早年我們玩的馬里奧游戲畫面是像素格子，引入圖形學(xué)的技術(shù)后，現(xiàn)在的游戲畫面可以做到十分流暢、逼真。

但同時(shí)，韓曉光在討論元宇宙時(shí)，也時(shí)刻保持著一種冷靜的態(tài)度：元宇宙是一個(gè)概念，它的熱度或許過兩年就會(huì)消退，但圖形學(xué)的研究卻是一個(gè)要持續(xù)進(jìn)行的工作，因?yàn)檫@項(xiàng)技術(shù)的研究門檻很高，理論突破也很難。

這不僅是韓曉光從早年追逐 SIGGRAPH 的經(jīng)歷中所感悟到的，也是他對(duì)圖形學(xué)技術(shù)有清晰思考的結(jié)論。

圖注：現(xiàn)任港中深助理教授的韓曉光

圖形學(xué)確實(shí)可以幫助構(gòu)造元宇宙，但當(dāng)前的技術(shù)還未發(fā)展成熟，距離所有人都能在虛擬的數(shù)字世界中使用圖形學(xué)工具來創(chuàng)作內(nèi)容的臨界點(diǎn)還有很長(zhǎng)的路要走，可能是五年，也可能是十年。

比如，韓曉光與團(tuán)隊(duì)就常討論元宇宙中的交互問題。

早期的圖形學(xué)也是解決用戶與計(jì)算機(jī)的交互：例如，人類用戶操作鼠標(biāo)，從左到右在物理空間中劃一根線，計(jì)算機(jī)要如何基于這一簡(jiǎn)單操作來理解人類想要“畫一根線”的意圖，就是圖形學(xué)要解決的問題。

而在元宇宙中，圖形學(xué)要解決的問題比用戶簡(jiǎn)單地畫一條線更復(fù)雜，當(dāng)前的圖形學(xué)技術(shù)還無法讓大多數(shù)人只用很短的時(shí)間就能在數(shù)字世界中操作?？梢栽O(shè)想一下：假如你要在游戲《塞爾達(dá)傳說》的大草原中建一棟房子，難度有多大？

除了算法的精確度與“恐怖谷效應(yīng)”外，研發(fā)成本也是要考慮的問題。就拿虛擬人來說，當(dāng)前各個(gè)公司打造虛擬人都需要人類建模師予以輔助，造價(jià)高昂。

所以，在元宇宙的浪潮中，韓曉光看到了機(jī)會(huì)，也看到了挑戰(zhàn)。

他告訴雷峰網(wǎng)，站在他的角度，他自然希望能夠用圖形學(xué)、計(jì)算機(jī)視覺等知識(shí)來降低虛擬人、虛擬場(chǎng)景的研發(fā)成本，改進(jìn)算法精度等等，但這需要時(shí)間。

資本的耐心往往是有限期的。不過對(duì)韓曉光來說，他本就是從圖形學(xué)少人問津的時(shí)候走到門庭若市，即使元宇宙明天就消退，他也還是會(huì)堅(jiān)守在原有的位置上，做他本該做的事情，就是踏踏實(shí)實(shí)地做科研罷了。

5、對(duì)話韓曉光

雷峰網(wǎng)：怎么用圖形學(xué)打造元宇宙？

韓曉光：我只能從技術(shù)的角度講講。以虛擬人為例，圖形學(xué)打造虛擬人主要有幾步：

第一步是采集。

我們用手機(jī)拍一張照片，就是對(duì)周圍的世界做了一次二維數(shù)字化。虛擬人的構(gòu)建則需要“三維數(shù)字化”。采集對(duì)象是真人，就需要對(duì)整個(gè)人體包括皮膚、衣服、頭發(fā)、鞋子等等進(jìn)行采集。頭發(fā)的發(fā)質(zhì)與密度有參差，衣服的款式與材質(zhì)也多種多樣，這對(duì)采集圖像的細(xì)粒度要求非常高。

所以，要想 1:1 還原，光用手機(jī)拍一張照片還不夠，還需要使用多臺(tái)設(shè)備做多視角的采集。利用專業(yè)的立體相機(jī)與攝像設(shè)備如 RGBD、Light Stage 等，就可以全方位捕捉人體三維模型信息。

第二步是建模。

采集完人的數(shù)據(jù)后，就是進(jìn)行建模。虛擬人建模的難點(diǎn)是如何在計(jì)算機(jī)中找到一種合適的表達(dá)方式來表達(dá)真人的特征細(xì)粒度，如上述談到的皮膚、衣服、頭發(fā)、睫毛等等。舉個(gè)例子，如何表達(dá)頭發(fā)？就是用一根一根的線去表達(dá)，可能是 10 萬根線，這 10 萬根線由算法自動(dòng)生成。

表達(dá)也分兩部分，一部分是三維幾何，即物體的形狀；另一部分是紋理和材質(zhì)。建模這一步，就是要建幾何、紋理與材質(zhì)。

第三步是渲染。

建模之后，就是渲染。渲染就是將一個(gè)物體在光的環(huán)境下呈現(xiàn)出的模樣進(jìn)行表達(dá)。

比方說，得到一個(gè)球體的三維表達(dá)后，球的顏色是黃色，材質(zhì)是皮質(zhì)，渲染可以將球渲染成不同的樣子，可能將球渲染成玻璃材質(zhì)，也可能渲染成木頭材質(zhì)，一打光、材質(zhì)失真。而要將球真實(shí)還原，就要還原到其本身的皮質(zhì)。

第四步是動(dòng)畫。

以上三個(gè)步驟完成，得到的是靜態(tài)的人體模型，如何讓虛擬人做起動(dòng)作來也靈動(dòng)逼真，就是之后的動(dòng)畫所要考慮的事情。無論是人移動(dòng)時(shí)衣服紋路的細(xì)膩?zhàn)兓?，還是流水、氣體、云霧、燃燒等動(dòng)態(tài)的自然現(xiàn)象，都需要做有高度物理真實(shí)感的模擬，來增強(qiáng)我們?cè)谠钪嬷械某两小?/p>

雷峰網(wǎng)：目前國(guó)內(nèi)很多企業(yè)都有團(tuán)隊(duì)在研究虛擬人，就是用圖形學(xué)技術(shù)做的嗎？

韓曉光：大概都是這幾步。不過，目前的虛擬人技術(shù)還都不是純靠圖形學(xué)，背后大多有人類建模師的參與。最常見的流程是：

用算法做出一個(gè)粗模，然后交給建模師，建模師對(duì)粗模進(jìn)行修飾、改進(jìn)，得到一個(gè)高模，高模出來后還需要建模師去定義虛擬人如何動(dòng)、定義人體的關(guān)鍵點(diǎn)來形成骨架，然后再通過一些視頻算法獲取信息，讓虛擬人動(dòng)起來，再把這段動(dòng)起來的視頻交給工程師精修，最后才出來一段大家看起來還不錯(cuò)的虛擬人視頻。

如果只是做靜態(tài)的虛擬人，幾千上萬塊就能搞定。但如果你希望這個(gè)形象能夠像真人一樣動(dòng)起來，動(dòng)的時(shí)間越長(zhǎng)，價(jià)格就越高。所以從我的角度看，我是希望能從技術(shù)的改進(jìn)中降低一些成本。

雷峰網(wǎng)：2018 年您剛找教職時(shí)，元宇宙還沒出現(xiàn)，圖形學(xué)的關(guān)注度也不是很高，您當(dāng)時(shí)怎么招生、申請(qǐng)科研基金？

韓曉光：當(dāng)時(shí)確實(shí)是比較難。圖形學(xué)是一個(gè)小圈子，雖然你的競(jìng)爭(zhēng)者不多，但是能申請(qǐng)到的科研經(jīng)費(fèi)也不多。我最開始是跟其他老師合作指導(dǎo)學(xué)生，然后我的碩士導(dǎo)師劉利剛（現(xiàn)在在中科大）也給我介紹了一些學(xué)生。

另外，在我初入教職時(shí)，崔曙光老師對(duì)我的支持非常大。我以前聽劉利剛老師說過，人的一生一定會(huì)遇到幾個(gè)貴人，我覺得崔老師就是我職業(yè)生涯中的第一位貴人。

我記得最早找教職的時(shí)候，就是崔老師面試我，所以我認(rèn)識(shí)的第一位港中深的老師就是崔老師。2018 年我入職時(shí)，崔老師還沒有全職加入港中深，在美國(guó)還有職位，所以他管的事情不是很多。但那時(shí)候，我有什么事情，找崔老師，他都是非常支持。很多時(shí)候我就給他發(fā)一個(gè)信息，問他能不能怎么怎么樣，崔老師就是回兩個(gè)字：支持。

這讓我感覺到非常舒服，在項(xiàng)目經(jīng)費(fèi)、帶學(xué)生方面，崔老師也是非常支持。崔老師自己是研究網(wǎng)絡(luò)通信的，對(duì)于我的研究方向不是特別了解，但他就是非常支持我，也給了我很大的自由度。平時(shí)他也會(huì)跟我們講講學(xué)術(shù)界要注意什么，也會(huì)有一些教誨。

崔曙光老師曾擔(dān)任港中深理工學(xué)院執(zhí)行院長(zhǎng)，目前擔(dān)任港中深未來智聯(lián)網(wǎng)絡(luò)研究院的創(chuàng)始院長(zhǎng)，我也在這個(gè)研究院下面，跟著他一起做事情。

圖注：韓曉光（右四）、崔曙光（左四）與實(shí)驗(yàn)室學(xué)生的合影

雷峰網(wǎng)：未來智聯(lián)網(wǎng)絡(luò)研究院是什么個(gè)情況？

韓曉光：研究院是在去年成立的，目前正在承擔(dān)國(guó)家重點(diǎn)研發(fā)計(jì)劃，廣東省重點(diǎn)研發(fā)計(jì)劃，廣東省珠江團(tuán)隊(duì)項(xiàng)目，成立了港中大（深圳）-國(guó)家無委會(huì)監(jiān)測(cè)中心檢測(cè)中心頻譜大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室、港中大（深圳）-京東集團(tuán)人工智能聯(lián)合實(shí)驗(yàn)室、港中大（深圳）-羅湖醫(yī)院集團(tuán)醫(yī)療大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室、深圳市大數(shù)據(jù)與人工智能重點(diǎn)實(shí)驗(yàn)室等。雷峰網(wǎng)

研究院的長(zhǎng)遠(yuǎn)目標(biāo)是發(fā)展數(shù)據(jù)驅(qū)動(dòng)的未來信息網(wǎng)絡(luò)、類腦智能、人機(jī)接口、分布式網(wǎng)聯(lián)智能、智慧醫(yī)院應(yīng)用等方向的科學(xué)研究。

雷峰網(wǎng)：您剛剛談到童姥的學(xué)者風(fēng)采，我們注意到童姥 9 月 2 號(hào)參加了你們第四期 PaSS 的訪談。上一期，你們也邀請(qǐng)了曠視的張祥雨。為什么要做 PaSS 這個(gè)節(jié)目？

韓曉光：我們實(shí)驗(yàn)室剛剛起步時(shí)，很多學(xué)生都是小白，所以在做科研受挫時(shí)，他們經(jīng)常會(huì)想：如果沒有辦法很快產(chǎn)出論文，是不是就不適合這個(gè)方向？經(jīng)常自我懷疑。

因?yàn)槲乙步?jīng)歷過發(fā) SIGGRAPH 的痛苦，所以我也能理解。我一開始會(huì)跟他們說，只要方向是對(duì)的，加上大家有主動(dòng)探索的意愿，風(fēng)雨之后總有彩虹。但我發(fā)現(xiàn)，只是說道理，大家很難接受。所以我就想，是不是能用學(xué)者們親身經(jīng)歷過的故事來讓他們知道，探索中的曲折是一件很正常的事情。

我就想到辦 PaSS（Paper Story Sharing）故事會(huì)，邀請(qǐng)一些圖形學(xué)和視覺領(lǐng)域的前輩來給大家講講論文背后的故事：他們最開始是怎么產(chǎn)生一個(gè)想法的，在想法實(shí)施的過程中遇到了哪些問題，面對(duì)這些問題的時(shí)候是怎樣的心態(tài)，這些問題最后是怎樣的情況？這些答案可以讓學(xué)生更了解一個(gè)工作和科研。

我本意也只是想邀請(qǐng)一些前輩給組里的學(xué)生分享故事，但后來覺得希望能對(duì)更多的圖形學(xué)和視覺社區(qū)的人有所幫助，便將PaSS辦成了直播的形式。這可能也是受到我老師劉利剛的影響，他就很喜歡給社區(qū)做貢獻(xiàn)，GAMES（國(guó)內(nèi)知名的圖形學(xué)論壇）就是他發(fā)起創(chuàng)辦的。

雷峰網(wǎng)：您同時(shí)活躍在圖形學(xué)和視覺兩個(gè)社區(qū)，對(duì)這兩個(gè)領(lǐng)域的共性和差異性有什么體會(huì)？

韓曉光：從研究?jī)?nèi)容上來說，一個(gè)簡(jiǎn)單的區(qū)別可能是，圖形學(xué)是生成，視覺是理解。不過我覺得沒有必要將兩個(gè)方向分得那么開，比如我研究的三維重建就是兩個(gè)領(lǐng)域都關(guān)心的問題。

前幾年我還是投 CVPR 多一點(diǎn)。SIGGRAPH 也有投，但很少中，因?yàn)橛腥哪隂]怎么專注在圖形學(xué)這一塊，研究做的不夠多。據(jù)今年的統(tǒng)計(jì)，大陸高校一共也才中了 46 篇 SIGGRAPH。

我的一個(gè)感受是，視覺社區(qū)和圖形學(xué)社區(qū)的科研品味還是不太一樣的。很多圖形學(xué)的研究向 CVPR 投稿不會(huì)被接收，很多視覺的研究投 SIGGRAPH 也會(huì)被直接拒稿。

以人臉識(shí)別為例，如果你在人臉識(shí)別上的研究結(jié)果做不到能用，那么你投 SIGGRAPH 基本上是中不了的。但視覺不一樣，視覺喜歡定義一個(gè)問題，然后大家針對(duì)這個(gè)問題做研究，把性能提升得越高就好。兩個(gè)領(lǐng)域的玩法不一樣。這幾年我從圖形學(xué)轉(zhuǎn)到視覺的過程中對(duì)這一點(diǎn)就深有體會(huì)。

雷峰網(wǎng)：能否舉一個(gè)具體的例子？

韓曉光：比如我們做過一項(xiàng)人體姿態(tài)估計(jì)的研究，我們寫的論文投向 CV 三大頂會(huì)，前后兩年投了四次才中。雷峰網(wǎng)

在人體姿態(tài)估計(jì)問題上，圖形學(xué)的做法是專注于解決一個(gè)具體問題，做到效果很好，比如只做一個(gè)人的姿態(tài)估計(jì)或者兩個(gè)人跳華爾茲舞的姿態(tài)估計(jì)，可以用到很多先驗(yàn)知識(shí)來幫助你做得更好。

按照這樣的路子做完這項(xiàng)工作之后我就投稿，得到的審稿意見確實(shí)很好，效果也挺好的，但是他們說不夠 general（通用）。這是我第一次感覺到圖形學(xué)跟視覺在研究上面是有區(qū)別的。圖形學(xué)是為了做出效果，所以做的東西可以很 narrow，但精度很高。而視覺要求 general，也就是往往更喜歡做非常泛的算法。

所以我們就去改，改出來的第二版還是沒有做得很 general，后來投稿結(jié)果還是一樣，審稿意見指出了同樣的問題。最后到了第三次修改的時(shí)候，我們就妥協(xié)了，去“懟”算法，做了一個(gè) general（通用）的東西。

這是兩個(gè)領(lǐng)域不同的 taste。我覺得審稿人說的是有道理的，只是兩個(gè)領(lǐng)域不太一樣而已。這幾年我慢慢從圖形轉(zhuǎn)到視覺，有過很多試錯(cuò)，慢慢就有感覺了。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))：您會(huì)更認(rèn)同哪一種“玩法”？

韓曉光：我倒覺得無所謂。做研究跟投什么頂會(huì)沒有多大的關(guān)系，核心是研究，把工作做好，把現(xiàn)有的問題解決掉，最后投哪個(gè)會(huì)議都可以。我現(xiàn)在已經(jīng)過了非要中 SIGGRAPH 的那個(gè)階段了（笑）。

其實(shí)每個(gè)人讀博前的成績(jī)都非常好。讀博之后，遇到各種各樣的挫折，我覺得是很正常的。我經(jīng)常跟學(xué)生說，科研一定是一個(gè)不斷自我懷疑的過程，這里面最重要的是要自我說服，自己給自己打雞血，自我安慰、自我認(rèn)可。比如我也是花了七年的時(shí)間才完成一個(gè)只屬于自己的還不錯(cuò)的工作。

現(xiàn)在元宇宙很火，實(shí)驗(yàn)室里也有一些學(xué)生希望以后去打造元宇宙，我覺得這都可以。夢(mèng)想還是要有的，但要堅(jiān)持，說不定哪天就能實(shí)現(xiàn)了。但我們做研究，也不單單是為了發(fā)論文或隨大流，最終還是為了能對(duì)科技做點(diǎn)微薄的貢獻(xiàn)，真正能推動(dòng)領(lǐng)域的發(fā)展。雷峰網(wǎng)

（港中深在讀博士生邱宇達(dá)對(duì)本文亦有貢獻(xiàn)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。