0
編輯丨岑峰
元宇宙被認為是互聯(lián)網(wǎng)的自然迭代階段，是人類社會在發(fā)明語言、文本、數(shù)學、圖像之后，信息爆炸逼迫我們將數(shù)據(jù)不斷抽象為高維數(shù)據(jù)的當下，將交流媒介徹底具象化的另一極革命。有句話說得好，“文化即元宇宙”。元宇宙的世界源于現(xiàn)實，又別于現(xiàn)實、超越現(xiàn)實，我們可以輕易在其中跨越物理距離面對面交流，超越現(xiàn)實的含義之更深層的，乃是超越規(guī)則。但在超越規(guī)則之前，我們在第一步上仍顯稚嫩。
而如今，也正有無數(shù)學者正在探索元宇宙的第一步，即還原現(xiàn)實。在視覺領域，他們研究如何獲取城市高樓的三維形狀，如何模擬櫻桃與水面的接觸，以及如何讓幾何人學會走路和跳舞。
通過研究三維對象的幾何與行為，這個領域——計算機圖形學，正在展示其還原世界的無限潛力。
在與陳寶權、王濱、劉利斌三位學者的交流中，我們可以感受到，盡管元宇宙還遙不可及，但“種子早已萌芽”。陳寶權主要研究幾何也就是三維建模，王濱和劉利斌主要研究行為，也就是物理仿真和運動控制。
幾何與行為正是北京大學智能圖形團隊重點發(fā)展的研究方向，二者構成了“形”與“力”的二重奏。
正如恩里科·費米所言：If you can not create it，you cannot understand it.
“圖形學也是在人們探索理解這個世界的一個必經(jīng)階段，同時重建世界也是圖形學一直在倡導的一個理念。在多年的累積中，圖形學已經(jīng)累積了大量關于世界的知識。比如物體的幾何形體表達、物理特性、光照等等。要實現(xiàn)視覺智能，圖形學是很重要的一步。”陳寶權說到。
陳寶權，北京大學博雅特聘教授。研究領域為計算機圖形學、三維視覺與可視化。2017年當選中國計算機學會會士，2020年當選 IEEE Fellow，2021年入選IEEE Visualization Academy，當選中國圖象圖形學學會會士。
計算機上還原的世界的時間是可回溯的。在2022年冬奧會上，陳寶權就帶領北大科技冬奧團隊為我們展示了這一時間魔法。觀眾用手機觀看冰球比賽時，可以隨時暫停比賽畫面，并可360度轉動冰球場，品味精彩瞬間。
這一技術也僅僅是陳寶權研究三維建模多年經(jīng)驗的小試牛刀。陳寶權從2000年就開始關注對真實場景進行三維建模。在2009年為深圳構建城市3D建模的項目中，陳寶權團隊采用了激光掃描等手段得到現(xiàn)實場景的三維點云，再進行重建，這項技術已成為智慧城市建設的基礎。
2008年陳寶權回國之初創(chuàng)建的“城市建模仿真與可視化“系列國際論壇第一屆，聚集了國內(nèi)外該領域許多頂級專家來參會。
2009年陳寶權創(chuàng)建的基于移動車載激光掃描的大規(guī)模城市場景三維重建團隊。
由于室外環(huán)境限制，比如樹木的遮擋，不可能得到建筑物每個面的點云數(shù)據(jù)。因此，陳寶權團隊提出了結合先驗知識的方法，通過從稀疏點云中識別平面區(qū)域，計算平面之間的交線和交點，以得到完整的多邊形，其中平面區(qū)域是通過聚類得到的。下圖給出了稀疏缺失的三維點云、聚類后的點云以及重建后的三維模型。
稀疏點云三維重建。圖源：大規(guī)模城市場景建模與理解
綜合二維圖像和三維點云的優(yōu)點，陳寶權團隊在論文“2D-3D fusion for layer decomposition of urban facades”中提出了 一種融合二維圖像和三維點云的分層建筑物墻面重建方法。通過將三維點云的深度信息賦予二維圖像，還原了高分辨率、無噪聲的建筑物模型。下圖給出了三維點云與二維圖像、 注冊后的點云和圖像、重建后的建筑物三維模型以及粘貼紋理之后的模型。
融合點云和圖像建筑物三維重建。圖源：大規(guī)模城市場景建模與理解
建筑和植物是城市中最常見的兩類實體，其三維模型也是城市三維場景的主要構成要素。不同于具備規(guī)則性的人工建筑，植物屬自然產(chǎn)物，三維結構特征更加復雜。盡管也可以采用規(guī)則方法建模植物，但基本上很難描述給定的模型或真實樹木。基于實際采集數(shù)據(jù)（一般是圖像和點云），則可以得到低層次的模型描述，比如三角網(wǎng)格模型。
陳寶權團隊在論文“Automatic reconstruction of tree skeletal structures from point clouds”中提出了基于激光點云的自動樹木骨架重建方法，通過一系列全局優(yōu)化方法在稀疏的、不完整的、嘈雜的點云中適配樹木的骨架結構。該算法無需對點云進行分割，即可重建互相交疊的樹枝結構。
基于激光點云的自動樹木骨架重建。圖源：大規(guī)模城市場景建模與理解
意識到同一樹種局部結構存在的相似性之后，團隊又在論文“Texture-Lobes for Tree Modelling”中提出了基于 Lobe 表示的樹木快速三維建模方法，以克服前述方法的效率局限性。
基于Lobe表示的樹木三維建模。圖源：大規(guī)模城市場景建模與理解
近十年后，在智慧城市快速發(fā)展的年代，場景規(guī)模越來越大、顆粒度越來越細、更新頻率越來越高，成為了智慧城市三維建模的新要求。
在原始采集數(shù)據(jù)稀疏甚至缺失的情況下，基于先驗知識和幾何內(nèi)在規(guī)則約束的建模方法有局限性，陳寶權團隊提出了“主動式”掃描機制，將采集和重建構成一個閉環(huán)，為重建提供數(shù)據(jù)保障。而主動式采集可以依靠機器人或人來完成。
為此，陳寶權團隊提出了城市場景漸進式構建思路。該思路認為，城市場景規(guī)模大且永遠處在快速變化當中，集中式重建的成本昂貴且其完整性和實時更新變得不可能，應該構建一種分布式機制來實現(xiàn)對重建數(shù)據(jù)的擴充和修正，由此達到城市場景的瞬時更新。智能體（單/多機器人或人群）具有主動探索能力，是場景漸進式構建的主要載體。
在論文“Autoscanning for coupled scene reconstruction and proactive object analysis”中，陳寶權團隊提出了基于場景物體置信度引導的單機器人主動探索方法，通過對低置信度場景進行交互以驗證并提高結果準確性，從而逐漸精細化室內(nèi)場景。
而到了城市室外場景時，由于環(huán)境是開放的，無法事先進行建模，直接應用相同方法會導致效率問題?！皩τ谝粋€不斷變化的場景，機器人要如何進行自我導航、場景探索，也是一個難題。畢竟其中不僅涉及機器人的運動，還涉及到機器人和環(huán)境的交互?！标悓殭啾硎?。
為此，在論文“Autonomous reconstruction of unknown indoor scenes guided by time-varying tensor fields”中，陳寶權團隊提出了一種時變張量場驅動的未知室內(nèi)場景自動重建策略，在規(guī)劃機器人移動路徑時，對城市場景對象進行約束和更新，生成機器人路徑指導其進行探索，從而兼顧效率和精度。
一臺機器人的工作效率始終有限，因此，多機器人協(xié)同探索就成了自然的選擇。“機器人協(xié)同的難點在于，N個機器人能不能達到N倍的效率。我們甚至還希望達到1+1>2的效果，比如兩個機器人之間的信息融合可以讓彼此對環(huán)境都更加了解，這是所謂協(xié)作的關鍵?！标悓殭啾硎尽?/span>
在論文“Multi-robot collaborative dense scene reconstruction”中，陳寶權團隊提出了基于最優(yōu)質量傳輸理論的多機器人協(xié)同探索以及主動漸進式重建位置城市場景模型的算法。最優(yōu)質量傳輸理論的目標是求出兩個分布（或者說集合）之間的映射關系，使得該映射在給定的度量下代價最低。
在多機器人掃描重建問題中，把機器人看作是場景掃描任務的“供給方”，未知環(huán)境看作是場景掃描任務的“需求方”，而機器人實際執(zhí)行掃描任務所需要的代價（如移動距離）作為映射的度量。以此為基礎，可以通過求解最優(yōu)質量傳輸，可得到機器人和掃描任務之間的映射，使掃描代價最低。
一種用于未知室內(nèi)場景的多機器人協(xié)同密集重建算法。圖源：Multi-Robot Collaborative Dense Scene Reconstruction
“整體上，我們既需要用全局規(guī)劃來統(tǒng)籌所有機器人之間的協(xié)作和任務分配，也要基于機器人的局部視角去規(guī)劃其單獨就能完成的任務。這是這類任務的算法設置的基本策略?！?/span>
世界不是靜態(tài)知識的集合，陳寶權在科研征途上也不斷擁抱進步，采用先驗知識結合數(shù)據(jù)學習的方式，見證了幾何建模在尺度規(guī)模以及精細度不斷延展的歷程。然而，如果僅僅局限于幾何建模本身，這樣的世界也是靜態(tài)的。
“從生成一個世界到理解一個世界，兩者已經(jīng)密不可分。生成是為了理解，而理解了之后也是為了更好地生成，兩者在不斷地互相增強?！?/span>理解不止是將物體進行分類、語義分割，而是要還原其在現(xiàn)實世界中與其它物體接觸、碰撞的真實力學乃至動力學反應。
“幾何建模是物理仿真的基礎。通常我們要先得到物體的幾何參數(shù)，再根據(jù)幾何形狀的動態(tài)變化去推測物理參數(shù)，比如王濱老師做的荷葉研究。劉利斌老師做的人體運動控制研究也一樣，要控制一個人的姿態(tài)，也需要先獲取真實的人體數(shù)據(jù)來學習。但面對自然現(xiàn)象，幾何建模與物理仿真有時需要同時進行，通過全局優(yōu)化來獲得對現(xiàn)象的動態(tài)重建。”陳寶權表示。
“通過外力讓一片荷葉晃動，我們就得到了荷葉的動態(tài)數(shù)據(jù)，據(jù)此不僅可以推斷出荷葉的幾何形狀，還可以推斷出荷葉的物理參數(shù)?！蓖鯙I說到，“這些物理參數(shù)不僅包括材料的硬度，還包括阻尼特性、原始形狀等等?！?/span>
王濱，現(xiàn)任北京通用人工智能研究院（BIGAI）全職研究員，在加入BIGAI之前，她于2017年至2021年擔任北京電影學院未來影像高精尖創(chuàng)新中心研究員。
王濱博士畢業(yè)于北京航空航天大學，期間研究方向是虛擬現(xiàn)實和人機交互，在當時來說是一個很前沿的方向。之后她到UBC進行訪問研究，主要進行手部的仿真和模擬。
在訪問研究的過程中，王濱逐漸對物理仿真感興趣。由于物理仿真的門檻較高，于是王濱從碰撞檢測的課題入手，逐漸進入仿真領域，并進行深耕。
王濱告訴我們，研究物理仿真之前，在數(shù)學和物理方面都需要深厚積累，也需要很強的代碼實現(xiàn)能力，“在算法實現(xiàn)方面，物理仿真的代碼量較大，而且沒有很多開源的項目作為實現(xiàn)基礎，我們往往需要從零開始造輪子。另外物理模擬的計算量大，因此需要較好的算法結構設計和高效的實現(xiàn)。為了提高計算效率，一些計算工作還需要轉移到GPU上，也對編程能力有一些更高的要求。”
在數(shù)學方面，物理模擬主要涉及數(shù)值計算和最優(yōu)化的數(shù)學理論支撐，“比如在逆向分析算法中，就需要優(yōu)化算法基礎。在模擬中，也需要進行大型線性系統(tǒng)的求解，因此涉及到算法的選擇和數(shù)學近似等數(shù)值計算工作?！蓖鯙I說到。
后來，王濱到新加坡國立大學進行物理仿真領域的博士后研究工作，“材料仿真建模是當時的萌芽課題，也是在那個時候和深圳先進研究所有了深入的交流和合作?！被氐奖本┖螅鯙I加入北京電影學院未來影像高精尖創(chuàng)新中心工作5年，最近加入北京通用人工智能研究院，一直和北京大學及國外高校展開合作，進行過很多物理仿真模擬的研究，例如材料反向建模、流體模擬、磁性物質模擬等。
荷花的物理參數(shù)推斷就屬于材料反向建模研究，相關成果發(fā)表在論文“Deformation Capture and Modeling of Soft Objects”中，由王濱與劉利斌等人合作完成。
系統(tǒng)可以僅從運動學數(shù)據(jù)中捕獲和重建軟物體的動力學模型。然后，利用這一模型可以合成滿足用戶指定約束并響應動態(tài)擾動的新運動。上圖左：一只正在行走的恐龍；中間：一個鍋架在跳躍；上圖右：一個衣架在跳躍。下圖：荷葉在人造風場中晃動。圖源：Deformation Capture and Modeling of Soft Objects
圖形學的交互驅動可以分為兩個分支，一個是幾何數(shù)據(jù)驅動，一個是力學驅動。幾何數(shù)據(jù)驅動是指對一個現(xiàn)象進行致密幾何形狀采樣，而后通過其進行插值并得到結果，而荷花的研究工作是基于力學的驅動。
“整體的交互是按照物理模型進行驅動，而模型的關鍵參數(shù)是通過數(shù)據(jù)驅動的方式求解的。例如物體的軟硬程度、阻尼系數(shù)和參考形狀（失重狀態(tài)下的自然舒張狀態(tài)）。這是從運動數(shù)據(jù)逆向推導出系統(tǒng)力學和物理系數(shù)的建模方法?！蓖鯙I說到。
反向材料系數(shù)生成后，也可以對其進行修改和定制，遷移到其他類似的物體上。基于運動數(shù)據(jù)驅動的模型反演也可以用來擬合那些現(xiàn)實中不存在的超級材料。“反向材料建模的目的是減小仿真和真實的差異，當我們需要控制模型的某些參數(shù)，使其具有新的特性時，模型也可以通過參數(shù)調整進行人為干預?！?/span>
在材料模型和系數(shù)的設計方面，一般不使用AI方法進行表述，“因為它通常無法滿足很多先驗的約束，直觀理解就是很多硬約束條件無法先天滿足。數(shù)據(jù)少、容易過擬合、泛化性差。深度學習的耦合性很強，目前來說無法或很難解釋各個參數(shù)的控制變量，也無法從端到端的模型學習工作中確定其可解釋意義?！崩?，由于其中數(shù)據(jù)缺失和噪聲嚴重，可變形物體的反向材料建模就需要很好地將數(shù)據(jù)驅動與先驗知識相結合。
材料反向建模通常限于單個物體，不會進行多個物體交互的場景數(shù)據(jù)采集，因為涉及接觸力等很多參數(shù)是無法測量和采集的。不過，王濱依然在朝這個方向邁進。
在論文“Solid-Fluid Interaction with Surface-Tension-Dominant Contact”中，王濱與陳寶權等人合作研究了強表面張力下的的流固耦合模擬——具有表面張力主導接觸的固流相互作用。在這項研究中，無論是鋼回形針、櫻桃、秋葉還是水黽機器人，都可以在表面張力的作用下浮在水面，并蕩漾出了真實自然的波紋。
三向耦合方法可以模擬固體和液體之間以表面張力為主的接觸動力學，包括鋼回形針的靜態(tài)接觸、水面上的櫻桃、秋葉在小溪中漂浮和旋轉 ，以及由其關節(jié)驅動的水黽機器人。圖源：Solid-Fluid Interaction with Surface-Tension-Dominant Contact
這種固液表面接觸的最大特點是強表面張力，比如鋼回形針的密度是水的8倍，但仍然可以漂浮在水面上，就是因為水的表面張力系數(shù)較高。
對于在水面上的固體物體，它的力平衡可以理解為重力?_?g、浮力f_?、毛細力f_?三個力之間的平衡：?_?g = f_? + f_?。浮力的作用是通過對與水接觸的體積的流體壓力進行積分來推斷的，而毛細力是通過對沿體積接觸周長的表面張力進行積分來計算的。
固體和流體相互作用。在重力??、浮力f_?和毛細力f_?之間的平衡下，實心圓漂浮在水面上。圖源：Solid-Fluid Interaction with Surface-Tension-Dominant Contact
從計算的角度來看，準確地模擬這三種力之間的相互作用需要對三個子系統(tǒng)進行適當?shù)奶幚怼后w、固體以及它們之間的強張力液體界面。
然而，在計算物理學和計算機圖形學界，由于缺乏有效的計算工具來精確模擬三個子系統(tǒng)之間的相互作用，模擬強耦合的表面張力主導接觸過程的問題在很大程度上仍未得到探索。
在傳統(tǒng)的雙向耦合系統(tǒng)中，沒有直接的途徑來橋接液體和固體，使得無法模擬流固體系中至關重要的f_?項。“流體的歐拉網(wǎng)格通常無法很好地跟蹤表面，表面張力和曲率相關，而歐拉網(wǎng)格不易準確計算曲率?！?/span>
為此，王濱與團隊提出了一種新穎的“三向”耦合機制來模擬由強表面張力驅動的固液耦合，“關鍵是將表面張力主導界面視為同時與液體體積和固體物體耦合的拉格朗日薄膜，界面不再是一個無限薄的數(shù)值載體，而是具有有限的小厚度。拉格朗日方法可以精確追蹤表面，并計算表面的張力。同時，拉格朗日方法也可以很好表述表面和物體的碰撞，并將水分子的張力施加到固體上?！?/span>
團隊圍繞這種“三向”耦合思想開發(fā)了一整套數(shù)值基礎設施，以全面適應不可壓縮性、浮力、表面張力、剛性關節(jié)及其各種復雜相互作用的處理?！拔覀兊臄?shù)值解的一個重要特征是它能夠處理液體和高密度比固體系統(tǒng)之間的耦合，這對于所有以前的方法都是不可行的?！?/span>
除了物體的漂浮，該方法還可以模擬“Cheerios 效應”（比如牛奶上的麥片互相吸引）、由表面活性成分引起的表面張力減弱效應（比如洗潔精加入水中）等現(xiàn)象?！八?，通過數(shù)值方案，我們能夠實現(xiàn)多尺度多物理場的耦合。其基本思路都是基于背后的物理機制，再設計數(shù)值計算的框架將其描述表述出來?！?/span>
落入水中的球體。由于薄液膜的網(wǎng)格表示，因此可獲得由固體運動刺激的精細波傳播。圖源：Solid-Fluid Interaction with Surface-Tension-Dominant Contact
荷葉模擬和回形針模擬都是經(jīng)典力學問題，在論文“A Level-Set Method for Magnetic Substance Simulation”中，王濱和陳寶權等人合作挑戰(zhàn)了磁流體模擬問題，并對領域內(nèi)的一個多年爭論給出了一個解決方法。
這個爭論是“施加在物質上的磁力是體積力還是表面力？”即使在今天，這個問題仍然沒有得到明確的回答，爭論的起源可以追溯到 150 年前麥克斯韋方程的誕生。
在表面張力驅動的現(xiàn)象中，磁流體表現(xiàn)出其獨特的表面幾何形狀和動力學特征，即尖銳的錐形結構陣列的出現(xiàn)和演變。這些吸引人的特征是由于重力、表面張力和磁力之間的多邊相互作用而產(chǎn)生的。
王濱和團隊提出，無論是理論上還是計算上，磁力耦合系統(tǒng)都可以作為界面問題來解決，“磁流體一般是基于背景網(wǎng)格進行計算。但實際上磁力既可以表達為場，也可以表達為表面力。在我們的研究中沒有使用對等的場力建模，而使用了表面力形式來建模。”
使用表面力建模方法可以巧妙地利用邊界的跳變模擬表面力，這方面恰好有良好的數(shù)學方法進行描述，從而可以順利計算，“因此在磁流體建模中，我們僅需要基于歐拉網(wǎng)格便可以進行良好的描述。”
從磁場到機械系統(tǒng)的前向耦合是界面的，通過模擬亥姆霍茲力對運動物體（例如，流體或固體）的表面效應，而從物理系統(tǒng)到磁場的后向耦合是體積的，通過跟蹤浸入背景磁場中的移動磁性材料（水平集、粒子或網(wǎng)格）。
該計算框架可以很容易地集成到標準的歐拉流體求解器中，實現(xiàn)復雜磁場的模擬和可視化。由于方法的歐拉性質，其天生能夠準確計算長程磁相互作用，而不管浸入物體之間的距離如何。他們提出的方法對包括鐵磁流體、剛性磁體、可變形磁體和多相耦合等對象的模擬表現(xiàn)出豐富的幾何和動態(tài)特性。
基于統(tǒng)一水平集的方法可以模擬和可視化各種磁現(xiàn)象的動力學，包括鐵磁流體、可變形磁體、剛性磁體和多物理場相互作用。圖源：A Level-Set Method for Magnetic Substance Simulation
就像我們在教科書里經(jīng)?？吹降?，很多物理問題都有很限定的對象和邊界條件，但是計算機圖形學模擬的物理現(xiàn)象，不管是上述提到的固液耦合還是磁流體，往往空間、時間、相變的跨度很大，并且也涉及多個現(xiàn)象，跨越了多個邊界條件。
“也就是說，我們需要在一個求解里面實現(xiàn)跨度很大的現(xiàn)象變化和邊界條件變化，這和傳統(tǒng)的數(shù)學物理領域的求解很不一樣。”陳寶權表示，“要求解這樣的復雜現(xiàn)象會涉及到不同體系的方法，要將它們?nèi)诤显谝黄穑瑫r在幾何的表達上有一個連續(xù)的表達，是很難做到的。比如，固體和流體耦合的模擬中，固體有固體的表達，流體有流體的表達，它們之間還有能量的傳遞。換句話說，就是固體有一個方程，流體有一個方程，同時還要將兩個方程做一個關聯(lián)?！?/span>
磁流體的仿真挑戰(zhàn)在于多物理場模擬。例如磁流體模擬中，其本質是在固體仿真中添加一個磁場，磁場和固體具有相互作用的性質。這項額外添加的磁場會讓整體系統(tǒng)更加復雜，因此經(jīng)典力學和電動力學的耦合是其關鍵所在。類似的挑戰(zhàn)還存在于剛性和彈性體的耦合仿真中。
彈性體與剛體的聯(lián)合建模的最大應用方向是人體的仿真。之前人體仿真工作都是將人體簡化為剛體鉸鏈結構，并沒有考慮肌肉脂肪對人體所帶來的影響。但實際上，這些彈性體人體組織對運動行為的影響很大?！叭绻覀兊目刂扑惴ㄎ传@得此類肌肉脂肪對骨骼的影響，那么其逼真度就會大幅下降。因此，我們要將所有對運動產(chǎn)生影響的因素考慮進去?！标悓殭啾硎尽?/span>
目前的很多游戲中，此類仿真應用較少，“原因是無需如此精準的仿真，他們追求的更多是計算效率以及視覺效果?！?/span>
彈性體與剛體的聯(lián)合建模涉及到數(shù)字人的研究建模，數(shù)字人的建模難題在于如何對數(shù)字人進行全方位的描述，包括紋理、動作的復現(xiàn)，以及醫(yī)學生理結構（比如血管、肌肉、神經(jīng)等）。
在論文“Learning Skeletal Articulations with Neural Blend Shapes”中，劉利斌與陳寶權等人提出了一種新方法，克服了3D數(shù)字人模型在運動中常見的變形缺陷，例如在關節(jié)處出現(xiàn)蒙皮塌陷（形變?nèi)毕莠F(xiàn)象），從而實現(xiàn)了高質量的蒙皮變形。
傳統(tǒng)的蒙皮和裝配變形模型過于簡化了人類和動物的移動方式，導致了經(jīng)典的形變?nèi)毕莠F(xiàn)象，而使用混合形狀技術則可以在關節(jié)等敏感區(qū)域提供細粒度控制。基于這一點，這項工作提出了一種新的基于人工神經(jīng)網(wǎng)絡的“神經(jīng)混合形狀”技術，能夠自動處理具有不同形狀和連通性的數(shù)字模型。
通過神經(jīng)網(wǎng)絡學習為具有任意連通性的人體輸入綁定骨骼和蒙皮，并生成神經(jīng)混合形狀。該框架可以生成與姿勢相關的位移，導致高質量的變形，尤其是在關節(jié)區(qū)域。圖源：Learning Skeletal Articulations with Neural Blend Shapes
在訓練期間，網(wǎng)絡觀察形狀的變形，并學習使用間接監(jiān)督來推斷相應的綁定、皮膚和混合形狀，繞過提供監(jiān)督包絡或混合形狀變形參數(shù)的需要。由于不假設訓練數(shù)據(jù)具有特定的潛在變形模型，間接監(jiān)督能夠學習任意數(shù)量的混合形狀。
包絡變形分支。給定 T-pose (V, F) 和關節(jié)旋轉 (R) 的網(wǎng)格，神經(jīng)網(wǎng)絡通過觀察角色關節(jié)頂點位置，通過間接監(jiān)督來推斷蒙皮 (W) 和裝配 (O) 參數(shù)。圖源：Learning Skeletal Articulations with Neural Blend Shapes
“這項工作是第一個基于深度學習的自動包絡方法，結合了與姿勢相關的混合形狀，可用于具有任意連通性的皮膚網(wǎng)格?！眲⒗笳f到，“值得注意的是，我們的模型具備很強的對人體細節(jié)形變（例如，肌肉的抖動）的捕捉能力?！?/span>
陳寶權表示，“我們目前已經(jīng)實現(xiàn)了單向的建模，也就是將動作復現(xiàn)出來，而后再修改肌肉的形狀反應，而非由于肌肉的變化而導致對應的運動控制。因此肌肉的收縮和脂肪的抖動存在差異，仿真與實際還是存在差異?！?/span>
“人的動作是一個主觀過程的結果。因此，我們通常無法通過既定的規(guī)則和規(guī)定限制動作的過程和表現(xiàn)，其本質上是一個統(tǒng)計學模型。所以，對于動作生成更多使用基于數(shù)據(jù)驅動進行研究，AI是很好的解決方法，目前相關前沿工作也是更多基于AI的突破，其中深度學習、強化學習扮演和起到了重要的角色?！眲⒗笱a充到。
劉利斌，北京大學前沿計算研究中心助理教授，主要研究方向是計算機圖形學、物理仿真、運動控制以及相關的優(yōu)化控制、機器學習、增強學習等領域。
加入中心之前，劉利斌博士曾于加拿大不列顛哥倫比亞大學（The University of British Columbia）及美國迪士尼研究院（Disney Research）進行博士后研究，后加入美國硅谷創(chuàng)業(yè)公司DeepMotion Inc.擔任首席科學家。
劉利斌重點關注運動控制，這項技術最重要的應用之一是角色動畫。傳統(tǒng)角色動畫的生成涉及建模、骨骼綁定、相機控制和動作生成等過程，整個過程需要耗費大量時間和人力，結合人工智能技術，有望實現(xiàn)動畫生成的加速。實際上，在博士期間，劉利斌就開始了對動畫角色運動技能學習的探索。
和物理仿真不同，角色動畫領域也沒有足夠的體系化的領域知識，因此劉利斌和團隊開始嘗試基于強化學習的方法。研究發(fā)現(xiàn)，無論是對單個技能還是技能組合的學習，強化學習都比傳統(tǒng)方法有更好的效果。
“我認為完整的人工智能應該具有良好的運動能力，它可以支持智能體探索較大的空間，并能完成更加復雜的任務。因此，我們希望未來的人工智能能夠主動地去感知運動，自主的學習新的運動技能，并且能夠根據(jù)實際情況來協(xié)調運用這些技能，從而與人和其他人工智能進行交互與協(xié)作?！眲⒗蟊硎?。
當然，縱使肌肉抖動能夠很好地還原，要用人工智能生成流暢的動作，還需要進行大量動作數(shù)據(jù)的學習。從動畫師手動調整角色關鍵幀中的姿態(tài)，到動作捕捉技術，再到基于深度學習的監(jiān)督姿態(tài)估計技術，實際上，動作學習還可以再進一步——無監(jiān)督動作學習。
在論文“Unsupervised Co-part Segmentation through Assembly”中，劉利斌與王濱、陳寶權等人合作提出了基于無監(jiān)督學習的圖像共同部分分割方法。該方法可以對人體、手、四足動物和機器人手臂等物體實現(xiàn)有效的部件分割，進而有效地捕捉視頻中的動作信息，這些信息融合到動畫角色模型上后，就可以自然地生成動作。
在不同場景下測試的視覺分割結果，包括人類、手、四足動物和機械臂。圖源：Unsupervised Co-part Segmentation through Assembly
視頻序列包含動作的所有結構和運動信息，包括主體在任何時間的姿勢以及姿勢之間的動態(tài)轉換。
劉利斌和團隊在這項研究中的目標是從視頻中提取基于部件的通用表示。得到了部件的表示之后，就可以進行自由的組合。
具體來說，在訓練過程中，圖像編碼器將源圖像輸入轉換為源潛在特征圖和源部件變換，其中源部件變換可以將源潛在特征圖逆變換成規(guī)范特征圖，規(guī)范特征圖是特征圖的“原點”。同時，還有另一張目標圖像作為輸入，被轉換為目標潛在特征圖和目標部件變換。規(guī)范特征圖經(jīng)過目標部件變換轉換為重定位特征圖。判斷網(wǎng)絡學習效果的指標是將重定位特征圖解碼為目標圖像的還原度，以及將源潛在特征圖解碼為源圖像的還原度。
訓練過程，以端到端的方式訓練分割網(wǎng)絡。圖源：Unsupervised Co-part Segmentation through Assembly
由于不是通過全局圖像扭曲而是混合每個部分的扭曲圖像來生成最終圖像。從本質上講，基于圖像的裝配操作有效地約束了每個單獨零件的流形，從而改善了最終結果。
與基于單個圖像的分割相比，自監(jiān)督的學習模式聚合了來自多個圖像的形狀相關信息，從而改進單個圖像的分割。
在電影等場景中，相機鏡頭也是敘事的重要部分?；跀z影方面的先驗知識生成相機軌跡固然是一種思路，但這種先驗知識很難用數(shù)學語言表達。為此，在論文“Example-driven Virtual Cinematography by Learning Camera Behaviors”中，王濱和陳寶權等人合作提出了從輸入視頻提取相機風格表示的方法，使拍攝虛擬動畫場景的過程展現(xiàn)出相似的風格。
一種攝像機運動控制器的設計，該控制器能夠自動從不同的電影剪輯中提取攝像機行為（左）并將這些行為重新應用于 3D 動畫（中）。在此示例中，模型從三個不同的參考剪輯中自動生成了三個不同的相機軌跡（紅色、藍色和黃色曲線）。右邊顯示了沿每個相機軌跡的 4 個特定時刻的視點，展示了系統(tǒng)從不同的輸入示例中編碼和再現(xiàn)相機行為的能力。來源：Example-driven Virtual Cinematography by Learning Camera Behaviors
王濱表示，該工作中人工智能比重較大，因為它和物理模擬有所差異。“物理模擬背后有豐富和扎實的形式化知識，無需AI重復造輪子。而對于鏡頭語言，它的語義性質強，目前沒有合適的數(shù)學模型進行描述。而這正是神經(jīng)網(wǎng)絡的優(yōu)勢之處，它更適合這種語義性質強的事物建模和描述?！?/span>
“在運動生成中，目前沒有很多的語義級表征。”劉利斌補充到，“在風格表征中會有類似的工作和元素存在，例如表示歡快或者悲傷的情緒的語義表達變量。但是在運動生成中，目前沒有類似成果。但我認為這是一個未來的方向，因為運動控制是多種動作的有機組合，其抽象、語義級的表示可能是一個有前景的方向，目前也有類似的苗頭和前期工作出現(xiàn)，很有意義?！?/span>
談及選擇深耕運動控制的原因，劉利斌說到，“對于運動控制方向，學界的探索還是領先的。目前來看其生成的效果尚不能達到業(yè)界需求，雖然可以提供基本的控制能力，但是其效率、真實性離工業(yè)界的實際需求還有較大距離。這個方向有很大的研究空間。”
當下的工作還不會對環(huán)境進行建模，但在未來，運動控制可能需要和物理環(huán)境進行交互，“我們會考慮加入環(huán)境物理建模的步驟，增加其真實性?！?/span>
“在運動控制領域內(nèi)，目前人們主要關注多技能的學習。例如對抗（格斗）和協(xié)同（跳舞）等類型的技能中，就涉及了多種技能的組合?！倍嗉寄軐W習不僅對于娛樂有用，在智能駕駛、服務機器人等領域也大有用處。
劉利斌認為，技能遷移在未來會是個潛在研究熱點，比如獲取到一些控制經(jīng)驗后，如何利用已有知識進行更好的其他部分的協(xié)同和學習？當機器人學會平衡技能后，學習后空翻動作時如何利用平衡技能？因為后空翻動作完成后也涉及到平衡狀態(tài)。“這有點像NLP的預訓練模型，對于動作控制，我們也可以進行類似的研究，可以稱之為‘數(shù)字小腦’?！?/span>
“可以說，我們目前在進行小腦人工智能的研究和開發(fā)，大腦部分更多的是語言、視覺等方面。在未來，這兩個大部分可能會更多的融合，從而綻放更美的火花。目前小腦部分還在開發(fā)，尤其是多技能集合的學習和擴充，相信有一天我們可以實現(xiàn)完備的數(shù)字小腦?！?/span>
盡管計算機圖形學在技術應用上已經(jīng)觸達了現(xiàn)實生活，但仍存在基本的挑戰(zhàn)。
“幾何建模在基礎理論層面仍有一個遠未實現(xiàn)的目標，那就是對隨時間變化的事物進行連續(xù)、高效、統(tǒng)一的幾何表達。比如一棵樹在從春天到冬天會發(fā)生很大的形態(tài)變化，在這過程中，如何進行幾何表達，同時兼顧關系屬性、動態(tài)表達，就是個大難題。而具體到物理、動態(tài)的時候，對于每種屬性的表達都會有所不同，最終可能會導致不一致的輸出結果。在工程系統(tǒng)方面存在諸多挑戰(zhàn)，計算機圖形學的工程系統(tǒng)涉及傳感器、傳感器通訊、計算、存儲等等，需要推動這方面的發(fā)展，GPU便是一個實例。”陳寶權表示。
在物理仿真領域，多物理場景、多尺度模擬都還存在許多挑戰(zhàn)，而諸如相變、碰撞、翻轉、形變等不可微現(xiàn)象也對基于梯度學習的神經(jīng)網(wǎng)絡應用帶來了根本困難。
“我不是很贊同使用深度學習完全替代物理公式模型，因為物理學家已經(jīng)對該場景進行了長久的研究，并給出了理論模型的近似。而神經(jīng)網(wǎng)絡并沒有能夠像人類一樣對類似場景進行類似量級的歸納總結和表達，因此其通用性較為受制。換句話說，基于數(shù)據(jù)的神經(jīng)網(wǎng)絡模型通常無法學習到物理世界的底層邏輯，也無法保證物理模擬特征的可控性?！?/span>王濱表示。
對于上述挑戰(zhàn)，目前的研究方向之一是使用統(tǒng)一的模擬方法進行描述和建模?！氨热鏜PM方法既適配流體又適配剛體的模擬，得到了領域的認可。而IPC方法能夠將碰撞使用能量形式而非約束形式加入到物理系統(tǒng)中，其普適性體現(xiàn)于對于單邊約束的仿真統(tǒng)一解法的歸一和簡化，能夠穩(wěn)定簡單地進行求解，并保證每一步都沒有穿透，且操作可微?！?/span>
人工智能目前并沒有大規(guī)模利用在物理仿真場景中，但是王濱也指出，在未來，物理模擬系統(tǒng)中的很多棘手問題可以通過AI進行解決，“AI并不是推翻一切物理定律、重新造輪子的技術。它更應該像是一個工具，解決現(xiàn)有系統(tǒng)中的難以解決的步驟和問題。在未來，我相信結合傳統(tǒng)物理建模和人工智能方法的思路會逐漸成為主流?！?/span>
王濱認為，深度學習也許在響應的即時性方面能夠給予不錯的補充，因為它們通常能夠找到一個不可解釋的快速的滿足要求的解，“這個解可以表達我們想要的內(nèi)容，并且速度較為快速。”
“比如，在仿真的過程中我們通常需要解一些大型的線性系統(tǒng)，但是該矩陣的條件樹通常不夠完備，此時我們需要使用一些其他技術，例如預條件來得到這種場景下的比較可靠的解，這是一項很難和耗時的工作，它和物理問題強相關。此時，AI也許也能夠幫助我們快速解開方程，得到一個合適的預條件，并解開病態(tài)方程。”
運動控制基本屬于基于經(jīng)驗的學習，因此其和深度學習所面臨的問題相同，比如可解釋性，劉利斌說到，“其基礎理論挑戰(zhàn)也可以參考人工智能的基礎理論問題。而工程系統(tǒng)方面，仿真本身需要大量計算，因此需要考慮效率。在應用方面主要的問題在于生成的質量，很多工作目前還是無法滿足工業(yè)使用的需求?！?/span>
不像計算機視覺幾乎有著全面擁抱深度學習的趨勢，計算機圖形學仍然非?？粗叵闰炛R的作用，而隨著兩者不斷深入交匯，或許將帶來無法預料的新發(fā)展。
計算機圖形學對人工智能有何促進作用呢？陳寶權表示，可以分成兩個層次。
第一個層次是為人工智能提供訓練與測試的任務環(huán)境。“首先是提供訓練數(shù)據(jù)。我們可以通過仿真的手段得到大量的仿真數(shù)據(jù)。一些數(shù)據(jù)的獲取通常十分昂貴，真實世界的數(shù)據(jù)采集可能無法滿足訓練需求，此時模擬可提供幫助。其次是為智能算法提供虛擬測試環(huán)境?？偟膩碚f，我們可以通過搭建仿真環(huán)境，讓智能體在其中運行得到訓練、測試與反饋，這樣的模式在自動駕駛場景中已經(jīng)得到廣泛應用?！?/span>
第二個層次是為人工智能算法本身提供問題對象的表達模型。比如，基于模型的強化學習，可以直接基于計算機圖形學對環(huán)境的建模參數(shù)作為數(shù)據(jù)輸入來學習，從而使得學習的數(shù)據(jù)量大幅降低?！斑@相當于幫助AI簡化環(huán)境的復雜度，也就是說，計算機圖形學已經(jīng)幫助AI壓縮了環(huán)境信息，提取出最重要的因素。同時，基于這個學習過程得到的模型也更具知識性，更具可解釋性。此外，計算機圖形學提供的虛擬環(huán)境也更加可控，可以控制知識和難度等等因素，避免不必要的偶然因素?！?/span>
計算機圖形學方法一般是基于約束條件，用顯式的方法去建模。AI一般是數(shù)據(jù)驅動，但它們能達到的效果是不一樣的，“如果要建模更加復雜的物體，就需要將問題分解，看哪些需要CG，哪些需要AI，哪些需要結合兩者?！?/span>
一般而言，在最初階段，我們傾向于用計算機圖形學的知識將問題分解，到了問題樹的節(jié)點處，或者說最后一公里處，問題就變得不太容易顯式建模了，這時候就需要結合AI方法。例如，當知道所建立的模型是一棵樹，那么我們會基于這個先驗知識建立一個母模型，使其具有樹木的基礎特點，而后再根據(jù)數(shù)據(jù)去特定的描述這棵樹的參數(shù)。
同樣，物理建模具有很完備的知識體系，而AI還處于比較黑盒的階段，依賴數(shù)據(jù)學習。知識和數(shù)據(jù)之間的關系如何？王濱表示，“知識是從數(shù)據(jù)中得到的歸納總結的模型，而數(shù)據(jù)的優(yōu)點在于和真實世界的差距更小，因此信息量更大。知識更加宏觀，數(shù)據(jù)更加微觀和特定，這可能是兩者之間的最大差異。”
科學中互相接近的概念不可能完全獨立。正如荷花的幾何數(shù)據(jù)可以推斷其力學參數(shù)，磁場的分布可以推斷磁流體的形態(tài)，幾何建模背后的形、物理仿真和運動控制背后的力，都是互相衍生、不可分離的存在。亦如相對論中，勻速運動轉動了光錐，導致鐘慢尺縮效應，質量扭曲了光錐，導致自由下落效應，時間與空間不可分離，質量與時空亦不可分離。
形與力盡管無法涵蓋計算機圖形學的全部，也不是構建元宇宙的全部基石，但二者必然在未來攜手，并與人工智能相互推動，在元宇宙中還原現(xiàn)實中最重要的體驗之一——觸摸世界。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
