丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能學(xué)術(shù) 正文
發(fā)私信給我在思考中
發(fā)送

0

AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021

本文作者: 我在思考中 2021-08-10 10:51
導(dǎo)語:當(dāng)游戲行業(yè)仍在聚焦探討如何讓 AI 真正落地、協(xié)助游戲的工業(yè)化制作時(shí),網(wǎng)易互娛 AI Lab 已基于游戲研發(fā)制作中的痛點(diǎn)交出了一份令人驚艷的答卷。
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
AI 科技評(píng)論報(bào)道
編輯 | 陳大鑫
當(dāng)游戲行業(yè)仍在聚焦探討如何讓 AI 真正落地、協(xié)助游戲的工業(yè)化制作時(shí),網(wǎng)易互娛 AI Lab 已基于游戲研發(fā)制作中的痛點(diǎn)交出了一份令人驚艷的答卷。
在游戲中,各個(gè)角色存在大量動(dòng)作動(dòng)畫資源制作的需求,而讓游戲角色獲得如同真人一般流暢自然的動(dòng)作歷來是制作者們孜孜不倦追求的目標(biāo)。近年來,伴隨著游戲工業(yè)化的趨勢(shì),光學(xué)動(dòng)捕憑借其真實(shí)性和效率替代了傳統(tǒng)的關(guān)鍵幀制作方式,成為許多大制作端游和手游的首選方案。然而,光學(xué)動(dòng)捕最大的弊端之一便是動(dòng)捕數(shù)據(jù)清理所帶來的巨大工作量,該過程需要依賴人工完成,因此在整個(gè)流程中成本占比也最高。盡管此前已有學(xué)者提出了基于深度人工神經(jīng)網(wǎng)絡(luò)的光學(xué)動(dòng)捕數(shù)據(jù)自動(dòng)清洗和解算方案,但該方法的性能還無法滿足實(shí)際生產(chǎn)環(huán)境的要求,且針對(duì)動(dòng)作細(xì)節(jié)的保真度也存在一定問題。
針對(duì)這一實(shí)際生產(chǎn)環(huán)境中的痛點(diǎn),網(wǎng)易互娛 AI Lab 提出了一種針對(duì)光學(xué)動(dòng)捕數(shù)據(jù)的自動(dòng)清洗和解算方法,可以直接從包含錯(cuò)誤和噪音的 raw markers 中預(yù)測(cè)出與之對(duì)應(yīng)的clean markers和骨骼動(dòng)畫數(shù)據(jù)。
算法精度和魯棒性都超越育碧研究院(Ubisoft La Forge)發(fā)表在 SIGGRAPH 2018 的方法,技術(shù)創(chuàng)新性處于國際領(lǐng)先水平。利用該方法,傳統(tǒng)光學(xué)動(dòng)捕流程中所需的人工工作量可以被大幅降低。
近日,網(wǎng)易互娛 AI Lab 與清華大學(xué)合作對(duì)該方案進(jìn)行了系統(tǒng)性技術(shù)梳理,并撰寫論文《MoCap-Solver:A Neural Solver for Optical Motion Capture Data》,該文章已被 SIGGRAPH 2021 收錄。
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
論文地址:https://dl.acm.org/doi/abs/10.1145/3450626.3459681
項(xiàng)目地址:https://netease-gameai.github.io/MoCapSolver

1

技術(shù)背景

運(yùn)動(dòng)捕捉(Motion Capture),簡(jiǎn)稱動(dòng)捕(MoCap),指的是將真實(shí)演員的肢體動(dòng)作轉(zhuǎn)換為三維虛擬角色骨骼動(dòng)畫的技術(shù)。相比于傳統(tǒng)的關(guān)鍵幀動(dòng)畫制作方式,運(yùn)動(dòng)捕捉技術(shù)有著巨大的優(yōu)勢(shì),既提升了三維動(dòng)作資源的真實(shí)度,又提升了其生產(chǎn)效率,也因此成為了當(dāng)前影視、游戲行業(yè)三維人形動(dòng)畫的標(biāo)準(zhǔn)制作方式。
從技術(shù)原理上劃分,運(yùn)動(dòng)捕捉設(shè)備可以分成兩種類型,慣性動(dòng)捕設(shè)備和光學(xué)動(dòng)捕設(shè)備。其中慣性動(dòng)捕設(shè)備利用固定在演員關(guān)節(jié)上的加速度傳感器來獲取演員各個(gè)關(guān)節(jié)的相對(duì)運(yùn)動(dòng)量;而光學(xué)動(dòng)捕設(shè)備則通過大量不同視角的高速相機(jī)同步拍攝演員動(dòng)作,并利用多視角三維重建技術(shù)計(jì)算貼在演員身上的一批特殊標(biāo)記點(diǎn)(marker)的三維坐標(biāo),之后再基于這些坐標(biāo)解算出演員每個(gè)關(guān)節(jié)點(diǎn)的位置和旋轉(zhuǎn)信息。
慣性動(dòng)捕設(shè)備成本較低,但是由于受到慣性傳感器的精度限制,其動(dòng)作捕捉的精度也明顯低于光學(xué)動(dòng)捕設(shè)備。此外,由于慣性動(dòng)捕設(shè)備記錄的是每個(gè)關(guān)節(jié)相對(duì)于上一時(shí)刻的相對(duì)值,無法獲取演員在三維空間中的絕對(duì)坐標(biāo),這一特性導(dǎo)致慣性動(dòng)捕設(shè)備無法應(yīng)用于多人同時(shí)動(dòng)捕的場(chǎng)景,因?yàn)槠錈o法定位不同演員之間的相對(duì)位置關(guān)系。由于以上原因,雖然光學(xué)動(dòng)捕設(shè)備成本高昂,但卻在運(yùn)動(dòng)捕捉領(lǐng)域占據(jù)絕對(duì)統(tǒng)治地位。
利用光學(xué)動(dòng)捕設(shè)備進(jìn)行動(dòng)捕的流程分為以下幾個(gè)步驟:
  1. 演員裝扮:演員穿著緊身動(dòng)捕服裝,并在衣服表面需要捕捉的關(guān)節(jié)附近粘貼一定數(shù)量的marker點(diǎn)(標(biāo)記點(diǎn)),marker點(diǎn)總數(shù)以及每個(gè)marker點(diǎn)粘貼的位置構(gòu)成一套marker configuration;
  2. 演員標(biāo)定:構(gòu)建一個(gè)與演員體型相適配的人形模版模型,并獲取粘貼在真實(shí)演員衣服上的每個(gè)marker在該人形模版模型上的位置,模版模型的骨架結(jié)構(gòu)叫template skeleton。構(gòu)建方式一般為捕捉一小段該演員的簡(jiǎn)單動(dòng)作,然后用算法自動(dòng)去擬合模版模型和marker位置,這個(gè)過程也叫range of motion(ROM)標(biāo)定。當(dāng)然也可以在motion builder等軟件中人工進(jìn)行這種標(biāo)定。
  3. 動(dòng)作捕捉:演員在被一圈高速紅外相機(jī)圍繞的動(dòng)捕場(chǎng)景內(nèi)按照劇本表演出規(guī)定的動(dòng)作,所有相機(jī)同步進(jìn)行拍攝,然后動(dòng)捕軟件利用多視角幾何和目標(biāo)跟蹤算法,計(jì)算出每一個(gè)時(shí)刻演員身上每個(gè)marker點(diǎn)在三維空間中的坐標(biāo);
  4. 動(dòng)捕數(shù)據(jù)清洗:由于遮擋、傳感器測(cè)量誤差、重建和跟蹤算法本身的誤差等原因,上一步動(dòng)捕軟件輸出的marker坐標(biāo)中往往存在很多錯(cuò)誤,需要人工對(duì)這些錯(cuò)誤進(jìn)行修復(fù),這個(gè)步驟也叫動(dòng)捕數(shù)據(jù)清洗。清洗過程需要耗費(fèi)大量人力,因此該步驟也是傳統(tǒng)光學(xué)動(dòng)捕流程中成本最高的部分。
  5. 動(dòng)捕解算:利用動(dòng)捕解算軟件、基于步驟2中的演員標(biāo)定信息,從捕捉到的marker序列中恢復(fù)人體各個(gè)骨骼關(guān)節(jié)的位置和旋轉(zhuǎn)信息,從而得到三維骨骼動(dòng)畫數(shù)據(jù)(也叫skeletal motion或簡(jiǎn)稱motion)。下圖對(duì)比了從不經(jīng)過人工清洗的marker數(shù)據(jù)(左,也叫raw markers)和經(jīng)過人工清洗的marker數(shù)據(jù)(右,也叫clean markers)中解算得到的骨骼動(dòng)畫的差別。
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021

6、動(dòng)作重定向:將解算得到的骨骼動(dòng)畫數(shù)據(jù)重定向到不同體型的三維虛擬角色上,變成對(duì)應(yīng)角色的動(dòng)畫資源。

目前業(yè)界對(duì)光學(xué)動(dòng)捕數(shù)據(jù)的清洗和解算主要依賴 Vicon Blade、Vicon shogun、Autodesk MotionBuilder 等商業(yè)軟件提供內(nèi)置工具,處理流程與前文技術(shù)背景中描述一致,其特點(diǎn)為高度依賴人工對(duì)動(dòng)捕marker數(shù)據(jù)中的錯(cuò)誤進(jìn)行修正,否則解算出的骨骼動(dòng)畫數(shù)據(jù)會(huì)存在明顯的缺陷。典型的處理流程為,先對(duì)raw markers進(jìn)行自動(dòng)解算得到存在缺陷的骨骼動(dòng)畫,人工對(duì)得到的動(dòng)畫進(jìn)行逐幀預(yù)覽,尋找存在問題的區(qū)間,然后人工糾正該區(qū)間內(nèi)導(dǎo)致解算結(jié)果異常的marker點(diǎn)。不斷重復(fù)這一過程,直到整個(gè)動(dòng)捕動(dòng)作序列都能被正確解算。
為了解決這一實(shí)際生產(chǎn)環(huán)境中的痛點(diǎn),育碧研究院(Ubisoft La Forge)的研究員 Daniel Holden 在2018年首次提出了一種基于深度人工神經(jīng)網(wǎng)絡(luò)的光學(xué)動(dòng)捕數(shù)據(jù)自動(dòng)清洗和解算方案,并發(fā)表在圖形學(xué)頂級(jí)期刊TOG上(在SIGGRAPH 2018展示)。然而,育碧的方案雖然可以自動(dòng)清洗和解算,但是該方法的性能還無法滿足實(shí)際生產(chǎn)環(huán)境的要求。
一方面,該方法的魯棒性不足。該方法高度依賴粘貼在演員軀干上(環(huán)繞胸部和腹部的兩圈)的少量關(guān)鍵marker(也叫參考marker)的質(zhì)量。一旦輸入的raw markers中包含參考marker的錯(cuò)誤,該方法的解算結(jié)果就會(huì)出現(xiàn)明顯錯(cuò)誤。而在實(shí)際動(dòng)捕環(huán)境下,這些參考marker很容易因?yàn)楸凰闹趽醵鴮?dǎo)致捕捉錯(cuò)誤。
另一方面,該方法對(duì)動(dòng)作細(xì)節(jié)的保真度也存在一定問題。本質(zhì)上來說,該方法基于逐幀處理的算法框架,沒有考慮相鄰動(dòng)作幀之間在時(shí)間和空間上的連續(xù)性,導(dǎo)致其輸出的動(dòng)畫存在明顯的抖動(dòng)。為了解決這個(gè)問題,該方法引入了一個(gè)后處理操作對(duì)輸出的動(dòng)畫進(jìn)行平滑、從而抑制抖動(dòng)。但是,這個(gè)平滑操作在消除抖動(dòng)的同時(shí)也會(huì)抹去動(dòng)作本身的運(yùn)動(dòng)細(xì)節(jié),降低保真度。

2

技術(shù)思路

AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
針對(duì)育碧方案存在的問題,網(wǎng)易互娛AI Lab提出了一種全新的算法框架。由于clean markers在三維空間中的位置是由演員體型、動(dòng)捕marker在演員身體(貼在動(dòng)捕服)上的分布和演員的動(dòng)作三方面因素決定的,得到這三個(gè)信息,就可以通過前向動(dòng)力學(xué)(forward kinematics, FK)和線性蒙皮運(yùn)算(linear blend skinning, LBS)完全恢復(fù)出對(duì)應(yīng)的clean markers。
基于這一觀察,網(wǎng)易互娛 AI Lab 的核心思路為:利用大量動(dòng)捕數(shù)據(jù),訓(xùn)練一個(gè)從raw markers預(yù)測(cè)上述三方面信息的深度人工神經(jīng)網(wǎng)絡(luò)。
為了更好的實(shí)現(xiàn)這一目標(biāo),網(wǎng)易互娛AI Lab首先設(shè)計(jì)了一個(gè)自編碼器(MoCap-Encoders)結(jié)構(gòu),該自編碼器包含template skeleton、marker configuration和motion三個(gè)分支,分別對(duì)應(yīng)了演員的體型、marker在動(dòng)捕服裝上的分布、以及演員動(dòng)作。在大量動(dòng)捕數(shù)據(jù)上進(jìn)行訓(xùn)練后,該自編碼器可以將將 template skeleton、marker configuration和motion三種數(shù)據(jù)編碼成低維空間的隱向量,也可以從隱向量中恢復(fù)出對(duì)應(yīng)的原始數(shù)據(jù)。
也就是說,MoCap-Encoders從大量數(shù)據(jù)中學(xué)習(xí)出了一種關(guān)于這三方面數(shù)據(jù)的更為高效、緊湊的表達(dá)。之后,網(wǎng)易互娛AI Lab再訓(xùn)練一個(gè)從raw markers預(yù)測(cè)這三個(gè)分支隱向量的網(wǎng)絡(luò)(MoCap-Solver),從預(yù)測(cè)出的隱向量中可以解碼出對(duì)應(yīng)的 template skeleton、marker configuration和motion。其中的motion就是需要解算的骨骼動(dòng)畫,再通過前向動(dòng)力學(xué)(forward kinematics, FK)和線性蒙皮運(yùn)算(linear blend skinning, LBS)就可以計(jì)算出對(duì)應(yīng)的清洗后的clean markers。
此外,作者還從真實(shí)數(shù)據(jù)中訓(xùn)練了一個(gè)對(duì)關(guān)鍵參考 marker 的質(zhì)量進(jìn)行評(píng)估的深度人工神經(jīng)網(wǎng)絡(luò),利用該網(wǎng)絡(luò)挑選raw markers中參考marker可靠性高的幀做剛體對(duì)齊,有效避免了算法精度過渡依賴少量參考marker質(zhì)量的問題,大幅提升了算法的魯棒性。

3

技術(shù)實(shí)現(xiàn)

該方法包含訓(xùn)練階段和預(yù)測(cè)階段,預(yù)測(cè)階段直接以光學(xué)動(dòng)捕的raw markers為輸入,自動(dòng)輸出清洗后的clean markers和解算出的骨骼動(dòng)畫。這里主要介紹訓(xùn)練階段的做法,訓(xùn)練階段包含三個(gè)重點(diǎn)步驟:數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)規(guī)范化(normalization),以及深度人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建和訓(xùn)練。
1、數(shù)據(jù)準(zhǔn)備
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021

本方法需要準(zhǔn)備的數(shù)據(jù)如上圖所示。每個(gè)演員的運(yùn)動(dòng)捕捉都會(huì)涉及5種類型的數(shù)據(jù):

  • Template Skeleton:  與演員骨骼長度對(duì)應(yīng)的人形模板骨骼,維度為AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021, J為骨骼點(diǎn)的數(shù)量,每個(gè)骨骼點(diǎn)需要記錄其在三維空間中相對(duì)父節(jié)點(diǎn)的偏移量;
  • Marker Configuration:  演員動(dòng)捕服上每個(gè)marker點(diǎn)相對(duì)于對(duì)應(yīng)骨骼點(diǎn)的偏移量,一個(gè)演員可能有多套不同的Marker Configuration,因?yàn)槊看窝輪T裝扮時(shí)粘貼的位置會(huì)有區(qū)別,維度為AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021,AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021為marker的數(shù)量,每個(gè)marker需要記錄其相對(duì)每個(gè)骨骼點(diǎn)在三維空間的便宜量;
  • Raw Markers: 每個(gè)動(dòng)作被光學(xué)動(dòng)捕設(shè)備采集到的原始marker序列,維度為AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021,記錄了一幀AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021個(gè)marker在三維空間中的位置,為該動(dòng)作包含的幀數(shù)
  • Clean Markers:  每個(gè)動(dòng)作被清洗后的marker序列,維度與Raw Markers一致
  • Motion: 每個(gè)動(dòng)作的捕捉結(jié)果,也就是從Clean Markers中解算出來的骨骼動(dòng)畫,維度為AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021 ,記錄了每一幀每個(gè)骨骼點(diǎn)相對(duì)于父骨骼點(diǎn)的局部旋轉(zhuǎn)(四元數(shù)表示),以及根骨骼點(diǎn)在世界空間的全局平移
2、數(shù)據(jù)規(guī)范化
由于真實(shí)運(yùn)動(dòng)包含很多人物根骨骼的全局位移和全局旋轉(zhuǎn),這極大增加了后續(xù)人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的復(fù)雜度。例如,同樣的動(dòng)作在不同的位置、朝著不同的方向做,會(huì)導(dǎo)致捕捉的marker點(diǎn)三維坐標(biāo)存在巨大差距。此外,由于遮擋原因,真實(shí)動(dòng)補(bǔ)數(shù)據(jù)中包含很多跟蹤失敗的點(diǎn),其表現(xiàn)為保持在最后一次被成功跟蹤的位置不動(dòng),隨著人物遠(yuǎn)離該位置,這些點(diǎn)就會(huì)變成毫無規(guī)律的離群點(diǎn),也會(huì)給后續(xù)網(wǎng)絡(luò)的學(xué)習(xí)造成干擾。所以數(shù)據(jù)規(guī)范化的目標(biāo)有兩個(gè):離群marker的處理和坐標(biāo)系規(guī)范化。
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
為了處理離群marker,網(wǎng)易互娛 AI Lab 首先提取序列中每一幀所有marker之間的距離矩陣(如上圖),該矩陣記錄了所有marker兩兩之間的歐式距離,然后選擇距離矩陣最接近所有幀的距離矩陣平均值的那一幀作為序列的參考幀。之后,將每一幀與參考幀的距離矩陣進(jìn)行對(duì)比,所有導(dǎo)致該幀的距離矩陣與參考幀的距離矩陣存在30厘米以上差異的marker點(diǎn)都被標(biāo)記為離群marker點(diǎn)。離群marker點(diǎn)的坐標(biāo)會(huì)被替換成新的位置,新的位置可以使對(duì)應(yīng)幀的距離矩陣與參考幀的盡量接近。這些新的位置可以通過簡(jiǎn)單的數(shù)學(xué)優(yōu)化方法得到。
坐標(biāo)系規(guī)范化的目的是消除根骨骼全局平移和旋轉(zhuǎn),因此需要marker的坐標(biāo)由世界坐標(biāo)系轉(zhuǎn)換到局部坐標(biāo)系。為此,作者參考了[1]中的做法,以軀干附近(環(huán)繞胸部和腹部的兩圈)的一批marker為參考marker(如下圖),然后對(duì)序列整體的全局平移和旋轉(zhuǎn)進(jìn)行修正。方法為在序列中選定一個(gè)參考幀,計(jì)算一個(gè)剛體變換使得參考幀的這批參考marker的位置與T-pose下的參考marker的位置盡量對(duì)齊(也叫剛體對(duì)齊)。通過這個(gè)操作,序列中所有幀的坐標(biāo)系就由世界坐標(biāo)系變換到了由T-pose定義的局部坐標(biāo)系。
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
但是,這個(gè)操作高度依賴參考幀中的那批參考marker的質(zhì)量,一旦參考幀的參考marker中存在噪音和錯(cuò)誤,坐標(biāo)系規(guī)范化的效果就會(huì)大打折扣,整套算法的精度和魯棒性都會(huì)大幅降低。為了解決這個(gè)問題,本文發(fā)明訓(xùn)練了一個(gè)對(duì)參考marker的質(zhì)量進(jìn)行評(píng)估的深度人工神經(jīng)網(wǎng)絡(luò),并利用這個(gè)網(wǎng)絡(luò)挑選參考marker可靠性高的幀做參考幀進(jìn)行剛體對(duì)齊。
該網(wǎng)絡(luò)的結(jié)構(gòu)如下:
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
其中AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021為輸入的raw markers,AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021為參考marker的可靠性分?jǐn)?shù)組成的向量,其定義為:
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021為第i個(gè)參考 marker 在原始數(shù)據(jù) raw markers 中和清洗后數(shù)據(jù)clean markers中的距離變化值。以交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練后,該網(wǎng)絡(luò)可以預(yù)測(cè)每一幀 raw markers 中每個(gè)參考 marker 的可靠度評(píng)分,如果某一幀的所有參考 marker 的評(píng)分都大于0.8,則認(rèn)為該幀是可靠的。參考幀只會(huì)在可靠的幀中產(chǎn)生,有效避免了算法精度過渡依賴少量參考 marker 質(zhì)量的問題,大幅提升了算法的魯棒性。
3、深度人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建和訓(xùn)練
接下來,作者利用上述數(shù)據(jù)和規(guī)范化方法訓(xùn)練一個(gè)深度人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)包含兩個(gè)模塊,如下圖所示:
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
其中MoCap-Encoders為一個(gè)自編碼器,包括三個(gè)分支,分別對(duì)應(yīng)template skeleton、marker configuration和motion。訓(xùn)練完成的自編碼器既可以將 template skeleton、marker configuration 和 motion 三種數(shù)據(jù)編碼成低維空間的隱向量,也可以從隱向量中恢復(fù)出對(duì)應(yīng)的原始數(shù)據(jù)。
MoCap-Encoders的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示:
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
訓(xùn)練該網(wǎng)絡(luò)的三個(gè)分支的損失函數(shù)分別為:
template skeleton:  AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
marker configuration:  AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021motion:  AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021
其中X和Y分別代表原始數(shù)據(jù)和網(wǎng)絡(luò)重構(gòu)后的數(shù)據(jù),D為帶權(quán)L1距離(頭,肩, 手臂, 手腕, 軀干, 大腿和腳上的marker點(diǎn)的權(quán)重分別為
8 : 4 : 6 : 10 : 4 : 6 : 10) ,F(xiàn)K和 LBS 分別為骨骼動(dòng)畫理論中的前向動(dòng)力學(xué)運(yùn)算和線性蒙皮運(yùn)算AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021,AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021,AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021為權(quán)重系數(shù),分別為1,100,1 和2。
另一個(gè)模塊 MoCap-Solver 的任務(wù)為從 raw markers 預(yù)測(cè)這個(gè)三個(gè)分支的隱向量AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021,之后利用訓(xùn)練完成的 MoCap-Encoders 就可以從這三個(gè)隱向量中解碼出對(duì)應(yīng)的 marker configuration、template skeleton 和 motion。其中的motion 就是需要解算的骨骼動(dòng)畫,通過蒙皮(skinning)運(yùn)算,可以從這三個(gè)數(shù)據(jù)中計(jì)算出對(duì)應(yīng)的清洗后的clean markers,從而完成對(duì)光學(xué)動(dòng)補(bǔ)數(shù)據(jù)raw markers的清洗和解算任務(wù)。
MoCap-Encoders 的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示:
AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021


4

應(yīng)用/效果展示

本項(xiàng)目的訓(xùn)練數(shù)據(jù)來源于公司采集的大規(guī)模真實(shí)動(dòng)捕數(shù)據(jù),可以大于 30fps 的速度對(duì)光學(xué)動(dòng)捕數(shù)據(jù)進(jìn)行自動(dòng)清洗和解算,滿足了工業(yè)上速度要求,解算得到的骨骼動(dòng)畫的骨骼點(diǎn)平均位置誤差小于 1cm,平均旋轉(zhuǎn)誤差小于4度,滿足了游戲動(dòng)畫制作的精度要求。
相比于目前業(yè)界領(lǐng)先算法,本項(xiàng)目算法在動(dòng)作保真度和重構(gòu) marker 點(diǎn)精度上領(lǐng)先,統(tǒng)計(jì)得到本算法的預(yù)測(cè)結(jié)果只有 低于 1% 的幀出現(xiàn)了工業(yè)生產(chǎn)不可接受的視覺瑕疵,而目前業(yè)界領(lǐng)先算法則為10%。
另外,本算法的魯棒性優(yōu)于業(yè)界領(lǐng)先算法,實(shí)驗(yàn)結(jié)果表明本算法對(duì)演員軀干附近關(guān)鍵 marker 點(diǎn)精度的魯棒性比目前業(yè)界領(lǐng)先方法好。目前本項(xiàng)目算法已經(jīng)集成在公司動(dòng)捕數(shù)據(jù)處理的工作流中。
視頻:

贈(zèng)書福利 

AI科技評(píng)論本次聯(lián)合【圖靈教育】為大家?guī)?strong>10本《算法(第四版)》正版新書。

AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021

AI科技評(píng)論將一共選出 10名讀者,每人送出《算法(第四版)》一本。

在2021年8月8日二條文章贈(zèng)書 | 看不懂《算法導(dǎo)論》?先讀完豆瓣評(píng)分 9.4 的算法入門巨著》留言區(qū)留言,歡迎大家暢所欲言,談一談你對(duì)本書的看法和期待。在綜合留言質(zhì)量(留言是敷衍還是走心)和留言點(diǎn)贊最高(注:點(diǎn)贊最高的前10不意味著一定會(huì)中獎(jiǎng))的讀者中選出10位讀者獲得贈(zèng)書。獲得贈(zèng)書的讀者請(qǐng)聯(lián)系 AI 科技評(píng)論客服(aitechreview)。

  • 留言內(nèi)容會(huì)有篩選,例如“選我上去”、“這書寫的很棒(僅僅幾個(gè)字)”等內(nèi)容將不會(huì)被篩選,亦不會(huì)中獎(jiǎng)。

  • 留言送書活動(dòng)時(shí)間為2021年8月8日 - 2021年8月12日(23:00),活動(dòng)推送時(shí)間內(nèi)僅允許贈(zèng)書福利中獎(jiǎng)一次。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

AI 賦能游戲工業(yè)化,網(wǎng)易互娛AI Lab動(dòng)捕去噪新方法入選 SIGGRAPH 2021

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚懮暾?qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說