QQ寵物曾在21世紀初風靡互聯(lián)網(wǎng)，成為許多人的回憶。隨著元宇宙世界到來，你是否想擁有更加栩栩如生的虛擬寵物？
滿足實時渲染及動作合成的情況下，可實現(xiàn)VR中的可交互的虛擬寵物。本文圖片均為受訪者 供圖
(相關(guān)資料圖)
電影《少年派的奇幻漂流》中，老虎理查德·帕克帶給觀眾奇妙的體驗。創(chuàng)建這一由電腦生成的 (Computer-generated Imagery, CGI) 數(shù)字化動物，需要藝術(shù)家的大量勞動，包括創(chuàng)建效果真實的數(shù)以萬計的毛發(fā)，以及制作自然的動作動畫序列。除此之外，即使擁有著制作完成的模型和大量的計算資源，實時渲染如照片般真實的動物圖片依然是一項無法完成的任務(wù)。
上海科技大學信息學院VRVC實驗室成員羅海旻表示，這意味著傳統(tǒng)的CGI動物模型并不適合元宇宙場景——要求實時的真實渲染、人與動物實時互動。
為了將動物帶入虛擬世界，羅海旻所在團隊提出了ARTEMIS系統(tǒng)，一個嶄新的由神經(jīng)網(wǎng)絡(luò)建模的渲染框架，該渲染框架擁有著同時生成虛擬寵物外觀和動作的能力。ARTEMIS的核心在于提出了一種全新的基于神經(jīng)網(wǎng)絡(luò)的圖像生成(Neural-generated Imagery, NGI)動物模型，來替換傳統(tǒng)的CGI模型。該工作已被計算機圖形學頂級會議ACM SIGGRAPH 2022接收，將于今年8月展示。
與傳統(tǒng)的離線動畫和渲染的系統(tǒng)相比，ARTEMIS支持可交互式的動作控制、真實的動作動畫和高質(zhì)量的毛發(fā)動物渲染，并能實時呈現(xiàn)。ARTEMIS團隊更進一步將其集成到OpenVR框架中，以支持常見的消費級VR顯示器，例如HTC VIVE系列等。由此，戴上VR頭盔的人可以在虛擬場景中獲得與動物的交互體驗，用戶可以在虛擬世界中驅(qū)使動物前往任意的地點，也可召喚在遠處的虛擬寵物前來，讓它坐在你的身邊，抑或是向它投喂。
在高質(zhì)量數(shù)據(jù)集上，NGI動物支持各式各樣的動物與動作。
羅海旻介紹，傳統(tǒng)CGI動物模型需要模型師參考真實動物的照片或視頻，來創(chuàng)建由數(shù)以萬計的毛發(fā)纖維組成的動物皮毛。這一過程通常要求熟練的建模技巧，以及大量的勞動。另一方面，將這樣復雜的模型渲染成為高質(zhì)量圖片同樣耗時。除渲染之外，如何實現(xiàn)交互式地操控這樣的模型，并且保持高度真實性是另外一個挑戰(zhàn)。總的來說，傳統(tǒng)的CGI模型不適用于虛擬世界中的數(shù)字化動物，因為它們要求實時的渲染速度和實時的交互效果。
團隊將系統(tǒng)集成到OpenVR框架中，以支持常見的消費級VR顯示器。
為了解決這一問題，在神經(jīng)建模和渲染方面，ARTEMIS提出了全新的神經(jīng)網(wǎng)絡(luò)圖像生成方式，Neural-generated Imagery (NGI) 來建模虛擬動物。NGI的提出是受到近年神經(jīng)輻射場（NeRF）以及其后續(xù)擴展工作的啟發(fā)。通過提供在多視角下渲染的帶透明度視頻和相應(yīng)一系列動作序列下的訓練，ARTEMIS即可將傳統(tǒng)的CGI動物資產(chǎn)（包括骨架和蒙皮綁定）轉(zhuǎn)換成基于體素的高密度神經(jīng)網(wǎng)絡(luò)表示。
為了確保渲染質(zhì)量，ARTEMIS采用了一個卷積神經(jīng)網(wǎng)絡(luò)作為渲染器，來進一步增強毛發(fā)紋理細節(jié)。整個渲染流程為可微分渲染，并且支持對動物動態(tài)毛發(fā)進行實時的高質(zhì)量自由視角渲染。
除神經(jīng)網(wǎng)絡(luò)建模與渲染外，ARTEMIS還提供了真實動作合成模塊，從而能讓人在虛擬世界中控制虛擬動物。“我們通過建立一套多視角的動物動作捕捉系統(tǒng)，采集到大量多視角視頻及關(guān)鍵點運動數(shù)據(jù)并提取真實的動物動作序列。在此基礎(chǔ)上，ARTEMIS結(jié)合先進的神經(jīng)網(wǎng)絡(luò)狀態(tài)機技術(shù)，讓虛擬動物能夠根據(jù)使用者的指令做出相應(yīng)的動作，就像在真實世界中那樣。”羅海旻說。
責任編輯：Rex_08
營業(yè)執(zhí)照公示信息