此前，青亭網(wǎng)曾報(bào)道了一項(xiàng)無需攝像頭的VR全身追蹤方案：Standable: Full Body Estimation（簡稱SFBE），這套方案就是利用了頭顯+雙手柄數(shù)據(jù)來模擬預(yù)測(cè)全身動(dòng)作數(shù)據(jù)，效果還算不錯(cuò)。
近期在CHI2023活動(dòng)上，卡內(nèi)基梅隆大學(xué)Future Interfaces Group科研團(tuán)隊(duì)公布了一項(xiàng)類似的研究：IMUPoser，這是一個(gè)基于IMU定位的全身姿態(tài)預(yù)測(cè)方案，特點(diǎn)是利用iPhone、Apple Watch、Airpods等常用的電子產(chǎn)品來為VR提供全身追蹤數(shù)據(jù)。相比于此前研發(fā)的攝像頭全身追蹤方案，IMUPoser方案更容易使用，而且成本更低，無需額外的硬件。
(相關(guān)資料圖)
在VR中追蹤全身難？
為了讓VR更容易上手，Meta已經(jīng)停產(chǎn)了PC VR產(chǎn)品，開始主推VR一體機(jī)，并獲得了市場廣泛歡迎，引發(fā)了VR硬件潮流。VR一體機(jī)的好處是開箱即用，戴上就能玩，但在功能、硬件性能上依然有局限。
比如為了避免額外的設(shè)置和成本，Quest一體機(jī)并沒有官方的全身追蹤配件，在VR中操控全身Avatar時(shí)，只能靠頭手三點(diǎn)定位和IK算法來預(yù)測(cè)下半身動(dòng)作。
此前，F(xiàn)IG曾探索在Quest手柄上加入廣角相機(jī)來追蹤下半身，這樣的方案雖然可行，但需要復(fù)雜的計(jì)算，而且增加了成本。相比之下，如果用幾乎人人都有的手機(jī)來定位全身姿態(tài)，似乎更容易上手。與用手機(jī)攝像頭追蹤姿態(tài)不同，IMUPoser使用IMU來定位，這也是VR追蹤模塊常用的技術(shù)，區(qū)別是人們更常使用手機(jī)、耳機(jī)、智能手表，使用IMUPoser意味著無需穿戴特殊的硬件，就能預(yù)測(cè)全身姿態(tài)。
實(shí)際上，蘋果此前已經(jīng)為類似的方案申請(qǐng)專利，考慮到蘋果擁有比較完整的軟硬件生態(tài)，而且其穿戴設(shè)備通常都具備加速度計(jì)、陀螺儀等運(yùn)動(dòng)檢測(cè)傳感器，可以很好的定位。未來也許可以讓AR/VR頭顯、手機(jī)、智能手表、耳機(jī)等設(shè)備聯(lián)動(dòng)，從而實(shí)現(xiàn)全身動(dòng)作追蹤。
算法預(yù)測(cè)全身姿態(tài)
IMUPoser方案的一大重點(diǎn)，是將從手機(jī)、智能手表等設(shè)備收集（本文用蘋果生態(tài)，結(jié)合 iPhone、以及可選搭配Airpods、Apple Watch，并用MacBook進(jìn)行數(shù)據(jù)回流）的數(shù)據(jù)整合，并計(jì)算出用戶的全身姿態(tài)。其使用的算法基于定制的雙向LSTM模型（長短記憶模型），輸出SMPL動(dòng)捕模型。
而手機(jī)、手表、耳機(jī)可為全身姿態(tài)追蹤提供足夠數(shù)據(jù)，包括四肢的位置，以及站立、蹲坐等狀態(tài)。另外，可通過距離傳感器識(shí)別手機(jī)在口袋內(nèi)部還是外部。還能根據(jù)智能手表和手機(jī)之間的距離（基于UWB定位），來識(shí)別手機(jī)在哪個(gè)口袋、哪只手上。
當(dāng)然，IMUPoser定位不僅限于手持手機(jī)的場景，當(dāng)你將手機(jī)放在褲兜時(shí)，也可以分別追蹤左右腿。耳機(jī)也是如此，可以放在口袋中。因此可能會(huì)出現(xiàn)24種最有可能的搭配，比如智能手表和手機(jī)在同一側(cè)手臂上，或是耳機(jī)和手機(jī)在同一個(gè)口袋中。在一些場景中，甚至只能通過一個(gè)設(shè)備（耳機(jī)、手機(jī)或手表）來定位IE，全身定位數(shù)據(jù)不完整。
由于缺少四肢的絕對(duì)位置數(shù)據(jù)，該方案并不是完全準(zhǔn)確，經(jīng)測(cè)試手機(jī)的實(shí)時(shí)定位準(zhǔn)確性約90.8%，智能手表和耳機(jī)的定位準(zhǔn)確性接近100%。但當(dāng)追蹤數(shù)據(jù)小于最低標(biāo)準(zhǔn)時(shí)，則需要用預(yù)測(cè)算法來補(bǔ)償。比如在預(yù)測(cè)姿態(tài)時(shí)可能需要插入預(yù)設(shè)動(dòng)作。當(dāng)IMUPoser識(shí)別到用戶在行走時(shí)，便會(huì)假設(shè)沒用手機(jī)、手表定位的一側(cè)手臂、腿也在移動(dòng)，只是和另一側(cè)不同步（基于人的自然步行姿態(tài)）
應(yīng)用前景
科研人員指出，全身追蹤可用于多種場景，比如健身、移動(dòng)游戲、情景感知、虛擬助手、康復(fù)訓(xùn)練等等。
那么IMUPoser能取代更專業(yè)的全身動(dòng)捕工具嗎？在準(zhǔn)確性上，它還不夠，但它可以用來完善、補(bǔ)充已有的運(yùn)動(dòng)追蹤設(shè)備，比如AR/VR頭顯。
除了數(shù)據(jù)量不穩(wěn)定外，IMUPoser的其他限制還包括IMU定位的噪聲等等。而且在追蹤上半身動(dòng)作時(shí)，如果缺少一只手臂的位置數(shù)據(jù)，IMUPoser則會(huì)復(fù)制追蹤到的另一只手動(dòng)作。比如，當(dāng)你舉起一只手打招呼，系統(tǒng)預(yù)測(cè)的結(jié)果卻是舉雙手。
經(jīng)過驗(yàn)證，科研人員發(fā)現(xiàn)下半身追蹤最準(zhǔn)確的情景，需要用到雙腿IMU數(shù)據(jù)（兩個(gè)褲兜分別放了手機(jī)、耳機(jī)）。在缺少部分腿部數(shù)據(jù)時(shí)，則可根據(jù)雙腿運(yùn)動(dòng)的相關(guān)規(guī)律，來預(yù)測(cè)出比較合理的動(dòng)作。參考：acm
責(zé)任編輯：Rex_09
營業(yè)執(zhí)照公示信息