此前，青亭網(wǎng)曾報道了一項無需攝像頭的VR全身追蹤方案：Standable: Full Body Estimation（簡稱SFBE），這套方案就是利用了頭顯+雙手柄數(shù)據(jù)來模擬預(yù)測全身動作數(shù)據(jù)，效果還算不錯。
近期在CHI2023活動上，卡內(nèi)基梅隆大學(xué)Future Interfaces Group科研團(tuán)隊公布了一項類似的研究：IMUPoser，這是一個基于IMU定位的全身姿態(tài)預(yù)測方案，特點是利用iPhone、Apple Watch、Airpods等常用的電子產(chǎn)品來為VR提供全身追蹤數(shù)據(jù)。相比于此前研發(fā)的攝像頭全身追蹤方案，IMUPoser方案更容易使用，而且成本更低，無需額外的硬件。
在VR中追蹤全身難？
(資料圖片)
為了讓VR更容易上手，Meta已經(jīng)停產(chǎn)了PC VR產(chǎn)品，開始主推VR一體機(jī)，并獲得了市場廣泛歡迎，引發(fā)了VR硬件潮流。VR一體機(jī)的好處是開箱即用，戴上就能玩，但在功能、硬件性能上依然有局限。
比如為了避免額外的設(shè)置和成本，Quest一體機(jī)并沒有官方的全身追蹤配件，在VR中操控全身Avatar時，只能靠頭手三點定位和IK算法來預(yù)測下半身動作。
此前，F(xiàn)IG曾探索在Quest手柄上加入廣角相機(jī)來追蹤下半身，這樣的方案雖然可行，但需要復(fù)雜的計算，而且增加了成本。相比之下，如果用幾乎人人都有的手機(jī)來定位全身姿態(tài)，似乎更容易上手。與用手機(jī)攝像頭追蹤姿態(tài)不同，IMUPoser使用IMU來定位，這也是VR追蹤模塊常用的技術(shù)，區(qū)別是人們更常使用手機(jī)、耳機(jī)、智能手表，使用IMUPoser意味著無需穿戴特殊的硬件，就能預(yù)測全身姿態(tài)。
實際上，蘋果此前已經(jīng)為類似的方案申請專利，考慮到蘋果擁有比較完整的軟硬件生態(tài)，而且其穿戴設(shè)備通常都具備加速度計、陀螺儀等運動檢測傳感器，可以很好的定位。未來也許可以讓AR/VR頭顯、手機(jī)、智能手表、耳機(jī)等設(shè)備聯(lián)動，從而實現(xiàn)全身動作追蹤。
算法預(yù)測全身姿態(tài)
IMUPoser方案的一大重點，是將從手機(jī)、智能手表等設(shè)備收集（本文用蘋果生態(tài)，結(jié)合 iPhone、以及可選搭配Airpods、Apple Watch，并用MacBook進(jìn)行數(shù)據(jù)回流）的數(shù)據(jù)整合，并計算出用戶的全身姿態(tài)。其使用的算法基于定制的雙向LSTM模型（長短記憶模型），輸出SMPL動捕模型。
而手機(jī)、手表、耳機(jī)可為全身姿態(tài)追蹤提供足夠數(shù)據(jù)，包括四肢的位置，以及站立、蹲坐等狀態(tài)。另外，可通過距離傳感器識別手機(jī)在口袋內(nèi)部還是外部。還能根據(jù)智能手表和手機(jī)之間的距離（基于UWB定位），來識別手機(jī)在哪個口袋、哪只手上。
當(dāng)然，IMUPoser定位不僅限于手持手機(jī)的場景，當(dāng)你將手機(jī)放在褲兜時，也可以分別追蹤左右腿。耳機(jī)也是如此，可以放在口袋中。因此可能會出現(xiàn)24種最有可能的搭配，比如智能手表和手機(jī)在同一側(cè)手臂上，或是耳機(jī)和手機(jī)在同一個口袋中。在一些場景中，甚至只能通過一個設(shè)備（耳機(jī)、手機(jī)或手表）來定位IE，全身定位數(shù)據(jù)不完整。
由于缺少四肢的絕對位置數(shù)據(jù)，該方案并不是完全準(zhǔn)確，經(jīng)測試手機(jī)的實時定位準(zhǔn)確性約90.8%，智能手表和耳機(jī)的定位準(zhǔn)確性接近100%。但當(dāng)追蹤數(shù)據(jù)小于最低標(biāo)準(zhǔn)時，則需要用預(yù)測算法來補(bǔ)償。比如在預(yù)測姿態(tài)時可能需要插入預(yù)設(shè)動作。當(dāng)IMUPoser識別到用戶在行走時，便會假設(shè)沒用手機(jī)、手表定位的一側(cè)手臂、腿也在移動，只是和另一側(cè)不同步（基于人的自然步行姿態(tài)）
應(yīng)用前景
科研人員指出，全身追蹤可用于多種場景，比如健身、移動游戲、情景感知、虛擬助手、康復(fù)訓(xùn)練等等。
那么IMUPoser能取代更專業(yè)的全身動捕工具嗎？在準(zhǔn)確性上，它還不夠，但它可以用來完善、補(bǔ)充已有的運動追蹤設(shè)備，比如AR/VR頭顯。
除了數(shù)據(jù)量不穩(wěn)定外，IMUPoser的其他限制還包括IMU定位的噪聲等等。而且在追蹤上半身動作時，如果缺少一只手臂的位置數(shù)據(jù)，IMUPoser則會復(fù)制追蹤到的另一只手動作。比如，當(dāng)你舉起一只手打招呼，系統(tǒng)預(yù)測的結(jié)果卻是舉雙手。
經(jīng)過驗證，科研人員發(fā)現(xiàn)下半身追蹤最準(zhǔn)確的情景，需要用到雙腿IMU數(shù)據(jù)（兩個褲兜分別放了手機(jī)、耳機(jī)）。在缺少部分腿部數(shù)據(jù)時，則可根據(jù)雙腿運動的相關(guān)規(guī)律，來預(yù)測出比較合理的動作。參考：acm
責(zé)任編輯：Rex_09
營業(yè)執(zhí)照公示信息