此前，青亭網(wǎng)曾報道了一項無需攝像頭的VR全身追蹤方案：Standable: Full Body Estimation（簡稱SFBE），這套方案就是利用了頭顯+雙手柄數(shù)據(jù)來模擬預測全身動作數(shù)據(jù)，效果還算不錯。
近期在CHI2023活動上，卡內(nèi)基梅隆大學Future Interfaces Group科研團隊公布了一項類似的研究：IMUPoser，這是一個基于IMU定位的全身姿態(tài)預測方案，特點是利用iPhone、Apple Watch、Airpods等常用的電子產(chǎn)品來為VR提供全身追蹤數(shù)據(jù)。相比于此前研發(fā)的攝像頭全身追蹤方案，IMUPoser方案更容易使用，而且成本更低，無需額外的硬件。
在VR中追蹤全身難？
(資料圖片)
為了讓VR更容易上手，Meta已經(jīng)停產(chǎn)了PC VR產(chǎn)品，開始主推VR一體機，并獲得了市場廣泛歡迎，引發(fā)了VR硬件潮流。VR一體機的好處是開箱即用，戴上就能玩，但在功能、硬件性能上依然有局限。
比如為了避免額外的設置和成本，Quest一體機并沒有官方的全身追蹤配件，在VR中操控全身Avatar時，只能靠頭手三點定位和IK算法來預測下半身動作。
此前，F(xiàn)IG曾探索在Quest手柄上加入廣角相機來追蹤下半身，這樣的方案雖然可行，但需要復雜的計算，而且增加了成本。相比之下，如果用幾乎人人都有的手機來定位全身姿態(tài)，似乎更容易上手。與用手機攝像頭追蹤姿態(tài)不同，IMUPoser使用IMU來定位，這也是VR追蹤模塊常用的技術，區(qū)別是人們更常使用手機、耳機、智能手表，使用IMUPoser意味著無需穿戴特殊的硬件，就能預測全身姿態(tài)。
實際上，蘋果此前已經(jīng)為類似的方案申請專利，考慮到蘋果擁有比較完整的軟硬件生態(tài)，而且其穿戴設備通常都具備加速度計、陀螺儀等運動檢測傳感器，可以很好的定位。未來也許可以讓AR/VR頭顯、手機、智能手表、耳機等設備聯(lián)動，從而實現(xiàn)全身動作追蹤。
算法預測全身姿態(tài)
IMUPoser方案的一大重點，是將從手機、智能手表等設備收集（本文用蘋果生態(tài)，結合 iPhone、以及可選搭配Airpods、Apple Watch，并用MacBook進行數(shù)據(jù)回流）的數(shù)據(jù)整合，并計算出用戶的全身姿態(tài)。其使用的算法基于定制的雙向LSTM模型（長短記憶模型），輸出SMPL動捕模型。
而手機、手表、耳機可為全身姿態(tài)追蹤提供足夠數(shù)據(jù)，包括四肢的位置，以及站立、蹲坐等狀態(tài)。另外，可通過距離傳感器識別手機在口袋內(nèi)部還是外部。還能根據(jù)智能手表和手機之間的距離（基于UWB定位），來識別手機在哪個口袋、哪只手上。
當然，IMUPoser定位不僅限于手持手機的場景，當你將手機放在褲兜時，也可以分別追蹤左右腿。耳機也是如此，可以放在口袋中。因此可能會出現(xiàn)24種最有可能的搭配，比如智能手表和手機在同一側手臂上，或是耳機和手機在同一個口袋中。在一些場景中，甚至只能通過一個設備（耳機、手機或手表）來定位IE，全身定位數(shù)據(jù)不完整。
由于缺少四肢的絕對位置數(shù)據(jù)，該方案并不是完全準確，經(jīng)測試手機的實時定位準確性約90.8%，智能手表和耳機的定位準確性接近100%。但當追蹤數(shù)據(jù)小于最低標準時，則需要用預測算法來補償。比如在預測姿態(tài)時可能需要插入預設動作。當IMUPoser識別到用戶在行走時，便會假設沒用手機、手表定位的一側手臂、腿也在移動，只是和另一側不同步（基于人的自然步行姿態(tài)）
應用前景
科研人員指出，全身追蹤可用于多種場景，比如健身、移動游戲、情景感知、虛擬助手、康復訓練等等。
那么IMUPoser能取代更專業(yè)的全身動捕工具嗎？在準確性上，它還不夠，但它可以用來完善、補充已有的運動追蹤設備，比如AR/VR頭顯。
除了數(shù)據(jù)量不穩(wěn)定外，IMUPoser的其他限制還包括IMU定位的噪聲等等。而且在追蹤上半身動作時，如果缺少一只手臂的位置數(shù)據(jù)，IMUPoser則會復制追蹤到的另一只手動作。比如，當你舉起一只手打招呼，系統(tǒng)預測的結果卻是舉雙手。
經(jīng)過驗證，科研人員發(fā)現(xiàn)下半身追蹤最準確的情景，需要用到雙腿IMU數(shù)據(jù)（兩個褲兜分別放了手機、耳機）。在缺少部分腿部數(shù)據(jù)時，則可根據(jù)雙腿運動的相關規(guī)律，來預測出比較合理的動作。參考：acm
責任編輯：Rex_09
營業(yè)執(zhí)照公示信息