全球新動態：把蘋果全家桶用于VR全身追蹤是什么體驗

此前，青亭網曾報道了一項無需攝像頭的VR全身追蹤方案：Standable: Full Body Estimation（簡稱SFBE），這套方案就是利用了頭顯+雙手柄數據來模擬預測全身動作數據，效果還算不錯。

近期在CHI2023活動上，卡內基梅隆大學Future Interfaces Group科研團隊公布了一項類似的研究：IMUPoser，這是一個基于IMU定位的全身姿態預測方案，特點是利用iPhone、Apple Watch、Airpods等常用的電子產品來為VR提供全身追蹤數據。相比于此前研發的攝像頭全身追蹤方案，IMUPoser方案更容易使用，而且成本更低，無需額外的硬件。

在VR中追蹤全身難？

(資料圖片)

為了讓VR更容易上手，Meta已經停產了PC VR產品，開始主推VR一體機，并獲得了市場廣泛歡迎，引發了VR硬件潮流。VR一體機的好處是開箱即用，戴上就能玩，但在功能、硬件性能上依然有局限。

比如為了避免額外的設置和成本，Quest一體機并沒有官方的全身追蹤配件，在VR中操控全身Avatar時，只能靠頭手三點定位和IK算法來預測下半身動作。

此前，FIG曾探索在Quest手柄上加入廣角相機來追蹤下半身，這樣的方案雖然可行，但需要復雜的計算，而且增加了成本。相比之下，如果用幾乎人人都有的手機來定位全身姿態，似乎更容易上手。與用手機攝像頭追蹤姿態不同，IMUPoser使用IMU來定位，這也是VR追蹤模塊常用的技術，區別是人們更常使用手機、耳機、智能手表，使用IMUPoser意味著無需穿戴特殊的硬件，就能預測全身姿態。

實際上，蘋果此前已經為類似的方案申請專利，考慮到蘋果擁有比較完整的軟硬件生態，而且其穿戴設備通常都具備加速度計、陀螺儀等運動檢測傳感器，可以很好的定位。未來也許可以讓AR/VR頭顯、手機、智能手表、耳機等設備聯動，從而實現全身動作追蹤。

算法預測全身姿態

IMUPoser方案的一大重點，是將從手機、智能手表等設備收集（本文用蘋果生態，結合 iPhone、以及可選搭配Airpods、Apple Watch，并用MacBook進行數據回流）的數據整合，并計算出用戶的全身姿態。其使用的算法基于定制的雙向LSTM模型（長短記憶模型），輸出SMPL動捕模型。

而手機、手表、耳機可為全身姿態追蹤提供足夠數據，包括四肢的位置，以及站立、蹲坐等狀態。另外，可通過距離傳感器識別手機在口袋內部還是外部。還能根據智能手表和手機之間的距離（基于UWB定位），來識別手機在哪個口袋、哪只手上。

當然，IMUPoser定位不僅限于手持手機的場景，當你將手機放在褲兜時，也可以分別追蹤左右腿。耳機也是如此，可以放在口袋中。因此可能會出現24種最有可能的搭配，比如智能手表和手機在同一側手臂上，或是耳機和手機在同一個口袋中。在一些場景中，甚至只能通過一個設備（耳機、手機或手表）來定位IE，全身定位數據不完整。

由于缺少四肢的絕對位置數據，該方案并不是完全準確，經測試手機的實時定位準確性約90.8%，智能手表和耳機的定位準確性接近100%。但當追蹤數據小于最低標準時，則需要用預測算法來補償。比如在預測姿態時可能需要插入預設動作。當IMUPoser識別到用戶在行走時，便會假設沒用手機、手表定位的一側手臂、腿也在移動，只是和另一側不同步（基于人的自然步行姿態）

應用前景

科研人員指出，全身追蹤可用于多種場景，比如健身、移動游戲、情景感知、虛擬助手、康復訓練等等。

那么IMUPoser能取代更專業的全身動捕工具嗎？在準確性上，它還不夠，但它可以用來完善、補充已有的運動追蹤設備，比如AR/VR頭顯。

除了數據量不穩定外，IMUPoser的其他限制還包括IMU定位的噪聲等等。而且在追蹤上半身動作時，如果缺少一只手臂的位置數據，IMUPoser則會復制追蹤到的另一只手動作。比如，當你舉起一只手打招呼，系統預測的結果卻是舉雙手。

經過驗證，科研人員發現下半身追蹤最準確的情景，需要用到雙腿IMU數據（兩個褲兜分別放了手機、耳機）。在缺少部分腿部數據時，則可根據雙腿運動的相關規律，來預測出比較合理的動作。參考：acm

責任編輯：Rex_09