毫無疑問，Vision Pro在眼球追蹤+手勢的融合交互體驗上，給AR/VR頭戴設備帶來了新突破，在用戶體驗上的提升非常明顯。

那么，為什么Vision Pro上這一功能會被如此值得關注呢？為了弄清楚，我們先來看看主流VR設備是如何做的。

【資料圖】

一、主流VR和Vision Pro的差異

在此之前，很多主流AR/VR產品已經采用這兩種技術方案，只不過并未把兩種交互方式融合，這其中有幾點原因：

1，手勢方面，包括Quest等主流VR設備以手柄交互體驗為主，手勢追蹤僅作為補充式體驗，即便從功能層面可以替代大部分手柄上的按鍵和功能。

而Vision Pro沒有手柄，首選方式是通過眼球追蹤+手勢來完成，當然也提供了輔助功能（含手勢射線模式）。

2，主流VR的手勢追蹤必須將手放在攝像頭FOV范圍內，使用時雙手必須微抬或舉在身體前面，時間一長就非常累，導致用戶體驗差。

而Vision Pro則擁有6顆SLAM+手勢攝像頭，其中有兩顆向下的攝像頭專門捕捉手垂放在腿上的視角。另外，還有兩顆斜向下的攝像頭同時兼顧SLAM和手勢。甚至為了弱光環境下手勢識別準確性，蘋果還加入了兩顆紅外LED進行輔助。

這種垂直視角的攝像頭，專門用于捕捉大部分時間、不抬手的時候的手勢，因為很多時候雙手應該自然垂放在腿或桌子上，符合人體工學邏輯。蘋果Vision Pro是AR/VR中的首家采用這一方案的設備，更是獨一份。

Vision Pro 直接手勢

因為蘋果在開發文檔中也提到，如果使用直接手勢（雙手直接觸碰虛擬物體，比如虛擬鍵盤等），需要將雙手抬起至頭顯透鏡FOV的視野之內，盡管它的捕捉攝像頭范圍夠廣，必須讓雙手在FOV可見范圍內才行。而多次/頻繁的直接手勢操作會帶來疲勞感，應盡量避免。

3，眼球追蹤方面，主流VR設備更注重VR應用內的場景，比如VR游戲凝視交互、Avatar眼球動作等，甚至也可以用于注視點渲染提升幀率等，確實提升了游戲體驗。

凝視的高光變化

Vision Pro凝視+手勢捏合

而Vision Pro采用的visionOS系統底層邏輯是大量2D窗口交互，包括文字選中、菜單選擇都可以通過眼球+手勢來完成，這其中眼球+手勢融合交互就非常重要。當然，PS VR2部分游戲也提供眼球凝視菜單選項，體驗尚可。

4，產品定位和價格方面的因素。VR一體機都是在主流價位去推廣，通過SLAM攝像頭同時完成頭顯定位和手柄追蹤以及手勢追蹤，因此SLAM攝像頭的安裝角度主要照顧了頭顯的定位，而非手勢追蹤的體驗。

這也就導致了，包括Quest等VR設備上通過斜向下的攝像頭同時來捕捉手勢，而雙手放在腿部或靠下時完全不在捕捉范圍。

而Vision Pro高舉高打，不在乎售價意在通過高規格硬件提供高規格的體驗。

當然，這里面還沒有提到Vision Pro專門為攝像頭、傳感器準備的R1芯片，就是為了低延遲處理這些視覺數據，從而實現更精準交互方案，可以說Vision Pro的交互邏輯從軟件、硬件、芯片、算法等多方位于一體，是一個鴻溝式的差異。

二、眼球+手勢和純手勢對比

由上文得知，Vision Pro和之前的VR交互方式上存在較大差異。那么，兩種交互方式又帶來了哪些差異呢？

據青亭網了解，今年4月19日在ACM公布的一份論文“A Fitts" Law Study of Gaze-Hand Alignment for Selection in 3D User Interfaces”中，就明確提到了凝視+捏合的交互類型，并且對手勢射線的供5種交互方式進行對比。

該論文第一作者Uta Wagner來自于由丹麥奧胡斯大學計算機科學系，這里我們將其中的2類代表“僅基于手勢射線”和“基于凝視射線+手勢捏合”的測試差異進行對比。

2-1，選擇目標測試

該研究基于菲茨定律研究進行設計，在FOV內不同深度呈現目標來進行“選擇目標測試”，如上圖，得出的結果是：

2-2，AR菜單激活和選擇測試

在進行AR菜單激活和選擇測試中，得出的結果是：

論文中所有測試方案

基于本論文的研究，得出的結論還有：

綜上所述，基于凝視射線+捏合（蘋果Vision Pro的方案，只不過它隱藏了凝視射線，但在UI中結合了高光等進行提示）在速度、效率上更高，也最受歡迎。同時，也表明凝視+手勢結合的交互方式在今后AR/VR交互中更具潛力。不過要說的體感反饋，當然還是現在的手柄在體驗和成本方面優勢明顯，今后在無手持設備的凝視+手勢交互時代，智能手環或智能戒指也有望成為體感反饋的重要工具。

參考：Apple、ACM

責任編輯：Rex_30