蘋果MR頭顯可以說是板上釘釘了，看了這么多的預(yù)測，幾乎沒有從ARKit的角度來看蘋果頭顯的，因此本文我們將回顧ARKit近7年來的發(fā)展歷程。

實際上，ARKit 3.5開始支持LiDAR（首個搭載的設(shè)備是iPad Pro 2020）就是為AR/VR頭顯籌備的重要一步，因為LiDAR可以實現(xiàn)更快距離探測實現(xiàn)即時AR交互，虛擬物體定位更精準，也帶來了比如更逼真的遮擋效果提升沉浸感，還有更好的場景幾何理解能力，為結(jié)合現(xiàn)實環(huán)境的MR交互提供基礎(chǔ)。同時還有更重要的多物體AR交互能力，可以實現(xiàn)復(fù)雜AR場景。這些讓蘋果的AR體驗實現(xiàn)了房間級的AR交互（實際上，這個概念至今沒有多少媒體引用）。相關(guān)閱讀：《iPad Pro新使命：開啟房間級AR體驗，iPhone、AR頭顯緊隨其后》。

去年發(fā)布的ARKit 6基本就印證了蘋果VST設(shè)備的策略，比如：支持4K分辨率顯示、支持相機曝光調(diào)節(jié)、支持HDR錄制等。以相機曝光調(diào)節(jié)為例，結(jié)合“數(shù)碼旋鈕”可以實現(xiàn)在VR和AR無縫切換能力，這個功能也是近半年被爆出蘋果MR的一個重磅功能。其它功能也基本圍繞“視頻透視”的能力展開，非常容易聯(lián)想到VST模式。相關(guān)閱讀：《WWDC22：ARKit 6低調(diào)發(fā)布，新功能瞄準VST MR頭顯》

(資料圖)

雖然說ARKit在iPhone和iPad并沒有激起波瀾，但將在蘋果AR/MR頭顯上發(fā)揮重要作用。而且因蘋果具備極強的軟硬件整合能力，這些AR能力至今都是業(yè)內(nèi)一流。

從2017年開始，蘋果每年都會在WWDC活動上發(fā)布新版ARKit，截止去年已經(jīng)更新迭代至ARKit 6，今年WWDC不出意外蘋果MR頭顯即將發(fā)布。那么在此之前，也許我們可以通過ARKit的技術(shù)演變，來看看蘋果的AR/VR策略，甚至猜猜未來哪些可能會體現(xiàn)在頭顯硬件上。

ARKit重要功能一覽

ARKit 1（iOS 11）

第一個版本的ARKit支持的功能不多，但在當(dāng)時是開創(chuàng)性的，它用法簡單、性能優(yōu)秀，允許開發(fā)者iPhone、iPad打造AR應(yīng)用。ARKit 1使用視覺慣性里程計（VIO，一種融合相機和IMU數(shù)據(jù)實現(xiàn)SLAM的算法）來追蹤周圍物理場景，無需額外校準，就能可靠提取基于初始點的位置和方向變化。

此外還支持光照估計和渲染（由來優(yōu)化AR外觀），以及場景理解功能，比如檢測水平面，并使用iPhone X的前置攝像頭追蹤人臉。通過ARKit 1，開發(fā)者可以將虛擬家具放置在真實場景中，或是允許用戶在餐廳中踢AR足球。而面部追蹤功能，則讓Snapchat等AR濾鏡更容易實現(xiàn)。

ARKit 1在A9和A10處理器上運行，支持Metal、SceneKit、Unity、Unreal等3D渲染引擎。

ARKit 1.5（iOS 11.3）

此前，ARKit 1只能識別桌面、椅子等水平表面，而ARKit 1.5則加入對墻體、房門等垂直表面的識別支持，允許開發(fā)者在垂直表面上固定AR內(nèi)容。此外借助計算機視覺技術(shù)，對圓形家具等不規(guī)則表面的檢測效果更準確，也能識別空間內(nèi)的標(biāo)志、海報、插圖、二維碼等2D圖像，并調(diào)出對應(yīng)的AR內(nèi)容。

本次更新還改進了AR整體的質(zhì)量，比如圖像分辨率提升50%，支持自動對焦，更準確的房間測繪，讓AR內(nèi)容看起來更真實。

ARKit 2（iOS 12）

在WWDC 2018上，推出ARKit 2，還推出了一個與皮克斯合作開發(fā)的AR格式：USDZ，以及AR快速預(yù)覽功能（AR Quick Look）。

ARKit 2性能升級部分：1，改進的人臉追蹤效果；2，更逼真的渲染處理能力；3，3D控件檢測能力；4，對象持久保持的能力；5，可共享的多人AR能力（基于本地設(shè)備到設(shè)備的數(shù)據(jù)傳輸，非云端。現(xiàn)場演示了樂高多人AR游戲）。

據(jù)了解，皮克斯此前曾開發(fā)可擴展的開源3D說明文件格式：USD，而USDZ則是針對AR的文件格式，特點是采用嵌入式設(shè)計，可快速預(yù)，目的是為了簡化AR文件的訪問和共享流程，而通過嵌入到app或網(wǎng)頁中，可以很好的打通蘋果全家桶生態(tài)。

蘋果還推出了AR測量app《Measure》，可使用相機視覺預(yù)測物體尺寸、體積等數(shù)據(jù)，比如相框中相片的大小。

ARKit 3（iOS 13）

在WWDC 2019上，蘋果不僅推出ARKit 3，還發(fā)布兩個新的AR開發(fā)工具：RealityKit和Reality Composer，目的是補充ARKit，簡化3D場景創(chuàng)建，提高AR交互場景的開發(fā)速度和效率。

ARKit 3更新包括：同時使用前置和后置相機來定位、動作捕捉、人體遮擋、更快的參考圖像載入、自動識別圖像尺寸、視覺連貫性、更穩(wěn)定的3D物體識別、多人面部追蹤、多人實時協(xié)作、識別高達100張圖像、HDR環(huán)境紋理、AR Coaching UI，以及AR快速預(yù)覽支持更多機型，并支持錄制視頻、啟動Apple Pay、空間音頻等功能

RealityKit可以在真實場景中以AR形式展示3D控件，從而快速實現(xiàn)AR場景融合。該工具主要有5大亮點：1，照片級渲染效果；2，支持環(huán)境和相機特效；3，支持動畫、物理、音頻等特效；4，整合ARKit；5，原生支持Swift API。

而Reality Composer則是一個3D場景創(chuàng)建工具，特點是通過拖拽、點擊等簡單操作，即可生成交互式AR場景。該工具內(nèi)置大量3D內(nèi)容數(shù)據(jù)庫，還可與Xcode和iOS應(yīng)用配合使用，從而實現(xiàn)AR場景快速預(yù)覽、微調(diào)，大幅提升效率。

ARKit 3.5（iOS 13.4）

隨著搭載LiDAR傳感器的iPad Pro在2020年發(fā)售，蘋果也推出了ARKit 3.5，其中包含了多個功能：場景幾何（Scene Geometry）API、即時AR體驗，此外還改進了動作捕捉和人體遮擋功能。這些功能和特性基于LiDAR硬件來實現(xiàn)，因此僅支持搭載LiDAR的iPad或iPhone型號。

場景幾何API：可實時捕捉場景中的3D物體（地板、墻壁、天花板、窗戶、門、桌椅），并構(gòu)建3D場景模型，提升整個場景的3D識別能力。

即時AR體驗：在開啟AR模式時，無需左右掃描場景即可快速、實時放置AR對象。

ARKit 4（iOS 14）

從ARKit 3.5開始，ARKit的新功能主要圍繞LiDAR等硬件技術(shù)展開，在此基礎(chǔ)上，ARKit 4小幅更新，主要帶來以下功能：深度API、位置錨定、AR視頻紋理，同時面部追蹤支持更多設(shè)備。

深度API：通過LiDAR對每個像素的深度信息進行分析，并與場景幾何的3D網(wǎng)格數(shù)據(jù)結(jié)合使用，讓虛擬物體與現(xiàn)實物體的融合更逼真、自然。同時，還可進一步提升AR測距應(yīng)用的準確性；

位置錨定：基于Apple Maps數(shù)據(jù)，可將高分辨率AR內(nèi)容（LBS AR）持續(xù)固定在現(xiàn)實場景/位置，例如一個著名景區(qū)，通過位置錨定即可為AR虛擬物體加上經(jīng)緯度、海拔等信息，從而與地理位置永久性的融合。

此前，ARKit 2已經(jīng)支持持久性AR，與位置錨定不同的是，持久性AR基于保存與加載地圖特性，利用了視覺定位，而沒有結(jié)合地圖GPS數(shù)據(jù)。

視頻紋理：可將視頻紋理添加到RealityKit場景中任意部分，讓物理對象、表面、人物看起來更生動。

面部追蹤擴展：支持使用A12 Bionic及更新芯片的設(shè)備，但在特定的設(shè)備上，面部識別功能依然受限，比如iPhone SE僅支持單用戶追蹤，而具備原深感相機TureDepth的設(shè)備可同時識別追蹤三個人臉信息。

ARKit 5（iOS 15）

在WWDC 2021期間，蘋果低調(diào)更新了ARKit 5，同時也推出了RealityKit 2。

ARKit 5新功能主要有四點：1，位置錨定支持更多地區(qū)；2，人臉追蹤功能升級（支持更多A12芯片設(shè)備，在配備深感相機設(shè)備中，支持3人面部追蹤）；3，改進運動追蹤；4，AR綁定App Clip Code二維碼。

而RealityKit 2新功能則包括：1，3D掃描（Object Capture API）；2，自定義著色器；3，動態(tài)加載方式；4，系統(tǒng)模塊定制；5，虛擬角色控制器。

Object Capture API是RealityKit 2的一大亮點，該功能旨在統(tǒng)一、簡化3D掃描和建模的流程，同時更加充分利用LiDAR能力。據(jù)稱，該API可在幾分鐘內(nèi)輸出USDZ格式的高質(zhì)量3D模型，支持AR快速預(yù)覽，也可以導(dǎo)入Reality Composer等其他工具。

ARKit 6（iOS 16）

在WWDC 2022期間，蘋果依舊低調(diào)更新ARKit 6，本次更新的重磅功能包括：4K分辨率，HDR錄制，實時調(diào)節(jié)相機曝光、白平衡等參數(shù)，這些功能對VST透視AR體驗相當(dāng)重要，未來能否應(yīng)用于蘋果MR頭顯則令人期待。此外，還加入了前攝+后攝融合玩法，可通過前攝捕捉人臉，然后基于后攝拍攝背景，實現(xiàn)一些另類的玩法和交互。

現(xiàn)有的功能也得到優(yōu)化：改進了運動追蹤，現(xiàn)支持識別左右耳朵，優(yōu)化了姿態(tài)檢測功能，可以自動估算好拍攝場景中物體的大小，并實現(xiàn)穩(wěn)定的追蹤效果，提高3D物體檢測的魯棒性。

ARKit 6依然只是小幅更新，一方面是因為該技術(shù)本身已經(jīng)領(lǐng)先競爭對手，另一方面，按照蘋果的設(shè)計思路，軟件方面新功能大概率需更強大的硬件做支撐。

4K分辨率、HDR錄制可為視頻拍攝和分享、電影制作等場景帶來價值，與此同時，也可以實現(xiàn)更好的VST混合現(xiàn)實效果。以往在談到移動AR時，更多關(guān)注的是3D AR內(nèi)容的清晰度、逼真度，以及與物理場景的自然交互/融合。而實際上，移動ARden視頻背景清晰度也同樣重要，對于VST頭顯來講更是如此，清晰的視頻透視可減少長時間體驗的視覺疲勞。此外，ARKit 6帶來的實時調(diào)節(jié)相機曝光、白平衡、對焦功能，對于沉浸式AR體驗也很重要，比如可以把現(xiàn)實場景調(diào)暗等等操作。

甚至，如果還可以設(shè)置不同的焦點切換（這一點暫時沒有明確），還能基于此實現(xiàn)引導(dǎo)注意力轉(zhuǎn)移等玩法，對MR游戲的虛實融合類交互幫助很大，想象空間很大。

蘋果還發(fā)布了新的AR工具：RoomPlan API，特點是基于ARKit和Swift API，硬件基于LiDAR設(shè)備，可通過掃描房屋場景進行3D規(guī)劃，適用于房地產(chǎn)、建筑、室內(nèi)設(shè)計、電子商務(wù)、酒店管理等行業(yè)。掃描后可導(dǎo)出USD或USDZ格式文件，文件中信息包括：房間中識別到的組件尺寸，家具類型等，并可在C4D、AutoCAD、Shapr3D等進一步編輯。

至此，蘋果AR生態(tài)由5大套件組成：ARKit、RealityKit、RoomPlan、AR創(chuàng)作工具（Reality Composer、Reality Converter、Xcode和USDZ工具）和AR Quick Look。

在LBS AR、VPS領(lǐng)域，蘋果也有布局，但全新設(shè)計的蘋果地圖在全球覆蓋率上不如谷歌地圖。比如此前蘋果曾推出類似谷歌街景的Look Around功能，可實現(xiàn)基于VPS原理的AR導(dǎo)航等功能，但AR導(dǎo)航僅支持十幾個城市。

此外，蘋果在WWDC 2022上還推出了MapKit，允許開發(fā)者在AR應(yīng)用中調(diào)用原生地圖能力，推動LBS AR應(yīng)用。

從ARKit的一次次更新中，一個重點是打通3D內(nèi)容格式（USDZ），另一方面則是利用LiDAR模組優(yōu)化AR性能。如無意外，蘋果未來的AR/VR頭顯也將支持大量的LiDAR功能和應(yīng)用。比如可以預(yù)見的是，圖像識別、文字語言翻譯、單位轉(zhuǎn)換、價格識別等基于攝像頭的玩法，未來很可能會作為MR/AR頭戴設(shè)備的基礎(chǔ)功能。

由此可見，ARKit打磨6-7年時間，蘋果借助現(xiàn)有硬件已經(jīng)支持相機動態(tài)調(diào)焦，以及曝光、白平衡等參數(shù)調(diào)節(jié)。而且，在相機、視頻錄制上有明顯優(yōu)勢，顯然蘋果的VST方案上限可能會很高，就像是早年間的安卓手機和iPhone拍照的差別。接下來，蘋果要做的就是AR/VR頭顯端的內(nèi)容生態(tài)，這也直接影響著用戶對這款產(chǎn)品的關(guān)注程度。

責(zé)任編輯：Rex_25