蘋果MR頭顯可以說(shuō)是板上釘釘了，看了這么多的預(yù)測(cè)，幾乎沒(méi)有從ARKit的角度來(lái)看蘋果頭顯的，因此本文我們將回顧ARKit近7年來(lái)的發(fā)展歷程。

實(shí)際上，ARKit 3.5開始支持LiDAR（首個(gè)搭載的設(shè)備是iPad Pro 2020）就是為AR/VR頭顯籌備的重要一步，因?yàn)長(zhǎng)iDAR可以實(shí)現(xiàn)更快距離探測(cè)實(shí)現(xiàn)即時(shí)AR交互，虛擬物體定位更精準(zhǔn)，也帶來(lái)了比如更逼真的遮擋效果提升沉浸感，還有更好的場(chǎng)景幾何理解能力，為結(jié)合現(xiàn)實(shí)環(huán)境的MR交互提供基礎(chǔ)。同時(shí)還有更重要的多物體AR交互能力，可以實(shí)現(xiàn)復(fù)雜AR場(chǎng)景。這些讓蘋果的AR體驗(yàn)實(shí)現(xiàn)了房間級(jí)的AR交互（實(shí)際上，這個(gè)概念至今沒(méi)有多少媒體引用）。相關(guān)閱讀：《iPad Pro新使命：開啟房間級(jí)AR體驗(yàn)，iPhone、AR頭顯緊隨其后》。

去年發(fā)布的ARKit 6基本就印證了蘋果VST設(shè)備的策略，比如：支持4K分辨率顯示、支持相機(jī)曝光調(diào)節(jié)、支持HDR錄制等。以相機(jī)曝光調(diào)節(jié)為例，結(jié)合“數(shù)碼旋鈕”可以實(shí)現(xiàn)在VR和AR無(wú)縫切換能力，這個(gè)功能也是近半年被爆出蘋果MR的一個(gè)重磅功能。其它功能也基本圍繞“視頻透視”的能力展開，非常容易聯(lián)想到VST模式。相關(guān)閱讀：《WWDC22：ARKit 6低調(diào)發(fā)布，新功能瞄準(zhǔn)VST MR頭顯》

(資料圖)

雖然說(shuō)ARKit在iPhone和iPad并沒(méi)有激起波瀾，但將在蘋果AR/MR頭顯上發(fā)揮重要作用。而且因蘋果具備極強(qiáng)的軟硬件整合能力，這些AR能力至今都是業(yè)內(nèi)一流。

從2017年開始，蘋果每年都會(huì)在WWDC活動(dòng)上發(fā)布新版ARKit，截止去年已經(jīng)更新迭代至ARKit 6，今年WWDC不出意外蘋果MR頭顯即將發(fā)布。那么在此之前，也許我們可以通過(guò)ARKit的技術(shù)演變，來(lái)看看蘋果的AR/VR策略，甚至猜猜未來(lái)哪些可能會(huì)體現(xiàn)在頭顯硬件上。

ARKit重要功能一覽

ARKit 1（iOS 11）

第一個(gè)版本的ARKit支持的功能不多，但在當(dāng)時(shí)是開創(chuàng)性的，它用法簡(jiǎn)單、性能優(yōu)秀，允許開發(fā)者iPhone、iPad打造AR應(yīng)用。ARKit 1使用視覺(jué)慣性里程計(jì)（VIO，一種融合相機(jī)和IMU數(shù)據(jù)實(shí)現(xiàn)SLAM的算法）來(lái)追蹤周圍物理場(chǎng)景，無(wú)需額外校準(zhǔn)，就能可靠提取基于初始點(diǎn)的位置和方向變化。

此外還支持光照估計(jì)和渲染（由來(lái)優(yōu)化AR外觀），以及場(chǎng)景理解功能，比如檢測(cè)水平面，并使用iPhone X的前置攝像頭追蹤人臉。通過(guò)ARKit 1，開發(fā)者可以將虛擬家具放置在真實(shí)場(chǎng)景中，或是允許用戶在餐廳中踢AR足球。而面部追蹤功能，則讓Snapchat等AR濾鏡更容易實(shí)現(xiàn)。

ARKit 1在A9和A10處理器上運(yùn)行，支持Metal、SceneKit、Unity、Unreal等3D渲染引擎。

ARKit 1.5（iOS 11.3）

此前，ARKit 1只能識(shí)別桌面、椅子等水平表面，而ARKit 1.5則加入對(duì)墻體、房門等垂直表面的識(shí)別支持，允許開發(fā)者在垂直表面上固定AR內(nèi)容。此外借助計(jì)算機(jī)視覺(jué)技術(shù)，對(duì)圓形家具等不規(guī)則表面的檢測(cè)效果更準(zhǔn)確，也能識(shí)別空間內(nèi)的標(biāo)志、海報(bào)、插圖、二維碼等2D圖像，并調(diào)出對(duì)應(yīng)的AR內(nèi)容。

本次更新還改進(jìn)了AR整體的質(zhì)量，比如圖像分辨率提升50%，支持自動(dòng)對(duì)焦，更準(zhǔn)確的房間測(cè)繪，讓AR內(nèi)容看起來(lái)更真實(shí)。

ARKit 2（iOS 12）

在WWDC 2018上，推出ARKit 2，還推出了一個(gè)與皮克斯合作開發(fā)的AR格式：USDZ，以及AR快速預(yù)覽功能（AR Quick Look）。

ARKit 2性能升級(jí)部分：1，改進(jìn)的人臉追蹤效果；2，更逼真的渲染處理能力；3，3D控件檢測(cè)能力；4，對(duì)象持久保持的能力；5，可共享的多人AR能力（基于本地設(shè)備到設(shè)備的數(shù)據(jù)傳輸，非云端。現(xiàn)場(chǎng)演示了樂(lè)高多人AR游戲）。

據(jù)了解，皮克斯此前曾開發(fā)可擴(kuò)展的開源3D說(shuō)明文件格式：USD，而USDZ則是針對(duì)AR的文件格式，特點(diǎn)是采用嵌入式設(shè)計(jì)，可快速預(yù)，目的是為了簡(jiǎn)化AR文件的訪問(wèn)和共享流程，而通過(guò)嵌入到app或網(wǎng)頁(yè)中，可以很好的打通蘋果全家桶生態(tài)。

蘋果還推出了AR測(cè)量app《Measure》，可使用相機(jī)視覺(jué)預(yù)測(cè)物體尺寸、體積等數(shù)據(jù)，比如相框中相片的大小。

ARKit 3（iOS 13）

在WWDC 2019上，蘋果不僅推出ARKit 3，還發(fā)布兩個(gè)新的AR開發(fā)工具：RealityKit和Reality Composer，目的是補(bǔ)充ARKit，簡(jiǎn)化3D場(chǎng)景創(chuàng)建，提高AR交互場(chǎng)景的開發(fā)速度和效率。

ARKit 3更新包括：同時(shí)使用前置和后置相機(jī)來(lái)定位、動(dòng)作捕捉、人體遮擋、更快的參考圖像載入、自動(dòng)識(shí)別圖像尺寸、視覺(jué)連貫性、更穩(wěn)定的3D物體識(shí)別、多人面部追蹤、多人實(shí)時(shí)協(xié)作、識(shí)別高達(dá)100張圖像、HDR環(huán)境紋理、AR Coaching UI，以及AR快速預(yù)覽支持更多機(jī)型，并支持錄制視頻、啟動(dòng)Apple Pay、空間音頻等功能

RealityKit可以在真實(shí)場(chǎng)景中以AR形式展示3D控件，從而快速實(shí)現(xiàn)AR場(chǎng)景融合。該工具主要有5大亮點(diǎn)：1，照片級(jí)渲染效果；2，支持環(huán)境和相機(jī)特效；3，支持動(dòng)畫、物理、音頻等特效；4，整合ARKit；5，原生支持Swift API。

而Reality Composer則是一個(gè)3D場(chǎng)景創(chuàng)建工具，特點(diǎn)是通過(guò)拖拽、點(diǎn)擊等簡(jiǎn)單操作，即可生成交互式AR場(chǎng)景。該工具內(nèi)置大量3D內(nèi)容數(shù)據(jù)庫(kù)，還可與Xcode和iOS應(yīng)用配合使用，從而實(shí)現(xiàn)AR場(chǎng)景快速預(yù)覽、微調(diào)，大幅提升效率。

ARKit 3.5（iOS 13.4）

隨著搭載LiDAR傳感器的iPad Pro在2020年發(fā)售，蘋果也推出了ARKit 3.5，其中包含了多個(gè)功能：場(chǎng)景幾何（Scene Geometry）API、即時(shí)AR體驗(yàn)，此外還改進(jìn)了動(dòng)作捕捉和人體遮擋功能。這些功能和特性基于LiDAR硬件來(lái)實(shí)現(xiàn)，因此僅支持搭載LiDAR的iPad或iPhone型號(hào)。

場(chǎng)景幾何API：可實(shí)時(shí)捕捉場(chǎng)景中的3D物體（地板、墻壁、天花板、窗戶、門、桌椅），并構(gòu)建3D場(chǎng)景模型，提升整個(gè)場(chǎng)景的3D識(shí)別能力。

即時(shí)AR體驗(yàn)：在開啟AR模式時(shí)，無(wú)需左右掃描場(chǎng)景即可快速、實(shí)時(shí)放置AR對(duì)象。

ARKit 4（iOS 14）

從ARKit 3.5開始，ARKit的新功能主要圍繞LiDAR等硬件技術(shù)展開，在此基礎(chǔ)上，ARKit 4小幅更新，主要帶來(lái)以下功能：深度API、位置錨定、AR視頻紋理，同時(shí)面部追蹤支持更多設(shè)備。

深度API：通過(guò)LiDAR對(duì)每個(gè)像素的深度信息進(jìn)行分析，并與場(chǎng)景幾何的3D網(wǎng)格數(shù)據(jù)結(jié)合使用，讓虛擬物體與現(xiàn)實(shí)物體的融合更逼真、自然。同時(shí)，還可進(jìn)一步提升AR測(cè)距應(yīng)用的準(zhǔn)確性；

位置錨定：基于Apple Maps數(shù)據(jù)，可將高分辨率AR內(nèi)容（LBS AR）持續(xù)固定在現(xiàn)實(shí)場(chǎng)景/位置，例如一個(gè)著名景區(qū)，通過(guò)位置錨定即可為AR虛擬物體加上經(jīng)緯度、海拔等信息，從而與地理位置永久性的融合。

此前，ARKit 2已經(jīng)支持持久性AR，與位置錨定不同的是，持久性AR基于保存與加載地圖特性，利用了視覺(jué)定位，而沒(méi)有結(jié)合地圖GPS數(shù)據(jù)。

視頻紋理：可將視頻紋理添加到RealityKit場(chǎng)景中任意部分，讓物理對(duì)象、表面、人物看起來(lái)更生動(dòng)。

面部追蹤擴(kuò)展：支持使用A12 Bionic及更新芯片的設(shè)備，但在特定的設(shè)備上，面部識(shí)別功能依然受限，比如iPhone SE僅支持單用戶追蹤，而具備原深感相機(jī)TureDepth的設(shè)備可同時(shí)識(shí)別追蹤三個(gè)人臉信息。

ARKit 5（iOS 15）

在WWDC 2021期間，蘋果低調(diào)更新了ARKit 5，同時(shí)也推出了RealityKit 2。

ARKit 5新功能主要有四點(diǎn)：1，位置錨定支持更多地區(qū)；2，人臉追蹤功能升級(jí)（支持更多A12芯片設(shè)備，在配備深感相機(jī)設(shè)備中，支持3人面部追蹤）；3，改進(jìn)運(yùn)動(dòng)追蹤；4，AR綁定App Clip Code二維碼。

而RealityKit 2新功能則包括：1，3D掃描（Object Capture API）；2，自定義著色器；3，動(dòng)態(tài)加載方式；4，系統(tǒng)模塊定制；5，虛擬角色控制器。

Object Capture API是RealityKit 2的一大亮點(diǎn)，該功能旨在統(tǒng)一、簡(jiǎn)化3D掃描和建模的流程，同時(shí)更加充分利用LiDAR能力。據(jù)稱，該API可在幾分鐘內(nèi)輸出USDZ格式的高質(zhì)量3D模型，支持AR快速預(yù)覽，也可以導(dǎo)入Reality Composer等其他工具。

ARKit 6（iOS 16）

在WWDC 2022期間，蘋果依舊低調(diào)更新ARKit 6，本次更新的重磅功能包括：4K分辨率，HDR錄制，實(shí)時(shí)調(diào)節(jié)相機(jī)曝光、白平衡等參數(shù)，這些功能對(duì)VST透視AR體驗(yàn)相當(dāng)重要，未來(lái)能否應(yīng)用于蘋果MR頭顯則令人期待。此外，還加入了前攝+后攝融合玩法，可通過(guò)前攝捕捉人臉，然后基于后攝拍攝背景，實(shí)現(xiàn)一些另類的玩法和交互。

現(xiàn)有的功能也得到優(yōu)化：改進(jìn)了運(yùn)動(dòng)追蹤，現(xiàn)支持識(shí)別左右耳朵，優(yōu)化了姿態(tài)檢測(cè)功能，可以自動(dòng)估算好拍攝場(chǎng)景中物體的大小，并實(shí)現(xiàn)穩(wěn)定的追蹤效果，提高3D物體檢測(cè)的魯棒性。

ARKit 6依然只是小幅更新，一方面是因?yàn)樵摷夹g(shù)本身已經(jīng)領(lǐng)先競(jìng)爭(zhēng)對(duì)手，另一方面，按照蘋果的設(shè)計(jì)思路，軟件方面新功能大概率需更強(qiáng)大的硬件做支撐。

4K分辨率、HDR錄制可為視頻拍攝和分享、電影制作等場(chǎng)景帶來(lái)價(jià)值，與此同時(shí)，也可以實(shí)現(xiàn)更好的VST混合現(xiàn)實(shí)效果。以往在談到移動(dòng)AR時(shí)，更多關(guān)注的是3D AR內(nèi)容的清晰度、逼真度，以及與物理場(chǎng)景的自然交互/融合。而實(shí)際上，移動(dòng)ARden視頻背景清晰度也同樣重要，對(duì)于VST頭顯來(lái)講更是如此，清晰的視頻透視可減少長(zhǎng)時(shí)間體驗(yàn)的視覺(jué)疲勞。此外，ARKit 6帶來(lái)的實(shí)時(shí)調(diào)節(jié)相機(jī)曝光、白平衡、對(duì)焦功能，對(duì)于沉浸式AR體驗(yàn)也很重要，比如可以把現(xiàn)實(shí)場(chǎng)景調(diào)暗等等操作。

甚至，如果還可以設(shè)置不同的焦點(diǎn)切換（這一點(diǎn)暫時(shí)沒(méi)有明確），還能基于此實(shí)現(xiàn)引導(dǎo)注意力轉(zhuǎn)移等玩法，對(duì)MR游戲的虛實(shí)融合類交互幫助很大，想象空間很大。

蘋果還發(fā)布了新的AR工具：RoomPlan API，特點(diǎn)是基于ARKit和Swift API，硬件基于LiDAR設(shè)備，可通過(guò)掃描房屋場(chǎng)景進(jìn)行3D規(guī)劃，適用于房地產(chǎn)、建筑、室內(nèi)設(shè)計(jì)、電子商務(wù)、酒店管理等行業(yè)。掃描后可導(dǎo)出USD或USDZ格式文件，文件中信息包括：房間中識(shí)別到的組件尺寸，家具類型等，并可在C4D、AutoCAD、Shapr3D等進(jìn)一步編輯。

至此，蘋果AR生態(tài)由5大套件組成：ARKit、RealityKit、RoomPlan、AR創(chuàng)作工具（Reality Composer、Reality Converter、Xcode和USDZ工具）和AR Quick Look。

在LBS AR、VPS領(lǐng)域，蘋果也有布局，但全新設(shè)計(jì)的蘋果地圖在全球覆蓋率上不如谷歌地圖。比如此前蘋果曾推出類似谷歌街景的Look Around功能，可實(shí)現(xiàn)基于VPS原理的AR導(dǎo)航等功能，但AR導(dǎo)航僅支持十幾個(gè)城市。

此外，蘋果在WWDC 2022上還推出了MapKit，允許開發(fā)者在AR應(yīng)用中調(diào)用原生地圖能力，推動(dòng)LBS AR應(yīng)用。

從ARKit的一次次更新中，一個(gè)重點(diǎn)是打通3D內(nèi)容格式（USDZ），另一方面則是利用LiDAR模組優(yōu)化AR性能。如無(wú)意外，蘋果未來(lái)的AR/VR頭顯也將支持大量的LiDAR功能和應(yīng)用。比如可以預(yù)見的是，圖像識(shí)別、文字語(yǔ)言翻譯、單位轉(zhuǎn)換、價(jià)格識(shí)別等基于攝像頭的玩法，未來(lái)很可能會(huì)作為MR/AR頭戴設(shè)備的基礎(chǔ)功能。

由此可見，ARKit打磨6-7年時(shí)間，蘋果借助現(xiàn)有硬件已經(jīng)支持相機(jī)動(dòng)態(tài)調(diào)焦，以及曝光、白平衡等參數(shù)調(diào)節(jié)。而且，在相機(jī)、視頻錄制上有明顯優(yōu)勢(shì)，顯然蘋果的VST方案上限可能會(huì)很高，就像是早年間的安卓手機(jī)和iPhone拍照的差別。接下來(lái)，蘋果要做的就是AR/VR頭顯端的內(nèi)容生態(tài)，這也直接影響著用戶對(duì)這款產(chǎn)品的關(guān)注程度。

責(zé)任編輯：Rex_25