本周觀點
1.1 英偉達:以Omniverse為核心的的具身智能路徑
英偉達選擇具身智能路徑,特點是從邊緣向云端開發,主要產品為VIMA機械臂和Isaac AMR移動機器人平臺。英偉達在ITF2023發布基于VIMA大模型的機器臂,據英偉達介紹,VIMA能夠理解、推理物理世界并與物理世界互動,例如根據視覺、文本提示移動、排列物體,VIMA還可以運行在Omniverse模擬物理學并做出符合物理定律的預測。Isaac AMR 是一個用于模擬、驗證、部署、優化和管理自主移動機器人車隊的平臺,包含了邊緣到云的軟件服務、計算以及一套參考傳感器和機器人硬件,通過連接 DeepMap 的云服務,加速大型環境的測繪和語義理解,在無需資深技術團隊的情況下,將機器人對大型設施的測繪時間從數周縮短到數天,并實現厘米級精度。它可以生成豐富的 3D 體素地圖,并用它們為多種類型的 AMR 創建占用地圖和語義地圖。
(資料圖)
具身智能是指大模型模仿人腦工作方式來訓練算法,并進行自我理解、自我優化最終實現像人類一樣的學習、成長。英偉達VIMA支持文本、視覺、語音等多模態作為機器人的任務輸入,通過包含仿真基準測試、60多萬個專家軌跡、多種級別評估協議等系統化的泛化測試作為目標輸出集合;使用預先訓練的 T5 模型對多模態提示進行編碼,并通過交叉注意力層在提示上對機器人控制器進行調節,預測以提示和交互歷史為條件的電機命令作為預測輸出集合;通過模型預測輸出和目標輸出進行比較和自我優化驅動VIMA自主學習,在最難的零樣本泛化訓練任務中,VIMA的任務成功率比之前的最優方法提高了最多2.9倍,而使用10倍較少訓練數據,VIMA的性能仍然比頂級競爭方法提高了2.7倍。
具身智能最核心的競爭力是真實世界數據集,英偉達Omniverse是行業高標。具身智能訓練需要特殊的數據集,以VIMA機械臂為例,需要以下數據:
1)多模態任務集:17個元任務,每個元任務還可以拆分成1000個單獨任務,包括語義理解、視覺分割等各類多模態任務
2)成功案例:英偉達準備了650K個成功軌跡
3)獎勵基準:建立VIMA-Bench使用概率論的方法合理評估任務AI預測結果,并給予AI正確反饋
英偉達Omnivers是全球領先的數字孿生平臺,包含 Nucleus、Connect、Kit、Simulation 和 RTX 渲染器五個重要組成部分,這些部分以及可互操作的第三方數字內容創作 (DCC) 工具和渲染器,加上由第三方和 NVIDIA 構建的擴展程序、應用和微服務組成了完整的 Omniverse 生態系統。通過USD等真實世界數據集,可以做到數字孿生精準符合物理定律、物體運動反應精準且與顯示同步等特性,這些真實世界數據是英偉達具身智能能夠落地的重要基礎。
英偉達邊緣AI自下而上突破的具身智能路徑已經打通,結合云計算可以在邊緣AI從開發到部署的各個環節提供豐富技術支持。NVIDIA 選擇微軟Azure作為Omniverse Cloud的首家云服務商。微軟 Azure 將能支持企業在享有 Azure 云服務的規模分析特性與安全性的同時,訪問全套Omniverse軟件應用及NVIDIA OVX?計算系統,為客戶提供了一套可用于設計、開發、部署和管理工業元宇宙應用的全棧式云環境和平臺功能,連接并使用NVIDIA合作伙伴生態系統的相關產品,如英偉達認證工作站、邊緣計算模塊等。
NVIDIA Isaac是專為機器人開發和AI打造的加速平臺,AMR移動機器人平臺率先落地。英偉達Isaac平臺從預訓練模型開始,通過Isaac Replicator 中生成的合成數據進行增強,并使用 NVIDIA TAO 進行訓練,從而實現目標性能;利用本地和云端提供的NVIDIA Isaac Sim創建物理精準的逼真環境,以開發和測試與機器人運行相關的各個方面;利用Nova Ori節省時間,并使用硬件加速 SDK 將 AI 帶入到基于NVIDIA Jetson的機器人,例如用于基于ROS的機器人的Isaac ROS GEM、用于視頻流解析的NVIDIA DeepStream SDK、用于自然語言處理的NVIDIA Riva;通過EGX Fleet Command 和 Isaac for AMR(包括 Metropolis、CuOpt 和 DeepMap)管理機器人編隊以優化生產力。Isaac AMR 是用于模擬、驗證、部署、優化和管理自主移動機器人車隊的平臺,包含了邊緣到云的數字孿生訓練、軟件服務、計算以及一套參考傳感器和機器人硬件,可加快 AMR 的開發和部署速度,減少成本和縮短產品上市時間。
Isaac AMR 建立在 NVIDIA Nova Orin 參考架構的基礎。Nova Orin包括立體相機、魚眼相機、2D 和 3D 激光雷達在內的多個傳感器與系統模塊集成在一起,支持先進的AI 和硬件加速算法,提供 275TOPS 的實時邊緣計算性能。同步和校準的傳感器套件為實時三維感知和繪圖提供了傳感器的多樣性和冗余性。用于記錄、上傳和重放的云原生工具使調試、地圖創建、訓練和分析變得容易。
1.2 高通:云邊一體的混合AI路徑
高通提出云邊一體的混合AI路徑,深度開發邊緣AI,云端AI選擇與微軟等公司合作。據高通混合AI白皮書,在混合AI場景中,邊緣大模型是云端大模型的感知器官,例如用戶對手機說話,自動語音識別(ASR)AI模型如Whisper在設備上轉換語音為文本,發送到云端,云端運行大模型,回發文本答案。在進階版本中,設備AI更進一步保護隱私,承擔更多處理,提供更個性化的提示給云:通過設備學習和個人數據,設備創建用戶個人形象,與調度程序協作,基于上下文提供更好的提示;例如,用戶要求手機預約和朋友在最愛餐廳吃飯,對簡單查詢,較小的大模型可在設備上運行無需云交互,如果用戶需要復雜信息,則本地將需求轉化為提示發給云端大模型并返回詳細答案。
據高通混合AI白皮書,混合AI主要有以下優點:
1)經濟性:降低云端推理成本、高效利用邊緣算力、降低AI應用開發門檻;
2)能耗低:邊緣設備可以以較低能耗運行大模型,若考慮處理和數據傳輸等因素,能耗節約更加顯著;
3)可靠性:邊緣AI不受網絡狀況影響,運行更加穩定;
4)隱私性:數據完全在本地推理,大幅降低泄密風險;
5)個性化:邊緣設備可以搜集用戶真實生活中的行為、價值觀、痛點、需求、關注問題等信息形成定制化服務。
軟件端:高通AI開發棧已經發布。高通AI開發棧支持主流AI框架,如TensorFlow、PyTorch、ONNX和Keras,以及TensorFlow Lite、TensorFlow Lite Micro、ONNX runtime等運行時。此外,它還包括推理軟件開發工具包(SDK),如備受歡迎的Qualcomm?神經處理SDK(適用于Android、Linux和Windows)。開發人員庫和服務支持最新的編程語言、虛擬平臺和編譯器。在較低的層次上,高通AI開發棧系統軟件包括基本的實時操作系統(RTOS)、系統接口和驅動程序。高通AI開發棧在不同的產品線上提供豐富多樣的操作系統支持,包括Android、Windows、Linux和QNX,以及Prometheus、Kubernetes和Docker等部署和監控基礎設施高通AI開發棧還包括AI Studio,支持從設計到優化、部署和分析的完整大模型工作流,將所有工具整合到一個圖形用戶界面中,并提供可視化工具,簡化開發人員的體驗,使他們能夠實時查看模型開發情況,包括AI模型效率工具包(AIMET)、AIMET模型倉庫、模型分析器和神經架構搜索(NAS)。
硬件端:高通Hexagon Processor核心。高通Hexagon Processor采用全新的架構以及專用的供電系統,在AI推理方面增加了特殊的硬件來改善組卷積、激活函數加速,并將張量加速器的性能提升一倍,采用獨特的方法將復雜的AI模型分解為微塊(Micro Tile)以加速推理過程,標量、向量和張量加速器可以同時工作,無需每次都涉及內存,從而節省功耗和時間。此外還通過物理橋梁實現了與Hexagon的無縫多IP通信。這種連接可以驅動高帶寬和低延遲的用例,例如認知ISP或在游戲場景中提高低分辨率。高通Hexagon Processor成功地將多個深度學習模型從FP32轉換為INT4,最高降低60%能耗同時增長90%性能。
高通已有Stable diffusion模型落地案例,未來大模型AI邊緣部署規劃清晰。2023年2月,高通利用高通AI軟件棧(Qualcomm AI Stack)執行全棧AI優化,首次在Android智能手機上部署Stable Diffusion。2023年5月,高通發布混合AI白皮書,預計2023年邊緣AI覆蓋10億參數以下的各類模型。
1.3 中科創達:大模型+大平臺的軟硬一體化發展
2023年5月18日,中科創達發布Rubik大模型,是國內首個邊緣AI終端統一操作系統的雛形,同時中科創達還與亞馬遜云科技共同成立人工智能聯合創新實驗室,并展示了TurboX模組、智能音箱參考設計、Rubik GeniusCanvas等一系列創達魔方產品。據公司2022年報,公司自成立以來,一直在端側、邊緣側、云端技術進行沉淀和積累,目前已成為上述領域全球領先的技術廠商。此外,公司的機器人產品覆蓋了當下幾乎全部的機器人場景以及全球眾多機器人廠商。并且,公司與產業鏈的技術和產品的頭部企業保持深度的合作,構建了生態的卡位優勢。公司在邊緣AI的軟件端擁有大模型,硬件端深耕高通、亞馬遜等科技巨頭的生態,軟硬一體化的發展路徑極具潛力。
1.3.1 橫向看:中科創達Rubik圍繞現有業務構建AI生態
Rubik大模型系列核心產品為Rubik Language語言大模型,董事長預計2024年時將達到ChatGPT3.5水平。Rubik Edge、Rubik Multi-Modal以及預計2027年推出的Rubit Robot均將服務于智能手機和智能駕駛領域,提升人機交互體驗。與此同時,Rubik系列圍繞人機交互和現有業務搭建生態:RubikStudio、RubikAuto、RubikDevice和Rubik Enterprise。在擁有能力強大的大模型同時, 也會把大模型變成各種各樣的中小模型,以滿足各類場景和知識的拆分、提高與客戶的適配性。
與谷歌類似,中科創達Rubik大模型有望首先落地機器人。在眾多智能硬件產品中,中科創達的機器人產品可覆蓋各種不同的應用場景,并已助力全球眾多機器人廠商實現了產品的量產落地?;谠跈C器人領域的深厚積累,中科創達將智能音箱與機器人進行融合,并通過Rubik大模型的不斷訓練, 已經實現了能夠自由對話的智能銷售機器人,可以自主回答客戶關于企業及產品的各種問題。
1.3.2 縱向看:中科創達AI應用生態整裝待發
中科創達Smart to Intelligent戰略開啟,實現從智能應用為中心到模型驅動的機器與機器、機器與人交互的全新智能世界。Rubik大模型將與公司現有的智能汽車和物聯網業務整合,并通過私有化部署和系統調優來滿足各行業需求。公司有望通過大模型持續優化,將機器人變為現實,并在未來智能計算行業的toBtoC領域中發揮核心競爭優勢。
RUBIK Auto:汽車實質是一個機器人, 車廠對于汽車大模型主要有以下三類需求,第一是端側運行,端側的體驗、數據、性能是最好的,也是最能保護客戶隱私,但硬件需求更高;第二是私有云+Plugin,可以靈活調優;第三類是多種開放模型共存。公司的RUBIK Auto將支持客戶私有化部署(已經與海外頭部車廠合作,基于公司模型做POC研發)、也支持模型量化、剪裁,進而適配各類芯片,靈活與車廠對接。
RUBIK Device:在智能硬件中,只要涉及大計算的產品,創達的份額領先的智能硬件原來部署操作系統可以直接加入AI,一旦AI沉淀到邊緣側,意味著智能硬件變成機器人,就會形成場景的中心。無論是家庭的場景、樓宇的場景、工廠的場景都可以通過邊緣化部署使得等每一個場景都成為智能中心。
RUBIK Enterprise(企業版):中科創達的明顯優勢之一是國際化, 公司在全球15個國家和地區擁有研發中心和團隊。公司會通過本地化做部署,支持客戶的私有化部署;公司的明顯優勢之二是軟硬件一體,無論是推理還是訓練,公司對整個底層的平臺都非常了解,因為不管是AI框架,還是說開源的其它框架,本質上是操作系統里面的一部分,無論是數據并行,還是模型并行,公司認為都是一個個中間件。這些明顯的優勢,能夠讓我們最終把模型性能、效率做到最優,把模型的規模做到最佳,能夠在邊緣側運行起來,為千行百業賦能。
RUBIK Studio:基于公司對操作系統的深刻理解,公司把操作系統的每一段分化、模型化,積累過去幾千個成功發布的Package、幾千億行的代碼累積、以及長期開發的經驗積累,將安卓知識變成巨大知識庫,發揮巨大的價值,Rubik Studio將會是未來改變整個的一個大的工具和環境。用戶可以通過Rubik Studio直接將便捷快速地進行PC應用、手機應用、網站相對功能封閉的開發等。
1.4 蘋果:ChatGPT首先接入IOS,WWDC 2023值得期待
2023年5月18日,OpenAI發布IOS版ChatGPT APP(同時官宣安卓版APP正在開發中),根據蘋果官網,該應用僅支持英語,年齡分級為“12歲以上”,支持網絡同步聊天記錄、whisper語音輸入等功能。IOS版ChatGPT下載應用是免費的,但會提供APP內售價19.99美元的“ChatGPT Plus”付費項目以開啟性能更強的GPT4大模型使用權限。
ChatGPT APP有望演繹成手機超級APP的雛形,重塑以此為基礎的AI應用生態。據九派財經,IOS版ChatGPT APP已經擁有靈活解決各類日常問題的能力,ChatGPT APP可以提供即時答案,用戶無需篩選廣告或多個結果即可獲得準確的信息;提供量身定制的建議,用戶可以向其尋求有關烹飪、旅行計劃或制作深思熟慮信息的指導;提供創意靈感,為用戶生成禮物創意、概述演示文稿或寫出優美的詩歌。另外,ChatGPT APP還可以通過專業信息,如想法反饋、筆記摘要和技術主題等,幫助用戶提高工作效率,并為用戶提供學習機會,幫助其按照自己的節奏探索新語言、現代歷史等。我們認為,在ChatGPT+Plugin的AI應用生態成功落地的前提下,ChatGPT APP有望成為手機AI應用生態的核心,通過手機用戶海量交互數據的訓練,未來用戶有望通過ChatGPT APP調用其它應用完成各類剛需任務,ChatGPT APP將發展為前所未有的超級APP。
蘋果WWDC 2023的標語為“Code new worlds”,Siri作為重要人機交互入口有望成為蘋果切入AI的重要抓手。據IT之家、新智元、騰訊云,蘋果最晚于2023年2月開始開發讓用戶用 Siri 為MR制作程序的應用,這一應用程序構建方法背后的技術來自于蘋果在2017年收購的Fabric Software:用戶可以使用Siri來構建AR應用程序,要求AI助手幫助構建允許虛擬動物在房間內移動,在真實物體之上或周圍移動,而無需從零開始設計動物,編程動畫,并計算其在有障礙物的3D空間中的移動的應用程序,這包括“掃描并將真實世界的對象導入頭顯,以便它們可以在3D中準確表示,并如同存在于現實生活中一樣表現”。
1.5 華為:IEF+高斯數據庫全面覆蓋邊緣AI場景
華為智能邊緣平臺IEF是基于云原生技術構建的邊云協同操作系統,可運行在大量異構邊緣設備上,并以輕量化的方式將豐富的AI、數據分析、中間件等應用從云端部署到邊緣,滿足用戶對智能應用邊云協同的業務訴求。IEF具有可以將華為云AI/大數據的能力延伸到邊緣,支持視頻智能分析、文字識別、圖像識別、大數據流處理等能力,就近提供實時智能邊緣服務;支持容器和函數兩種運行方式,滿足用戶輕量化應用管理的訴求;原生支持kubernetes與docker生態,應用快速啟動、快速升級;支持Python、NodeJS等函數引擎,快速響應邊緣的事件;此外還有兼容性優、安全可靠等特點。
華為高斯數據庫是華為基于openGaussDB自研生態推出的企業級分布式關系型數據庫,具備企業級復雜事務混合負載能力,支持分布式事務強一致,同城跨AZ部署,數據0丟失,支持1000+擴展能力,PB級海量存儲。同時擁有云上高可用,高可靠,高安全,彈性伸縮,一鍵部署,快速備份恢復,監控告警等關鍵能力,能為企業提供功能全面,穩定可靠,擴展性強,性能優越的企業級數據庫服務。2023年6月7日,華為高斯將召開數據庫加速金融核心業務升級發布會。
投資建議:AI從云到邊的大趨勢確立,我們前期判斷得到持續驗證:邊緣AI是產業趨勢,具身智能是內在邏輯(AI自我提升需要人與環境的交互數據集中在終端),機器人是終極應用。我們于2023年5月13日發布報告《中科創達:大模型從云到邊,終端交互革命孕育歷史機遇》中明確提出谷歌大力進軍終端大模型市場,終端AI成為下一個兵家必爭之地;隨后在5月14日發布《谷歌的“帝國反擊戰”:AI從云到邊的拐點》詳細闡述谷歌的從云到邊的AI藍圖,明確提出AI邊緣部署已經走進現實;通過發布IOS版ChatGPT、Windows+AI等AI體驗報告,我們于5月21日發布《ChatGPT APP標志AI行情新階段》,明確提出大模型作為AI時代的終極操作系統,ChatGPT超級APP只是第一步,生成式AI由云向端的邁進仍在加速。本周,英偉達、高通、中科創達等公司都發布相關產品加快邊緣AI落地速度,下周華為、蘋果發布會預計終端AI均是核心看點,AI從云到邊的大趨勢已經無比明確,建議關注中科創達、科大訊飛、螢石網絡等龍頭企業。
來源:券商研報精選
責任編輯:Rex_05