智東西
作者 | 程茜
【資料圖】
編輯 | 心緣
智東西6月13日報道，今天，英國半導體IP龍頭Arm發布針對智能視覺應用設備的Arm智能視覺參考設計，該參考設計的硬件參考設計包括CPU、ISP、NPU、VPU處理器選項，以及將這些元件粘合在一起的子系統IP。其中，VPU、NPU由Arm中國合資公司安謀科技提供。
該智能視覺參考設計支持視覺芯片及系統設計，并支持靈活配置，能加速智能視覺系統的開發進程。
隨著算力的高速提升和模型演進，屬于人類的感知、思考和行動能力正逐漸向機器轉移，而機器系統必須通過視覺等感官理解周圍環境，做出相應的決策和行動。因此，智能視覺的廣泛應用正在加速。
同時，Arm開始組建智能視覺合作伙伴計劃，聯合芯片設計、軟件算法、系統集成的合作伙伴加速視覺系統開發。目前，該計劃已有十多家來自智能物聯網的芯片設計、系統集成、AI 算法、開發平臺等國內企業加入，包含百度飛槳、誠邁科技等。
一、人類感知思考能力向機器轉移，智能視覺呈現五大發展趨勢
人類的智慧體現在我們可以通過感知、思考和行動來改變世界，在這個過程中，人類會通過感官接收外界的信息和刺激，建立對世界的認知形成信息系統，進而人類通過思考加工和處理感知到的信息，形成理解和見解，這些見解會幫助人們解決問題、作出決策，這就是模型系統，也就是最終使人類能夠將感知和思考轉化為實際的行動，從而逐步改變自然和社會環境，推動科學技術的進步、文明的發展和社會的演變。
當下，隨著算力的高速提升和模型演進，屬于人類的感知、思考和行動能力正逐漸向機器轉移，Arm物聯網事業部業務拓展副總裁馬健認為，每一個能力轉移的拐點都將產生新范式，現在正是思考和模型構建從人類轉向機器的拐點。
她補充說，大模型的爆發使得模型產生的成本從邊際成本轉化為固定成本，這一拐點必將讓模型更加豐富，使其無處不在并加速下一個拐點到來，就是以機器人和自動駕駛等技術為代表的行動無處不在的時代。
與此同時，智能視覺將必不可少。其原因在于，機器系統必須通過視覺等感官理解周圍環境，做出相應的決策和行動。
機器視覺可以通過捕捉人類表情、手勢、動作理解人類的意圖和情感，模型優化可以基于智能視覺等感知技術，從現實生活中采集真實數據，從而形成更準確的模型。
目前，智能視覺技術在智慧家居、智慧城市、智能制造等領域的應用日益廣泛。如智能家居中的智慧攝像頭監測老年人日常生活、睡眠質量等，智慧城市中的城市安全健康、智能交通管理方面，以及零售方面通過智能攝像頭分析人流和行為，智能制造領域監測生產線等。
馬健談道，智能視覺系統正朝著以下幾個技術趨勢發展。
首先是云邊端協同，由于視頻數據的規模龐大，再加上自動駕駛等應用對實時性提出更高要求，因此智能視覺系統需要將計算和決策任務分布在云、邊和終端設備上，實現協同工作。
第二是AI加持，未來智能視覺系統將繼續依賴深度學習模型和神經網絡，提高圖像和視頻數據的分析和識別能力，并利用強化學習和自主自適應學習，使系統能夠從環境中不斷學習和改進，并適應新的場景和任務。
第三是智能視覺系統需要準確和高質量的圖像處理，以支持更高效的特征提取、目標跟蹤和檢測、圖像分析和理解以及圖像的生成和合成。
第四是算力支持，復雜的模型和算法、大規模圖像數據處理對實時性、高精度、高并發的要求，使得智能視覺系統需要越來越強大的計算資源和算力支持。
此外，智能視覺系統廣泛應用引發了對隱私和安全的關注，馬健認為，未來的趨勢是采用加密匿名化等技術手段保護用戶的隱私，同時加強系統的安全性，防止被惡意攻擊和濫用。
二、與安謀科技IP結合，提供CPU、ISP、NPU、VPU選項
Arm發布集Arm與安謀科技IP于一體的智能視覺參考設計，該方案的硬件參考設計包括CPU、ISP、NPU、VPU處理器選項，以及將這些元件粘合在一起的子系統IP。其中，VPU、NPU由安謀科技提供。
馬健談道，這是Arm首次將IP和安謀科技的IP相結合，并由安謀科技預先集成、預先驗證。
Arm智能視覺參考設計的主要組成部分包括Arm Corstone-1000和Arm Corstone-300。Corstone是一套預先經過集成，并被驗證的系統，這也是Arm物聯網解決方案的根基。Corstone子系統可以加速芯片產品的流片和量產。
其中，Arm Corstone-1000整合Cortex-A、Cortex-M處理器與內建安全性，為不同應用在受限的功耗范圍內提供效率及高性能。Arm Corstone-300作為低功耗子系統，能降低邊緣設備功耗，提高系統效率。
此外，參考設計中的ISP是Arm Mali-C55圖像信號處理器，馬健稱，這是Arm迄今為止面積最小、功耗最低且可配置性最高的ISP產品。并且，Mali-C55提供的圖像質量功能，可以支持設備在各種不同的照明和天氣條件下工作。
“玲瓏”VPU作為編解碼融合、靈活可配置、可編程的多核視頻處理器，支持緊湊的、多格式且高效能的視頻編解碼處理，同時兼容Arm架構。
安謀科技智能物聯及汽車業務線負責人趙永超說，目前安謀科技已經完成兩代產品研發，增加了支持格式，提升了編碼質量。
“玲瓏”VPU支持軟件可編程，因此硬件量產后客戶仍可以進行優化迭代，并根據其需求進行升級。再加上AFBC的支持，“玲瓏”VPU可以降低35%的系統帶寬。
周易NPU可以為廣泛的機器學習用例提供高達4TOPS的性能表現，并且支持業界主流的AI規模框架，例如TensorFlow、Caffe、ONNX、PyTorch等。趙永超透露，目前，周易NPU已經在多家客戶落地量產，產品應用涵蓋汽車智能座艙、自動駕駛、智能物聯網、安防監控等多個行業。
三、發起合作伙伴計劃，已有10余家企業加入
發布智能視覺參考設計同時，Arm發起智能視覺合作伙伴計劃，聯合AI視覺、芯片設計、軟件算法和系統集成的行業伙伴，基于Arm架構打造智能視覺應用生態。
馬健談道，生態合作伙伴加持能加速視覺、硬件、軟件和系統的開發。
Arm智能視覺參考設計的目標受眾是邊緣AI領域的創企、跨界創新公司或者系統進行垂直整合的系統公司。但這些公司的研發團隊往往不能涉及所有芯片架構、前端、后端等，因此其第一顆芯片研發往往需要借力芯片設計公司。
她補充說，基于Arm發起的生態計劃，芯片設計服務企業可以熟悉Arm參考設計，并在此基礎上快速流片。
同時，Arm智能視覺參考設計包含了云原生開源視覺軟件堆棧，但馬健透露，該軟件棧距離面向不同視覺市場的量產軟件還存在差距，這需要在智能視覺領域具有軟件開發經驗的企業去幫助客戶整合、調優等，以達到量產水平。
目前已有十多家來自智能物聯網的芯片設計、系統集成、AI 算法、開發平臺等國內企業均已加入該項計劃。其中，百度飛槳已經實現了基于飛槳的視覺模型庫和Arm虛擬硬件的整合適配。
結語：從參考設計到伙伴計劃，加速智能視覺應用普及
當下，隨著大模型的發展加速，智能視覺技術也將在更多的垂直行業中得到更廣泛應用。視覺能力未來或許會對人機交互產生變革，正如馬健提到的，未來聊天機器人或許不僅需要高智商，更需要高情商，視覺能力的加持能幫助AI理解人類的意圖和情感，從而改善AI與人類的溝通和合作。
在這一背景下，Arm基于其在智能物聯網領域的積累與技術優勢，打造了智能視覺參考設計，并發起構建智能視覺生態系統，為更多企業加速視覺產品設計，并產生更多新想法提供了一個平臺。
責任編輯：Rex_13
營業執照公示信息