智東西
作者 | 程茜
【資料圖】
編輯 | 心緣
智東西6月13日報(bào)道，今天，英國半導(dǎo)體IP龍頭Arm發(fā)布針對智能視覺應(yīng)用設(shè)備的Arm智能視覺參考設(shè)計(jì)，該參考設(shè)計(jì)的硬件參考設(shè)計(jì)包括CPU、ISP、NPU、VPU處理器選項(xiàng)，以及將這些元件粘合在一起的子系統(tǒng)IP。其中，VPU、NPU由Arm中國合資公司安謀科技提供。
該智能視覺參考設(shè)計(jì)支持視覺芯片及系統(tǒng)設(shè)計(jì)，并支持靈活配置，能加速智能視覺系統(tǒng)的開發(fā)進(jìn)程。
隨著算力的高速提升和模型演進(jìn)，屬于人類的感知、思考和行動(dòng)能力正逐漸向機(jī)器轉(zhuǎn)移，而機(jī)器系統(tǒng)必須通過視覺等感官理解周圍環(huán)境，做出相應(yīng)的決策和行動(dòng)。因此，智能視覺的廣泛應(yīng)用正在加速。
同時(shí)，Arm開始組建智能視覺合作伙伴計(jì)劃，聯(lián)合芯片設(shè)計(jì)、軟件算法、系統(tǒng)集成的合作伙伴加速視覺系統(tǒng)開發(fā)。目前，該計(jì)劃已有十多家來自智能物聯(lián)網(wǎng)的芯片設(shè)計(jì)、系統(tǒng)集成、AI 算法、開發(fā)平臺(tái)等國內(nèi)企業(yè)加入，包含百度飛槳、誠邁科技等。
一、人類感知思考能力向機(jī)器轉(zhuǎn)移，智能視覺呈現(xiàn)五大發(fā)展趨勢
人類的智慧體現(xiàn)在我們可以通過感知、思考和行動(dòng)來改變世界，在這個(gè)過程中，人類會(huì)通過感官接收外界的信息和刺激，建立對世界的認(rèn)知形成信息系統(tǒng)，進(jìn)而人類通過思考加工和處理感知到的信息，形成理解和見解，這些見解會(huì)幫助人們解決問題、作出決策，這就是模型系統(tǒng)，也就是最終使人類能夠?qū)⒏兄退伎嫁D(zhuǎn)化為實(shí)際的行動(dòng)，從而逐步改變自然和社會(huì)環(huán)境，推動(dòng)科學(xué)技術(shù)的進(jìn)步、文明的發(fā)展和社會(huì)的演變。
當(dāng)下，隨著算力的高速提升和模型演進(jìn)，屬于人類的感知、思考和行動(dòng)能力正逐漸向機(jī)器轉(zhuǎn)移，Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健認(rèn)為，每一個(gè)能力轉(zhuǎn)移的拐點(diǎn)都將產(chǎn)生新范式，現(xiàn)在正是思考和模型構(gòu)建從人類轉(zhuǎn)向機(jī)器的拐點(diǎn)。
她補(bǔ)充說，大模型的爆發(fā)使得模型產(chǎn)生的成本從邊際成本轉(zhuǎn)化為固定成本，這一拐點(diǎn)必將讓模型更加豐富，使其無處不在并加速下一個(gè)拐點(diǎn)到來，就是以機(jī)器人和自動(dòng)駕駛等技術(shù)為代表的行動(dòng)無處不在的時(shí)代。
與此同時(shí)，智能視覺將必不可少。其原因在于，機(jī)器系統(tǒng)必須通過視覺等感官理解周圍環(huán)境，做出相應(yīng)的決策和行動(dòng)。
機(jī)器視覺可以通過捕捉人類表情、手勢、動(dòng)作理解人類的意圖和情感，模型優(yōu)化可以基于智能視覺等感知技術(shù)，從現(xiàn)實(shí)生活中采集真實(shí)數(shù)據(jù)，從而形成更準(zhǔn)確的模型。
目前，智能視覺技術(shù)在智慧家居、智慧城市、智能制造等領(lǐng)域的應(yīng)用日益廣泛。如智能家居中的智慧攝像頭監(jiān)測老年人日常生活、睡眠質(zhì)量等，智慧城市中的城市安全健康、智能交通管理方面，以及零售方面通過智能攝像頭分析人流和行為，智能制造領(lǐng)域監(jiān)測生產(chǎn)線等。
馬健談道，智能視覺系統(tǒng)正朝著以下幾個(gè)技術(shù)趨勢發(fā)展。
首先是云邊端協(xié)同，由于視頻數(shù)據(jù)的規(guī)模龐大，再加上自動(dòng)駕駛等應(yīng)用對實(shí)時(shí)性提出更高要求，因此智能視覺系統(tǒng)需要將計(jì)算和決策任務(wù)分布在云、邊和終端設(shè)備上，實(shí)現(xiàn)協(xié)同工作。
第二是AI加持，未來智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，提高圖像和視頻數(shù)據(jù)的分析和識別能力，并利用強(qiáng)化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場景和任務(wù)。
第三是智能視覺系統(tǒng)需要準(zhǔn)確和高質(zhì)量的圖像處理，以支持更高效的特征提取、目標(biāo)跟蹤和檢測、圖像分析和理解以及圖像的生成和合成。
第四是算力支持，復(fù)雜的模型和算法、大規(guī)模圖像數(shù)據(jù)處理對實(shí)時(shí)性、高精度、高并發(fā)的要求，使得智能視覺系統(tǒng)需要越來越強(qiáng)大的計(jì)算資源和算力支持。
此外，智能視覺系統(tǒng)廣泛應(yīng)用引發(fā)了對隱私和安全的關(guān)注，馬健認(rèn)為，未來的趨勢是采用加密匿名化等技術(shù)手段保護(hù)用戶的隱私，同時(shí)加強(qiáng)系統(tǒng)的安全性，防止被惡意攻擊和濫用。
二、與安謀科技IP結(jié)合，提供CPU、ISP、NPU、VPU選項(xiàng)
Arm發(fā)布集Arm與安謀科技IP于一體的智能視覺參考設(shè)計(jì)，該方案的硬件參考設(shè)計(jì)包括CPU、ISP、NPU、VPU處理器選項(xiàng)，以及將這些元件粘合在一起的子系統(tǒng)IP。其中，VPU、NPU由安謀科技提供。
馬健談道，這是Arm首次將IP和安謀科技的IP相結(jié)合，并由安謀科技預(yù)先集成、預(yù)先驗(yàn)證。
Arm智能視覺參考設(shè)計(jì)的主要組成部分包括Arm Corstone-1000和Arm Corstone-300。Corstone是一套預(yù)先經(jīng)過集成，并被驗(yàn)證的系統(tǒng)，這也是Arm物聯(lián)網(wǎng)解決方案的根基。Corstone子系統(tǒng)可以加速芯片產(chǎn)品的流片和量產(chǎn)。
其中，Arm Corstone-1000整合Cortex-A、Cortex-M處理器與內(nèi)建安全性，為不同應(yīng)用在受限的功耗范圍內(nèi)提供效率及高性能。Arm Corstone-300作為低功耗子系統(tǒng)，能降低邊緣設(shè)備功耗，提高系統(tǒng)效率。
此外，參考設(shè)計(jì)中的ISP是Arm Mali-C55圖像信號處理器，馬健稱，這是Arm迄今為止面積最小、功耗最低且可配置性最高的ISP產(chǎn)品。并且，Mali-C55提供的圖像質(zhì)量功能，可以支持設(shè)備在各種不同的照明和天氣條件下工作。
“玲瓏”VPU作為編解碼融合、靈活可配置、可編程的多核視頻處理器，支持緊湊的、多格式且高效能的視頻編解碼處理，同時(shí)兼容Arm架構(gòu)。
安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超說，目前安謀科技已經(jīng)完成兩代產(chǎn)品研發(fā)，增加了支持格式，提升了編碼質(zhì)量。
“玲瓏”VPU支持軟件可編程，因此硬件量產(chǎn)后客戶仍可以進(jìn)行優(yōu)化迭代，并根據(jù)其需求進(jìn)行升級。再加上AFBC的支持，“玲瓏”VPU可以降低35%的系統(tǒng)帶寬。
周易NPU可以為廣泛的機(jī)器學(xué)習(xí)用例提供高達(dá)4TOPS的性能表現(xiàn)，并且支持業(yè)界主流的AI規(guī)模框架，例如TensorFlow、Caffe、ONNX、PyTorch等。趙永超透露，目前，周易NPU已經(jīng)在多家客戶落地量產(chǎn)，產(chǎn)品應(yīng)用涵蓋汽車智能座艙、自動(dòng)駕駛、智能物聯(lián)網(wǎng)、安防監(jiān)控等多個(gè)行業(yè)。
三、發(fā)起合作伙伴計(jì)劃，已有10余家企業(yè)加入
發(fā)布智能視覺參考設(shè)計(jì)同時(shí)，Arm發(fā)起智能視覺合作伙伴計(jì)劃，聯(lián)合AI視覺、芯片設(shè)計(jì)、軟件算法和系統(tǒng)集成的行業(yè)伙伴，基于Arm架構(gòu)打造智能視覺應(yīng)用生態(tài)。
馬健談道，生態(tài)合作伙伴加持能加速視覺、硬件、軟件和系統(tǒng)的開發(fā)。
Arm智能視覺參考設(shè)計(jì)的目標(biāo)受眾是邊緣AI領(lǐng)域的創(chuàng)企、跨界創(chuàng)新公司或者系統(tǒng)進(jìn)行垂直整合的系統(tǒng)公司。但這些公司的研發(fā)團(tuán)隊(duì)往往不能涉及所有芯片架構(gòu)、前端、后端等，因此其第一顆芯片研發(fā)往往需要借力芯片設(shè)計(jì)公司。
她補(bǔ)充說，基于Arm發(fā)起的生態(tài)計(jì)劃，芯片設(shè)計(jì)服務(wù)企業(yè)可以熟悉Arm參考設(shè)計(jì)，并在此基礎(chǔ)上快速流片。
同時(shí)，Arm智能視覺參考設(shè)計(jì)包含了云原生開源視覺軟件堆棧，但馬健透露，該軟件棧距離面向不同視覺市場的量產(chǎn)軟件還存在差距，這需要在智能視覺領(lǐng)域具有軟件開發(fā)經(jīng)驗(yàn)的企業(yè)去幫助客戶整合、調(diào)優(yōu)等，以達(dá)到量產(chǎn)水平。
目前已有十多家來自智能物聯(lián)網(wǎng)的芯片設(shè)計(jì)、系統(tǒng)集成、AI 算法、開發(fā)平臺(tái)等國內(nèi)企業(yè)均已加入該項(xiàng)計(jì)劃。其中，百度飛槳已經(jīng)實(shí)現(xiàn)了基于飛槳的視覺模型庫和Arm虛擬硬件的整合適配。
結(jié)語：從參考設(shè)計(jì)到伙伴計(jì)劃，加速智能視覺應(yīng)用普及
當(dāng)下，隨著大模型的發(fā)展加速，智能視覺技術(shù)也將在更多的垂直行業(yè)中得到更廣泛應(yīng)用。視覺能力未來或許會(huì)對人機(jī)交互產(chǎn)生變革，正如馬健提到的，未來聊天機(jī)器人或許不僅需要高智商，更需要高情商，視覺能力的加持能幫助AI理解人類的意圖和情感，從而改善AI與人類的溝通和合作。
在這一背景下，Arm基于其在智能物聯(lián)網(wǎng)領(lǐng)域的積累與技術(shù)優(yōu)勢，打造了智能視覺參考設(shè)計(jì)，并發(fā)起構(gòu)建智能視覺生態(tài)系統(tǒng)，為更多企業(yè)加速視覺產(chǎn)品設(shè)計(jì)，并產(chǎn)生更多新想法提供了一個(gè)平臺(tái)。
責(zé)任編輯：Rex_13
營業(yè)執(zhí)照公示信息