中科院自動(dòng)化所: 正在打造“紫東太初”2.0全模態(tài)大模型|全球播報(bào)

(資料圖片僅供參考)

【環(huán)球網(wǎng)科技綜合報(bào)道】近日，中國(guó)科學(xué)院自動(dòng)化研究所“紫東太初”大模型研究中心常務(wù)副主任、武漢人工智能研究院院長(zhǎng)王金橋研究員介紹，基于華為全棧國(guó)產(chǎn)化軟硬件平臺(tái)昇騰AI與開源AI框架昇思MindSpore，中國(guó)科學(xué)院自動(dòng)化研究所和武漢人工智能研究院正在聯(lián)合打造 “紫東太初”2.0全模態(tài)大模型，可實(shí)現(xiàn)文本、圖片、語(yǔ)音、視頻、3D點(diǎn)云、傳感信號(hào)等不同模態(tài)的統(tǒng)一表征和學(xué)習(xí)，助推通用人工智能時(shí)代加速到來(lái)。

據(jù)悉，2019年開始，自動(dòng)化所在語(yǔ)音、文本、圖像等單模態(tài)大模型研究和應(yīng)用基礎(chǔ)上，瞄準(zhǔn)多模態(tài)大模型領(lǐng)域開始聯(lián)合攻關(guān)，并于2021年7月正式發(fā)布了全球首個(gè)千億參數(shù)多模態(tài)大模型“紫東太初”，以多模態(tài)技術(shù)探索通用人工智能發(fā)展道路。

區(qū)別于當(dāng)前以文本為主的大部分語(yǔ)言大模型，“紫東太初”大模型在研發(fā)之初即堅(jiān)持以多模態(tài)技術(shù)為核心，利用圖-音-文等更多類型數(shù)據(jù)進(jìn)行跨模態(tài)的統(tǒng)一表征和學(xué)習(xí)，實(shí)現(xiàn)了圖像、文本、語(yǔ)音三模態(tài)數(shù)據(jù)間的“統(tǒng)一表示”與“相互生成”，使人工智能大模型的理解和生成能力更加接近人類，為貫通多模態(tài)人工智能行業(yè)應(yīng)用提供了創(chuàng)新基礎(chǔ)，向通用人工智能邁出關(guān)鍵一步。

在“紫東太初”1.0應(yīng)用推廣過(guò)程中，除了需要處理海量語(yǔ)音、圖像和文本等互聯(lián)網(wǎng)信息外，更需要處理多種傳感器、3D點(diǎn)云及視頻等物聯(lián)網(wǎng)海量數(shù)據(jù)，才能滿足現(xiàn)實(shí)生產(chǎn)力的提高。針對(duì)數(shù)字物聯(lián)時(shí)代的新需求與新趨勢(shì)，中科院自動(dòng)化研究所研究探索全模態(tài)大模型體系架構(gòu)和基礎(chǔ)算法，持續(xù)推動(dòng)“紫東太初”技術(shù)和應(yīng)用發(fā)展。

在文本、圖片、音頻、視頻的基礎(chǔ)上，“紫東太初” 2.0可融入3D、視頻、傳感信號(hào)等更多模態(tài)數(shù)據(jù)，并優(yōu)化語(yǔ)音、視頻和文本的融合認(rèn)知以及常識(shí)計(jì)算等功能，進(jìn)一步突破感知、認(rèn)知和決策的交互屏障，讓人工智能從感知世界進(jìn)化為認(rèn)知世界。

責(zé)任編輯：Rex_08