今日要聞!手機(jī)就能跑！開(kāi)源AI機(jī)器人MLC LLM發(fā)布：無(wú)需聯(lián)網(wǎng)

(資料圖片)

快科技5月2日消息，近日，一個(gè)名為MLC LLM的項(xiàng)目在GitHub上線，該項(xiàng)目為一個(gè)能夠在手機(jī)上運(yùn)行的，無(wú)需聯(lián)網(wǎng)的開(kāi)源人工智能聊天機(jī)器人。

據(jù)悉，MLC LLM項(xiàng)目的本質(zhì)是一種通用解決方案，它允許將任何語(yǔ)言模型本地部署在一組不同的硬件后端和本地應(yīng)用程序上。

同時(shí)，它還有著一個(gè)高效的框架，供每個(gè)人進(jìn)一步優(yōu)化自己用例的模型性能。

上述這一切，都在本地運(yùn)行，無(wú)需服務(wù)器支持，并通過(guò)手機(jī)或筆記本電腦上的本地GPU加速。

技術(shù)上，MLC LLM使用了Vicuna-7B-V1.1，這是一種基于Meta開(kāi)發(fā)的LLaMA模型的輕量級(jí)LLM，效果雖然不如GPT3.5或GPT4，但在大小方面比較占優(yōu)勢(shì)。

目前，該項(xiàng)目可用于Windows、Linux、macOS和iOS平臺(tái)，但暫時(shí)還沒(méi)有適用于Android的版本。

值得一提的是，MLC LLM項(xiàng)目的開(kāi)發(fā)團(tuán)隊(duì)來(lái)自卡內(nèi)基梅隆大學(xué)的Catalyst計(jì)劃、SAMPL機(jī)器學(xué)習(xí)研究小組以及華盛頓大學(xué)、上海交通大學(xué)和OctoML等。

責(zé)任編輯：Rex_02