人人都能GPT！微軟開源DeepSpeed Chat幫用戶訓(xùn)練模型

微軟宣布開源DeepSpeed Chat，訓(xùn)練速度可提升15倍以上。

當(dāng)?shù)貢r(shí)間4月12日，微軟宣布開源系統(tǒng)框架DeepSpeed Chat，幫助用戶訓(xùn)練類似于ChatGPT的模型。與現(xiàn)有系統(tǒng)相比，DeepSpeed Chat的速度快15倍以上，可提升模型的訓(xùn)練和推理效率。

來源：微軟

(相關(guān)資料圖)

ChatGPT是OpenAI于去年11月推出的聊天機(jī)器人，其訓(xùn)練基礎(chǔ)是為RLHF（Reinforcement Learning from Human Feedback)，即基于人工反饋進(jìn)行強(qiáng)化學(xué)習(xí)。

對于想要開發(fā)類似于ChatGPT模型的研究人員而言，難題之一是市面上缺乏支持端到端的RLHF系統(tǒng)框架。為此，微軟開源其系統(tǒng)框架DeepSpeed Chat，幫助數(shù)據(jù)科學(xué)家和研究者更易于使用ChatGPT類型的模型。

據(jù)介紹，DeepSpeed Chat能夠簡化ChatGPT類型模型的訓(xùn)練過程、強(qiáng)化推理體驗(yàn)。其中的DeepSpeed-RLHF系統(tǒng)能夠在推理和訓(xùn)練兩種模式之間進(jìn)行切換，使復(fù)雜的RLHF訓(xùn)練速率更快、易于大規(guī)模推廣。

根據(jù)微軟，DeepSpeed-HE比現(xiàn)有系統(tǒng)快15倍以上，且成本更低。在微軟云Azure上，該系統(tǒng)只需9小時(shí)即可訓(xùn)練一個(gè)OPT-13B模型，只需18小時(shí)即可訓(xùn)練一個(gè)OPT-30B模型，且這兩種訓(xùn)練分別花費(fèi)不到300美元和600美元（OPT為臉書母公司Meta發(fā)布的語言模型）。

此外，面對于擁有1750億參數(shù)的模型，DeepSpeed-HE的訓(xùn)練時(shí)間只需不到一天的時(shí)間。

對于微軟開源DeepSpeed Chat，海外知名科技社區(qū)Hacker News的用戶總結(jié)道，微軟不僅向OpenAI投資了100億美元，同時(shí)還為公眾提供一種免費(fèi)工具，幫助他們研發(fā)OpenAI同款產(chǎn)品。也有用戶認(rèn)為，微軟選擇開源DeepSpeed Chat，是為了在業(yè)內(nèi)獲得領(lǐng)先優(yōu)勢。

還有用戶認(rèn)為這一系統(tǒng)框架前景可期，“我可以預(yù)見，未來每家公司都會(huì)擁有自己的‘AI模型助理’，其能夠定期對公司內(nèi)部數(shù)據(jù)進(jìn)行培訓(xùn)或更新。公司的電子郵件、slack/team消息、文檔等或許都將成為AI模型的數(shù)據(jù)來源。”

來源：Hacker News

微軟和OpenAI的合作可以追溯到2019年，在這一年OpenAI獲得了微軟10億美元的投資，并對微軟獨(dú)家授權(quán)部分AI技術(shù)，雙方合作替微軟云Azure開發(fā)人工智能技術(shù)。

今年2月初，微軟推出搭載ChatGPT同源功能的新版必應(yīng)（Bing），使得該軟件的全球下載量在一夜之間猛增10倍，并躥升至蘋果App Store應(yīng)用商店最受歡迎的免費(fèi)應(yīng)用榜中的第十位。

責(zé)任編輯：Rex_13