微軟宣布開源DeepSpeed Chat，訓練速度可提升15倍以上。
當地時間4月12日，微軟宣布開源系統框架DeepSpeed Chat，幫助用戶訓練類似于ChatGPT的模型。與現有系統相比，DeepSpeed Chat的速度快15倍以上，可提升模型的訓練和推理效率。
來源：微軟
(相關資料圖)
ChatGPT是OpenAI于去年11月推出的聊天機器人，其訓練基礎是為RLHF（Reinforcement Learning from Human Feedback)，即基于人工反饋進行強化學習。
對于想要開發類似于ChatGPT模型的研究人員而言，難題之一是市面上缺乏支持端到端的RLHF系統框架。為此，微軟開源其系統框架DeepSpeed Chat，幫助數據科學家和研究者更易于使用ChatGPT類型的模型。
據介紹，DeepSpeed Chat能夠簡化ChatGPT類型模型的訓練過程、強化推理體驗。其中的DeepSpeed-RLHF系統能夠在推理和訓練兩種模式之間進行切換，使復雜的RLHF訓練速率更快、易于大規模推廣。
根據微軟，DeepSpeed-HE比現有系統快15倍以上，且成本更低。在微軟云Azure上，該系統只需9小時即可訓練一個OPT-13B模型，只需18小時即可訓練一個OPT-30B模型，且這兩種訓練分別花費不到300美元和600美元（OPT為臉書母公司Meta發布的語言模型）。
此外，面對于擁有1750億參數的模型，DeepSpeed-HE的訓練時間只需不到一天的時間。
對于微軟開源DeepSpeed Chat，海外知名科技社區Hacker News的用戶總結道，微軟不僅向OpenAI投資了100億美元，同時還為公眾提供一種免費工具，幫助他們研發OpenAI同款產品。也有用戶認為，微軟選擇開源DeepSpeed Chat，是為了在業內獲得領先優勢。
還有用戶認為這一系統框架前景可期，“我可以預見，未來每家公司都會擁有自己的‘AI模型助理’，其能夠定期對公司內部數據進行培訓或更新。公司的電子郵件、slack/team消息、文檔等或許都將成為AI模型的數據來源。”
來源：Hacker News
微軟和OpenAI的合作可以追溯到2019年，在這一年OpenAI獲得了微軟10億美元的投資，并對微軟獨家授權部分AI技術，雙方合作替微軟云Azure開發人工智能技術。
今年2月初，微軟推出搭載ChatGPT同源功能的新版必應（Bing），使得該軟件的全球下載量在一夜之間猛增10倍，并躥升至蘋果App Store應用商店最受歡迎的免費應用榜中的第十位。
責任編輯：Rex_13
營業執照公示信息