熱頭條丨首個高稀疏率AI計算卡S100在浪潮內測 支持千億級別大模型

(資料圖片)

中國經濟網北京7月8日訊（記者 王惠綿） 近日，墨芯人工智能首次發布SparseOne S100在浪潮服務器中的測試數據，S100是全球首個高稀疏率AI計算卡，運行多個AI主流模型，性能表現為國際大廠主流AI推理卡的6倍。

值得注意的是，這是墨芯首次披露S100運行能夠實現單卡推理大模型，突破單卡難以滿足高算力需求的瓶頸，有效解決業界對大模型，普遍采取多機多卡分布式的方式，完成推理所帶來的時間長、功耗高、成本高等問題。

近年來新興的NLP模型——T5，曾被稱為“全新NLP SOTA預訓練模型”，以其高參數量，讓許多計算卡“望而卻步”。但在本次測試中，S100在單機單卡環境下就能運行T5-8B模型，算力高達141.8 SPS。

除了高算力的優勢，相較于當前國際大廠主流推理卡單卡只能支持百億參數級別的模型，墨芯S100可以支持千億參數級別的模型。

在單機單卡環境，不影響精度的前提下，S100運行BERT模型，SST-2數據集，性能達12176 SPS；S100運行ResNet-50模型，ImageNet數據集，性能達28260 FPS。在主頻800 MHz的測試環境中，S100運行ResNet-50模型時算力達33197 FPS。浪潮內測主頻為700 MHz。

所有測試均是在實際環境中，S100計算卡能夠直接投入實際場景的使用，擁有較高的應用價值。同時還能滿足高能效比、低功耗和高精度，為企業大幅降低部署成本和運維成本。

據了解，S100超高性能源于稀疏化計算。而稀疏化的原理是指，在AI矩陣運算中，將無效元素剔除，極大加快計算速度，降低計算成本。2021年8月，谷歌人工智能主管Jeff Dean在一次TED演講中表示，稀疏化是下一代AI架構中最重要的趨勢之一。

墨芯作為稀疏化產業實踐者，其稀疏化計算解決方案具有廣闊的生態前景。墨芯人工智能創始人兼CEO王維表示，“墨芯將構建涵蓋軟件、硬件、應用的AI計算平臺，與研究人員、開發者、軟件開發商等合作伙伴一起，為各行各業用戶提供高性能AI計算服務，共同構筑場景豐富、生機勃勃的稀疏化生態。”

責任編輯：Rex_08