“只要有GPU卡，把服務器買走都行”。3月份開始，張陽明顯感受大模型帶來的沖擊，作為一家云廠商算力平臺負責人，他意識到市場甚至有些盲目。“當時客戶比較慌，相當于對產品都沒有什么要求，不關心網絡和存儲，就是感覺大家都在搶機器，先搶過來固定住時間，然后再去看怎么用，那會大家還沒有想明白怎么用。”
到了4月，有些客戶已經嘗試過或者見過大模型訓練，逐漸開始想明白，大概知道想要什么樣的配置。要一堆GPU卡，實際上是一個認知誤區，大模型訓練的實現依靠的是一個算力集群，包含整套的服務。
但不是所有企業都能駕馭大規模算力集群，這注定是一場少數人的游戲。事實上，微軟和OpenAI的合作也已經證明，用云來訓練大模型，似乎是更合理的選擇。
(相關資料圖)
作為中間層，云廠商向下屏蔽底層軟硬件的復雜性，向上對接企業的研發和算法工程師、個人開發者等，此外背靠集團的云廠商，還具備資金、人才、數據等優勢，也就最先開始聲勢浩大的進軍大模型。
AI算力芯片、服務器/交換機、光模塊/光芯片、數據中心、云計算……算力產業鏈條的每個角色，仿佛齒輪般咬合在一起，構成數字經濟的產業發動機，如今，大模型讓每個齒輪都極速傳動起來。
訓練基礎模型，是一切大模型產業生態的起點，也只有闖過算力關，才能拿到大模型競賽的入場券。
大模型訓練的三堵墻
技術的發展有其延續性，正如微軟Azure為OpenAI打造的“超級計算機”，經歷了數年的演進才有成果，現階段大模型訓練比拼的，其實是過去幾年廠商的戰略預判與技術積累，能上牌桌的大多是老玩家。
“大模型存在明顯的炒作過熱傾向，行業應該更加理性，而不是套著大模型概念做資本或者業務的炒作。我自己的觀點是，真的不要去考慮端到端地去做一個大模型，對于非要做的企業，我只能說有機會，但是挑戰很大。”一家互聯網大廠大模型產品負責人對鈦媒體表示。
在學術界看來，OpenAI并沒有做出革命性的創新，本質是圍繞AGI產品進行的“工程創新”，但正是工程化造就了OpenAI和大模型的成功，工程化體現在大模型研究、工程、產品、組織各個環節，算力訓練集群也是如此。
“工程化做得好也很難，它證明了往上堆算力，堆數據是可以往前推進的。”微軟技術中心首席架構師韓凱對鈦媒體表示。
這一看似簡單的邏輯背后，對企業而言卻是極大的考驗——看不見可能的出路，擔心巨大的投入沒有產出，這是最大的風險，也是為什么國內沒有先做出“ChatGPT”的原因——他們更多選擇跟隨，而不是對一條沒被驗證過的路投資。
算力集群的工程化，至少要突破三堵墻。
首先是“算力”墻。“完成一個千億參數級別的大模型例如GPT-3需要314ZFLOPs算力的模型訓練，而單卡只有312TFLOPS算力時，一張卡訓練一個模型要耗時32年。所以需要引入分布式訓練的方法，使用多機多卡的方式來加速模型的訓練，包括比較常見的數據并行和張量并行。”天翼云資深專家陳希表示。
其次是“存儲”墻。單顯卡的顯存已經無法加載千億級參數。千億級參數完全加載到顯存大概需要幾個TB，如果再考慮梯度、優化器狀態等訓練過程產生的一些中間結果，占用的顯存量就更大了，往往需要上百張卡才可以支持。
所以廠商一般會引入流水線并行，將模型不同的層放到不同的節點的顯卡內進行計算。對于這一組節點只需要加載某一些層的參數，降低顯存的壓力。
隨之而來的是“通信”墻。大模型并行切分到集群后，模型切片間會產生大量通信，包括節點內多卡通信，節點間通信。幾種并行方式都會涉及到大量的節點與節點間的通信，這時候就會對總線和總帶寬都有很高的要求，要達到幾百G的吞吐。
另外除了這三堵墻以外，還有一些其他問題：如大模型參數的增長速度和芯片工藝發展之間的矛盾也日趨明顯。最近幾年隨著transformer結構的引入，平均每兩年，模型參數數量增長15倍。而相應的芯片制程從7nm提升到4nm，單卡算力增長不超過4倍，芯片工藝發展落后于大模型的需求
大模型訓練需要的不單單是算力，對存儲，對安全，對訓練框架都有一定的要求，需要一套比較完整的平臺或服務來提供支持。“大家最近的一個普遍的感受，就是能滿足大模型訓練平臺的提供商不多，高性能算力供應整體比較緊張。”陳希說。
為什么“他們”能成？
現在仍有不少企業毫無準備或者自我感覺有所準備，就沖進基礎模型領域。
然而，如果細細研究現階段做出基礎模型的廠商，無一例外在AI領域都有足夠積累，特別是底層基礎設施層面，他們的實踐也在驗證“云是規模算力的最佳承載平臺”這一判斷。
“為了打造AI超級計算機，微軟早在2018年就開始布局，除了OpenAI還投資了幾個小公司，大數據是AI的前序，云計算基礎設施是算力平臺，大模型是算力、算法和數據的集合，微軟的成功在于全棧能力。”韓凱表示。
回到國內，百度也遵循類似的邏輯。百度副總裁謝廣軍提到，算力和存儲一定要達到更高的密度，才能夠支持大模型。顯著的問題還有網絡互聯，大模型訓練用的比較多的顯卡是帶有NVLink高速互連的A800，需要比傳統云計算做到更低延時、更高帶寬，大量的小文件，也需要低延時、高存儲的基礎設施。
“大模型跑起來之后，還有非常多的地方需要加速，像通信需要加速、顯存需要壓縮、整個推理也需要加速。百度智能云能夠把調優手段集成到基礎庫，對于大模型計算和推理非常有幫助。”謝廣軍說。
從平臺的視角來說，不管是訓練任務還是推理任務，單個的任務就需要非常長的時間，需要占用很多資源。怎么能夠保證資源的充分利用，以及降低它的訓練和推理時間。這里面需要切任務、調度、并行，對于模型訓練的加速比和并行度的支撐。
同時，一個平臺上往往有有很多任務，如何靈活調度，進而能夠讓這些任務充分地使用資源，甚至能夠感知到異構算力的拓撲，使得平臺效率得到提升……這類AI任務調度、容器化支持方面都有非常多的工作需要去做。
以文心一言的訓練為例，千卡規模的A100或者A800數據并行加速比達到90%，其中用了非常多的調優手段和技術，百度智能云圍繞著大模型一層一層做優化，在平臺上分成了AI 計算、AI 存儲、AI 加速和 AI 容器等四層，共同組成了 AI IaaS，這些基礎設施可以支持上萬億參數大模型的訓練。
此外，預訓練模型需要通過千卡以上的集群訓練，而在大多數情況，精調或者微調更普遍，基于大模型訓練行業模型，相當于在樹干上長樹枝，不需要超大規模的集群，小幾十張卡足以滿足企業所需訓練資源。
達觀數據將在7月份正式推出國產版GPT“曹植”系統，也是得益于多年文本智能技術積累和垂直領域場景業務經驗，算法和數據層面有所儲備，而在測試階段的算力層面，達觀數據CEO陳運文表示，自建算力數據中心較為吃力，達觀尋求了多種算力平臺的支持，包括運營商算力中心、鵬程實驗室等。
達觀數據也曾嘗試某家頭部云廠商的GPU算力，但經過測算成本太高，租一年半下來的成本，足夠達觀數據自家購置一個自己的算力平臺，達觀數據選擇了英偉達DGX高性能工作站方案，相當于英偉達自身做了很多集群優化，解決了存儲和網絡的大部分問題，直接買GPU卡自建集群和英偉達解決方案相比，綜合性能相差一倍。
“我們自己的模型訓練成本其實還是很高的，但是我們幫客戶算過賬，模型在推理階段需要的算力投入并不大，很多客戶只要單機多卡就夠，硬件投入不算很大，但是給客戶帶來的效果和體驗提升非常明顯。”陳運文表示。
英偉達不只有GPU
小廠商用英偉達的商業技術補齊能力，大廠商以英偉達的硬件為核心構建高性能計算集群、提升性能，進一步縮短訓練時間……基本所有廠商的大模型的推理、訓練都高度依賴英偉達的GPU。
來自市場的消息顯示，A800的價格一度超過8萬元人民幣，A100更貴，甚至超過9萬元。
“英偉達的策略是既要確保每家大客戶都能拿到貨，同時又不會完全滿足其短時大量的需求，這使得英偉達GPU保持在一個供應緊張的狀態。”一位業內人士表示，英偉達全球A100的產能并不缺，供貨沒有問題，對于禁售A100之后，特供中國的替代品A800，英偉達特意開了一條產品線，因其產能相對有限，造成了供需矛盾。
一些廠商也在想其他辦法，比如在香港建立算力集群，同時H800和A800復用了一部分產品線，未來H800的產能上來之后或許會壓制A800，不排除英偉達會繼續增加適用于中國市場的產線。
除了產量，高企的價格也源于英偉達芯片的工程化能力，這是其成為大模型訓練核心的決定性原因。
業界內外對英偉達有兩種極端認知：一種認為，英偉達難以戰勝；另一種是諸多廠商在PPT上“吊打”英偉達。然而，即便在理念和先進性上領先，但這一切只停留在芯片設計環節，沒有真正工業落地，也就無從對比。
現實情況是，在大模型算力領域，英偉達的壁壘在于GPU+NVlink/Infiniband網絡+CUDA的組合能力。
以英偉達最新發布的GH200GraceHopper超級芯片，以及擁有256個GH200超級芯片的DGXGH200超級計算機為例，產品性能上至少領先其他廠商一個身位。
涉及到算力集群，RDMA網絡成為大模型時代的底層通信技術，業內主要使用的是Infiniband、RoCE，NVlink僅用于GPU之間通信，InfiniBand網絡則為通用高性能網絡，既可用于GPU之間通信，也可用于CPU之間通信。
Infiniband網絡以往在超算領域應用較為廣泛，隨后擴展至人工智能計算，2019年，英偉達以69億美元收購邁絡思，補全了自己了網絡短板，目前IB較為成熟，很多廠商都在嘗試自研RoCE路線，在部分場景下較IB網絡還有一定差距。
例如文心一言，早在2021年6月，百度智能云開始規劃全新的高性能GPU集群的建設，聯合NVIDIA共同完成了可以容納萬卡以上規模的IB網絡架構設計，集群中節點間的每張GPU卡都通過IB網絡連接，并在2022年4月將集群建設完成，提供單集群EFLOPS級別的算力。
2023年3月，文心一言在這個高性能集群上誕生，并不斷迭代出新的能力。目前，這個集群的規模還在不斷擴大。NVIDIA中國區解決方案與工程總經理賴俊杰也提到，高速IB網絡互聯的GPU集群是大模型時代的關鍵基礎設施。
據了解，百度僅半年時間就采購了數萬片英偉達A800，其他互聯網廠商的采購量也在上萬片，刨除一開始發生了擠兌現象導致供不應求外，目前英偉達產品的供貨周期在三個月以內。
CUDA（ComputeUnifiedDeviceArchitecture）軟件生態，也是備受開發人員好評的產品，它允許開發者使用C/C++、Fortran等編程語言在英偉達GPU上進行并行計算，提供了強大的計算能力和高效的數據傳輸方式，使得GPU在科學計算、機器學習、深度學習等領域得到了廣泛的應用。
目前，英偉達是大模型熱潮中最受益的廠商，沒有之一，即便是微軟為OpenAI搭建的超級計算機，也依賴于英偉達的產品，絕大多數訓練算力都來自于英偉達GPU，面對全球如雪花般飛來的訂單，英偉達賺的盆滿缽滿。
其最新的2024財年第一季度財報顯示，英偉達數據中心業務營收為42.8億美元，創下歷史紀錄，與上年同期相比增長14%，與上一財季相比增長18%，股價也創下歷史新高。財報具有滯后性，大模型帶來的業績增收還沒有完全體現在財報上。
國產算力的機會
在自主創新的大背景下，大模型算力也在加速擁抱國產化，大家的態度是遠期普遍看好，短期仍有挑戰。大模型時代到來之后，很多國產芯片雖然有所準備，但是在最高端的芯片上存在一定的差距。
燧原COO張亞林表示，當前所有人在做大模型訓練的時候，時間至關重要，現在大家需要成熟的產品，不會傾向于選用國產化芯片，避免遇到一些穩定性或者成熟度的問題。
但推理層面是國產芯片的機會，張亞林表示，推理模型本身支持的方向比較單一，只要在推理模型上做到極致的調優，把性價比拿出來，很多用戶反而愿意用國產化芯片。“我認為現在國產芯片應該倒過來，先做推理和微調，然后慢慢通過研究所、高校、國家級實驗室的研究，牽引到集群化的能力，從推理到訓練的曲線會更加合理。”他說。
謝廣軍提到，AI芯片的發展比摩爾定律更加激進，也會有更大的下降空間。算力短缺一方面算力跟不上需求，另一方面，還是由于整個供應形勢所帶來的問題。
“大模型的需求也會加速國產芯片的迭代。以昆侖芯來講，今年年底昆侖第三代，更加適合大模型，不管是訓練還是推理，包括通信、顯存都會有非常大的提升。我相信其他的國產算力也是這樣的，國產算力更具備競爭力，會使得整個算力成本進一步下降，而且是加速下降。”謝廣軍說。
鈦媒體App了解到，今年國產芯片的發展呈現錯位狀態，國產芯片還沒有對標到英偉達最高端的產品，比如A100。有幾家國產芯片廠商已經預備在今年晚些時候，推出類似的對標產品。不論是訓練還是推理，國產芯片的發展或多或少有一些滯后。
與之對應地，英偉達芯片供應相對緊張，國產算力在明年之后，會有比較大的機會，現在算力市場還在急劇增長，國產芯片的匹配度不夠，主要還是英偉達在增長，如果需求匹配上之后，國內芯片會有很大的機會。
張亞林表示，如果燧原要真的“殺”到互聯網客戶場景，一定是在他們需要的場景和業務下，具備1.5倍的英偉達產品性能，和兩倍的性價比。
“互聯網客戶普遍追求極致性價比，但是在集群方面要看TCO（總體擁有成本），集群的軟硬件整體價格、運維服務部署等，比如我1000卡的集群，跟英偉達的600卡集群對比，可能性能差不多，但是我性價比更高，同時我提供更好的定制化的服務支持，在市場上也是很有競爭力的。”他說。
6月，關于大模型算力的討論漸歇，基礎模型廠商初窺門徑，要么身體力行地去訓練大模型，要么買到更有性價比的算力，但總體來說，以算力為中心的大模型基礎設施，成本依然處于較高的水平。
IT產業總是遵循否定之否定的鐘擺定理，在大模型的產業熱潮中，接下來算力的各個環節如何進化，也更值得期待。（文中張陽為化名）
（本文首發鈦媒體APP，作者 | 張帥，編輯 | 蓋虹達）
責任編輯：Rex_29
營業執照公示信息