2023-05-30 05:32:40 作者:老王
英偉達的芯片命名很有講究,它的所有芯片系列都是科學家的名字。這一次發布的超級計算機所用的GH,就是Grace Hopper的縮寫。咱們就來說說Grace Hopper和這款芯片和它的跨時代意義。
[#zolsplit_eca_zolecjd電商推廣區域分隔符開始#]
【資料圖】
[經銷商]
[產品售價]
[#zolsplit_ecb電商推廣區域分隔符結束#]
編程之母
Grace Hopper是美國計算機科學家、數學家和美國海軍少將。她是哈佛Mark I計算機的第一批程序員之一,是計算機編程的先驅,發明了最早的鏈接器之一。霍普是第一個設計出與機器無關的編程語言理論的人,她用這個理論創造的FLOW-MATIC編程語言后來被擴展為COBOL,一種早期的高級編程語言,至今仍在使用。Fortran也有她的功勞。
由于當年的計算機是電子管,會有蟲子飛進去導致短路,所以Hopper發明了debug捉蟲一詞,這個詞但凡和編程有點淵源的人都不陌生。
為了紀念這位計算機先驅,英偉達把新一代計算芯片命名為Grace Hopper。
強大的Grace Hopper芯片
英偉達的Grace Hopper是兩個處理器做在了一個PCB上,它分為Grace和Hopper兩部分,如下圖,一左一右。
Grace是CPU,它是ARM架構的。
72個Arm Neoverse V2內核,采用Armv9.0-A ISA,每個內核4×128位SIMD單元。117MB的L3高速緩存。512GB的LPDDR5X內存,提供高達546GB/s的內存帶寬。64X的PCIe5.0通道。英偉達可擴展一致性結構(SCF)網狀和分布式緩存,內存帶寬高達3.2TB/s。
Hopper是 GPU:
高達144個SM,擁有第四代Tensor Cores、Transformer Engine、DPX,與英偉達A100 GPU相比,FP32和FP64的整體性高出3倍。高達96GB的HBM3內存,提供高達3000GB/s的速度。二級緩存60 MB。擴展GPU內存功能使Hopper GPU能夠將所有CPU內存作為GPU內存進行尋址。每個Hopper GPU可以在一個超級芯片內尋址多達608 GB的內存。
NVIDIA NVLink交換系統:
使用NVLink 4連接多達256個NVIDIA Grace Hopper超級芯片。每個連接NVLink的Hopper GPU可以尋址網絡中所有超級芯片的所有HBM3和LPDDR5X內存,從而獲得高達150TB的GPU可尋址內存,256個Grace Hopper就是英偉達的GH200超級計算機。
256個Grace Hopper有多強?英偉達表示它有1EB的計算能力!這是什么概念?剛剛出爐的世界超級計算機Top500排名,第一名的Frontier也就是1.1E的算力,1EB的算力,約等于Top500的25%!當然超級計算機的算力都是針對性的,英偉達的GH200有兩大優勢:第一是量產,第二則是針對AI推理這些的優化,能讓大模型LLM運行的更快,或許年底在大企業部署之后,我們使用AI的成本和速度都能得到提升。
AI被成為近40年來3D顯卡以后最偉大的發明,英偉達正是提供AI算力的企業。或許
責任編輯:Rex_30