在最新的SIGGRAPH的舞臺(tái)上,NVIDIA老黃宣布了英偉達(dá)最新的NVIDIA DGX GH200 Grace Hopper超級(jí)芯片平臺(tái)。老黃表示,這個(gè)“龐然大物”專(zhuān)門(mén)為AIGC時(shí)代打造,搭載了全球最快的內(nèi)存,不僅帶寬每秒5TB,內(nèi)存容量更是暴增了接近50%來(lái)到141GB,號(hào)稱(chēng)“任何大語(yǔ)言模型都能運(yùn)行”。
現(xiàn)場(chǎng),老黃通過(guò)動(dòng)畫(huà)的形式為我們展示了如何使用最新的NVLink等技術(shù),將Grace Hopper超級(jí)芯片構(gòu)建起一整套為AIGC打造超級(jí)計(jì)算機(jī)的全過(guò)程。首先,由兩個(gè)DGX GH200 Grace Hopper超級(jí)芯片組成雙聯(lián)體,將雙聯(lián)體與BlueField-3 DPU和ConnectX-7網(wǎng)卡組成一個(gè)“計(jì)算盒”,再通過(guò)NVLink將8個(gè)這樣的“計(jì)算盒”連接組成總內(nèi)存高達(dá)4.6TB的DGX構(gòu)建塊,再由這樣的構(gòu)建塊合二為一形成新的計(jì)算盒,最終擴(kuò)建成為256 GPU的工作集群Superpod,突出一個(gè)英偉達(dá)傳統(tǒng)藝能——疊。
【資料圖】
1:1等比例圖(中間黑影為黃仁勛)
他表示,每個(gè)Grace Hopper超級(jí)芯片上,CPU和GPU之間的連接速度是第五代PCle的7倍,得益于多GPU高速連接能力,雙聯(lián)體DGX GH200性能幾乎可以做到零損失,號(hào)稱(chēng)“最快內(nèi)存”的HBM3e(High Bandwidth Memory 3e)能夠在更小的空間內(nèi)提供更高的數(shù)據(jù)傳輸速率,再加上NVLink的高速連接能力,能夠使這256塊GPU“像是一塊一樣”工作。
不僅如此,這些Superpod之間還能夠繼續(xù)連接,在低時(shí)延的Quantum-2 Infiniband平臺(tái)的幫助下進(jìn)行擴(kuò)展。換言之,這就使其能夠根據(jù)不同需要,構(gòu)建出不同規(guī)模、不同結(jié)構(gòu)的更適應(yīng)AIGC時(shí)代的全新超級(jí)計(jì)算機(jī)。
目前,有消息人士稱(chēng)新的GH200 Grace Hopper超級(jí)芯片平臺(tái)已經(jīng)正在生產(chǎn)中,將于2024年第二季度上市,屆時(shí)很可能會(huì)再次AIGC行業(yè)帶來(lái)新的發(fā)展機(jī)遇,不過(guò)這對(duì)于中國(guó)公司而言很可能不是好事。
消息稱(chēng)近日包括百度、字節(jié)跳動(dòng)、騰訊和阿里巴巴在內(nèi)的多家中國(guó)廠商向英偉達(dá)下單訂購(gòu)了價(jià)值50億美元的芯片。報(bào)道稱(chēng),這些公司已下單10億美元,采購(gòu)約 10 萬(wàn)顆英偉達(dá)A800處理器,預(yù)計(jì)今年內(nèi)交付。
英偉達(dá)A800是英偉達(dá)為了規(guī)避美國(guó)商務(wù)部的半導(dǎo)體新規(guī),對(duì)標(biāo)A100 GPU專(zhuān)供中國(guó)市場(chǎng)的處理器。除了互聯(lián)速度不同以外,A800與A100規(guī)格幾乎完全相同,但對(duì)比英偉達(dá)最新的GH200而言,無(wú)疑是落后的。
英偉達(dá)A800參數(shù)規(guī)格
更令人擔(dān)憂的是,美國(guó)總統(tǒng)拜登也于近日簽署了一項(xiàng)關(guān)于限制美國(guó)在電腦芯片等敏感技術(shù)領(lǐng)域?qū)χ袊?guó)進(jìn)行投資的行政命令,要求企業(yè)必須就其在科技領(lǐng)域的在華投資情況向相關(guān)部門(mén)進(jìn)行通報(bào),消息稱(chēng),該項(xiàng)命令將會(huì)授權(quán)美國(guó)財(cái)政部長(zhǎng)可以禁止或限制美國(guó)在三個(gè)領(lǐng)域?qū)χ袊?guó)實(shí)體的投資,其中就包括半導(dǎo)體和微電子、量子信息技術(shù)以及部分人工智能系統(tǒng)。
因此有評(píng)論認(rèn)為,目前中國(guó)互聯(lián)網(wǎng)巨頭爭(zhēng)相囤積A800芯片,是考慮到華盛頓政府有可能會(huì)在將來(lái)出臺(tái)更嚴(yán)格的出口限制措施,甚至連英偉達(dá)性能較弱的芯片也會(huì)成為目標(biāo),因此才早做準(zhǔn)備,正如老黃的那句“買(mǎi)得越多,賺得越多”。
但無(wú)論如何,面對(duì)飛速發(fā)展的AIGC行業(yè),如果不想永遠(yuǎn)跟在后面就必須抓住現(xiàn)在的機(jī)會(huì),在生成式AI還未完全成形的時(shí)期殺進(jìn)市場(chǎng)并取得一定成績(jī),未來(lái)才有可能真正與OpenAI等巨頭掰掰手腕,不然可能以后連跟在屁股后面“撿漏”都沒(méi)有機(jī)會(huì)。如果此時(shí)不重金投入,恐怕在此之后只會(huì)落后更多,實(shí)在是無(wú)奈之舉。
責(zé)任編輯:Rex_10