售價超2000萬的芯片系統,英偉達NVL72內部曝光

如果您希望可以時常見面,歡迎標星收藏哦~

來源:內容來自半導體行業觀察(ID:icbank)綜合,謝謝。

從分析師估計到首席執行官黃仁勳的評論,Nvidia 的 Blackwell 平臺的定價已經陸續出爐。簡而言之,部署這些性能強大的產品將花費買家高昂的成本。摩根士丹利估計,Nvidia 將在 2025 年出貨 60,000 到 70,000 臺 B200 服務器機櫃,相當於每年至少 2100 億美元的收入。儘管成本高昂,但對這些強大的 AI 服務器的需求仍然很強烈。

據報道,Nvidia 已投資約 100 億美元開發 Blackwell 平臺,約有 25,000 人蔘與其中。由於所有性能都集成在單個 Blackwell GPU 中,因此這些產品的價格高昂也就不足爲奇了。

據匯豐銀行分析師稱,Nvidia 的 GB200 NVL36 服務器機架系統售價爲 180 萬美元,NVL72 售價爲 300 萬美元(約2175萬人民幣)。功能更強大的GB200 超級芯片結合了 CPU 和 GPU,預計每顆售價爲 6 萬至 7 萬美元。這些超級芯片包括兩個 GB100 GPU 和單個 Grace Hopper 芯片,並配有一個大型系統內存池(HBM3E)。

今年早些時候,首席執行官黃仁勳告訴 CNBC,Blackwell GPU 的價格爲 3 萬至 4 萬美元,摩根士丹利根據此信息計算了買家的總成本。每臺 AI 服務器機櫃的價格約爲 200 萬至 300 萬美元,而 Nvidia 計劃出貨 6 萬至 7 萬臺 B200 服務器機櫃,預計年收入至少爲 2100 億美元。

但客戶支出在某個時候會證明這是合理的嗎?紅杉資本分析師戴維·卡恩估計,支付其投資所需的年度人工智能收入已攀升至每年 6000 億美元。

但目前,毫無疑問,無論代價有多大,公司都會付出代價。B200 擁有 2080 億個晶體管,可提供高達 20 petaflops 的 FP4 計算能力。訓練一個 1.8 萬億參數模型需要 8,000 個 Hopper GPU,消耗 15 兆瓦的功率。

這項任務需要 2,000 個 Blackwell GPU,功耗僅爲 4 兆瓦。對於大型語言模型推理工作負載,GB200 超級芯片的性能是 H100 GPU 的 30 倍,並且顯著降低了功耗。

據摩根士丹利稱,由於需求旺盛,Nvidia 將臺積電的訂單量增加了約 25%。可以毫不誇張地說,Blackwell 將成爲AI 訓練和許多推理工作負載的事實標準,它旨在爲一系列下一代應用提供支持,包括機器人、自動駕駛汽車、工程模擬和醫療保健產品。

NVIDIA GB200 NVL72 系統細節

最近,我們有機會看到了 Supermicro 版本的 NVIDIA GB200 NVL72。

Supermicro NVIDIA GB200 NVL72 是 Supermicro 的 NVIDIA Grace Blackwell 200 NVLink 72 GPU 機架版本。

在頂部,我們看到了 Supermicro 的標誌、網絡和電源。

然後我們得到十個雙節點 GB200 1U 機箱。

Grace Blackwell GB200 節點背面有用於連接 NVLink 背板的接口。這些節點爲半寬節點,因此兩個節點可以並排安裝在 1U 機架式機箱中。

有兩個 Blackwell GPU。

然後我們得到了帶有 LPDDR 內存的 NVIDIA Grace CPU。

以及節點底部的 I/O 連接。

中間是用於連接系統的 NVLink 交換機。底部是另外八個雙 GB200 節點。十八個 1U 機箱,每個機箱有兩個 GB200 組件,每個組件有兩個 Blackwell GPU,總共有 72 個 GPU。

下面是電源和由 Supermicro 製造的冷卻劑分配裝置。

這是一個與我們在 Supermicro 定製液體冷卻機架中看到的設計類似的 CDU。

這個機架是一個集羣,每小時使用約 120kW 的電量,大約相當於每小時的電量,這些電量存儲在 123kWh 的特斯拉 Cybertruck 電池中。在視頻中,我們討論了 GB200 NVL72 機架如何像駕駛一輛約 7000 磅重的卡車行駛 300 英里。我們預計未來幾個月內,更高功率的數據中心將使用這些 GB200 NVL72 解決方案。考慮到我們在液體冷卻方面所做的努力,這是我們想要關注功率方面的原因之一。

https://www.servethehome.com/supermicro-nvidia-gb200-nvl72-system-at-computex-2024/

點這裡加關注,鎖定更多原創內容

*免責聲明:本文由作者原創。文章內容系作者個人觀點,半導體行業觀察轉載僅爲了傳達一種不同的觀點,不代表半導體行業觀察對該觀點贊同或支持,如果有任何異議,歡迎聯繫半導體行業觀察。

今天是《半導體行業觀察》爲您分享的第3841內容,歡迎關注。

『半導體第一垂直媒體』

實時 專業 原創 深度

公衆號ID:icbank

喜歡我們的內容就點“在看”分享給小夥伴哦