|
早前藍(lán)點(diǎn)網(wǎng)提到英偉達(dá)推出專用加速卡NVIDIA H100,英偉該加速卡是達(dá)宣大顯達(dá)G點(diǎn)網(wǎng)前代加速卡A100性能的3倍價格也是3倍。 趁著AI熱潮黃仁勛顯然再次抓住熱點(diǎn):英偉達(dá)今天宣布推出針對LLM大型語言模型的加速貴陽外圍(外圍預(yù)約)外圍聯(lián)系方式(電話微信181-8279-1445)1-2線城市同城快速安排,30分鐘準(zhǔn)時到達(dá)專用加速卡H100 NVL。 推出這個新SKU是卡全因?yàn)橛ミ_(dá)注意到LLM運(yùn)行時,超大量的面投數(shù)據(jù)會迅速填充顯存,普通版本已經(jīng)跟不上使用。產(chǎn)最存容 所以NVIDIA H100 NVL是量高B藍(lán)迄今為止顯存容量最大的版本,顯存為188GB HBM3 顯存,英偉單卡顯存容量94GB。達(dá)宣大顯達(dá)G點(diǎn)網(wǎng) 
專門為LLM設(shè)計的加速貴陽外圍(外圍預(yù)約)外圍聯(lián)系方式(電話微信181-8279-1445)1-2線城市同城快速安排,30分鐘準(zhǔn)時到達(dá)新版本:
英偉達(dá)在新聞稿中表示 NVIDIA H100 加速卡已經(jīng)全面投產(chǎn),很快英偉達(dá)和合作伙伴將向全球企業(yè)推出新卡。卡全 H100加速卡在LLM上提供快9倍的面投AI訓(xùn)練以及快30倍的AI推理 , 為全球AI企業(yè)發(fā)揮創(chuàng)造力提供強(qiáng)大動力基礎(chǔ)。 不過今天還有個重點(diǎn)就是產(chǎn)最存容H100 NVL版 ,? 這是英偉達(dá)專門面向大型語言模型推出的新SKU主要就是超大顯存。 H100 NVL實(shí)際上是量高B藍(lán)2張H100合并后的結(jié)果 ,? 主要通過PCIe板進(jìn)行橋接,每張卡顯存為94GB合計為188GB。英偉 連插槽都是2個PCIe 5.0的因此普通主板都插不上,估計要購買 H100 NVL 的話也得順帶購買配套專用主板。 具體價格方面目前還不清楚,此前傳聞H100售價 32000 美元約合人民幣22萬元,H100 NVL也必然會翻倍。 以下是H100三種SKU參數(shù)對比:
| NVIDIA H100 Accelerator Specification Comparison | | H100 NVL | H100 PCIe | H100 SXM | | FP32 CUDA Cores | 2 x 16896? | 14592 | 16896 | | Tensor Cores | 2 x 528? | 456 | 528 | | Boost Clock | 1.98GHz? | 1.75GHz | 1.98GHz | | Memory Clock | ~5.1Gbps HBM3 | 3.2Gbps HBM2e | 5.23Gbps HBM3 | | Memory Bus Width | 6144-bit | 5120-bit | 5120-bit | | Memory Bandwidth | 2 x 3.9TB/sec | 2TB/sec | 3.35TB/sec | | VRAM | 2 x 94GB (188GB) | 80GB | 80GB | | FP32 Vector | 2 x 67 TFLOPS? | 51 TFLOPS | 67 TFLOPS | | FP64 Vector | 2 x 34 TFLOPS? | 26 TFLOPS | 34 TFLOPS | | INT8 Tensor | 2 x 1980 TOPS | 1513 TOPS | 1980 TOPS | | FP16 Tensor | 2 x 990 TFLOPS | 756 TFLOPS | 990 TFLOPS | | TF32 Tensor | 2 x 495 TFLOPS | 378 TFLOPS | 495 TFLOPS | | FP64 Tensor | 2 x 67 TFLOPS? | 51 TFLOPS | 67 TFLOPS | | Interconnect | NVLink 4 18 Links (900GB/sec) | NVLink 4 (600GB/sec) | NVLink 4 18 Links (900GB/sec) | | GPU | 2 x GH100 (814mm2) | GH100 (814mm2) | GH100 (814mm2) | | Transistor Count | 2 x 80B | 80B | 80B | | TDP | 700W | 350W | 700-800W | | Manufacturing Process | TSMC 4N | TSMC 4N | TSMC 4N | | Interface | 2 x PCIe 5.0 (Quad Slot) | PCIe 5.0 (Dual Slot) | SXM5 | | Architecture | Hopper | Hopper | Hopper |
|