Home Arrow Icon Knowledge base Arrow Icon Global Arrow Icon DGX站和以前的DGX模型之间的内存带宽的关键差异是什么


DGX站和以前的DGX模型之间的内存带宽的关键差异是什么


NVIDIA DGX站和以前的DGX型号,例如DGX站A100和带有Tesla V100 GPU的较旧的DGX站,在存储器带宽和整体体系结构方面表现出显着差异。

DGX站(新型号)

新的DGX站配备了GB300 Grace Blackwell Ultra桌面SuperChip,其中包括72核Grace CPU和Blackwell Ultra GPU。该系统具有多达288GB的HBM3E GPU内存和496GB的LPDDR5X CPU内存。 GPU存储器的内存带宽未用GB/s明确表示,但是系统最多支持8 TB/s的内存带宽,这显着高于以前的模型。 CPU存储器带宽高达396 GB/S ** [5] [8]。

DGX站A100

DGX站A100使用四个NVIDIA A100 SXM4 GPU,每GB均具有40 GB或80 GB的HBM2内存。尽管该模型的特定内存带宽尚未详细详细介绍,但A100 GPU以其高存储器带宽而闻名,HBM2存储器的每gpu通常约为1,555 GB/s,整个系统的总数将总计约为6,220 GB/s [10]。

DGX站,带有Tesla V100 GPU

具有四个Tesla V100 GPU的较旧的DGX站模型每GPU具有16 GB的HBM2存储器,总计64 GB的GPU存储器。每个V100 GPU的内存带宽为900 GB/s,总GPU存储器带宽为3.6 TB/s。此外,该系统包括256 GB的DDR4系统存储器,但其带宽不如GPU内存[2] [9]。

###密钥差异
- 内存类型和带宽:新的DGX站使用HBM3E进行GPU内存,与较旧型号的HBM2相比,带宽明显更高。 LPDDR5X也可以改善CPU存储器带宽。
- 架构:新的DGX站将GRACE CPU与Blackwell Ultra GPU集成,与以前的型号相比,AI工作负载提供了更具凝聚力和高效的体系结构。
- 可伸缩性:新的DGX站旨在支持更广泛的AI工作负载,其内存能力较高和更快的互连(例如NVLink-C2C),它提供了PCIE GEN 5 [5] [5] [8]的带宽的七倍。

引用:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_releasd_releasd_and_and_enred_to_to_dgx/
[2] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[3] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-supercomputers
[4] https://www.youtube.com/watch?v=krbh0von-2a
[5] https://www.notebookcheck.net/nvidia-unveils-dgx-station-desktop-ai-supercomputer-72-core-core-core-cpu-cpu and-blackwell-ultra-gpu.981669.0.html
[6] https://docs.nvidia.com/dgx/dgxa100-user-guide/introduction-to-dgxa100.html
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-spark-spark-and-dgx-station-personal-ai-computers.334300/
[8] https://www.nvidia.com/en-us/products/workstations/dgx-station/
[9] https://xenon.com.au/product/nvidia-dgx-station/
[10] https://mcomputers.cz/en/products-and-services/nvidia/dgx-systems/nvidia-dgx-station-a100/