Trạm NVIDIA DGX và các mô hình DGX trước đây, như Trạm DGX A100 và trạm DGX cũ với GPU Tesla V100, thể hiện sự khác biệt đáng kể về băng thông bộ nhớ và kiến trúc tổng thể.
Trạm DGX (Mô hình mới)
Trạm DGX mới được trang bị Superchip Desktop Ultra Ultra GB300 Grace Blackwell, bao gồm CPU Grace 72 lõi và GPU Blackwell Ultra. Hệ thống này có bộ nhớ GPU HBM3E lên tới 288GB và lên tới 496GB bộ nhớ CPU LPDDR5X. Băng thông bộ nhớ cho bộ nhớ GPU không được nêu rõ ràng về mặt GB/s, nhưng hệ thống hỗ trợ tối đa 8 TB/s của băng thông bộ nhớ, cao hơn đáng kể so với các mô hình trước đó. Băng thông bộ nhớ CPU lên tới 396 Gb/s ** [5] [8].DGX Station A100
Trạm DGX A100 sử dụng bốn GPU NVIDIA A100 SXM4, mỗi GPU có bộ nhớ HBM2 40 GB hoặc 80 GB. Mặc dù băng thông bộ nhớ cụ thể cho mô hình này không được chi tiết, GPU A100 được biết đến với băng thông bộ nhớ cao, thường là khoảng 1.555 GB/s mỗi GPU cho bộ nhớ HBM2, tổng cộng sẽ khoảng 6.220 GB/s cho toàn bộ hệ thống [10].Trạm DGX với GPU Tesla V100
Mô hình trạm DGX cũ hơn với bốn GPU Tesla V100 có 16 bộ nhớ HBM2 trên mỗi GPU, tổng cộng 64 GB bộ nhớ GPU. Băng thông bộ nhớ cho mỗi GPU V100 là 900 GB/s, dẫn đến toàn bộ băng thông bộ nhớ GPU là 3,6 TB/s. Ngoài ra, hệ thống bao gồm 256 GB bộ nhớ hệ thống DDR4, nhưng băng thông của nó không cao như bộ nhớ GPU [2] [9].Sự khác biệt chính
- Loại bộ nhớ và băng thông: Trạm DGX mới sử dụng HBM3E cho bộ nhớ GPU, cung cấp băng thông cao hơn đáng kể so với HBM2 được sử dụng trong các mô hình cũ hơn. Băng thông bộ nhớ CPU cũng được cải thiện với LPDDR5X.- Kiến trúc: Trạm DGX mới tích hợp CPU GRACE với GPU Blackwell Ultra, cung cấp kiến trúc gắn kết và hiệu quả hơn cho khối lượng công việc AI so với các mô hình trước đó.
- Khả năng mở rộng: Trạm DGX mới được thiết kế để hỗ trợ khối lượng công việc AI rộng hơn với dung lượng bộ nhớ cao hơn và các kết nối nhanh hơn như NVLink-C2C, cung cấp bảy lần băng thông của PCIe Gen 5 [5] [8].
Trích dẫn:
.
[2] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[3] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-supercomputers
[4] https://www.youtube.com/watch?v=KRBH0VON-2A
[5] https://www.notebookcheck.net/Nvidia-unveils-DGX-Station-desktop-AI-supercomputer-with-72-core-CPU-and-Blackwell-Ultra-GPU.981669.0.html
[6] https://docs.nvidia.com/dgx/dgxa100-user-guide/introduction-to-dgxa100.html
.
[8] https://www.nvidia.com/en-us/products/workstations/dgx-station/
[9] https://xenon.com.au/product/nvidia-dgx-station/
.