NVIDIA DGX站是一个强大的AI计算系统，旨在在台式机上提供数据中心级的性能。它具有先进的GB300 Grace Blackwell Ultra桌面超级芯片和784 GB的连贯内存空间，这对于大型AI模型培训和推断至关重要。 DGX站的存储器带宽在最新规范中未明确说明，但已知它利用NVLink-C2C(例如NVLink-C2C)在GPU和CPU之间进行有效的数据传输。
相比之下，使用Tesla V100 GPU的DGX站的前身的总NVLINK带宽高达200 GB/s，用于GPU间通信，并且它利用HBM2存储器，峰值带宽为900 GB/s，用于电压架构[9] [9] [10]。但是，由于其先进的体系结构和更大的记忆力，预计具有GB300 SuperChip的新型DGX站有望显着提高性能。
其他AI计算系统(例如使用Micron DDR5存储器的系统)提供的理论最大存储器带宽最高为614 GB/s，这对AI推理工作负载有益[2]。 DGX Spark是NVIDIA的较小的AI计算系统，具有273 GB/s的存储器带宽，它更实惠，适用于较小的AI模型[1] [4]。
对于高端AI应用程序，NVIDIA H100 GPU等系统可提供高达3 tb/s的内存带有HBM3内存，可显着超过大多数其他系统的带宽[5]。 DGX站的性能位于这些极端之间，提供了高内存能力和高级互连技术的平衡，使其适合要求AI工作负载，而无需达到以数据中心为中心的解决方案(如H100)的极端带宽。
总体而言，DGX站的内存带宽虽然尚未明确说明，但由于其先进的体系结构和较大的内存能力，预计将是实质性的，它将其定位为AI开发的强大工具，可以弥合高端数据中心解决方案之间的差距和更易于访问的台式机系统。
引用：
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_releasd_releasd_and_and_enred_to_to_dgx/
[2] https://www.micron.com/content/dam/micron/global/public/documents/products/products/technical-marketing-brief-brief/ddr5-ai-inpertion-workload-work-work-perform-performance-performance-tech-brief.pdf
[3] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-ystem-system-archituction-architecture-white-white-paper_paper_paper_paper_paply.pdf
[4] https://www.youtube.com/watch?v=krbh0von-2a
[5] https://www.linkedin.com/pulse/martini-straw-analogy-unraveling-memory-bandwidth-bottlenecks-jha-jlprc
[6] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-supercomputers
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-spark-spark-and-dgx-station-personal-ai-computers.334300/
[8] https://www.iot-now.com/2024/02/02/07/141978-AI-AT-THE------------------------------------------------------------------1978-AI--AIN-eDGE-------
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-station/