Stasiun NVIDIA DGX adalah sistem komputasi AI yang kuat yang dirancang untuk memberikan kinerja tingkat pusat data dalam faktor bentuk desktop. Ini fitur superchip desktop Ultra Ultra Desktop GB300 Grace yang canggih dan ruang memori koheren 784 GB yang substansial, yang sangat penting untuk pelatihan dan inferensi model AI skala besar. Bandwidth memori dari stasiun DGX tidak secara eksplisit dinyatakan dalam spesifikasi terbaru, tetapi diketahui menggunakan teknologi memori bandwidth tinggi seperti NVLink-C2C untuk transfer data yang efisien antara GPU dan CPU.
Sebagai perbandingan, pendahulu stasiun DGX, yang menggunakan GPU Tesla V100, memiliki bandwidth NVLink total hingga 200 GB/s untuk komunikasi antar-GPU, dan menggunakan memori HBM2 dengan bandwidth puncak 900 GB/s untuk arsitektur Volta [9] [10]. Namun, stasiun DGX yang lebih baru dengan GB300 Superchip diharapkan menawarkan kinerja yang meningkat secara signifikan karena arsitektur canggih dan kapasitas memori yang lebih besar.
Sistem komputasi AI lainnya, seperti yang menggunakan memori Micron DDR5, menawarkan bandwidth memori maksimum teoritis hingga 614 GB/s, yang bermanfaat untuk beban kerja inferensi AI [2]. DGX Spark, sistem komputasi AI yang lebih kecil dari NVIDIA, memiliki bandwidth memori 273 GB/s, yang lebih terjangkau dan cocok untuk model AI yang lebih kecil [1] [4].
Untuk aplikasi AI kelas atas, sistem seperti GPU NVIDIA H100 menawarkan bandwidth memori hingga 3 TB/S dengan memori HBM3, secara signifikan melampaui bandwidth dari sebagian besar sistem lain [5]. Kinerja stasiun DGX diposisikan antara ekstrem ini, menawarkan keseimbangan kapasitas memori yang tinggi dan teknologi interkoneksi canggih, membuatnya cocok untuk menuntut beban kerja AI tanpa mencapai bandwidth ekstrem dari solusi yang berfokus pada pusat data seperti H100.
Secara keseluruhan, bandwidth memori stasiun DGX, meskipun tidak secara eksplisit dinyatakan, diharapkan substansial karena arsitektur canggih dan kapasitas memori yang besar, memposisikannya sebagai alat yang kuat untuk pengembangan AI yang menjembatani kesenjangan antara solusi pusat data kelas atas dan sistem desktop yang lebih mudah diakses.
Kutipan:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_released_and_renamed_to_dgx/
[2] https://www.micron.com/content/dam/micron/global/public/documents/products/technical-marketing-brief/ddr5-ai-inference-workload-performance-tech-brief.pdf
[3] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architecture-white-paper_published.pdf
[4] https://www.youtube.com/watch?v=Krbh0von-2a
[5] https://www.linkedin.com/pulse/martini-straw-analogy-unraveling-memory-bandwidth-bottlenecks-jha-jlprc
[6] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-supercomputer
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-park-and-dgx-station-personal-ai-computers.334300/
[8] https://www.iot-now.com/2024/02/07/141978-ai-at-the-ged-future-of-memory-ttorage-in-accelerating-intelligence/
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-station/