NVIDIA DGX istasyonu ve DGX istasyonu A100 ve Tesla V100 GPU'lu eski DGX istasyonu gibi önceki DGX modelleri, bellek bant genişliği ve genel mimaride önemli farklılıklar sergiler.
DGX istasyonu (yeni model)
Yeni DGX istasyonu, 72 çekirdekli Grace CPU ve Blackwell Ultra GPU içeren GB300 Grace Blackwell Ultra Masaüstü Superchip ile donatılmıştır. Bu sistem 288GB'a kadar HBM3E GPU belleği ve 496GB'a kadar LPDDR5X CPU belleğine sahiptir. GPU belleği için bellek bant genişliği GB/s olarak açıkça belirtilmemiştir, ancak sistem, önceki modellerden önemli ölçüde daha yüksek olan 8 TB/s bellek bant genişliğini destekler. CPU bellek bant genişliği 396 GB/s ** [5] [8] 'e kadardır.DGX İstasyonu A100
DGX istasyonu A100, her biri 40 GB veya 80 GB HBM2 belleğine sahip dört NVIDIA A100 SXM4 GPU kullanır. Bu model için spesifik bellek bant genişliği ayrıntılı olmasa da, A100 GPU'lar yüksek bellek bant genişliği ile bilinir, tipik olarak HBM2 belleği için GPU başına yaklaşık 1.555 GB/s, bu da tüm sistem için yaklaşık 6.220 GB/s'ye kadardır [10].Tesla V100 GPU'lu DGX istasyonu
Dört TESLA V100 GPU'lu eski DGX istasyonu modeli, GPU başına 16 GB HBM2 belleğine sahiptir ve toplam 64 GB GPU belleği bulunmaktadır. Her V100 GPU için bellek bant genişliği 900 GB/s'dir, bu da toplam GPU bellek bant genişliği 3,6 TB/s'dir. Ek olarak, sistem 256 GB DDR4 sistem belleği içerir, ancak bant genişliği GPU belleği kadar yüksek değildir [2] [9].Anahtar Farklılıklar
- Bellek Türü ve Bant Genişliği: Yeni DGX istasyonu, GPU belleği için HBM3E kullanır ve eski modellerde kullanılan HBM2'ye kıyasla önemli ölçüde daha yüksek bant genişliği sunar. CPU bellek bant genişliği de LPDDR5X ile geliştirilmiştir.- Mimari: Yeni DGX istasyonu, bir Grace CPU'yu Blackwell Ultra GPU ile bütünleştirerek AI iş yükleri için önceki modellere kıyasla daha uyumlu ve verimli bir mimari sağlıyor.
- Ölçeklenebilirlik: Yeni DGX istasyonu, daha yüksek bellek kapasitesi ve PCIE Gen 5'in bant genişliğini yedi katına sunan NVLink-C2C gibi daha hızlı ara bağlantıları ile daha kapsamlı AI iş yüklerini desteklemek için tasarlanmıştır [5] [8].
Alıntılar:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_releed_and_renamed_to_dgx/
[2] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[3] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-supercomputers
[4] https://www.youtube.com/watch?v=krbh0von-2a
[5] https://www.notebookcheck.net/nvidia-unveils-dgx-station-desktop-a-i-72-core-cpu-and-blackwell-ultra-gpu.98169.0.html
[6] https://docs.nvidia.com/dgx/dgxa100-user-guide/introduction-ton-dgxa100.html
[7] https://www.techpowerup.com/forums/threads/nvidia-onnounces-dgx-park-dgx-s-personal-ai-computers.334300/
[8] https://www.nvidia.com/en-us/products/workstations/dgx-station/
[9] https://xenon.com.au/product/nvidia-dgx-station/
[10] https://mcomputers.cz/en/products-and-services/nvidia/dgx-systems/nvidia-dgx-station-a100/