Het NVIDIA DGX -station en eerdere DGX -modellen, zoals het DGX -station A100 en het oudere DGX -station met Tesla V100 GPU's, vertonen significante verschillen in geheugenbandbreedte en algehele architectuur.
DGX Station (nieuw model)
Het nieuwe DGX-station is uitgerust met de GB300 Grace Blackwell Ultra Desktop Superchip, die een 72-core Grace CPU en een Blackwell Ultra GPU omvat. Dit systeem beschikt over maximaal 288 GB HBM3E GPU -geheugen en tot 496 GB LPDDR5X CPU -geheugen. De geheugenbandbreedte voor het GPU -geheugen wordt niet expliciet vermeld in termen van GB/s, maar het systeem ondersteunt tot 8 tuberculose geheugenbandbreedte, wat aanzienlijk hoger is dan eerdere modellen. De CPU -geheugenbandbreedte is maximaal 396 GB/S ** [5] [8].DGX Station A100
Het DGX -station A100 gebruikt vier NVIDIA A100 SXM4 GPU's, elk met 40 GB of 80 GB HBM2 -geheugen. Hoewel de specifieke geheugenbandbreedte voor dit model niet gedetailleerd is, staan de A100 GPU's bekend om hun hoge geheugenbandbreedte, meestal ongeveer 1.555 GB/s per GPU voor het HBM2 -geheugen, dat zou bedragen tot ongeveer 6.220 GB/s voor het hele systeem [10].DGX Station met Tesla V100 GPU's
Het oudere DGX -stationsmodel met vier Tesla V100 GPU's heeft 16 GB HBM2 -geheugen per GPU, in totaal 64 GB GPU -geheugen. De geheugenbandbreedte voor elke V100 GPU is 900 GB/s, wat resulteert in een totale GPU -geheugenbandbreedte van 3,6 tb/s. Bovendien omvat het systeem 256 GB DDR4 -systeemgeheugen, maar de bandbreedte is niet zo hoog als het GPU -geheugen [2] [9].Belangrijkste verschillen
- Geheugentype en bandbreedte: het nieuwe DGX -station maakt gebruik van HBM3E voor GPU -geheugen en biedt een aanzienlijk hogere bandbreedte in vergelijking met HBM2 die wordt gebruikt in oudere modellen. De CPU -geheugenbandbreedte is ook verbeterd met LPDDR5X.- Architectuur: het nieuwe DGX -station integreert een Grace CPU met een Blackwell Ultra GPU, die een meer samenhangende en efficiënte architectuur biedt voor AI -workloads in vergelijking met eerdere modellen.
- Schaalbaarheid: het nieuwe DGX-station is ontworpen om meer uitgebreide AI-workloads te ondersteunen met zijn hogere geheugencapaciteit en snellere interconnects zoals NVLink-C2C, die zeven keer de bandbreedte van PCIe Gen 5 [5] [8] biedt.
Citaten:
[1] https://www.reddit.com/r/localllama/Comments/1jed
[2] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[3] https://opentools.ai/news/nvidia-unleasheshe-the-future-with-personal-ai-supercomputers
[4] https://www.youtube.com/watch?v=krbh0von-2a
[5] https://www.notebookcheck.net/nvidia-unveils-dgx-station-desktop-ai-UperComputer-With-72-core-cpu-and-blackwell-ultra-gpu.981669.0.html
[6] https://docs.nvidia.com/dgx/dgxa100-user-guide/introduction-to-dgxa100.html
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-spark-and-dgx-station-personal-ai-computers.334300/
[8] https://www.nvidia.com/en-us/products/workstations/dgx-station/
[9] https://xenon.com.au/product/nvidia-dgx-station/
[10] https://mcomputers.cz/en/products-and-services/nvidia/dgx-systems/nvidia-dgx-station-a100/