Stanica NVIDIA DGX je výkonný počítačový systém AI určený na poskytovanie výkonu na úrovni dátového centra v stolnom formálnom faktore. Je vybavený pokročilým Superchipom GB300 Grace Blackwell Ultra Desktop SuperChip a podstatným 784 GB koherentného pamäťového priestoru, čo je rozhodujúce pre rozsiahly tréning a inferencie modelu AI. Šírka pásma pamäte stanice DGX nie je výslovne uvedená v najnovších špecifikáciách, ale je známe, že využíva technológie pamäťovej šírky vysokej šírky, ako je NVLink-C2C na efektívny prenos údajov medzi GPU a CPU.
V porovnaní s tým predchodca stanice DGX, ktorý používal GPU Tesla V100, mal celkovú šírku pásma NVLink až 200 GB/s pre komunikáciu medzi GPU a využívala pamäť HBM2 s maximálnou šírkou pásma 900 GB/s pre architektúru Volta [9] [10]. Očakáva sa však, že novšia stanica DGX s superchipom GB300 ponúkne výrazne zlepšený výkon vďaka svojej pokročilej architektúre a väčšej kapacite pamäte.
Iné počítačové systémy AI, ako napríklad systémy používajúce pamäť mikrónov DDR5, ponúkajú teoretické šírky pásma maximálnej pamäte až 614 GB/s, čo je prospešné pre pracovné zaťaženie inferencie AI [2]. DGX Spark, menší počítačový systém AI z NVIDIA, má šírku pásma pamäte 273 GB/s, čo je cenovo dostupnejšie a vhodnejšie pre menšie modely AI [1] [4].
V prípade aplikácií AI High-End AI, systémy ako NVIDIA H100 GPU ponúkajú šírky pásma pamäte až 3 TB/s s HBM3 pamäťou, čo výrazne prekoná šírku pásma väčšiny ostatných systémov [5]. Výkon stanice DGX je umiestnený medzi týmito extrémami, ponúka rovnováhu s vysokou pamäťou a pokročilou technológiou Interconnect, vďaka čomu je vhodný pre náročné pracovné zaťaženie AI bez dosiahnutia extrémnych šírok pásma riešení zameraných na dátové centrum, ako je H100.
Celkovo sa očakáva, že šírka pásma pamäte DGX stanice, aj keď nie je výslovne uvedená, bude značná kvôli svojej pokročilej architektúre a veľkej kapacite pamäte, ktorá ju umiestni ako výkonný nástroj pre vývoj AI, ktorý premosťuje medzeru medzi riešeniami špičkových dátových centier a prístupnejšími stolnými systémami.
Citácie:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_releather_and_rennamed_to_dgx/
Https://www.micron.com/content/dam/micron/global/public/documents/products/technical-marketing-bried/ddr5-ai-inference-workload-workload-performance-brief.pdf
Https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-tation-ation-a100-System-architutec-wite-wite-paper_published.pdf
[4] https://www.youtube.com/watch?v=krbH0Von-2a
[5] https://www.linkedin.com/pulse/martini-traw-analology-unraveling-memory-bandwidth-bottlenecks
[6] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-superComputers
[7] https://www.techpowerup.com/forums/threads/nvidia-annunces-dgx-park-and-dgx-station-pation-personal-ai-cacomputers.334300/
[8] https://www.iot-now.com/2024/02/07/141978-ai-at-the-ededge-future-of-memory-and-storage-in-accelerating-intelligence/
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-station/