La station NVIDIA DGX est un puissant système informatique d'IA conçu pour fournir des performances au niveau du centre de données dans un facteur de forme de bureau. Il présente la superchip de bureau avancée GB300 Grace Blackwell Ultra et un espace mémoire cohérent substantiel de 784 Go, ce qui est crucial pour la formation et l'inférence du modèle d'IA à grande échelle. La bande passante de mémoire de la station DGX n'est pas explicitement indiquée dans les dernières spécifications, mais elle est connue pour utiliser des technologies de mémoire à large bande passante comme NVINK-C2C pour un transfert de données efficace entre les GPU et les CPU.
En comparaison, le prédécesseur de la station DGX, qui a utilisé des GPU Tesla V100, avait une bande passante totale de NvLink allant jusqu'à 200 Go / s pour la communication inter-gpu, et il a utilisé la mémoire HBM2 avec une bande passante de pointe de 900 gb / s pour l'architecture Volta [9] [10]. Cependant, la nouvelle station DGX avec la Superchip GB300 devrait offrir des performances considérablement améliorées en raison de son architecture avancée et de sa plus grande capacité de mémoire.
D'autres systèmes informatiques AI, tels que ceux utilisant la mémoire Micron DDR5, offrent une bande passante de mémoire maximale théorique jusqu'à 614 Go / s, ce qui est bénéfique pour les charges de travail d'inférence AI [2]. Le DGX Spark, un système informatique AI plus petit de NVIDIA, dispose d'une bande passante de mémoire de 273 Go / s, ce qui est plus abordable et adapté aux modèles d'IA plus petits [1] [4].
Pour les applications IA haut de gamme, des systèmes comme le GPU NVIDIA H100 offrent une bande passante de mémoire allant jusqu'à 3 To / s avec la mémoire HBM3, dépassant considérablement la bande passante de la plupart des autres systèmes [5]. Les performances de la station DGX sont positionnées entre ces extrêmes, offrant un équilibre entre une capacité de mémoire élevée et une technologie d'interconnexion avancée, ce qui le rend adapté à la demande de charges de travail d'IA sans atteindre la bande passante extrême des solutions axées sur le centre de données comme le H100.
Dans l'ensemble, la bande passante de mémoire de la station DGX, bien qu'elle ne soit pas explicitement énoncée, devrait être substantielle en raison de son architecture avancée et de sa grande capacité de mémoire, en la positionnant comme un outil puissant pour le développement d'IA qui comble l'écart entre les solutions de centre de données haut de gamme et les systèmes de bureau plus accessibles.
Citations:
[1] https://www.reddit.com/r/localllama/comments/1Jedy17/nvidia_digits_specs_relenty_and_renamed_to_dgx/
[2] https://www.micron.com/content/dam/micron/global/public/documents/products/technical-marketing-brief/ddr5-ai-inference-workload-performance-tech-brief.pdf
[3] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architecture-white-paper_publish.pdf
[4] https://www.youtube.com/watch?v=krbh0von-2a
[5] https://www.linkedin.com/pulse/martini-straw-analogy-unravelling-memory-bandwidth-bottlenecks-jha-jlprc
[6] https://opentools.ai/news/nvidia-unleashes-the-future-with-sersonal-ai-supercomputers
[7] https://www.techpowerup.com/forums/threads/nvidia-announs-dgx-spark-and-dgx-station-personal-ai-computers.334300/
[8] https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-of-memory-and-storage-in-accelerating-intelligence/
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-station/