Станція NVIDIA DGX-це потужна обчислювальна система AI, розроблена для забезпечення продуктивності рівня центру обробки даних у формі настільних ПК. У ньому представлені вдосконалені GB300 Grace Blackwell Ultra Desktop Superchip та істотний 784 ГБ когерентного простору пам'яті, що має вирішальне значення для масштабних модельних тренувань AI та виголошення. Пропускна здатність пам’яті станції DGX явно не вказана в останніх специфікаціях, але, як відомо, використовується технології пам'яті високої пропускної здатності, такі як NVLink-C2C для ефективного передачі даних між графічними процесорами та процесором.
Для порівняння, попередник станції DGX, яка використовувала GPUS Tesla V100, мав загальну пропускну здатність NVLink до 200 ГБ/с для між-GPU-спілкування, і вона використовувала пам'ять HBM2 з піковою пропускною здатністю 900 ГБ/с для архітектури Volta [9] [10]. Однак, очікується, що новіша станція DGX з GB300 Superchip запропонує значно покращила продуктивність завдяки розширеній архітектурі та більшій ємності пам'яті.
Інші обчислювальні системи AI, такі як ті, що використовують пам'ять Micron DDR5, пропонують теоретичну максимальну пропускну здатність пам'яті до 614 ГБ/с, що корисно для навантажень на виходи AI [2]. DGX Spark, менша обчислювальна система AI від NVIDIA, має пропускну здатність пам'яті 273 ГБ/с, що є більш доступним і придатним для менших моделей AI [1] [4].
Для додатків високого класу AI, такі системи, як GPU NVIDIA H100, пропонують пропускну здатність пам'яті до 3 ТБ/с із пам'яттю HBM3, значно перевершуючи пропускну здатність більшості інших систем [5]. Продуктивність станції DGX розташована між цими крайнощами, пропонуючи баланс високої ємності пам’яті та вдосконаленої технології взаємозв'язку, що робить її придатною для вимагання навантажень AI, не досягаючи екстремальних пропускних пропускних рухів рішень, орієнтованих на центр даних, таких як H100.
В цілому, пропускна здатність пам’яті станції DGX, хоча і явно не зазначена, очікується, що буде суттєвою через свою вдосконалену архітектуру та велику ємність пам’яті, позиціонуючи її як потужний інструмент для розвитку AI, який мостить розрив між рішеннями центру високого класу та більш доступними настільними системами.
Цитати:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_relage_and_renamed_to_dgx/
[2.
[3] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architecture-white-paper_published.pdf
[4] https://www.youtube.com/watch?v=krbh0von-2a
[5] https://www.linkedin.com/pulse/martini-straw-analogy-unraveling-memory-bandwidth-bottenecks-jha-jlprc
4
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-spark-and-dgx-station-personal-ai-computers.334300/
[8] https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-of-memory-and-storage-in-accelerating-intelligence/
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-station/