Станция NVIDIA DGX представляет собой мощную компьютерную систему ИИ, предназначенная для обеспечения производительности на уровне центра обработки данных в форм-факторе рабочего стола. Он имеет усовершенствованную настольную настольную суперхип GB300 Grace Blackwell Ultra и значительное 784 ГБ когерентного пространства памяти, что имеет решающее значение для крупномасштабного обучения и вывода моделей искусственного интеллекта. Пропускная способность памяти станции DGX явно не указана в последних спецификациях, но известно, что она использует технологии памяти с высокой пропускной способностью, такие как NVLINK-C2C для эффективной передачи данных между графическими процессорами и процессорами.
Для сравнения, предшественник станции DGX, который использовал графические процессоры Tesla V100, имел общую полосу пропускания NVLink до 200 ГБ/с для связи между GPU, и она использовала память HBM2 с пиковой полосой полосы пропускания 900 ГБ/с для архитектуры Volta [9] [10]. Однако, как ожидается, более новая станция DGX с Superchip GB300 обеспечит значительно улучшенную производительность благодаря своей расширенной архитектуре и более широкой емкости памяти.
Другие вычислительные системы ИИ, такие как системы, использующие память Micron DDR5, предлагают теоретическую максимальную пропускную способность памяти до 614 Гбит/с, что полезно для рабочих нагрузок с выводом ИИ [2]. DGX Spark, небольшая вычислительная система ИИ из NVIDIA, оснащена пропускной способностью памяти 273 ГБ/с, которая более доступна и подходит для небольших моделей ИИ [1] [4].
Для высококлассных приложений AI, такие системы, как GPU NVIDIA H100, предлагают полосу пропускания памяти до 3 ТБ/с с памятью HBM3, что значительно превосходя пропускную способность большинства других систем [5]. Производительность станции DGX расположена между этими крайностями, предлагая баланс высокой емкости памяти и передовой технологии взаимосвязи, что делает его подходящим для требования рабочей нагрузки искусственного интеллекта, не достигая экстремальных полос пропускания ориентированных на центр обработки данных, таких как H100.
В целом, ожидается, что пропускная способность памяти станции DGX, хотя и явно указанную, будет существенной из-за ее расширенной архитектуры и большой емкости памяти, позиционируя его как мощный инструмент для разработки ИИ, который преобразует разрыв между высококачественными решениями центров обработки данных и более доступными настольными системами.
Цитаты:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_relead_and_renamed_to_dgx/
[2] https://www.micron.com/content/dam/micron/global/public/documents/products/technical-marketing-brief/ddr5-ai-infere-workload-performance-brief.pdf
[3] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architecture-white-paper_published.pdf
[4] https://www.youtube.com/watch?v=Krbh0von-2a
[5] https://www.linkedin.com/pulse/martini-raw-analogy-unraveling-memory-bandwidth-bottlenecks-jha-jlprc
[6] https://opentools.ai/news/nvidia-unleashone-the-future-with-personal-ai-supercomputers
[7] https://www.techpowerup.com/forums/threads/nvidia-annonces-dgx-park-and-dgx-station-personal-ai-computers.334300/
[8] https://www.iot-now.com/2024/02/07/141978-ai-at-the-edge-future-ofmemory-and-storage-in-ccelerating-intelligence/
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-station/