Hiện tại, trạm NVIDIA DGX là một trong những hệ thống điện toán AI mạnh nhất hiện có, có băng thông bộ nhớ lên tới 8 terabyte mỗi giây với bộ nhớ HBM3E và thêm 396 GB/s từ bộ nhớ LPDDR5X [1] [3]. Tuy nhiên, không có hệ thống sắp tới nào được công bố vượt qua mức băng thông bộ nhớ này trong cùng một yếu tố hình thức máy tính để bàn.
Đối với các ứng dụng trung tâm dữ liệu, các hệ thống như NVIDIA HTX B200, sử dụng nhiều GPU NVIDIA Blackwell, có thể đạt được băng thông bộ nhớ cao hơn. HTX B200 cung cấp tới 62 terabyte mỗi giây băng thông bộ nhớ, vượt quá đáng kể khả năng của Trạm DGX [1]. Tuy nhiên, các hệ thống này được thiết kế để triển khai trung tâm dữ liệu quy mô lớn thay vì sử dụng máy tính để bàn.
Bản thân Trạm DGX là một hệ thống tiên tiến, kết hợp NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip và cung cấp một không gian bộ nhớ mạch lạc khổng lồ 784 GB. Nó được thiết kế để đưa hiệu suất cấp trung tâm dữ liệu lên máy tính để bàn để phát triển AI, khiến nó rất phù hợp để yêu cầu khối lượng công việc AI như đào tạo quy mô lớn và suy luận [5] [6]. Mặc dù không có hệ thống được công bố nào vượt qua băng thông bộ nhớ của Trạm DGX trong một yếu tố hình thức tương tự, những tiến bộ trong công nghệ có thể dẫn đến các hệ thống trong tương lai với khả năng hiệu suất cao hơn.
Tóm lại, mặc dù không có các hệ thống AI máy tính để bàn sắp tới được công bố với băng thông bộ nhớ cao hơn so với trạm DGX, các giải pháp trung tâm dữ liệu như HTX B200 cung cấp băng thông cao hơn đáng kể cho các ứng dụng quy mô lớn.
Trích dẫn:
[1] https://www.youtube.com/watch?v=KRBH0VON-2A
[2] https://www.dalco.ch/blog/nvidia-announces-a100-80gb-gpu/
.
[4] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
.
[6] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-supercomputers
[7] https://www.pcmag.com/news/what-is-nvidias-dgx-station-a-new-specialized-desktop-line-for-ai-work
[8] https://www.fibermall.com/blog/dgx-server.htm