NVIDIA DGX Spark là một máy trạm AI nhỏ gọn có NVIDIA GB10 Grace Blackwell Superchip, bao gồm GPU Blackwell với lõi tenor thế hệ thứ năm và hỗ trợ FP4. Nó cung cấp băng thông bộ nhớ là 273 GB/s, tương đối khiêm tốn so với một số máy trạm AI cao cấp khác và GPU [5] [7] [9].
So sánh, trạm NVIDIA DGX, một máy trạm AI khác từ NVIDIA, cung cấp băng thông bộ nhớ cao hơn đáng kể. Trạm DGX có Superchip Desktop của GB300 Grace Blackwell Ultra, bao gồm GPU Blackwell Ultra và CPU CPU Core-72 Core Neovere V2 Class Core-72 Class. GPU có quyền truy cập vào 288GB bộ nhớ HBM3E với băng thông 8 Tb/s, trong khi CPU truy cập bộ nhớ LPDDR5X 496GB với băng thông lên tới 396 GB/s ** [5].
Các hệ thống tập trung AI khác, chẳng hạn như các hệ thống sử dụng GPU NVIDIA A100, cung cấp băng thông bộ nhớ cao hơn. Chẳng hạn, mô hình A100 80GB cung cấp băng thông bộ nhớ là 2 TB/s, có lợi cho các ứng dụng AI quy mô lớn yêu cầu xử lý dữ liệu nhanh chóng [6].
Trong thị trường rộng hơn, các hệ thống như RTX Pro 5000 cung cấp băng thông bộ nhớ ấn tượng là 1,3 TB/s với bộ nhớ GDDR7 48GB, khiến chúng có khả năng cạnh tranh cao đối với khối lượng công việc AI [7]. Điều này nhấn mạnh rằng trong khi DGX Spark được thiết kế cho điện toán AI nhỏ gọn, hiệu suất cao, băng thông bộ nhớ của nó không cao như một số máy trạm AI và GPU chuyên dụng khác có sẵn.
Nhìn chung, băng thông bộ nhớ của DGX Spark được tối ưu hóa cho yếu tố hình thức nhỏ gọn và các tác vụ phát triển AI cụ thể, nhưng nó có thể không phù hợp với băng thông cao hơn có sẵn trong các hệ thống lớn hơn, mạnh hơn được thiết kế cho hiệu suất cấp trung tâm dữ liệu.
Trích dẫn:
[1] https://nvidianews.nvidia.com/news/nvidia-announces-dgx-spark-and-dgx-station-personal-ai-computers
[2] https://www.pcmag.com/news/what-is-nvidias-dgx-station-a-new-specialized-desktop-line-for-ai-work
[3] https://www.micron.com/content/dam/micron/global/public/documents/products/technical-marketing-brief/ddr5-ai-inference-workload-performance-tech-brief.pdf
.
.
[6] https://datacrunch.io/blog/nvidia-a100-40gb-vs-80-gb
.
.
[9] https://www.youtube.com/watch?v=csihxri1jt4
[10] https://www.youtube.com/watch?v=KRBH0VON-2A