NVIDIA GB10 Grace Blackwell Superchip là một hệ thống mạnh mẽ (SOC) mạnh mẽ được thiết kế để xử lý cả đào tạo và suy luận của các mô hình AI một cách hiệu quả. Nó là trung tâm của các hệ thống như NVIDIA Project Digits và ASUS Ascent GX10 AI Super Computer, nhằm mục đích dân chủ hóa việc tiếp cận với điện toán AI hiệu suất cao.
Các thành phần và kiến trúc chính
- Lõi GPU và Tensor: Superchip GB10 có GPU NVIDIA Blackwell với lõi tenor thế hệ thứ năm. Các lõi tenxơ này được tối ưu hóa cho phép nhân ma trận, rất quan trọng cho các nhiệm vụ học tập sâu. Họ tăng cường đáng kể hiệu suất của cả quá trình đào tạo và suy luận bằng cách cung cấp xử lý tốc độ cao của các tính toán AI phức tạp.
-CPU: Superchip bao gồm CPU ARM hiệu suất cao, 20 lõi, bao gồm 10 lõi CPU Cortex X925 và 10 lõi CPU A725. CPU này tăng cường tiền xử lý dữ liệu và điều phối, tăng tốc điều chỉnh các mô hình và suy luận thời gian thực. Kiến trúc ARM góp phần quản lý năng lượng và hiệu suất hiệu quả, làm cho nó phù hợp với các ứng dụng AI cạnh.
- Bộ nhớ và kết nối: Superchip GB10 cung cấp 128GB bộ nhớ kết hợp thống nhất, điều này rất cần thiết để xử lý các mô hình AI lớn. Nó sử dụng NVIDIA NVLINK-C2C, cung cấp mô hình bộ nhớ GPU CPU+gắn kết với băng thông cao hơn đáng kể so với giao diện PCIE truyền thống. Kiến trúc này đảm bảo truyền dữ liệu liền mạch giữa CPU và GPU, tối ưu hóa cả nhiệm vụ đào tạo và suy luận.
Khả năng đào tạo và suy luận
- Đào tạo: Mặc dù Superchip GB10 không được thiết kế chủ yếu như một chip đào tạo chuyên dụng như GPU Tesla của NVIDIA, nhưng nó có thể xử lý việc tạo mẫu và tinh chỉnh các mô hình AI. Sự kết hợp GPU và CPU hiệu suất cao của nó cho phép các nhà phát triển làm việc trên các mô hình nhỏ đến trung bình trực tiếp trên máy tính để bàn của họ. Đối với các mô hình lớn hơn, nó có thể được sử dụng cùng với các dịch vụ đám mây cho các nhiệm vụ đào tạo rộng rãi hơn.
-Suy luận: Superchip GB10 vượt trội trong các tác vụ suy luận, thực hiện các mô hình được đào tạo trước một cách hiệu quả để đưa ra quyết định thời gian thực dựa trên dữ liệu mới. Hỗ trợ của nó cho các lõi tenor chính xác và thế hệ thứ năm cho phép xử lý nhanh và chính xác các mô hình AI, làm cho nó trở nên lý tưởng cho các ứng dụng yêu cầu suy luận nhanh chóng, như AI cạnh, robot và thiết bị IoT thông minh.
Khả năng mở rộng và triển khai
Cả hai chữ số dự án và ASUS Ascent GX10 đều cho phép triển khai liền mạch các mô hình AI từ môi trường máy tính để bàn địa phương đến cơ sở hạ tầng đám mây hoặc trung tâm dữ liệu bằng phần mềm NVIDIA AI. Điều này có nghĩa là các nhà phát triển có thể nguyên mẫu các mô hình cục bộ và sau đó mở rộng quy mô của chúng trong đám mây mà không cần điều chỉnh mã đáng kể, tạo điều kiện cho các quy trình lặp lại và triển khai hiệu quả.
Tóm lại, GB10 Superchip được thiết kế để trao quyền cho các nhà phát triển AI với một công cụ nhỏ gọn nhưng mạnh mẽ cho cả các nhiệm vụ đào tạo và suy luận. Mặc dù nó hướng đến suy luận và tạo mẫu nhiều hơn, khả năng của nó có thể được mở rộng thông qua tích hợp với các dịch vụ đám mây cho các nhu cầu đào tạo rộng hơn.
Trích dẫn:
[1] https://www.hyperstack.cloud/blog/thought-leadership/nvidia-project-digits-all-you-need-to-know-about-the-blackwell-ai-supercomputer
[2] https://www.nvidia.com/en-us/project-digits/
[3] https://www.marketscreener.com/quote/stock/asustek-computer-n
[4] https://press.asus.com/news/press-releases
[5] https://www.mediatek.com/press-room/mediatek-collaborates-with-nvidia-on-the-new-nvidia-gb10-grace-blackwell-superchip-powering-the-nvidia-project-digits-personal-ai-supercomputer
[6] https://www.friendsofthemetaverse.com/blog/ai-chips-explained-training-vs-inference-processors-unveiled
[7] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
.
[9] https://meta-quantum.today/?p=3460
[10] https://newsroom.arm.com/blog/arm-nvidia-project-digits-high-performance-ai