Il Superchip Nvidia GB10 Grace Blackwell è un potente sistema su un chip (SOC) progettato per gestire sia la formazione che l'inferenza dei modelli AI in modo efficiente. È fondamentale per sistemi come le cifre del progetto NVIDIA e il supercomputer AI ASUS ASCENT GX10, che mirano a democratizzare l'accesso al calcolo AI ad alte prestazioni.
componenti chiave e architettura
- GPU e core tensori: il superchip GB10 presenta una GPU Nvidia Blackwell con nuclei di tensore di quinta generazione. Questi nuclei di tensore sono ottimizzati per le moltiplicazioni di matrice, che sono cruciali per le attività di apprendimento profondo. Migliorano in modo significativo le prestazioni sia dei processi di formazione che di inferenza fornendo elaborazione ad alta velocità di complessi calcoli di intelligenza artificiale.
-CPU: il Superchip include una CPU ARM a 20 core ad alte prestazioni, composta da 10 core CPU Cortex X925 e 10 nuclei CPU A725. Questa CPU migliora la preelaborazione e l'orchestrazione dei dati, accelerando la messa a punto dei modelli e l'inferimento in tempo reale. L'architettura ARM contribuisce a una gestione e prestazioni di energia efficienti, rendendolo adatto alle applicazioni di AI Edge.
- Memoria e interconnessione: il Superchip GB10 offre 128 GB di memoria coerente unificata, che è essenziale per la gestione di grandi modelli di intelligenza artificiale. Utilizza NVIDIA NVLINK-C2C, fornendo un modello di memoria GPU CPU+coeso con larghezza di banda significativamente più elevata rispetto alle tradizionali interfacce PCIe. Questa architettura garantisce il trasferimento di dati senza soluzione di continuità tra CPU e GPU, ottimizzando sia le attività di allenamento che di inferenza.
capacità di formazione e inferenza
- Allenamento: mentre il superchip GB10 non è progettato principalmente come chip di addestramento dedicato come le GPU Tesla di Nvidia, può gestire la prototipazione e la messa a punto dei modelli di intelligenza artificiale. La sua combinazione GPU e CPU ad alte prestazioni consente agli sviluppatori di lavorare su modelli di dimensioni più piccole a medie direttamente sui loro desktop. Per modelli più grandi, può essere utilizzato in combinazione con i servizi cloud per attività di formazione più estese.
-Inferenza: il Superchip GB10 eccelle nelle attività di inferenza, eseguendo i modelli pre-addestrati in modo efficiente per prendere decisioni in tempo reale in base a nuovi dati. Il suo supporto per la precisione di FP4 e i core tensori di quinta generazione consente una elaborazione rapida e accurata dei modelli di intelligenza artificiale, rendendolo ideale per applicazioni che richiedono una rapida inferenza, come i dispositivi EDGE, robotica e dispositivi IoT intelligenti.
Scalabilità e distribuzione
Sia le cifre del progetto che l'ASUS Ascent GX10 consentono la distribuzione senza soluzione di continuità di modelli AI dagli ambienti desktop locali agli infrastrutture cloud o di data center utilizzando il software NVIDIA AI. Ciò significa che gli sviluppatori possono prototipo di modelli a livello locale e quindi ridimensionarli nel cloud senza significative regolazioni del codice, facilitando i processi efficienti di iterazione e distribuzione.
In sintesi, il Superchip GB10 è progettato per consentire agli sviluppatori di AI con uno strumento compatto ma potente sia per le attività di addestramento che per l'inferenza. Sebbene sia più orientato verso l'inferenza e la prototipazione, le sue capacità possono essere estese attraverso l'integrazione con i servizi cloud per esigenze di formazione più estese.
Citazioni:
[1] https://www.hyperstack.cloud/blog/thought-leadership/nvidia-project-digits-all-you-need-to-know-about-the-blackwell-ai-supercomputer
[2] https://www.nvidia.com/en-us/project-digits/
[3] https://www.marketscreener.com/quote/stock/asustek-computer-inc-6492304/news/asus-ntroduces-ascent-gx10-ai-supercomputer-powered-by-nvidia-gb10-grace-blackwell-superchip-4937239/
[4] https://press.asus.com/news/press-releases/asus-introduces-ascent-gx-10-ai-supercomputer-powered-by-nvidia-gb-10-grace-blackwell-superchip/
[5] https://www.memediak.com/press-room/meditek-collaborates-with-nvidia-on-the-new-nvidia-gb10-grace-blackwell-superchip-powering-the-nvidia-project-digits-----supercomputer
[6] https://www.friendsofthemetaverse.com/blog/ai-chips-esplained-training-vs-inference-processors-unveiled
[7] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
[8] https://www.reddit.com/r/deeplearning/comments/1hywfah/nvidia_project_digits_vs_rtx_5090_dilemma/
[9] https://meta-quantum.today/?p=3460
[10] https://newsroom.arm.com/blog/arm-nvidia-project-digits-high-performance-ai