Le Nvidia GB10 Grace Blackwell Superchip est un puissant système sur puce (SOC) conçu pour gérer efficacement la formation et l'inférence des modèles d'IA. Il est au cœur des systèmes comme NVIDIA Project Digits et le supercalculateur ASUS Ascent GX10 AI, qui vise à démocratiser l'accès à l'informatique à haute performance.
Composants clés et architecture
- GPU et carottes de tenseur: Le GB10 Superchip propose un GPU Nvidia Blackwell avec des noyaux de tenseur de cinquième génération. Ces noyaux de tenseur sont optimisés pour les multiplications matricielles, qui sont cruciales pour les tâches d'apprentissage en profondeur. Ils améliorent considérablement les performances des processus de formation et d'inférence en fournissant un traitement à grande vitesse des calculs complexes d'IA.
- CPU: La superchip comprend un processeur ARM à 20 cœurs haute performance, qui est composé de 10 noyaux CPU Cortex X925 et de 10 noyaux de processeur A725. Ce CPU améliore le prétraitement et l'orchestration des données, accélérant le réglage des modèles et l'inférence en temps réel. L'architecture ARM contribue à une gestion et des performances efficaces de la puissance, ce qui le rend adapté aux applications EDE AI.
- Mémoire et interconnexion: le GB10 Superchip propose 128 Go de mémoire cohérente unifiée, ce qui est essentiel pour gérer les grands modèles d'IA. Il utilise NVIDIA NVLINK-C2C, fournissant un modèle de mémoire CPU + GPU cohésif avec une bande passante nettement plus élevée que les interfaces PCIE traditionnelles. Cette architecture garantit un transfert de données transparente entre le CPU et le GPU, optimisant les tâches de formation et d'inférence.
Formation et capacités d'inférence
- Formation: Bien que la superchip GB10 ne soit pas principalement conçue comme une puce d'entraînement dédiée comme les GPU Tesla de Nvidia, il peut gérer le prototypage et le réglage fin des modèles d'IA. Sa combinaison GPU et CPU haute performance permettent aux développeurs de travailler sur des modèles plus petits à moyenne directement sur leurs ordinateurs de bureau. Pour les modèles plus grands, il peut être utilisé en conjonction avec les services cloud pour des tâches de formation plus étendues.
- Inférence: le GB10 Superchip excelle dans les tâches d'inférence, exécutant efficacement les modèles pré-formés pour prendre des décisions en temps réel en fonction de nouvelles données. Son support pour la précision FP4 et les noyaux de tenseur de cinquième génération permettent un traitement rapide et précis des modèles d'IA, ce qui le rend idéal pour les applications nécessitant une inférence rapide, tels que les dispositifs Edge, Robotics et Smart IoT.
Évolutivité et déploiement
Les chiffres du projet et l'ASUS Ascent GX10 permettent un déploiement transparent de modèles d'IA des environnements de bureau locaux vers l'infrastructure du cloud ou du centre de données à l'aide du logiciel NVIDIA AI. Cela signifie que les développeurs peuvent prototyper les modèles localement, puis les mettre à l'échelle dans le cloud sans ajustements de code significatifs, facilitant des processus d'itération et de déploiement efficaces.
En résumé, le GB10 Superchip est conçu pour permettre aux développeurs d'IA un outil compact mais puissant pour les tâches de formation et d'inférence. Bien qu'il soit plus axé sur l'inférence et le prototypage, ses capacités peuvent être étendues par l'intégration avec les services cloud pour des besoins de formation plus étendus.
Citations:
[1] https://www.hyperstack.cloud/blog/thought-leadership/nvidia-project-digits-all-you-need-to-know-about-the-blackwell-ai-supercomputer
[2] https://www.nvidia.com/en-us/project-digits/
[3] https://www.marketscreener.com/quote/stock/asustek-computer-inc-6492304/news/asus-inTroduces-ascent-gx10-ai-supercuter-powered-by-nvidia-gb10-grace-blackwell-superchip-49372339/
[4] https://press.asus.com/news/press-releases/asus-introduces-ascent-gx-10-ai-supercomputer-powered-by-nvidia-gb-10-grace-blackwell-superchip/
[5] https://www.mediatek.com/press-room/mediatek-collaborates-with-nvidia-on-the-new-nvidia-gb10-grace-blackwell-superchip-powerring-the-nvidia-project-digits-personal-a-supercomputerter
[6] https://www.friendsofthemetaverse.com/blog/ai-chips-plaked-training-vs-inference-processors-unveiled
[7] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-develovers-fingertips
[8] https://www.reddit.com/r/deeplearning/comments/1hywfah/nvidia_project_digits_vs_rtx_5090_dilemma/
[9] https://meta-quantum.today/?p=3460
[10] https://newsroom.arm.com/blog/arm-nvidia-project-digits-high-performance-ai