NVIDIA GB10 Grace Blackwell Superchip-це потужна система на чіпі (SOC), призначена для ефективного поводження з навчанням, і висновком моделей AI. Він є центральним у таких системах, як Digits Project Digits та Supercomputer ASUS ASCEN GX10, які мають на меті демократизувати доступ до високопродуктивних обчислень AI.
Ключові компоненти та архітектура
- GPU та тензорні ядра: GB10 Superchip оснащений GPU NVIDIA Blackwell з ядрами тензорів п'ятого покоління. Ці тензорні ядра оптимізовані для матричних мультиплікацій, які мають вирішальне значення для завдань глибокого навчання. Вони значно підвищують продуктивність як навчальних, так і умовних процесів, забезпечуючи швидкісну обробку складних обчислень AI.
-CPU: SuperChip включає високопродуктивний, 20-ядерний процесор для рук, який складається з 10 ядер CORTEX X925 та 10 ядер CPU A725. Цей процесор посилює попередню обробку даних та оркестрацію, прискорюючи настройку моделей та інформуючих проведення в режимі реального часу. Архітектура ARM сприяє ефективному управлінню живленням та продуктивністю, що робить її придатною для Edge AI -додатків.
- Пам'ять та взаємозв'язок: GB10 SuperChip пропонує 128 ГБ уніфікованої когерентної пам'яті, що має важливе значення для обробки великих моделей AI. Він використовує NVIDIA NVLINK-C2C, забезпечуючи згуртовану модель пам'яті CPU+GPU зі значно більшою пропускною здатністю, ніж традиційні інтерфейси PCIE. Ця архітектура забезпечує безперебійну передачу даних між процесором та графічним процесором, оптимізуючи як навчальні, так і умовні завдання.
можливості навчання та висновку
- Тренінг: Хоча GB10 Superchip не розроблений в першу чергу як спеціалізований навчальний мікросхема, як GPU Tesla Nvidia, він може впоратися з прототипуванням та тонкою настройкою моделей AI. Його високоефективна комбінація GPU та процесора дозволяє розробникам працювати над меншими та середніми моделями безпосередньо на робочих столах. Для більш великих моделей його можна використовувати спільно з хмарними послугами для більш широких навчальних завдань.
-Висновок: GB10 SuperChip перевершує завдання умовах, виконуючи попередньо підготовлені моделі для прийняття рішень у режимі реального часу на основі нових даних. Його підтримка точності FP4 та тензорних ядер п'ятого покоління дозволяє швидко та точно обробляти моделі AI, що робить його ідеальним для додатків, що потребують швидкого висновку, таких як Edge AI, робототехніка та розумні пристрої IoT.
масштабованість та розгортання
І Digits Project, і ASUS ASCENT GX10 дозволяють безперешкодно розгортати моделі AI з локальних робочих середовищ до інфраструктури хмарних або центрів обробки даних за допомогою програмного забезпечення NVIDIA AI. Це означає, що розробники можуть локально прототипні моделі, а потім масштабувати їх у хмарі без значних коригувань коду, полегшуючи ефективні процеси ітерації та розгортання.
Підсумовуючи це, Superchip GB10 призначений для розширення можливостей розробників AI компактним, але потужним інструментом як для навчальних, так і для висновків. Незважаючи на те, що він більше спрямований на висновок та прототипування, його можливості можуть бути розширені за допомогою інтеграції з хмарними послугами для більш широких потреб у навчанні.
Цитати:
.
[2] https://www.nvidia.com/en-us/project-digits/
.
[4] https://press.asus.com/news/press-relases/asus-introduces-ascent-gx-10-ai-supercomputer-powered-by-nvidia-gb-10-grace-blackwell-superchip/
.
[6] https://www.friendsofthemetaverse.com/blog/ai-chips-explained-training-vs-inference-processors-unveiled
[7] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
[8] https://www.reddit.com/r/deeplearning/comments/1hywfah/nvidia_project_digits_vs_rtx_5090_dilemma/
[9] https://meta-quantum.today/?p=3460
[10] https://newsroom.arm.com/blog/arm-nvidia-project-digits-high-performance-ai