NVIDIA GB10 Grace Blackwell Superchip ir jaudīga sistēmas-a-cip (SOC), kas izstrādāta, lai efektīvi apstrādātu gan AI modeļu apmācību, gan secinājumus. Tas ir centrālais sistēmās, piemēram, NVIDIA projekta ciparos un ASUS Ascent GX10 AI superdatorā, kuru mērķis ir demokratizēt piekļuvi augstas veiktspējas AI skaitļošanai.
Galvenie komponenti un arhitektūra
- GPU un Tensora serdeņi: GB10 SuperChip ir NVIDIA Blackwell GPU ar piektās paaudzes tensora kodoliem. Šie tensora serdeņi ir optimizēti matricas reizināšanai, kas ir būtiska dziļas mācīšanās uzdevumos. Tie ievērojami uzlabo gan apmācības, gan secinājumu procesu veiktspēju, nodrošinot ātrdarbīgu sarežģītu AI aprēķinu apstrādi.
-CPU: Superchip ietver augstas veiktspējas, 20 kodolu ARM CPU, kas sastāv no 10 garozas X925 CPU kodoliem un 10 A725 CPU kodoliem. Šis CPU uzlabo datu priekšapstrādi un orķestrēšanu, paātrinot modeļu noregulēšanu un reālā laika secinājumus. ARM arhitektūra veicina efektīvu enerģijas pārvaldību un veiktspēju, padarot to piemērotu Edge AI lietojumprogrammām.
- Atmiņa un starpsavienojums: GB10 SuperChip piedāvā 128 GB vienotas koherentas atmiņas, kas ir būtiska lielu AI modeļu apstrādei. Tas izmanto NVIDIA NVLINK-C2C, nodrošinot saliedētu CPU+GPU atmiņas modeli ar ievērojami lielāku joslas platumu nekā tradicionālās PCIE saskarnes. Šī arhitektūra nodrošina nemanāmu datu pārsūtīšanu starp CPU un GPU, optimizējot gan apmācības, gan secinājumu uzdevumus.
apmācības un secinājumu iespējas
- Apmācība: Lai gan GB10 Superchip galvenokārt nav veidots kā speciāla apmācības mikroshēma, piemēram, Nvidia Tesla GPU, tā var apstrādāt AI modeļu prototipēšanu un precizēšanu. Tā augstas veiktspējas GPU un CPU kombinācija ļauj izstrādātājiem strādāt pie mazākiem un vidējiem modeļiem tieši uz galddatoriem. Lielākiem modeļiem to var izmantot kopā ar Cloud Services, lai iegūtu plašākus apmācības uzdevumus.
-Secinājums: GB10 Superchip izceļas ar secinājumu uzdevumiem, efektīvi izpildot iepriekš apmācītus modeļus, lai pieņemtu lēmumus reāllaikā, pamatojoties uz jauniem datiem. Tās atbalsts FP4 precizitātei un piektās paaudzes tensora kodoliem ļauj ātri un precīzi apstrādāt AI modeļus, padarot to ideālu lietojumprogrammām, kurām nepieciešami ātri secinājumi, piemēram, Edge AI, robotika un viedās IoT ierīces.
mērogojamība un izvietošana
Gan projekta cipari, gan ASUS Ascent GX10 ļauj nemanāmi izvietot AI modeļus no vietējās darbvirsmas vide līdz mākoņa vai datu centra infrastruktūrai, izmantojot programmatūru NVIDIA AI. Tas nozīmē, ka izstrādātāji var lokāli prototipa modeļi un pēc tam tos mērogot mākonī bez nozīmīgām koda pielāgojumiem, atvieglojot efektīvus iterācijas un izvietošanas procesus.
Rezumējot, GB10 SuperChip ir paredzēts, lai AI izstrādātājiem dotu kompaktu, bet jaudīgu instrumentu gan apmācības, gan secinājumu uzdevumiem. Lai arī tas ir vairāk vērsts uz secinājumiem un prototipēšanu, tā iespējas var paplašināt, izmantojot integrāciju ar mākoņa pakalpojumiem, lai iegūtu plašākas apmācības vajadzības.
Atsauces:
[1.]
[2] https://www.nvidia.com/en-us/project-digits/
.
[4] https://press.asus.com/news/press-releases/
.
[6] https://www.friendsofthemetaverse.com/blog/ai-chips
[7] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-ate-eyr
[8] https://www.reddit.com/r/deeplearning/comments/1hywfah/nvidia_project_digits_vs_rtx_5090_dilemma/
[9] https://meta-quantum.today/?p=3460
[10] https://newsroom.arm.com/blog/arm-nvidia-project-digits-high-performance-ai