Az NVIDIA GB10 GRACE Blackwell Superchip egy hatalmas rendszer-on-a-chip (SOC), amelynek célja az AI modellek képzésének és következtetéseinek hatékony kezelése. Központi a rendszerekben, mint például az NVIDIA Project számjegyek és az ASUS ASCENCE GX10 AI szuperszámítógép, amelyek célja a nagy teljesítményű AI számítástechnikahoz való hozzáférés demokratizálása.
Kulcskomponensek és architektúra
- GPU és tensor magok: A GB10 Superchip egy Nvidia Blackwell GPU-t tartalmaz, ötödik generációs tenzormaggal. Ezeket a tenzormagokat a mátrix szaporodáshoz optimalizálják, amelyek kulcsfontosságúak a mély tanulási feladatokhoz. Jelentősen javítják mind az edzési, mind a következtetési folyamatok teljesítményét azáltal, hogy a komplex AI számítások nagysebességű feldolgozását biztosítják.
-CPU: A Superchip nagy teljesítményű, 20 core ARM CPU-t tartalmaz, amely 10 Cortex X925 CPU magból és 10 A725 CPU magból áll. Ez a CPU javítja az adatok előfeldolgozását és hangszerelését, felgyorsítva a modellek hangolását és a valós idejű következtetéseket. Az ARM architektúrája hozzájárul a hatékony energiagazdálkodáshoz és a teljesítményhez, így alkalmas az Edge AI alkalmazásokra.
- Memória és összekapcsolás: A GB10 Superchip 128 GB egységes koherens memóriát kínál, amely elengedhetetlen a nagy AI modellek kezeléséhez. Az NVIDIA NVLINK-C2C-t használja, amely egy koherens CPU+GPU memóriamodellt biztosít, amely szignifikánsan magasabb sávszélességgel rendelkezik, mint a hagyományos PCIe interfészek. Ez az architektúra biztosítja a zökkenőmentes adatátvitelt a CPU és a GPU között, optimalizálva mind az edzési, mind a következtetési feladatokat.
Képzési és következtetési képességek
- Képzés: Noha a GB10 Superchip nem elsősorban olyan dedikált edzőcsipeként tervezhető, mint az NVIDIA Tesla GPU-ja, képes kezelni az AI modellek prototípusát és finomhangolását. Nagy teljesítményű GPU és CPU kombinációja lehetővé teszi a fejlesztők számára, hogy kisebb és közepes méretű modelleken dolgozzanak közvetlenül az asztalukon. Nagyobb modellek esetén a Cloud Services -szel együtt használható a szélesebb körű edzési feladatokhoz.
-Következtetés: A GB10 Superchip kitűnő a következtetési feladatokban, hatékonyan végrehajtva az előre kiképzett modelleket, hogy valós idejű döntéseket hozzon az új adatok alapján. Az FP4 pontosság és az ötödik generációs tenzormagok támogatása lehetővé teszi az AI modellek gyors és pontos feldolgozását, így ideális az alkalmazásokhoz, amelyek gyors következtetést igényelnek, mint például az Edge AI, a robotika és az intelligens IoT eszközök.
Méretezés és telepítés
Mind a projekt számjegyei, mind az ASUS Ascent GX10 lehetővé teszi az AI modellek zökkenőmentes telepítését a helyi asztali környezetekről a felhő- vagy adatközpont -infrastruktúrára az NVIDIA AI szoftver segítségével. Ez azt jelenti, hogy a fejlesztők prototípus modelleket tudnak helyben, majd méretezve a felhőben, jelentős kód -beállítások nélkül, megkönnyítve a hatékony iterációs és telepítési folyamatokat.
Összefoglalva: a GB10 Superchip célja, hogy felhatalmazza az AI fejlesztőket egy kompakt, mégis hatékony eszközzel mind az edzési, mind a következtetési feladatokhoz. Miközben inkább a következtetés és a prototípuskészítés felé irányul, képességei kiterjeszthetők a felhőalapú szolgáltatásokkal való integráció révén a kiterjedtebb képzési igények érdekében.
Idézetek:
[1] https://www.hyperstack.cloud/blog/thought-leadership/nvidia-project-digits-all-you-need-to-know-bout-blackwell-ai-superComputer
[2] https://www.nvidia.com/en-us/project-beigits/
[3] https://www.marketscreener.com/quote/stock/asustek-computer-inc-6492304/news/asus-introduces-ascent-gx10-ai-supercomputer-powered-by-nvidia-gb10-grace-blackwell-superchip-4933339/
[4] https://press.asus.com/news/press-releases/asus-introduces-ascent-gx-10-ai-supercomputer-powered-by-nvidia-gb-10-grace-blackwell-superchip/
[5] https://www.mediatek.com/press-room/mediatek-collaborates-with-nvidia-on-newnewnvidia-gb10-grace-blackwell-superchip-pouring-the-nvidia-project-számú-personal-ai-suppercuter.
[6] https://www.friendsofthemeterevese.com/blog/ai-chips-expolined-train-inference-processors- Invertied
[7] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
[8] https://www.reddit.com/r/deeplearning/comments/1hywfah/nvidia_project_digits_vs_rtx_5090_dilemma/
[9] https://meta-quantum.today/?p=3460
[10] https://newsroom.arm.com/blog/arm-nvidia-project-digits-high-pleformance-ai