„NVIDIA DGX“ stotis yra galinga AI skaičiavimo sistema, skirta duomenų centro lygio našumui pateikti darbalaukio formos faktoriuje. Jame yra „Advanced GB300 Grace Blackwell Ultra Desktop Superchip“ ir nemaža 784 GB nuoseklios atminties vietos, kuri yra labai svarbi didelio masto AI modelio mokymui ir išvadoms. DGX stoties atminties pralaidumas nėra aiškiai nurodytas naujausiose specifikacijose, tačiau žinoma, kad jis naudoja aukšto lygio atminties technologijas, tokias kaip „NVLINK-C2C“, kad būtų galima efektyviai perduoti duomenis tarp GPU ir procesorių.
Palyginimui, „DGX“ stoties pirmtako, kuris naudojo „Tesla V100 GPUS“, bendras NVLINK pralaidumas buvo iki 200 GB/s tarp GPU ryšio, ir ji panaudojo HBM2 atmintį, o didžiausias pralaidumas yra 900 GB/s Volta architektūrai [9] [10]. Tačiau tikimasi, kad naujesnė DGX stotis su „GB300 Superchip“ pasiūlys žymiai pagerėjusį našumą dėl savo pažengusios architektūros ir didesnės atminties.
Kitos AI skaičiavimo sistemos, tokios kaip „Micron DDR5“ atmintis, siūlo iki 614 GB/s teorinių maksimalių atminties pralaidumo, o tai yra naudinga AI išvadų darbo krūviams [2]. „DGX Spark“, mažesnė AI skaičiavimo sistema iš „Nvidia“, pasižymi 273 GB/s atminties pralaidumu, kuris yra labiau prieinamas ir tinkamas mažesniems AI modeliams [1] [4].
Aukščiausios klasės AI programoms tokios sistemos kaip „NVIDIA H100 GPU“ siūlo iki 3 TB/s atminties pralaidumą su HBM3 atmintimi, žymiai pranokdami daugelio kitų sistemų pralaidumą [5]. DGX stoties našumas yra tarp šių kraštutinumų, siūlančių didelės atminties talpos ir pažangios „Interconnect“ technologijos balansą, todėl ji yra tinkama reikalauti AI darbo krūvių, nepasiekiant ekstremalių duomenų centro orientuotų sprendimų, tokių kaip H100, pralaidumą.
Apskritai, tikimasi, kad DGX stoties atminties pralaidumas, nors ir aiškiai nenurodytas, turės didelę reikšmę dėl savo pažangios architektūros ir didelės atminties talpos, išdėstant ją kaip galingą AI kūrimo įrankį, kuris padidina atotrūkį tarp aukštos klasės duomenų centro sprendimų ir labiau prieinamų darbalaukio sistemų.
Citatos:
]
[2] https://www.micron.com/content/dam/micron/global/public/documents/products/technical-marketing-brief/ddr5-ai-inference-workload-performance-tech-brief.pdf
[3] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-tation-a100-system-architcture-white-paper_publed.pdf
[4] https://www.youtube.com/watch?v=KRBH0VON-2A
[5] https://www.linkedin.com/pulse/martini-straw-analogy-unraveling-memory-bandwidth-bottlenecks-jha-jlprc
[6] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-superkompiuteriai
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-park-and-dgx-stiation-personal-ai-computers.334300/
[8] https://www.iot-now.com/2024/02/07/141978-Ai-Te-The-Edge-Future-Og-Of-Memory ir Storage-incelering-Intelligence/
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-tation/