NVIDIA DGX stacija ir jaudīga AI skaitļošanas sistēma, kas paredzēta datu centra līmeņa veiktspējas nodrošināšanai darbvirsmas formas faktorā. Tam ir uzlabota GB300 Grace Blackwell Ultra Desktop Superchip un ievērojama 784 GB koherentas atmiņas telpas, kas ir būtiska liela mēroga AI modeļa apmācībai un secinājumam. DGX stacijas atmiņas joslas platums nav skaidri norādīts jaunākajās specifikācijās, taču ir zināms, ka tā izmanto augsta līmeņa platuma atmiņas tehnoloģijas, piemēram, NVLink-C2C, efektīvai datu pārsūtīšanai starp GPU un CPU.
Salīdzinājumam, DGX stacijas priekšgājējam, kurā tika izmantots Tesla V100 GPU, bija kopējais NVLink joslas platums līdz 200 GB/s starp GPU komunikācijai, un tas izmantoja HBM2 atmiņu ar maksimālo joslas platumu 900 GB/s Volta arhitektūrai [9] [10]. Tomēr paredzams, ka jaunākā DGX stacija ar GB300 Superchip piedāvās ievērojami uzlabotu veiktspēju, ņemot vērā tās uzlaboto arhitektūru un lielāku atmiņas ietilpību.
Citas AI skaitļošanas sistēmas, piemēram, tās, kuras izmanto Micron DDR5 atmiņu, piedāvā teorētisku maksimālo atmiņas joslas platumu līdz 614 GB/s, kas ir izdevīgi AI secinājumu darba slodzēm [2]. DGX Spark, mazāka NVIDIA AI skaitļošanas sistēma, satur atmiņas joslas platumu 273 GB/s, kas ir pieejamāks un piemērots mazākiem AI modeļiem [1] [4].
Augstas klases AI lietojumprogrammām tādas sistēmas kā NVIDIA H100 GPU piedāvā atmiņas joslas platumu līdz 3 TB/S ar HBM3 atmiņu, ievērojami pārsniedzot vairuma citu sistēmu joslas platumu [5]. DGX stacijas sniegums ir novietots starp šīm galējībām, piedāvājot augstas atmiņas ietilpības un uzlabotas starpsavienojuma tehnoloģijas līdzsvaru, padarot to piemērotu AI darba slodzes pieprasīšanai, nesasniedzot uz datu centra centra risinājumu ekstrēmo joslas platumu, piemēram, H100.
Paredzams, ka kopumā DGX stacijas atmiņas joslas platums, kaut arī nav skaidri norādīts, ir būtisks, pateicoties tās uzlabotajai arhitektūrai un lielajai atmiņas ietilpībai, pozicionējot to kā jaudīgu rīku AI izstrādei, kas novērš plaisu starp augstākās klases datu centra risinājumiem un pieejamākām darbvirsmas sistēmām.
Atsauces:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_releed_and_renamed_to_dgx/
.
[3.]
[4] https://www.youtube.com/watch?v=krbh0von-2a
[5] https://www.linkedin.com/pulse/martini-plaw-analogy-unraveling-memory-bandwidth-bottlenecks-jha-jlprc
[6.]
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-park-and-dgx-station-personal-ai-computers.334300/
.
[9] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[10] https://xenon.com.au/product/nvidia-dgx-station/