Superchip NVIDIA GB10, vystupoval v systémech jako DGX Spark a Project Digies, je navržen s modelem CPU+GPU-Coherentní paměti pomocí technologie propojení NVIDIA NVLINK-C2C. Tato architektura poskytuje významnou zvýšení šířky pásma paměti ve srovnání s tradičními rozhraními PCIE a nabízí pětnásobek šířky pásma PCIe páté generace [1] [4]. Přesná šířka pásma paměti superchipu GB10 však není v dostupných informacích výslovně uvedena.
Ve srovnání, jiné GPU běžně používané s tensorflow mají dobře zdokumentované šířky pásma paměti:
- GPU NVIDIA A100: Tento GPU má šířku pásma paměti 1 555 GB/s, což je výrazně vyšší než mnoho GPU spotřebitelů. A100 je navržen pro vysoce výkonné výpočetní a hluboké učební úkoly, což z něj činí jednu z nejrychlejších dostupných možností [2] [6].
- GPU NVIDIA V100: S šířkou pásma paměti 900 GB/s je V100 další výkonný GPU používaný v aplikacích s hlubokým učením. Je to menší než A100, ale stále nabízí značný výkon pro náročné úkoly [2] [6].
- NVIDIA RTX 3090: Tento GPU pro spotřebitele má šířku pásma paměti přibližně 936,2 GB/s, což je vysoké pro GPU pro spotřebitele, ale nižší než A100 a V100 [3].
- NVIDIA RTX 5090: Tento GPU obsahuje šířku pásma paměti 1 792 GB/s, což z něj činí jeden z nejrychlejších GPU pro spotřebitele, který je k dispozici pro úkoly, jako je hluboké učení a inference AI [7].
Pokud jde o výkon pro aplikace Tensorflow, je šířka pásma paměti zásadní, protože určuje, jak rychle lze data pohybovat mezi pamětí a výpočetními jádry. Zatímco přesná šířka pásma pásma GB10 SuperChip není specifikována, její použití technologie NVLINK-C2C naznačuje, že je optimalizována pro aplikace s vysokou šířkou šířky, což potenciálně nabízí výkonnostní výhody podobné některým špičkovým GPU, jako je A100, v některých scénářích způsobených jeho soudržným paměťovým modelem. Bez konkrétních čísel šířky pásma je však přímé srovnání náročné.
Superchip GB10 je určen pro vývoj AI a nabízí sjednocenou koherentní paměť, která může být zvláště prospěšné pro úkoly, které vyžadují bezproblémový přístup k datům mezi CPU a GPU, jako je rozsáhlý trénink modelu AI a inference. Tato architektura umožňuje efektivní prototypování a nasazení modelů AI napříč různými platformami, včetně prostředí cloudového a datového centra [1] [4].
Citace:
[1] https://nvidianews.nvidia.com/news/nvidia-announces-Dgx-park-and-Dgx-station-to--ai-computers
[2] https://timdettmers.com/2023/01/30/which-gpu-for-eep-learning/
[3] https://stackoverflow.com/questions/67760118/incorrect-memory-pandWidth- When-Using-Tensorflow
[4] https://nvidianews.nvidia.com/news/nvidia-puts-race-lackwell-on-every-desk-and-at-every-ai-developers-fivertips
[5] https://forums.developer.nvidia.com/t/difference-of-Memory-Usage-at-each-g-model-During-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting-ting--inference/84392
[6] https://www.digitalocean.com/community/tutorials/gpu-memory-pandWidth
[7] https://forums.fast.ai/t/nvidia-project-Digits-vs-rtx-5090-dilemma/115883
[8] https://blog.tenssorflow.org/2022/01/improved-tisorflow-27-Operations-for.html
[9] https://ms.codes/blogs/computer-hardware/tensorflow-cpu-mater-than-gpu