NVIDIA GB10 SuperChip, представлений у таких системах, як DGX Spark та Digits Project, розроблений з моделлю пам'яті CPU+GPU-когерентного з використанням технології взаємодії NVIDIA NVLINK-C2C. Ця архітектура забезпечує значне збільшення пропускної здатності пам'яті порівняно з традиційними інтерфейсами PCIE, що пропонує п'ять разів більше пропускної здатності PCIE п’ятого покоління [1] [4]. Однак точна пропускна здатність пам'яті GB10 SuperChip не прямо зазначена в наявній інформації.
Для порівняння, інші графічні процесори, які зазвичай використовуються з Tensorflow, мають добре задокументовану пропускну здатність пам'яті:
- GPU NVIDIA A100: Цей GPU має пропускну здатність пам'яті 1555 ГБ/с, що значно вище, ніж у багатьох графічних процесорах споживачів. A100 розроблений для високоефективних обчислювальних та глибоких навчальних завдань, що робить його одним із найшвидших наявних варіантів [2] [6].
- GPU NVIDIA V100: З пропускною здатністю пам'яті 900 ГБ/с, V100 - це ще один потужний графічний процесор, який використовується в програмах глибокого навчання. Він менший, ніж A100, але все ще пропонує значні показники для вимогливих завдань [2] [6].
- NVIDIA RTX 3090: Цей GPU для споживачів має пропускну здатність пам'яті приблизно 936,2 ГБ/с, що високо для споживчого GPU, але нижче A100 та V100 [3].
- NVIDIA RTX 5090: Цей графічний процесор має пропускну здатність пам'яті 1792 ГБ/с, що робить його одним з найшвидших GPUS-GPU, доступних для таких завдань, таких як глибоке навчання та висновки AI [7].
Що стосується продуктивності для додатків TensorFlow, пропускна здатність пам'яті має вирішальне значення, оскільки вона визначає, наскільки швидко можна переміщувати дані між ядрами пам'яті та обчисленням. Незважаючи на те, що точна пропускна здатність пам'яті GB10 Superchip не вказана, його використання технології NVLink-C2C пропонує оптимізовано для додатків з високою пропускною здатністю, що потенційно пропонує переваги продуктивності, подібні до або перевищення деяких графічних процесорів високого класу, як A100 у певних сценаріях через його когерентну модель пам'яті. Однак без конкретних чисел пропускної здатності прямі порівняння є складними.
GB10 SuperChip призначений для розробки AI і пропонує уніфіковану, цілісну пам’ять, яка може бути особливо корисною для завдань, які потребують безперебійного доступу до даних між процесором та GPU, такими як масштабне навчання моделі AI та висновки. Ця архітектура дозволяє ефективно прототипувати та розгортати моделі AI на різних платформах, включаючи хмарні та центрі обробки даних [1] [4].
Цитати:
[1] https://nvidianews.nvidia.com/news/nvidia-announces-dgx-spark-and-dgx-station-personal-ai-computers
[2] https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/
[3] https://stackoverflow.com/questions/67760118/incorrect-memory-bandwidth-when-using-tensorflow
[4] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
[5] https://forums.developer.nvidia.com/t/difference-of-memory-usage-at-each-gpu-model-during-tensorflow-c-inference/84392
[6] https://www.digitalocean.com/community/tutorials/gpu-memory-bandwidth
[7] https://forums.fast.ai/t/nvidia-project-digits-vs-rtx-5090-dilemma/115883
[8] https://blog.tensorflow.org/2022/01/improved-tensorflow-27-operations-for.html
[9] https://ms.codes/blogs/computer-hardware/tensorflow-cpu-faster-than-gpu