„NVIDIA GB10 Superchip“, rodomas tokiose sistemose kaip „DGX Spark“ ir „Project Digits“, yra suprojektuota naudojant CPU+GPU-coherent atminties modelį, naudojant „NVIDIA NVLINK-C2C Interconnect“ technologiją. Ši architektūra suteikia reikšmingą atminties pralaidumo padidėjimą, palyginti su tradicinėmis PCIE sąsajomis, penkis kartus didesnę penktosios kartos PCIE pralaidumą [1] [4]. Tačiau tikslus „GB10 Superchip“ atminties pralaidumas nėra aiškiai nurodytas turimos informacijos.
Palyginimui, kiti GPU, paprastai naudojami su „Tensorflow“, turi gerai dokumentuotų atminties pralaidumą:
- „NVIDIA A100 GPU“: šio GPU atminties pralaidumas yra 1 555 GB/s, kuris yra žymiai didesnis nei daugelis vartotojų lygio GPU. A100 yra skirtas didelio našumo skaičiavimo ir giluminio mokymosi užduotims, todėl tai yra viena greičiausių galimybių [2] [6].
- „NVIDIA V100 GPU“: Kai atminties pralaidumas yra 900 GB/s, V100 yra dar vienas galingas GPU, naudojamas giluminio mokymosi programose. Tai yra mažiau nei A100, tačiau vis tiek siūlo reikšmingą užduočių atlikimą [2] [6].
- „NVIDIA RTX 3090“: Šis vartotojo lygio GPU atminties pralaidumas yra maždaug 936,2 GB/s, kuris yra didelis vartotojo GPU, tačiau mažesnis nei A100 ir V100 [3].
- „NVIDIA RTX 5090“: Šis GPU pasižymi 1,792 GB/s atminties pralaidumu, todėl jis yra vienas greičiausių vartotojų lygio GPU, prieinamų tokioms užduotims kaip gilus mokymasis ir AI išvada [7].
Kalbant apie „TensorFlow“ programų našumą, atminties pralaidumas yra labai svarbus, nes nustato, kaip greitai duomenis galima perkelti tarp atminties ir skaičiavimo branduolių. Nors tikslus „GB10 Superchip“ atminties pralaidumas nenurodytas, jo naudojimas NVLINK-C2C technologija rodo, kad ji yra optimizuota aukšto lygio pločio programoms, o tai gali suteikti našumo privalumus, panašius į kai kuriuos aukštos klasės GPU, kaip A100, tam tikrais scenarijais dėl jo koherentinės atminties modelio. Tačiau be konkrečių pralaidumo numerių tiesioginiai palyginimai yra sudėtingi.
„GB10 Superchip“ yra skirtas AI kūrimui ir siūlo vieningą, nuoseklią atmintį, kuri gali būti ypač naudinga atliekant užduotis, kurioms reikalinga sklandžiai prieiga prie CPU ir GPU, tokių kaip didelio masto AI modelio mokymas ir išvados. Ši architektūra leidžia efektyviai sukurti AI modelių prototipų kūrimą ir diegimą įvairiose platformose, įskaitant debesų ir duomenų centro aplinką [1] [4].
Citatos:
[1] https://nvidianews.nvidia.com/news/nvidia-announces-dgx-park-and-dgx-station-personal-ai-computers
[2] https://timdettmers.com/2023/01/30/which-gpu-for---leeNing/
[3] https://stackoverflow.com/questions/67760118/incorrect-memory-bandwidth-when-sing-tensorflow
[4] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-at-every-ai-developers-fingterps
[5] https://forums.developer.nvidia.com/t/difference-of-memory-usage-at-ech-gpu-model-during-tensorflow-cinference/84392
[6] https://www.digitalocean.com/community/tutorials/gpu-memory-bandwidth
[7] https://forums.fast.ai/t/nvidia-project-digits-vs-rtx-5090-dilemma/115883
[8] https://blog.tensorflow.org/2022/01/improved-tensorflow-27-operations-for.html
[9] https://ms.codes/blogs/computer-hardware/tensorflow-cpu-faster-than-gpu