GB10 Superchip의 통합 된 코 히어 런트 메모리는 응집력있는 CPU+GPU 메모리 모델을 제공하여 AI 모델 성능을 크게 향상시킵니다. 이 아키텍처를 사용하면 CPU와 GPU 간의 효율적인 데이터 전송 및 액세스가 가능하며, 이는 데이터 전처리 및 병렬 처리가 모두 필요한 AI 워크로드에 중요합니다. 이 메모리 시스템이 AI 모델 성능에 도움이되는 방법은 다음과 같습니다.
1. 효율적인 데이터 전송 : GB10 SuperChip은 NVIDIA의 NVLINK-C2C 인터커넥트를 사용하여 GPU와 CPU 간의 대역폭이 적고 긴장이 낮습니다. 이 상호 연결은 PCIE 5.0의 대역폭의 5 배를 제공하여 CPU와 GPU간에 데이터를 빠르고 효율적으로 전송하여 대기 시간을 줄이고 전반적인 시스템 성능을 향상시킬 수 있도록합니다 [1] [4].
2. 통합 메모리 액세스 : 통합 메모리 아키텍처를 통해 CPU와 GPU는 모두 명시적인 데이터 복사없이 동일한 메모리 공간에 액세스 할 수 있습니다. 개발자는 CPU와 GPU 간의 데이터 전송을 수동으로 관리 할 필요가 없으므로 프로그래밍을 단순화하고 메모리 관리 오버 헤드를 줄입니다. 이 통합 액세스를 통해 데이터 전처리 및 AI 모델 교육/추론과 같은 CPU 및 GPU 리소스가 모두 필요한 작업을 완벽하게 실행할 수 있습니다 [1] [3].
3. 대규모 모델 지원 : GB10 Superchip의 통합 메모리 시스템은 최대 128GB의 Coherent System 메모리를 지원합니다. 이 용량은 최대 2 천억 개의 매개 변수로 대형 AI 모델을 처리하기에 충분하므로 개발자가 프로토 타입, 미세 조정 및 데스크톱에서 직접 실행할 수 있습니다. NVIDIA ConnectX를 통해 다른 시스템과 연결되면 최대 405 억 파라미터의 모델을 지원할 수도 있습니다 [3] [4].
4. 전력 효율성 : GB10 Superchip의 Mediatek와의 협력은 전력 효율을 유지하면서 고성능을 달성 할 수 있도록합니다. 이를 통해 시스템은 표준 전기 콘센트를 사용하여 작동 할 수 있으므로 특수 전력 인프라가 필요하지 않고 데스크탑 환경에 적합합니다 [4] [5].
요약하면, GB10 Superchip의 통합 된 일관된 메모리는 효율적인 데이터 전송을 촉진하고, 메모리 관리를 단순화하고, 대규모 모델을 지원하며, 전력 효율성을 유지함으로써 AI 모델 성능을 향상시킵니다. 이러한 기능은 데스크탑 규모로 복잡한 AI 모델을 사용해야하는 AI 연구원 및 개발자에게 이상적인 솔루션입니다.
인용 :
[1] https://www.asus.com/news/9ccgzbgiuaqcjvuj/
[2] https://www.bigdatawire.com/this-just-in/nvidia-nveils-project-digits-ersonal-ai-supercomputer/
[3] https://www.marketscreener.com/quote/stock/asustek-computer-inc-6492304/news/asus-introduces-ascent-gx10-ai-supercomputer-powed-by-nvidia-gb10-grace-blackwell-superchip-4937239/
[4] https://dirox.com/post/nvidia-project-digits
[5] https://akihabaranews.com/nvidias-new-gb10-superchip/
[6] https://theexecutivepost.com/nvidia-digits-world-smallest-ai-supercomputer/
[7] https://www.engineering.com/nvidia-unveils-project-digits-personal-ai-supercomputer/
[8] https://www.nvidia.com/en-us/project-digits/
[9] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-ai-ai-developers-fingertips