NVIDIA GB10 GRACE BLACKWELL SUPERCHIP는 AI 모델의 교육 및 추론을 효율적으로 처리하도록 설계된 강력한 시스템 온 칩 (SOC)입니다. NVIDIA Project Digits 및 ASUS Ascent GX10 AI Supercomputer와 같은 시스템의 중심이며, 고성능 AI 컴퓨팅에 대한 접근을 민주화하는 것을 목표로합니다.
키 구성 요소 및 아키텍처
-GPU 및 텐서 코어 : GB10 슈퍼 치프에는 5 세대 텐서 코어가 장착 된 NVIDIA BLACKWELL GPU가 있습니다. 이 텐서 코어는 매트릭스 곱셈에 최적화되어 딥 러닝 작업에 중요합니다. 그들은 복잡한 AI 계산의 고속 처리를 제공함으로써 훈련 및 추론 프로세스의 성능을 크게 향상시킵니다.
-CPU : 수퍼 칩에는 고성능 20 코어 암 CPU가 포함되어 있으며 10 개의 피질 X925 CPU 코어 및 10 개의 A725 CPU 코어로 구성됩니다. 이 CPU는 데이터 전처리 및 오케스트레이션을 향상시켜 모델의 튜닝 및 실시간 추론을 가속화합니다. ARM 아키텍처는 효율적인 전력 관리 및 성능에 기여하여 Edge AI 응용 프로그램에 적합합니다.
- 메모리 및 상호 연결 : GB10 Superchip은 128GB의 통합 코 히어 런트 메모리를 제공하며 이는 대형 AI 모델을 처리하는 데 필수적입니다. NVIDIA NVLINK-C2C를 사용하여 기존의 PCIE 인터페이스보다 대역폭이 상당히 높은 응집력있는 CPU+GPU 메모리 모델을 제공합니다. 이 아키텍처는 CPU와 GPU 간의 원활한 데이터 전송을 보장하여 교육 및 추론 작업을 최적화합니다.
훈련 및 추론 기능
- 교육 : GB10 슈퍼 치프는 주로 NVIDIA의 TESLA GPU와 같은 전용 교육 칩으로 설계되지 않았지만 AI 모델의 프로토 타이핑 및 미세 조정을 처리 할 수 있습니다. 고성능 GPU 및 CPU 조합을 통해 개발자는 데스크탑에서 중소형 모델을 직접 작업 할 수 있습니다. 더 큰 모델의 경우보다 광범위한 교육 작업을 위해 클라우드 서비스와 함께 사용할 수 있습니다.
-추론 : GB10 Superchip은 추론 작업에서 탁월하여 미리 훈련 된 모델을 효율적으로 실행하여 새로운 데이터를 기반으로 실시간 결정을 내립니다. FP4 정밀도 및 5 세대 텐서 코어에 대한 지원은 AI 모델의 빠르고 정확한 처리를 가능하게하여 Edge AI, 로봇 공학 및 스마트 IoT 장치와 같은 빠른 추론이 필요한 응용 프로그램에 이상적입니다.
확장 성 및 배포
프로젝트 숫자와 ASUS Ascent GX10은 모두 NVIDIA AI 소프트웨어를 사용하여 로컬 데스크톱 환경에서 클라우드 또는 데이터 센터 인프라로 AI 모델을 완벽하게 배치 할 수 있습니다. 이는 개발자가 모델 프로토 타입 모델을 로컬로 프로토 타입 한 다음 중요한 코드 조정없이 클라우드에서 확장하여 효율적인 반복 및 배포 프로세스를 용이하게 할 수 있음을 의미합니다.
요약하면, GB10 Superchip은 AI 개발자에게 교육 및 추론 작업을위한 작지만 강력한 도구를 제공하도록 설계되었습니다. 추론과 프로토 타이핑을 위해 더욱 적합하지만 클라우드 서비스와의 통합을 통해보다 광범위한 교육 요구를 통해 기능을 확장 할 수 있습니다.
인용 :
[1] https://www.hyperstack.cloud/blog/theought-leadership/nvidia-project-digits-all-you-need-to-bnow-the-bleacwell-ai-supercomputer
[2] https://www.nvidia.com/en-us/project-digits/
[3] https://www.marketscreener.com/quote/stock/asustek-computer-inc-6492304/news/asus-introduces-ascent-gx10-ai-supercomputer-powed-by-nvidia-gb10-grace-blackwell-superchip-4937239/
[4] https://press.asus.com/news/press-releases/asus-introduces-ascent-gx-10-ai-supercomputer-powered-by-nvidia-gb-10-grace-blackwell-superchip/
[5] https://www.mediatek.com/press-room/mediatek-collaborates-with-nvidia-on-the-new-nvidia-gb10-grace-blackwell-superchip-powering-the-nvidia-project-personal-ai-supercomputer
[6] https://www.friendsofthemetaverse.com/blog/ai-chips-plaining-training-vs inference-processors-neveiled
[7] https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-ai-ai-developers-fingertips
[8] https://www.reddit.com/r/deeplearning/comments/1hywfah/nvidia_project_digits_vs_rtx_5090_dilemma/
[9] https://meta-quantum.today/?p=3460
[10] https://newsroom.arm.com/blog/arm-nvidia-project-digits-high-performance-ai