สถานี NVIDIA DGX และรุ่น DGX ก่อนหน้าเช่นสถานี DGX A100 และสถานี DGX รุ่นเก่าที่มี TESLA V100 GPU แสดงความแตกต่างอย่างมีนัยสำคัญในแบนด์วิดท์หน่วยความจำและสถาปัตยกรรมโดยรวม
สถานี DGX (รุ่นใหม่)
สถานี DGX ใหม่นั้นมาพร้อมกับ GB300 Grace Blackwell Ultra Desktop Superchip ซึ่งรวมถึง CPU Grace 72-core และ Blackwell Ultra GPU ระบบนี้มีหน่วยความจำ HBM3E GPU สูงถึง 288GB และหน่วยความจำ CPU LPDDR5X สูงสุด 496GB แบนด์วิดท์หน่วยความจำสำหรับหน่วยความจำ GPU ไม่ได้ระบุไว้อย่างชัดเจนในแง่ของ GB/S แต่ระบบรองรับแบนด์วิดท์หน่วยความจำสูงสุด 8 TB/s ซึ่งสูงกว่ารุ่นก่อนหน้าอย่างมีนัยสำคัญ แบนด์วิดท์หน่วยความจำ CPU สูงถึง 396 GB/S ** [5] [8]สถานี DGX A100
สถานี DGX A100 ใช้ Nvidia A100 SXM4 GPU สี่ตัวแต่ละตัวมีหน่วยความจำ HBM2 40 GB หรือ 80 GB ในขณะที่แบนด์วิดท์หน่วยความจำเฉพาะสำหรับรุ่นนี้ไม่ได้มีรายละเอียด A100 GPU เป็นที่รู้จักกันดีสำหรับแบนด์วิดท์หน่วยความจำสูงของพวกเขาโดยทั่วไปประมาณ 1,555 GB/s ต่อ GPU สำหรับหน่วยความจำ HBM2 ซึ่งจะรวมประมาณ 6,220 GB/s สำหรับระบบทั้งหมด [10]สถานี DGX พร้อม Tesla V100 GPUS
รุ่นสถานี DGX รุ่นเก่าที่มีสี่ Tesla V100 GPUs มีหน่วยความจำ HBM2 16 GB ต่อ GPU รวมเป็นหน่วยความจำ GPU 64 GB แบนด์วิดธ์หน่วยความจำสำหรับแต่ละ V100 GPU คือ 900 GB/s ทำให้เกิดแบนด์วิดท์หน่วยความจำ GPU ทั้งหมด 3.6 TB/s นอกจากนี้ระบบยังมีหน่วยความจำระบบ DDR4 256 GB แต่แบนด์วิดท์ของมันไม่สูงเท่ากับหน่วยความจำ GPU [2] [9]ความแตกต่างที่สำคัญ
- ประเภทหน่วยความจำและแบนด์วิดท์: สถานี DGX ใหม่ใช้ HBM3E สำหรับหน่วยความจำ GPU ซึ่งให้แบนด์วิดท์ที่สูงขึ้นอย่างมีนัยสำคัญเมื่อเทียบกับ HBM2 ที่ใช้ในรุ่นเก่า แบนด์วิดท์หน่วยความจำ CPU ได้รับการปรับปรุงด้วย LPDDR5X- สถาปัตยกรรม: สถานี DGX ใหม่รวมซีพียู Grace กับ Blackwell Ultra GPU ให้สถาปัตยกรรมที่มีประสิทธิภาพและมีประสิทธิภาพมากขึ้นสำหรับเวิร์กโหลด AI เมื่อเทียบกับรุ่นก่อนหน้า
- ความสามารถในการปรับขนาด: สถานี DGX ใหม่ได้รับการออกแบบมาเพื่อรองรับเวิร์กโหลด AI ที่กว้างขวางยิ่งขึ้นด้วยความจุหน่วยความจำที่สูงขึ้นและการเชื่อมต่อระหว่างกันที่เร็วขึ้นเช่น NVLINK-C2C ซึ่งมีแบนด์วิดท์เจ็ดเท่าของ PCIE Gen 5 [5] [8]
การอ้างอิง:
[1] https://www.reddit.com/r/localllama/comments/1jedy17/nvidia_digits_specs_relese_and_renamed_to_dgx/
[2] https://images.nvidia.com/content/newsletters/email/pdf/dgx-station-wp.pdf
[3] https://opentools.ai/news/nvidia-unleashes-the-future-with-personal-ai-supercomputers
[4] https://www.youtube.com/watch?v=KRBH0VON-2A
[5] https://www.notebookcheck.net/nvidia-unveils-dgx-station-desktop-ai-supercomputercomputer-72-core-cpu- และ blackwell-ultra-gpu.981669.0.html
[6] https://docs.nvidia.com/dgx/dgxa100-user-guide/introduction-to-dgxa100.html
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-dgx-spark-dgx-station-personal-ai-computers.334300/
[8] https://www.nvidia.com/en-us/products/workstations/dgx-station/
[9] https://xenon.com.au/product/nvidia-dgx-station/
[10] https://mcomputer.cz/en/products-and-services/nvidia/dgx-systems/nvidia-dgx-station-a100/