Giám sát và đánh giá hiệu suất của DeepSeek-R1 trên các trường hợp GPU AWS bao gồm một số bước và công cụ. Đây là một hướng dẫn chi tiết về cách thực hiện nó một cách hiệu quả:
Công cụ và số liệu giám sát
Amazon CloudWatch
Amazon CloudWatch là một công cụ chính để giám sát tài nguyên AWS, bao gồm các trường hợp GPU. Nó thu thập và xử lý dữ liệu thô thành các số liệu có thể đọc được, gần thời gian thực. Đối với các trường hợp GPU, bạn có thể theo dõi các số liệu như:- Sử dụng GPU: Tỷ lệ GPU được phân bổ hiện đang được sử dụng.
- GpumEmoryUtilization: Tỷ lệ phần trăm của tổng bộ nhớ GPU đang sử dụng.
- CPUUTILIISS: Tỷ lệ phần trăm của các đơn vị tính toán EC2 được phân bổ đang sử dụng.
- MemoryUtilization: Tỷ lệ phần trăm bộ nhớ được sử dụng trong giai đoạn mẫu.
Để cho phép các số liệu sử dụng GPU, bạn cần cài đặt tác nhân CloudWatch trên các trường hợp của mình và định cấu hình nó để thu thập các số liệu GPU NVIDIA [2] [8].
Số liệu NVIDIA
Ngoài các số liệu của CloudWatch, bạn có thể sử dụng lệnh `nvidia-smi` để theo dõi hiệu suất GPU trong thời gian thực. Lệnh này cung cấp thông tin chi tiết về việc sử dụng GPU, sử dụng bộ nhớ và nhiệt độ [5].Số liệu đánh giá hiệu suất cho DeepSeek-R1
Khi đánh giá hiệu suất của các mô hình DeepSeek-R1, hãy tập trung vào các số liệu sau:
-Độ trễ từ đầu đến cuối: Thời gian giữa việc gửi yêu cầu và nhận phản hồi.
- Thông lượng (mã thông báo mỗi giây): Số lượng mã thông báo được xử lý mỗi giây.
- Thời gian đến mã thông báo đầu tiên: Thời gian được thực hiện để tạo mã thông báo đầu tiên trong phản hồi.
- Độ trễ giữa các lần: Thời gian giữa việc tạo mã thông báo trong một phản hồi [1] [4].
Kịch bản để kiểm tra
Để đánh giá hiệu suất của DeepSeek-R1 một cách hiệu quả, hãy xem xét kiểm tra các kịch bản khác nhau:- Độ dài mã thông báo đầu vào: Kiểm tra với độ dài đầu vào ngắn (ví dụ: 512 mã thông báo) và trung bình (ví dụ: 3072 mã thông báo) để đánh giá cách mô hình xử lý các kích thước đầu vào khác nhau.
- Cấp độ đồng thời: Đánh giá hiệu suất dưới các mức đồng thời khác nhau (ví dụ: 1, 10) để đánh giá khả năng mở rộng.
- Cấu hình phần cứng: Sử dụng các loại phiên bản GPU khác nhau (ví dụ: P4D, G5, G6) với số lượng GPU khác nhau để tìm cấu hình tối ưu cho khối lượng công việc của bạn [1] [4].
Thực tiễn tốt nhất để theo dõi và đánh giá
- Sử dụng Amazon Sagemaker: Triển khai các mô hình DeepSeek-R1 bằng cách sử dụng Sagemaker để tận dụng các khả năng giám sát hiệu suất và cơ sở hạ tầng được quản lý của nó.- Kiểm tra tùy chỉnh: Thực hiện kiểm tra tùy chỉnh với các bộ dữ liệu cụ thể của bạn và các trường hợp sử dụng để đảm bảo kết quả có liên quan đến ứng dụng của bạn.
- Giám sát liên tục: Thường xuyên giám sát các số liệu hiệu suất để xác định tắc nghẽn và tối ưu hóa việc sử dụng tài nguyên [4] [7].
Bằng cách làm theo các bước này và sử dụng các công cụ phù hợp, bạn có thể giám sát và đánh giá hiệu quả hiệu suất của Deepseek-R1 trên các phiên bản GPU AWS.
Trích dẫn:
.
[2] https://docs.aws.amazon.com/compute-optimizer/latest/ug/ec2-metrics-analyzed.html
.
.
.
[6] https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/llm-performance-evaluation/deepseek-r1-distilled/deepseek-r1-distilled-performance-evaluation-report.ipynb
[7] https://virtualizationreview.com/Articles/2025/03/11/AWS-First-Cloud-Giant-to-Offer-DeepSeek-R1-as-Fully-Managed-Serverless-Model.aspx
[8] https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Agent-NVIDIA-GPU.html
.