Chạy Deepseek-R1 một cách hiệu quả trên AWS yêu cầu chọn đúng loại thể hiện dựa trên biến thể mô hình cụ thể và hiệu suất mong muốn. Dưới đây là tổng quan chi tiết về các phiên bản AWS được đề xuất cho các mô hình DeepSeek-R1 khác nhau:
DeepSeek-r1 (mô hình đầy đủ)
Mô hình DeepSeek-R1 đầy đủ, với 671 tỷ tham số, đòi hỏi các nguồn lực tính toán đáng kể. Để thực hiện tối ưu, nên thiết lập đa GPU, chẳng hạn như sử dụng GPU NVIDIA A100. Tuy nhiên, AWS không trực tiếp cung cấp GPU A100 trong các trường hợp EC2 tiêu chuẩn của nó. Thay vào đó, bạn có thể xem xét sử dụng các trường hợp như `inf2.48xlarge` cho các nhu cầu tính toán hiệu suất cao tương tự, mặc dù những điều này phù hợp hơn để tăng tốc suy luận thay vì đào tạo các mô hình lớn như Deepseek-R1 [4].Mô hình chưng cất DeepSeek-R1
Đối với các phiên bản chưng cất của Deepseek-R1, hiệu quả hơn và đòi hỏi ít VRAM hơn, các trường hợp AWS khác nhau có thể được sử dụng:-Deepseek-R1-Distill-Qwen-1.5b: Mô hình này có thể được chạy một cách hiệu quả trên một phiên bản GPU duy nhất. Ví dụ `ml.g5.xlarge` được khuyến nghị để lưu trữ mô hình này do các số liệu hiệu suất của nó [3].
-Deepseek-R1-Distill-Qwen-7b và DeepSeek-R1-Distill-Llama-8B: Các mô hình này thực hiện tốt trên các trường hợp như `ml.g6e.xlarge`, cung cấp sự cân bằng tốt về năng lượng và chi phí GPU. `Ml.g5.2xlarge` và` ml.g5.xlarge` cũng là các tùy chọn khả thi [3].
-Deepseek-R1-Distill-Qwen-14b: Đối với mô hình này, một trường hợp có GPU mạnh hơn là cần thiết. Ví dụ `g4dn.xlarge`, có tính năng GPU NVIDIA T4, có thể không đủ do các giới hạn VRAM của nó. Thay vào đó, hãy xem xét sử dụng các trường hợp có GPU mạnh hơn như trong họ `ml.g6` hoặc chọn thiết lập tùy chỉnh với GPU cao cấp hơn nếu có sẵn [1] [2].
-Deepseek-R1-Distill-Qwen-32b và Deepseek-R1-Distill-Llama-70B: Những mô hình lớn hơn này đòi hỏi GPU thậm chí còn mạnh hơn. Để có hiệu suất tối ưu, các trường hợp có GPU cao cấp như NVIDIA RTX 4090 được khuyến nghị, mặc dù GPU cụ thể như vậy không có sẵn trực tiếp trong các trường hợp AWS EC2 tiêu chuẩn. Tuy nhiên, bạn có thể sử dụng các trường hợp như `inf2.48xlarge` cho các tác vụ suy luận hiệu suất cao [4] [6].
Triển khai dựa trên CPU
Đối với các nhiệm vụ xử lý hàng loạt trong đó độ trễ không phải là yếu tố quan trọng, các trường hợp dựa trên AWS Graviton4 có thể cung cấp một giải pháp hiệu quả về chi phí. Ví dụ `c8g.16xlarge`, với số lượng cốt lõi và băng thông bộ nhớ cao, phù hợp để chạy các mô hình như DeepSeek-R1-Distill-Llama-70B trong môi trường chỉ CPU [6].Giải pháp được quản lý đầy đủ
Đối với người dùng không muốn quản lý cơ sở hạ tầng, DeepSeek-R1 cũng có sẵn như một mô hình không có máy chủ được quản lý đầy đủ trong Amazon Bedrock. Tùy chọn này cho phép bạn tận dụng các khả năng của mô hình mà không phải lo lắng về sự phức tạp cơ sở hạ tầng cơ bản [9].Tóm lại, việc lựa chọn thể hiện AWS để chạy DeepSeek-R1 một cách hiệu quả phụ thuộc vào biến thể mô hình cụ thể, mức hiệu suất cần thiết và liệu gia tốc GPU có cần thiết hay không. Đối với hầu hết các mô hình chưng cất, các trường hợp có GPU mạnh mẽ được khuyến nghị, trong khi các trường hợp dựa trên CPU có thể phù hợp cho các nhiệm vụ xử lý hàng loạt.
Trích dẫn:
[1] https://community.aws/content/2sEuHQlpyIFSwCkzmx585JckSgN/deploying-deepseek-r1-14b-on-amazon-ec2?lang=en
[2] https://dev.to/askyt/deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-3mf8
.
[4] https://huggingface.co/blog/deepseek-r1-aws
[5] https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
[6] https://community.aws/content/2rhRJI6cxBa1Ib5f3TjsfPadpXs/deploying-deepseek-r1-distill-llama-70b-for-batch-inference-on-aws-graviton4?lang=en
.
.
.