Quá trình lựa chọn chuyên gia trong DeepSeek-V3 đảm bảo sự pha trộn hoàn hảo của các kỹ năng

Hỗn hợp kiến ​​trúc chuyên gia (MOE)

Deepseek-V3 sử dụng kiến ​​trúc MOE, liên quan đến việc chia mô hình thành nhiều "chuyên gia", mỗi chuyên gia trong các nhiệm vụ hoặc lĩnh vực kiến ​​thức khác nhau. Mô hình này có 1 chuyên gia chia sẻ và 256 chuyên gia được định tuyến, với 8 chuyên gia được định tuyến được chọn là hoạt động cho mỗi mã thông báo đầu vào dựa trên mức độ phù hợp của chúng [1]. Cách tiếp cận này cho phép mô hình xử lý đầu vào hiệu quả hơn bằng cách chỉ kích hoạt một phần tổng số tham số của nó 37 tỷ trên 671 tỷ cho mỗi nhiệm vụ [6] [7].

Quy trình lựa chọn chuyên gia

Việc lựa chọn các chuyên gia trong DeepSeek-V3 dựa trên điểm số mối quan hệ, được tính là sản phẩm DOT của việc nhúng mã thông báo đầu vào và trung tâm của một chuyên gia cụ thể. Điểm này xác định mức độ một chuyên gia phù hợp với nhu cầu của mã thông báo đầu vào [1]. Mô hình sử dụng chiến lược lựa chọn Top-K, trong đó các chuyên gia ghi điểm hàng đầu được chọn để xử lý. Để tránh sự sụp đổ định tuyến, trong đó quá nhiều mã thông báo được gửi đến một vài chuyên gia, Deepseek-V3 sử dụng chiến lược cân bằng tải không mất phụ trợ.

Cân bằng tải không mất phụ trợ

Chiến lược này liên quan đến việc thêm sự thiên vị vào điểm số quan hệ trong quá trình định tuyến. Sự thiên vị được điều chỉnh động dựa trên việc sử dụng từng chuyên gia trong một lô. Nếu một chuyên gia bị quá tải, sự thiên vị của nó bị giảm để ngăn chặn các nhiệm vụ tiếp theo, trong khi các chuyên gia bị sử dụng có sự thiên vị của họ tăng lên để khuyến khích sử dụng nhiều hơn [1] [3]. Cách tiếp cận này đảm bảo rằng khối lượng công việc được phân phối đồng đều giữa các chuyên gia mà không cần các chức năng tổn thất bổ sung, đôi khi có thể làm tổn thương hiệu suất mô hình [4].

Lợi ích của quá trình lựa chọn chuyên gia

Quá trình lựa chọn chuyên gia trong DeepSeek-V3 mang lại một số lợi ích:
-Hiệu quả: Bằng cách chỉ kích hoạt các chuyên gia có liên quan, mô hình giảm chi phí tính toán, làm cho nó hiệu quả hơn về chi phí và tiết kiệm năng lượng [6] [9].
- Chuyên môn hóa: Mỗi chuyên gia có thể chuyên về các nhiệm vụ hoặc lĩnh vực kiến ​​thức cụ thể, dẫn đến việc xử lý nhiều sắc thái và chính xác hơn các đầu vào đa dạng [1] [9].
- Khả năng mở rộng: Kiến trúc MOE cho phép các mô hình lớn hơn mà không có chi phí tính toán quá mức, cho phép phát triển các hệ thống AI phức tạp và có khả năng hơn [4] [6].

Nhìn chung, quy trình lựa chọn chuyên gia của DeepSeek-V3 đảm bảo sự pha trộn hoàn hảo của các kỹ năng bằng cách phân bổ động các nhiệm vụ cho các chuyên gia chuyên ngành, tối ưu hóa hiệu quả và nâng cao hiệu suất mô hình.

Trích dẫn:
[1)
[2] https://www.herohunt.ai/blog/deepseeks-ai-model-revolutionizing-global-recruitment
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-benefit-mixture-experts-moe-models-qi-he-nkgbe
.
.
[7] https://huggingface.co/deepseek-ai/deepseek-v3
[8] https://mindflow.io/blog/deepseek-vs-openai-what-is-deepseek-what-does-deepseek-do
[9] https://tldv.io/blog/what-is-deepseek/
[10] https://www.bentoml.com/blog/the-complete-guide-to-deepseek-models-from-v3-to-r1-and-beyond