Việc sử dụng gating sigmoid trong DeepSeek-V3 mang lại một số lợi ích chính, đặc biệt là trong bối cảnh các mô hình hỗn hợp (MOE). Dưới đây là những lợi thế chi tiết:
1. Decoupling Router điểm số: Không giống như Gating Softmax truyền thống, giúp bình thường hóa điểm số trên tất cả các chuyên gia, SigMoid Gating cho phép điểm số của mỗi chuyên gia được tính toán độc lập. Điều này phân tách điểm số của bộ định tuyến, có nghĩa là việc kích hoạt một chuyên gia không ảnh hưởng trực tiếp đến việc kích hoạt người khác. Điều này có thể dẫn đến các quyết định định tuyến linh hoạt và sắc thái hơn, vì điểm của mỗi chuyên gia không bị hạn chế bởi điểm số của người khác [5].
2. Tránh sự tự tin quá mức: Gating SoftMax đôi khi có thể dẫn đến sự tự tin quá mức trong các quyết định định tuyến, trong đó một chuyên gia duy nhất được chọn với xác suất rất cao, có khả năng bỏ qua các chuyên gia có liên quan khác. Gating Sigmoid giảm thiểu điều này bằng cách cho phép nhiều chuyên gia được kích hoạt với xác suất cao, thúc đẩy việc sử dụng cân bằng hơn các chuyên gia trên toàn bộ mô hình [5].
3. Bảo tồn đóng góp của chuyên gia: Bằng cách sử dụng sigmoid gating, sự đóng góp của mỗi chuyên gia được bảo tồn hiệu quả hơn. Các giá trị gating, được nhân với các đầu ra của chuyên gia, có nguồn gốc từ điểm quan hệ ban đầu mà không cần chuẩn hóa. Điều này đảm bảo rằng tính toàn vẹn của sự đóng góp của mỗi chuyên gia được duy trì, ngay cả khi nhiều chuyên gia được kích hoạt [3].
4. Tính linh hoạt trong định tuyến: Sigmoid Gating cung cấp sự linh hoạt hơn trong các quyết định định tuyến, vì nó không thực thi bình thường hóa nghiêm ngặt trên tất cả các chuyên gia. Tính linh hoạt này có thể đặc biệt có lợi trong các kịch bản trong đó nhiều chuyên gia có liên quan như nhau để xử lý một mã thông báo đầu vào đã cho, cho phép mô hình tận dụng các nguồn kiến thức đa dạng hiệu quả hơn [5].
5. Giảm nguy cơ sụp đổ định tuyến: sự sụp đổ định tuyến xảy ra khi mô hình liên tục ủng hộ một tập hợp nhỏ các chuyên gia, trở lại một cách hiệu quả về một mô hình dày đặc. Gating sigmoid, kết hợp với các chiến lược cân bằng tải khác như các thuật ngữ sai lệch động, giúp ngăn chặn điều này bằng cách khuyến khích phân phối mã thông báo cân bằng hơn trên các chuyên gia mà không trực tiếp xử phạt sự mất cân bằng thông qua tổn thất phụ trợ [3].
Nhìn chung, việc sử dụng sigmoid gating trong DeepSeek-V3 giúp tăng cường khả năng quản lý chuyên môn chuyên môn và chia sẻ kiến thức một cách hiệu quả, góp phần vào hiệu suất mạnh mẽ và hiệu quả tính toán của nó.
Trích dẫn:
[1] https://community.aws/content/2rJj1WkztSfYwVfsIibhWxeqMf1/four-unique-takeaways-from-deepseek-v3?lang=en
[2] https://ai.gopubby.com/deepseek-v3-explained-2-deepseekmoe-106cffcc56c1
[3] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[4] https://www.linkedin.com/posts/niccolo-gentile-phd-02208160_there-is-understandably-quite-a-lot-of-activity-7289951426699493376-Q1Ob
[5] https://mlfrontiers.substack.com/p/understanding-deepseek-v3
.
[7] https://arxiv.org/html/2412.19437v1
[8] https://stackoverflow.com/questions/56318636/what-are-the-benefits-of-using-a-sigmoid-function