DeepSeek-v3은 균형 잡힌 전문가 활용을 유지하고 성능을 향상시키기 위해 설계된 혁신적인 전략의 조합을 통해 단일 시퀀스 내에서 극도의 불균형을 해결합니다.
보조 손실이없는 밸런싱 전략
DeepSeek-V3은 MOE (Mix-of-Experts) 아키텍처 중에서로드 밸런싱을위한 보조 손실이없는 전략을 사용합니다. 이 방법은 훈련 중 사용량을 기준으로 각 전문가와 관련된 바이어스 용어를 동적으로 조정합니다. 구체적으로, 전문가가 과도한 활용률을 높이면 편견이 선택 확률을 낮추기 위해 감소하는 반면, 활용률이 낮은 전문가는 선택 가능성을 높이기 위해 편견이 증가합니다. 이러한 동적 조정은 모든 전문가가 교육 프로세스 전반에 걸쳐 더 고르게 활용되도록하여 단일 전문가가 과부하가되지 않도록합니다 [1] [3].시퀀스 별 균형 손실
보조 손실이없는 전략 외에도 DeepSeek-V3는 보완적인 시퀀스 별 균형 손실을 통합합니다. 이 손실 함수는 개별 시퀀스 내에서 극심한 불균형을 방지하도록 특별히 설계되었습니다. 작은 밸런스 계수를 적용 함으로써이 모델은 토큰을 가로 질러 전문가 부하의보다 균일 한 분포를 순서대로 권장합니다. 이 접근법은 불균형 전문가 활용으로 인해 단일 토큰이 모델의 전반적인 성능에 불균형 적으로 영향을 미치지 않도록합니다 [1] [4].미세한 양자화
DeepSeek-V3는 또한 활성화 특이점을 효과적으로 관리하기 위해 세밀한 양자화 전략을 활용합니다. 이 방법에는 모든 값에 걸쳐 단일 스케일링 계수를 적용하기보다는보다 세분화 된 수준에서 활성화를 스케일링하는 것이 포함됩니다. 활성화 및 가중치를 작은 타일로 그룹화 함으로써이 모델은보다 일반적인 값에 대한 정밀도를 잃지 않고 극단적 인 값을 더 잘 처리 할 수 있습니다. 이 세분성은 훈련 중 특이 치의 영향을 완화하는 데 도움이되며, 이는 시퀀스에서 균형 잡힌 표현을 유지하는 데 중요합니다 [2] [3].결론
이러한 결합 된 전략을 통해 전문가 활용 및 시퀀스 별 균형 손실에 대한 동적 편향 조정은 DeepSeek-V3가 시퀀스 내에서 극도의 불균형을 효과적으로 관리하면서 성능 및 자원 효율성을 최적화합니다. 이 다각적 인 접근 방식은 다양한 데이터 입력에 직면해도 훈련 중에 높은 정확도와 안정성을 유지할 수 있습니다.인용 :
[1] https://arxiv.org/html/2412.19437v1
[2] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeways-from-deepseek-v3?lang=en
[3] https://ai.plainenglish.io/deepseek-v3-how-they-achieved-big-gresults-with-small-compute-fb694606d59a?gi=f48ced057a1f
[4] https://www.linkedin.com/posts/sagar-s-desai_deepseekv3-mixturefexperts-languagemodel-activity-7278419435395170304-meki
[5] https://arxiv.org/pdf/2412.19437.pdf
[6] https://planetbanatt.net/articles/deepseek.html
[7] https://www.youtube.com/watch?v=ypxtz3i6xvo
[8] https://venturebeat.com/ai/deepseek-v3-ultra-large-open-source-ounperforms-llama-and-qwen-on-launch/