DeepSeek-V3 решает крайний дисбаланс в одной последовательности посредством комбинации инновационных стратегий, предназначенных для поддержания сбалансированного использования экспертов и повышения производительности.
Стратегия балансировки без потери
Deepseek-V3 использует стратегию без вспомогательных убытков для балансировки нагрузки среди своей архитектуры смеси экспертов (MOE). Этот метод динамически корректирует термины смещения, связанные с каждым экспертом на основе их использования во время обучения. В частности, если эксперт чрезмерно используется, его смещение уменьшается, чтобы снизить вероятность отбора, в то время как недостаточно используемые эксперты видят увеличение их смещения, чтобы повысить вероятность их отбора. Эта динамическая корректировка помогает гарантировать, что все эксперты используются более равномерно на протяжении всего учебного процесса, что предотвращает перегрузку любого эксперта [1] [3].Последовательность в виде убытки баланса
В дополнение к стратегии без вспомогательного удержания, DeepSeek-V3 включает в себя дополнительную последовательность в виде потери баланса. Эта функция потерь специально разработана для предотвращения экстремальных дисбалансов в отдельных последовательностях. Применяя небольшой коэффициент баланса, модель поощряет более равномерное распределение экспертной нагрузки по токенам в последовательности. Этот подход гарантирует, что ни один токен непропорционально влияет на общую производительность модели из -за несбалансированного использования экспертов [1] [4].мелкозернистое квантование
DeepSeek-V3 также использует мелкозернистую стратегию квантования для эффективного управления выбросами активации. Этот метод включает в себя масштабирование активаций на более детальном уровне, а не применение одного коэффициента масштабирования по всем значениям. Группируя активации и веса в меньшие плитки, модель может лучше обрабатывать экстремальные значения, не теряя точность для более типичных значений. Эта гранулярность помогает смягчить влияние выбросов во время тренировок, что имеет решающее значение для поддержания сбалансированных представлений между последовательностями [2] [3].Заключение
Благодаря этим комбинированным стратегиям динамические корректировки смещения для использования экспертов и потери баланса с точки зрения последовательности DeepSeek-V3 эффективно управляет экстремальным дисбалансом в последовательностях при оптимизации производительности и эффективности ресурсов. Этот многогранный подход позволяет ему поддерживать высокую точность и стабильность во время обучения, даже когда они сталкиваются с разнообразными и сложными входными данными.Цитаты:
[1] https://arxiv.org/html/2412.19437v1
[2] https://community.aws/content/2rjj1wkztsfywvfsiibhwxeqmf1/four-unique-takeaways-from-deepseek-v3?lang=en
[3] https://ai.plainenglish.io/deepseek-v3-how-hey-ached-big-results-with-small-compute-fb694606d59a?gi=f48ced057a1f
[4] https://www.linkedin.com/posts/sagar-s-desai_deepseekv3-mixtureofexperts-languagedel-activity-7278419435395170304-meki
[5] https://arxiv.org/pdf/2412.19437.pdf
[6] https://planetbanatt.net/articles/deepseek.html
[7] https://www.youtube.com/watch?v=ypxTz3i6xvo
[8] https://venturebeat.com/ai/deepseek-v3-ultra-large-open-source-ai-outperforms-llama-and-qwen-on-launch/