Процесс отбора DeepSeek-V3 предназначен для обеспечения сбалансированного и эффективного распределения задач по своим экспертам, используя смесь архитектуры экспертов (MOE). Этот процесс имеет решающее значение для достижения идеальной сочетания навыков, динамически активируя только самых релевантных экспертов для каждого входного токена.
Смесь экспертов (МО) Архитектура
DeepSeek-V3 использует архитектуру MOE, которая включает в себя разделение модели на нескольких «экспертов», каждый из которых специализируется на разных задачах или областях знаний. Модель имеет 1 общего эксперта и 256 маршрутизированных экспертов, с 8 маршрутизированными экспертами, выбранными как активные для каждого входного токена на основе их актуальности [1]. Этот подход позволяет модели более эффективно обрабатывать входы, активируя лишь долю от общего объема параметров 37 миллиардов из 671 миллиарда для каждой задачи [6] [7].
Процесс отбора экспертов
Выбор экспертов в DeepSeek-V3 основан на сродстве, который рассчитывается как точечный продукт встроенного токена входного токена и центроид конкретного эксперта. Этот показатель определяет, насколько хорошо эксперт соответствует потребностям ввода токена [1]. Модель использует стратегию отбора Top K, где для обработки выбираются эксперты с высокой оценкой. Чтобы избежать обрушения маршрутизации, где слишком много токенов отправляются нескольким экспертам, DeepSeek-V3 использует стратегию балансировки нагрузки без вспомогательных убытков.
Вспомогательный баланс нагрузки без потери
Эта стратегия включает в себя добавление предвзятости к оценке сродства во время маршрутизации. Смещение корректируется динамически на основе использования каждого эксперта в рамках партии. Если эксперт перегружен, его смещение уменьшается, чтобы отговорить дальнейшие назначения, в то время как эксперты недостаточно используют свое предвзятость, чтобы поощрять большее использование [1] [3]. Этот подход гарантирует, что рабочая нагрузка равномерно распределена по экспертам без необходимости дополнительных функций потери, что иногда может повредить производительности модели [4].
Преимущества процесса отбора экспертов
Процесс отбора экспертов в DeepSeek-V3 предлагает несколько преимуществ:
-Эффективность: активируя только соответствующих экспертов, модель снижает вычислительные накладные расходы, делая ее более экономически эффективным и энергоэффективным [6] [9].
- Специализация: каждый эксперт может специализироваться на конкретных задачах или областях знаний, что приводит к более детальной и точной обработке различных входов [1] [9].
- Масштабируемость: архитектура MOE допускает более крупные модели без чрезмерных вычислительных затрат, что позволяет разработать более сложные и способные системы ИИ [4] [6].
В целом, процесс отбора DeepSeek-V3 обеспечивает идеальное сочетание навыков, динамически распределяя задачи специализированным экспертам, оптимизировать эффективность и повышая производительность модели.
Цитаты:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://www.herohunt.ai/blog/deepseeks-ai-model-revolutionizing-global-recruitment
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-benefit-mixture-experts-models-qi-he-nkgbe
[5] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/
[6] https://alliedinsight.com/blog/deepseeks-technological-innovations-a-deep-dive-into-the-v3-model/
[7] https://huggingface.co/deepseek-ai/deepseek-v3
[8] https://mindflow.io/blog/deepseek-vs-openai-what-is-deepseek-hat-does-deepseek-do
[9] https://tldv.io/blog/what-is-deepseek/
[10] https://www.bentoml.com/blog/the-complete-guide-to-deepseek-models-from-v3-to-r1-and-beyond