Каковы основные различия между DeepSeek-V3 и DeepSeek-V2

Ключевые различия

1. Архитектура и параметры
-DeepSeek-V3 оснащен архитектурой смеси экспертов (MOE) с общей суммой 671 миллиарда параметров, активируя только 37 миллиардов на токен. Этот дизайн оптимизирует использование ресурсов, сохраняя при этом высокую производительность [1] [3].
- Напротив, DeepSeek-V2 также использовал структуру MOE, но с меньшим количеством параметров и менее эффективными стратегиями балансировки нагрузки, что привело к более высоким накладным расходам во время обучения [2].

2. Инновации балансировки нагрузки
-DeepSeek-V3 использует стратегию балансировки нагрузки без потери нагрузки, которая улучшает производительность модели без традиционных недостатков, связанных с балансировкой нагрузки в архитектурах МО. Это инновация гарантирует, что все токены эффективно обрабатываются как во время обучения, так и при выводе, устраняя падение токенов [5] [7].
- DeepSeek-V2 требовался механизмов вспомогательных потерь, которые могли бы снизить производительность из-за увеличения затрат на связь [2].

3. Многократный прогноз
-Введение целевой прогнозирования в Deepseek-V3 повышает как эффективность обучения, так и способности к выводу. Это позволяет модели прогнозировать несколько токенов одновременно, значительно ускоряя время обработки и повышая точность [1] [4].
- DeepSeek-V2 не включил эту функцию, которая ограничивала ее эффективность во время задач вывода [2].

4. Эффективность обучения
-Процесс обучения DeepSeek-V3 является заметно эффективным, требуя всего 2,788 миллиона часов графического процессора, что является значительным сокращением по сравнению с требованиями обучения DeepSeek-V2. Эта эффективность достигается с помощью расширенных методов смешанной точности (FP8) и оптимизированных учебных рамках [1] [5].
- Методология обучения DeepSeek-V2 была менее оптимизирована, что привело к более высокому потреблению ресурсов для аналогичных задач [2].

5. Производительные тесты
-С точки зрения производительности, DeepSeek-V3 достиг современных результатов по различным показателям, включая задачи математических рассуждений и кодирования, с такими оценками, как 87,1% по MMLU и 87,5% на BBH ** [1] [3 ]
- В то время как DeepSeek-V2 внес значительный вклад в языковое моделирование, его показатели эффективности были не такими конкурентными, как показатели V3 [2].

Таким образом, DeepSeek-V3 представляет собой существенное обновление по сравнению с DeepSeek-V2 за счет улучшенной архитектуры, инновационных методов балансировки нагрузки, повышения эффективности обучения и превосходной производительности в нескольких тестах. Эти достижения позиционируют DeepSeek-V3 как ведущий выбор в области крупных языковых моделей.