Quais são as principais diferenças entre Deepseek-V3 e Deepseek-V2

Diferenças -chave

1. Arquitetura e parâmetros
-Deepseek-V3 apresenta uma arquitetura de mistura de especialistas (MOE) com um total de 671 bilhões de parâmetros, ativando apenas 37 bilhões por token. Esse design otimiza o uso de recursos, mantendo o alto desempenho [1] [3].
- Por outro lado, o Deepseek-V2 também utilizou uma estrutura MOE, mas com menos parâmetros e estratégias de balanceamento de carga menos eficientes, levando a uma maior sobrecarga de comunicação durante o treinamento [2].

2. Inovações de equilíbrio de carga
-Deepseek-V3 emprega uma estratégia de balanceamento de carga livre de perda de perda de perda, que melhora o desempenho do modelo sem as desvantagens tradicionais associadas ao balanceamento de carga nas arquiteturas MOE. Essa inovação garante que todos os tokens sejam processados ​​com eficiência durante o treinamento e a inferência, eliminando a queda de token [5] [7].
- Deepseek-V2 exigia mecanismos de perda auxiliar que pudessem degradar o desempenho devido ao aumento dos custos de comunicação [2].

3. Previsão com vários toques
-A introdução de um objetivo de previsão de vários toques no Deepseek-V3 aprimora a eficiência do treinamento e as capacidades de inferência. Isso permite que o modelo preveja vários tokens simultaneamente, acelerando significativamente os tempos de processamento e melhorando a precisão [1] [4].
- Deepseek-V2 não incorporou esse recurso, que limitou sua eficiência durante as tarefas de inferência [2].

4. Eficiência de treinamento
-O processo de treinamento da Deepseek-V3 é notavelmente eficiente, exigindo apenas 2,788 milhões de horas de GPU, o que é uma redução significativa em comparação com as demandas de treinamento do Deepseek-V2. Essa eficiência é alcançada através de técnicas avançadas de precisão mista (FP8) e estruturas de treinamento otimizadas [1] [5].
- A metodologia de treinamento do Deepseek-V2 foi menos otimizada, resultando em maior consumo de recursos para tarefas semelhantes [2].

5. Benchmarks de desempenho
-Em termos de desempenho, o Deepseek-V3 alcançou resultados de ponta em vários benchmarks, incluindo tarefas matemáticas de raciocínio e codificação, com pontuações como 87,1% em MMLU e 87,5% no BBH ** [1] [3 ].
- Enquanto o Deepseek-V2 fez contribuições significativas para a modelagem de idiomas, suas métricas de desempenho não eram tão competitivas quanto as da V3 [2].

Em resumo, o Deepseek-V3 representa uma atualização substancial sobre o DeepSeek-V2 por meio de arquitetura aprimorada, técnicas inovadoras de equilíbrio de carga, eficiência de treinamento aprimorada e desempenho superior em vários benchmarks. Esses avanços posicionam Deepseek-V3 como uma escolha líder no campo de grandes modelos de linguagem.