O roteamento limitado por nó (NLR) no Deepseek-V3 é uma estratégia projetada para otimizar a sobrecarga de comunicação durante o treinamento do modelo de modelo em larga escala (MOE). Essa abordagem se baseia em técnicas anteriores, como o roteamento limitado pelo dispositivo usado no Deepseek-V2, mas com foco na redução dos custos de comunicação entre nós.
Componentes -chave do NLR
1. Restringir as interações do nó: na NLR, cada token é enviado para a maioria dos nós $$ m $$, onde $$ m $$ é normalmente definido como um pequeno número, como 4 [7]. Essa restrição garante que os tokens não se comuniquem com um número excessivo de nós em todo o modelo, reduzindo significativamente a sincronização cruzada e a sobrecarga de comunicação [2] [5].
2. Seleção de especialistas: O processo de seleção envolve a identificação dos nós principais $$ M $$ que contêm especialistas com as mais altas pontuações de afinidade para um determinado token. Os especialistas finais de $$ k_r $$ são então escolhidos entre esses nós selecionados [3]. Este método garante que a comunicação seja focada e eficiente, minimizando a transferência de dados desnecessária entre nós.
3. Balanceamento de carga: Enquanto a própria NLR não aborda diretamente o balanceamento de carga, o Deepseek-V3 o integra com outras estratégias de balanceamento de carga. Por exemplo, ele usa termos de polarização para ajustar dinamicamente a utilização de especialistas, garantindo que nenhum especialista fique sobrecarregado enquanto outros permanecem ociosos [1] [5]. Essa abordagem ajuda a manter a eficiência computacional sem depender muito de perdas auxiliares que podem comprometer o desempenho do modelo.
Benefícios do NLR
- Sobrecarga de comunicação reduzida: Ao limitar o número de nós com os quais cada token pode se comunicar, a NLR diminui significativamente a quantidade de dados que precisam ser transferidos entre os nós. Essa redução na sobrecarga da comunicação leva a um treinamento mais rápido e tempos de inferência [2] [5].
-Escalabilidade aprimorada: o NLR permite que o Deepseek-V3 escala com mais eficiência, pois mitiga os gargalos causados pela comunicação internos excessiva. Essa escalabilidade é crucial para o manuseio de modelos MOE em larga escala e o processamento de grandes quantidades de dados [3] [5].
- Eficiência computacional aprimorada: garantindo que os tokens sejam processados em um conjunto limitado de nós, a NLR ajuda a manter uma carga computacional equilibrada em todo o sistema. Esse saldo é essencial para maximizar a utilização de recursos e minimizar gargalos de desempenho [4].
Em resumo, o roteamento limitado pelo nó no Deepseek-V3 otimiza a sobrecarga da comunicação, restringindo o número de nós que cada token pode interagir, reduzindo assim os custos de comunicação entre nós e melhorando a eficiência geral do sistema. Essa abordagem é complementada por estratégias dinâmicas de balanceamento de carga para garantir a utilização ideal de recursos durante o treinamento e a inferência do modelo.
Citações:
[1] https://machinelearningatscale.substack.com/p/deepseek-v3-model
[2] https://aman.ai/primers/ai/deepseek-r1/
[3] https://martinfowler.com/articles/deepseek-papers.html
[4] https://github.com/deepseek-ai/open-infra-index/blob/main/202502opensourceweek/day_6_one_more_thing_deepseekv3r1_inference_system_overview.md
[5] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[6] https://natlawreview.com/article/deepseek-ais-security-woes-impersonations-what-you-need-know
[7] https://arxiv.org/pdf/2412.19437.pdf
[8] https://builtin.com/artificial-intelligence/how-implement-deepseek-locally