Deepseek-R1 e Cohere's Command R (agosto de 2024) são modelos de linguagem avançados, mas exibem diferenças distintas em desempenho, arquitetura e preços.
Arquitetura e treinamento:
-Deepseek-R1 é um modelo de mistura de especialistas de 671 bilhões de parâmetros (MOE), com 37 bilhões de parâmetros ativados por token. Foi treinado usando o aprendizado de reforço em larga escala, com foco nas capacidades de raciocínio. Este modelo incorpora dois estágios de aprendizado de reforço e dois estágios de ajuste fino supervisionado para aprimorar o raciocínio e as habilidades não raciocínio [1] [3].
- Command R (agosto de 2024), desenvolvido pela Cohere, apresenta recursos aprimorados de geração de recuperação multilíngue (RAG) e recursos de uso da ferramenta. Ele se destaca nas tarefas de matemática, código e raciocínio, fornecendo resultados comparáveis ao seu antecessor, comando r+[1] [3].
Benchmarks de desempenho:
- Deepseek-R1 tem um desempenho comparável ao modelo O1 da OpenAI em muitos benchmarks de raciocínio, incluindo tarefas de matemática e código. Ele se destaca em tarefas criativas e de longo prazo, como o Alpacaeval 2.0 e o Arenahard, superando outros modelos nessas áreas [2]. O Deepseek-R1 obteve 90,8% na referência MMLU e 84% no MMLU-Pro, demonstrando fortes recursos de raciocínio [1].
- Comando R (agosto de 2024) atinge uma pontuação de 67% na referência MMLU e 70% no Humaneval, indicando desempenho sólido na geração de código e solução de problemas [1]. No entanto, seu desempenho no MMLU-PRO e em outros benchmarks de raciocínio específico não é relatado.
Preço e custo:
- Deepseek-R1 é significativamente mais caro que o comando r (agosto de 2024), com custos de entrada em US $ 0,55 por milhão de tokens e custos de saída em US $ 2,19 por milhão de tokens. Isso o torna aproximadamente 3,7 vezes mais caro para os tokens de entrada e saída [1] [3].
- Comando R (agosto de 2024) oferece custos mais baixos, com tokens de entrada ao preço de US $ 0,15 por milhão e tokens de saída a US $ 0,60 por milhão [1] [4].
São-Aberto e Comunidade:
-Deepseek-R1 é de código aberto, permitindo melhorias e modificações orientadas pela comunidade. Essa abertura pode levar a possibilidades mais transparentes de desenvolvimento e personalização [1] [5].
- Comando R (agosto de 2024) não é de código aberto, limitando o envolvimento da comunidade em seu desenvolvimento e personalização [1].
Sensibilidade imediata:
-Deepseek-R1 é sensível a avisos, com poucos acumulados frequentemente degradando seu desempenho. Recomenda-se usar o acumulação de tiro zero com instruções claras para obter resultados ideais [2].
- Não há menção específica de sensibilidade imediata para o comando r (agosto de 2024) nas informações disponíveis.
Em resumo, enquanto ambos os modelos têm fortes recursos de raciocínio, o Deepseek-R1 se destaca em certos parâmetros de referência e oferece flexibilidade de código aberto, mas a um custo mais alto. O comando r (agosto de 2024) é mais econômico e fornece desempenho competitivo em áreas específicas, como geração de código.
Citações:
[1] https://docsbot.ai/models/compare/commandra-r-08-2024/deepseek-r1
[2] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[3] https://docsbot.ai/models/compare/deepseek-r1/command-r-08-2024
[4] https://artificialanalysis.ai/models/command-r
[5] https://blog.promptlayer.com/deepseek-r1-vs-o1/
[6] https://artificialanalysis.ai/models
[7] https://artificialanalysis.ai/models/command-r-03-2024
[8] https://explodingtopics.com/blog/list-of-llms