DeepSeek-R1 og Cohere's kommando R (Aug 2024) er begge avancerede sprogmodeller, men de udviser forskellige forskelle i ydeevne, arkitektur og prisfastsættelse.
Arkitektur og træning:
-DeepSeek-R1 er en 671 milliarder parameterblanding-af-eksperter (MOE) -model med 37 milliarder aktiverede parametre pr. Token. Det blev trænet ved hjælp af storstilet forstærkningslæring med fokus på ræsonnementsfunktioner. Denne model inkorporerer to faser af forstærkningslæring og to faser af overvåget finjustering for at forbedre ræsonnement og ikke-rasende evner [1] [3].
- Kommando R (Aug 2024), udviklet af Cohere, indeholder forbedret flersproget hentning-augmenteret generation (RAG) og værktøjsbrugsfunktioner. Det udmærker sig i matematik, kode og ræsonnementsopgaver, hvilket giver resultater, der kan sammenlignes med sin forgænger, kommando R+[1] [3].
Performance benchmarks:
- DeepSeek-R1 fungerer sammenligneligt med Openais O1-model på tværs af mange ræsonnement benchmarks, herunder matematik- og kodeopgaver. Det udmærker sig i kreative og lang kontekstopgaver som Alpacaeval 2.0 og Arenahard, der overgår andre modeller på disse områder [2]. DeepSeek-R1 scorede 90,8% på MMLU-benchmark og 84% på MMLU-Pro, hvilket demonstrerede stærke ræsonnementsfunktioner [1].
- Kommando R (aug 2024) opnår en score på 67% på MMLU-benchmark og 70% på Humaneval, hvilket indikerer solid ydeevne i kodegenerering og problemløsning [1]. Imidlertid rapporteres dens præstation på MMLU-Pro og andre specifikke begrundelsesbenchmarks ikke.
Prisfastsættelse og omkostninger:
- DeepSeek-R1 er markant dyrere end kommando R (aug 2024) med inputomkostninger til $ 0,55 pr. Million tokens og outputomkostninger til $ 2,19 pr. Million tokens. Dette gør det ca. 3,7 gange dyrere for både input- og output -tokens [1] [3].
- Kommando R (Aug 2024) tilbyder lavere omkostninger med input -tokens, der er prissat til $ 0,15 pr. Million og output -tokens til $ 0,60 pr. Million [1] [4].
Open source og samfund:
-DeepSeek-R1 er open source, hvilket giver mulighed for samfundsdrevne forbedringer og ændringer. Denne åbenhed kan føre til mere gennemsigtig udviklings- og tilpasningsmuligheder [1] [5].
- Kommando R (Aug 2024) er ikke open source, hvilket begrænser samfundsinddragelse i dens udvikling og tilpasning [1].
hurtig følsomhed:
-DeepSeek-R1 er følsom over for promp, med få skud, der ofte beder om at nedbryde sin præstation. Det anbefales at bruge nul-shot, der beder med klare instruktioner for optimale resultater [2].
- Der er ingen specifik omtale af hurtig følsomhed for kommando R (aug 2024) i de tilgængelige oplysninger.
Sammenfattende, mens begge modeller har stærke ræsonnementsfunktioner, udmærker DeepSeek-R1 sig i visse benchmarks og tilbyder open source-fleksibilitet, men til en højere pris. Kommando R (Aug 2024) er mere omkostningseffektiv og giver konkurrencedygtige resultater inden for specifikke områder som kodegenerering.
Citater:
[1] https://docsbot.ai/models/compare/Command-r-08-2024/deepseek-r1
)
[3] https://docsbot.ai/models/compare/deepseek-r1/command-r-08-2024
[4] https://artificialanalysis.ai/Models/Command-r
[5] https://blog.promplayer.com/deepseek-r1-vs- o1/
[6] https://artificialanalysis.ai/models
[7] https://artificialanalysis.ai/Models/Command-r-03-2024
[8] https://explodingtopics.com/blog/list-of-llms