DeepSeek-R1 og Cohere's Command R (Aug 2024) er begge avanserte språkmodeller, men de viser distinkte forskjeller i ytelse, arkitektur og priser.
Arkitektur og trening:
-DeepSeek-R1 er en 671 milliarder parameterblanding-av-ekspert (MOE) -modell, med 37 milliarder aktiverte parametere per token. Den ble trent ved hjelp av storskala forsterkningslæring, med fokus på resonnementfunksjoner. Denne modellen inneholder to stadier av forsterkningslæring og to stadier av overvåket finjustering for å forbedre resonnement og ikke-besøkende evner [1] [3].
- Kommando R (august 2024), utviklet av Cohere, funksjoner forbedret flerspråklig gjenvinning-augmentert generasjon (RAG) og verktøy for bruk av verktøy. Den utmerker seg i matematikk-, kode- og resonnementoppgaver, og gir resultater som kan sammenlignes med forgjengeren, kommando R+[1] [3].
Performance Benchmarks:
- DeepSeek-R1 utfører sammenlignbart med Openais O1-modell på tvers av mange resonnerende benchmarks, inkludert matematikk- og kodeoppgaver. Det utmerker seg i kreative og langkontekstoppgaver som Alpacaeval 2.0 og Arenahard, og overgår andre modeller på disse områdene [2]. DeepSeek-R1 scoret 90,8% på MMLU-referanseindeksen og 84% på MMLU-Pro, og demonstrerte sterke resonnementfunksjoner [1].
- Kommando R (august 2024) oppnår en poengsum på 67% på MMLU-benchmark og 70% på HumaneVal, noe som indikerer solid ytelse i kodegenerering og problemløsing [1]. Imidlertid rapporteres ikke ytelsen på MMLU-Pro og andre spesifikke resonnerende benchmarks.
Priser og kostnader:
- DeepSeek-R1 er betydelig dyrere enn kommandoen R (aug 2024), med inngangskostnader til $ 0,55 per million symboler og produksjonskostnader til $ 2,19 per million symboler. Dette gjør det omtrent 3,7 ganger dyrere for både inngangs- og utgangstokener [1] [3].
- Kommando R (august 2024) tilbyr lavere kostnader, med inngangstokener priset til $ 0,15 per million og produksjonstokens til $ 0,60 per million [1] [4].
Open source og fellesskap:
-DeepSeek-R1 er åpen kildekode, noe som gir mulighet for fellesskapsdrevne forbedringer og modifikasjoner. Denne åpenheten kan føre til mer gjennomsiktige utviklings- og tilpasningsmuligheter [1] [5].
- Kommando R (august 2024) er ikke åpen kildekode, og begrenser samfunnsengasjement i dens utvikling og tilpasning [1].
Rask følsomhet:
-DeepSeek-R1 er følsom for spørsmål, med få-skudd som ber ofte nedbryter ytelsen. Det anbefales å bruke null-shot-anmodning med klare instruksjoner for optimale resultater [2].
- Det er ingen spesifikk omtale av hurtig følsomhet for kommando R (august 2024) i tilgjengelig informasjon.
Oppsummert, mens begge modellene har sterke resonnementfunksjoner, utmerker DeepSeek-R1 seg i visse benchmarks og tilbyr open source fleksibilitet, men til en høyere pris. Kommando R (august 2024) er mer kostnadseffektivt og gir konkurransedyktig ytelse på spesifikke områder som kodegenerering.
Sitasjoner:
[1] https://docsbot.ai/models/compare/command-r-08-2024/deepseek-r1
[2] https://www.prompthub.us/blog/deepseek-1-model-overview-and-how-it-ranks-ainst-openais-o1
[3] https://docsbot.ai/models/compare/deepseek-r1/command-r-08-2024
[4] https://artificialanalysis.ai/models/command-r
[5] https://blog.promptlayer.com/deepseek-r1-vs-o1/
[6] https://artificialanalysis.ai/models
[7] https://artificialanalysis.ai/models/command-r-03-2024
[8] https://explodingtopics.com/blog/list-of-lms