Deepseek-R1 en CoHere's Command R (augustus 2024) zijn beide geavanceerde taalmodellen, maar ze vertonen verschillende verschillen in prestaties, architectuur en prijzen.
architectuur en training:
-Deepseek-R1 is een 671 miljard parametermengsel-van-experts (MOE) -model, met 37 miljard geactiveerde parameters per token. Het werd getraind met behulp van grootschalige versterkingsleren, gericht op redeneermogelijkheden. Dit model bevat twee fasen van het leren van versterking en twee stadia van begeleide verfijning om de redenering en niet-herhalende vaardigheden te verbeteren [1] [3].
- Command R (aug 2024), ontwikkeld door COLHERE, beschikt over verbeterde meertalige retrieval-augmented generatie (dag) en gereedschapsgebruikmogelijkheden. Het blinkt uit in wiskunde-, code- en redeneringstaken en biedt resultaten die vergelijkbaar zijn met zijn voorganger, commando r+[1] [3].
Prestatiebenchmarks:
- Deepseek-R1 presteert vergelijkbaar met het O1-model van Openai in vele redeneerbenchmarks, waaronder wiskunde- en codetaken. Het blinkt uit in creatieve en lange-context-taken zoals Alpacaeval 2.0 en Arenahard, wat beter presteert dan andere modellen in deze gebieden [2]. Deepseek-R1 scoorde 90,8% op de MMLU-benchmark en 84% op MMLU-Pro, wat sterke redeneermogelijkheden aantoont [1].
- Command R (augustus 2024) behaalt een score van 67% op de MMLU-benchmark en 70% op Humaneval, wat duidt op solide prestaties bij het genereren van codes en probleemoplossing [1]. De prestaties ervan op MMLU-PRO en andere specifieke redeneerbenchmarks worden echter niet gerapporteerd.
Prijzen en kosten:
- Deepseek-R1 is aanzienlijk duurder dan commando R (augustus 2024), met inputkosten voor $ 0,55 per miljoen tokens en outputkosten voor $ 2,19 per miljoen tokens. Dit maakt het ongeveer 3,7 keer duurder voor zowel invoer- als uitvoertokens [1] [3].
- Command R (augustus 2024) biedt lagere kosten, met input tokens geprijsd op $ 0,15 per miljoen en output tokens voor $ 0,60 per miljoen [1] [4].
Open-source en gemeenschap:
-Deepseek-R1 is open-source, waardoor gemeenschapsgestuurde verbeteringen en aanpassingen mogelijk zijn. Deze openheid kan leiden tot meer transparante ontwikkelings- en aanpassingsmogelijkheden [1] [5].
- Command R (augustus 2024) is geen open-source, waardoor de betrokkenheid van de gemeenschap bij de ontwikkeling en aanpassing beperkt [1].
Snelle gevoeligheid:
-Deepseek-R1 is gevoelig voor prompts, waarbij weinig shot wordt gevraagd vaak de prestaties te degraderen. Het wordt aanbevolen om nul-shot te gebruiken met duidelijke instructies voor optimale resultaten [2].
- Er is geen specifieke vermelding van snelle gevoeligheid voor opdracht R (augustus 2024) in de beschikbare informatie.
Samenvattend, hoewel beide modellen sterke redeneermogelijkheden hebben, blinkt diepeek-R1 uit in bepaalde benchmarks en biedt open-source flexibiliteit, maar tegen hogere kosten. Command R (augustus 2024) is kosteneffectiever en biedt concurrerende prestaties op specifieke gebieden zoals het genereren van codes.
Citaten:
[1] https://docsbot.ai/models/compare/command-r-08-2024/deepseek-r1
[2] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-Openais-o1
[3] https://docsbot.ai/models/compare/deepseek-r1/command-r-08-2024
[4] https://artificialanalysis.ai/models/command-r
[5] https://blog.promptlayer.com/deepseek-r1-vs-o1/
[6] https://artificialanalysis.ai/models
[7] https://artificialanalysis.ai/models/command-r-03-2024
[8] https://explodingtopics.com/blog/list-of-llms