DeepSeek-R1 i COHERE's Command R (sierpień 2024) są zaawansowanymi modelami językowymi, ale wykazują wyraźne różnice w wydajności, architekturze i cenach.
Architektura i szkolenie:
-Deepseek-R1 to model mieszanki parametrów 671 miliardów parametrów (MOE), z 37 miliardami parametrów aktywowanych na token. Został przeszkolony przy użyciu uczenia się wzmocnienia na dużą skalę, koncentrując się na możliwościach rozumowania. Model ten zawiera dwa etapy uczenia się wzmocnienia i dwa etapy nadzorowanego dostrajania w celu zwiększenia zdolności rozumowania i nieuzasadnieniach [1] [3].
- Command R (sierpień 2024), opracowany przez COHERE, zawiera ulepszone wielojęzyczne generowanie w zakresie pobierania (RAG) i możliwości używania narzędzia. Wyróżnia się w zadaniach matematyki, kodu i rozumowania, zapewniając wyniki porównywalne z jego poprzednikiem, Command R+[1] [3].
Benchmarks wydajności:
- Deepseek-R1 działa porównywalnie z modelem O1 Openai w wielu odniesieniach, w tym zadaniach matematycznych i kodowych. Wyróżnia się w zadaniach kreatywnych i długotekstowych, takich jak Alpacaeval 2.0 i Arenahard, przewyższając inne modele w tych obszarach [2]. DeepSeek-R1 uzyskał 90,8% w odniesieniu MMLU i 84% na MMLU-PRO, wykazując silne możliwości rozumowania [1].
- Command R (sierpień 2024) osiąga wynik 67% w odniesieniu do testu Benchme MMLU i 70% w Humaneval, co wskazuje na solidną wydajność w wytwarzaniu kodu i rozwiązywanie problemów [1]. Jednak jego wydajność na MMLU-PRO i innych konkretnych testach testowych rozumowania nie jest zgłaszana.
Wycena i koszt:
- DeepSeek-R1 jest znacznie droższy niż Command R (sierpnia 2024 r.), A koszty nakładu wynoszące 0,55 USD za milion tokenów, a koszty produkcji wynoszą 2,19 USD za milion tokenów. To sprawia, że jest około 3,7 razy droższe zarówno dla tokenów wejściowych, jak i wyjściowych [1] [3].
- Command R (sierpień 2024) oferuje niższe koszty, a tokeny wejściowe wyceniały 0,15 USD za milion, a tokeny wyjściowe wynosi 0,60 USD za milion [1] [4].
Open source i społeczność:
-Deepseek-R1 to open source, umożliwiający ulepszenia i modyfikacje oparte na społeczności. Ta otwartość może prowadzić do bardziej przejrzystych możliwości rozwoju i dostosowywania [1] [5].
- Command R (sierpień 2024) nie jest open source, ograniczając zaangażowanie społeczności w jego rozwój i dostosowywanie [1].
Ad
Szybka wrażliwość:
-DeepSeek-R1 jest wrażliwy na podpowiedzi, a niewielkie podpowiedzi często degraduje jego wydajność. Zaleca się użycie podpowiedzi zerowego z wyraźnymi instrukcjami dla optymalnych wyników [2].
- W dostępnych informacjach nie ma szczególnej wzmianki o szybkiej wrażliwości na polecenie R (sierpień 2024).
Podsumowując, podczas gdy oba modele mają silne możliwości rozumowania, Deepseek-R1 wyróżnia się w niektórych testach porównawczych i oferuje elastyczność open source, ale przy wyższych kosztach. Command R (sierpnia 2024) jest bardziej opłacalne i zapewnia konkurencyjną wydajność w określonych obszarach, takich jak generowanie kodu.
Cytaty:
[1] https://docsbot.ai/models/compare/command-r-08-2024/deepseek-r1
[2] https://www.pompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[3] https://docsbot.ai/models/compary/deepseek-r1/command-r-08-2024
[4] https://artififialanalysis.ai/models/command-r
[5] https://blog.promptlayer.com/deepseek-r1-vs-o1/
[6] https://artififialanalysis.ai/models
[7] https://artififialanalysis.ai/models/command-r-03-2024
[8] https://explodingtopics.com/blog/list-of-llms
