Velení DeepSeek-R1 a Cohere's R (Aug 2024) jsou pokročilé jazykové modely, ale vykazují zřetelné rozdíly ve výkonu, architektuře a cenách.
Architektura a školení:
-DeepSeek-R1 je model směsi expertů (MOE) 671 miliard parametrů s 37 miliardami aktivovaných parametrů na token. Byl vyškolen pomocí velkého učení zesílení se zaměřením na schopnosti uvažování. Tento model zahrnuje dvě fáze učení zesílení a dvě fáze podřízeného jemného doladění, aby se zvýšilo odůvodnění a neodůvodněné schopnosti [1] [3].
- Command R (Aug 2024), vyvinutý společností Cohere, obsahuje vylepšené vícejazyčné vyhledávání generace (RAG) a možnosti použití nástrojů. Vyniká v úkolech matematiky, kódu a uvažování a poskytuje výsledky srovnatelné s jeho předchůdcem, příkazem R+[1] [3].
Benchmarky výkonu:
- DeepSeek-R1 funguje srovnatelně s modelem OpenAI O1 v mnoha referenčních benchmarcích, včetně matematických a kódových úkolů. Vyniká v kreativních a dlouhodobých úkolech, jako jsou Alpacaeval 2.0 a Arenahard, překonává další modely v těchto oblastech [2]. DeepSeek-R1 skóroval 90,8% na benchmarku MMLU a 84% na MMLU-Pro, což prokazuje silné schopnosti uvažování [1].
- Command R (Aug 2024) dosahuje skóre 67% na benchmarku MMLU a 70% na Humanivalu, což ukazuje na pevný výkon při generování kódu a řešení problémů [1]. Jeho výkon na MMLU-PRO a dalších specifických benchmarkech zdůvodňování však není hlášen.
Ceny a náklady:
- DeepSeek-R1 je výrazně dražší než Command R (srpen 2024), se vstupními náklady na 0,55 USD za milion tokenů a výstupní náklady na 2,19 USD za milion tokenů. Díky tomu je zhruba 3,7krát dražší pro vstupní i výstupní tokeny [1] [3].
- Command R (Aug 2024) nabízí nižší náklady, přičemž vstupní tokeny jsou ceny 0,15 USD za milion a tokeny výstupu na 0,60 USD za milion [1] [4].
Open-source a komunita:
-DeepSeek-R1 je open-source, což umožňuje vylepšení a úpravy zaměřené na komunitu. Tato otevřenost může vést k transparentnějším možnostem rozvoje a přizpůsobení [1] [5].
- Command R (srpen 2024) není otevřený zdroj, což omezuje zapojení komunity do jeho rozvoje a přizpůsobení [1].
Rychlá citlivost:
-DeepSeek-R1 je citlivý na výzvy, přičemž jen málo vyvolává jeho výkon často. Doporučuje se použít výzvu nulového výstřelu s jasnými pokyny pro optimální výsledky [2].
- V dostupných informacích není žádná konkrétní zmínka o rychlé citlivosti pro příkaz R (srpen 2024).
Stručně řečeno, zatímco oba modely mají silné schopnosti uvažování, DeepSeek-R1 vyniká v určitých benchmarcích a nabízí flexibilitu s otevřeným zdrojovým zdrojem, ale za vyšší náklady. Příkaz R (srpen 2024) je nákladově efektivnější a poskytuje konkurenční výkon v konkrétních oblastech, jako je generování kódu.
Citace:
[1] https://docsbot.ai/models/compare/command-r-08-2024/deepseek-r1
[2] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-it-ranks-against-openais-o1
[3] https://docsbot.ai/models/compare/deepseek-r1/command-r-08-2024
[4] https://artificialanalysis.ai/models/command-r
[5] https://blog.promptlayer.com/deepseek-r1-vs-o1/
[6] https://artificialalysis.ai/models
[7] https://artificialanalysis.ai/models/command-r-03-2024
[8] https://explodingtopics.com/blog/list-of-llms