Antropic's Claude 3.5 Sonet je nový a výkonný generativní model AI, který překonává konkurenty, jako je Chatgpt-4o, v několika oblastech [1]. Při hodnocení vnitřního agentického kódování Claude 3.5 Sonet vyřešil 64% problémů, zatímco Claude 3 Opus vyřešil 38% [1]. Na zdůvodnění na úrovni absolventů dosáhlo 59% ve srovnání s 53% ChatGPT-4O [1]. V uvažování nad textem Claude 3.5 Sonnet skóroval 87%a překonal ChatGPT-4O (83%), Google Gemini (74%) a Meta's Llama (83%) [1]. ChatGPT-4o však byl o 5% přesnější než Claude 3,5 při řešení matematických problémů [1].
Přes MMLU, GPQA, GSM8K, Math, MGSM, Humanival, Drop, Big-Bench-tvrdá, oblouk a Hellaswag Benchmarks, údaje Anthropic naznačují, že překonává GPT-4 [2]. Tyto testy zahrnují širokou škálu znalostí, od skutečností a matematiky po uvažování a generování kódů [2].
Modely Claude 3 Anthropic Claude 3, zejména Opus, obecně překonávají modely GPT-4 OpenAI a Gemini Google na různé úkoly [3]. Claude 3 vykazoval vynikající výkon v úkolech kódování a skóroval 84,9%na benchmarkech, jako je Humanival, překonávání GPT-4 (67%) a Gemini 1,0 Pro (67,7%) [3]. Sonnet Claude 3 také vynikal složitými kvantitativními analytickými úkoly, kde GPT-4 a Gemini někdy bojovali [3].
Antropic se rozšířil za text na vizuální vstupy pro tréninkové údaje s rodinou Claude 3 [7]. Modely Claude 3 také umožňují uživatelům analyzovat data, včetně obrázků, grafů a dokumentů, prostřednictvím své nové funkce multimodální podpory [4].
Při výběru modelu AI by se podniky měly zvážit přesnost, rychlost, soukromí, snadné nasazení nebo údržbu a náklady [4].
Citace:
[1] https://www.euronews.com/next/2024/06/20/anthropic-luunch-its-latest---Powerful-Generative-Ai-Model
[2] https://synthedia.substack.com/p/anthropic-says-it-wust-detron
[3] https://www.voiceflow.com/articles/anthropic-ai
[4] https://www.pymnts.com/news/artificial-intelligence/2024/how-anthropics-new-claude-3-ai-model-stacks-up-against-the- competition/
[5] https://cloud.google.com/solutions/anthropic
[6] https://www.Promptomptitude.io/post/navigating-the-ai-landscape-openai-vs-anthropic-vs-google-ai-in-2024
[7] https://www.nextplatform.com/2024/03/05/anthropic-fires-off-formmance-and-price-solvos-in-ai-war/
[8] https://big-agi.com/blog/ai-api-coparison-2024-annthropic-vs-google-vs-openai