Sonnet Claude 3.5 d'Anthropic est un nouveau modèle d'IA génératif puissant qui surpasse les concurrents tels que ChatGPT-4O dans plusieurs domaines [1]. Dans une évaluation du codage agentique interne, Claude 3.5 Sonnet a résolu 64% des problèmes, tandis que Claude 3 Opus a résolu 38% [1]. Sur le raisonnement de niveau supérieur, il a marqué 59% par rapport aux 53% de ChatGPT-4O [1]. En raisonnement sur le texte, Claude 3,5 Sonnet a marqué 87%, surperformant ChatGPT-4O (83%), Google's Gemini (74%) et Meta's Llama (83%) [1]. Cependant, ChatGPT-4O était 5% plus précis que Claude 3.5 en résolution de problèmes mathématiques [1].
À travers le MMLU, GPQA, GSM8K, Math, MGSM, Humaneval, Drop, Big-Bench, le challenge d'arc et les références Hellaswag, les données d'Anthropic le suggèrent de surpasser GPT-4 [2]. Ces tests englobent un large éventail de connaissances, des faits et des mathématiques au raisonnement et à la génération de code [2].
Les modèles Claude 3 d'Anthropic, en particulier Opus, surpassent généralement le GPT-4 d'OpenAI et les modèles Gemini de Google sur diverses tâches [3]. Claude 3 a montré des performances supérieures dans les tâches de codage, marquant 84,9% sur des références comme Humaneval, surperformant le GPT-4 (67%) et Gemini 1.0 Pro (67,7%) [3]. Claude 3 Sonnet a également excellé dans des tâches d'analyse quantitative complexes, où GPT-4 et Gemini ont parfois eu du mal [3].
Anthropic s'est étendu au-delà du texte en entrée visuelle pour la formation des données avec la famille Claude 3 [7]. Les modèles Claude 3 permettent également aux utilisateurs d'analyser les données, y compris des images, des graphiques et des documents, grâce à sa nouvelle fonction de support multimodal [4].
Lors du choix d'un modèle d'IA, les entreprises devraient considérer la précision, la vitesse, la confidentialité, la facilité de déploiement ou la maintenance et le coût [4].
Citations:
[1] https://www.euronews.com/next/2024/06/20/anthropic-lanches-its-latest-most-powerful-generative-ai-model
[2] https://synthedia.substack.com/p/anthropic-says-it-just-dethroned
[3] https://www.voiceflow.com/articles/anthropic-ai
[4] https://www.pymntts.com/news/artificial-intelligence/2024/how-anthropics-new-claude-3-ai-model-stacks-ul-fing-against-the-compétition/
[5] https://cloud.google.com/solutions/anthropic
[6] https://www.promptitude.io/post/navigating-the-ai-landscape-openai-vs-anthropic-vs-google-i-in-2024
[7] https://www.nextplatform.com/2024/03/05/anthropic-fires-off-performance-and-price-salvos-in-ai-war/
[8] https://big-agi.com/blog/ai-api-comprison-2024-anthropic-vs-google-vs-openai